Investigación de la PNU: ¿Puede el entrenamiento de profesores mejorar la predicción de la dificultad de las preguntas?

La evaluación es una parte esencial del proceso de aprendizaje, ya que ayuda a determinar si los estudiantes realmente han comprendido los conceptos que se les enseñan. El índice de dificultad de los ítems (el nivel de dificultad de los ítems o preguntas) juega un papel clave en la evaluación y representa la proporción del número de estudiantes que eligieron la respuesta correcta al número total de estudiantes que respondieron a cada pregunta. Por lo tanto, este índice puede proporcionar una medida general del nivel de dificultad de las pruebas. Además, la capacidad de los educadores para crear ítems y predecir sus índices de dificultad afecta significativamente al proceso de evaluación.

Un desafío recurrente es que los educadores pueden sobreestimar la dificultad de los ítems, destacando la necesidad de mejorar las habilidades predictivas. Sin embargo, la investigación sobre los programas de desarrollo docente dirigidos a mejorar la capacidad de los maestros para predecir y ajustar la dificultad de los ítems es limitada.

Para abordar esta brecha, un equipo de investigadores de la Universidad Nacional de Pusan, dirigido por el profesor Sang Lee, vicepresidente de Asuntos Médicos, profesor de Educación Médica y profesor de Medicina Familiar, llevó a cabo un estudio, cuyos hallazgos se publicaron en línea en BMC Medical Education el 30 de mayo de 2024. El estudio investigó si el entrenamiento repetido en el desarrollo de ítems para el profesorado de la facultad de medicina mejoraba su capacidad para predecir y ajustar el nivel de dificultad de las preguntas de opción múltiple (MCQ).

Al explicar los antecedentes de su estudio, el profesor Lee explica: “Al igual que el golpe final completa y perfecciona una pintura, la educación se perfecciona a través de la evaluación. Los miembros del profesorado de las facultades de medicina no pueden crear ítems de alta calidad sin una capacitación adecuada. La capacitación en el desarrollo de ítems es esencial, y este estudio demuestra que la efectividad de dicha capacitación aumenta con la repetición”.

Se llevaron a cabo talleres de desarrollo de ítems con 62 participantes, primero en 2016 y luego en 2018, y se compararon las precisiones estimadas de las predicciones de la dificultad de los ítems. Antes del taller, los profesores desarrollaron ítems recién redactados que luego fueron revisados. Un comité de desarrollo de ítems capacitó a los miembros del profesorado ofreciendo retroalimentación continua y ayudándoles a revisar los ítems recién redactados de acuerdo con los estándares de los exámenes nacionales, con un rango de dificultad ideal y un enfoque basado en la aplicación. Además, los índices de dificultad predichos por los participantes se compararon con los análisis de evaluación de los estudiantes de cuarto año de medicina.

El estudio encontró que antes de la capacitación, se observó una concordancia significativa entre los índices de dificultad de los ítems predichos y reales para solo una asignatura, es decir, cardiología. Por el contrario, se observó una concordancia significativa para cuatro asignaturas, a saber, cardiología, neurología, medicina interna y medicina preventiva. Estos hallazgos sugieren que la capacitación sistemática y efectiva puede mejorar la calidad de las evaluaciones MCQ en la educación médica.

Las sesiones de capacitación repetidas mejoraron significativamente la capacidad de los miembros del profesorado para predecir y ajustar con precisión los niveles de dificultad de los ítems, lo que condujo a evaluaciones efectivas y mejores resultados educativos. A pesar de los beneficios del taller, mantenerlos podría ser un desafío debido a su duración de tres días y los ajetreados horarios de los miembros del profesorado participantes. Sin embargo, los educadores que reciban capacitación en el desarrollo y la modificación de ítems estarán mejor preparados para crear ítems y realizar ajustes precisos en los niveles de dificultad, mejorando así las prácticas de evaluación. Además, estos programas de capacitación se pueden aplicar en todos los campos académicos. En conclusión, este estudio aboga por programas continuos de desarrollo docente para garantizar la creación de ítems apropiados alineados con el propósito de la evaluación.

Hablando sobre las posibles aplicaciones de su estudio, el profesor Lee comparte: “La capacitación repetida en el desarrollo de ítems no solo ayuda a ajustar el nivel de dificultad, sino que también mejora la construcción de los ítems, aumenta su poder discriminatorio y aborda adecuadamente la cuestión de la validez”. Agrega además: “Pronto habrá una era del desarrollo de ítems utilizando IA. Para eso, estudios como el nuestro son importantes para proporcionar información necesaria sobre los ítems existentes y los datos de respuestas de los estudiantes, lo que ayudará a desarrollar un programa automatizado de desarrollo de ítems con IA”.

***

Referencia

Título del artículo original: El impacto de la capacitación repetida en el desarrollo de ítems en la predicción del índice de dificultad de los ítems de las facultades de medicina

Revista: BMC Medical Education

DOI:

Acerca del instituto

La Universidad Nacional de Pusan, ubicada en Busan, Corea del Sur, fue fundada en 1946 y ahora es la universidad nacional número 1 de Corea del Sur en investigación y competencia educativa. La universidad multicentro también tiene otros campus más pequeños en Yangsan, Miryang y Ami. La universidad se enorgullece de los principios de verdad, libertad y servicio, y tiene aproximadamente 30,000 estudiantes, 1200 profesores y 750 miembros del profesorado. La universidad está compuesta por 14 facultades (escuelas) y una división independiente, con 103 departamentos en total.

Sitio web:

Acerca del autor

Sang Yeoup Lee actualmente ocupa varios cargos destacados en la Universidad Nacional de Pusan, incluidos el vicepresidente de Asuntos Médicos, el profesor de Educación Médica y el profesor de Medicina Familiar. Ha sido reconocido como el mejor profesor de la universidad. La experiencia docente de Lee abarca áreas como la medicina basada en la evidencia, el desarrollo de ítems y el razonamiento clínico. Su investigación se centra en la evaluación, la teoría del aprendizaje, el estrés académico y la escritura de los estudiantes en la educación médica. También realiza investigaciones sobre atención primaria, obesidad, nutrición y síndrome metabólico, con especial énfasis en la realización de ensayos clínicos sobre alimentos funcionales.

Sitio web del laboratorio:

ID de ORCID: 0000-0002-3585-9910