Piense en un típico curso universitario de física: notas rápidas, dificultades con las tareas, estudiar para exámenes difíciles. Ahora imagina tener acceso a un tutor que responde preguntas en cualquier momento, nunca se aburre y nunca juzga. ¿Aprenderás más? ¿Quizás el doble?
Esa es la conclusión de un estudio de Harvard que examinó los resultados de aprendizaje de los estudiantes de un curso de física grande y popular que trabajaron con un chatbot de inteligencia artificial diseñado a medida el otoño pasado. En comparación con un entorno de aula de «aprendizaje activo» más típico en el que los estudiantes aprenden en grupo con un maestro humano, la versión respaldada por IA fue sorprendentemente más efectiva.
El estudio, dirigido por el profesor Gregory Kesten y la profesora titular Kelly Miller, analizó los resultados del aprendizaje de 194 estudiantes matriculados el otoño pasado en el curso de Ciencias Físicas 2 de Kesten, que es física para carreras de ciencias biológicas. Los resultados finales están pendientes de publicación. Antes del estudio, el equipo se centró en su experiencia en enseñanza y contenido para crear pautas que el tutor de IA debe seguir en cada lección, actuando como un maestro experimentado.
«Teníamos mucha curiosidad en el estudio por ver si nuestro tutor de IA podría ser tan eficaz como los profesores individuales», dijo Kesten, quien también se desempeña como director asociado de educación científica. «Y ciertamente no esperaba que los estudiantes encontraran más atractivas las lecciones basadas en IA».
Pero eso es lo que sucedió: los tutores de IA no sólo parecieron ayudar a los estudiantes a aprender más material, sino que los propios estudiantes informaron estar más comprometidos y motivados para aprender cuando trabajaban con IA.
Comparación del rendimiento medio posterior a la prueba entre estudiantes a los que se les enseñó una conferencia activa y estudiantes a los que se les enseñó con un tutor de IA. La línea de puntos representa el conocimiento básico medio de los estudiantes antes de la lección (es decir, las puntuaciones previas a la prueba de ambos grupos).
Fuente: «La tutoría con IA supera al aprendizaje activo», Gregory Kestin, Kelly Miller, Anna Klales, Timothy Milbourne, Gregorio Ponti
«Fue sorprendente y súper interesante», dijo Miller, señalando que la PS2 ya está «muy, muy bien enseñada».
“Han estado haciendo esto durante mucho tiempo y ha habido muchas iteraciones de esta enseñanza específica basada en la investigación. Es una operación muy estricta», añadió Miller.
El experimento muestra el beneficio de utilizar la tutoría de IA como la primera introducción significativa de los estudiantes a material difícil, escribieron los investigadores en su artículo. Si se puede utilizar la IA para enseñar material introductorio de forma eficaz a los estudiantes fuera del aula, se liberará «tiempo valioso de clase» para «habilidades de orden superior, como la resolución avanzada de problemas, el aprendizaje basado en proyectos y el trabajo en grupo». gastar en hacer. Continuaron.
Aunque entusiasmados por el potencial de la IA para revolucionar la educación, Kesten y Miller son conscientes de los posibles abusos.
«Si bien la IA tiene el potencial de potenciar el aprendizaje, también puede socavarlo si no tenemos cuidado», dijo Kesten. «Los tutores de IA no deberían ‘pensar’ por los estudiantes, sino ayudarlos a desarrollar habilidades de pensamiento crítico. Los tutores de IA no deberían reemplazar personalmente la instrucción, sino ayudar a preparar mejor a todos los estudiantes para ello, y posiblemente de una manera más atractiva que nunca». .
El estudio fue aprobado por la Junta de Revisión Institucional en el otoño de 2023. Aproximadamente 200 estudiantes aceptaron participar en el estudio, que constaba de dos grupos, cada uno de los cuales tenía dos lecciones en semanas consecutivas. Durante la primera semana, el grupo 1 participó en una lección de aprendizaje activo guiada por un maestro, mientras que el grupo 2 participó en una lección en casa respaldada por IA que siguió un diseño paralelo basado en investigaciones; La semana siguiente las cosas cambiaron.
Los investigadores creen que la capacidad de los estudiantes de recibir comentarios personalizados y un aprendizaje a su propio ritmo con un tutor de IA tiene ventajas sobre el aprendizaje en una clase a su propio ritmo.
Los autores del estudio utilizaron pruebas previas y posteriores para medir el dominio del contenido versus el aprendizaje de cada tipo de lección. También preguntaron a los estudiantes qué tan comprometidos se sentían con cada tipo de instrucción, cuánto disfrutaban de cada tipo, qué tan motivados estaban y cómo calificarían su «mentalidad de crecimiento».
Según un análisis preliminar del estudio, los avances en el aprendizaje de los estudiantes del grupo con tutoría de IA fueron el doble que los de los estudiantes del grupo presencial. Los investigadores creen que la capacidad de los estudiantes de recibir comentarios personalizados y un aprendizaje a su propio ritmo con un tutor de IA tiene ventajas sobre el aprendizaje en una clase a su propio ritmo.
En diferentes niveles de grado, «los estudiantes que tienen una sólida formación en el material pueden estar menos comprometidos y, a veces, aburridos», dijo Miller. “Y los estudiantes que no tienen esa experiencia a veces tienen dificultades para mantenerse al día. Entonces, el hecho de que este (tutor de IA) pueda respaldar esa diferencia es probablemente lo más importante. Esto es especialmente valioso cuando a los estudiantes se les presentan por primera vez conceptos y cuestiones sobre temas que sólo unos pocos estudiantes han visto antes, dijeron los investigadores.
Miller enfatizó que el tutor de IA fue diseñado con ingeniería rápida basada en investigaciones y «andamios» para que las lecciones sean precisas y precisas.
Kesten comenzó a construir el sitio web que alberga tutores de PS2 el verano pasado, poco después de que ChatGPT hiciera su debut mundial. El marco se basa en la interfaz de programación de aplicaciones GPT y está diseñado para que las conversaciones, incluida la personalidad del tutor de IA y la calidad de la retroalimentación, se prueben previamente. Entonces, en lugar de adoptar de forma predeterminada el comportamiento ChatGPT, Custom Tutor proporciona a los usuarios información guiada por indicaciones ricas en contenido que están optimizadas y ubicadas dentro del marco.
Una vez creado el marco, fue fácil empezar a adaptarlo para otros cursos y materias, dijo Kesten, porque muchos colegas ya lo están probando.
La profesora de matemáticas Eva Polito presentará una versión del Tutor de IA de Kesten en Matemáticas 21a (Cálculo multivariable) este otoño en la parte del taller del curso, que normalmente lo imparten asistentes de cursos de pregrado. Cada semana, los estudiantes podrán generar preguntas sobre un tema específico y buscar respuestas trabajando con la guía de un tutor de IA.
«El objetivo principal de EITutor es promover un enfoque de aprendizaje basado en la investigación», explicó Polito. «Queremos que los estudiantes practiquen el cuestionamiento, observen críticamente escenarios de la vida real y se conviertan en agentes activos de su propia comprensión y aprendizaje».
Inspirado por los hallazgos de Kesten y Miller, el Centro Derek Bok para la Enseñanza y el Aprendizaje está colaborando con Tecnología de la Información de la Universidad de Harvard para poner a prueba chatbots de IA similares en algunos cursos introductorios importantes este otoño. También están desarrollando recursos para permitir que cualquier instructor integre tutorbots en sus cursos.
El estudio fue coautor de Anna Kallis, Timothy Milburn (codirector de PS2) y Gregorio Ponti, quienes enseñan en el Departamento de Física.
