Evaluaciones efectivas y eficientes en la Universidad de Texas, Campus Austin

Jen Moon es profesora de instrucción en el Departamento de Biología y Biociencia Molecular de la Universidad de Texas en Austin. Forma parte del Comité de Supervisión de Educación mejorada con Tecnología, instancia encargada de evaluar y formular políticas en torno a la educación mejorada por tecnología para el cuerpo docente de todo el campus.

Como académica, la Dra. Moon quería diseñar sus evaluaciones para así entender mejor cómo sus estudiantes estaban desarrollando sus habilidades a lo largo de los cursos. Para ella, y para muchos de sus colegas, los exámenes de respuesta libre habían sido una opción, sin embargo, este enfoque no siempre resultaba exitoso.

La académica señaló que, “calificar respuestas abiertas puede llevar mucho tiempo, pero es un proceso muy revelador y, en el caso de grupos pequeños, no implicaría un reto tan grande. Sin embargo, muchos de nuestros cursos son de matrícula numerosa. Mi grupo más grande, por ejemplo, tenía 200 estudiantes”.

La Dra. Moon se enfrentaba constantemente al desafío de administrar y calificar exámenes para clases numerosas, ha llegado a tener cursos de 300 estudiantes por semestre en promedio. Mientras más estudiantes conforman los grupos, menos posibilidades hay de proporcionar retroalimentación detallada y personalizada.

Para hacer frente a este gran volumen de calificaciones, era necesario contar con un equipo de calificadores. La Dra. Moon se encontró, entonces, con una nueva prueba al momento de evaluar exámenes de respuesta corta entre múltiples calificadores, ya que este tipo de evaluación resulta difícil de calificar de forma coherente.

Además de gestionar un gran volumen de exámenes, la Dra. Moon también se dio cuenta de que no tenía forma de hacer un seguimiento eficiente al rendimiento de una clase concreta o de un estudiante específico de forma matizada y detallada. Quería aplicar un marco de diseño “invertido” en sus cursos–primero identificando objetivos de aprendizaje y luego diseñando las evaluaciones escritas para apoyar esos objetivos—sin embargo, tenía que hacer un seguimiento del manual en hojas de cálculo del rendimiento de cada estudiante por cada pregunta.

—Jen Moon, UT Austin

Para la Dra. Moon y su equipo de calificadores, el costo de estas ineficiencias se relacionaba con el tiempo gastado y las oportunidades perdidas. El tiempo, en cuanto a la logística de la calificación, y pérdida de oportunidades cuando se trata de entregar una retroalimentación oportuna y beneficiosa sobre los exámenes.

La Dra. Moon sabía que “necesitaban una manera más coherente y justa de calificar un alto volumen de exámenes de respuestas cortas, que además les permitiera entregar a los estudiantes retroalimentación útil, y en un corto periodo de tiempo”. y que también, “les entregara métricas acerca del rendimiento de los estudiantes en objetivos de aprendizaje específicos”.

Luego de haber oído hablar a un colega acerca de Gradescope, la Dra. Moon implementó la herramienta a mitad de semestre para dar solución a sus problemas, y “nunca más quiso regresar”. Para ella, Gradescope cubre la mayor cantidad de soluciones que le permiten hacer frente a los desafíos en torno al tiempo y la oportunidad.

Las rúbricas dinámicas y la posibilidad de asignar secciones específicas a múltiples calificadores, ayudaron a sistematizar y agilizar el proceso de evaluación. Diferentes calificadores podían evaluar de manera remota al mismo tiempo y la Dra. Moon podía ver actualizaciones en tiempo real de sus progresos, además, con la función para agrupar preguntas, podían calificar las respuestas de los estudiantes en lotes. El equipo también encontró un gran valor en el apoyo de tecnología de I.A para calificar automáticamente secciones seleccionadas de las evaluaciones. Estas características ayudaron a reducir drásticamente el tiempo utilizado en calificar, por lo que los estudiantes podían recibir retroalimentación rápidamente.

Con este tiempo a su favor, la Dra. Moon, redirigió sus esfuerzos a resolver los desafíos en torno a la oportunidad que había identificado previamente. Ahora podía entregar los exámenes calificados casi al instante y proporcionar retroalimentación específica y personalizada a cada estudiante. Como ahora podía trabajar tanto con datos individuales como a nivel de clases, la Dra. Moon también pudo implementar su enfoque de “diseño invertido” para hacer seguimiento del rendimiento de los estudiantes. Al etiquetar las preguntas de evaluación con los objetivos de aprendizaje, podía seguir y visualizar los avances de los estudiantes de sus cursos. Pudo identificar y revisar los conceptos con los que la clase estaba teniendo dificultades y volver con una mirada crítica a sus planificaciones de clase para hacer ajustes que apoyaran inmediatamente el aprendizaje de los estudiantes y el diseño de su curso.

—Jen Moon, UT Austin

La Universidad de Texas en Austin se asoció con Gradescope para llevar a cabo dos pruebas piloto con el objetivo de evaluar su efectividad a la hora de cumplir con sus requerimientos. Primero comenzó a nivel de curso, y, pronto se extendió a todo el Colegio de Ciencias Naturales.

Debido a que el piloto tuvo un éxito rotundo y la demanda de los instructores aumentó, la UT Austin decidió implementar Gradescope en otros departamentos como Biología, Biociencias Molecular, Química, Ciencias Informáticas, ECE, Matemáticas, Ciencias Marinas, Ingeniería Eléctrica, Administración, Linguística, Estadísticas y Ciencia de Datos. Actualmente, unos 200 instructores usan Gradescope en más de 160 cursos, marcando la diferencia para más de 13.000 estudiantes.

La Dra. Moon ha llamado a Gradescope un “cambio de juego”, afirmando que sus niveles de estrés en torno a los exámenes se han reducido significativamente. Se sorprendió cuando su equipo de calificadores le dijeron que para ellos, ahora calificar era una actividad “muy divertida”--- algo que nunca esperó oír. Por otra parte, sus estudiantes también le hicieron saber que “estaban encantados con la rapidez con la que obtenían la calificación de sus exámenes y la claridad de su retroalimentación”. Desde que comenzó a usar Gradescope, la Dra. Moon dijo que nunca echaría pie atrás, incluso no ha tomado un examen fuera de la plataforma desde entonces.