Diseño y estudio psicométrico de una rúbrica para evaluar el desempeño en foros (REF-LG) en el sistema de educación superior

Resumen

El eje de esta investigación es la evaluación por competencias en el contexto de la Educación Superior en general y en entornos virtuales de formación continua en particular. Concretamente se centra en el diseño y validación de rúbricas, atendiendo a criterios psicométricos, como instrumentos que puede servir de guía para la observación (y auto observación), valoración y calificación del desempeño de los estudiantes en foros, con base dos de las tres dimensiones del modelo Garrison, Anderson, Archer (2000), sobre los determinantes e indicadores del aprendizaje en medios formativos que suponen la comunicación textual mediada por ordenadores: Presencia Cognitiva y Presencia Social. Para ello se fundamenta desde el punto de vista psicométrico la metodología de diseño, se aplica esta metodología en la elaboración de una rúbrica para la evaluación del desempeño en foros (REF-LG) de cursos de formación continua de corta duración impartidos en modalidad virtual y se obtienen indicadores empíricos en una muestra de 227 estudiantes. En definitiva: (a) se desarrolló una propuesta metodológica para el diseño de rúbricas en 10 pasos, con énfasis en las condiciones de calidad psicométrica, (b) se diseñó una primera versión de la rúbrica (REF-LG-1) y se sometió a un proceso de validación de expertos, a partir de esto, (c) se generó y estudió empíricamente la segunda versión (REF-LG-2), obteniéndose indicadores favorables de la fiabilidad de sus calificaciones por consistencia interna (0,703) y por concordancia entre observadores (0,518 - 0,829), y evidencias favorable de la validez de constructo mediante un diseño de validez de criterio postdictiva, utilizando como medida de criterio la calificación del independiente del tutor del curso (0,517) y un análisis de su estructura interna, confirmándose la heterogeneidad de la herramienta. En definitiva, este estudio contribuye a nivel teórico, metodológico y aplicado a la investigación empírico/psicométrica de la evaluación en Educación Superior mediante rúbricas.