Cálculo de las Calificaciones Finales
La tabla de esta pantalla muestra cómo se calculan las calificaciones
finales de los participantes. Las calificaciones finales son una suma ponderada
de hasta cinco componentes.
- La calificación que editor da a la tarea enviada. Esto es opcional
y será usado si es el editor quien realmente evalúa el trabajo del participante. Si el
participante envía más de una parte de trabajo se utilizará "la mejor"
calificación. Aquí, mejor equivale al resultado de la combinación
ponderada más alta de la calificación del editor y la calificación de los compañeros.
- El promedio de las calificaciones que los compañeros han dado a la tarea
enviada. Otra vez si el participante envía más de una parte del trabajo se tomará
"la mejor" calificación. La calificación de un compañero opcionalmente
puede incluir la calificación del editor. Esta calificación sería incluida si
el número de calificaciones de los compañeros es muy bajo, si se piensa que las
calificaciones de los compañeros son sospechosas (por lo general muy altas) o no
son fiables. De ser incluida, la calificación del editor es tratada de la
misma manera que una calificación de los compañeros en el cálculo del
promedio.
- Los sesgos del participante en la calificación del trabajo de sus
compañeros. Esto tiene lugar cuando el participante califica los trabajos
demasiado alto o demasiado bajo. Los sesgos no son una medida absoluta ya que
se basan en la diferencia entre la calificación del participante y los
promedios de los compañeros para cada uno de los envíos evaluados. En
general no debería darse una ponderación elevada a este componente.
- La fiabilidad del participante en calificar el trabajo de sus compañeros. Esto
es una medida de hasta qué punto las calificaciones otorgadas por un participante
se ajustan al promedio de las calificaciones que los compañeros han dado a los
trabajos evaluados. La medida resta los sesgos y obtiene el promedio de las
diferencias absolutas entre sus calificaciones y las calificaciones
promedio de los compañeros. En teoría, si los participantes dan
calificaciones altas a quienes han realizado bien los trabajos y bajas a los
trabajos malos, su fiabilidad será alta. Si se sospecha que los
participantes en general son malos evaluadores, entonces deberían incluirse las
calificaciones del editor en los promedios de los compañeros, lo que
redundaría en una mejora de la fiabilidad.
- La calificación promedio dada por el editor a las evaluaciones del
participante. Esto incluye tanto evaluaciones preliminares hechas por el
participante sobre los trabajos de prueba como cualquier calificación que
el editor haga sobre las evaluaciones producidas durante la fase de la
tarea dedicada a la evaluación de compañeros. En general este componente es
probablemente el más importante, tanto o más que los componentes de Sesgo o
Fiabilidad. De estar disponible debería ser ponderada más que los demás.
Estos cinco componentes pueden ponderarse como se considere apropiado
para la tarea. Por ejemplo, la calificación del editor podría tener una
ponderación mayor si la parte de la tarea calificada por los compañeros se
considera como menos importante dentro del conjunto de la tarea.
Alternativamente, si el editor únicamente calificara una parte escasa
de los trabajos, podrían pasarse por alto tales calificaciones y dar una
ponderación cero. Si únicamente los participantes son los encargados de
juzgar la tarea completa y de proporcionar retroalimentación sobre ella,
entonces los primeros dos componentes se ponderarán como cero (o se les
dará una ponderación baja) y serán las habilidades de calificación de los
participantes las que determinarán las calificaciones finales.
Advierta que esta pantalla es usada de forma iterativa y que habitualmente
los participantes no dispondrán de las calificaciones finales hasta la fase final
de la tarea. Una vez que el editor está satisfecho con las calificaciones finales y
sus ponderaciones, los participantes podrán acceder a ellas.
|