Introducción
El uso de la rúbrica se ha extendido ampliamente en distintos niveles del sistema educativo, así como también la investigación sobre su utilización (Dawson, 2017; Panadero y Jonsson, 2020). Es un instrumento para mejorar la evaluación de los aprendizajes. Consiste en una tabla de doble entrada en la cual se indican: las variables y dimensiones que se están evaluando; los distintos niveles de calidad que se pueden lograr y los indicadores que evidencian el rendimiento en cada nivel. Sobre esa base pueden considerarse diversos aspectos que hacen a la rúbrica y al proceso de implementación. Dawson (2017) identifica 14 elementos a tener presentes en el uso del instrumento, entre los que se encuentran la especificidad, el autor y la forma de comunicarla.
La investigación en torno a la función pedagógica del instrumento comenzó hace algunas décadas y continúa en la actualidad (Brookhart y Chen, 2015). Distintos autores han explorado el potencial para mejorar los procesos de aprendizaje, sobre todo cuando es utilizada en la evaluación formativa (Goodrich, 1997; Jonsson y Svingby, 2007; Panadero y Tapia, 2013). También se han descripto las ventajas para el logro de objetivos y la profundidad de los aprendizajes, especialmente en los estudiantes que utilizan rúbricas para guiar sus trabajos (Reddy y Andrade, 2010). En esta línea, la posibilidad de identificar dudas durante las actividades y tomar conciencia de lo aprendido son procesos que se ven favorecidos por el uso de la herramienta (Torres y Perera, 2010).
La relación con la autorregulación del aprendizaje señalada en estudios previos (Panadero y Jonsson, 2013) continúa siendo objeto de investigación. Trabajos recientes no solo profundizan en el efecto favorecedor que tiene el uso de la rúbrica en los procesos metacognitivos, de autorregulación y autoeficacia (Fraile, Pardo y Panadero, 2017), sino que indagan nuevas potencialidades de la herramienta para favorecer estas funciones. Tur, Urbina y Forteza (2019) abonan trabajos previos al focalizar en la asociación entre autorregulación y uso de la rúbrica, específicamente para evaluar la construcción de portfolios digitales. Fraile, Panadero y Pardo (2017) estudian el potencial de la herramienta para influir en la activación de estrategias de aprendizaje en los estudiantes, cuando ellos mismos participan de su elaboración junto a los profesores. Sánchez-Santamaría y Boroel-Fernández (2018) señalan la importancia de la retroalimentación con especial atención al feed-forward: intercambios entre profesores y estudiantes que permiten visibilizar lo que efectivamente comprende el estudiante y la forma en que lo incorpora al proceso de aprendizaje.
Aun cuando la principal función de la rúbrica es mejorar la evaluación de los profesores respecto a los aprendizajes de los estudiantes, existen otras aplicaciones. Algunas experiencias documentadas refieren al uso para la autoevaluación y evaluación entre pares (Tur, Urbina y Forteza, 2019); para evaluar la efectividad de programas académicos (Latorre, Varela y García, 2017) y la adecuación de artículos científicos (Molina, Alfaro y González, 2017).
Si bien la literatura especializada presenta abundante información sobre los beneficios que aporta la rúbrica al proceso de evaluación de los aprendizajes, distintos trabajos reclaman un mayor desarrollo teórico e investigación. Mejorar la validez y fiabilidad del instrumento (Varela, Giralt y García, 2017); presentar suficientes evidencias respecto al uso que hacen los profesores, así como también de los efectos en el desempeño de los estudiantes (Velasco-Martínez y Tójar Hurtado, 2018) son algunos ejemplos.
Estas necesidades vienen siendo atendidas en estudios recientes. Varios trabajos actuales están centrados en el proceso de construcción, validez y fiabilidad de la herramienta (Almeraya y Tobón, 2019; Alsina et al., 2019; Guevara et al., 2020; Gutiérrez-Anguiano y Chaparro, 2020; López et al., 2020; Marcano et al., 2020; Pacheco et al., 2019; Prado, 2020; Saglam et al., 2019; Usero-Pérez et al., 2020). Mientras tanto, otros identifican elementos clave que podrían obstaculizar el logro del objetivo buscado. Por ejemplo, la comprensión de la rúbrica por parte de los estudiantes se vería afectada: si el lenguaje es demasiado técnico (Alsina et al., 2019); si la extensión es excesiva (Fraile, Pardo y Panadero, 2017) o si carecen de cierto conocimiento tácito necesario para un adecuado abordaje (Matshedisho, 2020).
Respecto a las ventajas que pueden obtener los profesores para su práctica por el uso de la herramienta, se encontraron menos trabajos. Maroto (2010) señala los beneficios para consensuar criterios entre docentes. Stevens y Levi (2005) sostienen que la rúbrica ofrece al profesor una visión de sus propios puntos ciegos, omisiones y fortalezas. Más recientemente, Iturra-Tapia y Riquelme Hernández (2018) indican que las características de transparencia y objetividad de la herramienta -en tanto favorecen la calidad de la retroalimentación-, aportan seguridad al docente.
La literatura muestra que no es suficiente con diseñar documentos llamados rúbricas, sino que es imprescindible investigar los procesos y las condiciones en las que son utilizadas (Dawson, 2017), en particular el modo en que las emplean los docentes (Wollenschläger et al., 2016). Algunos de estos aspectos, hasta el momento menos explorados en la investigación sobre la temática, constituyen el foco del presente estudio.
El objetivo de este trabajo es conocer la percepción de un grupo de profesores universitarios, sin formación previa en pedagogía, respecto a la forma en que utilizan la rúbrica de evaluación y los aprendizajes que adquieren al incorporar la herramienta.
La decisión de estudiar el problema explorando las percepciones de los profesores se sustenta en que sus ideas (explícitas o implícitas) suelen incidir fuertemente en el ejercicio de la profesión, determinando sus modos de significar y ejercer la docencia (Mui So y Hoi Lee, 2011). Estudios anteriores señalan que el uso de la rúbrica tiene relación directa con las ideas previas de los docentes. El uso limitado de la herramienta se asocia con una concepción previa también limitada (Reddy y Andrade, 2010). Se advierte que una mala implementación reducirá los posibles beneficios, aún si el instrumento estuviera bien diseñado (Panadero y Jonsson, 2020).
Partimos del supuesto según el cual: conocer la forma en que los profesores utilizan la herramienta y los aprendizajes asociados podría mostrar nuevas potencialidades de la rúbrica orientadas a promover el desarrollo profesional docente.1 Iniciamos con la formulación de las siguientes preguntas: ¿Cómo usa un grupo de profesores universitarios -sin formación previa en pedagogía y altamente motivados- las rúbricas de evaluación? ¿Qué aprende ese mismo grupo de profesores universitarios al usar la rúbrica de evaluación?
Metodología
Se realiza un estudio de caso único, con perspectiva de tradición cualitativa, enmarcado en el constructivismo y subjetivismo como posiciones epistemológicas.
Participantes
El caso está constituido por un grupo de profesores universitarios sin formación previa en pedagogía, organizados voluntariamente en torno a una docente experta en didáctica universitaria contratada por la institución educativa para mejorar las prácticas de aula.
Entre 2012 y 2016 el grupo mantuvo reuniones semanales, en modalidad de tutoría grupal, combinada con instancias de tutoría individual. La dinámica de trabajo implicó discutir situaciones de la práctica de aula, a partir de eventos críticos propuestos por los integrantes. La teoría era introducida puntualmente por la coordinadora cuando era necesaria para ayudar a la comprensión y resolución de las dificultades, pero no como fin en sí misma. La evaluación de los aprendizajes fue un tema de preocupación compartida; el trabajo en torno a la rúbrica como herramienta de mejora ocupó gran parte de los encuentros en distintos momentos a lo largo de esos años.
El grupo estuvo integrado por 12 profesores de la Licenciatura en Comunicación, de los cuales 8 participaron de manera constante y 4 esporádicamente. Si bien eran responsables de distintos cursos en una misma carrera, la variedad que caracteriza la formación específica2 imprimió diversidad en las perspectivas y necesidades didácticas. Para realizar este trabajo se entrevistaron 8 profesoras mujeres que fueron elegidas por su participación constante en el grupo: 2 eran responsables de cursos generales y 6 de cursos específicos. Los cursos incluían metas de aprendizaje y competencias diferentes y variadas. La experiencia en el uso de la herramienta por parte de las participantes al momento de la entrevista oscilaba entre 2 y 5 años.
El interés que reviste el caso para su estudio radica, por un lado, en la posibilidad de conocer y sistematizar un cúmulo de conocimientos producidos en el marco del trabajo grupal referido, que de otra forma se perdería. Por otra parte, el perfil de las docentes resulta en sí mismo interesante en tanto carecen de formación previa en educación, están altamente motivadas por mejorar sus prácticas de aula y participan de manera sostenida de un grupo de pares orientado a la problematización de los desafíos que encuentran en la práctica. Estas características del grupo estudiado hacen pensar que sus perspectivas combinan un fuerte componente experiencial, con poco o ningún sesgo de experto. Las características del grupo y su participación sostenida en reuniones orientadas a la mejora de la práctica docente permiten suponer un uso de la rúbrica que aproveche todo o gran parte de su potencial.
Recolección y análisis de datos
Como técnicas de recolección de datos se utilizaron la observación participante plena (durante las reuniones del grupo) y entrevistas en profundidad. El instrumento de registro fue el diario de investigadora para el caso de la observación y la grabación de audio en las entrevistas.
La primera etapa de trabajo implicó organizar los registros de la observación participante y revisar la literatura en torno a la temática. A partir de esta información surgieron los supuestos previos que fueron sistematizados (Tablas 1 y 2) y dieron lugar a la construcción del guion de entrevista. Se realizaron 8 entrevistas (7 presenciales y 1 a distancia) con una extensión promedio de 40 minutos. Todas fueron registradas mediante grabación de audio y luego transcriptas.
Se optó por el análisis de contenido inductivo, buscando regularidades en el discurso de los participantes que permitieron generar unidades de significado temático (León y Montero, 2015). Una vez identificadas, las unidades fueron comparadas con las categorías previamente definidas y sistematizadas. La confiabilidad cualitativa se aseguró verificando con los participantes la interpretación de los datos, lo que permitió evaluar si efectivamente comunican lo que pretendían transmitir (Hernández Sampieri, Fernández-Collado y Baptista, 2006).
Operacionalización de variables
Definimos dos variables: uso de la rúbrica y aprendizaje de los profesores.
Para la variable uso de la rúbrica generamos tres dimensiones, que se corresponden con tres instancias del proceso: 1) diseño: el docente elabora su propia rúbrica o adapta una rúbrica de otros; 2) aplicación: el docente utiliza la rúbrica para mejorar los procesos de evaluación; y 3) análisis: el docente analiza los datos obtenidos luego de utilizar la rúbrica. A su vez, en cada etapa se identifican diferentes usos posibles. En el caso de la etapa de elaboración, los usos se definen según el grado de involucramiento del docente respecto a la construcción de la herramienta. En el caso de la aplicación, los usos se definen según el grado de participación que el docente ofrece al estudiante. En el caso del análisis, los usos se definen según el objeto de análisis.
Para la variable aprendizaje de los profesores generamos tres dimensiones: 1) aprendizaje respecto al curso; 2) aprendizaje respecto a sí mismos e 3) identificación de posibles riesgos o desventajas por el uso de la rúbrica como herramienta de evaluación. Para las dimensiones se crearon subdimensiones con indicadores específicos en cada caso (Cuadro 1). La sistematización completa puede verse en las tablas 1 y 2.
Se parte del siguiente supuesto: al elaborar, aplicar y analizar la rúbrica de evaluación, cada docente incorpora nuevos aprendizajes respecto a sus cursos y a sí mismo, que luego utiliza para mejorar su práctica profesional.
Resultados
Uso de la rúbrica en el grupo de profesores
Todas las docentes entrevistadas para este trabajo elaboran sus propias rúbricas para cada uno de sus cursos. No adaptan ni usan rúbricas hechas por otros.
Las entrevistadas utilizan la rúbrica para corregir los trabajos de los estudiantes de distinta manera. Algunas imprimen un ejemplar por cada trabajo y lo van marcando a medida que van corrigiendo. En otros casos, tienen la herramienta a la vista, usándola como guía mientras corrigen. Hay quienes primero corrigen y luego comparan sus correcciones con los parámetros escritos en la herramienta. Todas las entrevistadas presentan la rúbrica a los estudiantes junto con la devolución y corrección de los trabajos. Algunas presentan la rúbrica a los estudiantes antes de la tarea, junto a la consigna. Incluso hay quienes consultan la opinión de los estudiantes respecto a los contenidos de la herramienta y los animan a utilizarla como guía para el trabajo.
Las entrevistadas utilizan los datos obtenidos tras la aplicación de la herramienta para analizar el proceso de evaluación. La sistematización de resultados inherente al instrumento facilita la identificación de coincidencias y discrepancias en los rendimientos, permitiendo asociar los resultados con distintas etapas del proceso de enseñanza y aprendizaje.
¿Qué aprenden los profesores cuando elaboran sus propias rúbricas?
Las entrevistadas coinciden al señalar que, si bien elaborar las rúbricas les insume mucho tiempo y esfuerzo, también les permite ampliar el conocimiento respecto a los contenidos dictados, y generar mejoras en los cursos. Indican que explicitar y redactar los criterios de evaluación con el grado de detalle que exige la herramienta ayuda a verificar si efectivamente los estudiantes recibieron los insumos necesarios para resolver los problemas planteados en la evaluación.
Cuando yo la elaboro, me permite hacer ajustes al contenido (…) Me permite testear si voy a evaluar lo que quiero evaluar. (…) Después me ayuda a corregir. Pero cuando la elaboro, me ayuda mucho a pensar lo que estoy dando para evaluar (Entrevistada 6).
Construir la herramienta permite visibilizar el grado de distancia entre el rendimiento esperado y el rendimiento posible, antes de realizar la evaluación propiamente dicha. De esta manera se evitan problemas por inconsistencias.
Antes (de usar la rúbrica) vos planteabas el trabajo y cuando venían los parciales escritos, ahí te dabas cuenta de que no era lo que esperabas, de que había un gap entre la expectativa y el trabajo. Y ahí te replanteabas: ¿será que no se entendió, será que es el grupo, será que yo presenté mal? (Entrevistada 5).
Cuando la elaborás, te permite repensar aquello que les vas a pedir (Entrevistada 4).
La creación de la rúbrica favorece y consolida la unificación de criterios por parte de distintos profesores implicados en un mismo curso. También facilita su organización y le ayuda a distinguir lo central de lo tangencial.
Permite organizar los aprendizajes; da orden y planificación. Permite repensar los aprendizajes significativos de los que no lo son (…) Me da foco, me ordena (Entrevistada 6).
Las entrevistadas indicaron que diseñar la herramienta les ayuda a mejorar su argumentación al momento de comunicar los criterios a los estudiantes.
Vos para poder comunicar o transmitir lo que sea, tenés que hacer tu propia clarificación de conceptos; me tengo que preguntar qué es lo que quiero evaluar cuando hago la rúbrica (…) Incluso los ajustes que pueda hacerle provienen del diálogo con el usuario, y eso, si no la hiciste vos, no es igual (...) Cuando diseño ese cuadro de doble entrada (...) me obliga a mí a blanquear una cadena de ideas, por lo tanto, en el momento en que yo me fuerzo a explicárselo a otros, lo entiendo mejor para mí (...). Es un modelo que me permitió mejorar mi argumentación: convencer, comunicar, argumentar (Entrevistada 1).
Diseñar la herramienta les implica explicitar los criterios de corrección mediante una descripción detallada, precisa y compartible.
Al escribirlo en la rúbrica, te planteas cómo comunicarlo en clase, porque es como que lo estás reconceptualizando vos para ver cómo plantearlo, de qué manera, con qué ejemplos, cómo voy a llegar a eso, para después poderlo evaluar (Entrevistada 8).
Las entrevistadas asocian el cambio en la argumentación, con las mejoras en el proceso de evaluación. Recuerdan que al inicio de su práctica había desconformidad y dificultad por parte de los estudiantes para entender las razones de la calificación.
(Los estudiantes) No entendían por qué estaba mal (Entrevistada 3).
También recuerdan sus propias limitaciones para ofrecer devoluciones a los estudiantes; así como definir y explicar con claridad los criterios de corrección.
El estudiante no entendía por qué yo le ponía una calificación y no otra; (y) yo a veces tampoco se lo podía explicar (Entrevistada 4).
Las profesoras reconocen en la rúbrica una herramienta válida donde anclar las devoluciones, aportando así formalidad a la instancia de evaluación.
(Al) explicarles que las devoluciones que les hacemos están basadas en la rúbrica, es como que se despejan muchas dudas. Porque si no queda esa sensación de: ¿qué es lo que me están corrigiendo? A mí me da la sensación de que aceptan la devolución con mayor... con mucho menos dudas. Porque si no todo entra en una charla subjetiva: lo que opiné, lo que yo dije, lo que a ellos les parece. Le ha dado al tema de la evaluación una mayor credibilidad (Entrevistada 7).
Diseñar su propia rúbrica, le permite al docente clarificar sus propios puntos fuertes y débiles antes de la instancia de clase, lo que a su vez facilita una mejor preparación.
(Diseñar la rúbrica) te implica estudiar, te implica rever los temas, profundizar cada vez más (Entrevistada 2).
En el discurso se identificó otro tema no previsto en la guía de entrevista, respecto al potencial para la formación de recursos humanos en el marco del vínculo entre profesor responsable del curso y profesor asistente. La herramienta se presenta los suficientemente estructurada como para garantizar el cumplimiento de los objetivos del curso por parte del asistente. Y al mismo tiempo lo suficientemente flexible para que pueda construir su propio camino.
Hice la rúbrica con mi asistente y luego la consulté con colegas de la misma área. Me sirvió para darme cuenta de que mi asistente estaba pronta para dar clases. Tengo el compromiso de formar gente; tratar de formar gente que no sea una fotocopia de vos es muy difícil. La rúbrica (sirvió) para que ella pudiera hacer sus ejemplos propios. (…) La rúbrica te dice criterios de evaluación, a dónde tiene que llegar el alumno. El cómo no está escrito; pero si vos tenés la meta, hacés tu propio camino. Cada vez que le pedía a mi asistente que dicte una clase, le daba la rúbrica y le decía: esta es la competencia que los alumnos tienen que adquirir. Le da autonomía al que se está formando. La rúbrica te marca el norte; el camino es del otro (Entrevistada 3).
¿Qué aprenden los profesores cuando aplican la rúbrica?
La rúbrica ayuda a evaluar la adquisición de competencias, visibilizando la distancia entre los objetivos del curso y los contenidos dictados, achicando la brecha entre el mundo universitario y el mundo laboral.
Lo que propongo en el curso (lo hago) considerando al estudiante como futuro colega. Yo le pido cosas y evalúo su desempeño (…) Me enfoco con orientación al mercado. (…) Funciona muchísimo la conexión con el mundo profesional. La lógica que está detrás de la rúbrica me parece mucho más importante y más valiosa que poner el cuadradito. Me interesa que el estudiante pueda pensar usando estos cuatro criterios (Entrevistada 1).
Las entrevistadas se muestran preocupadas por la subjetividad y ambigüedad en la evaluación, y señalan a la rúbrica como una herramienta que ayuda a manejar esos elementos.
Cuando les indicamos (a los estudiantes) hacer avances del trabajo, hacemos referencia a los títulos y a los puntos que están en la matriz3. Entonces hay una consistencia y una coherencia que ayuda a despejar esto de: es el humor del docente, depende del día o es muy subjetivo. Y hay áreas muy subjetivas (en la disciplina). (…) Vos tomás la rúbrica como guía durante la evaluación; no es que primero corregís y después cotejás (…) Me ha ayudado también para eso, porque a veces entrás en el detalle. La matriz me ayuda a decir, tengo que mirar esto, esto y esto. Me ayuda a centrarme en las cosas más importantes durante la corrección (Entrevistada 7).
Las profesoras expresan sentir más tranquilidad y seguridad (asociadas a la equidad) cuando trabajan con la rúbrica, en tanto les ayuda a objetivar y a disminuir la subjetividad.
Me da más tranquilidad, más seguridad. Eso que decimos, si estamos siendo justos, si este trabajo era igual a este o no. Me da seguridad cuando les devuelvo la nota… seguridad en ir monitoreando que lo que les estoy pidiendo (Entrevistada 5).
(Antes de usar la rúbrica) Yo era menos objetiva de lo que pensaba. Por ejemplo, (relata una experiencia propia durante la corrección de un trabajo) cuando pensé la nota de forma más intuitiva, iba a calificar con menos nota de la que califiqué luego de usar la matriz (Entrevistada 4).
¿Qué aprenden los profesores cuando analizan los resultados sistematizados a través de la rúbrica?
El conocimiento que las profesoras obtienen por diseñar la rúbrica se ve ampliado en la instancia de análisis. En este caso, la información que surge tras la aplicación de la herramienta complementa la anterior, generando nuevo conocimiento en torno a distintos aspectos de la práctica.
Voy reflexionando cuando veo los resultados (de la evaluación). Como sé cuáles son las cosas que refleja la matriz, puedo encontrar una relación. Por ejemplo, si los trabajos fueron entregados en fecha y si dieron los tiempos. Pero si muchos tuvieron una falla ahí, capaz que el trabajo necesita más tiempo (Entrevistada 4).
Incluso señalan que los estudiantes perciben un trabajo por parte del docente respecto a las evaluaciones, lo que asocian a mayor credibilidad. Las entrevistadas identifican correlación entre el uso de la rúbrica y el grado de conformidad de los estudiantes ante los resultados. Esta idea se sustenta en su observación respecto a la disminución de quejas al recibir las correcciones. Señalan (como algo positivo) que no solo disminuyeron las quejas, sino que cambió la forma de plantearlas. A partir de la incorporación de la rúbrica, los estudiantes se apoyan en sus contenidos para argumentar las disconformidades.
Las primeras veces que usé la rúbrica noté menos quejas. Antes tenías muchas más consultas sobre por qué la nota… Noté que eso bajó, y que en algunos casos cuando venían a decirme lo hacían con más argumento, apoyándose justamente en la rúbrica (Entrevistada 5).
Lo que sí favorece es el clima de trabajo en la clase: de orden, de claridad, de escucha. Limpia, ordena la discusión. Esas quejas porque sí, en un momento caen (Entrevistada 8).
Respecto al sentido de justicia en el aula, identifican correlación entre el uso de la herramienta y la percepción de transparencia, confianza y equidad. Consideran que usar la rúbrica minimiza la subjetividad y elimina la ambigüedad; que formaliza la instancia y le aporta seriedad.
(La instancia del análisis) es la instancia que me hace cambiar las clases después, me hace mejorar a mí en la forma de abordar los conceptos. (Los errores repetidos) permiten diagnosticar más justamente, con más pertinencia dónde estás parado como docente. En qué cosas necesitás ayuda, o más trabajo. Qué cosas son complejas para los estudiantes. El saber que se necesita ayuda, te habilita en la clase a no quedar en off side. Porque yo la puedo errar, pero tengo que saber desde dónde pararme para eso; hay que ver cómo lo manejás (Entrevistada 8).
Desventajas o riesgos por el uso de la rúbrica
Las entrevistadas coinciden al señalar como desventajas al tiempo y esfuerzo que requiere elaborar la herramienta. En términos conceptuales, el principal problema identificado se asocia al riesgo de hacer un uso limitado, estructurado o, al decir de las entrevistadas, “encorsetado” de la herramienta. Si bien estos asuntos aparecen sobre todo vinculados a la propia práctica docente, también se menciona el temor de estar limitando la creatividad del estudiante mediante una guía tan detallada de las expectativas.
A veces hay situaciones que se salen del estándar, de lo programado y a veces la matriz te aprieta (Entrevistada 6).
(El riesgo es de) quedarte encerrada. Me pregunto si hay cuestiones que pueden ser innovadoras para el alumno y que queden por fuera (en la rúbrica) (Entrevistada 3).
En esa misma línea, se asocian peligros por un uso mecánico y poco personalizado. También aparece como preocupación el tener que definir qué incluir y qué excluir a partir del diseño de la herramienta.
(El riesgo es) un poco el encasillamiento. Es muy difícil en todas estas materias, que no son ciencias exactas, tratar de cuadricular. A mí me impresionó tener que escribir en ocho palabras algo que lo tengo que explicar en diez minutos. Me costó; y el riesgo puede ser ese: el querer aplicar un molde a cosas que pueden tener otra subjetividad. Pero sigo diciendo que vale la pena el intento. Porque te hace sacar lo accesorio y quedarte con lo nuclear (Entrevistada 7).
A mí lo que me costó más de empezar a usar la rúbrica es decidir todo lo que dejo afuera. Y poder incluirlo, ver dónde, ver si siempre va (Entrevistada 8).
Discusión
Uso de la rúbrica: elaboración, aplicación y análisis
Conocer las distintas maneras de utilizar y significar la rúbrica de evaluación, es una necesidad presente en la investigación sobre la temática. Como mencionamos previamente, para organizar el material hemos definido tres formas de uso que se corresponden con tres instancias del proceso de evaluación: la elaboración del instrumento, la aplicación propiamente dicha y el análisis de los resultados.
La elaboración de la rúbrica implica definir y explicitar los criterios de evaluación con sus respectivos niveles de desempeño e indicadores asociados. Este ha sido un aspecto muy valorado por los integrantes de este grupo, que han optado por construir sus propias rúbricas para utilizar en los cursos. La clarificación de criterios puede ser particularmente relevante para profesores universitarios, que no se han formado específicamente para la docencia. Las rúbricas pueden brindar la posibilidad de reflexionar sobre sus prácticas y alcanzar mayores niveles de explicitación.
En el estudio distinguimos el uso individual por parte del docente y el uso compartido con los estudiantes. En el primer caso, la función es facilitar la corrección, mejorando aspectos asociados a la subjetividad y ambigüedad. En el segundo caso, el uso puede incluir: consensuar los criterios de evaluación antes de su consolidación; presentar la herramienta a los estudiantes antes de la tarea y promover su utilización como guía; así como también apoyar las devoluciones en el instrumento. Si bien las profesoras entrevistadas reconocen usar la herramienta para ofrecer feedback a los estudiantes, no declaran potenciar las devoluciones mediante el feedfoward, práctica señalada por algunos autores (Sánchez-Santamaría y Boroel-Fernández, 2018).
Las dos aplicaciones mencionadas -individual o compartida- podrían considerarse parte de un proceso en el que el primer paso implicaría para el docente revisar su propia práctica. Aunque no necesariamente un uso deriva del otro. A la vez debemos considerar que pueden tener un efecto diferente sobre el ejercicio de la docencia y el aprendizaje de los estudiantes.
El análisis lo realiza el docente en relación a los resultados de la evaluación, buscando identificar similitudes y divergencias en los distintos desempeños u otras correlaciones relevantes. Los resultados abonan lo señalado por Stevens y Levi (2005) respecto a que se trata de un momento de reflexión que permite al docente revisar y mejorar sus propias prácticas. Sin embargo, cabe consignar que, a diferencia de los autores referidos que consideran al momento del análisis como el privilegiado para reflexionar y generar cambios, los resultados del presente estudio muestran que también las etapas de elaboración y aplicación de la herramienta ofrecen amplias posibilidades a los docentes para reflexionar, modificar y mejorar sus prácticas.
Relación entre el costo de elaboración y el beneficio del aprendizaje
Las principales desventajas señaladas por las entrevistadas refieren al esfuerzo y al tiempo que requiere la elaboración del instrumento, así como al riesgo de hacer un uso que limite la creatividad de los estudiantes o inhiba el surgimiento de elementos no previstos en las consignas. Estas desventajas coinciden con las identificadas en la literatura, tanto en relación con la inversión de recursos en la construcción (Iturra Tapia y Riquelme Hernández, 2018) como al posible uso que inhiba la creatividad de los estudiantes (Mui So y Hoi Lee, 2011). En ambos casos la literatura relaciona las desventajas con una perspectiva limitada de la herramienta. El tiempo y esfuerzo son percibidos como desventaja cuando los docentes ven la rúbrica solo como elemento para la corrección (Reddy y Andrade, 2010), mientras que un uso que limite la creatividad solo es posible si los profesores tienen una visión estrecha del instrumento (Mui So y Hoi Lee, 2011).
Pese a que estas desventajas fueron identificadas por las entrevistadas del presente estudio, todas elaboran sus propias rúbricas ad hoc para sus cursos. La opción de construir rúbricas por parte del grupo estudiado abona en parte el planteo de Reddy y Andrade (2010), quienes consideran que la desventaja asociada a la inversión de recursos solo es válida cuando se tiene una visión limitada de las rúbricas como guías para corregir. Es posible considerar que en el grupo estudiado, debido a las características mencionadas (sin formación previa en pedagogía, altamente motivado por mejorar su práctica docente e interesado en la reflexión sobre la experiencia), predominara una visión amplia respecto a la herramienta y eso habría orientado hacia la opción de invertir en el diseño a pesar de los costos. En este caso, las docentes han llegado a las rúbricas -a su construcción e implementación- movidas por la necesidad de resolver desafíos concretos de la evaluación, combinada con una orientación hacia la reflexión sobre la práctica. Una vez más, este escenario nos muestra la necesidad de considerar el contexto y las condiciones que enmarcan los distintos usos de la herramienta para aprovechar el potencial.
La otra desventaja señalada por las entrevistadas refiere al riesgo de limitar la creatividad de los estudiantes inhibiendo la aparición de elementos no previstos, o incluso dejándolos por fuera en la etapa de corrección. Es posible pensar que el hecho de haber identificado la limitación de creatividad como posible desventaja constituye un factor protector del riesgo. Tomar conciencia y problematizar los riesgos disminuye las posibilidades de que se conviertan en peligros. Quizá este riesgo puede convertirse en peligro cuando la rúbrica llega impuesta, es elaborada por otros y carece de sentido para quienes la implementan.
La asociación de las desventajas de la herramienta con el uso y la visión de los profesores señalada en estudios previos (Mui So y Hoi Lee, 2011; Reddy y Andrade, 2010) están alineados con hallazgos recientes que consideran clave el diseño y la implementación para un uso exitoso. En tal sentido, una rúbrica bien diseñada pero mal implementada ofrecerá aportes limitados, así como también serán limitadas las ventajas por el uso de una rúbrica mal diseñada y bien implementada (Panadero y Jonsson, 2020).
Relación entre exigencias de rendimiento y oportunidades de aprendizaje
Durante la construcción de la rúbrica, las entrevistadas logran visualizar el grado de consistencia entre el rendimiento que van a exigir en la evaluación y las oportunidades de aprendizaje que efectivamente fueron generadas durante el curso. Antes de incorporar la rúbrica, las inconsistencias recién se visualizaban una vez que la actividad ya había sido planteada, realizada y corregida. Elaborar la rúbrica les permitió ajustar la propuesta de evaluación en instancias anteriores. Las participantes adjudican esta posibilidad a dos tareas implicadas en la construcción de la herramienta: explicitar los criterios de evaluación con el grado de precisión que exige la rúbrica y una redacción clara que facilite su comprensión.
La redacción, que se considera clave para que los estudiantes comprendan y utilicen la rúbrica (Alsina et al., 2019), es identificada por las entrevistadas como una etapa durante la elaboración, en la que mejoran la forma de comunicar sus ideas a los alumnos.
A partir de estos cambios en la interacción, las entrevistadas adjudicaron nuevos significados a las disconformidades de los estudiantes ante los resultados de las evaluaciones. Antes consideraban la queja como un reflejo de la falta de comprensión de criterios por parte de los alumnos. A partir de usar la rúbrica, las entrevistadas interpretan esas quejas como consecuencia de sus propias dificultades para explicitar esos criterios que, en algunos casos, reconocen, no estaban claros para sí mismas. Descubrir las propias falencias en un proceso de autorreflexión podría favorecer su integración y facilitar eventuales cambios.
La rúbrica aporta seguridad
La relación entre el uso de la herramienta y el aumento de la seguridad percibida se encuentra en la literatura asociada a distintos elementos del proceso de la evaluación, tales como la disminución de subjetividad y la mejora en la retroalimentación. Los resultados del presente estudio abonan parcialmente los hallazgos de trabajos previos. Las entrevistadas coinciden con lo publicado en estudios anteriores en torno al aumento de seguridad vinculada a la transparencia y equidad, que se logra por la explicitación y clarificación de criterios (Picón, 2013; Urias, Rodríguez y Zárrate, 2019).
Respecto a la retroalimentación, las participantes del estudio consideran que la rúbrica es un instrumento válido donde anclar las devoluciones. Sin embargo, no asocian este aporte con el aumento de seguridad que declaran percibir, y cuya relación fuera señalada por otros autores (Iturra-Tapia y Riquelme Hernández, 2018).
Otro aspecto que relaciona el uso del instrumento con la seguridad del docente se vincula con la posibilidad de analizar los resultados a través de la sistematización que presenta la rúbrica. Identificar coincidencias en los rendimientos permite a los profesores conocer sus fortalezas y debilidades respecto al curso. Este autoconocimiento aumenta, al decir de las entrevistadas, la seguridad con la que abordar sus propias falencias en caso de ser visibilizadas durante el curso. Dicha percepción constituye una posible línea de indagación, sobre todo para favorecer el proceso de construcción de identidad profesional de los profesores nóveles en el contexto universitario, al que muchos llegan sin formación pedagógica que los respalde.
Elaboración colaborativa del instrumento
Las ventajas asociadas a la elaboración colaborativa de la herramienta fueron estudiadas en trabajos anteriores, que destacan los aportes para consensuar criterios entre profesores (Maroto, 2010). Más recientemente, se describen las posibilidades -aun no suficientemente exploradas- de favorecer el aprendizaje de los estudiantes cuando ellos también participan en la construcción de la herramienta (Fraile, Panadero y Pardo, 2017).
En el presente estudio surgió un tipo de construcción colaborativa entre el profesor responsable del curso y el profesor asistente, donde el primero asume el rol de mentor en la formación del segundo. La experiencia de coelaboración muestra, en este caso, el potencial de la herramienta para guiar el trabajo del docente en formación, promoviendo el cumplimiento de objetivos preestablecidos y a la vez facilitando la construcción de un perfil propio. La experiencia descripta abona los antecedentes señalados en los estudios referidos, a la vez que muestra otros caminos posibles de exploración para el uso de la rúbrica como herramienta para la formación del profesorado.
La reflexión sobre la experiencia durante el uso de la rúbrica
Las descripciones de las entrevistadas respecto a los procesos implicados en la elaboración, aplicación y análisis del instrumento, así como en los aprendizajes asociados, cumplen con las características del pensamiento reflexivo. Entendido como el proceso de “reconocer nuestro modo de pensar en una tarea o ante un problema, y dar pasos para crecer en nuestro modo de pensamiento” (Villa y Poblete, 2007, p. 91).
Coincidimos en tal sentido con el análisis teórico de Alcón-Latorre (2016), que refiere a la existencia de un proceso cognitivo complejo en la construcción y aplicación de las rúbricas, en el que intervienen las ideas y representaciones de los profesores, así como la reflexión en torno a lo que es importante.
La reflexión en torno a la experiencia como requisito indispensable para el aprendizaje, introducido por Dewey (1933, 1958/2007) y desarrollado luego por Schön (1987, 1993), mantiene plena vigencia y es investigado en la actualidad específicamente en torno a la profesión docente (Farrell et al., 2020; Kolb y Kolb, 2017; Korthagen, y Nuijten, 2017). La asociación entre el uso de la rúbrica y el pensamiento reflexivo, presente en el discurso de las entrevistadas, abona la idea respecto al potencial pedagógico de la herramienta para la formación de los profesores. Este grupo, que llegó a la rúbrica a partir de necesidades concretas en torno a la evaluación, encontró una herramienta donde anclar la reflexión sobre la práctica y derivó en oportunidades de aprendizaje que entendemos podrían abonar el desarrollo profesional docente.
Conclusiones
El presente trabajo estudia el potencial de la rúbrica de evaluación para la formación docente, en un grupo de profesores universitarios sin formación previa en pedagogía y altamente motivado para mejorar las prácticas de aula. El caso presentado ilustra, en gran medida, las posibilidades que tiene la herramienta para el desarrollo profesional docente y su relación con una variedad de usos posibles. Quedan de manifiesto las diversas posibilidades de elaboración, aplicación y análisis de las cuales derivan aprendizajes para mejorar las prácticas de aula.
Construir las propias rúbricas parece ser clave para su mayor aprovechamiento. Pese a considerar que el tiempo y esfuerzo implicados en la elaboración constituyen desventajas, todos los profesores del estudio construyen sus propias rúbricas y jerarquizan ese proceso. La explicitación de criterios y clarificación de indicadores según niveles de desempeño desnaturalizan aspectos clave que son valorados por los docentes. Permite ajustar las expectativas de rendimiento con las oportunidades de aprendizaje efectivamente ofrecidas, y precisar la argumentación en la comunicación con los estudiantes.
La aplicación del instrumento admite diversos usos. Puede implicar un uso individual por parte de los profesores y también un uso compartido con los estudiantes. En el primer caso, el foco está ubicado en optimizar los tiempos y mejorar la calidad de la evaluación. En el segundo caso, los objetivos pueden incluir consensuar criterios, guiar la resolución de tareas y promover la metacognición.
El uso de la rúbrica permite enriquecer la información sobre los procesos de aprendizaje y enseñanza. El análisis que realizan los docentes, a partir de los resultados sistematizados en la herramienta, permite identificar coincidencias en el rendimiento a nivel grupal, así como la evolución de cada estudiante a nivel individual. De esta manera los docentes amplían el conocimiento de su perfil profesional, al descubrir sus propias fortalezas y dificultades. En este proceso también encuentran oportunidades de mejora para los cursos.
A la hora de investigar y proponer el uso de rúbricas en el terreno educativo, debería considerarse ese amplio repertorio.
Los procesos cognitivos implicados en la elaboración, aplicación y el análisis muestran una relación entre el uso de la rúbrica y la reflexión sobre la experiencia. Consideramos que la reflexión sobre la práctica -ampliamente desarrollada en la formación profesional de la docencia- podría encontrar en la rúbrica de evaluación un insumo para la producción de conocimiento. Esto puede ser particularmente valioso en el contexto universitario, en el que muchos docentes llegan sin formación específica para la tarea. Consideramos que el uso de la rúbrica puede ser ampliado y cumplir una función pedagógica en la formación del profesorado universitario, siempre y cuando se atiendan los contextos y las condiciones en las que se inserta.
Las características específicas del grupo estudiado y su apropiación del instrumento permiten suponer un uso de la rúbrica que visibiliza gran parte del potencial. Para que estas posibilidades puedan ser aprovechadas en otros profesores con distintos niveles de motivación hacia la formación en pedagogía, será indispensable generar entornos que favorezcan el involucramiento y la construcción de sentido.
No hemos analizado en este trabajo el producto en sí mismo, lo que podría ilustrar aún más lo que implica el uso de rúbricas en la tarea y formación docente. Este sería un paso a dar en futuros trabajos en torno a la temática.
Queda de manifiesto la necesidad de seguir profundizando en las percepciones y prácticas docentes vinculadas al uso de rúbricas, así como en el valor asociado a las distintas formas de involucramiento: elaboración, aplicación y análisis. Esto vale tanto para el contexto universitario como otros niveles del sistema educativo, en los que los usos y funciones de la rúbrica pueden ser diferentes.