Introducción

En Chile, el Sistema de Educación Superior forma parte de una extensa red de servicios sociales, atendiendo a las demandas de formación profesional y generación de capital social entre instituciones públicas y privadas. Buscando cumplir con criterios de eficiencia y eficacia, las universidades han diversificado sus mecanismos de evaluación, lo que ha servido para registrar y medir tanto el desempeño propio como el de los profesores y estudiantes que las integran (^{Cohen y Franco, 2005}; ^{Améstica, Gaete y Llinas, 2014}).

Como proceso en constante modificación y al servicio del aprendizaje, la evaluación abarca un conjunto de prácticas y contenidos, y sus resultados sirven de orientador para cambios y adaptaciones curriculares; es para los profesores y encargados de organizar el Plan de Estudios de cada una de las carreras profesionales un insumo valioso para la toma de decisiones docentes, cuyas consecuencias se hacen sentir primeramente en el estudiante.

Dentro del proceso de enseñanza-aprendizaje, la evaluación académica busca objetivar en gran cantidad de estudiantes el dominio de contenidos y adquisición de competencias intencionadas en la implementación curricular; clasificación, delimitación y medición de conocimientos y capacidades sobre la base de la ejecución de un conjunto de modelos, técnicas e instrumentos muchas veces modificados y adaptados (^{Muskin, 2015}).

La acción evaluativa no está exenta de dificultades. A la complejidad de establecer una métrica adecuada y fiable para un rasgo latente de manifestación no directamente observable se suma la heterogeneidad de actores involucrados, con intereses y expectativas diversas y a menudo contradictorias. En efecto, quienes ingresan a la Educación Superior se enfrentan a procesos evaluativos altamente heterogéneos, siendo difícil comparar criterios, incluso dentro de una misma institución.

Los aumentos de cobertura del sistema, la deficiente calidad educativa de los niveles básicos o medios y las segmentadas competencias y habilidades académicas adquiridas hacen de la acción evaluativa un componente estratégico de la política institucional en las universidades. La tendencia de asociar calidad con retención, promoción y titulación oportuna comporta, para algunas instituciones, controlar sus niveles de reprobación mediante actos administrativos que sesgan la posibilidad de verificar el alcance efectivo de sus objetivos curriculares, certificar adecuadamente los niveles de logro o detectar las deficiencias del modelo de enseñanza implementado.

Estos atributos hacen de la evaluación docente un área disciplinar pedagógicamente compleja, demandante de recursos, en constante revisión y perfeccionamiento. Es por ello que, en los últimos años, la discusión nacional en esta área disciplinar se ha movilizado hacia la problematización de los criterios de métrica en la evaluación, tanto en su conceptualización y operacionalización como en la interpretación y toma de decisiones que conlleva, abriendo espacio a las apreciaciones subjetivas vinculadas con las expectativas y percepciones de los actores involucrados.

En este escenario, los estudiantes, en tanto objeto de las pericias evaluativas, adquieren un rol preponderante, relevando la importancia de conocer las interpretaciones y significaciones que tienen y hacen del acto evaluativo, en especial respecto a la pertinencia y justicia percibida durante el proceso (^{Díaz, Martínez, Roa y Sanhueza, 2010}; ^{Prieto y Contreras, 2008}; ^{García y McCoach, 2009}; ^{Leal, 2010}; ^{Schommer, Beuchat y Hernández, 2012}; ^{Tagle, 2012}). Para estos actores, los efectos de la evaluación son múltiples y van desde la satisfacción a la frustración, transitando entre la conformidad, el desinterés o la ansiedad (^{Barca, Almeida, Porto, Peralbo y Brenlla, 2012}).

Aun cuando los criterios de objetividad y de rigor que deben cumplir las herramientas de evaluación son importantes, la relevancia que en la última década han levantado constructos blandos como la motivación y la valoración de logros ha llamado la atención hacia la perspectiva de las subjetividades (^{Aponte-Hernández, 2008}).

Desde este contexto, la información que pueden entregar los alumnos se convierte en insumo complementario para retroalimentar la toma de decisiones docentes con miras a optimizar el proceso educativo. Considerando que los estudiantes no definen el currículum, sus contenidos ni tiempos, el hecho de que al menos estimen la evaluación como algo deseable, justo y suplementario puede mejorar las prácticas en el aula. No podemos desestimar la importancia que las creencias tienen para orientar la conducta y justificar el comportamiento, además de que es la motivación, significancia y pertinencia otorgada a los aprendizajes las que promueven al estudiante abandonar su rol pasivo (^{Blanco, 2008}; ^{Leyton, Vásquez y Fuenzalida, 2012}).

Esto interpela especialmente a los futuros profesores que, en calidad de estudiantes, transitan por la Formación Inicial Docente, no solo en cuanto a la generación de competencias para la preparación de contenidos o el dominio curricular con que deben contar, sino también en lo concerniente al diseño y aplicación de herramientas de evaluación, frente al desafío de responder a un siempre perfectible constructo de calidad en su ejercicio profesional (^{Bürgi y Peralta, 2011}).

Atendiendo a la relevancia que adquieren las subjetividades estudiantiles como criterio de calidad y pertinencia de las evaluaciones, este trabajo de investigación explora las ideas, valoraciones y opiniones que distintos estudiantes en Formación Pedagógica tienen respecto de los procesos evaluativos de los que son objeto.

Para esto se confeccionó una escala de actitudes, que se analizó mediante Análisis Factorial Exploratorio, a fin de develar en las relaciones latentes entre variables una estructura parsimoniosa que permita conocer las percepciones estudiantiles del acto evaluativo.

Metodología

Muestra

La escala fue cumplimentada por 238 estudiantes de Pedagogía de la Universidad del Bío-Bío, de distintas especialidad y niveles. El muestreo es estratificado considerando la representación de las diferentes áreas disciplinares que contempla el Proceso de Formación Inicial Docente y los diferentes grados de avance curricular en que se encuentran los estudiantes de Pedagogía.

Entre los participantes hay una clara predominancia femenina (73,0%), en concordancia con la tendencia histórica de la hegemonía de género en profesiones vinculadas al cuidado y la educación de niños y jóvenes. Con la excepción de Pedagogía en Educación Parvularia, que agrupa al 35,6% de los casos, la muestra se distribuye homogéneamente entre las distintas áreas disciplinares del quehacer educativo, con proporciones que transitan entre un 13% para el caso de Pedagogía en Educación Matemáticas y un 18,4% para Pedagogía en Inglés.

Respecto del tipo de colegio de procedencia, un 54,7% desarrolló su Enseñanza Secundaria en establecimientos Particular Subvencionados, mientras que el porcentaje restante (45,3%) proviene del sistema público o Municipal.

La ausencia de estudiantes egresados de algún establecimiento Particular Pagado derivaría de las configuraciones actuales del mercado del trabajo y la diversificación de la oferta de la Educación Superior, que hace decaer la valoración social de la pedagogía en jóvenes pertenecientes a sectores socioeconómicamente privilegiados. Por otra parte, la desigualdad que presenta el sistema educativo segmenta las oportunidades y la capacidad de elección profesional, conformando nichos socioeducativos. Cuadro 1

Cuadro 1: Descripción de la muestra según variables de segmentación (%) 

Fuente: Registro Académico Universidad del Bío-Bío. Elaboración propia (2017)

Como corolario de la procedencia escolar en la elección profesional, se desprende la predominancia de estudiantes pertenecientes a familias de bajos ingresos económicos, donde el 68,4% proviene del 40% más vulnerable de la población a nivel nacional, y la adscripción de un 54,3% de estudiantes que desarrolló su trayectoria escolar en establecimientos que agrupaban mayoritariamente a alumnos de nivel socioeconómicamente bajo o medio bajo (GSE-A y GSE-B).

Estos atributos configuradores de la muestra son expresión de los procesos de segmentación socioeducativa que permea desde su base el sistema educativo y, a nivel de formación profesional, estructura el conjunto de hándicaps profusamente documentados por la investigación educativa (^{Gil y Canto, 2012}; ^{Bellei, 2013}, ²⁰¹⁵).

Discusión y análisis

La confiabilidad y validez de los instrumentos de evaluación es clave para medir calidad educativa; sin embargo, la utilidad que prestan contrasta con la satisfacción que generan en quienes son sometidos a escrutinio. Aun cuando se puede cuestionar su adecuación y pertinencia a los diferentes tipos y niveles de aprendizaje que presentan los estudiantes, su utilización es necesaria por cuanto el proceso de formación requiere de indicadores que permitan identificar déficits o nodos a modificar, de criterios confiables de comparación y contraste entre generaciones, además de expresar relativamente la adquisición de las competencias comprendidas en los planes de estudio.

Considerar efectivas las herramientas de evaluación sería del todo insuficiente si asociamos solo sus productos, composición o rigor métrico. La valoración que los estudiantes hacen de ella es relevante toda vez que son quienes debieran orientar los niveles de dificultad y la adecuación de las escalas. Las reacciones que en ellos genera este resultado no solo compete a lo académico, no moviliza recursos solo motivacionales o intelectuales, sino también afectivos y emocionales. A la heterogénea carga curricular que enfrentan se suma la presión por obtener buenas calificaciones, que puede ocasionar estrés o ansiedad, lo que en este tipo de casos produce que los estudiantes asocien malos resultados al azar o factores externos para aliviar el malestar (^{Valenzuela, 2007}). En otras palabras, si la evaluación no se corresponde con las expectativas o el esfuerzo entregado, bien puede ocasionar una mayor atención hacia el rendimiento como frustración y un consiguiente desinterés (^{Lamas, 2008}).

El Cuadro 2 informa de los 11 ítems que habiendo sorteado las extracciones son expresión de la percepción de los estudiantes en Proceso de Formación Inicial Docente respecto de la acción evaluativa. En resguardo a condiciones métricas de confiabilidad y parsimonia, se conservan los ítems que aportan significativamente a la consistencia interna del instrumento y mantienen una variabilidad y correlación aceptable (>.30), siendo eliminados aquellos ítems que aportan información estadísticamente redundante.

Cuadro 2: Solución Factorial Exploratoria para percepciones estudiantiles sobre evaluación 

Fuente: Escala Percepción estudiantil del acto evaluativo. Elaboración propia (2017).

Posterior a los exámenes de ajuste y sentido de los ítems, mediante AFE con rotación Oblimin directa, se obtuvo una estructura subyacente de 2 factores. Los ítems se vinculan con sus respectivos factores con cargas que transitan entre el .344 y .612, valores superiores al considerado metodológicamente aceptable (>.30).

Esta solución factorial exploratoria presenta adecuados índices de ajuste con un RMSEA del .049, cuando la literatura considera como recomendable <.08, e incluso los más exigentes <.05 (^{Gonzáles y Backhoff, 2010}). Con esto podemos asumir que el modelo de percepciones estudiantiles y la estructura de covarianzas observadas en las respuestas ajustan razonablemente. Una situación similar es la que reportan los índices de ajuste incremental CFI (.958) y TLI (.928), que se sitúan sobre los valores mínimos recomendados de .90 y hacen aceptable el modelo (^{Herrero, 2010}).

Mediante el escrutinio semántico de cada ítem en la solución, se ha denominado teóricamente a los factores Estandarización procedimental (Factor 1) y Contenidos y derivados (Factor 2). Las pruebas de fiabilidad entregan mesuradas cifras. Al respecto, Alfa ordinal y Coeficiente Omega alcanzan .578 y .587 para el primer factor, mientras que para el segundo los valores son .630 y .632 correspondientemente, valores considerados moderados (^{Viladrich, Brunet y Dova, 2017}).

Discutir sobre Estandarización procedimental involucra analizar los ítems 4, 6, 22 y 25. En su conjunto abordan los criterios que orientan y caracterizan el proceso evaluativo en términos de procedimiento, reglas y condiciones del proceso evaluativo que van desde el manejo de información hasta criterios de ecuanimidad. Los estudiantes manifiestan su opinión respecto a la transparencia pedagógica sobre cómo serán evaluados (Nos informan los criterios de evaluación); los criterios de justicia que recompensan el mérito durante el proceso (Siento que los profesores tienden a dejarse llevar por preferencias y simpatías al momento de evaluar); las condiciones de claridad y adecuadas exigencias en que se deben cumplir las demandas académicas (Nos dan suficiente tiempo para contestar las preguntas en los certámenes y cumplir con los trabajos encomendados; En las evaluaciones las instrucciones y preguntas son claras y comprensibles). Sobre las ponderaciones factoriales, 2 de los ítems (6 y 25) están por sobre el límite metodológicamente relevante de análisis (.612 y -.599), mientras que los ítems 22 y 4 se sitúan entre lo moderado y mínimo aceptable (.480 y 344).

Hemos considerado Pertinencia evaluativa al compuesto de los ítems 5, 11, 12, 20, 29 y 32. A diferencia de lo que sucedía con el componente anterior, la evaluación no se circunscribe solamente a elementos de percepción del rigor métrico y criterios más o menos estandarizados para dar objetividad y garantías al proceso; también hay un conjunto de apreciaciones asociadas a la pertinencia, calidad y utilidad de lo evaluado. En tal sentido, este factor contiene algunas apreciaciones estudiantiles en torno a los productos de la evaluación, además de juicios respecto al que contienen o consideran, y reúne un conjunto de sentimientos asociados a la insatisfacción post examen (Creo que las notas que me pone el profesor no representan lo que realmente he aprendido); el agobio académico (Se hacen muy pocas evaluaciones y es mucha la materia a estudiar); las decisiones estratégicas para afrontar la evaluación (Prefiero concentrar la materia en pocas evaluaciones aunque el riesgo de reprobar sea mayor); la percepción de confiabilidad de los instrumentos (En muchas de las notas y calificaciones hay un factor de azar y suerte importante); la valoración del tipo de evaluaciones rendidas (Las evaluaciones piden demasiada memoria y poca aplicación); y el sentido de pertinencia que les atribuyen (En las evaluaciones generalmente nos preguntan o nos hacen hacer cosas que no tienen ninguna utilidad). En cuanto a las ponderaciones factoriales, encontramos valores moderados entre los ítems, que transitan entre .384 y .570.

A la dimensión inmanente de la evaluación académica, es decir, la demostración de los estudiantes al profesor y de este a los directivos sobre contenidos y materiales revisados como parte del Plan de Estudios se suma, como hemos expuesto, la dimensión subjetiva del pensar y sentir de los estudiantes. Entre ambos espacios se extienden relaciones, a menudo unidireccionales, donde los docentes delimitan y definen cómo será la evaluación, cuáles serán los criterios, gestión del tiempo e instrucciones. Al respecto, el grueso de participantes declara ser informados sobre los aspectos que considera el profesor para calificar (69.3% Muy de acuerdo y de acuerdo), la forma en que deben cumplimentar los instrumentos (67.2% Muy de acuerdo y de acuerdo) y el tiempo del que dispondrán para hacerlo (44.5% Muy de acuerdo y de acuerdo). Posterior a estas normativas pedagógicas puntuales para cada evaluación que se realiza, algunos estudiantes denuncian la inclusión de preferencias o simpatías como parte del juicio utilizado para determinar las notas (25.2% Muy de acuerdo y de acuerdo).

Puesto que para los estudiantes la evaluación no es algo inane o superfluo, sino una proyección del dominio y esfuerzo desplegado cuya calificación tiene consecuencias directas e indirectas, instantáneas y mediatas en su desarrollo formativo, es necesario ampliar la perspectiva tradicional a fin de dar cuenta con mayor rigor y pertinencia del testeo de aptitudes, habilidades y competencias instaladas. Para lograr esto no solo es suficiente flexibilizar los criterios de evaluación, incluir distintos tipos de pregunta en los exámenes u holgar los tiempos disponibles; la solución más bien residiría en la necesaria apertura del proceso a la diversificación de herramientas, las opiniones y consideraciones estudiantiles, de modo tal que la presión por obtener buenas calificaciones y estima social encuentre distintas formas posibles de realización (^{Alcaraz, 2015}; ^{Villalobos, Melo y Pérez, 2010}; ^{Silvestri y Corral de Zurita, 2005}).

En la dimensión subjetiva aparecen además algunas opiniones que denuncian debilidades e insatisfacción en torno al proceso evaluativo. Para los estudiantes, las calificaciones que consigna el profesor no representan el conocimiento que estiman haber adquirido a través del esfuerzo desplegado (68.4% Muy de acuerdo y de acuerdo), evidenciando además la presencia de un factor de azar importante (29.8% Muy de acuerdo y de acuerdo). Esta inconsistencia percibida de lo aprendido con la calificación deriva en una situación de malestar por el sesgo, error de medida, o derechamente la injusticia y arbitrariedad que a juicio del estudiante conlleva el acto evaluativo.

Además, al observar la adherencia que reportan a la idea de que se hacen muy pocas evaluaciones para cubrir una gran cantidad de contenidos (58.8% Muy de acuerdo y de acuerdo), podemos suponer que en tiempos de examen o similares se produce una saturación, una demanda excesiva por cumplir y hacer frente a las exigencias de un currículum escasamente estructurado en sus tiempos evaluativos. En estos contextos, las herramientas de constatación de logro se traducen en un elemento de estrés y frustración en lugar de percibirse como connaturales al aprendizaje.

Los estudiantes son altamente críticos respecto de las eventuales carencias de rigor de los instrumentos evaluativos del que son objeto en cuanto a la utilidad, consistencia y validez que presentan. Se reporta la falta de correspondencia entre lo aprendido y su conversión a escala evaluativa o de notas, insatisfacción que es señalada por 7 de cada 10 estudiantes (68.4%).

Por otra parte, a la percepción de deficiente calidad se circunscriben un conjunto de hábitos que estructuran la rutina evaluativa como monótona, altamente concentrada en períodos específicos y escasamente diversificada en sus modalidades y formas. Estos atributos vuelven el proceso además de arbitrario poco atractivo, lo que junto con reducir el interés y preocupación del estudiante por el aprendizaje, en el cual la calificación es un medio de verificación de dicho estadio, incrementan su concepción utilitarista e intensifica el sentimiento de frustración frente a resultados negativos.

Al tratarse de percepciones, los resultados deben analizarse con cautela, en la medida en que están vinculados a un grupo de estudiantes con subjetividades y valoraciones heterogéneas, que se vuelven particularmente sensibles al estimar las prácticas evaluativas. Cuando lo que juzgan es el actuar del otro (profesor), quien con base en la evidencia reunida (calificaciones) toma decisiones que pueden impactar negativamente sobre ellos, las consecuencias indeseadas tributarían a sobreestimar su juicio negativo o “locus de control externo” (^{Gil, 2006}), es decir, la tendencia a responsabilizar los fracasos a circunstancias y elementos del entorno. No obstante ello, esta exposición crítica no es simple subjetividad o juicio infundado por parte del estudiante, toda vez que es precisamente el componente evaluativo la mayor debilidad constatada de la práctica pedagógica. A nivel nacional, los sistemas de evaluación que sondean las habilidades o desempeño del profesorado novel (Prueba Inicia) y experimentado en el trabajo de aula (Evaluación Docente) entregan evidencia para sostener que Competencias Evaluativas es una de las áreas del desarrollo disciplinar con mayor debilidad en el ejercicio profesional (^{Larotonda, Sepúlveda, Cid y Nazif, 2013}; ^{Bellei, 2002}). Esta falencia o hándicap se acentúa al considerar el deficiente uso que se hace de la información recogida, de modo que sea útil para retroalimentar a los alumnos y ayudarlos a mejorar sus aprendizajes (^{Sun, Correa, Zapata y Carrasco, 2011}), en especial cuando se contempla la irrupción de nuevos modelos curriculares que demandan actualizar estas competencias (^{Larrea, 2016}).

En síntesis, en lo que refiere a estandarización procedimental y pertinencia de la acción evaluativa, y siempre desde la perspectiva subjetiva de quien es evaluado, los datos informan que existe entre los estudiantes disconformidad por principios que creen transgredidos, como son la igualdad, pertinencia, rigor y sentido del proceso. Estas debilidades ponen en cuestión el rol de la evaluación como proveedor de insumos e información de calidad para la toma de decisiones pedagógicas, con el riesgo de constituirse en una experiencia subjetiva, arbitraria y escasamente relevante, que puede sesgar también las futuras prácticas docentes del estudiante en proceso de formación profesional.

Conclusiones

El hegemónico carácter objetivo, estructural, unidireccional y orientado a la calificación que adquirió la evaluación en la década de los 90 comienza a ser complementado en la actualidad con la participación de otros actores y modalidades. Adquieren relevancia los fenómenos subjetivos relativos a la conformidad, importancia y significado que otorgan los estudiantes a la educación que reciben, así como de los procesos de evaluación del que son objeto. En este marco, la presente investigación indagó en las percepciones y creencias que manifiestan los alumnos en formación pedagógica de una universidad tradicional y pública respecto de los sistemas y mecanismos de evaluación que se les aplican. El interés está justificado no solo en el rol que estos cumplen como actores del proceso, sino también en el hecho de que la evaluación será para estos futuros profesores una herramienta que fundamente la toma de decisiones, cuya calidad dependerá de la experiencia desarrollada dada la natural tendencia a reproducir prácticas docentes.

Según los resultados del Análisis Factorial Exploratorio encontramos una estructura de 2 factores, los que hacen mención al rigor y a las condiciones en las cuales se lleva a cabo la evaluación, según los que existirían problemas respecto a su frecuencia, acumulación y resultados. Mención especial merece la baja sintonía reportada entre esfuerzos desplegados y calificación obtenida, impresión que revela el carácter artesanal, azaroso y subjetivo que tiene para los estudiantes el proceso evaluativo.

Aunque el sentir de los alumnos respecto de la evaluación encuentra matices más allá de la estructura de factores expuesta que reduce dimensionalmente el fenómeno expresando relaciones latentes, resulta preocupante la significativa conceptualización de esta como un producto del azar o la arbitrariedad, más si se trata de estudiantes en proceso de Formación Inicial Docente. Esta situación devela la necesidad de reforzar en la enseñanza del curriculum componentes asociados a la métrica, composición, adecuación y estandarización de los instrumentos evaluativos, con el fin de mitigar la observada tendencia a abusar de prácticas conservadoras que privilegian en demasía la memorización de contenidos.

Aun cuando este trabajo se refiere a un pequeño grupo respecto del contingente en formación a nivel nacional, ajustar la evaluación a las demandas de los estudiantes puede mejorar la estimación de relevancia que estos le otorgan en relación a su proceso de aprendizaje. Siendo la evaluación un pilar del constructo “calidad educativa”, debería ser entonces más natural y menos rígida, convertirse en un insumo para las mejoras y no estar limitada como indicador de eficacia curricular. En otras palabras, los desafíos están dados por adecuar la evaluación sin perder los criterios que la deben normar por tradición, incluir las particularidades del contexto académico y social en que se realiza y diversificar sus estrategias y modalidades reconociendo el heterogéneo perfil de los estudiantes, con el objeto de hacer de ella algo consistente, válido, objetivo y pertinente.

En este sentido, cobra interés hacer una transición desde la preocupación predominante por los resultados hacia las garantías de integralidad del proceso, suplementando eficiencia y eficacia con criterios que contemplen el desarrollo social y personal de los estudiantes, tal y como propone el Sistema de Aseguramiento de la Calidad en la Educación en Chile. La calidad de un sistema educativo no está en absoluto escindida de la calidad de sus procesos evaluativos, en lo que respecta a rigor métrico, pertinencia, relevancia y equidad, que deben estar debidamente integrados en sus diferentes modalidades.