Debido a la pandemia por la COVID-19, la experiencia educativa ha sufrido varios cambios en distintas esferas del sistema educativo (Navarro et al., 2021; Vilela et al., 2021). Esto implica la experiencia del estudiante en educación virtual e híbrida, modalidades con las que no se encontraban familiarizados. Por ello, es relevante analizar el impacto de la virtualidad en el aprendizaje y la motivación de los estudiantes (Navarro et al., 2021). Una de las variables que podrían ser importantes en este contexto es el engagement y su medición en el contexto académico.
El engagement es un constructo que inicialmente ha sido estudiado en contextos laborales (Oriol-Granado et al., 2017). En el ámbito de la educación, el engagement ha generado un creciente interés por parte de educadores e investigadores, y se convirtió en un marco conceptual importante a tener en cuenta (Alrashidi et al., 2016). El engagement académico es entendido como el grado de involucramiento que posee un estudiante para cumplir con sus logros académicos (Gutiérrez et al., 2017). En ese sentido, dicho involucramiento implica la manera en que los estudiantes interactúan con sus actividades académicas (da Rocha et al., 2016; Hew et al., 2016), así como los recursos físicos y psicológicos dedicados a la experiencia educativa (Peña et al., 2017).
El engagement académico ha sido medido a través de diversos instrumentos psicométricos; sin embargo, una desventaja a considerar es que la mayoría han sido adaptaciones de escalas del constructo engagement laboral, el cual proviene del sector organizacional. En ese sentido, una de las pruebas más utilizadas y reconocidas es The Engagement Questionnaire UWES (Schaufeli et al., 2006), adaptada en la región como UWES-S9 (Carmona-Halty et al., 2019; Guerra & Jorquera, 2021; Laureano et al., 2020; Matta, 2021). Dentro de las críticas a este cuestionario se menciona que es una prueba que mide el engagement académico de manera unidimensional y, por consiguiente, no presenta mayor profundidad en su definición (Dominguez-Lara et al., 2020), a diferencia de otras aproximaciones psicométricas del engagement. Por lo tanto, es importante que los investigadores tengan en claro cómo definen el engagement y en qué nivel será medido (Fredricks et al., 2016).
Fredricks et al. (2016) señalan que el engagement académico puede abordar diversos aspectos de la experiencia del estudiante, ya que es un constructo flexible que responde a características contextuales y está sujeto al cambio ambiental (Fredricks et al., 2004). El engagement académico permite predecir los resultados de aprendizaje obtenidos por el alumno y evaluar indirectamente las prácticas realizadas por el docente dentro del aula (Shernoff et al., 2016).
Boekaerts (2016) afirma que el engagement académico tiende a incrementarse en las aulas donde los docentes realizan tareas desafiantes y auténticas con oportunidad de elección. Es por ello que altos niveles de engagement pueden conllevar a mejores resultados académicos en el contexto educativo. Esto es respaldado por Lara et al. (2018), quienes indican que un alto grado de engagement académico conduciría a trayectorias educativas exitosas en el sistema educativo. Por su parte, Bae y Han (2019) agregan que en los sistemas educativos existe la cuestión de cómo mejorar la calidad y los estándares educativos en las escuelas y universidades, y enfatizan que es necesario saber y comprender cómo los estudiantes gastan su tiempo y energía durante sus estudios.
Se considera que el engagement es un constructo bastante amplio (Fredricks et al., 2016; Reschly & Christenson, 2012), en el que se puede distinguir dos enfoques o perspectivas teóricas principales. La primera sostiene que el engagement se compone de tres dimensiones: compromiso cognitivo, compromiso conductual y compromiso emocional-afectivo (Alrashidi et al., 2016; Fredricks et al., 2004). La segunda perspectiva sostiene que el engagement se compone de vigor, dedicación y absorción (Alrashidi et al., 2016; Schaufeli et al., 2002). Esta ambivalencia conceptual genera que se produzcan dificultades al momento de establecer parámetros para la medición del constructo (Jimerson et al., 2003). Debido a ello, se han desarrollado distintos instrumentos que han tratado de medir el engagement y, hasta cierto punto, han coincidido en dimensiones similares.
Un ejemplo de ello es la propuesta de Aspeé et al. (2019), cuya estructura teórica se conforma por tres dimensiones: compromiso orientado al desarrollo académico, compromiso orientado al desarrollo personal-integral y compromiso orientado al desarrollo ciudadano. Estas dimensiones abordan los principios teóricos que componen el engagement y el involucramiento de los estudiantes en actividades académicas.
Por otro lado, Lara et al. (2018) propusieron una estructura tridimensional distinta para la medición de engagement académico, en la que se consideró una dimensión cognitiva, una conductual y una afectiva. Esta propuesta teórica incluye aspectos puntuales de la experiencia de engagement, así como la medición del involucramiento de la persona a nivel conductual, cognitivo y afectivo. Adicionalmente, Zapata et al. (2018) diseñaron y validaron un instrumento que asoció el concepto de engagement a indicadores como calidad de las interacciones, estrategias de aprendizaje, apoyo institucional y aprendizaje colaborativo, entre otros. Por otro lado, Parra y Pérez (2010) desarrollaron un instrumento dirigido a estudiantes de psicología, cuya estructura teórica caracterizó el engagement en tres dimensiones: dedicación, vigor y absorción. Sin embargo, sus hallazgos no fueron empíricamente consistentes con el modelo propuesto, dado que se obtuvo una estructura bifactorial.
A partir de ello, se ha optado por estudiar este constructo desde una perspectiva más específica: desde las tareas y actividades que se abordan en el aula. El engagement vinculado a las tareas y actividades del aula se define como un conjunto de comportamientos favorables por parte de los estudiantes, como el esfuerzo, el entusiasmo y la iniciativa (Jang et al., 2016). De esta manera, Yévenes-Márquez et al. (2022) diseñan el instrumento Engagement to Academic Tasks Questionnaire (Comp-TA) con tres dimensiones: cognitiva, conductual y afectiva. En primer lugar, la dimensión cognitiva se entiende como la inversión y el esfuerzo del estudiante en sus estudios. En segundo lugar, la dimensión conductual refiere a la consistencia del esfuerzo, la asistencia, las tareas y los comportamientos académicos deseados (Fredricks et al., 2004; Shernoff et al., 2016). Finalmente, la dimensión afectiva corresponde al vínculo afectivo y emocional, y el entendimiento de cómo los estudiantes enfrentan las actividades académicas (Fredricks et al., 2004). Shernoff et al. (2016) añaden que esta dimensión se refiere a las emociones y afectos de los estudiantes frente a sus tareas en el aula. Si bien el cuestionario de Yévenes-Márquez et al. (2022) fue desarrollado para el ámbito escolar, también es replicable en la educación superior y posee buenas propiedades psicométricas.
Así, el Comp-TA fue elaborado con base en 3 instrumentos: Compromiso escolar (School Engagement; Lara et al., 2018), Involucramiento Académico (Rigo & Donolo, 2018) y la Escala de Compromiso hacia las Tareas Escolares (Peña et al., 2017). El primer instrumento fue validado en estudiantes adolescentes y se compuso de 3 factores con cargas de fiabilidad adecuados (sus alpha oscilan entre .83 y .87). Asimismo, el modelo presentó indicadores de ajuste adecuados (RMSEA = .05; CFI = .94; TLI = .93). El Involucramiento Académico fue validado en estudiantes universitarios y se compuso de 6 factores: apego a la universidad, atención en clase, participación activa, dedicación, focalización en la tarea, integración social. Se corroboró la consistencia interna del instrumento con el coeficiente de alfa de Cronbach (.896) y theta (.91) (Peña et al., 2017). Por último, la Escala de Compromiso hacia las Tareas Académicas se adaptó y validó en estudiantes de nivel primario; esta se subdividió en las 3 dimensiones con coeficientes de confiabilidad adecuados (sus alpha oscilan entre .70 y .76) e indicadores de ajuste adecuados del modelo con GFI = .92; CFI = .93 y RMSEA = .04 (Rigo & Donolo, 2018).
Por otro lado, el género ha demostrado estar relacionado con el engagement académico (Ayub et al., 2017; Dominguez-Lara et al., 2021). La literatura sugiere que las mujeres exhiben niveles más elevados de engagement (Carvajal & Carranza, 2022; Hsieh & Yu, 2023). Esta diferencia podría tener un origen cultural, que se refleja en las tareas académicas (Maluenda et al., 2022; Maunula et al., 2023). Sin embargo, es esencial enfatizar que la mayoría de estos estudios no han tenido en cuenta las implicaciones de la invarianza con el género al realizar análisis de validez (Barghaus et al., 2023). En consecuencia, resulta crítico llevar a cabo un análisis de invarianza como un procedimiento que podría favorecer una medición más objetiva y exenta de sesgos.
Medir el engagement académico en estudiantes universitarios se hace relevante para poder identificar hasta qué punto la experiencia educativa impacta en la formación de futuros profesionales. Por consiguiente, el objetivo general de este estudio fue evaluar las propiedades psicométricas de una adaptación y extensión del cuestionario Comp-TA (Yévenes-Márquez et al., 2022) con una muestra de estudiantes universitarios de Lima Metropolitana. Como objetivo específico, se propuso realizar un análisis de invarianza según el sexo de los participantes.
Método
Participantes
La muestra estuvo conformada por 297 estudiantes universitarios del área metropolitana de Lima, Perú. Las mujeres constituyeron el 58.2 % de la muestra y los hombres el 41.8 %. Las edades de los participantes oscilaron entre los 18 y 32 años (M= 20.87; DE= 2.29). Los participantes se encontraban entre segundo y doceavo ciclo (M= 6; DE =2.65). Como criterios de inclusión se consideró que todos los participantes fueran mayores de edad, hayan llevado cursos virtuales durante el ciclo académico 2021-2022 y estuvieran matriculados en la universidad.
Para participar en la investigación, los encuestados leyeron un consentimiento informado en el cual se indicó la importancia y motivo del estudio, así como los requerimientos de este. En el marco de la protección de su integridad, se especificó que la participación era voluntaria, anónima y confidencial. Asimismo, se les aseguró que podrían abandonar la investigación en cualquier momento, sin que esto les generase perjuicio alguno.
Medida
El Engagement to Academic Tasks Questionnaire (Comp-TA) fue elaborado por Yévenes-Márquez et al. (2022) y consta de 15 ítems que subyacen a tres factores del engagement académico: conductual (7 ítems), cognitivo (4 ítems) y afectivo (4 ítems). El cuestionario utiliza un formato de respuesta Likert del 1 al 7, en el que 1 es Totalmente de acuerdo, 2: Algo en desacuerdo, 3: En desacuerdo, 4: Ni de acuerdo ni en desacuerdo, 5: De acuerdo, 6: Bastante de acuerdo y 7: Totalmente en acuerdo. En cuanto a la validez del instrumento, en el análisis factorial exploratorio se utilizó el método de extracción de mínimos cuadrados no ponderados y el método de rotación oblicua Promin. Así, la prueba de esfericidad de Barlett fue significativa, obtuvo un KMO = 0.86, lo cual evidenció que la matriz de correlación era adecuada para análisis factorial. Se extrajo una solución de tres factores que explicaron un total del 57 % de la varianza, lo que se considera un porcentaje adecuado (Pérez & Medrano, 2010). Con respecto a las propiedades psicométricas de la escala, se reportaron índices de ajuste del análisis factorial confirmatorio (CFI = .92; TLI = .90; RMSEA = .07) que indican que el instrumento tiene una validez de estructura interna satisfactoria, con tres dimensiones (Kline, 2016).
Asimismo, se utilizó un protocolo para jueces, se pidió a especialistas en el tema que evalúen los ítems del instrumento según tres criterios: pertinencia, suficiencia y coherencia. La pertinencia refiere a si el ítem corresponde o no a la dimensión asignada. La suficiencia, a si el ítem es adecuado para medir el efecto o concepto evaluado. Y finalmente, la coherencia alude a si el ítem es coherente en términos de redacción.
Procedimiento
El presente estudio presenta un diseño de investigación instrumental, que busca validar un instrumento mediante el uso de análisis de expertos y análisis psicométricos. Para realizar la adaptación del Comp-TA a una población de universitarios limeños, se solicitó el permiso de los autores del instrumento original para su uso y aplicación. Una vez adquirido dicho permiso, los autores de la presente investigación realizaron la traducción de los ítems al español. Luego, el cuestionario fue sometido a un proceso de validación de contenido con cuatro jueces. Posteriormente, se creó el cuestionario en un Google Forms, en el cual se incluyó el consentimiento informado y la ficha sociodemográfica. De esta manera, se realizó un piloto online del cuestionario con cuatro participantes, en el cual se recogieron comentarios y observaciones. Por último, se aplicó el instrumento de manera virtual.
Análisis de datos
Para el presente estudio, se utilizó el software RStudio en la versión 2022.12.0. Primero se realizaron los análisis descriptivos y el criterio de Aiken. Además, se presentó la confiabilidad interna de las tres dimensiones y el instrumento general con los coeficientes de alfa de Cronbach y el omega de McDonald. Con respecto al objetivo principal, se realizó un análisis factorial confirmatorio (CFA) para identificar si la estructura del modelo original se mantiene con un análisis de este tipo. En ese sentido, se considera revisar el error cuadrático medio de aproximación (RMSEA), el residuo cuadrático medio estandarizado (SRMR), el índice de ajuste comparativo (CFI) y el Índice Tuker-Lewis (TLI). Se debe mencionar que los valores aceptables de estos factores son los siguientes: RMSEA < .06; SRMR < .08; CFI > .95; TLI > .95. Para los análisis de invarianza (métrica y escalar), se parte de los puntos de corte propuesto por Rutkowski y Svetina (2014), que señalan que los valores de los índices de ajuste de la invarianza escalar y métrica deberían ser de la siguiente manera: ΔCFI > -.010; ΔRMSEA < .015.
Resultados
En primer lugar, se reportaron los análisis descriptivos del instrumento por ítem, dimensión y el puntaje total (Tabla 1). En cuanto a la validez de contenido, se reportaron los resultados obtenidos en cada ítem (Tabla 2).
Posteriormente, se realizó un CFA para comprobar que la estructura original de la escala de tres dimensiones se replica en la presente muestra. De esta manera, se verificó el Test de Mardia para comprobar el supuesto para ecuaciones estructurales sobre que las variables observadas sigan, en conjunto, una distribución normal multivariante (Kline, 2016). Al respecto, la prueba de Mardia reveló índices de asimetría (ˆγ1 = 1747.64; p< .05) y de curtosis multivariantes (ˆγ2 = 28.32; p< .05) del conjunto de variables del cuestionario, lo cual indicó que los datos no seguían una distribución normal multivariante.
Se realizó un CFA con el método de estimación de máxima verosimilitud y la corrección de Satorra y Bentler (2001), debido a que los datos no cumplen con el supuesto de normalidad multivariada. Este análisis permitió corroborar la estructura factorial de tres dimensiones de la escala adaptada que obtuvo buenos índices de ajuste (χ2(gl) = 202.435(87); p< .001; S-Bχ2 = 1.383; CFI = .924; TLI = .908; RMSEA = .067 (IC = .057-.077); SRMR = .056) en la dimensión de engagement cognitivo (conformada por los ítems 1, 2, 3, 4), la dimensión de engagement conductual (ítems 5, 6, 7, 8, 9, 10 y 11), la dimensión de engagement afectivo (los ítems 12, 13, 14 y 15). Las cargas factoriales fueron significativas (p< .001) y oscilaron entre .510 y .855. (Figura 1).
Posteriormente, se examinó la confiabilidad por consistencia interna mediante el coeficiente alfa y omega de los factores del Comp-TA. Se identificó que la escala presenta una confiabilidad general con un omega total (ω) = .93. Por un lado, el factor engagement cognitivo presentó una confiabilidad elevada, dado que α = .82 y ω = .84. Asimismo, el factor engagement conductual presentó una confiabilidad alta de α = .84 y ω = .89. Por último, el factor engagement afectivo también obtuvo un coeficiente alto de α = .87 y ω = .89.
El siguiente paso fue revisar las propiedades de invarianza del instrumento según el sexo reportado de los participantes (Tabla 3). La invariancia se puede analizar en tres niveles: métrico (se centra en los elementos y la carga factorial de las variables observadas), escalar (repasa las variables latentes o factores) y configural (verifica si la estructura factorial es similar entre los grupos; Milfont & Fischer, 2010).
Siguiendo los criterios propuestos por Rutkowski y Svetina (2014), los resultados mostraron que la escala Engagement to Academic Tasks Questionnaire (Comp-TA) presentó una fuerte invarianza según el sexo del participante tanto en la varianza métrica como en la escalar. Estos resultados indican que no existe una variabilidad por el sexo de los participantes y que la estructura del modelo se mantiene entre estos grupos.
Discusión
El objetivo de este estudio fue adaptar la escala Comp-TA al contexto peruano, se recolectó evidencia sobre la validez y la confiabilidad de la escala con estudiantes universitarios. Los resultados indican que el cuestionario adaptado tiene propiedades psicométricas para ser considerado válido y confiable.
En primer lugar, se observa que se encontraron índices de ajuste adecuados. Si bien existe literatura que difiere en los puntos de corte, la evidencia recolectada se encuentra dentro de los parámetros utilizados tanto por Hu y Bentler (1999), Schreiber et al. (2006) y Rutkowski y Svetina (2014). Asimismo, estos resultados son similares a los procesos de validez y confiabilidad realizados por Lara et al. (2018) y Aspeé et al. (2019). Un aspecto importante a tener en cuenta es que los índices de ajuste del análisis de invarianza métrica y escalar cumplen con los parámetros propuestos por Rutkowski y Svetina (2014). Este análisis es importante, pues brinda evidencia de que no existen diferencias significativas relevantes en las cargas factoriales de la muestra. En ese sentido, los resultados señalan que los ítems no responden de manera diferente entre los grupos (sexo), lo que implica que la fuerza de las relaciones entre los ítems de la escala y la construcción del modelo es igual en todos los grupos (Milfont & Fischer, 2010).
Un aspecto importante a resaltar es que no existen muchos estudios que hayan realizado el análisis de invarianza al validar instrumentos psicométricos que miden el engagement, por lo que este estudio brinda evidencia relevante sobre la estructura factorial original. Asimismo, mantener la invariabilidad del modelo según el sexo del participante es relevante para la medición del engagement, pues, debido a variables culturales, podrían existir diferencias entre los grupos. Al no encontrar estas diferencias, se puede concluir que el modelo no se encuentra afectado por el sexo del participante.
Por otro lado, los resultados obtenidos apoyan la estructura factorial original, se identificó un modelo tridimensional similar al propuesto por Yévenes-Márquez et al. (2022), Fredricks et al. (2004) y Tannoubi et al. (2023). Estos resultados reafirman la importancia de estudiar el engagement teniendo en cuenta la interacción de estas dimensiones, pues permiten estudiar el grado de intensidad y la duración que una conducta tendrá en el contexto académico (Freiberg-Hoffmann et al., 2022).
En ese sentido, Yévenes-Márquez et al. (2022) señalan que el engagement en el salón de clase tiene que incluir experiencias afectivas, cognitivas y conductuales que interactúen al enfrentar una actividad académica. Eso implica que las tres dimensiones puedan mantener una relación coherente entre ellas, lo que ha sido evidenciado en el modelo presentado.
Con respecto a la invariancia por sexo, al probar la invariancia configural, métrica y escalar, se encontró que no existe variabilidad con base en el sexo de los participantes. Este análisis prueba si diferentes grupos responden a los ítems de la misma manera, lo que significa que la fuerza de las relaciones entre los ítems de la escala y la construcción subyacente es la misma en todos los grupos (Hirschfeld & von Brachel, 2014; Milfont & Fisher, 2010). En este caso, se pueden comparar las calificaciones de hombres y mujeres, y las diferencias observadas en los elementos del Comp-TA pueden indicar diferencias grupales de engagement académico.
Asimismo, en términos de confiabilidad, los coeficientes de confiabilidad, alfa y omega, obtenidos en las tres dimensiones del Comp-TA fueron superiores al .70, lo cual indica niveles adecuados de consistencia interna de la escala en la muestra estudiada (Hair et al., 1998; Ventura-León & Caycho-Rodríguez, 2017). En ese sentido, los resultados observados son similares al estudio de Yévenes-Márquez et al. (2022) y son suficientes para realizar futuros estudios de investigación con la escala validada.
Por otra parte, entre las fortalezas que presenta el Comp-TA, se resalta que puede ser aplicada de manera fácil y rápida con tres dimensiones que tienen una funcionalidad práctica dentro del salón de clase: afectiva, conductuales y cognitivas. En ese sentido, se puede identificar qué dimensión debe ser abordada por el docente. Asimismo, el uso del Comp-TA permite identificar si el engagement de los estudiantes puede estar siendo afectado positivamente por alguna intervención educativa innovadora.
Con respecto a las limitaciones de este estudio, es importante señalar que en esta investigación no se midieron otros constructos relacionados con el engagement académico. Futuras investigaciones podrían evaluar otras variables psicológicas de la red nomológica de engagement académico con la finalidad de obtener evidencia de validez convergente, discriminante o de criterio. Además, en cuanto a la muestra en estudio, es importante resaltar que los participantes fueron estudiantes de una universidad de Lima, los cuales, por sus características particulares, no representan suficientemente la realidad de estudiantes universitarios del resto del país. En ese sentido, estos resultados no pueden generalizarse al resto de universitarios peruanos. Por lo tanto, se sugiere que en el futuro se pueda extender el estudio de las propiedades psicométricas del Comp-TA a universitarios de otras partes del Perú.
A pesar de las limitaciones, el Comp-TA en su versión en español aplicado a estudiantes universitarios de Lima se considera una herramienta consistente y adecuada para medir el engagement académico en esta población.