EL IMPACTO DE LA IMPLEMENTACIÓN

DEL SISTEMA DECALIDAD EDUCATIVA PCI A TRAVÉS

DE LA PERSPECTIVA DEL PROFESORADO

The Impact of PCI Education Quality System Implementation

Through Teachers’ Perspective

MARCOS SARASOLA^*, PAOLA DELGADO^** Y JAVIER LASIDA^***

Resumen. Aquí se presentan los resultados de una investigación sobre el impacto del sistema PCI en tres centros educativos a través del estudio de cuatro dimensiones organizacionales que afectan los aprendizajes: comunicación, clima, enseñanza, y aprendizaje y satisfacción de las personas. Además de encontrarse evidencia para afirmar que los docentes consideran que el sistema de calidad PCI ha contribuido a mejorar a su centro educativo, los análisis estadísticos no revelan que haya diferencias estadísticamente significativas entre ellos asociadas a su tamaño y/o población que atienden, por lo que se ha podido observar versatilidad en el sistema estudiado.

Palabras clave: educación, calidad, centros educativos no universitarios, PCI

Abstract. The results of an investigation on the impact of PCI system in three schools are presented through the study of four organizational dimensions that affect learning: communication, climate, teaching, and learning and personal satisfaction. Besides, there is evidence to say that teachers perceive the PCI system as a contribution to improve his school. Statistical analysis did not reveal that there is statistically significant difference between them related to their size and/or population they serve, and versatility of the system has been noted

Keywords: education, quality, non-university educational centers, PCI

 

Recibido el 31 de marzo de 2015

Revisado el 25 de setiembre de 2015

Aceptado el 25 de noviembre de 2015

Este artículo presenta el resultado de replicar en Uruguay la investigación I+D+i titulada “Impacto de los sistemas de calidad en centros educativos”¹ realizada en España para dos sistemas de calidad: el EFQM (European Foundation Quality Management) y el Proyecto de Calidad Integrado (PCI) promovido por Horrêum Fundazioa.

La mejora es siempre una hipótesis causal que tendrá que ser verificada empíricamente (Valverde, 2014). Definir objetivos, acciones e indicadores de evaluación para proyectos de mejora, son elementos indispensables para establecer un sistema de seguimiento. El resultado de la información del seguimiento es indispensable para evaluar el éxito de su desarrollo y sus logros. La evaluación supone una valoración de resultados que son consecuencia de la mejora proyectada, es decir, busca cuáles son los cambios que se han operado.

Según Shadikur Khandker et al. (2010), el mayor desafío del seguimiento de la implementación de una innovación es identificar los objetivos y las acciones para alcanzarlos. Por ejemplo, se podría pensar en mejorar el clima de aprendizaje en el aula o la implicación de las familias en los procesos de aprendizaje de sus hijas e hijos. Asimismo, será necesario definir buenos indicadores que permitan cuidar el progreso de la innovación hacia la consecución de los objetivos previstos, es decir, establecer objetivos y cuantificar el grado en que se han de verificar los indicadores en determinado tiempo.

El sistema de monitoreo, además de hacer un seguimiento del progreso hacia la consecución de los objetivos, ha de servir para recoger información útil a la gestión de los proyectos. Este sistema es tal que ayuda a una mejor gestión así como una mejor rendición de cuentas (responsabilidad) sobre la ejecución de los proyectos.

En tal sentido, es común que un sistema de monitoreo esté vinculado al seguimiento de los resultados. Por ejemplo Jody Zall Kusek y Ray Rist (2004) destacan diez pasos, entre los que sobresalen el conocimiento del proyecto, de cuáles son las claves de la implementación y de cuáles son los instrumentos más adecuados para medir el impacto. Asimismo, es importante manejar la variable “tiempo” con acierto, es decir, los momentos a lo largo del proceso en que puede ser relevante tener información. Si en un momento, antes de la finalización de la implementación de una mejora, se obtiene información a partir de los indicadores que demuestran un importante grado de desviación, esto ayudaría a quienes tienen la responsabilidad de llevar adelante la innovación, la mejora a tomar decisiones que ayuden a aumentar la probabilidad de éxito.

EVALUACIÓN DE LA GESTIÓN Y EVALUACIÓN DEL IMPACTO

La evaluación operacional busca saber si la implementación de un programa se ha desarrollado según lo previsto. Concretamente, se trata de una evaluación retrospectiva efectuada a partir de los objetivos iniciales del proyecto, sus indicadores y metas. Para ello, suele entrevistarse a los “beneficiarios” del programa, tanto como a quienes cabe la responsabilidad de la implementación. Se intenta comparar lo que fue planificado con lo que realmente se ha hecho buscando las brechas entre lo uno y lo otro, así como también los aprendizajes para tener en cuenta en futuros proyectos. Por esto, es muy importante poder efectuar medidas adecuadas, lo que supone ciertas dificultades en función de la complejidad del impacto que se desea estudiar. Por otra parte, la evaluación del impacto trata de entender los cambios originados a raíz de una intervención determinada. Concretamente, se intenta revelar si es posible identificar el efecto de una implementación y en qué grado la medida de ese efecto se puede atribuir a ella o bien, a otras razones.

Estos dos tipos de evaluación son complementarios: ninguno puede sustituir al otro. En tanto que la evaluación operacional suele integrarse a la implementación de un proyecto, la evaluación del impacto no es algo imperativo en todos y cada uno de los proyectos. Normalmente es un estudio que implica recursos que harían inviable un proyecto en sí mismo.

EL IMPACTO DE LOS SISTEMAS DE GESTIÓN DE LA CALIDAD

EN LOS CENTROS EDUCATIVOS

El impacto de los Sistemas de Gestión de la Calidad en los centros educativos, se entiende como los efectos observados que se han producido a partir de su implantación, directa o indirectamente, y que han afectado significativamente el trabajo o “modo de hacer” de la institución educativa y sus resultados. En términos generales, se pueden considerar dos tipos de impacto.

En primer lugar, el impacto interno, es entendido como todo aquel efecto observado en el centro educativo que esté relacionado directamente con los objetivos del sistema de gestión de la calidad que haya sido implantado o sea consecuencia directa de las actuaciones de éste. Por ejemplo, la sistematización duradera y sostenible de los procesos de análisis de los lineamientos estratégicos del centro educativo; el cambio o el mantenimiento de una cultura de la mejora continua de la calidad en el centro educativo; el mejoramiento del clima de trabajo y de aula, etc.

En segundo lugar, el impacto externo es entendido como los efectos permanentes que trascienden los límites de la organización educativa y que son consecuencia indirecta de las actuaciones delineadas en el modelo de calidad. Ejemplos de impactos externos son: el mejoramiento de los niveles de satisfacción de los padres con el trabajo del centro educativo; la mejora de los rendimientos en pruebas estandarizadas y el aumento de los índices de continuidad de estudios superiores de los alumnos del centro; el aumento del prestigio de un centro educativo, etc.

El impacto es por definición ex post, por ende se evalúa en torno a resultados, a menos que los procesos de mejora se definan como resultados teniéndose una línea de base para poder comparar la situación inicial de los centros con la situación “final” (que sería ficticia para posibilitar el análisis).

ALGUNAS EXPERIENCIAS DE MEDICIÓN DE IMPACTO

La implementación de sistemas de gestión de calidad en diferentes centros educativos impacta de un modo diferente. Medir el impacto de estas experiencias implica, en general, realizar una evaluación de determinados aspectos que aproximan una valoración de dicho programa, para tomar decisiones sobre su ejecución. ¿Se obtuvieron los resultados esperados? ¿Es necesario hacer cambios en el programa? ¿Hay que seguir implantándolo o no? ¿Cómo se mide el impacto? A continuación se recogen diversas experiencias de medición del impacto de la implementación de sistemas de gestión de la calidad.

Sin pretensión de exhaustividad, en torno a la Gestión de la Calidad Total (Total Quality Management - TQM) se destacan las investigaciones sobre la extensión de la aplicación del sistema de gestión de la calidad total (Ngware, Wamukuru & Odebero, 2006), un estudio sobre las prácticas de Gestión de la Calidad Total en Turquía (Töremen, Karakus y Yasan, 2009), un análisis de fases del proceso de aseguramiento de la calidad (Ng, 2008) y la autoevaluación basada en el sistema de gestión de la calidad total (Svensson & Klefsjö, 2006). Entre los diversos estudios sobre la norma ISO, sobresale el que investiga la relación entre la aplicación del sistema de gestión ISO 9000 y los resultados de los centros educativos (Bae, 2007). Por último la investigación de los factores contextuales que influyen de manera positiva o negativa en la mejora efectiva de los centros educativos en los Países Bajos, en el programa Mejora Efectiva del Centro Educativo en Países Bajos (Sun & de Jong, 2007).

El Proyecto de Calidad Integrado

El Proyecto de Calidad Integrado (PCI) es un sistema de autoevaluación y mejora educativa, creado por la Horrěum Fundazioa de Bilbao y con la colaboración del Instituto de Ciencias de la Educación (ICE) de la Universidad de Deusto. Tiene por objetivo facilitar el cambio desde una cultura burocrático-formal a una cultura transformacional centrada en el crecimiento profesional y humano de las personas que lo constituyen (Sarasola, 2007).

En el PCI se parte de que el concepto de calidad no es ni unívoco ni estable. A lo largo de la historia ha ido evolucionando adoptando significados muy dispares. Por este motivo, en vez de partir de una definición dada de calidad, se lleva a cabo un proceso para que cada centro consensue su propio concepto de calidad.

A pesar de la no definición a priori del concepto de calidad, en el PCI se manejan ciertos principios básicos de la calidad que son los siguientes:

1. PRINCIPIO DE ORIENTACIÓN AL ALUMNADO DE TODA ACTIVIDAD EDUCATIVA. Todos los cambios, innovaciones, mejoras, etc., que se proyecten o implanten en los centros educativos tienen, como fin último, el mayor y mejor aprendizaje de los estudiantes.

2. PRINCIPIO DE SATISFACCIÓN DE LAS PERSONAS. La satisfacción de todos los miembros de la comunidad educativa es resultado y, a la vez, condición para la mejora del centro educativo.

3. PRINCIPIO DE IMPLICACIÓN. La sostenibilidad en el tiempo de los procesos de cambio o mejora, es indispensable contar con altos niveles de implicación por parte de los agentes afectados.

4. PRINCIPIO DE NEGOCIACIÓN Y CONSENSO. La resolución de conflictos y la toma de decisiones se basa en estos dos mecanismos.

5. PRINCIPIO DE LIDERAZGO COMPARTIDO. Comprometido con la mejora de la escuela. Los procesos de cambio deben sustentarse en un liderazgo transformacional que sirva de impulso, motivación y coordinación para la mejora.

6. PRINCIPIO DE EVALUACIÓN. La evaluación se entiende como el principal motor para la mejora del centro educativo, por lo que se aplica en distintos momentos del proceso de implantación del sistema teniendo éstas caracteres tanto formativos (como orientación para la toma de decisiones) como sumativos (certificación).

7. PRINCIPIO DE EFICACIA Y RESULTADOS. A través de la evaluación de la eficacia y los resultados se puede objetivar el avance y los logros del centro educativo.

La estructura del PCI se diferencia de otros modelos de calidad que se basan en un conjunto de criterios aplicados con éxito en la cultura empresarial, en que se estructura en ámbitos y estándares de calidad (Villa et al., 2003) contextualizados al centro educativo en indicadores. En concreto, el sistema considera siete ámbitos que definen la “vida del centro educativo”:

1. PLANTEAMIENTOS INSTITUCIONALES. En este ámbito, se hace referencia a la cultura formal del centro educativo. Trata sobre cuatro aspectos fundamentales a tener en cuenta en una organización de futuro: la definición de la Razón de Ser (Misión), la Visión, los Valores Institucionales y el compromiso con la Calidad. Asimismo, se refiere a los factores críticos de éxito que se concretan en documentos institucionales como el Proyecto Educativo del Centro, el Plan Operativo Anual y el Plan Estratégico (Muñoz y Sarasúa, 2006).

2. ESTRUCTURAS ORGANIZATIVAS. Este ámbito hace referencia al funcionamiento de la vida del centro educativo que, desde la perspectiva formal, se concreta en estructuras como el Conjunto de los Docentes, los Equipos Docentes y el Equipo Directivo (García & Aguirregabiria, 2006). Estas estructuras establecen relaciones de coordinación entre sí y gestionan su trabajo por medio de proyectos.

3. RELACIÓN Y CONVIVENCIA. Aquí se hace referencia a la regulación de las relaciones y la convivencia a través de un Proyecto de Convivencia y a la existencia de un clima institucional y un clima de aula favorables para la consecución de los fines del centro educativo.

4. ORIENTACIÓN Y ACOMPAÑAMIENTO. Este ámbito se refiere al acompañamiento de los estudiantes, el Plan de Acompañamiento Grupal y Personal y a la orientación académico-profesional. El Plan de Acompañamiento Grupal y Personal, como documento maestro, se desarrolla y concreta a través de distintas modalidades, ya sea con los estudiantes, con las familias o con los diferentes profesionales del centro educativo. Asimismo, existe un Servicio de Orientación que, en coordinación con otras estructuras y personas, gestiona su trabajo por medio de un proyecto propio.

5. CURRÍCULUM. Este ámbito trata sobre el desarrollo del Proyecto Curricular, las actividades complementarias obligatorias y el desarrollo profesional docente, como factores que propician resultados positivos en los aprendizajes de los estudiantes y la satisfacción de todos los implicados.

6. FAMILIA Y ENTORNO. En este ámbito, se hace referencia a las relaciones (o nivel de implicación) que establece el centro educativo con las familias y con el entorno circundante (Martínez Pampliega & Galíndez Nafarrete, 2003).

7. SERVICIOS Y RECURSOS. Aquí se hace referencia a los servicios que ofrece el centro educativo incluyendo las actividades opcionales y la definición de los perfiles profesionales que habrán de regir los procesos de selección de personal. Incluye también la gestión económica y financiera, que se concreta a través del Plan financiero-Económico del centro educativo y del Plan Económico Anual.

 Cada uno de estos ámbitos posee una serie estándares de calidad, que se concretan en el contexto del centro educativo a través de indicadores, con los cuales se puede establecer juicios y/o valoraciones sobre el grado de calidad logrado por el centro educativo. Por otra parte, el sistema PCI considera tres ejes transversales que recorren los siete ámbitos antes mencionados, entre los que se destaca el eje de la cultura (Sarasola, 2003) medida a partir de sus elementos: colaboración, visión compartida, planificación compartida, colegialidad, profesores eficaces, apoyo mutuo, liderazgo, y reconocimiento y valoración. Un segundo eje es el de los procesos, entre los que se desatacan: la evaluación y atención a las necesidades, la identificación de procesos clave, la gestión de procesos y planificación estratégica, el seguimiento de planes y la evaluación sistemática. Por último, el eje de los resultados en el alumnado, el profesorado y la institución: los resultados en el alumnado relacionados con la adquisición de las competencias establecidas y la satisfacción de expectativas; los resultados en el profesorado en tanto calidad profesional y satisfacción laboral y personal, y los resultados institucionales entendidos como la efectividad de su trabajo y la satisfacción de las personas que integran la comunidad educativa.

DIMENSIONES DEL ESTUDIO

El estudio analiza el impacto de la aplicación del PCI en cuatro dimensiones de la vida de los centros. A continuación se hará una breve fundamentación de la relevancia de estas dimensiones en la calidad educativa.

Comunicación

Los centros educativos, como organizaciones, generan procesos de comunicación internos y con el exterior, especialmente con las familias. Los procesos internos de comunicación están fuertemente condicionados por el liderazgo. En el marco de una investigación promovida por Mid-continent Research for Education and Learning (http://www.mcrel.org) sobre los efectos del liderazgo en los aprendizajes del alumnado, Robert Waters, Timothy Marzano y Brian McNulty (2003) trabajaron sobre una muestra de setenta investigaciones que implicaban a dos mil ochocientos noventa y cuatro centros educativos, un millón cien mil estudiantes y catorce mil docentes. La investigación dio como resultado veintiún responsabilidades de liderazgo asociadas con el aprendizaje del alumnado. Entre las siete primeras se encuentra la comunicación (r media 0,23; intervalo confianza 95%: 0,10 a 0,35) a partir del análisis de diez estudios realizados en un total de doscientos cuarenta y cinco centros educativos. El concepto de liderazgo-comunicación fue sintetizado como el líder que establece fuertes canales de comunicación con el profesorado y con el alumnado.

Los procesos internos de comunicación también inciden en el desarrollo de innovación docente. La investigación ha mostrado la importancia de las políticas de comunicación para la construcción de una cultura de la innovación docente como así también de su inhibición (Hernández Gómez, 2015).

Un centro de calidad también cuida la comunicación con las familias. Sin embargo, suele ocurrir que se confunde comunicación con información, agravado por un carácter unidireccional de la misma. La comunicación, cuando es multidireccional y vinculada con aspectos significativos de la vida escolar como la resolución de conflictos (Palomares Ruiz, 2015) se configura en un aliado del trabajo docente.

Clima organizacional

El clima organizacional se ha mostrado como un factor de relevancia en la calidad educativa, tal y como muestran diversos estudios como, por ejemplo, el hecho por Tabaré Fernández que verifica la fuerza de los lazos de solidaridad y empatía entre el profesorado (Fernández, 2004) o el de OREALC/UNESCO LLECE, que identifica factores asociados al aprendizaje —en 16 países de la región y el estado mexicano de Nueva León— y en el que se observó que el clima escolar es la variable más importante para explicar el logro de los estudiantes (Valdés et al., 2008: 157).

El estilo de liderazgo ha sido identificado como una de las variables de especial preeminencia en la definición del clima organizacional. La dirección, como constructora privilegiada de clima institucional donde se apoya el equipo docente es un hecho ampliamente corroborado en diversas investigaciones (CEPPE, 2009; Ediger, 2009; Leithwood, Aitkez y Jantzi, 2006).

La posición decisiva de los directores en la construcción de la relaciones en el centro coincide con el informe TALIS 2013. En éste se destaca la necesidad de contar con su apoyo, ya sea con espacios físicos que favorecen el intercambio informal o tiempo fuera del recinto escolar o disminuir el trabajo administrativo para dedicarlos a desarrollar los vínculos con estudiantes y colegas.

Enseñanza-aprendizaje

Un sistema de calidad educativa, necesariamente ha de poner su foco en los aprendizajes y en los procesos para que ocurran: buenos, suficientes y oportunos. En este sentido, se ha ido transitando de una atención exacerbada de la enseñanza protagonizada por el docente, a un cuidado por los aprendizajes y por el papel del estudiante como actor fundamental y responsable del proceso, es decir, un currículo cuyo marco de referencia deja de estar basado en las disciplinas para referirse al desarrollo de competencias en los estudiantes (Sandoval Martinez, García Avalos, Velázquez López y Sepúlveda Palacios, 2015).

El diseño de espacios de aprendizaje colaborativo de los estudiantes (De Miguel Díaz et al., 2006; Poblete Ruiz y García Olalla, 2004), el aprendizaje basado en proyectos (Budihastuti, 2015) como el uso de tecnologías que faciliten los aprendizajes y su evaluación (Swig, 2015), son rasgos distintivos de un currículo innovador.

Satisfacción

Desde hace ya un tiempo, diversos estudios muestran significatividad estadística entre la percepción de los docentes acerca de las facilidades u obstáculos que tienen para desarrollar su tarea y su intención de permanecer o marcharse (Loeb, Darling-Hammond y Luczak, 2005; Buckley, Schneider y Shang, 2004), estudios que sirven como información a tener en consideración. Esto ocurre independientemente de las características demográficas del alumnado (Ladd, 2010).

El segundo efecto decisivo que tienen las percepciones de las condiciones laborales de los docentes reside en la razón de ser de los centros: los aprendizajes del alumnado. Si bien no hay muchos estudios a gran escala, se dispone de suficiente evidencia (Ladd 2010; Johnson, Kraft y Papay, 2011).

El estudio de Helen Ladd (2010) muestra que las condiciones en que se desarrollan los proceso de enseñanza y aprendizaje predicen los aprendizajes en matemática y, en menor grado, en lectura. El otro estudio, el de Susanne Moore Johnson, Matthew Kraft y Jophn Papay (2011) muestra el impacto de las condiciones favorables de trabajo en los aprendizajes. Finalmente, el Proyecto MET estudia las relaciones entre condiciones y aprendizajes y un análisis preliminar y reciente de la información confirma relaciones estadísticamente significativas (Ferguson & Hirsch, 2013).

METODOLOGÍA

Este estudio ex post facto de carácter exploratorio acerca del impacto provocado por el PCI se llevó a cabo en tres centros educativos de la ciudad de Montevideo. Dos de ellos se ubican dentro de un nivel socioeconómico bajo y el otro dentro de un nivel socioeconómico medio. Los tres se ubican geográficamente en barrios diferentes.

Se aplicó un cuestionario a aquellos docentes que, a la fecha de completarlo, presentaban como mínimo tres años de trabajo dentro del Centro y, a su vez, habían trabajado con el PCI. El cuestionario es una adaptación del utilizado para valorar el impacto del sistema de gestión de calidad en centros educativos realizado por el Equipo de Investigación del Proyecto I+D+i dirigido por Aurelio Villa sobre “Impacto de la implantación de Sistemas de Gestión de la Calidad en centros educativos” con Ref. EDU2009–14773–C02–02.

Para ello, un equipo de investigación del Departamento de Educación de la Universidad Católica del Uruguay elaboró una primera adaptación al contexto uruguayo. Posteriormente se consultó a seis expertos que valoraron cada una de las variables según su pertinencia (en sí misma como variable de impacto de calidad y su pertenencia a la dimensión), así como también su redacción. Este proceso dio como resultado los insumos para una nueva versión del instrumento. Cabe agregar que no hubo modificaciones sustanciales, más que de expresiones o palabras que podrían no interpretarse cabalmente por parte de los docentes participantes.

El cuestionario original contiene ciento veintiocho preguntas repartidas en seis dimensiones: Comunicación; Sistema de Gestión (subdividida en Cultura de Planificación y Políticas de Apoyo y Reconocimiento); Clima; Proceso Enseñanza-Aprendizaje; Satisfacción y Relaciones, y se responde anónimamente. La escala utilizada va del 1 al 5 siendo 1 el equivalente a Nada, Ninguno/a o Nunca; 2, Muy poco o A veces; 3, Poco o Varias veces; 4, Bastante o Casi siempre, y 5 Mucho o Siempre. Al 0 se lo toma como No contesta. En este estudio se analizan cuatro de las seis dimensiones, mediante 64 ítems: Comunicación (14), Clima (24), Proceso Enseñanza-Aprendizaje (23) y Satisfacción (3).

RESULTADOS

De la aplicación y procesamiento de los datos obtenidos, se presentan a continuación los análisis de las medias obtenidas para cada variable, así como las medias por dimensión y centro.

Comunicación

SISTEMA DE INFORMACIÓN Y COMUNICACIÓN. En esta dimensión se considera la modificación o generación de un sistema de comunicación vertical (de directivos al profesorado y clientes externos, tales como familias, alumnos, proveedores y otras instituciones externas, tales como administración y centros de educación de etapas anteriores y posteriores. Asimismo, se considera la modificación o generación de un sistema de comunicación horizontal (entre profesores de las mismas o diferentes etapas, cursos y áreas; entre personal de administración de igual o diferentes estamentos).

Como puede observarse en la Error: No se encuentra la fuente de referencia, en los tres centros se obtuvieron valores bastante similares y que en la escala de 1 a 5 muestra una relación positiva de los cambios que ha generado la implantación del PCI en los centros. El centro A es el de mayor tamaño y recibe estudiantes de sectores de ingresos medio altos. Los centros B y C son pequeños, de alcance barrial y ubicados en zonas de bajos ingresos.

 

Sin embargo, surge con claridad una diferencia en el segundo ítem, que se ha coloreado en gris. Es evidente que el buzón de sugerencias no ha sido un artefacto que haya sido un resultado de la aplicación del sistema. Ha de reconocerse que no es una herramienta muy extendida en los centros educativos y que no se ha operado un cambio importante en su utilización.

Por otra parte, valores importantes son los asignados a la mejora de la eficacia del uso de las vías de comunicación del equipo directivo hacia los profesores y del uso de las vías de comunicación del centro hacia las familias.

Clima

Esta segunda dimensión fue analizada mediante una escala como se muestra en la Error: No se encuentra la fuente de referencia. En términos generales, puede observarse un comportamiento similar al presentado en la dimensión anterior. Los valores siguen siendo por encima del 3 en la mayoría de las variables. En el centro A, que es que el que atiende un mayor número de estudiantes, la media de la dimensión es 3,85 y ninguna de las variables tiene un valor menor a 3,17. No así es el caso de los otros dos centros más pequeños, en los que se han detectado un menor impacto desde la perspectiva del profesorado. En cualquier caso, podría llamar la atención que, en un centro con muchos docentes, el clima haya mejorado más que en los más pequeños donde, debido a la proximidad de las personas y el trabajo en común, podría verse facilitado.

 

Enseñanza y aprendizaje

La enseñanza y aprendizaje es el proceso más importante del centro educativo. En esta dimensión, se hace referencia a aquellos aspectos directamente controlables por el centro educativo y principalmente por el profesorado, que contribuyen decisivamente a la formación de los estudiantes.

METODOLOGÍA. Aquí se busca dar cuenta de las diferentes metodologías aplicadas por el profesorado para contribuir a un mejor aprendizaje en sus estudiantes.

ENFOQUE. Se hace referencia aquí a los diversos modos en los que el profesorado aborda la clase.

EVALUACIÓN. Este elemento tiene una importancia decisiva. Los métodos de evaluación y los propios contenidos a evaluar pueden ser variados, pero se debe tener siempre en cuenta que el objetivo es el mejoramiento de los logros de aprendizaje de los estudiantes.

TIEMPO DEDICADO. Aquí, se busca analizar la utilización de los tiempos en las aulas, tanto aquellos momentos de exposición de parte del profesor como los momentos de trabajo en grupo de los estudiantes, etc.

ADECUACIÓN AL RITMO DE LOS ESTUDIANTES. Aquí se busca evaluar no sólo los logros de los estudiantes como un todo sino que también los logros individuales de acuerdo a las capacidades y limitantes de éstos. Se debe analizar aquí la consideración de las necesidades educativas especiales tanto para los alumnos con talentos sobresalientes, como para aquellos con dificultades específicas.

TUTORÍA. Aquí se pretende dar cuenta de las acciones tutoriales en términos de su relevancia para la educación integral e individualizada dando trascendencia a los contenidos y a la instrucción misma.

SEGUIMIENTO Y ACOMPAÑAMIENTO. Muy relacionada con la anterior, este elemento hace referencia también a los procesos personalizados de enseñanza-aprendizaje, teniéndose en cuenta aquellos aspectos de monitoreo permanente en términos de los logros y las necesidades particulares de los alumnos.

En general la opinión es positiva, como se ve en la Error: No se encuentra la fuente de referencia. Se puede apreciar que en la contemplación de los valores y actitudes de los estudiantes, en las calificaciones finales y en la realización de una evaluación inicial al comienzo de cada ciclo educativo para conocer el nivel de los alumnos, se ha notado mayor aplicación del PCI con resultados positivos. Donde menos se apreció la incidencia positiva del PCI es en el análisis de los resultados obtenidos en pruebas externas (si bien no es parejo, dado que en el centro B sí fue bastante positivo) y en la organización de grupos flexibles en las asignaturas instrumentales en función del ritmo de aprendizaje de los alumnos.

 TABLA 3.

También se puede observar que, en la mayoría de los ítems, los resultados de los centros A y B son bastante similares y se diferencian levemente con el centro C. Se observa también que tanto las familias como los integrantes de la comunidad educativa se encuentran muy involucrados con los aprendizajes de los alumnos revisando y evaluando constantemente las prácticas y los resultados académicos.

A diferencia de las otras dos dimensiones, no ha habido valores por debajo del 3, siendo en este caso la dimensión con mejor valoración. Esta característica es relevante por cuanto si un sistema logra impactar en lo nuclear del centro como son los procesos de enseñanza y aprendizaje y es la opinión de los propios docentes, hace pensar en las bondades y conveniencia de su aplicación.

Satisfacción

Con esta dimensión se pretende analizar el grado de cumplimiento de las expectativas de los diferentes usuarios del centro (profesores, personal de administración y servicios, alumnos, familias, proveedores, etc.). Se centrará la atención en los siguientes elementos: la mejora continua en los resultados de las evaluaciones del grado de satisfacción de los diferentes usuarios con los servicios prestados (proceso de enseñanza-aprendizaje, proceso de orientación y tutoría, atención de la dirección y profesorado, etc.); por otro lado, se analizará la fidelización de los usuarios, por ejemplo, el incremento del número de familias que llevan a sus hijos al centro por referencias de clientes.

Como se puede apreciar en laError: No se encuentra la fuente de referencia, los valores son altosen el centro B, intermedios en el centro A y llamativamente bajos en el centro C. Este caso se destaca ya que, si bien hubo valores menores a 3 en algunos ítems, en el global de la dimensión la media siempre fue superior.

 

Se intentó confirmar, mediante un análisis factorial, si las variables se agrupaban según las dimensiones iniciales o bien era necesario reordenarlas y, en caso de ser necesario, desechar algunas de ellas. Para conocer la pertinencia de este análisis se comparó la magnitud de los coeficientes de correlación con la magnitud de los coeficientes de correlación parcial a través de la medida de adecuación muestral KMO (Kaiser-Meyer-Olkin). En este caso se obtuvo un valor de 0,237, razón por la que se descartó el procedimiento considerando que es recomendable hacerlo así para valores menores de 0,5. Sin embargo la prueba de esfericidad de Barlett niega la hipótesis nula de que la matriz de correlaciones es una matriz de identidad, en cuyo caso existen correlaciones significativas entre las variables y el modelo factorial sería pertinente. Frente a esta evidencia se exploró si, aún en el caso en que no se verificaran las dos condiciones, con una de ellas válida (Sig. ,000) se podría llegar a una reducción de factores. Así que se efectuó la extracción mediante el análisis de componentes principales (Método de rotación: Normalización Varimax con Kaiser). El resultado fue que las variables de clima, y de enseñanza y aprendizaje tendían a agruparse en una sola dimensión. Este resultado no resulta sorprendente sino confirmatorio del impacto que tiene el clima en los procesos de enseñanza y aprendizaje. No obstante, para los fines perseguidos, se optó por no hacer la reducción. Se asumió que la fiabilidad de las escalas, cuyo valor puede verse en la Error: No se encuentra la fuente de referencia, unida a los resultados de tratamientos similares sobre el mismo instrumentos en investigaciones precedentes (Carballo Santaolalla, Congosto Luna y Fernández Cruz, 2013; Fernández Cruz, Carballo Santaolalla y Congosto Luna, 2013; Rodríguez Mantilla y Fernández Díaz, 2013; Rodríguez Mantilla, Fontana Abad y Fernández Díaz, 2013; Villa, Troncoso y Díez, 2015) permitían seguir adelante con los análisis dando por adecuado al instrumento.

 

A los efectos de analizar si había diferencias estadísticamente significativas entre los centros, se utilizó la prueba de Scheffé para hacer comparaciones múltiples entre las medias de los centros. En la Error: No se encuentra la fuente de referencia se han dispuesto las cuatro dimensiones y se han marcado en cada una de ellas, si había diferencias estadísticamente significativas o no entre los tres centros al nivel 0,05.

 

Como ya se había podido tener algún indicio al revisar los estadísticos descriptivos, las diferencias entre los centros no son relevantes, excepto en el caso de la dimensión Satisfacción, donde claramente el centro C se diferencia de los otros dos centros.

Es de destacar que donde mayor impacto se detecta es en la dimensión “Enseñanza-aprendizaje”. Esto se interpreta como muy positivo ya que quienes fueron consultados son justamente las personas más involucradas en los procesos de enseñanza y aprendizaje.

En la dimensión “Comunicación” hay diferencias solo entre el centro B y el centro C. En la dimensión “Clima” no se han encontrado diferencias entre ninguno de los tres. En “Enseñanza-aprendizaje” las diferencias se ubican entre el A y el C.

Donde mayores diferencias se encuentran es en la dimensión “Satisfacción” que, como puede observarse, el centro C se diferencia de los dos restantes.

A pesar de estas diferencias puntuales, no se pueden observar vinculaciones entre el tamaño o el sector socio económico de la población que atienden, lo que podría leerse como un ventaja del sistema, ya que estaría logrando un impacto bastante similar a pesar de sus diferentes características.

CONCLUSIONES

La primera conclusión es que los docentes creen que el sistema de calidad PCI ha contribuido a mejorar a su centro educativo. Eso es especialmente destacable en la dimensión “Enseñanza-aprendizaje”, que es la que atañe más directamente al propósito principal de los centros educativos y, específicamente, se define como el eje del PCI. Globalmente la valoración del aporte es positiva, si bien en los tres centros se observaron aspectos donde no se percibieron impactos del sistema de calidad. Especialmente en uno de los centros se registraron valoraciones críticas respecto al impacto en la satisfacción.

 Los sistemas de evaluación y mejora dirigidos a centros educativos son parte de la última generación de sistemas de calidad de la gestión, que se diferencia de las anteriores por ser diseñados específicamente para un cierto tipo de organización, en este caso para las educativas (simultáneamente hoy se dispone de herramientas desarrolladas también especialmente para una amplia diversidad de otros sectores). Importa por lo tanto evaluar la eficacia de estas nuevas herramientas. Las instituciones educativas son organizaciones con rutinas y cultura robustas (con algunos componentes que favorecen y otros que perjudican el cumplimiento de sus objetivos) y con una fuerza inercial que se hace difícil modificar. Por lo tanto, es relevante identificar instrumentos que muestren eficacia para cambiar las dinámicas inerciales, allí donde sea necesario, donde se lo proponga el propio centro.

Además de la eficacia, el estudio permite observar la versatilidad del sistema estudiado. Justamente, la segunda conclusión es que el PCI mostró una eficacia similar en tres centros seleccionados por sus características diferentes. Uno de ellos, de mayor tamaño, recibe estudiantes de sectores de ingresos medio altos y dispone de mayores recursos para su funcionamiento. En tanto los otros dos son centros pequeños, de alcance barrial y ubicados en zonas de bajos ingresos que cuentan con menos recursos para sus presupuestos. Si bien globalmente las percepciones del primer centro son algo mejores, las diferencias son poco significativas y, en todo caso, más que plantear dudas sobre su adecuación a las características de unos y otros centros, abre la pregunta sobre las condiciones y apoyos que se requieren para aplicarlo en ambos tipos de organizaciones. Los datos permiten plantear la hipótesis de que el primer centro contó con más recursos, lo que incidió en la percepción de los resultados, sin alcanzar a inviabilizar la utilización del sistema por disponer de menos recursos. En contraste, existe evidencia que la generación anterior de sistemas de calidad de la gestión, genéricos para distintos tipos de organizaciones, muestra dificultades importantes con centros más reducidos y con menores recursos.

BIBLIOGRAFÍA

 Bae, S. H. (2007). The relationship between ISO 9000 participation and educational outcomes of schools. Quality assurance in Education, 15(3), 251-270.

 Buckley, J., Schneider, M. y Shang, Y. (2004). The effects of school facility quality on teacher retention in urban school districts. National Clearinghouse for Educational Facilities, 24 (pp. 2005-2132). Washington, DC: National Clearinghouse for Educational Facilities.

 Budihastuti, E. (2015). Short Story Text in Project-Based Learning Model on 7th Graders. American Journal of Educational Research, 3(2), 109-115.

 Carballo Santaolalla, R., Congosto Luna, E., & Fernández Cruz, F. J. (2013). "Evaluación del impacto de la implantación del modelo de excelencia europeo (EFQM) en el sistema de gestión del centro educativo". Trabajo presentado en Investigación e Innovación Educativa al Servicio de Instituciones y Comunidades Globales, Plurales y Diversas: Actas del XVI Congreso Nacional/II Internacional Modelos de Investigación Educativa de la Asociación Interuniversitaria de Investigación Pedagógica (AIDIPE). Alicante, 4-6 de septiembre de 2013.

 CEPPE. (2009). Prácticas de liderazgo directivo y resultados de aprendizaje. Hacia conceptos capaces la investigación empírica. Revista Iberoamericana sobre calidad, eficiencia y cambio en educación 7(3), 19 - 33.

 De Miguel Díaz, M., Alfaro Rocher, I., Apodaca Urquijo, P., Arias Blanco, J., García Jiménez, E. y Lobato Fraile, C. (2006). Metodologías de enseñanza y aprendizaje para el desarrollo de competencias: orientaciones para el profesorado universitario ante el Espacio Europeo de Educación Superior: Madrid: Alianza.

Ediger, M. (2009). The Principal in the Teaching and Learning Process. Education, 129(4).

 Fernández, Tabaré (2004). Clima organizacional en las escuelas: un enfoque comparativo para México y Uruguay. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 2(2), 43-68.

 Fernández Cruz, F. J., Carballo Santaolalla, R. y Congosto Luna, E. (2013). Evaluación del impacto de la aplicación del modelo de excelencia europeo (EFQM) en los procesos de enseñanza-aprendizaje de los centros educativos. Trabajo presentado en Investigación e Innovación Educativa al Servicio de Instituciones y Comunidades Globales, Plurales y Diversas: Actas del XVI Congreso Nacional/II Internacional Modelos de Investigación Educativa de la Asociación Interuniversitaria de Investigación Pedagógica (AIDIPE). Alicante, 4-6 de septiembre de 2013.

 García, O. A. y Aguirregabiria, J. (eds.). (2006). El Proyecto de Dirección. Bilbao: Fundación Horreum.

 Hernandez Gómez, E. (2015). Factores determinantes en la comunicación de los procesos de innovación docente: aplicación en los centros de Enseñanza Secundaria Públicos de la Región de Murcia. Proyecto de investigación. Disponible en http://hdl.handle.net/10201/42686 [Accedido en diciembre de 2015]

 Johnson, S. M., Kraft, M. A. y Papay, J. P. (2011). How context matters in high-need schools: The effects of teachers’ working conditions on their professional satisfaction and their students’ achievement. Teachers College Record 114(10), 1-39

 Khandker, S. R., Koolwal, G. B., y Samad, H. A. (2010). Handbook on impact evaluation: quantitative methods and practices. World Bank Publications.

Kusek, J. Z. Y Rist, R. C. (2004). Ten steps to a results-based monitoring and evaluation system: a handbook for development practitioners, 289 CIUDAD: World Bank Publications.

 Ladd, H. (2010). Teachers' Perceptions of Their Working Conditions: How Predictive of Policy-Relevant Outcomes? Education Evaluation and Policy Analysis. Disponible en http://epa.sagepub.com/content/33/2/235.abstract [Accedido en deciembre de 2015].

 Leithwood, K., Aitken, R. Y Jantzi, D. (2006). Making Schools Smarter: Leading With Evidence (3 ed.). California: Corwin.

 Loeb, S., Darling-Hammond, L. Y Luczak, J. (2005). How teaching conditions predict teacher turnover in California schools. Peabody Journal of Education, 80(3), 44-70.

 Martínez Pampliega, A. y Galíndez Nafarrete, E. (eds.). (2003). Familia y entorno. Implicación de la familia en la organización escolar. Bilbao: Fundación Horreum.

 Muñoz, M. y Sarasúa, A. (eds.). (2006). Planteamientos institucionales. Bilbao: Fundación Horreum Fundazioa - Mensajero.

 Ng, P. T. (2008). The phases and paradoxes of educational quality assurance: The case of the Singapore education system. Quality assurance in Education, 16(2), 112-125.

 Ngware, M. W., Wamukuru, D. K., y Odebero, S. O. (2006). Total quality management in secondary schools in Kenya: extent of practice. Quality assurance in Education, 14(4), 339-362.

 Palomares Ruiz, A. (2015). Análisis de modelos de comunicación profesorado-familia para gestionar conflictos: Estudio de la comunidad educativa de Albacete. Pedagogía social: revista interuniversitaria 25, 11-25.

 Poblete Ruiz, M. y García Olalla, A. (2004). Análisis y evaluación del trabajo en equipo en alumnado universitario: propuesta de un modelo de evaluación de desarrollo del equipo. Trabajo presentado a Pedagogía universitaria, hacia un espacio de aprendizaje compartido.

 Rodríguez Mantilla, J. M. Y Fernández Díaz, M. J. (2013). Validación de un instrumento de medida para evaluar el impacto de los Sistemas de Gestión Calidad en centros educativos. Trabajo presentado en Investigación e Innovación Educativa al Servicio de Instituciones y Comunidades Globales, Plurales y Diversas: Actas del XVI Congreso Nacional/II Internacional Modelos de Investigación Educativa de la Asociación Interuniversitaria de Investigación Pedagógica (AIDIPE). Alicante, 4-6 de septiembre, 2013.

Rodríguez Mantilla, J. M., Fontana Abad, M. y Fernández Díaz, M. J. (2013). Evaluación del impacto del la implantación del Modelo de Excelencia Europeo (EFQM) en los sistemas de comunicación y de relaciones externas de los centros educativos. Trabajo presentado en Investigación e Innovación Educativa al Servicio de Instituciones y Comunidades Globales, Plurales y Diversas: Actas del XVI Congreso Nacional/II Internacional Modelos de Investigación Educativa de la Asociación Interuniversitaria de Investigación Pedagógica (AIDIPE). Alicante, 4-6 de septiembre, 2013.

Sandoval Martinez, M., García Avalos, M., Velázquez López, G. d. C. y Sepúlveda Palacios, G. E. (2015). Curricular Reform: Changing from Disciplined-Based to Competency-Based Framework. International Journal of Education, 7(1), 143-153.

Sarasola, M. (2007). Estándares de la calidad pedagógica en el marco del Proyecto de Calidad Integrado. Cuadernos del CLAEH, 29(93).

Sarasola, M. R. (ed.). (2003). Hacia una cultura de la calidad. Bilbao: Mensajero.

 Sun, H., y de Jong, R. (2007). Effective school improvement in The Netherlands. International journal of educational management, 21(6), 504-516.

 Svensson, M. y Klefsjö, B. (2006). TQM-based self-assessment in the education sector: Experiences from a Swedish upper secondary school project. Quality assurance in Education, 14(4), 299-323.

 Swig, S. (2015). TICs y formación docente: formación inicial y desarrollo profesional docente. Notas de Política PREAL. Disponible en https://www.oas.org/cotep/GetAttach.aspx?lang=En&cId=265&aid=417

 Töremen, F., Karakus, M. y Yasan, T. (2009). Total quality management practices in Turkish primary schools. Quality assurance in Education, 17(1), 30-44.

 Valdés, H., Treviño, E., Acevedo, C. G., Castro, M., Carrillo, S., Costilla, R. y Pardo, C. (2008). Los aprendizajes de los estudiantes de América Latina y el Caribe: Primer reporte de los resultados del Segundo Estudio Regional Comparativo y Explicativo: OREALC/UNESCO.

 Valverde, G. (2014). Educational quality: global politics, comparative inquiry, and opportunities to learn. Trabajo presentado en 2014 Midwestern CIES Regional Conference, Indiana University, Bloomington, IN.

 Villa, A., Goikoetxea, E., Auzmendi, E., Solabarrieta, J., Gorriño, M. y Pereda, V. (eds.). (2003). Ámbitos y criterios de la calidad pedagógica. Bilbao: Fundación Horreum-Mensajero.

 Villa, A., Troncoso, P. y Díez, F. (2015). Estructura latente y fiabilidad de las dimensiones que explican el impacto de los sistemas de gestión de calidad en los centros educativos. Revista de Investigación Educativa, 33(1), 65-82. doi: http://dx.doi.org/10.6018/rie.33.1.199921

 Waters, T., Marzano, R. J. y McNulty, B. (2003). Balanced Leadership: What 30 years of research tells us about the effect of leadership on student achievement. Disponible en http://eric.ed.gov/?id=ED481972 [Accedido en diciembre de 2015]