Estimación del efecto escolar y sus propiedades científicas en Colombia

Abstract

La investigación sobre Eficacia Escolar se ha ocupado de establecer cuáles son los factores de aula, de escuela y de contexto que inciden en el desarrollo académico de los estudiantes; y también ha buscado estudiar cuánto incide la escuela a ese desarrollo (Murillo, 2005a; Scheerens y Bosker, 1997; Teddlie, Reynolds y Sammons, 2000). Esta preocupación por determinar el aporte que brinda la escuela al desarrollo académico de los alumnos ha dado lugar a la línea de investigación sobre efecto escolar, la cual tiene como objetivo determinar la importancia de la escuela en los procesos educativos de los alumnos y es la línea en la cual se enmarca el presente trabajo de investigación. Esta línea de investigación cuantifica la magnitud del efecto escolar y estudia las propiedades científicas del mismo, con lo cual es posible conocer si el efecto escolar se mantiene a través de las áreas y el tiempo, es decir si es consistente y estable, o si el efecto es diferente para los distintos grupos de alumnos que asisten a la escuela, tópico que se ha denominado eficacia diferencial. Así mismo, se ha estudiado si los efectos de la escolarización permanecen a través del tiempo, es decir si los efectos logrados en primaria continúan en la secundaria y a su vez, en los estudios universitarios, propiedad que ha sido denominada continuidad en el tiempo. Para determinar si los elementos o acciones que realiza la escuela tienen una incidencia de forma directa en los resultados cognitivos y socio afectivos de los alumnos, las investigaciones incluyen variables inherentes a los alumnos como el género, la etnia y el rendimiento académico previo, como también las variables propias de la familia de los alumnos como son: el nivel educativo de los padres, la condición económica, el tipo de familia, el vecindario, entre otros. El trabajo en esta línea de investigación se destaca debido a que ofrece herramientas objetivas, que permiten evaluar el impacto de las propuestas educativas puestas en marcha desde el nivel central o estatal, ya sea como producto de los procesos de evaluación y mejora institucional o como parte de la política educativa implementada (Rodríguez-Jiménez y Murillo, 2011). De acuerdo con Martínez-Arias (2009), su uso ha sido reconocido en procesos de rendición de cuentas y mejora escolar. El primero de ellos, principalmente desarrollado por las instituciones públicas, dado el compromiso social de garantizar una adecuada inversión de los recursos y mostrar los resultados de las políticas públicas llevadas a cabo; mientras que el segundo, en el marco de los procesos de autoevaluación institucional, que adelantan instituciones tanto públicas como privadas. Estos estudios garantizan que se conozcan con celeridad los resultados, con lo que se permite a las instituciones, pronta retroalimentación para orientar e implementar sus cambios, igualmente, es posible obtener con los resultados de estas investigaciones, una valoración objetiva acerca de la forma como se están dirigiendo y aplicando las políticas educativas, a partir de las diferentes variables de la escuela, del alumno y del contexto. De esta manera, se puede enunciar que el estudio del efecto escolar resulta de particular interés para las instituciones educativas, porque permite expresar cuantitativamente el efecto de los procesos educativos que se realizan en las instituciones y reconocer si está avanzando hacia el logro de sus objetivos y el cumplimiento de principios como la equidad (Rodríguez-Jimenez y Murillo, 2011), acorde con los postulados de las dimensiones de la educación planteados por la UNESCO. Para los países se convierte en una herramienta útil a la hora de informar sobre los puntajes o clasificaciones de estudiantes en las evaluaciones y al plantear políticas educativas, aunque se reconoce que sólo para algunos países este hecho ha sido una realidad, debido a que la información que se genera es muy especializada, incluso ha recibido críticas y en algunos casos, los hallazgos presentan resultados ¿inconvenientes¿ a nivel político (Reynolds, Sammons, De Fraine, Towsend y Van Damme, 2011). En un país como Colombia que ha planteado la reforma educativa como alternativa para lograr la equidad social, estudios sobre efecto escolar se convierten en faros que permiten alumbrar el camino que se sigue e informar si las rutas emprendidas toman el rumbo esperado o deben ser objeto de modificaciones, mayor esfuerzo por parte de los agentes educativos y un mayor compromiso político. En la primera década del siglo XXI en Colombia se encuentran los estudios de Casas, Gamboa y Piñeros (2002, 2003) realizados con datos de secundaria. El primero de ellos señala el impacto del cambio en la medida de producto, y el segundo reporta un efecto importante de la institución escolar, al llamar la atención sobre el impacto en la comunidad educativa, cuando se informa de los puntajes en las pruebas sin tener en cuenta las variables de ajuste, en particular, las referidas a lo socioeconómico. Para el área de matemáticas, se encuentran en la década del 90 estudios previos a los mencionados, como el de Castaño (1998) quien señala un efecto del 28,7% y Moreno y Piñeros (1998) quienes señalan un efecto de 29,2%. Estos estudios consideraron el aporte de la escuela sin considerar variables de ajuste. Trabajos posteriores incluyeron como variables de ajuste el nivel socieconómico del estudiante y el tipo de escuela - privado vs público-, y encontraron efectos escolares de entre 2% y 34% para matemáticas, y de entre 4% y 30% para lenguaje (Correa, 2004; Restrepo y Alviar, 2004). En Colombia la realización de estos estudios sugiere que existe interés por conocer cuál es el aporte de la escuela al desarrollo de los alumnos, como también por determinar la eficacia diferencial debida al tipo de escuela y a las condiciones socioeconómicas. En consideración a que los estudios se han caracterizado por un enfoque econométrico, analizan sólo resultados regionales, algunos incluyen sólo variables de naturaleza socioeconómica y se modela con modelos multinivel de dos niveles, se considera necesario realizar un estudio que estime la magnitud del efecto escolar para todo el país, que incluya variables de ajuste propias de este tipo de estudio y que se realice el modelamiento en consideración no sólo a las diferencias entre las escuelas, sino también debidas a los departamentos (comunidades autónomas), los cuales muestran importantes diferencias a nivel educativo, cultural y económico e implica el modelamiento con modelos multinivel de tres niveles. De otra parte, se considera de importancia estudiar para el sistema educativo colombiano las propiedades científicas del efecto escolar. Conocer si el efecto escolar es el mismo a través de distintas medidas de producto cognitivo y en los distintos ciclos, resultados que ofrecen retroalimentación para el desarrollo de los estándares para la enseñanza de las áreas y la organización escolar. Determinar si es estable a lo largo del tiempo y si existe efecto diferencial en consideración al género, nivel socioeconómico, sociocultural, etnia y discapacidad aportará información que permitirá evaluar la implementación de la legislación y de las propuestas pedagógicas planteadas por las secretarias de educación departamentales y distritales, como también de las formuladas por el Ministerio de Educación acional como son la etnoeducación, la inclusión educativa y el enfoque de género. En relación con estudios de efecto escolar, son dos los aspectos que se consideran importantes, de una parte la aproximación conceptual y por otra, la aproximación empírica, es decir cómo estudiarlo. Estos dos aspectos se presentan y desarrollan en el primer capítulo, haciendo énfasis en la conceptualización que subyace al presente trabajo y que se corresponde con la propuesta de Murillo (2005a), acorde con la cual el efecto escolar se considera como el ¿porcentaje de variación en el rendimiento de los alumnos debido a las características procesuales del centro en el que están escolarizados. Y se mediría como un porcentaje de varianza (p. 167)¿ a través del coeficiente de correlación intraclase. En este mismo capítulo se presentan las propiedades científicas del efecto escolar y se describen las alternativas metodológicas para estudiarlas. Se ha señalado el informe Coleman y cols. (1966) como el primer estudio sobre efecto escolar, en consideración a que las conclusiones señalan que la escuela tiene poco que aportar a los resultados de los estudiantes en comparación con los factores familiares y socieconómicos. Desde su publicación y hasta la fecha, la investigación ha avanzado desde el estudio de la magnitud del efecto escolar hasta cada una de las propiedades científicas, tales como la consistencia, la estabilidad, eficacia diferencial y continuidad en el tiempo, para lo cual se ha hecho uso de distintas herramientas estadísticas, dentro de las cuales los modelos multinivel han logrado aportar mayor información, en atención a que están en correspondencia con la naturaleza de la estructura de la escuela y de la información que provee; no obstante se reconoce que los estudios realizados con regresión lineal múltiple brindaron información importante sobre el efecto de las variables contextuales en la explicación de la variabilidad del desempeño escolar. Aunque la gran mayoría de estudios sobre el efecto escolar provienen de países anglosajones como Estados Unidos, Reino Unido y Países Bajos, también se han desarrollado con profusión en Iberoamérica. Así, existen estudios en Argentina, Brasil, Colombia, España y México. Es precisamente este tema el que se desarrolla en los capítulos 2 y 3, la descripción es cronológica e implica hace referencia a la muestra, la metodología y los principales resultados. La estimación de la magnitud del efecto escolar evidencia una gran variabilidad en los resultados encontrados, con un rango entre 5% hasta un 31,4% (Bryk y Raudenbush, 1992; Scheerens y Bosker, 1997; Teddlie, Reynolds y Sammons, 2000). Estas diferencias se deben al país, el nivel y grado escolar, como también el modelo estadístico de análisis, el tipo de estudio (longitudinal o transversal), las variables de ajuste y de producto utilizadas y su medición (Rodríguez-Jiménez y Murillo, 2011). En todo caso, y acorde con Murillo (2005a), se tiene que los efectos escolares varían entre un 10% y un 20% de la varianza del rendimiento de los estudiantes, porcentajes que son mayores en Primaria que en Secundaria y para Latinoamérica y África. En América Latina, las investigaciones realizadas sobre efecto escolar emplean modelos multinivel e incluyen variables de ajuste y reportan, principalmente la magnitud del efecto escolar (Barbosa y Fernandez, 2001; Cervini, 2006a, 2006b, 2009, 2010, 2012; Gamboa, Casas y Piñeros, 2003; Fernández-Aguerre y Blanco, 2004; Ferrão, 2006; Murillo, 2007a; Murillo y Román, 2011; Rodríguez-Jiménez y Murillo, 2011; Willms y Somers, 2001; Zorrilla, 2008). En el ámbito regional son tres los estudios que ha hecho aportaciones sobre el efecto escolar, dos corresponden a los desarrollados por el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE), de la OREALC/UNESCO, y el denominado Investigación Iberoamericana sobre Eficacia Escolar (Murillo, 2007). Los resultados del primer estudio, señalan para el ciclo escolar de primaria (3º y 4º) un efecto escolar de 15,5% en Lengua y 18,3% en Matemáticas (LLECE, 2006; Willms y Somers, 2001). Los resultados del segundo estudio señalan que en contraste con los estudios anglosajones el aporte de la escuela para el conjunto de América Latina y el Caribe es superior al 30% en las áreas evaluadas (OREALC/UNESCO, 2010), sin embargo los re-análisis a partir de estos datos señalan un efecto escolar menor (Cervini, 2012; Murillo y Román, 2012; Rodríguez-Jiménez y Murillo, 2011). Por su parte, la Investigación Iberoamericana sobre Eficacia Escolar (Murillo, 2007) considerado como un verdadero estudio sobre efecto escolar señala efectos entre el 14% y el 18%, que disminuye al 10% cuando es incluida el aula, señala un mayor porcentaje de efecto escolar para matemáticas que para lengua. En síntesis se encuentra para Latinoamérica, que el estudio del efecto escolar se realiza principalmente para secundaria y tienen prevalencia el uso de puntajes en pruebas estandarizadas de lenguaje y matemáticas como variable de producto, siendo la excepción los estudios realizados en Colombia los cuales incluyen puntajes en ciencias naturales y ciencias sociales. En general se encuentra para estos estudios variabilidad en el porcentaje reportado del efecto de la escuela, lo que sin duda está en relación con la muestra, la variable de producto considerada, el nivel de agrupación y más aún por la forma en que han definido e incluido en el modelo las variables de ajuste. En conjunto con la estimación de la magnitud de los efectos escolares, esta línea de trabajo ha abordado el estudio de las propiedades científicas de los efectos escolares y que se desarrolla en el capítulo 4. Básicamente, se encuentra que los investigadores se han centrado en cuatro propiedades (Murillo, 2005a): consistencia, estabilidad, eficacia diferencial y continuidad en el tiempo. La consistencia hace referencia a la congruencia de los efectos escolares entre las áreas y las medidas de rendimiento cognitivo y socio-afectivo. Se estima a través de la correlación entre los residuos de los modelos ajustados con las diferentes variables de producto. Algunos de los trabajos informan sobre las correlaciones principalmente entre matemáticas y lectura/escritura, así se encuentra la investigación de Mandeville y Anderson (1987) quienes refieren correlaciones más altas para el área de matemáticas que para lenguaje y el de Thomas, Sammons, Mortimore y Smees (1997a) quienes reportan correlaciones entre 0,25 y 0,75 entre literatura inglesa y francés y entre el puntaje total en la prueba e inglés. Se encuentran también los trabajos desarrollados por Bosker y Scheerens (1989) quienes reportan correlaciones entre 0,45 y 0,75 entre áreas, rangos semejantes a los reportados por Willms y Raudenbush (1989). Resultados menos favorables en relación con la consistencia entre áreas fueron reportados por Goldstein y Rabash (1993). A partir de esta variabilidad en los resultados, Murillo (2005a) señala que las investigaciones realizadas permiten concluir que en general ¿la consistencia de los efectos entre las áreas es moderado¿, con correlaciones cercanas a 0,50, siendo por ello necesario incluir en los estudios un mayor número de áreas como variables de producto. De los estudios referidos en América Latina el realizado por Zorrilla (2008) señala que la consistencia entre las áreas de matemáticas y lenguaje es alta, con correlaciones de 0,86 y 0,87. En este mismo sentido se encuentra el estudio de Cervini (2010) quien reporta correlaciones de igual magnitud en la consistencia del efecto entre las áreas de matemáticas y lengua, en primaria y de menor magnitud para secundaria. Estos estudios contrastan con los resultados de Murillo (2007a) quien reporta coeficientes de 0,5 entre matemáticas y lenguaje, y bajas correlaciones entre las variables cognitivas y las socioafectivas. La estabilidad se refiere a la permanencia de los efectos escolares en el tiempo. En esta línea cobran importancia los estudios de naturaleza longitudinal. En primaria se encuentran los trabajos de Mandeville y Anderson (1987) y Mandeville (1988) y en secundaria los estudios de Bosker (1989), Willms y Raudenbush (1989), Bosker y Scheerens (1989) Thomas, Sammons, Mortimore y Smees (1997), Mangan, Plug y Gray (2005). Los resultados señalan mayor estabilidad para los resultados de puntaje total que para los puntajes por áreas. A la vez que resaltan la dificultad de estudiar esta propiedad en virtud de la naturaleza dinámica de las instituciones educativas y se sugiere la incorporación de análisis de series de tiempo y curvas de crecimiento. La eficacia diferencial busca determinar el porcentaje de varianza explicado atendiendo consideraciones propias de los estudiantes, tales como las condiciones socioeconómicas, el género o la etnia, lo que llevaría a considerar la información por grupos de alumnos, tratando de esta manera lo referido a la equidad. El estudio de Mortimore, Sammons, Stoll y Ecob (1988) señala diferencias debidas a la edad, la clase social y la etnia en medidas socioafectivos, y el de Smith y Tolimson (1989) eficacia diferencial debida a la etnia y al logro previo. Esta última variable se encontró significativa en los estudios de Sammons, Nuttall y Cuttance (1993); Brandsma and Knuver (1989) y Nuttall, Goldstein, Prosser y Rasbash (1989), estos últimos adicionalmente lo reportan en referencia a la etnia. Por su parte, las aportaciones de Levine y Painter (2008) y Palardy (2008) sobre el efecto de las condiciones socioeconómicas, son ilustrativas. En América Latina el trabajo de Murillo (2007a) señala diferencias debido al género, el nivel sociocultural y socioeconómico de los estudiantes, el rendimiento previo, el autoconcepto, el comportamiento y la convivencia social. Y el de Zorrilla (2008) que reporta efecto diferencial por género y grado escolar. Por último, la propiedad científica de la continuidad en el tiempo corresponde a la estimación del efecto escolar de la institución educativa entre un ciclo y otro, es decir si el impacto del proceso educativo perdura de primaria a secundaria y de ésta a la universidad; en relación con esta propiedad es importante el estudio realizado por Mortimore y cols. (1988) en el cual se reporta que los efectos de la institución persisten en el rendimiento de los estudiantes. Esta es una de las propiedades que cuenta con menor investigación y cuyos resultados pueden generar mayores polémicas porque remiten a consideraciones estructurales sobre el sistema educativo y la sociedad. Es de anotar que los estudios sobre efecto escolar y sus propiedades científicas remiten al uso de modelos multinivel. Si bien hasta mediados de la década de los ochenta la principal herramienta de análisis lo constituía el análisis de regresión lineal múltiple, a partir de entonces y con el fin de conocer la variabilidad propia del estudiante, la escuela y el departamento o país se considera como apropiado el uso de modelos multinivel (Gaviria y Castro, 2005; Murillo, 2008). Es una adecuada esta herramienta de análisis porque estos modelos tienen en consideración el contexto, además de considerar la dependencia existente entre las observaciones y con ello se ajusta el error de estimación (Sammons, Thomas y Mortimore, 1997; Zorrilla, 2008). Acorde con lo anterior, en el capítulo quinto se presentan las consideraciones generales sobre estos modelos, su representación estadística, las consideraciones sobre el error y la evaluación de la calidad del modelo. Concluyendo con este la primera parte denominada fundamentación conceptual del estudio. Como se ilustró previamente, en Colombia el estudio de los efectos escolares no es de reciente interés, se aprecia que algunos de los estudios han buscado evaluar los programas adelantados por instituciones gubernamentales y si bien permitieron conocer que tanto el desempeño en las pruebas nacionales se mejoraba en ¿función¿ de la implementación de estos programas, la información obtenida que sin duda resultó muy útil en su momento, no fue acopiada como un aporte al campo de conocimiento de efecto escolar, por lo que no pasaron de ser estudios aislados y con un impacto puntual. A partir de esta consideración y con el fin de tener información del sistema educativo colombiano durante década del 2000, en la cual se consolidan las medidas educativas propuestas a partir de la ley 115 de 1994, cobra importancia la realización de un estudio que permita cuantificar el efecto escolar y sus propiedades científicas y con ello contar con indicadores objetivos para valorar las propuestas educativas que se adelantan. En consideración con lo anterior se ha planteado como objetivo general de la investigación estimar la magnitud del efecto escolar y las propiedades científicas del mismo para el sistema educativo colombiano. Teniendo como objetivos específicos los siguientes: ¿ Estimar el efecto escolar para básica primaria, secundaria y bachillerato para el año 2009. ¿ Calcular el efecto escolar y determinar su evolución para bachillerato durante la primera década del 2000. ¿ Determinar la consistencia entre las áreas de matemáticas y lenguaje para los tres ciclos educativos para el año 2009. ¿ Estimar la consistencia entre las áreas de matemáticas, lenguaje, ciencias naturales y ciencias sociales para bachillerato, para siete años de la década del 2000. Calcular la estabilidad del efecto escolar para bachillerato durante la década del 2000. ¿ Estimar la eficacia diferencial debida al nivel sociocultural, socioeconómico, género, etnia y discapacidad para los ciclos educativos y para el bachillerato durante la década del 2000. El desarrollo de estos objetivos y los resultados obtenidos se presentan en los capítulos 6, 7 y 8. En ellos puede reconocerse la metodología seguida, el proceso de modelamiento y los resultados de la estimación de la magnitud del efecto escolar en los ciclos educativos y la evolución de mismo en bachillerato. Se sigue la presentación de los resultados de la estimación de las propiedades científicas de consistencia, eficacia diferencial y estabilidad, esta última estudiada sólo para bachillerato en virtud de que se contó con información a lo largo de la década del 2000. A partir de esta información se espera proveer indicadores objetivos que permitan avanzar en los procesos de mejoramiento continuo que inviten a la reflexión en educación sobre los rankings de los resultados de las pruebas, la inclusión educativa, la calidad y la equidad educativa y social. Se espera que los resultados aporten a la consolidación de la investigación sobre efecto escolar, así: 1. Con la estimación de la magnitud del efecto escolar en tres ciclos educativos y su evolución en bachillerato. 2. En el estudio de consistencia en cuatro áreas de conocimiento. 3. Por la inclusión de la variable discapacidad para el estudio de eficacia diferencial que ha recibido menor atención en comparación con el género, la etnia o las variables socioeconómicas y culturales de los estudiantes y finalmente, 4. Por la estabilidad en el tiempo haciendo uso de información de más de un lustro. Para resumir, este documento se compone de dos partes. La primera presenta la conceptualización del efecto escolar, la revisión de los estudios realizados para estimar la magnitud y sus propiedades científicas y la presentación de los modelos multinivel. La segunda parte corresponde al estudio empírico y se presenta en cuatro capítulos, el primero expone los objetivos y la metodología de trabajo, el segundo corresponde a los resultados de la estimación de la magnitud del efecto escolar para los tres ciclos del sistema educativo colombiano y para la evolución del efecto en bachillerato. En el tercer capítulo se señalan los resultados de las propiedades científicas del efecto escolar, para los ciclos educativos y bachillerato se estudiaron la consistencia y la eficacia diferencial y, sólo la estabilidad durante la década del 2000 para el bachillerato. El último capítulo presenta las conclusiones del estudio, se señalan aportes, limitaciones e investigaciones futuras, en conjunto con algunos tópicos de reflexión como los ¿rankings¿, la inclusión educativa, la calidad y equidad de la educación.