ASFAE Asociación de Directivos Superiores de las Facultades de Administración, Negocios o Empresariales
Autores: C. Thieme, E. Tortosa-Ausina, D. Prior, R. Gempp
Introducción
Un elemento central de los esfuerzos que los países realizan para implementar mejoras en sus sistemas educativos, es el desarrollo de indicadores para evaluar la calidad de la educación que imparten (Battauz, Bellio & Gori, 2011). En particular, en el campo de la política pública en educación se aprecia una creciente preocupación en la evaluación del aprendizaje de los estudiantes (Denvir & Brown, 1986; Ercikan, 2006).
En muchos países, lo anterior se ha traducido en la adopción de sistemas de rendición de cuentas (accountability), cuyo propósito es evaluar, e informar a los actores involucrados, los resultados de logro académico de los estudiantes u otros indicadores de calidad de las instituciones educativas.
Esta tendencia se ha visto fortalecida con la acumulación de evidencia empírica que demuestra que mecanismos adecuados de rendición de cuentas (los que son capaces de establecer responsabilidades claras para todos los actores del sistema) permiten mejorar las prácticas organizacionales al interior de las escuelas (Rouse et al., 2007) y optimizar los resultados educacionales (Carnoy y Loeb, 2002; Hanushek y Raymond, 2005).
Todo lo anterior presupone que las metodologías de evaluación e indicadores utilizados para ello son los adecuados. Al respecto, los significativos avances metodológicos, principalmente el desarrollo de modelos multinivel (Bryk y Raudenbush, 1992; Goldstein, 1995) han mejorado la conceptualización y medición de las causas que explican el aprendizaje de los estudiantes (Aitkin y Longford, 1986). El concepto general es que el logro académico de los estudiantes depende tanto
de características personales de los alumnos como de las características de la escuela y su contexto. Para analizar estas situaciones, los distintos niveles son considerados como sistemas jerárquicos de alumnos y escuelas, con individuos y grupos definidos en separados niveles
jerárquicos, a través de variables que son definidas en cada nivel (Hox, 2002).
Este importante progreso permite solucionar el principal problema metodológico de los estudios pioneros en este ámbito, al descomponer los distintos efectos anidados que explican los resultados educativos de los estudiantes, pudiendo determinar el porcentaje de logro de los
estudiantes que se debe a las diferentes variables en diferentes niveles organizacionales (distrito, escuela, clase, alumno).
Lo anterior es de alta relevancia en el momento de arbitrar medidas (específicas a nivel de alumno, colegio o entorno), y por tanto, permite aportar conocimientos útiles tanto paradesarrollar procesos de mejora en los establecimientos educativos, desalentar las prácticas oportunistas de los gestores, señalizar la correcta asignación de recursos, premios y castigos, como para la toma de decisiones de políticas públicas.
En tal sentido, una revisión bibliográfica muestra que existe un amplio acuerdo entre los especialistas internacionales respecto a que las omparaciones entre escuelas no pueden establecerse sobre los resultados brutos de logro académico, sino que deben basarse en el progreso de sus estudiantes a lo largo de los años de escolaridad, idealmente corrigiendo el efecto del rendimiento inicial y de otra condiciones de entrada relevantes (Goldstein et al., 1993; Goldstein y Thomas, 1996; Gray, Jesson, Goldstein,Hedger y Rasbash, 1996; Mortimore, Sammons
y Thomas, 1994; Sammons, 1995). De hecho, el consenso entre los investigadores es que una escuela verdaderamente efectiva no es aquella cuyos estudiantes obtienen mejores resultados, sino aquella en la que los estudiantes progresan más allá de lo que puede esperarse, debido al
efecto de la escuela. En otras palabras, que las escuelas efectivas son aquellas que agregan valor a los resultados de sus alumnos en comparación con otras escuelas que atienden a poblaciones estudiantiles con características equivalentes.
En el contexto del accountability, se entiende por Valor Agregado (VA) de una escuela a la contribución que realiza al progreso neto de los estudiantes hacia objetivos de aprendizaje establecidos, una vez eliminada la influencia de otros factores ajenos a la escuela que pueden contribuir a dicho progreso (Meyer, 1997). Para estimar el VA se utilizan un conjunto de procedimientos estadísticos que permiten hacer inferencias sobre la eficacia de las escuelas a través del seguimiento de la trayectoria de los estudiantes, analizando los resultados de dos o más años (Tekwe et al., 2004). Estos datos de la evolución de los estudiantes se transforman en indicadores de VA que pueden utilizarse para evaluar la eficacia de la escuela de manera mucho más válida y justa que el simple resultado promedio de sus estudiantes en un año cualquiera (Raudenbush, 2004). Durante los últimos años ha sido creciente la incorporación de modelos de VA más complejos (modelos contextuales), que permiten ajustar también los resultados por variables socioeconómicas y demográficas que están fuera de control por parte de la escuela, con el objeto de obtener una estimación del desempeño neto del establecimiento eliminando el efecto de las diferencias preexistentes entre los alumnos (Ballou, Sandres & Wright, 2004).
Debido a su capacidad para estimar la contribución neta de la escuela a los resultados de aprendizaje, los modelos de VA permiten comparar la efectividad de las escuelas aunque atiendan a poblaciones muy diversas de estudiantes y guiar los cambios educativos necesarios, tanto en el nivel de la escuela, como de las reformas políticas (Drury y Doran, 2004; McCaffrey, Lockwood, Koretz, y Hamilton, 2003). De este modo, los indicadores de VA aparecen como una alternativa sumamente atractiva para los gobiernos (que necesitan contar con medidas de accountability equitativas), para los políticos (que desean que la evaluación de las escuelas considere su diversidad), para los investigadores (que requieren estudiar los factores que contribuyen a la efectividad escolar mediante indicadores no contaminados por las condiciones de entrada de los alumnos), para los profesores y directivos escolares (que solicitan medidas objetivas de su desempeño, adaptadas al tipo de población estudiantil que atienden), para los apoderados (que necesitan elegir escuelas para sus alumnos en función del aporte que ésta haga al estudiante) y para la sociedad en su conjunto, en la medida que implica una evaluación más justa y equitativa de las escuelas del país.
Todas las razones anteriores han provocado que internacionalmente los Modelos de Valor Agregado sean cada vez más populares tanto en la comunidad de investigadores, como entre los políticos y gestores escolares. Un reporte del año 2008 de la OECD alienta decididamente a sus
países miembros a emplear medidas de VA para evaluar el desempeño de sus escuelas y entrega lineamientos específicos y pautas claras para hacerlo correctamente.
En este ámbito, existen una gran cantidad de modelos estadísticos para su estimación pero difieren en la definición e inclusión de variables de ajuste (Tewke et al., 2004). Sin embargo, la postura mayoritaria es la de incluir variables de ajuste, especialmente cuando se establece alguna
forma de rendición de cuentas o de difusión de los resultados, ya que la equidad será cuestionable si no se tienen en cuenta características contextuales de los estudiantes y de las escuelas (McCaffrey et al., 2003; McCaffrey et al., 2004).
A pesar de la gran cantidad de aportes metodológicos y empíricos, esta línea de investigación no está exenta de críticas (Bock,Wolfe y Fisher, 1996; Kuppermintz, 2003; Mccafrey, et al., 2003). Una de ellas dice relación que la naturaleza de su estimación corresponde a una comparación con la media, no suponiendo un real incentivo para el desempeño de excelencia. En efecto, la gran mayoría de los estudios de valor agregado utilizan regresión o análisis multinivel. Ejemplo de ello son los estudios de Goldstein et al. (1993), Gray et al. (1996), Cervini, 2009; Blanco, 2010, entre muchos otros.
Por ello, los modelos provenientes desde la investigación en operaciones que evalúan el desempeño de las organizaciones educativas, pero principalmente utilizando modelos frontera no paramétricos (ya sea utilizando Data Envelopment Analysis (DEA) o Free Disponsal Hull (FDH), que proporcionan ventajas en este campo al adecuarse con el concepto de comparación con un óptimo y permitir la existencia de varios outputs de manera simultánea, resultan una alternativa más adecuada. En este campo, se aprecia en los últimos años una importante evolución al desarrollarse modelos cada vez más robustos y capturar el concepto de valor agregado (Silva Portela y Thanassoulis, 2001; De Witte et al. 2010) y análisis multinivel (Thieme et. al 2012).
Sin embargo y a pesar de los avances que ello supone, las metodologías existentes no han capturado aún el concepto de valor agregado contextualizado, por lo que la sola inclusión de datos de alumno con resultados ex ante y ex post de su logro académico se estaría incorrectamente estimando el efecto escuela ya que ello supone erróneamente la existencia de inputs óptimos no controlables por los gestores, sin responder por tanto a un verdadero análisis de valor agregado que pretende medir correctamente la contribución de la escuela, eliminando la influencia de factores ajenos a esta unidad organizacional que pudieron haber contribuido a este progreso.
Por tal razón, el objeto de este artículo es doble y pretende aportar desde la perspectiva metodológica y empírica a dos brechas existentes a esta evolución. En primer lugar, el aporte es metodológico al proponer un modelo de frontera robusta contextualizado de valor agregado que recoge los aportes de los trabajos de valor agregado contextualizado provenientes de la investigación en educación; los trabajo de metafrontera (Battese, Rao y O’Donnel, 2004), y los de análisis frontera de order-m (Cazals, Florens y Simar, 2002), provenientes de la investigación de operaciones. En segundo lugar, el aporte es empírico al utilizar esta propuesta en un país como Chile, que si bien tiene una larga historia de evaluación desde 1980 a nivel nacional con pruebas estandarizadas en tres distintos niveles de escolaridad, utiliza indicadores brutos de logro académico de sus estudiantes como medida de desempeño de las escuelas que los cobijan. El modelo propuesto se aplica a una muestra de 47.076 alumnos, pertenecientes a 948 centros educativos de educación básica de Chile de todos los tipos que rindieron las pruebas de Lenguaje y Matemáticas del Sistema de Medición de la Calidad Educativa (SIMCE) de octavo básico (13 años) el año 2009 y de cuarto básico año básico el año 2005 (a la edad de 9 años) y para los cuales se contaba con información socioeconómica individualizada de sus familias. Con el objeto de contar con una muestra confiable y homogénea de la estimación agregada a nivel de establecimientos, se consideraron sólo los alumnos de los establecimientos que habiendo rendido ambas pruebas y se contaba con información socioeconómica a nivel individual, sus escuelas cumplieran el requisito de tener 30 o más alumnos en estas condiciones y que dicho valor fuese al menos del 60% del total de alumnos del establecimiento que rindieron la prueba el año 2009.
El texto que sigue es organizado de la siguiente manera: en la segunda sección, se describe el marco teórico relevante. En la tercera sección se entregan detalles de la metodología propuesta.
Los antecedentes de la aplicación empírica y la descripción de la base de datos utilizada se presentan en la cuarta sección. Los resultados comparativos entre modelos son analizados en la quinta parte, para finalizar con las principales conclusiones del estudio.