El pasado 2 de mayo del año en curso, leíamos con asombro que México suspendería la aplicación de pruebas del Programa para la Evaluación Internacional de Alumnos, conocida como PISA a alumnos de secundaria.
Ya que tiene interrumpidas las pruebas de campo correspondientes a la evaluación de 2022, de ser así, sería el primer país en no tener participación, de acuerdo a la información compartida por Mexicanos Contra la Corrupción e Impunidad (MMCI).
Es importante no confundir la información, las pruebas de campo son muy similares en su contenido al instrumento final que se aplicaría, y del cual se obtendrían los resultados comparativos. Aplicar pruebas de campo tiene la finalidad de observar y medir si los reactivos están correctamente diseñados, apropiadamente ponderados y si son comprensibles para la muestra de estudiantes a quienes se les aplicará, con base en los resultados obtenidos de estos pilotajes, si alguna de las preguntas de la prueba resulta ser demasiado fácil o demasiado difícil para los estudiantes de algunos países, por razones que no están relacionadas con el nivel general de competencia de los estudiantes, se eliminan de la prueba principal, al realizarse los ajustes pertinentes se consolida la solidez de la evaluación, sustentada en el rigor de los procedimientos utilizados en el desarrollo de ítems, pruebas de campo, análisis, revisión y selección.
Si bien es cierto que aplicar los ensayos es importante y necesario, hay diferencias sustanciales en establecer que no se han realizado las pruebas de campo, a aseverar que México suspenderá la aplicación de la pruebe de PISA, y las palabras de Tue Halgreen son muy claras “Entendemos que el involucramiento de México en PISA está suspendido. No hemos podido conocer detalles en el último par de meses”.
Si bien es cierto que la no participación en las pruebas para pilotear el instrumento podría significar un antecedente de cancelar la evaluación, principalmente porque el presupuesto de este año con el que cuenta la Secretaría de Educación Pública no contempla asignación de recursos para ningún tipo de evaluación, razón que llevó a la titular de SEP a declarar que “se están revisando, junto con otras dependencias, la forma de ajustar el costo de la prueba y que esta se pueda llevar a cabo”. Lo que sí es seguro que se estará en desventaja con respecto de los países que si las están aplicando, debido a que se desconocerá la estructura y tipo de ítems que contendrá el instrumento.
Recordemos que PISA es el programa perteneciente a la OCDE para la evaluación internacional de estudiantes que están por concluir el esquema de educación básica, contemplando a las y los jóvenes que se encuentran entre los 15 y 16 años de edad, cuyo objetivo primordial es medir la capacidad de estos jóvenes para utilizar sus conocimientos y habilidades en lectura, matemáticas y ciencias para enfrentar desafíos de la vida real, es decir, si han adquirido algunos de los conocimientos y habilidades necesarios para la participación plena en la sociedad del saber. Igualmente importante es que, con base en los resultados que esta evaluación arroja, los países involucrados tienen un gran soporte para tomar decisiones en sus políticas públicas y educativas, para realizar los cambios y adecuaciones necesarias que permita mejorar el desempeño de los alumnos y los centros educativos.
La aplicación de la prueba se realiza cada tres años, analizando el rendimiento de los alumnos en áreas temáticas clave y bajo el parámetro de 7 niveles de competencia, así como una escala amplia de aspectos que intervienen en el proceso de aprendizaje como: la motivación de los alumnos por aprender, autoconcepto, así como las estrategias e involucramiento en la construcción de su proceso de aprendizaje. Es bien sabido que todos los países miembros de la OCDE y varios países asociados, participan en esta evaluación, cabe resaltar que los estudiantes que intervienen son seleccionados partiendo de una muestra aleatoria de escuelas tanto públicas como privadas, y el criterio está regido por la edad, que se marca de entre 15 años y tres meses y 16 años y dos meses al momento de la evaluación, y no del grado escolar que se encuentran cursando. No olvidar que también los profesores y directivos contribuyen a esta evaluación, contestando los cuestionarios diseñados para tal efecto.
Los países y economías que integran y participan en PISA son convocados a realizar y enviar bancos de preguntas o reactivos, mismos que pasan por el filtro de los expertos contratistas internacionales y por los miembros de los países participantes, se examinan cuidadosa y rigurosamente para detectar y evitar sesgos culturales, para finalmente estructurar la prueba definitiva utilizando únicamente aquellas preguntas que hayan superado estos controles.
PISA no establece puntuaciones mínimas o máximas en cada materia, los resultados son escalares ajustándose a distribuciones aproximadas a las normales, basadas en las medias para los países miembros de la OCDE, que son alrededor de 500 puntos y con desviaciones estándar de alrededor de 100 puntos. En los países pertenecientes a la OCDE, cerca de dos tercios de los estudiantes alcanzan entre 400 y 600 puntos; menos del 2% de los estudiantes obtienen puntajes por arriba de los 700 puntos, y una mínima parte cercana al 1% en cualquier país, rebasa los 800 puntos.
Con los resultados obtenidos, PISA resalta las estrategias de aquellos países que han alcanzado un buen rendimiento así como una asignación equitativa de oportunidades de aprendizaje para su población, ayudando con ello a establecer e impulsar metas ambiciosas para otros países participantes. Se trabaja fuertemente para identificar cuáles políticas y prácticas al parecer están dando resultados positivos en los diferentes países que registran altos desempeños o niveles de logro, y que dan como resultado una mejora significativa a lo largo del tiempo en PISA. Desde luego, se requiere ser realista y consciente de las diferentes necesidades y circunstancias por las que atraviesan los distintos países miembros, no existe un prototipo educativo que sea estándar o unimodal por lo que es imposible y totalmente inapropiado “cut and paste” (copiar y pegar) el modelo educativo de un país y tratar de implementarlo en otro, cuyas características y necesidades poblacionales son muy diferentes.
México es miembro de la OCDE desde el 18 de mayo de 1994, firmando el acuerdo marcado por la propia OCDE convirtiéndose así, en el socio número 25. Cuando el programa de evaluación internacional fue desarrollado entre 1997 y 1999, decidiéndose aplicar por primera vez en el año 2000, con la participación y colaboración de 28 países miembros, y 4 no pertenecientes a la OCDE, México intervino y ha estado presente activamente desde entonces.
Efectivamente los resultados de siete evaluaciones realizadas a lo largo de 20 años no han sido favorables para nuestros estudiantes y para el país. Desde la primera aplicación de PISA en el 2000, se comenzó a trabajar en una propuesta de reforma educativa, que vino a ser respaldada con los resultados obtenidos en el año 2003, valorando que se requería iniciar los cambios desde edades tempranas, y se comienza el fuerte proyecto de la Reforma Integral de la Educación Básica (RIEB), que como bien se recapitulará, arranca en Educación Preescolar en el año 2004, continuando con Educación Secundaria en 2006, para redondear con Educación Primaria en 2009, conformándose como una política pública que impulsaría la formación integral de todos los alumnos de los niveles preescolar, primaria y secundaria, con el objetivo de favorecer el desarrollo de competencias para la vida, a través de los estándares de las diferentes asignaturas para lograr el perfil de egreso, y siendo también el campo propicio para la profesionalización docente, permitiendo a México cumplir con los compromisos acordados con la OCDE, con base en los resultados alcanzados en PISA.
Lamentablemente, esta Reforma Integral no pudo “cuajar” adecuadamente permitiendo evaluar y valorar los beneficios en al menos una generación, ya que se inició con primero y sexto grado, se continúo con segundo y quinto, para finalizar con los grados tercero y cuarto, lo que permitió estructurar los Planes y Programas 2011. Ya para el año 2016 circulaba el borrador de lo que sería “Aprendizajes Clave”, dando carpetazo a un proyecto sólidamente diseñado, en donde participaron especialistas de alto nivel, y que tuvo sustentos en documentos internacionales. En 2017 surge la primera edición de “Aprendizajes Clave”, como una especie de Frankenstein retomando las bases de los programas 2011, cambiando algunos términos como para “que se viera diferente”. Sin embargo, este proyecto tuvo una vida muy breve, pues al entrar en vigor la administración del Presidente López tiró a la basura esta reforma, instituyendo su absurdo plan llamado Nueva Escuela Mexicana, sin ningún soporte pedagógico, reduciéndose a un “manual de buenas intenciones”, y que hasta la fecha no se han generado planes y programas de estudio para respaldarlo, ya que en los ciclos escolares 2019-2020 y 2020-2021 se han continuado trabajando los Planes y Programas 2011, junto con Aprendizajes Clave, es más, con la llegada de la Sra. Delfina Gómez a las SEP, ya no se ha vuelto a escuchar nada sobre la Nueva Escuela Mexicana.
Si se toma en cuenta que la última evaluación de PISA fue en 2018, antes de la administración López, y que el reporte global de esa aplicación ubica a México en competencias lectoras, en la penúltima posición de los países miembros de la OCDE, con apenas 420 puntos, mientras que el puntaje más alto lo correspondió a Estonia con 523 puntos, se observa una diferencia de 103 puntos, cuando la diferencia promedio con el promedio de la organización (487) es igual a 67 puntos, no es difícil pronosticar que después de poco más de dos años de esta administración en donde ha quedado claro que la prioridad no es ni será la educación, y que los estudiantes ya suman más de un año sin asistir a clases presenciales, el rendimiento de nuestros estudiantes seguramente arrojará puntajes aún más pobres.
La evaluación trianual correspondería a 2021, y debido a la pandemia por COVID-19, los países miembros y asociados de la OCDE acordaron posponer la evaluación para 2022, y la que correspondería a 2024, efectuarla en 2025, para poder evaluar las efectos posteriores al COVID.
Para la evaluación PISA 2022, el tema central será las matemáticas, talón de Aquiles de un gran número de estudiantes mexicanos, adicionando una prueba de pensamiento creativo, para semblantear el pensamiento abstracto de los estudiantes.
PISA 2025 se anticipa que se centrará en la ciencia e incluirá una nueva evaluación de idiomas extranjeros, incorporando además los aprendizajes en el mundo digital, con el objetivo de medir la capacidad de los estudiantes para participar en el aprendizaje auto regulado mientras utilizan herramientas digitales, como ha ocurrido durante el aprendizaje vía remota que se ha tenido debido a la pandemia.
¿Por qué es importante que México participe en evaluaciones de tipo internacional?
Como se ha venido comentando, PISA evalúa competencias, ya sea en lectura, matemáticas o ciencias, alternando cada área en sus evaluaciones, es decir, cada tres años se evalúa un área diferente. La OCDE ha señalado con mucha claridad que la prueba no está orientada a evaluar los currículos escolares, sino el dominio de los procesos de aprendizaje, la comprensión de los conceptos y la habilidad para desempeñarse en diferentes situaciones correspondientes a cada área. Entendamos entonces que PISA no evalúa los programas académicos de México, sino las habilidades intelectuales como el razonamiento y la solución de problemas que los y las jóvenes de entre 15 y 16 años de edad han desarrollado hasta este momento de su vida, habilidades que son producto del aprendizaje formal e informal (dentro y fuera del aula). Por lo que los resultados de la evaluación PISA habrá que entenderlos como indicadores del capital cultural-intelectual que posee un país, sea cual sea, y que por lo tanto, la responsabilidad de lograr mejores (o peores) puntajes, recae en la sociedad en su conjunto, no radica solamente en el sistema educativo, como lo apunta Eduardo Backhoff Escudero, psicólogo mexicano con Doctorado en Educación, quien ha trabajado en el diseño de instrumentos de respuesta construida, cognitivos y no cognitivos; ha desarrollado software especializado para generar, administrar y calificar exámenes por medios computarizados; ha evaluado la calidad de la educación en México, con base en estudios nacionales (Excale) e internacionales (Informe del Programa Internacional para la Evaluación de Estudiantes o Informe PISA y la Encuesta Internacional sobre la Enseñanza y el Aprendizaje -TALIS).
En México, realizando una comparativa de las evaluaciones realizadas en cada una de las competencias mencionadas (lectura, matemáticas y ciencias), se observa que el panorama no ha tenido mayores cambios, ya que se sigue manteniendo un rezago en referencia con el resto de los países de la OCDE. Lectura ha sido evaluada en el año 2000 con un puntaje de 422, en 2009 con puntaje de 425 y en 2018, con puntaje de 420. En Matemáticas la evaluación de 2003 arrojó un puntaje de 385 y en 2012 de 413 puntos; en Ciencias en el año 2006 se obtuvo un puntaje de 410 y en 2015,416 puntos (PISA medidas de desempeño 2000-2015).
Si no se cuentan con datos de referencia es complicado que se puedan diseñar acciones para generar cambios, tal vez las autoridades correspondientes en México imaginen que lo que no se ve no existe, lamentablemente el rezago educativo en nuestro país es más que evidente y preocupante.
Participar en evaluaciones tanto nacionales como internacionales, enriquece y mejora la práctica docente, lo que a su vez lleva de la mano el que la calidad de la educación mejore, aludiendo a los tres pilares de la evaluación de calidad que son: los resultados, la autonomía de los centros educativos y el desempeño de las y los profesores.
Conocer los resultados de estas evaluaciones potencia y moderniza el desempeño de los centros educativos, y los alumnos son los principales y mayormente beneficiados, adquiriendo el compromiso de acrecentar su proceso de aprendizaje, y lo más importante, este tipo de evaluaciones aportan transparencia en los procesos y hacen posible el logro de mayores niveles de calidad y equidad.
Aunque el Presidente López en la mañanera del lunes 3 de mayo, se pronunció a favor de la aplicación de la prueba de PISA, argumentando que “todo lo que signifique apoyar la educación va a continuar, todas las pruebas, y estamos nosotros participando para mejorar la educación”,”… ya que ayuda a que se mejore la calidad de la enseñanza”, finalizó con un “Yo creo que sí. No tiene por qué no continuar. Todo lo que sea bueno para México… Pero si me dicen va a continuar México permitiendo que se hagan pruebas para que se mejore la calidad de la enseñanza, digo sí. Todo lo que nos convenga”(sic), quedaría la duda si en verdad se continuará, en un año pueden cambiar las cosas y conocemos perfectamente que eso de cumplir sus compromisos, no es lo suyo.
Se cuenta con el antecedente de que en 2019 se aplicó la prueba ERCE (Estudio Regional Comparativo y Explicativo) de la UNESCO, la cual es considerada como el estudio educativo a gran escala más importante de Latinoamérica y se aplica a estudiantes de tercero y sexto grado de primaria, sin embargo López Obrador anunció su salida del programa, por lo que los resultados de la evaluación ya no se hicieron públicos, aunado a que en 2019 también la actual administración desapareció el Instituto Nacional para la Evaluación Educativa (INEE), que era un organismo autónomo, y en su lugar establecieron Mejoredu (Comisión Nacional para la Mejora Continua de la Educación) que depende de la Secretaría de Educación Pública, por lo que se pone en duda la transparencia en las políticas educativas.
Y es justamente Mejoredu, quien el lunes 3 de mayo emite un comunicado donde informa que reprogramar la prueba piloto establecida para 2021 no significa que México haya cancelado su participación en PISA y considera que en virtud de las restricciones que plantea la contingencia sanitaria por Covid-19 y las condiciones bajo las cuales continúan las tareas educativas desde casa, y en tanto el proceso de regreso presencial a las escuelas no se estabilice, los protocolos de aplicación de la prueba PISA no son viables ni pertinentes, debido al riesgo sanitario que implican y a la posibilidad de generar sesgos importantes que podrían restarle validez y confiabilidad, de acuerdo con la información emitida por Erik Juárez Pineda, periodista especializado en temas educativos.
El hecho de que la titular de la Secretaría de Educación Pública se haya quedado muda ante este suceso al igual que Mejoredu, y que solamente después de la presión ejercida en medios, y posteriormente a la declaración hecha por el presidente López comuniquen qué México si aplicará PISA, siembra la duda y genera poca credibilidad en las declaraciones.
Sería bastante grave que se cancelaran las oportunidades de participar en evaluaciones internacionales, estaría representando un severo retroceso en materia educativa, aunado al abrupto y accidentado rediseño de libros de texto gratuitos, y quienes serían los únicos fuertemente afectados son los estudiantes.
Muy lamentable es el hecho de que el presidente con su desmedido oscurantismo y su fiel servidora a quien colocó al frente de SEP, quien es poseedora de una vasta ineptitud, sean unas lacras que lejos de cuidar y proveer una educación equitativa y de calidad, se hayan convertido en ser los primeros en violentar los derechos de los niños, niñas y adolescentes, al igual que incumplir con el ODS-4 (Objetivo de Desarrollo Sostenible-4) señalado por la ONU y que refiere a “garantizar una educación inclusiva y de calidad, así como promover las oportunidades de aprendizaje durante toda la vida para todos”, trazando con cada acción un intrincado futuro para el país.
Laura Águila Franco
Lic. en Psicología por la UNAM. Me he desempeñado como Psicóloga Escolar por espacio de 20 años, y como Directora Académica en los niveles de Preescolar y Primaria en colegios privados los últimos 15 años.
Formadora de Directivos y Docentes en la Reforma Integral de la Educación Básica (UNAM-SEP, 2009-2010), Participante en el Sexto Congreso Nacional de Primaria 2014 “Desafíos en el Aula”, en la Unidad de Congresos del CMN Siglo XXI.