Ramón Pajares Box Jefe de Área del Instituto Nacional de Evaluación y Calidad del Sistema Educativo (INECSE)   1.- ADIDE: El Programa para la Evaluación Internacional de los Alumnos (PISA) propone pruebas de lápiz y papel ¿no es un procedimiento algo anticuado para los países de la OCDE? PISA ha intentado en esta edición 2006 realizar una parte de su evaluación mediante ordenadores pero, tras probarse en 13 países durante la prueba piloto del año pasado, aparecieron muchas más dificultades operativas y prácticas de las previstas. En la prueba definitiva de este año, sólo 8 países han seguido con la experiencia, un número muy bajo en relación con el total de 58 países que participan en PISA. El procedimiento diseñado para la prueba con ordenador consiste en transportar y montar en cada centro seis ordenadores portátiles conectados en red inalámbrica: cinco para alumnos y uno central de control para el aplicador. Los alumnos son evaluados de cinco en cinco en sesiones de una hora pero también han de contestar durante otra hora a una prueba de papel y lápiz. Pese al esfuerzo invertido en el diseño de las pruebas electrónicas, las dificultades en el transporte de los aparatos y en el funcionamiento de la red inalámbrica, que ha resultado menos fiable de lo previsto, han hecho que la experiencia se reconvierta en el futuro en una prueba basada en páginas Web, pero las desiguales conexiones con Internet que mantienen los centros suscitan nuevos interrogantes sobre su viabilidad práctica. En suma, los estudios de evaluación mediante el uso de ordenadores son el futuro, pero ese futuro está aún poco maduro. 2.- ADIDE: Existe un cuestionario de contexto para directores y otro para alumnos ¿Por qué no existe un cuestionario para los profesores? PISA es un estudio no-curricular que no evalúa a los alumnos de un curso determinado sino de una determinada edad. Estos alumnos pueden estar escolarizados en cursos distintos y, en consecuencia, son los muchos los profesores a los que habría que encuestar por estar relacionados con esos alumnos, lo que resulta poco operativo. Además, como PISA dice evaluar la formación acumulada durante toda la escolaridad de los alumnos, sería injusto solicitar sólo las opiniones de los profesores de secundaria, cuando los de primaria también han dejado huella formativa. Hay también un aspecto político. PISA es un estudio entre países interesados en compararse, pero no existe aún un interés suficiente entre los países participantes para comparar no sólo el rendimiento de sus alumnos sino, a través de ellos, el rendimiento de sus profesores. Una buena parte de los países de la OCDE consideran los temas relativos al profesorado como demasiado sensibles para ser confiados a una evaluación organizada por entidades externas al país. 3.- ADIDE: las pruebas que propone PISA no evalúan los contenidos previamente definidos en el currículo ni a los alumnos escolarizados en un curso determinado ¿Qué evalúa PISA? Puesto que no tiene referencia curricular, PISA termina convirtiéndose en una evaluación regida por expertos. Hay un grupo internacional de expertos que define conjuntamente los rendimientos esperables en los alumnos de 15 años, a punto de entrar en la vida adulta y de convertirse en ciudadanos y, a partir de ellos, los marcos teóricos de la evaluación. Pero luego los países tienen múltiples oportunidades de hacer oír su voz, tanto en las definiciones adoptadas como en la elaboración, revisión y selección final de las preguntas. Al final, las pruebas de PISA no responden sólo a las opiniones de los expertos sino también al consenso logrado entre los representantes de los países participantes. 4.- ADIDE: La naturaleza de los estudios de la Enseñanza Secundaria ha cambiado. Ya no son exclusivamente estudios propedéuticos para la universidad ¿Han cambiado paralelamente los contenidos de la enseñanza? Quiero distinguir aquí entre educación secundaria obligatoria y post-obligatoria. La primera es la que ha cambiado de naturaleza al haberse hecho universal y extenderse a todos los alumnos. La post-obligatoria, y dentro de ella el Bachillerato, es la que puede conservar el ethos tradicional de preparación para la universidad. En cuanto a los contenidos en la secundaria obligatoria, creo que la práctica de la enseñanza aún no ha cambiado lo suficiente para reflejar ese cambio de naturaleza, aunque sí se hayan puesto al día las definiciones normativas. Si por contenido de la enseñanza entendemos no sólo el texto de los currículos oficiales, sino los contenidos de los libros de texto y el conjunto de prácticas didácticas que se ejercen en el aula, creo que aún queda camino por recorrer para que la orientación hacia los estudios universitarios no tenga un carácter dominante que eclipse de algún modo la orientación hacia la vida adulta y la asunción de una ciudadanía responsable. Y, aunque ambas orientaciones deben coexistir, a mi juicio la educación secundaria obligatoria debería ser menos especializada y más transversal en sus contenidos, o lo que es lo mismo, debería estar más volcada a la consecución de las competencias básicas y menos hacia la preparación para la entrada en la universidad. 5.-  ADIDE: ¿De qué defectos adolece la formación de nuestros alumnos? ¿Qué tipo de formación deberían recibir para mejorar los resultados que obtienen en las pruebas internacionales? Lo que se desprende de mi respuesta a la pregunta anterior. Las pruebas de PISA terminan siendo más de cultura general que de materias específicas, y los resultados de nuestros alumnos tienden a mostrar que la formación recibida a través un plan de estudios muy parcelado no termina siendo asimilado en grado deseable como cultura general, como saber integrado donde todo está relacionado con todo. Esto es lo que -acertadamente a mi juicio- tratan de medir las pruebas de PISA, ya que constituye la urdimbre de la formación que es necesaria para ser adulto y ciudadano. 6.- ADIDE: España, como sabemos, no obtuvo buenos resultados en la anterior edición de la prueba ¿Dónde cree usted que debemos buscar las razones? Creo que debo matizar lo que sugiere la pregunta. España, en contra de las interpretaciones apresuradas y alarmistas, no obtuvo malos resultados en la anterior edición de PISA. Tampoco los tuvo particularmente buenos. Los resultados se encuentran en una banda intermedia y son homologables con los de la inmensa mayoría de los países de la OCDE, cuyas diferencias son tan pequeñas que resulta difícil proclamar que unos países son muy superiores a otros en cuanto a rendimiento. Por otro lado, nuestros resultados son tan "del montón" como para no dejar satisfecho a nadie y, por tanto, llaman a un esfuerzo continuado por conquistar mejoras marginales que optimicen el rendimiento global del sistema, pero sin por ello pensar que partimos del desastre absoluto. Al contrario, lo que los datos de PISA demuestran es que nuestros alumnos rinden más o menos igual que los de los demás países de la OCDE, y que nuestro sistema educativo es de una eficacia similar al de la mayoría de los países de esta organización. Es decir que somos un país del primer mundo, lo cual, volviendo la vista atrás unos cuarenta años, supone un salto cualitativo muy notable en nuestra historia educativa. Ahora bien, si lo que se trata es de ver quién se lleva las medallas, quién sube al podio o quién queda en los primeros puestos de la clasificación, entonces nuestros resultados parecen mucho más deficientes de lo que son porque no hay primeros puestos para todos. Pero eso es una forma primaria y no muy ilustrada de valorar los resultados obtenidos en PISA, que no es una competición entre países sino un estudio comparativo de evaluación, algo muy distinto. 7.- ADIDE: En el año 2006 la prueba versará fundamentalmente sobre Ciencias ¿cree que nuestros alumnos estarán mejor preparados y obtendrán mejores resultados que en el año 2003? Si comparamos la edición de 2006 con la edición de 2003, aunque la materia principal sea distinta (Ciencias ahora, Matemáticas entonces), el carácter generalista y transversal de PISA probablemente hará que los resultados sean muy similares, porque no es esperable que en tres años los alumnos hayan experimentado una variación notable en sus competencias básicas. Si lo que comparamos son las Ciencias de 2006 con las Ciencias de 2003, pudiera ser que aparezcan algunas diferencias muy pequeñas, positivas o negativas, provenientes de las diferentes condiciones de las pruebas: muchas preguntas en 2006 frente a pocas preguntas en 2003. Se sospecha que esta inestabilidad en la comparación es más achacable al diseño de la evaluación que al cambio real en el rendimiento del alumnado, pero aún no hay seguridad en ello. El Consorcio de PISA está muy atento a este efecto y a sus implicaciones psicométricas. 8.-  ADIDE: ¿Alguna novedad que resaltar frente a ediciones anteriores? La principal novedad de esta edición de PISA es la importancia dada a los factores actitudinales en la formación en Ciencias. Las preguntas sobre actitudes aparecen ahora entremezcladas con las preguntas de conocimientos en las pruebas, en vez de formularse en el cuestionario de contexto, como se hacía en las anteriores ediciones de PISA. Pero en esta edición el grupo internacional de expertos en Ciencias ha decidido dar importancia al contexto en el que se plantean las preguntas sobre actitudes, no separándolas de las preguntas cognitivas. Como fondo de todos estos cambios subyace la preocupación que mantienen buena parte de los países participantes en PISA por el descenso en el número de alumnos que eligen cursar carreras de Ciencias, cuyas causas motivacionales necesitan ser indagadas.