Examinar oralmente a los estudiantes es un sistema habitual en los distintos niveles de la enseñanza, desde Educación Primaria a la universidad. Y parece obligado hacerlo cuando se trata de estimar el grado en el que un estudiante domina un idioma, pues manejar una lengua conlleva necesariamente comprender y expresarse oralmente en ella. Ahora bien, todo se vuelve muy complejo cuando hay que evaluar a una gran cantidad de alumnos, por ejemplo, imaginemos que en España pretendiésemos evaluar oralmente de un idioma a todos los aspirantes a entrar en la universidad. Ello plantearía, entre otros, dos problemas prácticos de gran calado, por un lado habría que disponer de una gran cantidad de profesores para realizar esta evaluación, y por otro, habría que garantizar que los profesores utilizasen criterios equiparables, de lo contrario se podría violar el principio sacrosanto de la equidad evaluativa, es decir, el de evaluar a todos por el mismo rasero.
Supongamos que no tenemos problema a la hora de disponer de suficientes profesores, que ya es mucho suponer, ¿podemos estar seguros de que los profesores funcionan con criterios comparables a la hora de evaluar? Pues bien, para responder a esta y otras cuestiones relacionadas el Instituto Nacional de Evaluación Educativa (INEE), con muy buen criterio y deontología profesional, ha llevado a cabo un estudio piloto sumamente interesante. Participaron 1194 estudiantes pertenecientes a siete comunidades autónomas, con una edad media de 18,04 años, de los cuales el 57,4% eran mujeres y el 42,6% hombres. Cada estudiante fue evaluado por tres profesores. Se utilizaron 30 tribunales distintos, compuestos por tres profesores cada uno de ellos, lo que hace un total de 90 profesores participantes. Cada profesor puntuaba el nivel de Inglés de los estudiantes de forma independiente a los otros dos. La pregunta clave era si los profesores participantes eran coincidentes en sus evaluaciones, o cada uno iba por su lado. Los resultados detallados pueden verse en un artículo de la Revista de Educación (http://www.mecd.gob.es/revista-de-educacion/), si bien vamos a comentar aquí los más sobresalientes.
Los resultados obtenidos muestran que las puntuaciones asignadas por los distintos profesores a los estudiantes tienen unas altas correlaciones, lo que indica una elevada fiabilidad inter-profesores. El gráfico I muestra que prácticamente en el 95% de las ocasiones la correlación de las puntuaciones de dos correctores era superior a 0,82.
GRÁFICO I. Porcentaje por rango de correlaciones entre correctores
Esto está muy bien, pero la convergencia correlacional no significa que todos los profesores operen con los mismos criterios de exigencia, ya que se encuentran diferencias estadísticamente significativas entre las medias de las puntuaciones asignadas por los distintos profesores. En pocas palabras, los profesores tienden a coincidir en la ordenación que hacen de los estudiantes, pero eso no quiere decir que utilicen el mismo criterio a la hora de asignarles la calificación, así, lo que para uno puede ser un notable, para otro es un sobresaliente. El estudio muestra la viabilidad técnica de examinar la expresión oral en inglés en la PAU, si bien quedan aún bastantes aspectos que habría que pulir. Por ejemplo, los profesores deberían de ser entrenados de forma sistemática y rigurosa en los materiales de evaluación y en las guías de calificación para unificar criterios y así minimizar las diferencias entre ellos a la hora de calificar.
Javier Suárez Álvarez. Universidad de Oviedo
Más información en: Evaluación psicométrica de la expresión oral en inglés de las Pruebas de Acceso a la Universidad
Imagen de cabecera en flickr.com. Autor: Leo Hidalgo
Te puede interesar…
Interesante artículo. No entiendo, no obstante, por qué se indica que los profesores tendríamos que ser entrenados para utilizar los mismos criterios… es decir, sí, por supuesto pero, ¿por qué es diferente esto para evaluación del dominio oral que para cualquier otra competencia? ¿No hay que aunar criterios igual que, por ejemplo, para evaluar la competencia escrita? Entiendo que serían necesario un buen nº de profesores, aunque ya se están desarrollando aplicaciones… no tan eficaces como un profesor (con la aplicación no habrá diversidad de criterios, pero la evaluación será probablemente menos exacta.
Gracias por el comentario, Inmaculada. El entrenamiento es necesario en todas las destrezas, pero en la evaluación del dominio oral entran en juego más factores subjetivos y difíciles de controlar. Hay algunas experiencias favorables en ese sentido, pero es una asignatura todavía pendiente.
El artículo me ha resultado muy interesante. En mi experiencia como profesora de Lengua castellana siempre he lamentado el peso que tienen las pruebas escritas (exámenes, redacciones, trabajos…) frente a las de tipo oral, que se ven reducidas a algo meramente anecdótico en el currículo. En el aula se contemplan desde un punto de vista teórico (los textos orales formales: discursos, entrevistas, sermones, etc.) pero raramente se practican y menos aún se evalúan. Al menos, cuando un alumno aprende un idioma como segunda lengua, sí se le examina de la destreza oral. A medida que pasa de curso la exposición oral irá aumentando en complejidad y en duración, y habrá de ajustarse a los criterios de evaluación de los examinadores: vocabulario y gramática empleados, pronunciación, etc. Aunque, como señala el autor, aún queda por andarse un buen trecho para lograr la fiabilidad de los examinadores y que se atengan a un mismo criterio, al menos el camino ya se ha emprendido, no como en el caso de la lengua materna.
Si en la Retórica los griegos ya sentaron las bases para hablar bien en público, hoy día en nuestro sistema educativo este aspecto se descuida. Ellos ya insistían en cómo empezar y finalizar un discurso con propiedad, en qué hacer para persuadir a los oyentes, en cómo mantener la atención del público, cómo presentarse, etc. Estos aspectos son aún válidos para hablar en público, junto a otros como saber mantener el turno de palabra, etc. En mi opinión, estos elementos se deberían abordar en nuestras clases. Asimismo, creo que en el aprendizaje de la lengua materna convendría medir la competencia oral de los alumnos y formar al profesorado para evaluarla conforme a un mismo criterio.