martes, 22 de diciembre de 2020

Presentación en el aula: comparación crítica de tres exámenes de certificación

Mi trabajo final para esta materia consistió en una comparación crítica de tres exámenes de certificación: el DALF, del CIEP; el Goethe-C1, del Goethe Institut; y el CAE, de la Universidad de Cambridge. Puesto que para hacer una comparación profunda del contenido lingüístico de estos exámenes habría que dedicarle mucho tiempo y un nivel de competencia muy alto de estos idiomas (y yo para mi profunda desgracia tengo poco de las dos cosas), me he limitado a realizar un análisis general de la estructura de las pruebas.

Lo primero que hice fue recopilar un corpus pequeño con un examen de cada una de las instituciones. Los enlaces de los que obtuve las muestras son los siguientes:A continuación, analicé la estructura de los exámenes, busqué factores de complejidad y traté los datos con la herramienta web Wordcounter, que no conocía y me salvó la vida para algunos cálculos que me hubiesen llevado muchísimo tiempo hacer, como la longitud media de las palabras o de las frases. Por último, procedí a establecer un sistema de puntuación que me permitiese realizar una comparación cuantitativa de los datos que había obtenido. En este caso, opté por asignar siempre 3 puntos a la prueba más complicada, 2 a la intermedia y 1 a la más sencilla.

Los resultados de este trabajo mostraron que existe una diferencia considerablemente grande en el tipo de pruebas a las que se tienen que enfrentar los candidatos de los tres idiomas, pues prácticamente en todas los ejercicios son distintos, la duración del examen es diferente y la velocidad de lectura/comprensión varía según la prueba. Con respecto a la comprensión escrita, la prueba más compleja según este análisis es la de inglés, pues es la que tiene más partes y en la que se le exige más velocidad de lectura de palabras por minuto al candidato, entre otras cosas.

En la parte de comprensión oral, los resultados están bastante equilibrados, pero el examen más complicado es el de Francés. La prueba de Inglés es la que más partes tiene y la que requiere al alumno que lea los ejercicios más rápido. Además, tanto esta prueba como la de Francés tienen un número más elevado de palabras/minuto en los audios. La de Francés, por su parte, es la prueba que tiene las frases más largas. Por otro lado, tanto la prueba de Francés como la de Alemán tienen ruido de fondo y un ejercicio en el que el audio se escucha una única vez, mientras que en la de Inglés esto no sucede.

En lo que concierne a la expresión escrita, el examen más difícil es, de nuevo, el de Francés, pues el alumno tiene que estar mucho más tiempo escribiendo, el número de palabras que se le exige es, al igual que en la prueba de inglés, alto, el candidato no puede escoger entre varios temas para hacer su redacción y, además, debe leer dos textos de aproximadamente 1400 palabras para poder hacer uno de los ejercicios. Sin embargo, en la prueba de Inglés es en la que el candidato tiene que escribir a un ritmo más rápido.

Por último, en la comprensión oral los resultados de este análisis muestran que, de nuevo, la prueba más compleja es la de Francés. Esto se debe a varios factores: en primer lugar, el candidato debe hablar más del doble de tiempo que en los otros dos exámenes. Además, para realizar su prueba debe leer dos textos de unas 1200 palabras de duración y, por último, la rúbrica de evaluación de la prueba incluye aspectos como la capacidad crítica, el desarrollo del tema y la integración de información, que las otras dos pruebas no exigen. El aspecto positivo de este examen frente a los otros dos es que el candidato puede emplear un diccionario monolingüe durante la preparación para ayudarse.

Si la puntuación obtenida en cada una de las partes se observa en un cómputo global, se observa que en todas las pruebas el orden de dificultad siempre es Francés, Inglés y Alemán. La única excepción es la prueba de comprensión escrita, que en Inglés es mucho más compleja y en Francés mucho más sencilla. Esto último probablemente se deba a que en el examen de Francés tanto en la prueba de expresión escrita como de expresión oral hay que leer y comprender textos complejos, con lo cual la comprensión lectora se evalúa transversalmente también en estas otras pruebas. Os dejo aquí debajo la presentación por si queréis observar alguno de estos datos con más detalle.

Conclusiones

Los resultados de este trabajo son obviamente no concluyentes, pues están basados en una asignación de puntos subjetiva y, probablemente, si este mismo análisis lo realizase una persona distinta obtendría una puntuación diferente. Para poder determinar la diferencia de dificultad real entre las pruebas habría que realizar una ampliación del corpus, con distintos exámenes para cada nivel y realizar un análisis lingüístico profundo en el que se valorase la dificultad fonética, léxico-semántica, sintáctica y pragmática de cada una de las partes.

Creo que si un experto en este tema realizase este estudio podría ser muy interesante, puesto que los resultados preliminares de este trabajo informal, apuntan a que hay bastante diferencia de dificultad entre los tres exámenes. Si todos las pruebas están certificando el mismo nivel del MCER, sería conveniente que el nivel exigido sea lo más parecido posible para todos los distintos idiomas. Probablemente, puesto que el MCER ha evolucionado desde su creación, en el futuro las pruebas se irán pareciendo cada vez más entre sí.

No hay comentarios:

Publicar un comentario

Tema 11. Evaluación

En este tema hemos estado conociendo las diferentes opciones que existen para poder evaluar a los estudiantes de lenguas extranjeras. Durant...