EVALUACIÓN DEL RENDIMIENTO ESTUDIANTIL EN LA UNIVERSIDAD NACIONAL ABIERTA

Evaluación del Rendimiento Estudiantil en la Universidad Nacional Abierta:
Problemas y Diseño de Posibles Soluciones
Resumen

Max Contasti
Este trabajo puede ser catalogado como una investigación de carácter aplicado, y será conformado por tres aspectos que representan los principales problemas que actualmente confronta el proceso de Evaluación del Rendimiento Estudiantil en la Universidad Nacional Abierta. Los problemas analizados y el diseño de posibles soluciones fueron los siguientes:

Primer Problema: Aprobación por Saldos Residuales y Ausencia de Corrección por Respuesta Aleatoria
Segundo Problema: Confidencialidad de las Pruebas
Tercer Problema: Fallas y Errores en las Claves de Respuestas.

Para conceptualizar y precisar cada uno de los tres problemas planteados, fue necesario desarrollar investigaciones parciales y separadas. En todos los casos, para cumplir con el objetivo propuesto de presentar soluciones, fue necesario desarrollar tantos aspectos teóricos y/o atributivos, como aspectos empíricos referidos tanto al diagnóstico del problema como, en algunos casos, la validación del procedimiento propuesto.

Del análisis de los problemas detectados y de sus posibles soluciones, encontramos que existan algunas soluciones con un mayor grado de viabilidad y que todas ellas, en algún grado, representan cambios en el Sistema. Hemos propuesto que puede iniciarse el proceso con la eliminación del esquema de Aprobación por Saldos Residuales y el cambio de los niveles de Dominio de los Objetivos. En segundo lugar, se puede solucionar los problemas de las fallas logísticas y de los errores en las claves, incluyendo la Alternativa E y tercero, resolver el problema de la confidencialidad de la prueba, lo cual se puede realizar combinando las distintas opciones mencionadas y en especial utilizando el modelo predictivo que hemos desarrollado como solución.

I. PRESENTACIÓN

Este trabajo, puede ser catalogado como una investigación de carácter aplicado, y será conformado por tres aspectos que representan tres de los principales problemas que actualmente confronta el proceso de Evaluación del Rendimiento Estudiantil en la Universidad Nacional Abierta.

Para conceptualizar y precisar cada uno de los tres problemas planteados fue necesario desarrollar investigaciones parciales y separadas. En todos los casos para cumplir con el objetivo propuesto de presentar soluciones, fue necesario desarrollar tantos aspectos teóricos y/o atributivos, como aspectos empíricos referidos tanto al diagnóstico del problema como, en algunos casos, la validación del procedimiento propuesto.

Consideramos que en este ámbito aplicado y con un marcado acento de carácter tecnológico como lo es la Educación a Distancia, el crecimiento y progreso pasa por lo que hoy en día se conoce como Investigación y Desarrollo (I & D). La investigación orientada por la teoría y el desarrollo orientado por la posibilidad de aplicación y solución de problemas.

II. LA EVALUACIÓN DEL RENDIMIENTO ESTUDIANTIL EN LA UNIVERSIDAD NACIONAL ABIERTA

Desde 1978 se ha venido haciendo evidente que para una Institución a Distancia, la evaluación de los aprendizajes del estudiante constituye el proceso más importante y delicado en este tipo de modalidad educativa. Este punto de vista se vería reforzado en el caso de la educación venezolana, por el alto grado de deterioro de la calidad que ha ocurrido en la formación académica de los profesionales. Este aspecto y su relación directa con el proceso de masificación ha sido ya suficientemente discutido.

En el análisis del proceso sistémico de la UNA como Institución a Distancia, se han diferenciado permanentemente los aspectos de Curriculum, Instrucción y Evaluación, Suárez (1984). Por urgencias y falta de experiencia, no se logró implementar un Modelo Tecnológico explícito, y que por ello, las fases de Curriculum e Instrucción quedaron fallas e incompletas; sin embargo, estas fallas, de ninguna manera pudieran ser razones para que en la fase de Evaluación/Exámenes se eximiese del rigor y exigencia que ameritaría una formación seria y pertinente, para un profesional universitario, útil para sí mismo y para la sociedad, tal como lo establecen los principios normativos más altos de nuestra institución.

En comparación con el aspecto curricular, cuya revisión promedio puede realizarse cada diez años, y respecto a la instrucción, cuya revisión promedio puede realizarse cada cinco años, la evaluación es un proceso continuo, permanente y de igual densidad a lo largo de todo el Lapso Académico. En los 20 años de funcionamiento que tiene el Sistema de Evaluación el mayor esfuerzo —continuo y sistemático— fue realizado entre 1978 y 1984 con la conformación de una Red Logística Operativa que permitía cumplir eficazmente con la administración y corrección periódica de Pruebas.

Por esta razón, la decisión rectoral tomada en 1985, respecto a dividir y dispersar la Unidad de Evaluación Académica, pudiera verse —a pesar del trastorno que ocasionó en la Red Logística Operativa— como un intento de reforzar el aspecto técnico / estadístico de la Evaluación. Por esto se escogió como una alternativa, el separar los procesos académicos/heurísticos asignados a las Áreas Académicas, de los procesos técnicos/estadísticos que seguirían funcionando en una Unidad Central.

Los problemas se han gestado históricamente, algunos desde el inicio mismo de la institución y otros por no haber reforzado la Red Logística Operativa que fue creada al inicio. Se pueden mencionar los siguientes problemas:(a) Mantenimiento del Sistema de Corrección por Saldos Residuales asociados a la no existencia de mecanismos de corrección por Respuesta Aleatoria en las Pruebas Objetivas. (b) Confidencialidad de las Pruebas. (c) Fallas y Errores en Claves de Corrección.

En este trabajo cada uno de estos problemas serán analizados separadamente y serán propuestas soluciones pertinentes de acuerdo a las posibilidades de instrumentación que actualmente se dispone en la institución.

III. PRIMER PROBLEMA: APROBACIÓN POR SALDOS RESIDUALES Y AUSENCIA DE CORRECCIÓN POR RESPUESTA ALEATORIA

A. Introducción y Descripción del Problema

En el sistema de aprobación por Saldos Residuales, o alternativamente conocido como posibilidad de Recuperación de Objetivos, el estudiante puede decidir en cada evaluación cuáles objetivos desea aprobar en cada Prueba Parcial, y una vez que un objetivo es aprobado, en una de las pruebas parciales, para la Prueba Integral que se conforma con todos los objetivos de la asignatura, el estudiante sólo intentará lograr los objetivos que aún no hubiese aprobado, pudiendo decidir de antemano el número necesario para aprobar la asignatura, inclusive en un nivel mínimo. Unidad de Evaluación Académica (1983).

Este sistema que para el caso de asignaturas técnicas/aplicadas tiene grandes ventajas, en cambio cuando se trata de asignaturas de carácter básico que exigen una integración orgánica de todos sus contenidos, presenta como falla el que se fragmenta el contenido de la asignatura, pudiéndose aprobar la asignatura sin un conocimiento orgánico de la misma, es decir con lagunas cognoscitivas.

Como será demostrado, cuando además se utilizan los denominados Items Objetivos de Opciones Múltiples, sin corrección por Respuestas Aleatorias, el nivel real de exigencia por aprobación estará muy debajo del nivel normativamente establecido del 60%.

Bajo esta modalidad de Recuperación de Objetivos por Saldos Residuales, y por el hecho de la no existencia de ningún Mecanismo de Corrección de Puntajes por Respuesta Aleatoria a los Items de Evaluación, se generan consecuencias directas en relación con los verdaderos niveles reales de exigencia académica, todo ello sin entrar a considerar cuestiones cualitativas tan importantes como son la dificultad de construir y preparar evaluaciones válidas y confiables en Ciencia Sociales y en especial Pruebas de Ensayos y si además, tal como sucede en nuestra Institución, su corrección se hace descentralizadamente, utilizando diferentes correctores y, adicionalmente, sin tener un sistema de control de calidad respecto de la confiabilidad misma de los correctores.

B. Parámetros Normativos del Sistema de Evaluación

Las Normas de Evaluación establecen una serie de parámetros para preparar y construir Pruebas y fijar procesos y niveles de Aprobación. Sin entrar a discutir la pertinencia académica de estos parámetros —ya que no constituye el propósito de este trabajo—, vamos a enfocar sólo las consecuencias del problema de la no existencia de un Mecanismo de Corrección de Puntajes por Respuesta Aleatoria a los ítems que componen los Objetivos evaluables, cuando adicionalmente el Sistema permite aprobación por Saldos Residuales.

Los artículos que nos sirven de referencia son los siguientes:

Número de Objetivos evaluables en cada asignatura. Mínimo 10/ Máximo 20 (Artículo 13).
Número de Items por Objetivos. Mínimo 3 / Máximo 9 (Artículo 28).
Número máximo de Items por Prueba Integral: 90 Items (Artículo 28).
Cada Objetivo tendrá como mínimo dos momentos de evaluación (Artículo 24). Lo usual sería entonces dos Pruebas Parciales y una Prueba Integral.
Se aprueba por saldos acumulados a nivel de Objetivos (Artículo 25).
Porcentajes de Items necesarios para la aprobación de cada Objetivo: Mínimo 60 / Máximo 78 (Artículo 31).
Se aprueba la asignatura con un mínimo de 59.50% de Objetivos logrados (Artículo 49).
En cada actividad de Evaluación, el Criterio de Dominio deberá ser el mismo para todos los Objetivos (Literal 30).

Este literal tiene dos interpretaciones. En la primera y más inmediata, se interpreta que lo único que debe ser constante es el Criterio de Dominio; por contraste se supone que pueden ser variables las demás características que en esa relación intervienen, es decir: Número Total de Items y Número Mínimo de Items necesarios para aprobar. Con esta interpretación sólo se podrían tener dos tipos de Prueba: Prueba Tipo A (9/6; 6/4; 3/2) / Prueba Tipo B (8/6; 4/3). (Machado y Tancredi, 1984). La segunda interpretación, menos lógica, implica que para tener el mismo Criterio de Dominio para todos los objetivos, en cada actividad de Evaluación, sería necesario que todos los Objetivos tuviesen el mismo número total de Items. Como puede ser fácilmente comprensible, esta interpretación establecería una seria e innecesaria limitación académica en la construcción de Pruebas.

C. Respuesta Aleatoria

Consideramos un Alumno Abstracto con absoluto desconocimiento de los contenidos evaluados en una Asignatura y calculemos estadísticamente cuál será el puntaje que obtendría al dar una respuesta aleatoria sobre los ítems, lograda mediante el puro azar:

1. Valores Numéricos Establecidos

18 Objetivos evaluables en la Prueba Integral con Criterio de Dominio Fijo, con 5 ítems cada Objetivo.
Dos Pruebas Parciales con 9 Objetivos por cada Prueba.
Criterio de Dominio: 60% en cada Objetivo: (3/5, 4/5, 5/5)
Número de Opciones en cada ítem: 4
No existe corrección por Respuesta Aleatoria.

2. Cálculo Estadístico

Posibilidad de acertar aleatoriamente, por puro azar, la aprobación de un Objetivo bajo los supuestos antes establecidos. Según la fórmula Combinatoria de Probabilidad: para aprobar el Objetivo será necesario que se acierte tres, cuatro o cinco ítems, según el siguiente procedimiento:

Probabilidad de aceptar por azar un ítem con cuatro opciones, de las cuales una es la correcta:
Probabilidad de acertar por azar tres ítems entre cinco del Objetivo:
Probabilidad de acertar por azar cuatro ítems entre cinco del Objetivo:
Probabilidad de acertar por azar los cinco ítems del Objetivo:

Por tanto la probabilidad de aprobar por azar un objetivo será la suma: 0.1035

3. Cálculo del número de Objetivos que se pueden acertar por azar dentro del Sistema de Corrección por Saldos Residuales.

Primera Prueba Parcial: 9 Objetivos evaluables.
Promedio de Objetivos acertados aleatoriamente en Primera Parcial.

(9 ´ 0.1035) = 0.9315
Segunda Prueba Parcial: 9 Objetivos evaluables.
Promedio de Objetivos acertados aleatoriamente en Segunda Parcial.

(9 ´ 0.1035) = 0.9315
Promedio Total de Objetivos acertados aleatoriamente en las dos Pruebas Parciales: 1.863
Prueba Integral. Objetivos Residuales: (18.000 – 1.863) = 16.137.
Promedio de Objetivos acertados aleatoriamente en la Prueba Integral

(16.137´ 0.1035) = 1.670
Promedio Total de Objetivos acertados aleatoriamente: 3.533.

4. Síntesis

Para este alumno, la diferencia entre el número de Objetivos necesarios para aprobar: (10.80) y el número promedio de Objetivos acertados aleatoriamente: (3.533), es de 7.267
7.267 representa el 40% del total de Objetivos evaluables.

En estas circunstancias, en lugar de aprobar con el conocimiento del 59.50% (Artículo 49) de los Objetivos, en promedio se aprueba con sólo 40%.

D. Soluciones y Recomendaciones

El sistema de evaluación UNA es un sistema mixto: Norma/Criterio. En el caso de instrumentos para la evaluación sumativa, deberá ser una práctica ortodoxa utilizar un Sistema de Corrección de Puntajes por Respuesta Aleatoria. Si esto no llegase a establecerse por problemas logísticos y de recursos que confronta la institución, sería entonces necesario tomar medidas compensatorias alternativas, como por ejemplo: (a) Eliminar la aprobación por Saldos Residuales. (b) Tener un mínimo de 6 ítems por Objetivo. (c) Utilizar 5 opciones por ítems. (d) Aumentar el Criterio de Dominio del Objetivo hasta 0.80.

IV. SEGUNDO PROBLEMA: CONFIDENCIALIDAD DE LAS PRUEBAS

A. Introducción y Detección del Problema

Es conocido que en nuestra institución existe un grave problema que de manera genérica se ha denominado como Fuga de Pruebas. Este hecho vulnera la confidencialidad necesaria para que desde un punto de vista técnico puedan ser válidos y confiables los resultados obtenidos. En consecuencia, no se puede garantizar ni la función formativa ni la función sustantiva de la evaluación de los aprendizajes.

Presentaremos en un caso empírico, como se manifiesta y se detecta el fenómeno a partir de los resultados de la evaluación de una asignatura. Asignatura Curriculum I. Evaluación lapso 96-1.

1. Análisis Global

Inscritos totales en la Asignatura: 889.
Alumnos que no aprobaron ningún objetivo: 270.
Resto de alumnos que aprobaron al menos un objetivo: 619
Total de Alumnos aprobados: 47.

2. Resultados relevantes en algunos Centros Locales.

Cojedes: Alumnos aprobados: 10.
Cojedes, Total Alumnos: 27.
Cojedes Porcentaje: 37.04.
Táchira: Alumnos aprobados: 23.
Táchira, Total Alumnos: 69.
Táchira Porcentaje: 33.33
Resto Nacional: Alumnos aprobados: 14.
Resto Nacional Total de Alumnos: 523.
Resto Nacional Porcentaje: 2.67.
El nivel de aprobación para el Resto Nacional fue de (14/523) = 0.0267.

3. Interpretación Estadística

Los resultados obtenidos implican —asumiendo 28 estudiantes en promedio por Centro Local— que la probabilidad, de que los estudiantes aprobados en Cojedes (37.04%) y en Táchira (33.33%) pertenezcan a la misma Población Estadística que el Resto Nacional (2.67%), es menor de p : 0.000001 (una millonésima), tanto para Cojedes (Z=11.26) como para Táchira (Z=10.05). Por ello se puede afirmar con cierta certeza, que en promedio 9 estudiantes en Cojedes y 21 estudiantes en Táchira, conocían anticipadamente la prueba de evaluación.

B. Soluciones Generales

Para corregir esta problemática, se pueden utilizar tres modalidades de acción. La primera de manera sustantiva y focal, consiste en diseñar un sistema logístico tal, que utilizando la moderna tecnología de informática, impida la fuga de información, reforzando la seguridad en los diferentes puntos de la cadena de transmisión de la prueba, entre el profesor que la origina y el estudiante que la responde. La segunda modalidad de acción sería diseñando un sistema funcional en la cual se minimice la necesidad de confidencialidad en los distintos aspectos y partes que conforman los procedimientos de evaluación; un ejemplo de este tipo de solución sería la publicación del Libro de Preguntas, o mejor aún, del Libro de Respuestas, de tal forma que la prueba en sí ocupe un espacio muy limitado y pueda ser reproducida directamente en los Centros Locales. La tercera modalidad de acción estaría orientada de manera diferente, no en impedir la Fuga de Pruebas, sino en eliminar sus efectos negativos, detectando y sancionando a aquellos estudiantes que utilicen este u otro tipo de procedimiento. De esta manera, indirectamente, se estaría desmotivando este tipo de acción. Lógicamente las tres modalidades de acción pueden desarrollarse simultáneamente para lograr los efectos correctivos de la manera más eficaz posible.

Para implementar esta tercera modalidad de acción será necesario diseñar un procedimiento estadístico predictivo tal, que a posteriori de la aplicación de las pruebas, luego de conocer los resultados, se pueda comparar la Nota Final obtenida en la Asignatura cursada, con el Puntaje Predictado y estimar, en aquellos casos donde el estudiante haya aprobado la asignatura, si la Nota Final de aprobación difiere significativamente de lo que hubiese podido esperarse como Puntaje Predictado. A partir de esta decisión se podrá aplicar un procedimiento especial que consistiría en aplicar una nueva prueba.

C. Secuencia para la construcción del Modelo Predictivo

Diseño del Modelo Predictivo. La Variable Dependiente Predictando será la Nota Final de una determinada asignatura universitaria y las Variables Independientes Predictoras serán construidas con las Notas de aprobación de las Asignaturas de Educación Media.
Establecer un Diseño Metodológico/Estadístico para la validación piloto tomando como referencia específica la asignatura Matemática I de los Estudios Generales.
Preparar un procedimiento para utilizar los resultados que arroje el Modelo Predictivo, especialmente en aquellos casos donde se hayan detectado discrepancias significativas entre la Nota Final y el Puntaje Predictado.
Realizar la Validación Piloto y presentar los resultados obtenidos.
Presentar las conclusiones del trabajo y recomendar acciones de búsqueda de nueva información para mejorar la capacidad predictiva del Modelo.

D. Diseño del Modelo

1. Descripción General

El Modelo estará soportado en variables que reflejan la actuación del estudiante en la Educación Media y que en teoría se consideren que pueden predecir su rendimiento en Asignaturas cursadas en la Universidad. Dado que en la Educación Media se ofrecen diferentes tipos de especialidades, a saber: Técnica, Comercial, Ciencias y Humanidades, entonces del Modelo a ser diseñado tendrá la misma estructura, pero los valores estimados de los parámetros en referencia a una misma asignatura universitaria, cambiarán según sean distintas la especialidad cursada en Educación Media.

2. Información de Educación Media

Notas de Aprobación de las Asignaturas de naturaleza Tecnológica y/o Cuantitativas en los primeros tres años de Educación Media (1/2/3) o de los últimos tres años de Educación Básica (7/8/9). Estas asignaturas serán: Matemática, Física y Química.
Notas de Aprobación del resto de las Asignaturas de los tres primeros años de Educación Media (1/2/3) o de los últimos tres años de Escuela Básica (7/8/9), exceptuándose Educación Física, Deportes y Manualidades.
Notas de Aprobación de las Asignaturas de naturaleza Científica y/o Tecnológica del Ciclo Diversificado (4/5). Estas asignaturas serán: Matemática, Física, Química.
Notas de Aprobación del resto de las asignaturas del Ciclo Diversificado (4/5), exceptuándose Educación Física, Deportes, Manualidades.

3. Construcción de las Variables Independientes/Predictoras La construcción de las Variables Independientes a partir de las Notas de Educación Media, se hará utilizando la técnica de Análisis Factorial.

Con las Notas Aprobadas de las Asignaturas Matemáticas y/o Tecnológicas de Educación Media (1/23) y/o Educación Básica (7/8/9), se procede a realizar un Análisis Factorial estimándose para cada Estudiante/Sujeto el Puntaje Factorial que constituye un Promedio Ponderado. Esta Variable será denominada Factor Numérico Básico (NUMBAS).
Con el resto de las Notas Aprobadas de las Asignaturas de Educación Media (1/2/3) y/o Educación Básica (7/8/9), se procede a realizar un Análisis Factorial, estimándose para cada Estudiante/Sujeto el Puntaje Factorial que constituye un Promedio Ponderado. Esta Variable será denominada Factor Verbal Básico (VERBAS).
Con las Notas Aprobadas de las Asignaturas Matemáticas y/o Tecnológicas de Educación Media Diversificada (4/5), se procede a realizar un Análisis Factorial estimándose para cada Estudiante/Sujeto el Puntaje Factorial correspondiente que constituye un Promedio Ponderado. Esta Variable será denominada Factor Numérico Diversificado (NUMDIV).
Con el resto de las Notas Aprobadas de las Asignaturas de Educación Media Diversificada (4/5) se procede a realizar un Análisis Factorial estimándose para cada estudiante el Puntaje Factorial correspondiente que constituye un Promedio Ponderado. Esta Variable será denominada Factor Numérico Diversificado (VERDIV).

4. Estructura del Modelo Propuesto

PUNTAJE = (a*NUMBAS)+(b*VERBAS)+(c*NUMDIV)+(d*VERDIV)+C

donde se tiene la siguiente especificación:

PUNTAJE	:	Puntaje Predictado de la Asignatura Cursada
NUMBAS	:	Puntaje Factorial Numérico Básico
VERBAS	:	Puntaje Factorial Verbal Básico
NUMDIV	:	Puntaje Factorial Numérico Diversificado
VERDIV	:	Puntaje Factorial Verbal Diversificado
a,b,c,d	:	Parámetros a ser estimados
C	:	Constante de Ajuste a ser estimada

E. Diseño Metodológico/Estadístico para la Validación Piloto

1. Ámbito

Para realizar la validación piloto será utilizada la Asignatura Matemática I de Estudios Generales, utilizando la información de 1996, siendo por tanto la Nota Final del Curso, la Variable Dependiente/Predictando. En relación con la construcción de las Variables Independientes Predictoras, dada la naturaleza de la Variable Dependiente, será utilizada en esta oportunidad, para este proceso de validación piloto, sólo aquellos estudiantes que hayan cursado la especialidad de Ciencias en Educación Media.

2. Muestra

Para la Construcción de las Variables Independientes en Educación Media, se van a tomar como Estudiantes/Sujetos, sólo aquellos estudiantes que como Nota Final en Matemática I hayan obtenido una calificación mayor o igual a 3 puntos. Esa restricción sobre la Variable Dependiente, estadísticamente no afectaría significativamente la construcción de las Variables Independientes, ya que ésta se realiza sobre las Notas de Educación Media, y se establece en función del supuesto que un Rendimiento muy bajo se debe a factores que no son propiamente académicas y de preparación previa, sino posiblemente debido a razones personales y coyunturales de ese momento.
Para estimar los Parámetros del Modelo se tomarán solamente Sujetos/Estudiantes cuya Nota Final en la Asignatura Matemática I esté comprendida entre 3 y 6 puntos. Esta restricción, que en este caso sí afecta la estimación de los parámetros del Modelo, es lógica de acuerdo con el propósito del uso del Modelo, ya que la existencia prevista de notas espurias en este Recorrido entre 7 y 10 puntos, distorsionaría sistemáticamente en una sola dirección, la estimación de los parámetros del Modelo.

3. Procedimientos Computacionales

Se construye el Archivo PTZ(3´ 10/N₀) conformado por todos los Estudiantes cuyas notas estén comprendidas entre 3 y 10, ambas inclusive.
Se realizarán los Análisis Factoriales obteniéndose cuatro Variables Independientes, con valores tipificados correspondientes a los Puntajes Factoriales: NUMBAS, VERBAS, NUMDIV, VERDIV. Estas variables quedan incorporadas en el archivo PTZ (3´ 10/N₀).
En el archivo PTZ(3´ 10/N₀) se eliminan los registros con Notas Finales igual o mayor a 7 puntos. Este archivo se denominará PTZ(3´ 6/N₁).
En el archivo PTZ (3´ 6/N₁) se calculan la Correlación Múltiple, el Error Típico de Estimación y los Parámetros del Modelo. Se obtiene un Puntaje Predictado.
En el archivo PTZ (3´ 6/N₁). Se calculan las diferencias (Puntajes Residuales) entre los Puntajes Predictados y la Nota Final. Estas diferencias (DIF1) se expresan en función del Error Típico de Estimación.
En el archivo PTZ (3´ 6/N₁) se procede a eliminar un grupo de registros con diferencia (DIF1) mayores que el valor 2.00 (p=0.02).
El número de registro a eliminar (E) será calculado según la siguiente fórmula: Sea K el número de registros con diferencia (DIF1) mayor que 2.00. E=K-(0.02*N₁). Se eliminarán los E registros con las mayores diferencias (DIF1).
Este archivo con E registros eliminados serán denominado PTZ (3´ 6/N₂).
En el archivo PTZ (3´ 6/N₂) se calcula la Correlación Múltiple, el Error Típico de Estimación y los Parámetros del Modelo.
En el archivo PTZ (3´ 10/N₀) se aplican los parámetros obtenidos en el archivo PTZ (3´ 6/N₂). Se obtienen Puntajes Predictados Proyectados. Se obtiene la Varianza de estos Puntajes que sería equivalente a la Varianza Explicada por la Recta de Ajuste Proyectada. Se calculan las Diferencias (DIF2) entre los Puntajes Predictados Proyectados y las Notas Finales.
Se deriva la fórmula para estimar cuál sería el Error Típico de Estimación (ETE*) para una muestra en el archivo PTZ (3´ 10/N₀) que presentase la misma Correlación Múltiple y la misma Resta de Ajuste Proyectada que el Modelo establecido en el archivo restringido PTZ (3´ 6/N₂).

ETE* = ((1 - r²) * VAREXP / r²)^1/2
En el archivo PTZ (3´ 10/N₀) se expresan las diferencias (DIF2) en función del Error Típico de Estimación (ETE*). Nótese que estas diferencias (DIF2) no constituyen Puntajes Residuales en el Archivo PTZ (3´ 10N₀).
Se clasifican los Estudiantes en cuatro categorías: Aplazados Discrepantes: (i) (DIF2£ -2.00). (ii) Aplazados Centrados (DIF2>-2.00). (iii) Aprobados Centrados (DIF<4.00). (iv) Aprobados Discrepantes (DIF³ 4.00).

F. Procedimiento para utilizar los resultados del Modelo

Se aplican las Pruebas Parciales e Integral en una Asignatura.

Se reciben para cada Estudiante las Notas Finales Observadas en la Asignatura.

Se aplica el procedimiento estadístico diseñado y se calculan las Diferencias.

Aquellos Estudiantes / Aplazados Discrepantes (DIF2£ -2.00), serán analizados bajo el concepto de Evaluación Formativa y referidos a un Procedimiento de Asesoría y Orientación (PRODAO).
Aquellos Estudiantes / Aprobados Discrepantes (DIF2³ 4), serán analizados bajo el concepto de Evaluación Sumativa y sometidos a la aplicación de un Procedimiento Especial de Revisión de Nota (PERNO).
Este Procedimiento Especial (PERNO) se fundamentará en la aplicación de una Prueba Equivalente a la Prueba Integral. El Vicerrectorado Académico y la Dirección de Operaciones establecerán la logística y la responsabilidad de la elaboración y aplicación de esta Prueba.
Se establece una Regla de Decisión para establecer si el Estudiante en la Prueba Equivalente logra un rendimiento similar al obtenido en el Procedimiento Original.

Se propone establecer un Puntaje Mínimo en la Prueba Equivalente:

Nota Final Original	Puntaje Mínimo
10 puntos	7 puntos o más
9 puntos	7 puntos o más
8 puntos	6 puntos o más
7 puntos	5 puntos o más
6 puntos	4 puntos o más

Aquellos Estudiantes que no logren el Puntaje Mínimo en la Prueba Equivalente serán objeto de un tratamiento especial que decidirá la Institución.

G. Validación Piloto

1. Construcción de las Variables Independientes

Utilizando la información de la asignatura Matemática I, del año 1996 presentada por la Oficina de Registro y Control de Estudios, se procedió a realizar la validación piloto. En el archivo PTZ (3´ 10/N₀=53) se realizan los cuatro Análisis Factoriales y se obtiene los Puntaje Factorial de cada caso se extrae un solo factor por grupo de asignaturas.

Se construye el Puntaje Factorial NUMBAS. Porcentaje de Varianza Explicada: 52.20% (Asignaturas/(Saturación): MAT1 (0.76); MAT2(0.64); MAT3 (0.78); FIS3 (0.67); QUI3 (0.72).
Se construye el Puntaje Factorial VERBAS. Porcentaje de Varianza Explicada: 46.07%. (Asignaturas/Saturación): ASG11 (0.67); ASG21 (0.72); ASG31 (0.72); ASG41 (0.80); ASG51 (0.47); ASG12 (0.76); ASG22 (0.63); ASG32 (0.66) ASG42 (0.76); ASG52 (0.67); ASG13 (0.75); ASG23 (0.40); ASG33 (0.74); ASG43 (0.68); ASG53 (0.63).
Se construye el Puntaje Factorial NUMDIV. Porcentaje de Varianza Explicada: 39.70%. (Asignatura/Saturación): MAT4 (0.61); FIS4 (0.52); QUI4 (0.70); MAT5 (0.66); FIS5 (0.63); QUI5 (0.64).
Se construye el Puntaje Factorial VERDIV. Porcentaje de Varianza Explicada: 38.30%. (Asignaturas/Saturación): ASG14 (0.71); ASG24 (0.72); ASG34 (0.49); ASG44 (0.61); ASG15 (0.63); ASG25 (0.72); ASG35 (0.64); ASG45 (0.60); ASG55 (0.54).

2. Cómputos en el Archivo PTZ (3´ 6 / N₁ = 34)

Se construye el archivo PTZ (3´ 6 / N₁ = 34) eliminando aquellos Sujetos que en el Archivo PTZ (3´ 10/N₀=53) presentan como Nota Final 7 puntos o más.
En este archivo PTZ (3´ 6/N₁=34) se obtiene los siguientes estadísticos: Correlación Múltiple: (0.57). Error Típico de Estimación: (0.81). Correlación Simple entre la Variable Dependiente / Predictada (MAT1UNA) y cada una de las Variables Independientes: NUMBAS (0.13), VERBAS (-0.15), NUMDIV (0.44), VERDIV (-0.09). Los valores estimados de los Parámetros del Modelo: NUMBAS (0.4051), VERBAS (-0.2491), NUMDIV (0.5661), VERDIV (-0.2769), Término Constante: (3.8894).
Se calculan los Puntajes Predictados y los Puntajes Residuales (DIF1). Estas diferencias (DIF1) se expresan en función del Error Típico de Estimación (0.81). Se encuentra que solo una diferencia (K=1) está por encima del valor 2.00.
Se construye el archivo PTZ (3´ 6/N₂). Se calcula N₂ según la formula previamente establecida:

E = K – (0.02 * N₁)

E = 1 – 0.68 = 0.32

N₂ = N₁ - E

N₂ = 34 - 0.32 = 33.68

34

3. Cómputos en el Archivo PTZ (3´ 10 / N₀ = 53)

Se aplican al archivo PTZ (3´ 10/N₀ = 53) los parámetros obtenidos en el Archivo PTZ (3´ 6/N₂ = 34). Se obtienen Puntajes Predictados Proyectados.
Se obtiene la Varianza de estos Puntajes (DT=0.62 / VAR=0.385) que es equivalente a la Varianza Explicada por la Recta de Ajuste Proyectada al Recorrido (3/10).
Se aplica la fórmula para estimar el Error Típico de Estimación (ETE*) en este archivo PTZ (3´ 10/N₀ = 53):

ETE* = ((1-r²) * VAREXP / r²)^1/2ETE* = ((1-0.326) * 0.385 / 0.326)^1/2ETE* = 0.89
Se calculan las Diferencias (DIF2) entre los Puntajes Predictados Proyectados y la Nota Final. Estas Diferencias se expresan en función del Error Típico de Estimación (ETE*=0.89).
Se clasifican los estudiantes en las cuatro categorías establecidas.

4. Resultados

CARRERA / CÓDIGO	GRUPO 2 APLAZADOS CENTRADOS	GRUPO 3 APROBADOS CENTRADOS	GRUPO 4 APROBADOS DISCREPANTES	TOTAL
MATEM (120)	-0.00 (01)	- (00)	5.37 (02)	3.58 (03)
I.SIS (236)	+0.57 (07)	2.52 (06)	5.58 (04)	2.27 (17)
I.IND (280)	+0.15 (01)	3.34 (01)	5.72 (02)	3.74 (04)
E.MAT (508)	-0.44 (01)	- (00)	4.29 (02)	2.71 (03)
PREES (542)	-0.23 (02)	- (00)	- (00)	-0.23 (02)
CON.P (610)	-0.53 (10)	- (00)	5.45 (02)	0.46 (12)
ADM.E (612)	-0.04 (08)	- (00)	4.73 (03)	1.26 (11)
R.SEG (613)	+0.59 (01)	- (00)	- (00)	0.59 (01)
TOTAL	-0.15 (31)	2.64 (07)	5.21 (15)	1.74 (53)

H. Síntesis y Recomendaciones

Entre los puntos que pueden destacarse está la decisión de utilizar para el cálculo de las Variables Independientes, una clasificación normativa previa entre las Asignaturas de las distintas Especialidades de Educación Media. De esta forma hemos tratado de buscar un mayor poder de predicción al hacer dos separaciones / clasificaciones; la primera que refleja una proximidad temporal entre el momento de los estudios en Educación Media y los estudios Universitarios, división que a su vez refleja también una realidad actual que se ha establecido en la Educación Media al separar entre el Ciclo Diversificado y el Ciclo Básico, que en la actualidad se ha establecido como Educación Básica hasta nueve años.

La segunda clasificación se refiere a la naturaleza disciplinaria que constituyen las Asignaturas de Educación Media; en este aspecto hemos utilizado la división tradicional entre Asignaturas con un contenido cuantitativo: Física, Química y Matemática y el resto de las Asignaturas que saturan mayormente sobre un factor con mayor contenido verbal. A este respecto, coincidimos con la pruebas del Consejo Nacional de Universidades que reúne dos aspectos: Razonamiento Numérico y Razonamiento Verbal.

Como ya habíamos establecido, la estructura del Modelo será igual, cualquiera que sea la Especialidad cursada en Educación Media, es decir, las mismas cuatro Variables Independientes y lo que cambia es el valor de estimación de los parámetros. Para una Asignatura particular cursada en la Universidad, por ejemplo Matemática I, al menos habría que estimar dos versiones del Modelo, uno utilizando las Asignaturas del Ciclo Diversificado de Ciencias y otro utilizando las Asignaturas del Ciclo Diversificado de Humanidades.

Otro aspecto que cabe destacar se refiere a la decisión de utilizar un promedio ponderado en lugar de un promedio simple, en la construcción del valor de cada Variable Independiente sobre al grupo de Asignaturas que normativamente conforman la clasificación correspondiente. Este Promedio Ponderado se obtiene mediante un Análisis Factorial y tiene como una ventaja adicional que en el cálculo del Puntaje Factorial Ponderado le será otorgada una mayor ponderación, a aquellas asignaturas de Educación Media que estadísticamente presenten mayor estabilidad y confiabilidad en sus formas de evaluación.

Finalmente hemos de recomendar que hacia el futuro puede incrementarse el poder predictivo del Modelo con la inclusión de nuevas Variables Independientes, idealmente estas serían; si todos los estudiantes presentasen la Prueba del CNU y ésta se utilizase como un criterio de admisión o como un factor ponderado para aprobar el Curso Introductorio de la Universidad, los dos factores de Razonamiento: Numérico y Verbal. Si esto no fuese viable, podría tomarse otras variables tales como el Promedio del Puntaje CNU del plantel donde el estudiante cursó el 5to. año de Educación Media.

Un camino alternativo de lo anterior, esta vez dentro de la Institución y por tanto con mayor viabilidad, sería construir un Promedio de Rendimiento UNA para cada plantel, tomando como referencia el plantel donde el estudiante que ingresó a Estudios Generales cursó el 5to. año. Esta variable sería construida, en el caso de Matemática I, como el Promedio de la Nota Final de la Asignatura Matemática I, en este caso, de todos los estudiantes que cursaron el 5to. año en un determinado plantel.

En cuanto a la validación piloto, debe notarse que todos los Aprobados/Centrados pertenecen al Área de Ingeniería, resultado con cierta lógica.

V. TERCER PROBLEMA: FALLAS Y ERRORES EN LAS CLAVES DE RESPUESTAS

A. Introducción y Descripción del Problema

En las Pruebas denominadas Objetivas, tiene una gran importancia la escogencia adecuada de los llamados distractores que conjuntamente con las Clave de Respuesta Correcta conforman las opciones que presenta cada ítem. La Teoría Psicométrica recomienda que los distractores deben tener igual grado de atracción para ser escogido y lógicamente, deberán tener un porcentaje menor de escogencia que la Respuesta Correcta. Sin embargo, si un distractor tiene un porcentaje menor de escogencia, ello no representa un problema grave, ya que sólo significaría que el ítem en conjunto con los distractores posee un menor grado de dificultad.

Los errores asociados con la construcción del ítem —Clave de Respuesta Correcta y Distractores— son fundamentalmente de tres tipos: (a) No se incluye la respuesta correcta; (b) Se incorporan más de dos Respuestas Correctas, (c) La pregunta o instrucción está mal formulada.

Las principales consecuencias de este tipo de falla, consiste en que o se hace necesario cambiar el Criterio de Dominio del Objetivo o se hace necesario eliminar el Objetivo a evaluar.

B. Soluciones

Una primera solución fue propuesta por Romero (1996) y consiste en disponer de una opción denominada Alternativa E, de tal forma, que si el estudiante tiene la capacidad de darse cuenta de la existencia de cualquier tipo de problema en el ítem, el pueda escoger como Respuesta Correcta la Alternativa E. Esta solución es válida tanto desde el punto de vista de la Enseñanza/Aprendizaje como desde un punto de vista estadístico psicométrico, lo primero porque la escogencia de la Alternativa E como respuesta, implica un cierto conocimiento, inclusive de mayor profundidad que la respuesta típica en este tipo de ítems. Lo segundo porque en principio existen dos vías para acertar en una respuesta correcta en un Ítem de Opciones Múltiples: la primera, lógicamente porque conoce cuál es la respuesta correcta a una determinada pregunta, previamente e independientemente de las alternativas del ítem, la segunda vía consiste en que puede darse una circunstancia en la cual el estudiante, aunque no conoce la Respuesta Correcta, pero posee el conocimiento suficiente para identificar entre las cuatro opciones/ alternativas, los tres distractores, en este caso por descarte también identificará acertadamente la Respuesta Correcta. Estadísticamente ambos aciertos implican la misma cantidad de conocimiento y se valoran exactamente igual.

Una segunda solución dependería del tipo de falla presentada, y no implicaría aumentar el número de Opciones/ Alternativas. Esta solución sería: (a) Cuando no se incluya la Respuesta Correcta se toma el Ítem como acertado si el estudiante deja en blanco su respuesta; (b) Cuando esté mal formulada la pregunta, se tomará el ítem como acertado, si el estudiante lo deja en blanco, sin respuesta; (c) Si el ítem presenta dos o mas Opciones/ Alternativas como correctas, se tomará el Ítem como acertado según dos modalidades: (a) si señala una de las Alternativas Correctas, como Respuesta Correcta o (b) si señala las dos Alternativas Correctas como Respuesta Correcta.

VI. CONCLUSIONES Y RECOMENDACIONES

Del análisis de los problemas detectados y de sus posibles soluciones, encontramos que existen soluciones con un mayor grado de viabilidad que otros; aunque todos ellos en algún grado representan cambios en el Sistema. Consideramos que primero puede iniciarse el proceso con la eliminación del esquema de Aprobación por Saldos Residuales y el cambio de los niveles de Dominio de los Objetivos. En segundo lugar, se puede solucionar los problemas de las fallas logísticas y de las Claves, incluyendo la Alternativa E y tercero, resolver el problema de la confidencialidad de la prueba, lo cual se puede realizar combinando las distintas opciones mencionadas y en especial lo que hemos desarrollado.

___________________________

(*): Saturación Factorial de las Asignaturas del 5to. Año de Bachillerato en Ciencias 1965. Factor Matemático Cuantitativo (FMC): Física (0.80), Química (0.72), Biología (0.50), Mineralogía (0.53), Matemática (0.82), Idioma (0.28), Castellano (0.08). Factor Humanístico Verbal (FHV): Física (0.23), Química (0.36), Biología (0.64), Mineralogía (0.63), Matemática (0.10), Idioma (0.24), Castellano (0.84). Fuente: UCV: Estudio del Rendimiento Estudiantil. Metodología. En: Informe de la Comisión de Estudio del Rendimiento Estudiantil / Consejo Universitario / UCV. Publicaciones del Vicerrectorado. Universidad Central de Venezuela. Caracas, Agosto, 1970.

REFERENCIAS BIBLIOGRÁFICAS

Machado, L. y B. Tancredi (1984). Ponderación de objetivos: Una estrategia para incrementar la validez funcional de los resultados de la Evaluación. UNA OPINIÓN, Vol. VI, N° 3, pág. 25. Caracas. Universidad Nacional Abierta.

Romero, M. (1996). El sistema de Evaluación UNA: Propuesta de Modificación. Cuadernos de Investigaciones y Postgrado. Caracas. Universidad Nacional Abierta.

Suárez, V. (1984). Bases para una política de Evaluación. UNA OPINIÓN, Vol. VI, N° 3, pág. 20. Caracas. Universidad Nacional Abierta.

Unidad de Evaluación Académica (1983). Proyecto de Evaluación de la instrucción para asignaturas en proceso de administración. Universidad Nacional Abierta. Mimeo.

Universidad Central de Venezuela (1970). Estudio del Rendimiento Estudiantil. Metodología. En: Informe de la Comisión de Estudio del Rendimiento Estudiantil / Consejo Universitario / UCV. Publicaciones del Vicerrectorado. Caracas.

Universidad Nacional Abierta (1996). Componente Docente/Curriculum (501)/CIIUNA. Caracas, 13/11/96. Mimeo.

Universidad Nacional Abierta. (1982) Reglamento de Evaluación. Caracas.

Regresar

Diseño, mantenimiento y edición: Milagros C. Márquez P.