Evaluación del Rendimiento Estudiantil en la
Universidad Nacional Abierta:
Problemas y Diseño de Posibles
Soluciones
Resumen
Max Contasti
Este trabajo puede ser catalogado como una
investigación de carácter aplicado, y será conformado por tres aspectos que
representan los principales problemas que actualmente confronta el proceso de
Evaluación del Rendimiento Estudiantil en la Universidad Nacional Abierta. Los
problemas analizados y el diseño de posibles soluciones fueron los siguientes:
- Primer Problema
: Aprobación por Saldos Residuales y Ausencia de
Corrección por Respuesta Aleatoria
- Segundo Problema
: Confidencialidad de las Pruebas
- Tercer Problema
: Fallas y Errores en las Claves de Respuestas.
Para conceptualizar y precisar cada uno de los tres problemas
planteados, fue necesario desarrollar investigaciones parciales y separadas. En
todos los casos, para cumplir con el objetivo propuesto de presentar soluciones,
fue necesario desarrollar tantos aspectos teóricos y/o atributivos, como
aspectos empíricos referidos tanto al diagnóstico del problema como, en algunos
casos, la validación del procedimiento propuesto.
Del análisis de los
problemas detectados y de sus posibles soluciones, encontramos que existan
algunas soluciones con un mayor grado de viabilidad y que todas ellas, en algún
grado, representan cambios en el Sistema. Hemos propuesto que puede iniciarse el
proceso con la eliminación del esquema de Aprobación por Saldos Residuales y el
cambio de los niveles de Dominio de los Objetivos. En segundo lugar, se puede
solucionar los problemas de las fallas logísticas y de los errores en las
claves, incluyendo la Alternativa E y tercero, resolver el problema de la
confidencialidad de la prueba, lo cual se puede realizar combinando las
distintas opciones mencionadas y en especial utilizando el modelo predictivo que
hemos desarrollado como solución.
I.
PRESENTACIÓN
Este trabajo, puede ser catalogado como una
investigación de carácter aplicado, y será conformado por tres aspectos que
representan tres de los principales problemas que actualmente confronta el
proceso de Evaluación del Rendimiento Estudiantil en la Universidad Nacional
Abierta.
Para conceptualizar y precisar cada uno de los tres problemas
planteados fue necesario desarrollar investigaciones parciales y separadas. En
todos los casos para cumplir con el objetivo propuesto de presentar soluciones,
fue necesario desarrollar tantos aspectos teóricos y/o atributivos, como
aspectos empíricos referidos tanto al diagnóstico del problema como, en algunos
casos, la validación del procedimiento propuesto.
Consideramos que en
este ámbito aplicado y con un marcado acento de carácter tecnológico como lo es
la Educación a Distancia, el crecimiento y progreso pasa por lo que hoy en día
se conoce como Investigación y Desarrollo (I & D). La investigación
orientada por la teoría y el desarrollo orientado por la posibilidad de
aplicación y solución de problemas.
II. LA
EVALUACIÓN DEL RENDIMIENTO ESTUDIANTIL EN LA UNIVERSIDAD NACIONAL ABIERTA
Desde 1978 se ha venido haciendo evidente que para una Institución a
Distancia, la evaluación de los aprendizajes del estudiante constituye el
proceso más importante y delicado en este tipo de modalidad educativa. Este
punto de vista se vería reforzado en el caso de la educación venezolana, por el
alto grado de deterioro de la calidad que ha ocurrido en la formación académica
de los profesionales. Este aspecto y su relación directa con el proceso de
masificación ha sido ya suficientemente discutido.
En el análisis del
proceso sistémico de la UNA como Institución a Distancia, se han diferenciado
permanentemente los aspectos de Curriculum, Instrucción y Evaluación, Suárez
(1984). Por urgencias y falta de experiencia, no se logró implementar un Modelo
Tecnológico explícito, y que por ello, las fases de Curriculum e Instrucción
quedaron fallas e incompletas; sin embargo, estas fallas, de ninguna manera
pudieran ser razones para que en la fase de Evaluación/Exámenes se eximiese del
rigor y exigencia que ameritaría una formación seria y pertinente, para un
profesional universitario, útil para sí mismo y para la sociedad, tal como lo
establecen los principios normativos más altos de nuestra institución.
En comparación con el aspecto curricular, cuya revisión promedio puede
realizarse cada diez años, y respecto a la instrucción, cuya revisión promedio
puede realizarse cada cinco años, la evaluación es un proceso continuo,
permanente y de igual densidad a lo largo de todo el Lapso Académico. En los 20
años de funcionamiento que tiene el Sistema de Evaluación el mayor esfuerzo
—continuo y sistemático— fue realizado entre 1978 y 1984 con la conformación de
una Red Logística Operativa que permitía cumplir eficazmente con la
administración y corrección periódica de Pruebas.
Por esta razón, la
decisión rectoral tomada en 1985, respecto a dividir y dispersar la Unidad de
Evaluación Académica, pudiera verse —a pesar del trastorno que ocasionó en la
Red Logística Operativa— como un intento de reforzar el aspecto técnico /
estadístico de la Evaluación. Por esto se escogió como una alternativa, el
separar los procesos académicos/heurísticos asignados a las Áreas Académicas, de
los procesos técnicos/estadísticos que seguirían funcionando en una Unidad
Central.
Los problemas se han gestado históricamente, algunos desde el
inicio mismo de la institución y otros por no haber reforzado la Red Logística
Operativa que fue creada al inicio. Se pueden mencionar los siguientes
problemas:(a) Mantenimiento del Sistema de Corrección por Saldos Residuales
asociados a la no existencia de mecanismos de corrección por Respuesta Aleatoria
en las Pruebas Objetivas. (b) Confidencialidad de las Pruebas. (c) Fallas y
Errores en Claves de Corrección.
En este trabajo cada uno de estos
problemas serán analizados separadamente y serán propuestas soluciones
pertinentes de acuerdo a las posibilidades de instrumentación que actualmente se
dispone en la institución.
III. PRIMER
PROBLEMA: APROBACIÓN POR SALDOS RESIDUALES Y AUSENCIA DE CORRECCIÓN POR
RESPUESTA ALEATORIA
A. Introducción y
Descripción del Problema
En el sistema de aprobación por Saldos
Residuales, o alternativamente conocido como posibilidad de Recuperación de
Objetivos, el estudiante puede decidir en cada evaluación cuáles objetivos desea
aprobar en cada Prueba Parcial, y una vez que un objetivo es aprobado, en una de
las pruebas parciales, para la Prueba Integral que se conforma con todos los
objetivos de la asignatura, el estudiante sólo intentará lograr los objetivos
que aún no hubiese aprobado, pudiendo decidir de antemano el número necesario
para aprobar la asignatura, inclusive en un nivel mínimo. Unidad de Evaluación
Académica (1983).
Este sistema que para el caso de asignaturas
técnicas/aplicadas tiene grandes ventajas, en cambio cuando se trata de
asignaturas de carácter básico que exigen una integración orgánica de todos sus
contenidos, presenta como falla el que se fragmenta el contenido de la
asignatura, pudiéndose aprobar la asignatura sin un conocimiento orgánico de la
misma, es decir con lagunas cognoscitivas.
Como será demostrado, cuando
además se utilizan los denominados Items Objetivos de Opciones Múltiples, sin
corrección por Respuestas Aleatorias, el nivel real de exigencia por aprobación
estará muy debajo del nivel normativamente establecido del 60%.
Bajo
esta modalidad de Recuperación de Objetivos por Saldos Residuales, y por el
hecho de la no existencia de ningún Mecanismo de Corrección de Puntajes por
Respuesta Aleatoria a los Items de Evaluación, se generan consecuencias directas
en relación con los verdaderos niveles reales de exigencia académica, todo ello
sin entrar a considerar cuestiones cualitativas tan importantes como son la
dificultad de construir y preparar evaluaciones válidas y confiables en Ciencia
Sociales y en especial Pruebas de Ensayos y si además, tal como sucede en
nuestra Institución, su corrección se hace descentralizadamente, utilizando
diferentes correctores y, adicionalmente, sin tener un sistema de control de
calidad respecto de la confiabilidad misma de los correctores.
B. Parámetros Normativos del Sistema de Evaluación
Las Normas de Evaluación establecen una serie de parámetros para
preparar y construir Pruebas y fijar procesos y niveles de Aprobación. Sin
entrar a discutir la pertinencia académica de estos parámetros —ya que no
constituye el propósito de este trabajo—, vamos a enfocar sólo las consecuencias
del problema de la no existencia de un Mecanismo de Corrección de Puntajes por
Respuesta Aleatoria a los ítems que componen los Objetivos evaluables, cuando
adicionalmente el Sistema permite aprobación por Saldos Residuales.
Los
artículos que nos sirven de referencia son los siguientes:
- Número de Objetivos evaluables en cada asignatura. Mínimo 10/ Máximo 20
(Artículo 13).
- Número de Items por Objetivos. Mínimo 3 / Máximo 9 (Artículo 28).
- Número máximo de Items por Prueba Integral: 90 Items (Artículo 28).
- Cada Objetivo tendrá como mínimo dos momentos de evaluación (Artículo 24).
Lo usual sería entonces dos Pruebas Parciales y una Prueba Integral.
- Se aprueba por saldos acumulados a nivel de Objetivos (Artículo 25).
- Porcentajes de Items necesarios para la aprobación de cada Objetivo:
Mínimo 60 / Máximo 78 (Artículo 31).
- Se aprueba la asignatura con un mínimo de 59.50% de Objetivos logrados
(Artículo 49).
- En cada actividad de Evaluación, el Criterio de Dominio deberá ser el
mismo para todos los Objetivos (Literal 30).
Este literal tiene dos
interpretaciones. En la primera y más inmediata, se interpreta que lo único que
debe ser constante es el Criterio de Dominio; por contraste se supone que pueden
ser variables las demás características que en esa relación intervienen, es
decir: Número Total de Items y Número Mínimo de Items necesarios para aprobar.
Con esta interpretación sólo se podrían tener dos tipos de Prueba: Prueba Tipo A
(9/6; 6/4; 3/2) / Prueba Tipo B (8/6; 4/3). (Machado y Tancredi, 1984). La
segunda interpretación, menos lógica, implica que para tener el mismo Criterio
de Dominio para todos los objetivos, en cada actividad de Evaluación, sería
necesario que todos los Objetivos tuviesen el mismo número total de Items. Como
puede ser fácilmente comprensible, esta interpretación establecería una seria e
innecesaria limitación académica en la construcción de Pruebas.
C. Respuesta Aleatoria
Consideramos un Alumno
Abstracto con absoluto desconocimiento de los contenidos evaluados en una
Asignatura y calculemos estadísticamente cuál será el puntaje que obtendría al
dar una respuesta aleatoria sobre los ítems, lograda mediante el puro azar:
1. Valores Numéricos Establecidos
- 18 Objetivos evaluables en la Prueba Integral con Criterio de Dominio
Fijo, con 5 ítems cada Objetivo.
- Dos Pruebas Parciales con 9 Objetivos por cada Prueba.
- Criterio de Dominio: 60% en cada Objetivo: (3/5, 4/5, 5/5)
- Número de Opciones en cada ítem: 4
- No existe corrección por Respuesta Aleatoria.
2. Cálculo
Estadístico
Posibilidad de acertar aleatoriamente, por puro azar, la
aprobación de un Objetivo bajo los supuestos antes establecidos. Según la
fórmula Combinatoria de Probabilidad: para aprobar el Objetivo será necesario
que se acierte tres, cuatro o cinco ítems, según el siguiente procedimiento:
- Probabilidad de aceptar por azar un ítem con cuatro opciones, de las
cuales una es la correcta:
- Probabilidad de acertar por azar tres ítems entre cinco del Objetivo:
- Probabilidad de acertar por azar cuatro ítems entre cinco del Objetivo:
- Probabilidad de acertar por azar los cinco ítems del
Objetivo:
Por tanto la probabilidad de aprobar por azar un objetivo será la
suma: 0.1035
3. Cálculo del número de Objetivos que se pueden acertar
por azar dentro del Sistema de Corrección por Saldos Residuales.
- Primera Prueba Parcial: 9 Objetivos evaluables.
- Promedio de Objetivos acertados aleatoriamente en Primera Parcial.
(9 ´ 0.1035) = 0.9315
- Segunda Prueba Parcial: 9 Objetivos evaluables.
- Promedio de Objetivos acertados aleatoriamente en Segunda Parcial.
(9 ´ 0.1035) = 0.9315
- Promedio Total de Objetivos acertados aleatoriamente en las dos Pruebas
Parciales: 1.863
- Prueba Integral. Objetivos Residuales: (18.000 – 1.863) = 16.137.
- Promedio de Objetivos acertados aleatoriamente en la Prueba Integral
(16.137´ 0.1035) = 1.670
- Promedio Total de Objetivos acertados aleatoriamente: 3.533.
4.
Síntesis
- Para este alumno, la diferencia entre el número de Objetivos necesarios
para aprobar: (10.80) y el número promedio de Objetivos acertados
aleatoriamente: (3.533), es de 7.267
- 7.267 representa el 40% del total de Objetivos evaluables.
En
estas circunstancias, en lugar de aprobar con el conocimiento del 59.50%
(Artículo 49) de los Objetivos, en promedio se aprueba con sólo 40%.
D. Soluciones y Recomendaciones
El sistema de evaluación UNA es un sistema mixto: Norma/Criterio. En
el caso de instrumentos para la evaluación sumativa, deberá ser una práctica
ortodoxa utilizar un Sistema de Corrección de Puntajes por Respuesta Aleatoria.
Si esto no llegase a establecerse por problemas logísticos y de recursos que
confronta la institución, sería entonces necesario tomar medidas compensatorias
alternativas, como por ejemplo: (a) Eliminar la aprobación por Saldos
Residuales. (b) Tener un mínimo de 6 ítems por Objetivo. (c) Utilizar 5 opciones
por ítems. (d) Aumentar el Criterio de Dominio del Objetivo hasta 0.80.
IV. SEGUNDO PROBLEMA: CONFIDENCIALIDAD DE LAS
PRUEBAS
A. Introducción y Detección del
Problema
Es conocido que en nuestra institución existe un grave
problema que de manera genérica se ha denominado como Fuga de Pruebas. Este
hecho vulnera la confidencialidad necesaria para que desde un punto de vista
técnico puedan ser válidos y confiables los resultados obtenidos. En
consecuencia, no se puede garantizar ni la función formativa ni la función
sustantiva de la evaluación de los aprendizajes.
Presentaremos en un
caso empírico, como se manifiesta y se detecta el fenómeno a partir de los
resultados de la evaluación de una asignatura. Asignatura Curriculum I.
Evaluación lapso 96-1.
1. Análisis Global
- Inscritos totales en la Asignatura: 889.
- Alumnos que no aprobaron ningún objetivo: 270.
- Resto de alumnos que aprobaron al menos un objetivo: 619
- Total de Alumnos aprobados: 47.
2. Resultados relevantes en
algunos Centros Locales.
- Cojedes: Alumnos aprobados: 10.
- Cojedes, Total Alumnos: 27.
- Cojedes Porcentaje: 37.04.
- Táchira: Alumnos aprobados: 23.
- Táchira, Total Alumnos: 69.
- Táchira Porcentaje: 33.33
- Resto Nacional: Alumnos aprobados: 14.
- Resto Nacional Total de Alumnos: 523.
- Resto Nacional Porcentaje: 2.67.
- El nivel de aprobación para el Resto Nacional fue de (14/523) =
0.0267.
3. Interpretación Estadística
Los resultados
obtenidos implican —asumiendo 28 estudiantes en promedio por Centro Local— que
la probabilidad, de que los estudiantes aprobados en Cojedes (37.04%) y en
Táchira (33.33%) pertenezcan a la misma Población Estadística que el Resto
Nacional (2.67%), es menor de p : 0.000001 (una millonésima), tanto para Cojedes
(Z=11.26) como para Táchira (Z=10.05). Por ello se puede afirmar con cierta
certeza, que en promedio 9 estudiantes en Cojedes y 21 estudiantes en Táchira,
conocían anticipadamente la prueba de evaluación.
B. Soluciones Generales
Para corregir esta
problemática, se pueden utilizar tres modalidades de acción. La primera de
manera sustantiva y focal, consiste en diseñar un sistema logístico tal, que
utilizando la moderna tecnología de informática, impida la fuga de información,
reforzando la seguridad en los diferentes puntos de la cadena de transmisión de
la prueba, entre el profesor que la origina y el estudiante que la responde. La
segunda modalidad de acción sería diseñando un sistema funcional en la cual se
minimice la necesidad de confidencialidad en los distintos aspectos y partes que
conforman los procedimientos de evaluación; un ejemplo de este tipo de solución
sería la publicación del Libro de Preguntas, o mejor aún, del Libro de
Respuestas, de tal forma que la prueba en sí ocupe un espacio muy limitado y
pueda ser reproducida directamente en los Centros Locales. La tercera modalidad
de acción estaría orientada de manera diferente, no en impedir la Fuga de
Pruebas, sino en eliminar sus efectos negativos, detectando y sancionando a
aquellos estudiantes que utilicen este u otro tipo de procedimiento. De esta
manera, indirectamente, se estaría desmotivando este tipo de acción. Lógicamente
las tres modalidades de acción pueden desarrollarse simultáneamente para lograr
los efectos correctivos de la manera más eficaz posible.
Para
implementar esta tercera modalidad de acción será necesario diseñar un
procedimiento estadístico predictivo tal, que a posteriori de la aplicación de
las pruebas, luego de conocer los resultados, se pueda comparar la Nota Final
obtenida en la Asignatura cursada, con el Puntaje Predictado y estimar, en
aquellos casos donde el estudiante haya aprobado la asignatura, si la Nota Final
de aprobación difiere significativamente de lo que hubiese podido esperarse como
Puntaje Predictado. A partir de esta decisión se podrá aplicar un procedimiento
especial que consistiría en aplicar una nueva prueba.
C. Secuencia para la construcción del Modelo Predictivo
Diseño del Modelo Predictivo. La Variable Dependiente Predictando será la
Nota Final de una determinada asignatura universitaria y las Variables
Independientes Predictoras serán construidas con las Notas de aprobación de
las Asignaturas de Educación Media.
Establecer un Diseño Metodológico/Estadístico para la validación piloto
tomando como referencia específica la asignatura Matemática I de los Estudios
Generales.
Preparar un procedimiento para utilizar los resultados que arroje el
Modelo Predictivo, especialmente en aquellos casos donde se hayan detectado
discrepancias significativas entre la Nota Final y el Puntaje Predictado.
Realizar la Validación Piloto y presentar los resultados obtenidos.
Presentar las conclusiones del trabajo y recomendar acciones de búsqueda
de nueva información para mejorar la capacidad predictiva del
Modelo.
D. Diseño del Modelo
1. Descripción General
El Modelo estará soportado en
variables que reflejan la actuación del estudiante en la Educación Media y que
en teoría se consideren que pueden predecir su rendimiento en Asignaturas
cursadas en la Universidad. Dado que en la Educación Media se ofrecen diferentes
tipos de especialidades, a saber: Técnica, Comercial, Ciencias y Humanidades,
entonces del Modelo a ser diseñado tendrá la misma estructura, pero los valores
estimados de los parámetros en referencia a una misma asignatura universitaria,
cambiarán según sean distintas la especialidad cursada en Educación Media.
2. Información de Educación Media
- Notas de Aprobación de las Asignaturas de naturaleza Tecnológica y/o
Cuantitativas en los primeros tres años de Educación Media (1/2/3) o de los
últimos tres años de Educación Básica (7/8/9). Estas asignaturas serán:
Matemática, Física y Química.
- Notas de Aprobación del resto de las Asignaturas de los tres primeros años
de Educación Media (1/2/3) o de los últimos tres años de Escuela Básica
(7/8/9), exceptuándose Educación Física, Deportes y Manualidades.
- Notas de Aprobación de las Asignaturas de naturaleza Científica y/o
Tecnológica del Ciclo Diversificado (4/5). Estas asignaturas serán:
Matemática, Física, Química.
- Notas de Aprobación del resto de las asignaturas del Ciclo Diversificado
(4/5), exceptuándose Educación Física, Deportes, Manualidades.
3.
Construcción de las Variables Independientes/Predictoras La construcción de las
Variables Independientes a partir de las Notas de Educación Media, se hará
utilizando la técnica de Análisis Factorial.
- Con las Notas Aprobadas de las Asignaturas Matemáticas y/o Tecnológicas de
Educación Media (1/23) y/o Educación Básica (7/8/9), se procede a realizar un
Análisis Factorial estimándose para cada Estudiante/Sujeto el Puntaje
Factorial que constituye un Promedio Ponderado. Esta Variable será denominada
Factor Numérico Básico (NUMBAS).
- Con el resto de las Notas Aprobadas de las Asignaturas de Educación Media
(1/2/3) y/o Educación Básica (7/8/9), se procede a realizar un Análisis
Factorial, estimándose para cada Estudiante/Sujeto el Puntaje Factorial que
constituye un Promedio Ponderado. Esta Variable será denominada Factor Verbal
Básico (VERBAS).
- Con las Notas Aprobadas de las Asignaturas Matemáticas y/o Tecnológicas de
Educación Media Diversificada (4/5), se procede a realizar un Análisis
Factorial estimándose para cada Estudiante/Sujeto el Puntaje Factorial
correspondiente que constituye un Promedio Ponderado. Esta Variable será
denominada Factor Numérico Diversificado (NUMDIV).
- Con el resto de las Notas Aprobadas de las Asignaturas de Educación Media
Diversificada (4/5) se procede a realizar un Análisis Factorial estimándose
para cada estudiante el Puntaje Factorial correspondiente que constituye un
Promedio Ponderado. Esta Variable será denominada Factor Numérico
Diversificado (VERDIV).
4. Estructura del Modelo Propuesto
PUNTAJE = (a*NUMBAS)+(b*VERBAS)+(c*NUMDIV)+(d*VERDIV)+C
donde
se tiene la siguiente especificación:
PUNTAJE |
: |
Puntaje Predictado de la Asignatura Cursada |
NUMBAS |
: |
Puntaje Factorial Numérico Básico |
VERBAS |
: |
Puntaje Factorial Verbal Básico |
NUMDIV |
: |
Puntaje Factorial Numérico Diversificado |
VERDIV |
: |
Puntaje Factorial Verbal Diversificado |
a,b,c,d |
: |
Parámetros a ser estimados |
C |
: |
Constante de Ajuste a ser
estimada |
E. Diseño
Metodológico/Estadístico para la Validación Piloto
1.
Ámbito
Para realizar la validación piloto será utilizada la Asignatura
Matemática I de Estudios Generales, utilizando la información de 1996, siendo
por tanto la Nota Final del Curso, la Variable Dependiente/Predictando. En
relación con la construcción de las Variables Independientes Predictoras, dada
la naturaleza de la Variable Dependiente, será utilizada en esta oportunidad,
para este proceso de validación piloto, sólo aquellos estudiantes que hayan
cursado la especialidad de Ciencias en Educación Media.
2. Muestra
- Para la Construcción de las Variables Independientes en Educación Media,
se van a tomar como Estudiantes/Sujetos, sólo aquellos estudiantes que como
Nota Final en Matemática I hayan obtenido una calificación mayor o igual a 3
puntos. Esa restricción sobre la Variable Dependiente, estadísticamente no
afectaría significativamente la construcción de las Variables Independientes,
ya que ésta se realiza sobre las Notas de Educación Media, y se establece en
función del supuesto que un Rendimiento muy bajo se debe a factores que no son
propiamente académicas y de preparación previa, sino posiblemente debido a
razones personales y coyunturales de ese momento.
- Para estimar los Parámetros del Modelo se tomarán solamente
Sujetos/Estudiantes cuya Nota Final en la Asignatura Matemática I esté
comprendida entre 3 y 6 puntos. Esta restricción, que en este caso sí afecta
la estimación de los parámetros del Modelo, es lógica de acuerdo con el
propósito del uso del Modelo, ya que la existencia prevista de notas espurias
en este Recorrido entre 7 y 10 puntos, distorsionaría sistemáticamente en una
sola dirección, la estimación de los parámetros del Modelo.
3.
Procedimientos Computacionales
- Se construye el Archivo PTZ(3
´ 10/N0) conformado por todos los Estudiantes cuyas notas
estén comprendidas entre 3 y 10, ambas inclusive.
Se realizarán los Análisis Factoriales obteniéndose cuatro Variables
Independientes, con valores tipificados correspondientes a los Puntajes
Factoriales: NUMBAS, VERBAS, NUMDIV, VERDIV. Estas variables quedan
incorporadas en el archivo PTZ (3´ 10/N0).
En el archivo PTZ(3´
10/N0) se eliminan los registros con Notas Finales igual o mayor a
7 puntos. Este archivo se denominará PTZ(3´ 6/N1).
En el archivo PTZ (3´
6/N1) se calculan la Correlación Múltiple, el Error Típico de
Estimación y los Parámetros del Modelo. Se obtiene un Puntaje Predictado.
En el archivo PTZ (3´
6/N1). Se calculan las diferencias (Puntajes Residuales) entre los
Puntajes Predictados y la Nota Final. Estas diferencias (DIF1) se expresan en
función del Error Típico de Estimación.
En el archivo PTZ (3´
6/N1) se procede a eliminar un grupo de registros con diferencia
(DIF1) mayores que el valor 2.00 (p=0.02).
El número de registro a eliminar (E) será calculado según la siguiente
fórmula: Sea K el número de registros con diferencia (DIF1) mayor que 2.00.
E=K-(0.02*N1). Se eliminarán los E registros con las mayores
diferencias (DIF1).
Este archivo con E registros eliminados serán denominado PTZ
(3´ 6/N2).
En el archivo PTZ (3´
6/N2) se calcula la Correlación Múltiple, el Error Típico de
Estimación y los Parámetros del Modelo.
En el archivo PTZ (3´
10/N0) se aplican los parámetros obtenidos en el archivo PTZ
(3´ 6/N2). Se
obtienen Puntajes Predictados Proyectados. Se obtiene la Varianza de estos
Puntajes que sería equivalente a la Varianza Explicada por la Recta de Ajuste
Proyectada. Se calculan las Diferencias (DIF2) entre los Puntajes Predictados
Proyectados y las Notas Finales.
Se deriva la fórmula para estimar cuál sería el Error Típico de Estimación
(ETE*) para una muestra en el archivo PTZ (3´ 10/N0) que presentase la
misma Correlación Múltiple y la misma Resta de Ajuste Proyectada que el Modelo
establecido en el archivo restringido PTZ (3´ 6/N2).
ETE* = ((1 - r2) * VAREXP /
r2)1/2
En el archivo PTZ (3´
10/N0) se expresan las diferencias (DIF2) en función del Error
Típico de Estimación (ETE*). Nótese que estas diferencias (DIF2) no
constituyen Puntajes Residuales en el Archivo PTZ (3´ 10N0).
Se clasifican los Estudiantes en cuatro categorías: Aplazados
Discrepantes: (i) (DIF2£ -2.00). (ii) Aplazados Centrados (DIF2>-2.00).
(iii) Aprobados Centrados (DIF<4.00). (iv) Aprobados
Discrepantes (DIF³
4.00).
F. Procedimiento para utilizar los
resultados del Modelo
Se aplican las Pruebas Parciales e Integral en una Asignatura.
Se reciben para cada Estudiante las Notas Finales Observadas en la
Asignatura.
Se aplica el procedimiento estadístico diseñado y se calculan las
Diferencias.
Aquellos Estudiantes / Aplazados Discrepantes (DIF2£ -2.00), serán analizados bajo el
concepto de Evaluación Formativa y referidos a un Procedimiento de Asesoría y
Orientación (PRODAO).
Aquellos Estudiantes / Aprobados Discrepantes (DIF2³ 4), serán analizados bajo el concepto de
Evaluación Sumativa y sometidos a la aplicación de un Procedimiento Especial
de Revisión de Nota (PERNO).
Este Procedimiento Especial (PERNO) se fundamentará en la aplicación de
una Prueba Equivalente a la Prueba Integral. El Vicerrectorado Académico y la
Dirección de Operaciones establecerán la logística y la responsabilidad de la
elaboración y aplicación de esta Prueba.
Se establece una Regla de Decisión para establecer si el Estudiante en la
Prueba Equivalente logra un rendimiento similar al obtenido en el
Procedimiento Original.
Se propone establecer un Puntaje Mínimo en la Prueba Equivalente:
Nota Final
Original |
Puntaje Mínimo |
10 puntos |
7 puntos o más |
9 puntos |
7 puntos o más |
8 puntos |
6 puntos o más |
7 puntos |
5 puntos o más |
6 puntos |
4 puntos o más |
Aquellos Estudiantes que no logren el Puntaje Mínimo en la Prueba
Equivalente serán objeto de un tratamiento especial que decidirá la
Institución.
G. Validación Piloto
1. Construcción de las Variables Independientes
Utilizando la
información de la asignatura Matemática I, del año 1996 presentada por la
Oficina de Registro y Control de Estudios, se procedió a realizar la validación
piloto. En el archivo PTZ (3´
10/N0=53) se realizan los cuatro Análisis Factoriales y se obtiene
los Puntaje Factorial de cada caso se extrae un solo factor por grupo de
asignaturas.
- Se construye el Puntaje Factorial NUMBAS. Porcentaje de Varianza
Explicada: 52.20% (Asignaturas/(Saturación): MAT1 (0.76); MAT2(0.64); MAT3
(0.78); FIS3 (0.67); QUI3 (0.72).
- Se construye el Puntaje Factorial VERBAS. Porcentaje de Varianza
Explicada: 46.07%. (Asignaturas/Saturación): ASG11 (0.67); ASG21 (0.72); ASG31
(0.72); ASG41 (0.80); ASG51 (0.47); ASG12 (0.76); ASG22 (0.63); ASG32 (0.66)
ASG42 (0.76); ASG52 (0.67); ASG13 (0.75); ASG23 (0.40); ASG33 (0.74); ASG43
(0.68); ASG53 (0.63).
- Se construye el Puntaje Factorial NUMDIV. Porcentaje de Varianza
Explicada: 39.70%. (Asignatura/Saturación): MAT4 (0.61); FIS4 (0.52); QUI4
(0.70); MAT5 (0.66); FIS5 (0.63); QUI5 (0.64).
- Se construye el Puntaje Factorial VERDIV. Porcentaje de Varianza
Explicada: 38.30%. (Asignaturas/Saturación): ASG14 (0.71); ASG24 (0.72); ASG34
(0.49); ASG44 (0.61); ASG15 (0.63); ASG25 (0.72); ASG35 (0.64); ASG45 (0.60);
ASG55 (0.54).
2. Cómputos en el Archivo PTZ (3´ 6 / N1 = 34)
- Se construye el archivo PTZ (3
´ 6 / N1 = 34) eliminando aquellos Sujetos que en el
Archivo PTZ (3´
10/N0=53) presentan como Nota Final 7 puntos o más.
En este archivo PTZ (3´
6/N1=34) se obtiene los siguientes estadísticos: Correlación
Múltiple: (0.57). Error Típico de Estimación: (0.81). Correlación Simple entre
la Variable Dependiente / Predictada (MAT1UNA) y cada una de las Variables
Independientes: NUMBAS (0.13), VERBAS (-0.15), NUMDIV (0.44), VERDIV (-0.09).
Los valores estimados de los Parámetros del Modelo: NUMBAS (0.4051), VERBAS
(-0.2491), NUMDIV (0.5661), VERDIV (-0.2769), Término Constante: (3.8894).
Se calculan los Puntajes Predictados y los Puntajes Residuales (DIF1).
Estas diferencias (DIF1) se expresan en función del Error Típico de Estimación
(0.81). Se encuentra que solo una diferencia (K=1) está por encima del valor
2.00.
Se construye el archivo PTZ (3´ 6/N2). Se calcula N2 según la formula
previamente establecida:
E = K – (0.02 * N1)
E = 1 – 0.68 =
0.32
N2 = N1 - E
N2 = 34 - 0.32 =
33.68
34
3. Cómputos en el Archivo PTZ (3´ 10 / N0 = 53)
- Se aplican al archivo PTZ (3
´ 10/N0 = 53) los parámetros obtenidos en el Archivo PTZ
(3´ 6/N2 = 34). Se
obtienen Puntajes Predictados Proyectados.
Se obtiene la Varianza de estos Puntajes (DT=0.62 / VAR=0.385) que es
equivalente a la Varianza Explicada por la Recta de Ajuste Proyectada al
Recorrido (3/10).
Se aplica la fórmula para estimar el Error Típico de Estimación (ETE*) en
este archivo PTZ (3´
10/N0 = 53):
ETE* = ((1-r2) * VAREXP /
r2)1/2
ETE* = ((1-0.326) * 0.385 / 0.326)1/2
ETE* = 0.89
Se calculan las Diferencias (DIF2) entre los Puntajes Predictados
Proyectados y la Nota Final. Estas Diferencias se expresan en función del
Error Típico de Estimación (ETE*=0.89).
Se clasifican los estudiantes en las cuatro categorías
establecidas.
4. Resultados
CARRERA / CÓDIGO |
GRUPO 2 APLAZADOS CENTRADOS |
GRUPO 3 APROBADOS CENTRADOS |
GRUPO 4 APROBADOS DISCREPANTES |
TOTAL |
MATEM (120) |
-0.00 (01) |
- (00) |
5.37 (02) |
3.58 (03) |
I.SIS (236) |
+0.57 (07) |
2.52 (06) |
5.58 (04) |
2.27 (17) |
I.IND (280) |
+0.15 (01) |
3.34 (01) |
5.72 (02) |
3.74 (04) |
E.MAT (508) |
-0.44 (01) |
- (00) |
4.29 (02) |
2.71 (03) |
PREES (542) |
-0.23 (02) |
- (00) |
- (00) |
-0.23 (02) |
CON.P (610) |
-0.53 (10) |
- (00) |
5.45 (02) |
0.46 (12) |
ADM.E (612) |
-0.04 (08) |
- (00) |
4.73 (03) |
1.26 (11) |
R.SEG (613) |
+0.59 (01) |
- (00) |
- (00) |
0.59 (01) |
TOTAL |
-0.15 (31) |
2.64 (07) |
5.21 (15) |
1.74 (53) |
H. Síntesis y Recomendaciones
Entre los puntos que pueden
destacarse está la decisión de utilizar para el cálculo de las Variables
Independientes, una clasificación normativa previa entre las Asignaturas de las
distintas Especialidades de Educación Media. De esta forma hemos tratado de
buscar un mayor poder de predicción al hacer dos separaciones / clasificaciones;
la primera que refleja una proximidad temporal entre el momento de los estudios
en Educación Media y los estudios Universitarios, división que a su vez refleja
también una realidad actual que se ha establecido en la Educación Media al
separar entre el Ciclo Diversificado y el Ciclo Básico, que en la actualidad se
ha establecido como Educación Básica hasta nueve años.
La segunda
clasificación se refiere a la naturaleza disciplinaria que constituyen las
Asignaturas de Educación Media; en este aspecto hemos utilizado la división
tradicional entre Asignaturas con un contenido cuantitativo: Física, Química y
Matemática y el resto de las Asignaturas que saturan mayormente sobre un factor
con mayor contenido verbal. A este respecto, coincidimos con la pruebas del
Consejo Nacional de Universidades que reúne dos aspectos: Razonamiento Numérico
y Razonamiento Verbal.
Como ya habíamos establecido, la estructura del
Modelo será igual, cualquiera que sea la Especialidad cursada en Educación
Media, es decir, las mismas cuatro Variables Independientes y lo que cambia es
el valor de estimación de los parámetros. Para una Asignatura particular cursada
en la Universidad, por ejemplo Matemática I, al menos habría que estimar dos
versiones del Modelo, uno utilizando las Asignaturas del Ciclo Diversificado de
Ciencias y otro utilizando las Asignaturas del Ciclo Diversificado de
Humanidades.
Otro aspecto que cabe destacar se refiere a la decisión de
utilizar un promedio ponderado en lugar de un promedio simple, en la
construcción del valor de cada Variable Independiente sobre al grupo de
Asignaturas que normativamente conforman la clasificación correspondiente. Este
Promedio Ponderado se obtiene mediante un Análisis Factorial y tiene como una
ventaja adicional que en el cálculo del Puntaje Factorial Ponderado le será
otorgada una mayor ponderación, a aquellas asignaturas de Educación Media que
estadísticamente presenten mayor estabilidad y confiabilidad en sus formas de
evaluación.
Finalmente hemos de recomendar que hacia el futuro puede
incrementarse el poder predictivo del Modelo con la inclusión de nuevas
Variables Independientes, idealmente estas serían; si todos los estudiantes
presentasen la Prueba del CNU y ésta se utilizase como un criterio de admisión o
como un factor ponderado para aprobar el Curso Introductorio de la Universidad,
los dos factores de Razonamiento: Numérico y Verbal. Si esto no fuese viable,
podría tomarse otras variables tales como el Promedio del Puntaje CNU del
plantel donde el estudiante cursó el 5to. año de Educación Media.
Un
camino alternativo de lo anterior, esta vez dentro de la Institución y por tanto
con mayor viabilidad, sería construir un Promedio de Rendimiento UNA para cada
plantel, tomando como referencia el plantel donde el estudiante que ingresó a
Estudios Generales cursó el 5to. año. Esta variable sería construida, en el caso
de Matemática I, como el Promedio de la Nota Final de la Asignatura Matemática
I, en este caso, de todos los estudiantes que cursaron el 5to. año en un
determinado plantel.
En cuanto a la validación piloto, debe notarse que
todos los Aprobados/Centrados pertenecen al Área de Ingeniería, resultado con
cierta lógica.
V. TERCER PROBLEMA: FALLAS Y ERRORES EN LAS CLAVES
DE RESPUESTAS
A. Introducción y Descripción
del Problema
En las Pruebas denominadas Objetivas, tiene una
gran importancia la escogencia adecuada de los llamados distractores que
conjuntamente con las Clave de Respuesta Correcta conforman las opciones que
presenta cada ítem. La Teoría Psicométrica recomienda que los distractores deben
tener igual grado de atracción para ser escogido y lógicamente, deberán tener un
porcentaje menor de escogencia que la Respuesta Correcta. Sin embargo, si un
distractor tiene un porcentaje menor de escogencia, ello no representa un
problema grave, ya que sólo significaría que el ítem en conjunto con los
distractores posee un menor grado de dificultad.
Los errores asociados
con la construcción del ítem —Clave de Respuesta Correcta y Distractores— son
fundamentalmente de tres tipos: (a) No se incluye la respuesta correcta; (b) Se
incorporan más de dos Respuestas Correctas, (c) La pregunta o instrucción está
mal formulada.
Las principales consecuencias de este tipo de falla,
consiste en que o se hace necesario cambiar el Criterio de Dominio del Objetivo
o se hace necesario eliminar el Objetivo a evaluar.
B. Soluciones
Una primera solución fue
propuesta por Romero (1996) y consiste en disponer de una opción denominada
Alternativa E, de tal forma, que si el estudiante tiene la capacidad de darse
cuenta de la existencia de cualquier tipo de problema en el ítem, el pueda
escoger como Respuesta Correcta la Alternativa E. Esta solución es válida tanto
desde el punto de vista de la Enseñanza/Aprendizaje como desde un punto de vista
estadístico psicométrico, lo primero porque la escogencia de la Alternativa E
como respuesta, implica un cierto conocimiento, inclusive de mayor profundidad
que la respuesta típica en este tipo de ítems. Lo segundo porque en principio
existen dos vías para acertar en una respuesta correcta en un Ítem de Opciones
Múltiples: la primera, lógicamente porque conoce cuál es la respuesta correcta a
una determinada pregunta, previamente e independientemente de las alternativas
del ítem, la segunda vía consiste en que puede darse una circunstancia en la
cual el estudiante, aunque no conoce la Respuesta Correcta, pero posee el
conocimiento suficiente para identificar entre las cuatro opciones/
alternativas, los tres distractores, en este caso por descarte también
identificará acertadamente la Respuesta Correcta. Estadísticamente ambos
aciertos implican la misma cantidad de conocimiento y se valoran exactamente
igual.
Una segunda solución dependería del tipo de falla presentada, y
no implicaría aumentar el número de Opciones/ Alternativas. Esta solución sería:
(a) Cuando no se incluya la Respuesta Correcta se toma el Ítem como acertado si
el estudiante deja en blanco su respuesta; (b) Cuando esté mal formulada la
pregunta, se tomará el ítem como acertado, si el estudiante lo deja en blanco,
sin respuesta; (c) Si el ítem presenta dos o mas Opciones/ Alternativas como
correctas, se tomará el Ítem como acertado según dos modalidades: (a) si señala
una de las Alternativas Correctas, como Respuesta Correcta o (b) si señala las
dos Alternativas Correctas como Respuesta Correcta.
VI. CONCLUSIONES Y RECOMENDACIONES
Del
análisis de los problemas detectados y de sus posibles soluciones, encontramos
que existen soluciones con un mayor grado de viabilidad que otros; aunque todos
ellos en algún grado representan cambios en el Sistema. Consideramos que primero
puede iniciarse el proceso con la eliminación del esquema de Aprobación por
Saldos Residuales y el cambio de los niveles de Dominio de los Objetivos. En
segundo lugar, se puede solucionar los problemas de las fallas logísticas y de
las Claves, incluyendo la Alternativa E y tercero, resolver el problema de la
confidencialidad de la prueba, lo cual se puede realizar combinando las
distintas opciones mencionadas y en especial lo que hemos desarrollado.
___________________________
(*)
: Saturación Factorial de las Asignaturas del 5to.
Año de Bachillerato en Ciencias 1965. Factor Matemático Cuantitativo
(FMC): Física (0.80), Química (0.72), Biología (0.50), Mineralogía
(0.53), Matemática (0.82), Idioma (0.28), Castellano (0.08). Factor
Humanístico Verbal (FHV): Física (0.23), Química (0.36), Biología
(0.64), Mineralogía (0.63), Matemática (0.10), Idioma (0.24), Castellano (0.84).
Fuente: UCV: Estudio del Rendimiento Estudiantil.
Metodología. En: Informe de la Comisión de Estudio del Rendimiento
Estudiantil / Consejo Universitario / UCV. Publicaciones del Vicerrectorado.
Universidad Central de Venezuela. Caracas, Agosto, 1970.
REFERENCIAS BIBLIOGRÁFICAS
Machado, L. y B. Tancredi (1984). Ponderación de objetivos: Una estrategia para incrementar la validez funcional de los resultados de la Evaluación. UNA OPINIÓN, Vol. VI, N° 3, pág. 25. Caracas. Universidad Nacional Abierta.
Romero, M. (1996). El sistema de Evaluación UNA: Propuesta de Modificación. Cuadernos de Investigaciones y Postgrado. Caracas. Universidad Nacional Abierta.
Suárez, V. (1984). Bases para una política de Evaluación. UNA OPINIÓN, Vol. VI, N° 3, pág. 20. Caracas. Universidad Nacional Abierta.
Unidad de Evaluación Académica (1983). Proyecto de Evaluación de la
instrucción para asignaturas en proceso de administración. Universidad Nacional
Abierta. Mimeo.
Universidad Central de Venezuela (1970). Estudio del Rendimiento
Estudiantil. Metodología. En: Informe de la Comisión de Estudio
del Rendimiento Estudiantil / Consejo Universitario / UCV. Publicaciones del
Vicerrectorado. Caracas.
Universidad Nacional Abierta (1996). Componente Docente/Curriculum
(501)/CIIUNA. Caracas, 13/11/96. Mimeo.
Universidad Nacional Abierta. (1982) Reglamento de Evaluación.
Caracas.
Regresar
Diseño, mantenimiento y edición: Milagros C. Márquez P.