Reflexión sobre la Evaluación Institucional
Recientemente, el 29/11/00 fui invitado por la Oficina de Desarrollo Estratégico de la Universidad Metropolitana y por la Dra. Myriam Gómez de Soriano (USB), a una Conferencia sobre Indicadores de Gestión Universitaria Proyecto (ULA/USB/UCV) que, en sus aspectos metodológicos, coordina la Dra. Gómez de Soriano. El Proyecto muestra avances significativos al haber conceptualizado y definido operacionalmente los primeros cincuenta indicadores. Se anunció la próxima fase tecnológica/organizacional para asegurar la captura y sistematización de información, que lleve al cálculo permanente de una serie de por lo menos los últimos cuatro años, en cada institución.
Considero necesario y conveniente para el avance y la consolidación de los procesos de Evaluación Institucional, comentar algunos aspectos epistémicos y metodológicos acerca de cómo se han desarrollado estas experiencias en el ámbito de las Universidades Nacionales.
En los últimos veinte años, en las
universidades nacionales se ha hablado reiterativamente de Evaluación
Institucional. En los años ochenta, se realizó un primer intento que nunca
llegó a culminarse pues, por una parte, hubiese sido necesario una gran
cantidad de información para implementarla y, por la otra, no se había
desarrollado una metodología operacional para calcular los indicadores. Sólo se
propuso un esquema teórico y los formatos de recolección de la información. En
los noventa, se volvió a mencionar la Evaluación Institucional. Este entusiasmo
inusitado se genera por el énfasis que han ejercido organismos internacionales sobre
el concepto de Calidad de la Educación; ello ha traído, entre otras, como
consecuencia, que en distintas instancias de planificación se haya teorizado
sobre el tema, y en algunos casos se propusieran listados de indicadores.
Algunos de ellos presentan, en principio, una estructura válida, pero en
cambio, como instrumentos útiles para realizar una evaluación institucional, en
la práctica son de poca ayuda.
Históricamente, hasta 1968, las dos
únicas categorías de evaluación utilizadas por planificadores y evaluadores,
eran las de eficacia y eficiencia; la de eficacia referida a un ámbito
instrumental y la de eficiencia referida a un ámbito económico.
En 1969, motivado por la reflexión que
generó la llamada renovación académica, en un documento interno presentado en
el Consejo Directivo de la Escuela de Psicología se propuso (Contasti, 1972) un
nuevo significado conceptual para el conocido término de Pertinencia; ya desde
ese momento, este concepto se
presentaba asociado al problema de la calidad y de la obsolescencia del
conocimiento, todo ello en referencia muy especial con nuestra condición de
país subdesarrollado. También se consideraba el concepto de eficiencia en su
relación con la equidad como el principal condicionante social y se planteaba
la dificultad de determinar a priori la eficacia de las soluciones propuestas,
en especial referidas al ámbito de las Ciencias Sociales, donde no son comunes
y confiables las mediciones operacionales que son propias de las Ciencias
Materiales.
Estas ideas iniciales acerca de la
relación entre los conceptos de Eficacia, Eficiencia y Pertinencia fueron
consideradas a lo largo de la década de los años setenta. Hacia 1975 se propuso
una mayor sistematización y se conformó un esquema que se integraba
armónicamente con el proceso global de
la planificación. En ese trabajo (Contasti, 1978), la consideración de los
conceptos de Eficacia, Eficiencia y Pertinencia quedan asociados a una tríada
metodológica, que se refiere a los enfoques de la planificación. Se establecía:
El enfoque instrumental de Eficacia que se refiere exclusivamente al logro
—total o parcial— de los Resultados del proceso. El enfoque económico de
Eficiencia que relaciona los Resultados con los Costos y Recursos del proceso.
El enfoque social de la Pertinencia que relaciona los Resultados con los
Efectos Sociales que genera el proceso.
Con la elaboración del documento de
creación de la Universidad Nacional Abierta (1977), es cuando de manera clara y
definida se alcanza la proposición de la tríada Eficacia / Eficiencia /
Pertinencia, como los tres criterios evaluativos asociados a los tres enfoques
que previamente habían sido propuestos para orientar el proceso de
planificación. En el Enfoque Instrumental, lo más importante es el logro de los
objetivos propuestos dentro de un cierto período temporal. Este enfoque se
evalúa con el criterio de Eficacia. En el Enfoque Económico están situadas las
definiciones tradicionales de planificación, y donde lo más importante es la
relación entre el nivel de los objetivos alcanzados y la cuantía de los
recursos utilizados. Este enfoque se evalúa con el criterio de Eficiencia. En
el Enfoque Social lo más importante no es el aprovechamiento óptimo de los
recursos utilizados, sino los efectos que se generan en el medio social y
ecológico por acción de los resultados directos obtenidos en el proceso. Este
enfoque se evalúa con el criterio de Pertinencia.
Para 1996, en reunión celebrada en
Mérida como evento preparatorio al Congreso Internacional de La Habana sobre
Calidad y Pertinencia (Contasti, 1996), se ha retomado este planteamiento
asociado con la Evaluación Institucional. Se proponen los tres criterios antes
mencionados de Eficacia, Eficiencia y Pertinencia en conjunto con la secuencia
de Entrada/Proceso/Producto, según el siguiente ordenamiento: (a) Iniciar el
proceso de Evaluación Institucional sólo con la medición del Producto. Para
ello deben utilizarse indicadores objetivos y de alta confiabilidad,
independientemente de que esos indicadores puedan poseer una validez promedio.
Ejemplo el PPI. Con la alta confiabilidad se evitan dudas y cuestionamientos
coyunturales acerca del proceso. Esta evaluación puede ser realizada por una
instancia externa a la institución. (b) Evaluación de la Entrada. Ésta puede
ser realizada de manera mixta: Externa e Interna. (c) Finalmente debe evaluarse
el Proceso, ello debe realizarse mediante evaluación interna que combine
indicadores cuantitativos, autoevaluación y la evaluación por otras instancias
de la universidad. En referencia especial a este aspecto, se considera que sólo
los actores internos que dominen perfectamente un proceso particular, tendrán
la capacidad y competencia para detectar fallas y logros.
Dentro de un primer enfoque
técnico/procedimental de carácter básicamente estadístico —dado cierto
Universo—, una acción típica de evaluación institucional por normas
comparativas, se iniciaría con la medición del Producto, luego se mediría la
Entrada y dada la complejidad del Proceso, éste se obtiene, en primera
instancia, como un valor residual. Una vez lograda una medición residual del
Proceso, entonces, mediante procedimientos de análisis realizados internamente
en la institución, se pueden enfatizar los elementos/rubros que constituyan un
flujo significativo para alcanzar un diagnóstico.
Ejemplo: Es usual en estudios que han
sido realizados en universidades del exterior, medir la calidad del Producto
(GRE), típicamente medido sobre los egresados de las carreras, luego medir la
calidad de la Entrada; los estudiantes, básicamente los aspectos relacionados
con potencialidad aptitudinal (SAT), eficiencia de hábitos de estudios (Notas)
y Nivel Socioeconómico (Graffar). Una vez que se tienen estas mediciones,
entonces, utilizando métodos estadísticos conocidos y tradicionales de análisis
de regresión, se puede tener una estimación residual del Proceso. Algunos
estudios incorporan directamente en la ecuación, como variables independientes,
Profesores, Bibliotecas y Becas, pero también se podría tomar el valor residual
del Proceso como variable dependiente genérica y mediante una combinación de
medición, estimación e interpretación de esas y otras variables, generar
internamente una explicación para obtener un diagnóstico. Hay que enfatizar,
que dentro de este primer enfoque metodológico, la medición, análisis,
comparación e interpretación con relación al Proceso se encuentra al final de
la secuencia, y que ésta debe iniciarse con la medición del Producto y de la
Entrada, en lugar de una observación directa del Proceso.
Existe una segunda forma técnico/instrumental
de realizar la Evaluación Institucional, que tiene gran aceptación por su
aparente facilidad de implementación, ello consiste en la utilización de
Encuestas de Opinión. Mediante el uso de este instrumento, se le solicita a una
muestra representativa y/o pertinente de sujetos, su opinión con relación a
todos los aspectos que se consideren relevantes de la institución; aquí puede
simultáneamente tomarse estimaciones sobre el Producto, el Proceso y la Entrada
y a posteriori tratar de integrarlos, relacionarlos, compararlos e
interpretarlos para obtener un diagnóstico.
Este enfoque es muy vulnerable, su
validez dependerá, entre múltiples factores, primero, de la posibilidad de que
las personas escogidas en la muestra tengan el conocimiento preciso y sean
capaces de dar respuestas verosímiles acerca de los aspectos encuestados;
segundo, de la competencia logístico operativa para preservar en el tiempo, la
representatividad, en el caso de un muestreo aleatorio y la experticia en el
caso de un muestreo intencional. En tercer lugar, un problema adicional, pero
de una gran importancia, se refiere a la confiabilidad de la información
obtenida. Mientras que en el primer enfoque la confiabilidad es muy alta, ya
que se trata de registros preexistentes, en estos casos se trata de una opinión
ad hoc y tomada exclusivamente para propósitos de evaluación, donde
independientemente de la verosimilitud de la opinión en el momento preciso en
el cual se capture la información, queda por establecer si esa opinión mantiene
su estabilidad en el tiempo o sólo fue producto del juicio circunstancial y/o
emocional de un momento. En este aspecto, en nuestro país, y supongo que en
otros también, se comete un error muy generalizado de utilizar como estimación
de confiabilidad un coeficiente de consistencia interna, en lugar de un
coeficiente de estabilidad. Esta falla proviene de imitar acríticamente los
procedimientos que se usan en psicología para la medición de aptitudes,
obviando una diferencia absolutamente radical, ya que en este caso, por estar
midiendo opiniones y/o actitudes, todas las respuestas son en principio
aceptables.
Transcendiendo el tema tratado, se
considera que muchas de las críticas que se le han hecho a los métodos
cuantitativos al ser utilizados en Educación y Ciencias Sociales, provienen de
un manejo defectuoso y errado de las encuestas de opiniones y de actitudes,
donde ciertamente, en la mayoría de los casos, las críticas han sido acertadas
y pertinentes; esto no es así cuando en la medición de otros tipos de fenómenos
se usan técnicas, procedimientos e información que poseen una confiabilidad muy
alta y donde el núcleo de la medición lo constituye el problema de la validez.
A partir de las ideas presentadas, se
ha diseñado un Esquema Analítico Estructurado (Matheus, 1997). En este esquema
se combinan los aspectos que han sido previamente tratados. Por una parte, la
secuencia de Entrada/Proceso/Producto, y por la otra los criterios evaluativos
de Eficacia/Eficiencia/Pertinencia junto con las mediciones sustantivas de
Volumen y Calidad, se ha propuesto la siguiente relación estructural: A la
Entrada y al Producto se le asocian los rubros de Volumen, Calidad y
Pertinencia, y a los Procesos se le asocian los rubros de Eficacia y
Eficiencia.
La tesis central y crítica respecto al
uso y limitación, tanto de los Esquemas Analíticos Estructurados, como
especialmente de los listados, está relacionada con la disponibilidad y costo
de la información. En un sistema perfectamente automatizado que inclusive
incorporase la información en tiempo real —como lo hace el sistema financiero
con los volúmenes monetarios—, sería posible, si fuese deseable, la utilización
de un Esquema Analítico Estructurado, siempre y cuando se hubiese previamente
cumplido con los siguientes requisitos metodológicos: (a) Disponibilidad
rutinaria de la Información; (b) Conceptualización del Indicador; (c)
Operacionalización del Indicador; (d) Proposición de Patrones de Evaluación
—Criterios y/o Normas— para calificar el grado de rendimiento en el Indicador;
(e) Asignación de pesos de ponderación al Indicador para integrarlo y agregarlo
en niveles superiores. Estas condiciones, constituyen un conjunto de
investigaciones de naturaleza científicamente compleja, y al no disponer de
información confiable, pierde sentido realizar este gran esfuerzo.
Frente a esta absoluta limitación y,
adicionalmente, dado el grado de desarrollo organizacional de nuestras
instituciones, tampoco es deseable el uso de estos esquemas complejos, por ello
la vía o el método más conveniente se dará en la dirección inversa; más
empírica y holística. Es decir, detectada la existencia de un cierto volumen de
información en algún aspecto relevante de la institución, por aproximaciones
sucesivas en el procesamiento y depuración estadística de esa información, de
manera teleonómica, conceptual y operacionalmente se va construyendo un
Indicador Complejo. Posteriormente utilizando el Esquema Analítico
Estructurado, el Indicador que en principio constituye un complejo relacional,
puede desarrollarse o expandirse en un conjunto bien discriminado de
Indicadores Simples. Ésta ha sido la vía que se ha utilizado en la Universidad
Nacional Abierta y se han desarrollado cuatro grandes Indicadores Complejos:
(a) Indicador Socioeconómico, (b) Índice de Retraso Académico en el Escalafón,
(c) Índice Graduacional, (d) Índice de Productividad Académica.
Para la tarea de proponer, definir y construir indicadores, pueden utilizarse dos grandes orientaciones de aproximación a la práctica.
a) Orientación Sistemática Total
b) Orientación Casuística Puntual
La primera orientación se inicia con una conceptualización explícita del campo disciplinario (Educación Superior) y de los Criterios Evaluativos, que posibiliten una cobertura amplia de la gama de indicadores; útiles y necesarios. Posteriormente debe asegurarse un Sistema Informático pertinente.
La segunda orientación ignora esta conceptualización en ambas vertientes —cobertura y criterios—, privilegiando la existencia de información viable y/o ad hoc. Existiendo la información, se recorre el camino inverso.
A continuación, una lista de Proyectos de Orientación Sistemática que desde 1965 he conocido y/o participado.
1965/1971: Estudio del Rendimiento Estudiantil (CUCERE/UCV). Rotundo/Olaizola/Contasti/Añez/Urbina.
1980/1986: Comisión CNU. Núcleo de Planificación: Matrices de Información Académica y Financiera. Estaba/Boyer/Gómez.
1990/1996: Comisión OPSU/Núcleo de Planificación: Indicadores de Evaluación Institucional. Villarroel/Mejías.
1996/1997: Comité Asesor UNA: Información para la Evaluación Institucional. Yero/Matheus/Contasti/Ferrán/Márquez.
1997/1997: Comité Consultivo UNA: Indicadores Educativos y Presupuestarios para la Evaluación Institucional. Ávila Bello/Avella Guevara/Suárez Joya.
1997/2000: Comisión ULA/USB/UCV. Proyecto Interinstitucional Indicadores de Gestión. Suárez/Gómez/Salcedo/Cadenas.
1998/2000: Proyecto CNU/OPSU. Evaluación y Acreditación de Universidades Nacionales. Villarroel/González.
A continuación, Indicadores construidos puntualmente:
a) Rendimiento de Egresados por Cohortes (1987)
b) Rendimiento de Egresados por Promoción (1987)
c) Retraso en el Escalafón Académico (1994)
d) Productividad Investigación UNA (1995)
e) Graffar Equivalente UNA (1996)
f) Costo por Egresados (Carrera/Institución) (1997)
g) Productividad Científica PPI por Sectores (1999)
A) (1960/1970). Eficacia/Eficiencia. (Cendes. Clases de Programación Económica de Jorge Ahumada).
B) (1968/1972). A los criterios anteriores se les agregó el Criterio de Pertinencia (Contasti / Universitas 2000) (1972).
Se conformó la siguiente Estructura (Tríada): (1) Enfoque Instrumental de Planificación / Criterio Evaluativo de Eficacia (Resultados). (2) Enfoque Económico de Planificación / Criterio Evaluativo de Eficiencia (Productos). (3)Enfoque Social de Planificación / Criterio de Pertinencia (Efectos).
C) En este año 2000, el Proyecto Interinstitucional (ULA/USB/UCV), al considerar nuevos aspectos sustantivos, ha enriquecido el esquema anterior al introducir de manera estructurada y definida, los criterios de Efectividad, Productividad e Impacto, criterios estos que de manera asistemática venían siendo propuestos por algunos organismos internacionales (UNESCO/CRESALC/CINDA).
Básicamente se mantiene el esquema: Entrada/Proceso/Producto. El planteamiento que privilegiamos establece etapas. Primero, la medición objetiva del Producto mediante indicadores. Segundo, la determinación de la Entrada. Tercero, por procedimientos estadísticos de cálculos residuales por regresión, se obtiene una primera información indicativa sobre el Proceso, y con esta información se orienta una Investigación Institucional (Pesquisa). Esta última fase puede darse por Auto Evaluación y/o Evaluación Externa.
A manera de ejemplo, véase esta situación. En 1997 (Comité Consultivo UNA), calculamos a precios constantes de 1984 para los tres años 1993/1995 los promedios por egresados (millones de bolívares) de las siguientes Instituciones Universitarias: UCV (0.35); ULA (0.26); Zulia (0.18); Carabobo (0.21), USB (0.37); UNA (0.21); Rómulo Gallegos (0.22); Guayana (0.20); Baralt (0.23); UPEL (0.11). Con este dato, que puede ser considerado como una medición cruda de eficiencia, no es posible ni evaluar ni jerarquizar a las Universidades; será necesario obtener una medición de Producto, específicamente la calidad de Egresado, y así establecer mediante un balance estadístico obtenido por regresión, por ejemplo, si el mayor costo de la UCV y USB se corresponde o no con una mayor calidad del Egresado. Lógicamente que la comparación deberá hacerse primero en el ámbito de Carreras y luego en el ámbito de Instituciones mediante un índice ponderado que tome en consideración los desvíos respecto a los costos diferenciales promedios de las distintas Carreras. Es decir, se acepta que el costo de Medicina y/u Odontología es diferente al de Historia y/o Letras.
(*): Publicado en el Diario El Globo, 22 de Diciembre, 2000; pág. 21
Diseño, Mantenimiento y Edición: Milagros C. Márquez P.