Génesis e Historia de la Tríada de Evaluación: Eficacia, Eficiencia y Pertinencia(*)
I. INTRODUCCION
He leído y analizado diversas ponencias preparadas en Venezuela y en el exterior (Tünnermann, 1996; Latapí, 1996; Nieves y Castillo, 1996). En ellas se exponen con mucha precisión el tema central de la Calidad y Pertinencia de la Educación Superior Venezolana y Latinoamericana. Siendo la calidad y pertinencia de la educación, aspectos que desde hace muchos años han sido parte de mi trabajo como académico, deseo comentar lo que fue la génesis e historia evolutiva de estos conceptos y algunas formas que posteriormente fueron adoptadas para su uso.
Inicia Tünnermann (1996) su ponencia sobre Calidad de la Educación Superior diciendo: "El tema de la calidad de la educación superior se relaciona muy estrechamente con su pertinencia"; cita a UNESCO (1995) que indica textualmente: "La exigencia de una mayor pertinencia en la educación superior tiene que ir a la par con una preocupación general por mejorar su calidad".
Este autor da como un supuesto bien conocido, que la "preocupación de la calidad de la educación superior surge en América Latina y El Caribe en el contexto de la crisis económica que caracterizó la década pasada". Esta afirmación es cierta en tanto una apreciación de carácter diríamos estadístico, porque antes, ciertamente, aunque ya se había conceptualizado el término de calidad, no había surgido, tal como lo expresa el autor, la preocupación colectiva por ese importante aspecto.
Estando de acuerdo con el planteamiento sustantivo, especialmente con este trabajo, queremos dar a conocer un aspecto que metodológicamente es realmente interesante y que por ello debe ser destacado. Precisamente, y coincidiendo con lo expresado con toda claridad y convicción por todos los autores que actualmente tratan el tema, se puede comprobar que en el documento primigenio y germinal, donde por vez primera un término de uso común y cotidiano como pertinencia, fue utilizado en el contexto técnico de: Universidad / Planificación / Evaluación, ya surge en ese nuevo significado, asociado explícitamente al concepto de Calidad de la Educación.
II. DESARROLLO DE LA TRIADA EVALUATIVA
En 1969, cuando propusimos por vez primera el concepto de Pertinencia en la referencia específica Universidad / Planificación / Evaluación; el nuevo significado surge asociado con el concepto de Calidad. En un principio, los conceptos de Eficacia / Eficiencia / Pertinencia fueron utilizados más en su carácter sustantivo que metodológico, en cambio el concepto de Calidad fue y sigue siendo básicamente un concepto sustantivo.
Históricamente, hasta 1968, año de la Renovación Universitaria, las dos únicas categorías de evaluación, utilizadas sistemáticamente por planificadores y evaluadores, era las de eficacia y eficiencia,; el de eficacia referida al ámbito físico e instrumental de la planificación y el de eficiencia referido al ámbito económico de la planificación. Esta dupla fue introducida y sistematizada por Jorge Ahumada en sus clases de Planificación Económica dictadas en 1961 en el CENDES, advirtiéndose que ambas categorías ya venían siendo utilizadas en el ámbito de la salud y la medicina.
En 1969, motivado por la reconsideración de los fines y objetivos de la universidad, fenómeno impulsado por la gran discusión que significó la llamada Renovación Universitaria, en un documento interno presentado en el Consejo Directivo de la Escuela de Psicología y más tarde publicado como Posibilidades de una Renovación Universitaria (Contasti, 1972) propusimos el concepto de Pertinencia; ya desde ese momento, este concepto lo asocié con el problema de la calidad y de la obsolescencia del conocimiento, todo ello en referencia muy especial con nuestra condición de país subdesarrollado. Allí decíamos:
"En esto radica lo que a nuestro juicio debe constituir el objetivo de mayor jerarquía para este movimiento. La Renovación Universitaria debe comenzar por revitalizar la misión de la Universidad como Institución al servicio de la sociedad donde está ubicada; ello se traduce en determinar cuál es la mejor manera como puede cumplir con su papel específico en el problema general de toda nuestra sociedad que consiste en propiciar un desarrollo integral y autónomo; esta misión que ya ha adquirido carácter histórico y que en el momento actual llega a un hito, la hemos denominado de manera simple y operacional como Pertinencia de la Universidad. Está claro lo que ello implica".
"Sin embargo, no está demás señalar algunos puntos que pueden llevar a confusión. En primer término, es lógico y razonable que se nos ocurra pensar en la conocida frase de "preparar los técnicos y profesionales que el país necesita", pero apenas la hemos terminado, sentimos la urgencia de preguntarnos nuevamente: ¿son acaso los profesionales que el país necesita para mantenerse, tal como se encuentra en la actualidad, subdesarrollado, o más estrictamente hablando penetrado?"
"En un segundo lugar se piensa que la pertinencia de la Universidad se asegura automáticamente mejorando la calidad del producto que ella ofrece, y se elabora el concepto de calidad en los términos que lo hacen las Universidades de los países avanzados. Cabe por tanto observar que la calidad de Educación que necesitan los países atrasados no tiene por qué ser ni cualitativa ni cuantitativamente igual a la que se produce en los países desarrollados".
"Por último, debemos mencionar un punto que tiene relación con los anteriores, pero que es de tanta trascendencia en la actualidad, que debe tenerse en cuenta desde ahora mismo; ello es la dinámica y la obsolescencia que sufre el conocimiento adquirido, en razón del acelerado ritmo de desarrollo tecnológico".
"La mención de estas tres cuestiones nos obliga a pensar que el problema de establecer de manera concreta la pertinencia de la Universidad, constituye, hoy por hoy, un reto para los planificadores y científicos sociales, que se ocupan del problema de la formación integral de los recursos humanos en un país penetrado".
En segundo lugar se consideró el concepto de eficiencia y su relación con la equidad como el principal condicionante social.
"Establecida la pertinencia de la Universidad, como horizonte de un movimiento de Renovación Universitaria, encontramos que para su realización es necesario soportarla en dos aspectos que convencionalmente habremos de denominar: Eficiencia y Equidad. El primero consiste en considerar a la Universidad como un sistema productivo donde debe tenderse al logro de altos niveles de promoción; si señalamos una vez más la ya conocida cifra del 15% como coeficiente de prosecución global para la Universidad Venezolana -y sin siquiera entrar a cuestionar si ese 15% de graduados en su composición y calidad es pertinente para el desarrollo del país- el hecho en sí mismo nos lleva a un problema de productividad que la Renovación Universitaria debe enfrentar y donde ciertamente existe la capacidad técnica para resolverlo".
Nótese que Eficiencia y Equidad son tomados como términos sustantivos en cuanto a características instrumentales deseables para la institución, para así soportar la pertinencia como concepto más globalizador.
En tercer lugar, allí se presentaba la consideración acerca del problema de determinar a priori la eficacia de las soluciones propuestas; ello especialmente en el ámbito de las Ciencias Sociales. Nótese que Eficacia es tomada como un término metodológico.
"Debo aclarar que de ninguna manera las soluciones serán derivadas formalmente del análisis anterior, y por otra parte, que la eficacia de las mismas no podría ser determinada a priori, ya que es importante señalar que de una solución cualquiera sólo podremos conocer los resultados inmediatos; queda para la evaluación -a posteriori- comprobar si los resultados que producen las medidas tomadas actúan en la forma prevista sobre los hechos, ya que en Ciencias Sociales no podemos hablar de una casualidad determinística, sino sólo de una casualidad probabilística, donde una situación es configurada por la acción conjunta y simultánea de muchos factores, y generalmente sólo podemos actuar sobre un número limitado de ellos".
Nótese que en este momento inicial del desarrollo metodológico de la triada de Eficacia, Eficiencia y Pertinencia aún no eran tomados como tales criterios, sino simplemente como características deseables, dentro de un proceso de planificación, para el logro óptimo de los objetivos planteados.
Estas ideas iniciales acerca de la relación entre los conceptos de Eficacia, Eficiencia y Pertinencia las consideré y profundicé a lo largo de la primera mitad de la década de los años setenta. Hacia 1976 propuse una mayor sistematización y se conformó armónicamente un esquema que lo relacionaba con el proceso global de la planificación. Esta sistematización fue publicada bajo el título La problemática de los Recursos Humanos en relación a los Planes Nacionales de Desarrollo (Contasti, 1978). En este trabajo la consideración de los conceptos de Eficacia, Eficiencia y Pertinencia quedan subordinados a una nueva triada metodológica, ésta se refiere a los enfoques de la planificación, y aún no está totalmente explícito su uso como criterios de evaluación. En esta triada de los enfoques de planificación, proponemos y hacemos explícito la existencia de un tercer enfoque que con toda naturalidad hemos denominado como Enfoque Social. Allí decíamos:
"Para nuestro país, con abundantes recursos naturales -renovables y no renovables- sometido a una alta tasa de explotación industrial extractiva, tiene total validez y vigencia estudiar el proceso de manera integral, utilizando para ellos dos categorías principales de análisis del proceso general de planificación, que deben ser referidas a los aspectos específicos de los Recursos Humanos. Estas dos categorías son: Plazos, Enfoques".
En ese documento se proponía utilizar el siguiente esquema:
"Enfoque instrumental de Eficacia que se refiere exclusivamente a los Resultados del Proceso".
"Enfoque económico de Eficiencia que relaciona los Resultados con los Costos Financieros del proceso".
"Enfoque social de la Pertinencia que relaciona los Resultados con los Efectos Sociales que genera el proceso".
Es definitivamente en 1977, con la elaboración del documento de creación de la Universidad Nacional Abierta, cuando de manera clara y definitiva llegamos a la proposición de la triada Eficacia / Eficiencia / Pertinencia, como los tres criterios evaluativos, asociados a los tres enfoques, que previamente habíamos propuesto para orientar el proceso de planificación.
Nos correspondió desarrollar el capítulo No. 2 de este Proyecto. En ese capítulo titulado "El Desarrollo Nacional y el Sistema Educativo. Justificación del Proyecto UNA" establecíamos la posibilidad de utilizar tres modalidades o enfoques generales para orientar los procesos de desarrollo. El Enfoque Instrumental, evaluado con el criterio de Eficacia. El Enfoque Económico, evaluado con el criterio de Eficiencia. El Enfoque Social, evaluado con el criterio de Pertinencia.
Estos tres enfoques responden a la siguiente conceptualización:
"Bajo el Enfoque Instrumental lo más importante es el logro de los objetivos propuestos dentro de un cierto período y utilizando medios y procesos multiplicadores, sin dar valor primordial a la cuantía de los recursos utilizados en el logro de dichos objetivos. Este enfoque se evalúa con el criterio de eficacia".
"Bajo el Enfoque Económico están situadas las definiciones tradicionales de planificación, y donde lo más importante es la relación entre el nivel de los objetivos alcanzados y la cuantía de los recursos utilizados. Este enfoque se evalúa con el criterio de eficiencia".
"Bajo el Enfoque Social lo más importante no son los resultados primarios del proceso, ni tampoco el aprovechamiento óptimo de los recursos utilizados, sino los efectos que se generan en el medio social, ecológico y ambiental por acción de los resultados directos obtenidos en el proceso. Este enfoque se evalúa con el criterio de pertinencia".
"El Enfoque Social está siendo promocionado principalmente a nivel internacional por organismos especiales creados con ese propósito y se desarrolla de manera experimental en Universidades y Centros de Estudios Prospectivos, que analizan, como uno de los principales tópicos, los efectos que el crecimiento económico ha provocado en el ambiente ecológico y en el medio social, tanto en los países que han creado y producido una moderna y sofisticada tecnología, adaptada a sus necesidades reales, como en los países atrasados y dependientes, donde esa tecnología, en general no adecuada a sus verdaderas necesidades, ha sido trasplantada mediante el comercio internacional y utilizada sin ninguna restricción o adaptación".
III. UTILIZACION POSTERIOR DE TERMINOS Y CONCEPTOS
En la utilización posterior de esta triada conceptual de evaluación, en la década de los ochenta, algunos autores, sin mencionar las fuentes originales, modifican, según su conveniencia, lo que ya había sido establecido en las publicaciones antes mencionadas. Algunos autores hablaron de Pertinencia Social (Bayley), otros de Eficiencia Social como concepto distinto a Eficiencia Económica y tomándolo como sinónimo de Pertinencia (Essenfeld). Otros autores, al utilizar la triada, en lugar de Pertinencia, utilizaron términos híbridos como Efectividad y en algunos casos -en el exterior- sustituyen Pertinencia por Relevancia (Martínez Rizo). En mi opinión, este último cambio se genera en 1980, cuando para un evento internacional preparé el Marco Metodológico para la evaluación del Proyecto Familia -perteneciente al recién creado Ministerio de la Inteligencia- y donde en la versión inglesa, erradamente se tradujo "Pertinencia" con el término "Relevancia".
En estos últimos años estos conceptos han sido analizados y definidos por el CINDA en su publicación: Manual de Autoevaluación para instituciones de educación superior. Santiago de Chile, 1994.
Citado por Tünnermann, Pablo Latapí (1996), en La educación latinoamericana en la transición al siglo XXI, Santiago, Chile, dice:
"El Manual de Autoevaluación del CINDA, citado en la nota 2, nos da las definiciones siguientes: EFICACIA: Dimensión que se refiere al establecimiento de las relaciones de congruencia de medios a fines, es decir, si la selección, distribución y organización de los recursos utilizados es apropiada a los resultados obtenidos. EFICIENCIA: Dimensión que se relaciona con el uso que se hace de los recursos institucionales en beneficio del producto principal, es decir, la formación de un profesional idóneo. PERTINENCIA: Criterio perteneciente a la dimensión "relevancia", que comprueba que los objetivos propuestos por la institución corresponden a los requeridos, desde una perspectiva externa. RELEVANCIA: Dimensión que se refiere a los grandes fines educativos de la institución y que se expresa a través de las orientaciones curriculares, la definición de políticas de docencia y los perfiles profesionales de los egresados".
Como puede comprobarse, tiende a confundirse Pertinencia con Relevancia, pero lo que debe estar claro es que Pertinencia por su especificidad y distintividad es un criterio de evaluación, mientras que Relevancia es una característica general, ya que de manera canónica los Fines y Objetivos de una institución social, por antonomasia deben ser relevantes.
Recientemente en Mérida (1996) en la Conferencia Regional sobre Políticas y Estrategias para la Transformación de la Educación Superior en América Latina y El Caribe, preparatoria para la reunión de La Habana, tratamos de establecer en nuestra ponencia (Contasti, 1996) Transformación de la Educación Superior: Pertinencia y Calidad. Estudios y Rituales, lo que en estos momentos sostenemos en relación con la Calidad y Pertinencia de las Universidades. Podemos comprobar con satisfacción que sin alejarnos de las ideas básicas de 1969, hemos ido perfeccionando y actualizando los conceptos. Para este momento sobresale la preocupación por evaluar las instituciones y lograr posteriormente una certificación acreditativa de su calidad y competitividad. Allí planteábamos la relación entre Calidad y Pertinencia en los países subdesarrollados y como la dinámica teleonómica nos conduce a no realizar estudios cuantitativos sobre la calidad.
IV. CONCLUSIONES
Como una alternativa metodológica, en nuestra ponencia se presentaron dos trabajos realizados en el país, que pueden tomarse como una aproximación aceptable para la medición de calidad, de ellos es posible también inferir algún tipo de conclusiones sustantivas.
En consecuencia, ya preveíamos que ni en ese evento nacional en Mérida, ni en el evento internacional de La Habana, se presentarán estudios que midan la Calidad, ya sea de algunas carreras o instituciones en particular o de aspectos y ámbitos generales de la Educación Superior. Bajo esas circunstancias, se presenta el peligro de que muchos eventos, congresos y conferencias puedan transformarse en simples rituales académicos, que al repetirse sistemáticamente, año tras año, crean una modorra intelectual, difícilmente superable y que paradójicamente van a obstaculizar una verdadera transformación de la Educación Superior.
Entre las Conclusiones de ese evento, destacamos que efectivamente, entre las 22 ponencias presentadas en la mesa sobre Calidad, ninguna fue un estudio de medición de la Calidad.
Calidad y Pertinencia son las dos variables que sustantivamente deben ser tomadas en consideración para transformar la Educación Superior. En los países desarrollados, Calidad y Pertinencia son conceptos muy cercanos, diríase casi sinónimos, en cambio, en un país subdesarrollado se pueden interpretar y definir como conceptos diferentes, pero relacionados.
Dada las circunstancias complejas y cambiantes del mundo actual, consideramos que el concepto de Pertinencia es más difícil de precisar y medir, ya que los patrones de comparación no pueden ser de carácter universal. En cambio el concepto de Calidad es aceptado más universalmente y estaría más relacionado con la capacidad y competencia de la Educación Superior, para generar y transmitir nuevo conocimiento, cada vez más objetivo, verosímil y confiable.
En relación a la medición de la Calidad, es necesario explicitar que en Venezuela, a diferencia de lo que sucede en América del Norte, donde existen exámenes tipificados nacionales -SAT/GRE- no se ha elaborado estudios que de manera precisa midan aspectos generales o específicos sobre la calidad de la Educación Superior.
V. RECOMENDACIONES
Respecto a la Evaluación Institucional, se lograron los siguientes acuerdos: utilizar el esquema: Entrada/Proceso/Producto bajo las siguientes condiciones: (a) Iniciar el proceso de evaluación institucional, sólo con la evaluación del Producto. Para ello deben utilizarse indicadores objetivos y de alta confiabilidad, independientemente de que esos indicadores puedan poseer una validez promedio. Ejemplo el PPI. Con la alta confiabilidad se evitan dudas acerca del proceso. Esta evaluación debe ser realizada por una instancia externa a la institución. (b) Evaluación de la Entrada. Esta debe ser realizada de manera mixta: Externa e Interna. (c) Finalmente debe evaluarse el Proceso, esto debe realizarse mediante evaluación interna que combine autoevaluación, con la evaluación por otras instancias de la institución. Consideramos que sólo las personas que dominen perfectamente un proceso particular, tendrán la capacidad y competencia para detectar fallas y logros.
Al finalizar el proceso de evaluación institucional, se deberá proceder con el proceso de acreditación, que necesariamente implicará un proceso explícito de comparación entre instituciones.
_______________________
(*): Publicado en la revista Educación y Ciencias Humanas, Año VII, Nº.12; pp. 33-46.
Postgrado U.N.E. Simón Rodríguez.
BIBLIOGRAFIA
CINDA. (1984) Manual de Autoevaluación para Instituciones de Educación Superior. Chile.
CONTASTI, M. (1972) "Posibilidades de una Renovación Universitaria" en: Universitas 2000, 3, 3-4. Caracas.
CONTASTI, M. (1978) "La problemática de los Recursos Humanos en relación a los Planes Nacionales de Desarrollo" en: Universitas 2000, 3, 1, 195-200. Caracas.
CONTASTI, M. (1996) "Transformación de la Educación Superior: Pertinencia y Calidad. Estudios y Rituales". Ponencia presentada en la Conferencia Regional sobre Políticas y Estrategias para la transformación de la Educación Superior en América Latina y El Caribe. Mérida, Venezuela.
LATAPÍ, P. (1994) La educación latinoamericana en la transición del siglo XXI . Chile: Grupo de Trabajo sobre Educación, 26-30 de Septiembre de 1994, Santiago, Chile. (Fotocopiado).
NIEVES, F. CASTILLO, E. (1996) "Calidad de la Educación Superior en Venezuela. Mito o Realidad". Ponencia para el Encuentro de Investigadores sobre Educación Superior en Venezuela, presentada en el instituto de Altos Estudios de la Defensa Nacional (IAEDEN). Caracas.
TÜNNERMANN, B. (1996). Calidad de la Educación Superior. México. UNESCO.
UNIVERSIDAD NACIONAL ABIERTA (1977). Proyecto. Capítulo 2: "El Desarrollo Nacional y el Sistema Educativo. Justificación del Proyecto UNA". "Proyecto". Venezuela: Registro de Publicaciones de la UNA No. 77-003. Segunda Edición.