María Isabel Arbesú García
Universidad Autónoma Metropolitana
[email protected]
Javier Loredo Enríquez
Universidad Iberoamericana
[email protected]
Miguel Monroy Farías
Universidad Autónoma Metropolitana
FES-Iztacala, UNAM.
[email protected]

Alternativas Innovadoras en la Evaluación de la Docencia

Resumen

Se presentan una serie de estudios con un eje común: priorizar el uso formativo de la evaluación de la docencia en la medida que incorpore la participación del docente en la mejora de la enseñanza. Las experiencias van de la aplicación de cuestionario a los alumnos a los talleres de profesores así como el reto futuro que representarán los cursos en línea.

Palabras clave: Docencia, evaluación, métodos de enseñanza.

Abstract

Several studies with a fundamental idea in common are presented: prioritising the formative use of teaching evaluation as long as it incorporates the participation of the teacher himself/herself in the improvement of teaching performance. Experiences include from questionnaires filled by students to teacher workshops. The challenge posed by on-line courses is also dealt with.

Key words: Teaching, evaluation, methods.

Los trabajos que aquí se exponen forman parte de diversos proyectos de investigación institucionales, algunos de ellos realizados como tesis de posgrado. Cada experiencia es distinta en virtud de que se realiza en un marco institucional específico (público o privado) y debido a que cada una desarrolla una concepción metodológica y teórica peculiar; todas intentan priorizar el uso formativo de la evaluación de la docencia y consideran indispensable la participación y opinión de los profesores para la mejora de la enseñanza.
El primero desarrolla la propuesta de un sistema de evaluación, tomando como eje central el cuestionario de opinión que se aplica a los alumnos. Las siguientes cuatro experiencias de investigación, desarrolladas como taller con los profesores, resaltan la participación y la reflexión; la última muestra el reto de nuestros días y a futuro lo que implicará la evaluación de la docencia en los cursos en línea.

Propuesta para la evaluación formativa y humanista de la práctica docente

Esta propuesta se desarrolló en el contexto de una universidad privada. El proyecto en su momento fue institucional y contó con todo el apoyo de las autoridades para su realización.
El objetivo del estudio fue diseñar un sistema de evaluación de la práctica docente con carácter formativo y humanista, considerando como fuentes de información la opinión de maestros y alumnos, así como la del contexto institucional.
Para el diseño del sistema se plantearon tres directrices: a) El docente como persona. Este planteamiento centrado en lo humano parte de una preocupación basada en la preservación de la dignidad, autoestima e individualidad del profesor, reconoce en él a una persona con expectativas e intereses y emocionalmente involucrada. El instrumento más importante que posee un profesor es ciertamente su persona; b) La evaluación de la docencia como parte integral del currículo, significa que el proceso de evaluación no es evento aislado, al contrario debe ser un proceso amplio, congruente, comprensivo e integral. El docente cumple en el currículo la función del profesional que idea, planea, ejecuta y evalúa su propia actividad. Mejorar la actuación docente es mejorar el currículo; c) La docencia como práctica social de un colectivo, es entender la docencia como profesión compartida por una comunidad de profesores. Socializar sus experiencias, preocupaciones y proyectos le da a su profesión una dimensión poco reconocida y fomentada.
Además se establecieron otros postulados como directrices en el desarrollo de la propuesta, éstos son: 1) Enfoque formativo, es la orientación de la evaluación en la búsqueda de una mejora de las actividades realizadas por el profesor y no de supervisión o control administrativo; 2) Abordaje científico, es considerar que todos los procesos que acompañan la dinámica evaluativa se sustenten en la reflexión teórica e investigación empírica; 3) Relación orgánica entre práctica, evaluación y formación docente, ya que se valora el trabajo pedagógico y los resultados conducen a procesos de formación, los que a su vez se traducen en cambios efectivos en la práctica; 4) Triangulación de informaciones, es la posibilidad de hacer concurrir en la elaboración de juicios valorativos la opinión de alumnos, profesores, coordinadores y especialistas; 5) Acercamiento multidimensional, implica incorporar en el análisis y evaluación los diferentes factores que están relacionados con el ejercicio docente; 6) Multiplicidad instrumental, es recurrir a diversos medios e instrumentos para la evaluación docente (cuestionarios, entrevistas, observaciones, portafolios, autoevaluación), lo que posibilita una mejor comprensión de la situación evaluada; 7) Contextualización, es un acercamiento casuístico a los resultados obtenidos por los educadores considerando los recursos y condiciones con que opera; 8) Conceptualización del docente como un profesional reflexivo y estratégico, que aprovecha los resultados de la evaluación para reflexionar críticamente sobre sus fortalezas y debilidades.
Como parte del proceso metodológico que siguió el estudio, se diseñó un listado de 80 conductas, habilidades y actitudes característicos de la práctica docente; el listado se agrupó en diez categorías y ellas fueron la base de un instrumento de consulta que se aplicó a 211 profesores de licenciatura y 80 de posgrado, así como a 292 estudiantes de licenciatura y 131 de posgrado de todas las escuelas y facultades con el fin conocer desde su perspectiva cuáles deberían ser los aspectos más significativos a ser considerados en la evaluación docente. A partir de los resultados se diseñó un instrumento que fue probado en una muestra de 343 estudiantes. La versión resultado del piloteo, se presentó a maestros y directivos a manera de volver a reflexionar con ellos la pertinencia del instrumento, lo que llevó al diseño del instrumento definitivo.
Finalmente, para elaborar el instrumento se consideraron: 1) La filosofía educativa y misión de la institución; 2) El modelo curricular; 3) El modelo pedagógico; 4) El perfil docente contextualizado; 5) La opinión de los profesores y alumnos sobre qué evaluar de la práctica docente; 6) El análisis de otros instrumentos de universidades nacionales e internacionales; 7) La literatura especializada.
Como reflexión final el estudio reafirma que considera al docente como uno de los agentes centrales del desarrollo educativo; que es necesaria la evaluación de su práctica cotidiana en el aula; que el enfoque de dicha evaluación debe ser formativo y de perfeccionamiento; que la evaluación es un proceso integral y sistémico; que la evaluación a través de los cuestionarios de opinión de los estudiantes es sólo un medio y no deberá ser la única fuente de información y se reconoce que establecer un sistema integral de evaluación docente es un proceso largo y complejo (Aguirre et al., 2000: 1-35; Loredo y Grijalva, 2000: 103-131).

Análisis de la práctica educativa como instrumento de formación y evaluación de la docencia

Esta investigación de corte cualitativo a partir del método etnográfico (desde los enfoques fenomenológico y hermenéutico), se realizó en la Unidad Xochimilco de la Universidad Autónoma Metropolitana (UAM). Sus propósitos fueron conocer, comprender y evaluar la práctica docente en un programa modular. Se entiende a la evaluación como un proceso de comprensión y reflexión sobre la enseñanza en el que participan los docentes quienes deciden, a través de la reflexión y el autoconocimiento de su práctica, realizar los cambios o mejoras deseados (Arbesú, 2000: 231-254; Arbesú y Rueda, 2003: 56-64).
En cuanto a los aspectos metodológicos se delimitó como referente empírico al Módulo Conocimiento y Sociedad del Tronco Interdivisional en la UAM-Xochimilco. Se seleccionó a tres docentes que impartieron (en tres trimestres distintos) dicho módulo. Un filósofo por parte de la División de Ciencias Sociales y Humanidades, un diseñador industrial en representación de Ciencias y Artes para el Diseño; y una bióloga por Ciencias Biológicas y de la Salud. El trabajo de campo duró un año y se utilizó como técnica privilegiada a la observación participante. También se empleó como apoyo, el uso de entrevistas semiestructuradas con los docentes y con los alumnos correspondientes; la videofilmación de una sesión (durante el trimestre con cada profesor); la consulta con colegas; la investigación documental y la elaboración de diarios de campo.

Resultados: Profesor de Ciencias Sociales y Humanidades

De acuerdo con los testimonios de este docente, la presencia continúa de la investigadora en el aula se constituyó como un espejo semanal a través del cual él podía ver al grupo y, por consiguiente, verse a sí mismo; revelándole las sutiles motivaciones que lo llevaban a actuar de tal o cual forma con sus estudiantes. Desde su percepción fue quizá este efecto de espejo lo que le permitió realizar ciertas mejoras en su práctica.
Una primera modificación fue comprender que la construcción de conocimientos por parte del alumno involucra todo su ser, y no solamente su inteligencia:

Derivado de ello mi actitud en el aula ha sido más cercana con los estudiantes, con sus inquietudes individuales, familiares y sociales. Para ello introduje una actividad semanal que consiste en que el estudiante durante los fines de semana del trimestre redacta una reflexión personal acerca de cualquier tema que le resulte interesante. Con esto se les desarrolla la habilidad para expresarse por escrito sobre algo muy cercano a ellos, y a mí me permite conocer su nivel de expresión, y con frecuencia, entender mejor sus actitudes.

Profesor de Ciencias y Artes para el Diseño

No obstante, que el profesor ya había tenido una serie de experiencias previas en trabajos de autoobservación, comenta que la retroalimentación que recibió durante este estudio le dio la posibilidad de analizar y a confrontar su práctica. Como resultado ha podido trabajar con mayor seguridad y libertad en los grupos a los que enseña.

Sí, me vi reflejado en el texto que me entregaste. Captó mucho mí interés. Conforme lo iba leyendo me iba involucrando cada vez más en la redacción, hasta llegar a escucharme a mi mismo. Éste me hacía notar una serie de factores que yo trabajo en clase y que aunque ya sabía que lo hacía, el conocerlos con una conceptualización hecha por alguien que investiga me enriqueció.

Profesora de Ciencias Biológicas y de la Salud

La docente comenta que esta investigación fue un apoyo profesional que le permitió darse cuenta de algunos problemas específicos en relación con su práctica docente y con ello ha podido cambiar ciertas actitudes al respecto, como por ejemplo ser más directiva. En particular a esta maestra lo que más le impactó fue autoobservarse en el video que se filmó de su práctica.

Me di cuenta de mi pasividad ante el grupo. Aprendí que debo ser más directiva. Comprendí que hubo una gran diferencia entre lo que yo quería expresar con mi silencio y la forma en que lo interpretó el grupo. Me parece que el documento escrito, se refuerza más después de observarse uno en el video. Es como si la narración, cobrara mayor sentido de cuando se leyó por primera vez.

La evaluación de la enseñanza desde la perspectiva de los profesores

Esta investigación se realiza en la Universidad Autónoma de Aguascalientes (UAA), a partir de una trabajo cualitativo, cuyo enfoque de evaluación de la docencia se centra en el modelo del profesor reflexivo (Figueroa, 2000; Arbesú y Figueroa, 2001).
En particular, el estudio enfatiza la importancia de la participación del profesor en la evaluación de su propia práctica; ya que ésta promueve la reflexión del docente y le permite dialogar con él mismo y con el contexto en el que enseña.
El trabajo asume la postura del profesor como un profesional reflexivo, el que con distintos niveles de amplitud y profundidad consciente o inconscientemente, cuestiona lo que sucede en el aula, aunque no siempre lo manifiesta en forma explícita. Los profesores, son capaces de reflexionar sobre sus propias acciones o pensamientos, así como sobre las acciones y opiniones de los estudiantes con los que trabajan, y de preguntarse: ¿cuál es el conocimiento deseable para los alumnos en este curso y para qué les sirve en su profesión?, ¿qué procedimiento puedo emplear para que los estudiantes logren el objetivo del curso? , y ¿cómo evaluar el aprendizaje? A lo largo de un curso los profesores tratamos de responder y actuar para dar respuesta a cada una de ellas.
El estudio siguió como estrategia metodológica el trabajar con dos profesores de la UAA, evaluados como buenos profesores, ambos impartían por primera las materias, uno de Psicología General y el otro de Psicología Científica, al mismo grupo que cursaba el primer semestre de la licenciatura en Psicología. El trabajo parte de tomar en cuenta como punto fundamental a la reflexión de los profesores.
Se entrevistaron en varias ocasiones a ambos docentes, se audiograbaron sus clases durante un semestre completo y también se entrevistaron a algunos de sus estudiantes. Cada profesor grababa, antes de comenzar la clase, lo que pensaba hacer. También cada uno, después de finalizar la sesión grababa nuevamente sus percepciones de lo que hizo.
El uso de la estrategia metodológica presta atención a todos los comentarios que realizaron los profesores durante su trabajo como profesionales de la enseñanza.
La investigadora dialoga con los profesores con el objeto de poder conocer y comprender lo que ellos mismos piensan acerca de lo que dicen y hacen en el aula. En este sentido, ésta tiene la oportunidad de ver la enseñanza en acción, de apreciar intentos exitosos y desatinados de los profesores, de escuchar sus desesperanzas, y también, porque no, de identificar prácticas que reflejan una falta de planeación de la enseñanza.

Resultados del estudio, comentados por los propios docentes

La profesora de Psicología General señala que en el documento escrito que la investigadora le entregó, no solamente “ve datos, sino que éste hace una descripción fiel y fundamentada en la que recuerda voces, rostros, vivencias”. Destaca también ciertos aspectos sobre su enseñanza calificándolos como positivos o negativos y susceptibles de trabajar la próxima vez que dé clase, como planear mejor el trabajo en equipo y centrarlo menos en las exposiciones del profesor y más en la de los estudiantes.
En el caso del profesor de Psicología Científica, comentó que la lectura del documento le sirvió para poder observar mejor el comportamiento de los estudiantes. Reconoce que las expectativas que él tenía como profesor, antes de iniciar las clases, se fueron modificando a lo largo del curso; ya que los estudiantes demandaron una mayor dirección de su parte, cuestión en la que él no está de acuerdo.
Si bien, el profesor terminó el programa exponiendo los contenidos después de leer el documento se pregunta, si realmente logró los objetivos de ese programa, y si los estudiantes también lo consiguieron. Señaló que la forma que él empleaba para avanzar era exponiendo y diciendo, ya lo vimos, pero en realidad “era mi avance”. “Tal vez, si hubiera sido más congruente, en el sentido de permitir que los estudiantes llevaran su propio ritmo de trabajo, o quizás si yo hubiera conocido otras estrategias pedagógicas, creo que todo hubiera salido con mayo éxito”.

La evaluación docente desde las representaciones pedagógicas de los estudiantes

La evaluación de la función docente desde las representaciones, creencias y valores que tienen los estudiantes sobre los profesores, es una propuesta que pretende dar voz a los estudiantes, que procura considerar la visión que los estudiantes construyen sobre la función de la práctica docente y de su papel como aprendices. El análisis del pensamiento escolar de los alumnos, lo que piensan, creen y sienten, es una alternativa para evaluar la práctica docente. El estudio del pensamiento escolar del estudiantado puede ayudar a comprender mejor cómo y por qué el estudiante participa en las prácticas educativas y, a su vez puede enriquecer los programas del desarrollo profesional docente, puede ayudar a confirmar acciones que los docentes hacen en su práctica educativa, pero también a dudar de la eficacia de algunos de ellas (Monroy, 2000; Monroy, 2003).
La presente propuesta se desprende de una investigación del pensamiento pedagógico de estudiantes universitarios; de un estudio de casos en donde se utilizó la entrevista semiestructurada para indagar situaciones y problemas individuales y únicos, con la intención de considerar concepciones que tienen los estudiantes sobre su función como aprendices, sobre las expectativas, valores y significados en torno a cuatro grandes dimensiones: a) cómo consideran que son motivados por sus profesores hacia el aprendizaje; b) cuál consideran que es su función como aprendices, y qué expectativas esperan de la función docente; c) cómo consideran que transcurren los procesos de enseñanza y aprendizaje, qué tipo de interacciones creen que se dan entre ellos y los profesores, y qué calidad académica y pedagógica suponen que tienen los profesores, finalmente d) cómo consideran que son evaluados, cuál consideran que es el propósito de la evaluación, y con base en qué estrategias creen que deberían ser evaluados. Es una propuesta que se contrapone a la evaluación cuantitativa de las opiniones de los estudiantes en donde sólo basta contestar con un sí o un no, lo que es insuficiente para conocer la singularidad de los estudiantes, en vez de promedios estadísticos.
Los resultados expresan la riqueza de percepciones diversas, de estilos y ritmos de aprendizajes diferenciados, de la singularidad del alumno. La heterogeneidad es una realidad que los docentes descuidan al homogeneizar la enseñanza, en vez de procurar prácticas diferenciadas. Es una alternativa privilegiada que permite conocer creencias en cuanto al orden y la autoridad que ejercen los profesores; para conocer sus expectativas ante el profesor ideal; para tomar en cuenta su fastidio o entusiasmo por las cosas de la escuela; para indagar las percepciones sobre características del docente, si es justo o no y, entre otros aspectos, para analizar cómo suponen los estudiantes que los docentes se interesan y comprometen en la construcción del aprendizaje.
Los alumnos ofrecen información para que los docentes transformen su función hacia la construcción de contornos con mayores posibilidades de enseñanza y aprendizaje. De manera general los estudiantes piden un cambio de actitud en los docentes, mayor disposición para escuchar lo que piensan y sienten; desean que se preocupen por sus demandas, que atiendan sus necesidades, que los apoyen con base en sus ritmos y estilos de aprendizaje, que se interesen para que construyan aprendizajes cognitivos y afectivos mediante una participación más activa. Los estudiantes demandan compromiso y responsabilidad para que los docentes cumplan con su función, y también para que dominen el conocimiento teórico y metodológico de las psicologías, o al menos que tengan tolerancia cuando no se comparten visiones psicológicas, pedagógicas y sociales semejantes. Reclaman también que tengan mayor dominio para comunicar con claridad el conocimiento y evitar a la vez incoherencias y confundir a los estudiantes. Algunas representaciones estudiantiles son una especie de súplica para que algunos profesores y autoridades mejoren su gestión y sus actuaciones pedagógicas actuales, y a la vez propicia la propia reflexión de los estudiantes para mejorar su función de aprendices.

Vinculación de procesos evaluativos a la formación de docentes universitarios

Se trata de una investigación que se realizó en la Universidad Iberoamericana ciudad de México bajo la modalidad de un taller, con el fin de mostrar como un profesor que recibe el apoyo de especialistas para reflexionar sobre su práctica docente es capaz de decidir cambios para mejorar (Crispín et al., 2000). Los objetivos generales fueron cuatro, los que ha su vez reflejaron claramente momentos importantes del proceso, estos fueron: 1) Favorecer en los participantes un proceso que ayude a comprender cómo sus características personales influyen en su estilo docente; 2) Contar con espacios de reflexión e intercambio de experiencias sobre diversos aspectos de la práctica docente; 3) Planear y poner en marcha procesos de evaluación diagnóstica y formativa que permitan al profesor valorar los aspectos positivos de su práctica para potenciarlos y reconocer aquellos que requieran una mejoría; 4) Apoyar al profesor para llevar a cabo los cambios que él decida para mejorar su práctica docente.
La metodología del taller se constituía de cuatro fases: Contextualización, corresponde a la ubicación del universo desde donde se analizará la función docente, a través del análisis de la filosofía educativa, el perfil ideal del egresado, el perfil ideal del profesor y la estructura organizacional, que son a su vez los referentes para la evaluación de la práctica docente. Experiencias, el profesor autoevalúa sus motivaciones y actitudes hacia la docencia, su estilo de aprendizaje, sus rasgos de personalidad, su estilo de liderazgo y su estilo docente. Reflexión, el docente busca explicar la relación que se establece entre las distintas variables que intervienen en la práctica docente, a partir de su experiencia reflexiona sobre, el alumno, el currículo, la institución y sobre él mismo. Acción, los resultados de la reflexión y la comprensión de las variables en juego lleva a la decisión y la acción. Se buscó propiciar el deseo del cambio con el fin de mejorar su práctica. A partir de su autoevalaución se proponía algún aspecto a mejorar y la estrategia para lograrlo.
El taller se llevó a cabo en 1996 con una duración de 32 horas a lo largo de un semestre. Se contó con el apoyo institucional y formó parte de la estrategia para la formación de profesores de la universidad. Se realizó con tres grupos uno de 16, otro de nueve y el tercero de diez profesores. Los resultados apuntan favorablemente; todos los profesores propusieron uno o más cambios para mejorar, la mayoría de los cambios se centran en las dimensiones “Sabe enseñar” y en “relación maestro-alumno”. Los elementos que animan a incorporar los procesos evaluativos a la formación docente es por ejemplo la opinión de uno de los maestros que participaron en el taller: “El taller es hoy por hoy una experiencia cognoscitiva intensa en aspectos docentes, personales y de integración. En primer lugar, me da base teórica de que he hecho y puedo hacer en mi práctica docente. A nivel personal me deja gran experiencia de crecimiento y autoconocimiento [...]integrándolo en un todo hacia un mejor desempeño”.
Un proceso de evaluación ayuda a reflexionar y a comprender mejor el de la enseñanza y el papel del profesor en el acto educativo, estos procesos deben formar parte de los programas de formación de profesores; porque es posible que el docente modifique sus actitudes y conductas hacia la enseñanza si tiene oportunidad de comprender el proceso, de entender como sus características personales influyen en su particular modo de ser como docente. Los profesores, al adquirir una visión más amplia sobre sus funciones, revaloran su profesión.

Creación de un sistema de evaluación para cursos en línea

El proyecto surgió en 1996, en virtud de que la Universidad Autónoma de Baja California (UABC) necesitaba herramientas ad hoc para evaluar los cursos en línea, impartidos hasta entonces esporádicamente a nivel experimental. La propuesta de la UABC partió de la premisa de que, por su misma naturaleza, el éxito de los cursos en línea depende de varios actores y factores, cuyo desempeño facilita o inhibe el aprendizaje (Amaya et al., 2002; Pérez, 2001; Pérez y Rueda, 2002).
La relación pedagógica en los cursos impartidos a través de la computadora es afectada tanto por el medio como por el contexto de la instrucción. La calidad de la interacción en el aula electrónica depende tanto de aspectos relacionados con los actores centrales del proceso de enseñanza-aprendizaje (estudiantes y maestros), como de otros factores que intervienen en el desarrollo de un curso en línea: la tecnología, el dispositivo pedagógico utilizado, el apoyo recibido (técnico, académico y social), las condiciones del lugar y equipo de trabajo, y el tiempo dedicado a realizar las actividades.

Aspectos metodológicos

La primera etapa del proyecto se abocó a la construcción de un modelo que considerara las características del contexto de la UABC y sus necesidades de información para poder hacer el seguimiento y evaluación de los cursos en línea. Una vez sentadas las bases del modelo (Pérez, 2001), se procedió a su instrumentación, mediante el diseño y publicación de formatos para registrar las opiniones de los participantes sobre el desempeño de algunos actores y factores intervinientes, en un sitio denominado Centro de Evaluación, desarrollado por un grupo de maestros y estudiantes (Amaya et al., 2002).
Dado el papel central de los docentes, el Centro de Evaluación contiene un sitio de apoyo a los maestros en línea e incluye un instrumento de autoevaluación (Pérez y Rueda, 2002). Ya que la Red es un medio ideal para ilustrar su propio potencial, se creó un sitio alrededor del instrumento, donde los maestros pueden autoevaluar el desempeño de su práctica docente, identificar lecturas y sitios especializados para el desarrollo de sus habilidades, y contar con ejemplos de técnicas instruccionales para el medio y con otros recursos para apoyar su docencia en línea. Se puede decir que la función primordial del maestro en línea es ser gestor de una comunidad de aprendizaje; por ello, tanto el cuestionario de opinión aplicado a los estudiantes como el instrumento de autoevaluación exploran las competencias docentes para gestionar una interacción grupal conducente al aprendizaje. Estos instrumentos fueron trabajados con los docentes, considerando la importancia de que ellos mismos conozcan de antemano los aspectos e instrumentos con los que serán evaluados.
El proceso de investigación fue evolucionando con la participación de los maestros. Primero, se diseñaron instrumentos independientes para evaluar al docente y al curso; posteriormente, a partir de la discusión y afinación de dichos instrumentos, se desarrolló una nueva versión que integra ambas evaluaciones. Esta última se encuentra en fase de prueba. Se tomó la decisión consensuada de dejar las versiones originales como guía para los maestros, dado que muestran los renglones sobre la producción y conducción de cursos que deben ser considerados para facilitar los procesos de enseñanza-aprendizaje en línea.

Principales logros

Los principales avances del estudio son: 1) El desarrollo de un sistema propio que permite a la institución concentrar información relevante para evaluar la efectividad de los cursos ofrecidos en esta modalidad. Se buscó la forma más sencilla de obtener la opinión de los distintos participantes en distintos tiempos, de manera que esta información pudiera ser sistematizada y cruzada para fines de investigación. Por un lado, la información se utiliza para el mejoramiento de los cursos. Por ejemplo, el maestro conoce la opinión de los estudiantes sobre su desempeño; los problemas técnicos, si los hubo, que enfrentaron los estudiantes; las condiciones de trabajo, y los tiempos y duración de acceso de los estudiantes. Por otro lado, la información recabada permite a las autoridades detectar los problemas de su incumbencia y resolverlos de manera oportuna; 2) La participación de estudiantes, maestros y autoridades permitió conocer sus puntos de vista y necesidades, y tomarlas en cuenta en el desarrollo de los instrumentos y del sistema; 3) La socialización de los problemas y avances de la investigación apoyó la difusión de la modalidad en la institución. Sin embargo, serán las investigaciones futuras las que darán evidencia de la utilidad del sistema para apoyar la compleja tarea de evaluar la participación de los diferentes actores en un curso en línea.

Consideraciones finales

Una característica valiosa de los trabajos es que los resultados y las propuestas se fundamentan en estudios aplicados en instituciones de educación superior, tanto públicas como privadas. Además, se pone de manifiesto que desde diferentes regiones del país existe el interés por indagar, experimentar y ofrecer alternativas innovadoras que permitan enriquecer el quehacer de la evaluación docente. Las reflexiones finales se centran en los siguientes aspectos.
Un aspecto importante es el carácter participativo de los involucrados en los procesos de la evaluación de la docencia (profesores, estudiantes y autoridades). Se invita a ver la interrelación de los actores y las técnicas o instrumentos tecnológicos (cursos en línea), para observar aspectos que inhiben o facilitan la enseñanza y el aprendizaje y los apoyos que habrá que ofrecer o transformar.
Los modos como participan. Vale la pena resaltar que promueven la reflexión en el profesor, en los estudiantes y en las autoridades educativas. Ofrecen una forma de evaluación con y desde los autores, cuyo propósito fundamental radica en la comprensión y mejora de la enseñanza y el aprendizaje. Estas experiencias favorecen la cultura de la evaluación, no se quedan en el nivel de la descripción del estado de las prácticas educativas, ni en el mero conocimiento de cómo los profesores realizan la enseñanza y cómo los estudiantes aprenden, sino en la toma de acciones concretas. Otro elemento distintivo de esta característica es la demostración de las posibilidades reales de llevar procesos de reflexión colegiada.
La manera como son considerados los actores educativos es desde una dimensión humana y formativa, como sujetos que pueden reflexionar sobre su quehacer educativo. Es preciso promover la disposición de los participantes respecto a la necesidad de la evaluación, la construcción de los instrumentos y la dimensión humanista y formativa de los actores educativos. La dimensión casuística que se refleja en los trabajos, resalta la importancia que cada uno de los participantes es clave en los procesos de mejora de la evaluación.
Se evidencia la conveniencia de preponderar la función formativa de la evaluación como un proceso que contribuye al mejoramiento de la enseñanza de manera continua.
Los propósitos de la evaluación se orientan a comprender y evaluar la práctica; a la reflexión y cuestionamiento de lo que sucede en el aula; al conocimiento que es deseable en los alumnos; a la mejora de los procedimientos a emplear en la evaluación del aprendizaje. El autoconocimiento de lo que sucede en el aula, implica también una toma de responsabilidad que compromete en la toma de decisiones y acciones que permitan el progreso hacia una mejor calidad educativa.
El uso de los instrumentos va más allá de la mera elaboración y aplicación técnica. Se advierte la necesidad de enriquecerlos con la filosofía de la institución, de elaborarlos considerando la contribución de los participantes, se busca la opinión y los testimonios de profesores y estudiantes, y la triangulación de la información desde las diferentes fuentes. Además del empleo de cuestionarios, están presentes la observación participante, la autoevaluación docente, por ejemplo, observar la filmación de su práctica permite afrontar y elegir formas para realizarla de mejor forma; la entrevista semiestructurada tanto a estudiantes como a profesores es una oportunidad de reflexión sobre aquellos aspectos en los que habrá que seguir avanzando, sobre habilidades y actitudes a incorporar. El uso de la audiograbación a profesores y estudiantes es otro recurso orientado hacia la mejora de las prácticas educativas. Grabar antes de la clase lo que el profesor se propone hacer, y volver a hacer cuando termina su clase, permite apreciar los éxitos y los desatinos. Al igual que los instrumentos anteriores, la intención es reflexionar sobre qué mejorar, qué cambiar, qué modificar y cómo conducir mejor la clase. Son instrumentos que ofrecen información para ver el ritmo y los estilos de aprendizaje de los estudiantes, para que los docentes desarrollen mejores prácticas, y sean auténticos gestores del aprendizaje. La búsqueda de los testimonios de docentes y estudiantes no sólo permite explorar la competencia que vive en la enseñanza y el aprendizaje, los trabajos aquí presentados también consideran lo valioso de los datos para tomar en cuenta las dimensiones de la evaluación, para construir instrumentos más reales de cómo piensan y sienten las prácticas educativas. Es posible escuchar, por ejemplo en los estudiantes, cómo caracterizan a un buen profesor, sus expectativas y representaciones que tiene sobre el papel del docente y cómo ven su competencia, además, es posible tener datos sobre cómo conciben su propia función como aprendices, y sobre sus debilidades y fortalezas pedagógicas, psicológicas y sociales.
Los trabajos informan sobre la posibilidad de una evaluación formativa y de perfeccionamiento continuo. La obtención de información para comprender cómo se involucran los participantes en los procesos educativos, no solo permiten conocer si profesores, estudiantes, autoridades se involucran de manera total, sino que los datos, después de un proceso de reflexión, orientan hacia una toma de responsabilidad hacia nuevas y mejores prácticas. No basta con darse cuenta de cómo se despliegan las prácticas educativas, los trabajos dan cuenta que evaluar es conocer para mejorar.

Referencias
Amaya Patrón, I., Sánchez Garza, R., y Pérez Fragoso, C. (2002). “Desarrollo de un centro de evaluación para cursos en línea”, Memorias del II Congreso Internacional de Educación Abierta y a Distancia, México, ANUIES.
Aguirre, X., Botero I, Loredo J., et al. (2000). en Loredo Enríquez, Javier (2000). Evaluación de la práctica docente en educación superior, México, Porrúa.
Arbesú G., Isabel (2000). “Evaluación de la práctica docente en un sistema de enseñanza modular”, en Rueda, M. y Díaz Barriga. F., Evaluación de la Docencia, perspectivas actuales, México, Piadós.
Arbesú, María Isabel y Rueda, Mario (2003). “La evaluación de la docencia desde la perspectiva del propio docente”, en Reencuentro. Análisis de problemas universitarios. Evaluación de la educación superior, número 36, México.
Arbesú, María Isabel y Figueroa, Alma Elena (2001). “Evaluación docente como un proceso de diálogo, comprensión y mejora de la práctica”, en Mario Rueda, Frida Díaz Barriga y Mónica Díaz Pontones (Coords.), Evaluar para comprender y mejorar la docencia en la educación superior, México, UAM.
Crispín B., María Luisa, Romay, María de la Luz y Moyo, Claudia. “Vinculación de procesos evaluativos a la formación de docentes universitarios”, en Mario Rueda y Frida Díaz Barriga (Comps.). Evaluación de la docencia, perspectivas actuales, México, Paidós.
Figueroa, Alma (2000). “Una alternativa para la evaluación de la enseñanza en educación superior desde la perspectiva de los profesores”, en Rueda, M. y Díaz Barriga, F. (Comps). Evaluación de la Docencia, perspectivas actuales, México, Piadós.
Loredo, J., Grijalva O. (2000). “Propuesta de un instrumento de evaluación de la docencia para estudios de posgrado”, en Rueda M, Díaz-Barriga, F., Evaluación de la docencia, México, Paidós.
Monroy, M. (2000). “Evaluación de la práctica educativa a través de la reflexión del pensamiento didáctico del docente”, en Rueda, M. y Díaz Barriga, F. Evaluación de la docencia, México, Paidós.
Monroy, M. (2003). Representaciones pedagógicas de estudiantes del nivel licenciatura sobre los profesores, Tesis para obtener el grado de Doctor en Pedagogía, México, UNAM, Facultad de Filosofía y Letras.
Pérez Fragoso, C. (2001). “Bases de un modelo para la evaluación de cursos en línea”, en R. Amador Bautista (comp.), Educación y formación a distancia: Prácticas, propuestas y reflexiones. Guadalajara, Jal.: Universidad de Guadalajara.
Pérez Fragoso, C., y Rueda Beltrán, M. (2002). “Herramienta de apoyo para la docencia en línea”, en C. Pérez Fragoso, J. Favela Vara y G. López Mariscal (Coords.), Educación abierta y a distancia: Experiencias y perspectivas, Mexicali, Universidad Autónoma de Baja California.

ssssssssssssssssssssssssssssssssssssssssssssssssssssss importancia de la evaluación estriba en el mejoramiento del desempeño docente en el proceso de enseñanza-aprendizaje del alumno. Se presenta el caso de la instrumentación, con sus características y problemas que enfrentó la evaluación docente en la Universidad Autónoma de Baja California con base en la opinión de sus alumnos a través de los Cuestionarios de Evaluación Docente

Palabras clave: Evaluación, docentes, alumnos, CEDA.

Abstract

The relevance of evaluation is found in the improvement of teaching in the teaching-learning process of the student. The implementation case at the Universidad Autónoma de Baja California is presented, with the characteristics and problems encountered when teachers were evaluated based on student opinion through Teaching Evaluation Questionnaires (CEDAs).

Key words: Evaluation, teachers, students, CEDA.

La evaluación de la docencia universitaria se reconoce como una actividad compleja, entre otras razones, debido a que múltiples factores inciden en el proceso enseñanza-aprendizaje. Su relevancia estriba en la posibilidad de mejorar el desempeño de los docentes para la formación profesional de los estudiantes. Dos de los elementos que se aprecian como indispensables para quienes realizan la evaluación son la capacidad técnica, y la autoridad y legitimidad académica. De ahí la importancia de contar con experiencias sistemáticas de evaluación que respondan a las necesidades específicas de las universidades en México. El presente trabajo se propone analizar el proceso de instrumentación del sistema de evaluación de la docencia con base en la opinión de los alumnos llevado a cabo en la Universidad Autónoma de Baja California (UABC), con el propósito de dar cuenta de los principales logros, dificultades y retos que se enfrentan al desarrollar un sistema confiable, válido y útil para mejorar las prácticas docentes en la universidad.

Antecedentes

A partir de 1990 se concretaron diversas acciones de evaluación institucional; la que atañe a los docentes es el Programa de Estímulos al Desempeño Académico. Con su aplicación se apoyó de manera directa la política de deshomologación salarial, dirigida a incrementar la remuneración del personal académico al margen del salario tabular base. Con la implantación de los programas de compensación salarial se institucionaliza un reto de siempre, la evaluación de la docencia.
En México se acepta el uso generalizado de los cuestionarios de evaluación de la docencia por los alumnos en las instituciones de educación superior (IES); sin embargo, la investigación sobre el tema se considera incipiente (García, 2000). Son pocos los trabajos que dan cuenta del proceso de construcción de los cuestionarios, lo que permitiría conocer sobre su pertinencia, y mucho menos se conocen las características del sistema que los administra en términos de la confiabilidad de los procedimientos para recolectar información y el uso de los resultados.
Por décadas, la discusión se ha centrado en la confiabilidad y validez de los puntajes de opinión de los estudiantes como una medida de la efectividad docente; por un lado se puede decir que son confiables, estables y relativamente válidos (Marsh y Dunkin, 1997). Sin embargo, en los últimos años se han hecho investigaciones sobre los procedimientos de aplicación, interpretación y utilización de los resultados; con ello se ha demostrado que un procedimiento incorrecto puede invalidarlos (v. gr. Theall y Franklin, 1990). Así, aspectos básicos del tema, como la definición de los propósitos de la evaluación, las estrategias de aplicación de los cuestionarios y el uso de los resultados han cobrado relevancia en la discusión actual.
La literatura señala que el sistema que administra los cuestionarios, en principio, debe determinar y hacer explícitos los propósitos de la evaluación. Es fundamental precisar qué tipo de información se va a obtener y qué se va a hacer con ella. Al mismo tiempo, se requiere tener claridad sobre las necesidades de los docentes, los estudiantes y administrativos, en muchos de los casos contradictorias, por lo que es importante que se equilibren de manera justa y pertinente los intereses de los tres actores. Los procedimientos administrativos de acopio de la información deben incorporar los controles necesarios para asegurar que la información generada sea confiable y válida. Existen pruebas de que los puntajes se modifican si se contestan dentro o fuera del salón de clases, si el maestro permanece en el salón, si explica la importancia de la evaluación para su promoción o permanencia en la institución (Centra, 1976; Marsh, Overall y Kesler, 1979). En el procesamiento de la información, uno de los aspectos más importantes es el anonimato de los evaluadores ya que los estudiantes deben tener confianza en que los puntajes no afectarán su relación con el instructor (Arreola, Lawrence y Alemoni, 1990).
Un uso inadecuado de los resultados puede provenir de las necesidades institucionales que responden a políticas poco claras. En muchas universidades se ha promovido la práctica generalizada de efectuar evaluaciones con fines de control o compensación salarial y de retroalimentación al mismo tiempo. La literatura señala las inconveniencias de este proceder; muestra el conflicto que tienen los maestros en discutir aspectos de su quehacer docente en una situación de evaluación administrativa (Centra, 1993). La dificultad en obtener información relevante para mejorar la enseñanza con instrumentos de uso administrativo, dado que para perfeccionar la docencia se requiere de información a nivel micro del proceder docente, mientras que para la toma de decisiones administrativas a nivel macro. En este sentido, al plantear la evaluación de manera inseparable al control, se confunden funciones completamente heterogéneas que no pueden realizarse de manera simultánea con un mismo procedimiento, dado que responden a situaciones paradigmáticas y epistemológicas distintas (Ardoino, 2000).
En la implantación del sistema que administra los cuestionarios se precisa considerar una serie de elementos prácticos. La oportunidad y frecuencia de la evaluación significa acordar los momentos para llevar a cabo la aplicación de los cuestionarios; la decisión respecto a la etapa del semestre (al inicio, a la mitad, al final) en la cual aplicar el cuestionario y el número de veces depende de los propósitos de la evaluación y de las necesidades de los docentes. El tamaño del grupo es un factor determinante para la confiabilidad de los resultados, por lo tanto, es fundamental clarificar las acciones a seguir cuando los grupos tienen tamaños muy variables; los casos extremos son los grupos menores a diez estudiantes, porque el coeficiente de confiabilidad resulta muy por abajo de lo considerado útil (Centra, 1973).
La confidencialidad de los puntajes es abordada a la luz de los intereses de los docentes y de los estudiantes. A los docentes, el sistema debe asegurar información detallada y disponible sólo para el profesor preocupado por el diagnóstico y retroalimentación de su desempeño. Los alumnos deben sentir plena confianza en que su relación con el profesor no se verá afectada por las opiniones que ellos emiten. En este orden de ideas, la confianza en el uso adecuado de los resultados es una característica fundamental del sistema (Theall y Franklin, 1990).

Contexto inmediato: el caso de la UABC

La Universidad Autónoma de Baja California (UABC), en la actualidad ofrece 65 programas de licenciatura y 49 de posgrado (tres de doctorado, 26 de maestría y 20 de especialidad) distribuidos en las diferentes áreas del conocimiento. La evaluación de la enseñanza en licenciatura, a partir de la opinión de los estudiantes, inició de manera sistemática en 1988 con el propósito de identificar las áreas del quehacer docente que requerían preparación pedagógica; con la información recabada se pretendía orientar los programas de formación docente. La instancia responsable del diseño del cuestionario de evaluación de la docencia por los alumnos y del programa para procesar la información fue la Dirección General de Asuntos Académicos (DGAA); la aplicación y análisis de los cuestionarios estuvo a cargo de las unidades académicas. En esta etapa se delegó en cada escuela o facultad la responsabilidad de analizar los puntajes; asimismo, el uso de los resultados se dejó a discreción de los directivos de las unidades académicas. Se esperaba que los directivos de cada unidad académica reportaran a la DGAA los aspectos con menor puntación sobre los cuales requerían que se ofertaran cursos de formación docente. Sin embargo, gran parte del trabajo en los primeros años estuvo dirigido a introducir en la cultura de evaluación a directivos, académicos y estudiantes; en este sentido,
convencer a los involucrados de los beneficios de la evaluación1.
Un cambio que desvió la intención original de la evaluación de la docencia en licenciatura fue la introducción, a partir de 1990, de los programas de compensación salarial en la UABC, donde se estipuló como uno de los indicadores de evaluación el puntaje de los estudiantes; no obstante, su incorporación no fue posible debido a la insuficiencia de información. Los puntajes otorgados por los estudiantes se integraron como uno de los rubros que componen el programa de estímulo en 1994, y sólo para aquellos docentes que contaban con sus reportes de evaluación semestral.
A partir de ese año se computarizó la captura de los puntajes y se delegó en la DGAA la responsabilidad de procesar la información y elaborar un reporte semestral de cada maestro. A partir de esta fecha, los reportes se destinan por un lado, a cada unidad académica para conocimiento de los docentes y directivos, y por otro, a la Secretaría General para ser integrados en el expediente del programa de estímulos de cada profesor2. De esta manera, las unidades académicas continúan con la responsabilidad de aplicar los cuestionarios y capturar la información, y una dependencia central tomó el control del manejo de la información para asegurar, de alguna manera, que la institución cuente con los reportes necesarios que demanda el programa de estímulos al desempeño académico.
La aplicación de los cuestionarios se automatizó a partir del año 2000, como una medida para mejorar la administración del sistema; la DGAA gira instrucciones a las unidades académicas para que los estudiantes de licenciatura acudan en un periodo establecido (hacia el final del semestre) a contestar el cuestionario a un centro de cómputo. Si bien el sistema computarizado ofrece una mayor confianza tanto a los docentes como a los estudiantes en el manejo de la información, también impuso el reto de lograr que los usuarios asistan en el periodo estipulado a contestar el cuestionario; hasta la fecha, el lapso de tiempo se ha ampliado de un mes a tres meses, como una medida para lograr un mayor número de respuesta por parte de los estudiantes. Un dato que ilustra el nivel de participación es el primer semestre del 2002, en el cual 17,035 alumnos (73% de la población de licenciatura) evaluaron a sus profesores.
Este trabajo parte de la convicción de la importancia de hacer partícipes a los actores principales de la evaluación de la docencia, los docentes, en el proceso de construcción de los cuestionarios para su evaluación. La metodología seguida replica la estrategia desarrollada para el diseño de cuestionarios para posgrado (Luna y Rueda, 2001).

Propósito

El propósito de investigación fue la construcción de instrumentos de evaluación docente para el nivel de licenciatura que contemplen: a) las recomendaciones hechas por los docentes; b) la especificidad de cada área de conocimiento. Así como, determinar la jerarquía de las dimensiones de evaluación con base en la opinión de los docentes.

Metodología

El diseño del trabajo corresponde a un estudio de caso y se abordó desde la perspectiva de los métodos combinados la cual sostiene que, tanto la investigación cualitativa como cuantitativa, se refuerzan si se trabajan como complementarias (Brymann, 1984). Se desarrolló en dos etapas: en la primera se elaboró un cuestionario base que se propuso a la consideración de los profesores, propiciando su participación; en la segunda, se reconstruyó el cuestionario al incorporar las principales sugerencias de los docentes y se determinó la jerarquía de las dimensiones de evaluación para la muestra en general y por áreas de conocimiento.
El estudio se llevó a cabo con una muestra representativa por bloques aleatorios de la población de docentes de las licenciaturas de la UABC. Para ubicar el universo objeto de estudio se identificó a los maestros de carrera que tienen horas asignadas frente a grupo, descartando a los profesores que gozan de alguna licencia, año sabático, formación docente; para los profesores de asignatura, el criterio de selección fue que impartieran un mínimo de 10 horas clase. La información corresponde al primer periodo semestral del año 2001. En la muestra se distinguieron los siguientes factores: área de conocimiento y tipo de nombramiento. Se encuestó a 263 docentes, 18 % de la población total, 147 de carrera (22 %) y 116 de asignatura (15 %); la Tabla 1 muestra la distribución de las submuestras.

Tabla 1
Población de docentes de carrera y de asignatura, así como número y porcentaje de encuestados

En la primera etapa se diseñó el cuestionario “Evaluación de la docencia: teoría” de acuerdo con las dimensiones y reactivos que tanto la literatura anglosajona como hispana marcan como relevantes (Landshere, 1980; Shatz y Best, 1986; Tejedor, 1990; Centra, 1993; Feldman, 1997; Luna y Rueda, 2001; Rueda, 2001). Las dimensiones que incluye son: a) estructuración de objetivos y contenidos; b) claridad en la instrucción; c) organización de la clase; d) dominio de la asignatura; e) estrategias de instrucción; f) cualidades de interacción; g) evaluación del aprendizaje y h) aspectos formales del cumplimiento docente. Para determinar su contenido se consideraron las sugerencias hechas por la Dirección General de Asuntos Académicos (DGAA), dada su experiencia en este tipo de evaluación. Asimismo, se consultó a los estudiantes mediante un estudio piloto para evaluar la claridad del cuestionario.
La segunda etapa consistió en proporcionar a los docentes el cuestionario diseñado para que señalaran los comentarios y sugerencias a cada reactivo y dimensión de evaluación y de esta manera dar respuesta a las preguntas de investigación: 1) cuáles aspectos incluir en el cuestionario y 2) cuáles se deben excluir. Asimismo, se incluyó un cuadro de ponderación de las dimensiones y se les solicitó que, con base en su experiencia, asignaran el nivel de importancia a cada una de las dimensiones que cubre la actividad docente. El cuestionario se reconstruyó incorporando las sugerencias de mayor frecuencia de los docentes. Por último, se puso a disposición de los profesores el cuestionario reconstruido para su valoración.
El cuestionario se aplicó en dos modalidades; primero, en línea, dando un mes a partir de la fecha de envío para recuperar los cuestionarios; en las áreas donde no se cumplió con el número especificado en las submuestras se procedió a hacer la aplicación de manera presencial. En ambas modalidades el procedimiento general fue: a) solicitar la revisión de cada reactivo y escribir al calce su aceptación o rechazo así como sus comentarios y sugerencias, especificando los aspectos no evaluados que consideren importante incluir, y b) contestar el formato diseñado para asignar un nivel jerárquico a las dimensiones que componen el cuestionario.

Resultados

El análisis cualitativo de las respuestas a los cuestionarios se basó en técnicas de análisis de contenido, la codificación se derivó de las cláusulas textuales que responden a las preguntas de investigación (qué incluir y qué excluir del cuestionario de evaluación de la docencia con base en la opinión de los alumnos), de acuerdo con las siguientes reglas: 1) exhaustividad, todos los elementos relevantes de la muestra deben quedar incluidos en las categorías y 2) exclusividad mutua, el contenido no puede ser ubicado en más de un lugar; y 3) generalidad y especificidad, las categorías generales se relacionaron con las dimensiones y las específicas con los reactivos.
La información se reunió en una base de datos con el fin de clasificarla de acuerdo con el área de conocimiento del profesor, categoría administrativa (de carrera o asignatura) y tipo de respuesta, de aceptación o rechazo, para cada reactivo y dimensión. Se elaboró una tabla por reactivo y dimensión que reúne las cláusulas textuales a partir de las cuales se derivaron las categorías de sugerencias, y se computó su frecuencia.
La mayor frecuencia de las respuestas de los docentes se concentraron en aceptar los reactivos y las dimensiones, ya sea sin comentarios o explicitando las razones de su acuerdo. El análisis que a continuación se describe se basa en los comentarios de aceptación condicional y rechazo a los reactivos. Las categorías de sugerencias que se identificaron fueron: 1) cuestionar el lenguaje del reactivo, agrupa todos los comentarios que discuten los términos utilizados, y en algunas ocasiones señalan de manera precisa las palabras a modificar, así como las razones; 2) cuestionar el contenido implícito del reactivo, reúne las sugerencias de eliminar los términos que asumen una actitud pasiva de parte de los estudiantes; y 3) cuestionar la evaluación, incluye los comentarios que descalifican a los alumnos como evaluadores, así como los que desaprueban la inclusión de aspectos que a juicio de los profesores no dependen de ellos.
En la categoría “cuestionar el lenguaje del reactivo”, los docentes discutieron la pertinencia de incluir expresiones con significados precisos, que no se presten a confusión, como en los siguientes casos: “¿los contenidos del curso fueron congruentes con los objetivos?”; “¿utilizó recursos didácticos para facilitar la comprensión de los temas?”; “¿presentó los fundamentos teóricos y metodológicos de los contenidos desarrollados en clase?”; se solicitó aclarar el significado de congruencia y recursos didácticos, así como dar ejemplos. En “¿la bibliografía utilizada fue adecuada para cubrir los temas del curso?”, se sugirió sustituir bibliografía por fuentes de información para incluir a las nuevas tecnologías. Estos comentarios provienen de los docentes de los programas de las diferentes áreas del conocimiento estudiadas, con una frecuencia que oscila por área entre 2 y 10.
En general, en la categoría “cuestionar el contenido implícito del reactivo”, los profesores señalaron cuidar no incluir vocablos que promuevan un comportamiento pasivo de parte de los estudiantes. Incluye a los reactivos: “¿explicó con claridad los temas?”; “¿resolvió las dudas y problemas planteados en clase?”; y “¿ayudó a los estudiantes dentro de clase?”; las argumentaciones según el caso fueron: no siempre el profesor es quien expone el tema y no promover una pedagogía centrada en la enseñanza, en la transmisión del conocimiento. Asimismo puntualizaron que ayudar no es resolver, es orientar al estudiante para que él construya las soluciones. Las sugerencias proceden de los maestros de los diversos programas estudiados, con una frecuencia que oscila entre 2 y 7 por área.
En la categoría “cuestionar la evaluación”, los docentes por un lado, desacreditaron a los estudiantes como evaluadores en los reactivos: “¿los tiempos asignados a los temas fueron adecuados?” donde argumentaron que el alumno no conoce lo extenso de cada tema ni lo que es suficiente para los propósitos de un curso, y en “¿los contenidos presentados en clase estuvieron secuenciados de manera lógica?” señalaron sus dudas en relación con la preparación del alumno para evaluar ese aspecto; estas opiniones proceden de los maestros de las diferentes áreas con un rango de frecuencia que fluctúa entre 3 y 13. Por otro lado, los maestros discutieron los reactivos que evalúan elementos que a su juicio no atañen a la materia, tal es el caso de: “¿tomó en cuenta los conocimientos previos de los estudiantes al inicio de cada tema” donde los argumentos fueron que los huecos en el conocimiento previo no son responsabilidad directa del docente y no dependen de la asignatura, dado que cada profesor debe cumplir un programa, este comentario lo realizaron los profesores de todas las áreas con un rango de frecuencias de 2 a 15 comentarios.
El cuestionario base se modificó de acuerdo con los siguientes criterios: a) se revisaron los reactivos con frecuencia de sugerencias entre dos y cuatro, sin necesariamente realizar cambios en los mismos; y b) se atendieron las observaciones con frecuencia de cinco o más en función del área de procedencia. De esta manera, se realizaron las siguientes modificaciones al cuestionario original: se modificó la redacción de algunos reactivos con el propósito de hacerlos más precisos; se eliminaron los términos que de manera implícita promueven un comportamiento pasivo de parte de los estudiantes en el proceso de aprendizaje y se sustituyeron con el fin de propiciar un papel activo en la regulación de su instrucción; asimismo, se suprimió el reactivo que valora el tiempo dedicado a cada tema por considerarlo que no procedía su evaluación por parte de los alumnos; por

lleven a postular valoraciones específicas. El cuestionario modificado de acuerdo con las sugerencias de los docentes se presenta a continuación.

Cuestionario de evaluación de la docencia: teoría

El (la) maestro (a):
1. ¿Entregó a los estudiantes el programa del curso al inicio del mismo? Si ( ) No( )
2. ¿Asistió con regularidad a sus clases? Si ( ) No( )
3. ¿Explicó los requisitos para aprobar el curso al inicio del mismo? Si ( ) No( )
Escala de calificación para el siguiente conjunto de preguntas
1. Nunca 2. Algunas veces 3. Casi siempre 4. Siempre

4. ¿Los contenidos del curso apoyaron el logro de los objetivos?
5. ¿Las fuentes de información (por ejemplo: bibliografía, sitios en red) fueron adecuadas para cubrir los temas del curso?
6. ¿Explicó con claridad cuáles son los aspectos importantes del curso?
7. ¿Los temas fueron tratados de manera clara?
8. ¿Los materiales de apoyo (por ejemplo: diapositivas, diagramas, programas) utilizados para facilitar la comprensión de los temas fueron adecuados?
9. ¿Las tareas y actividades desarrolladas facilitaron el aprendizaje de los temas?
10. ¿Se trataron los principios teóricos o metodológicos de los contenidos desarrollados en clase?
11. ¿Ayudó a resolver las dudas y problemas planteados en clase?
12. ¿Relacionó el contenido de la materia con otras materias?
13. ¿Mostró dominio de la materia?
14. ¿Los contenidos trabajados en clase estuvieron secuenciados de manera lógica?
15. ¿Tomó en cuenta los conocimientos previos de los estudiantes al inicio de cada tema?
16. ¿Utilizó ejemplos para definir algún concepto o principio general?
17. ¿Indicó algunas aplicaciones de los conocimientos para el trabajo profesional?
18. ¿Escuchó los puntos de vista de los alumnos?
19. ¿Motivó a los alumnos para ser responsables de su proceso de aprendizaje?
20. ¿La evaluación fue acorde con los contenidos trabajados en el curso?

Con base en una escala en la que 1 es la calificación más baja y 10 la más alta, califique:
21. Evaluación global del desempeño del profesor (a) 1 2 3 4 5 6 7 8 9 10
22. Evaluación de mi desempeño como estudiante en esta materia 1 2 3 4 5 6 7 8 9 10

El análisis cuantitativo se realizó con el propósito de determinar la jerarquía de las dimensiones de evaluación del trabajo académico y las tendencias de opinión de los docentes de los diversos programas agrupados por área de conocimiento. Los cálculos se realizaron mediante técnicas de análisis de conglomerados. La información se derivó del cuadro de ponderación y el procedimiento seguido consistió en: a) elaborar matrices de frecuencia de orden 8 jerarquías por 8 dimensiones por área de conocimiento y para la muestra total, con el propósito de determinar el número de opiniones en la jerarquía de cada dimensión; b) normalizar las matrices de frecuencia al dividir los componentes de cada matriz entre el número de individuos encuestados. Los resultados permitieron identificar la jerarquía de las dimensiones por área y para la muestra al reconocer el número máximo de votación de cada dimensión respecto a las jerarquías; de esta manera, se identificó a dominio del contenido como la dimensión más importante y como las de menor importancia a estrategias de instrucción, cualidades de interacción y evaluación del aprendizaje tanto en la jerarquización general como en las particulares por área (Tabla 2); c) construir matrices de diferencia al tomar el valor absoluto de los componentes de la matriz de frecuencia normalizada por área de conocimiento menos los componentes de la matriz de frecuencia normalizada de la opinión
general; la suma de todos los componentes de estas matrices de diferencia permitió determinar la similitud de opinión de los profesores de una área respecto a la muestra total (Gráfica); de esta manera se identificaron las tendencias de opinión entre los docentes de los programas por áreas de conocimiento, encontrando que los profesores de Ciencias Sociales y Administrativas son los que más difieren con relación a las opiniones del total de la muestra.

Discusión y conclusiones

Al analizar la historia de las prácticas de evaluación de la docencia por los alumnos en la UABC es posible dar cuenta de los logros, las dificultades, así como de los retos que se tienen al implantar un sistema de evaluación. La reconstrucción del proceso de implantación del sistema de evaluación de la docencia por los alumnos en la UABC hace evidente que introducir en la cultura de la evaluación a una comunidad académica es un trabajo a largo plazo, sujeto a factores de orden político y económico. La evaluación de la docencia en licenciatura inició con el propósito de mejorar la enseñanza; sin embargo, posteriormente, se introdujo como un indicador importante en los programas de compensación salarial en porcentaje, uno de los efectos positivos de este hecho es el haber fomentado la sistematización del proceso de evaluación. Más de 17,000 estudiantes (73% de la población de la población total de la UABC) evaluaron a sus maestros en el primer periodo del semestre 2002, dado que se convirtió en una demanda institucional el solicitar reportes regulares sobre los resultados de la evaluación. Esto hizo necesario hacer eficiente el proceso de captura y procesamiento de la información, lo cual se ha logrado a través de la automatización del sistema. Por otro lado, la asociación de la evaluación de la docencia por los alumnos a los programas de estímulo académico ha ocasionado una gran discrepancia entre el discurso de las autoridades y lo que pasa en la práctica. En el discurso se maneja un doble propósito, por un lado, el de retroalimentar al docente para mejorar la enseñanza, y por otro, el de control administrativo vía el programa de estímulos; sin embargo, en los hechos, el principal uso de los resultados es el de control, dado que no se cuenta con los mecanismos de retroalimentación, ni con las estrategias de ayuda que posibiliten a los docentes transformar su quehacer de enseñanza a partir de la información que proporcionan los puntajes. Cabe tener presente el hecho documentado de que la mejora en la enseñanza es mínima cuando se reduce la retroalimentación a sólo entregar los resultados de los puntajes. En este sentido, uno de los grandes desafíos de la institución es el de instrumentar las condiciones necesarias para el uso de los resultados con el propósito de mejorar las actividades de docencia. Para ello, es necesario conceptualizar la evaluación de la docencia como una actividad compleja que involucra: aspectos instrumentales relacionados con los métodos y técnicas de evaluación, componentes políticos que inducen un conjunto de acciones, así como estrategias de análisis de los resultados de la evaluación. En este sentido, analizar los hechos de la evaluación como prácticas sociales, que no se reducen a los elementos puramente técnicos o sociales, sino que representan la posibilidad de un proceso de transformación del cual forman parte agentes sociales concretos que mantienen entre sí relaciones específicas, cuyo producto debería de orientar el mejoramiento de la calidad de la enseñanza.
En relación con el sistema que administra los cuestionarios, la literatura recomienda resolver situaciones elementales relacionadas con la confiabilidad y validez de los resultados, entre ellas destacan: tomar en consideración el tamaño del grupo, los puntajes obtenidos en grupos pequeños (menos de diez) son poco confiables; si se van a realizar comparaciones, estas deben realizarse entre los profesores que comparten características similares, agruparlos por disciplina o materia, ya que se sabe que los estudiantes otorgan puntajes diferenciales en función del área de conocimiento. En este sentido, uno de los retos de la institución es que el sistema cuente con los mecanismos necesarios para asegurar resultados equitativos, pertinentes y útiles para los actores principales de los procesos de enseñanza y aprendizaje, los docentes y los estudiantes.
Los maestros postularon propiciar un papel más activo y responsable por parte de los estudiantes en su proceso de formación, en este sentido, la teoría implícita en el cuestionario se orientó hacia la aproximación constructivista del aprendizaje; asimismo, se incorporó el uso de las nuevas tecnologías, lo cual puede fomentar una pedagogía innovadora. Por último, se suprimieron los reactivos que, a juicio de los docentes, los estudiantes no están en condiciones de evaluar por falta de información. La jerarquización general así como todas las jerarquías por área de conocimiento ubicaron como la dimensión de evaluación más importante a dominio del contenido, lo cual concuerda con lo obtenido en estudios anteriores con los docentes de posgrado (Luna y Rueda, 2001).
Desde la perspectiva de los profesores, el principal uso de los cuestionarios debería ser para el mejoramiento de las actividades de docencia; sin embargo, para ellos es muy clara la función de control que estos tienen en la actualidad, y sancionaron los componentes del cuestionario que pudieran estar fuera de su control o ser difíciles de evaluar por los alumnos. En este sentido, persiste la necesidad de contar con procedimientos e instrumentos de evaluación independientes para cada propósito de evaluación.

Referencias

ARDOINO, J. (2000). “Consideraciones teóricas sobre la evaluación en educación”, en M. Rueda, y F. Díaz (Eds.), Evaluación de la docencia. Perspectivas actuales, México, Paidós Educador.
ARREOLA, R. A., y Aleamoni, L. M. (1990). “Practical decisions in developing and operating a facuculty evaluation system”, en M. Theall, J. Franklin (Eds.), Student ratings of instruction: Issues for improving practice, No 43, New Directions for Teaching and Learning, San Francisco, Jossey Bass.
BRYMAN, A. (1984). “The debate about quantitative and qualitative research: a question of method or epistemology?”, The British Journal of Sociology, XXXV, 1.
CENTRA, J. A. (1973). Item reliability, the factor structure rating, comparison with alumni ratings. Student Instructional (Report, no. 3). Princeton, N.J., Educational Testing Service.
CENTRA, J. A. (1976). “The influence of different directions on student ratings of Instruction”, Journal of Educational Measurement, 13.
CENTRA, J. A. (1993). Reflective faculty evaluation: enhancing teaching and determining faculty effectiveness, San Francisco, The Jossey-Bass Higher and Adult Education Series.
FELDMAN, K. A. (1997). “Identifying exemplary teachers and teaching: evidence from student ratings”, en R. Perry y J. Smart (Eds.), Effective teaching in higher education: Research and practice, Nueva York, Agathon Press.
GARCÍA, G. J. (2000). “Las dimensiones de la efectividad docente, validez y confiabilidad de los cuestionarios de evaluación de la docencia: una síntesis de la investigación internacional”, en M. Rueda y F. Díaz-Barriga (Eds.), Evaluación de la docencia. Perspectivas actuales, México, Paidós Educador.
LANDSHEERE, G. (1980). “La evaluación de los enseñantes”, en M. Debesse y G. Mialaret (Eds.), La función docente, Barcelona, Oikos-tau.
LUNA S., E., y Rueda B. M. (2001). “Participación de académicos y estudiantes en la evaluación de la docencia”, Perfiles Educativos, (23) 93.
MARSH, H. W., et al. (1979). “Multidimensionality of students’ evaluation of teaching effectiveness”, American Educational Research Journal, 16.
MARSH, H.W., y Dunkin, M. J. (1997). “Student’s evaluations of university teaching: A multidimensional perspective”, en R. Perry y J. Smart (Eds.), Effective teaching in higher education: Research and practice, Nueva York, Agathon Press.
RUEDA B., M. (2001). “Una propuesta de cuestionario dirigido a los docentes para evaluar la función docente en la universidad”, en M. Rueda y F. Díaz-Barriga (Eds.), Evaluación de la docencia. Perspectivas actuales, México, Paidós Educador.
SHATZ, A. M., y Best, B. J. (1986). “Selection of items for course evaluation by faculty and students”, Psychological Reports, (58).
TEJEDOR, F. J. (1990). “La evaluación del profesorado en la universidad de Santiago”, Revista Española de Pedagogía, XLVIII, 186.
THEALL, M., y Franklin J. (1990). “Student ratings in the context of complex evaluation systems”, en M. Theall, and J. Franklin (Eds.), Student ratings of instruction: Issues for improving practice, No. 43, New Directions for Teaching and Learning, San Francisco, Jossey Bass.

PIE
1 Reconstruir parte de la historia del sistema de evaluación en licenciatura en la UABC fue posible gracias a la información proporcionada por Julio César Reyes y Lourdes Loza, ex-jefes de departamento de la misma dirección, quienes coordinaron en los primeros años la implantación del sistema. «volver«.

2 Información proporcionada por la Lic. Aída León, jefe de departamento de la DGAA.«volver«

se aceptan colaboraciones