Eval-IETIC E-Book

Carlos Julio Uribe Gartner

• Herausgeber: Universidad del Valle
• Kategorie: Bildung
• Sprache: Spanisch

Seitenzahl: 798

Veröffentlichungsjahr: 2023

Beschreibung

Un pilar de las políticas públicas de mejoramiento del sistema educativo colombiano es fomentar la innovación educativa mediante la integración de las TIC en las instituciones educativas oficiales Siendo la evaluación una dimensión esencial de la innovación, el libro explora sus enfoques y modelos, en general y en particular, desde la evaluación de programas sociales y de formación docente hasta la de productos como los "Objetos de aprendizaje". El libro es un resultado del programa de investigación Hacia un modelo metodológico para la evaluación de los programas que promueven la innovación educativa mediante la apropiación y uso de las TIC en el contexto colombiano (convocatoria 716-2015, de Colciencias y el MEN, dirigida a los Centros de Innovación Educativa Regional CIER, con el objetivo de Diseñar modelos metodológicos para el seguimiento y la evaluación del uso educativo de TIC en proyectos y programas educativos que se promueven en el nivel nacional y/o regional para caracterizar el impacto del uso y apropiación educativa de TIC en los establecimientos educativos), realizado por el CIER Sur, la Universidad del Valle y la Universidad Autónoma de Occidente, estructurado en los proyectos: 1. Diseño de un modelo metodológico de evaluación de los programas de innovación educativa mediante la apropiación y uso educativo de las TIC a nivel nacional y regional (UAO) 2. Diseño de un modelo de evaluación de programas de formación docente en TIC (UAO) 3. La innovación educativa desde el uso y apropiación de los contenidos educativos digitales (Univalle)

Leseprobe

Uribe Gartner, Carlos Julio

Eval - IETIC. Evaluación de la innovación educativa mediana por TIC / Carlos Julio Uribe Gartner. -- Cali : Programa Editorial Universidad del Valle, 2020.

446 páginas ; 24 cm. -- (Colección Educación y Pedagogía - Investigación)

1. Evaluación educativa - 2. Innovaciones educativas - 3. Investigación educativa - 4. Modelos metodológicos - 5. Formación docente - 6. Contenidos digitales – 7. Tecnologías de la información y de la comunicación. TIC

371.33 cd 22 ed.

U76

 Universidad del Valle - Biblioteca Mario Carvajal

Universidad del Valle

Programa Editorial

Título: Eval-IETIC. Evaluación de la innovación educativa mediada por TIC

Editor: Carlos Julio Uribe Gartner

ISBN: 978-958-5144-89-7

ISBN-PDF: 978-958-5144-90-3

ISBN-EPUB: 978-958-5144-91-0

DOI: 10.25100/peu.444

Colección: Educación y Pedagogía-Investigación

Primera edición

Rector de la Universidad del Valle: Édgar Varela Barrios

Vicerrector de Investigaciones: Héctor Cadavid Ramírez

Director del Programa Editorial: Omar J. Díaz Saldaña

© Universidad del Valle

© Carlos Julio Uribe Gartner

Diseño de carátula y diagramación: Sara Isabel Solarte Espinosa

Corrección de estilo: Luis Jaime Ariza Tello

_______

Este libro, o parte de él, no puede ser reproducido por ningún medio sin autorización escrita de la Universidad del Valle.

El contenido de esta obra corresponde al derecho de expresión del autor y no compromete el pensamiento institucional de la Universidad del Valle, ni genera responsabilidad frente a terceros. El autor es el responsable del respeto a los derechos de autor y del material contenido en la publicación, razón por la cual la Universidad no puede asumir ninguna responsabilidad en caso de omisiones o errores.

Cali, Colombia, octubre de 2020

Diseño epub:Hipertexto – Netizen Digital Solutions

AGRADECIMIENTOS

El programa de investigación Hacia un modelo metodológico para la evaluación de los programas que promueven la innovación educativa mediante la apropiación y uso educativo de las TIC en el contexto colombiano (Código 11006-716-49598) fue cofinanciado por el Ministerio de Educación Nacional de Colombia y Colciencias (según Convenio 344-2010 MEN/Colciencias), la Universidad del Valle (ejecutor principal) y la Universidad Autónoma de Occidente (coejecutor), según contrato 576-2015. El programa se desarrolló en el marco de las actividades de investigación del CIER Sur, en respuesta a la convocatoria 716-2015 dirigida a los CIER. Agradecemos el apoyo prestado por las directivas y el equipo técnico del CIER Sur a los grupos de investigación responsables directos del programa:

- Grupo de investigación en Comunicación para el Desarrollo, Código 0024079, Universidad Autónoma de Occidente; Proyecto: Diseño de un modelo metodológico de evaluación de los programas de innovación educativa mediante la apropiación y uso educativo de las TIC a nivel nacional y regional; Investigador principal: profesor Hernando Vaca, Ph. D. (UAO); Coinvestigadores: profesores Germán Gallego y Jairo Norberto Benavides (UAO); profesor Carlos Uribe, Ph.D. (UV); estudiantes de maestría en comunicación, Universidad Autónoma de Occidente: Andrés Meza Escallón y Martha Belly González Hernández. Asistente administrativa: Gilgal Almonacid Rodríguez, estudiante de comunicación social, Universidad Autónoma de Occidente.

- Grupo de Investigación en Educación, Código 0003759, Universidad Autónoma de Occidente (UAO). Proyecto: Diseño de un modelo de evaluación de programas de formación docente en TIC. Investigadora principal: profesora Adriana De la Rosa Alzate, Ph. D. (UAO); Coinvestigadores: profesores Claudia Alexandra Roldan, Ph. D. (UAO); Johanna Rey, Ph. D. (Colegio Altamira Suroriental, Bogotá); Jorge Caicedo (Universidad del Valle) y Jesús Gabalán, Ph. D. (UAO). Asesor: Mauricio Cortes, Ph. D. (Universidad Javeriana). Asistentes de investigación: profesionales Violeta Olarte, Paola Sogamoso, Christian David Granada, Diana Marcela Prado, Jairo Arosemena Pérez, y Claudia Marcela Estrada. Estudiante de pregrado: María Alejandra Mazuera; Asistentes administrativas: Melisa Campo (estudiante de diseño) y Sara Piedrahita (estudiante de publicidad), estudiantes de la Universidad Autónoma de Occidente.

- Grupo interinstitucional Ciencia, Acciones y Creencias UPN-UV, Código 0002484, Universidad del Valle. Proyecto: La innovación educativa desde el uso y apropiación de los contenidos educativos digitales. Investigador principal: profesor Alfonso Claret Zambrano, Ph.D. (UV). Coinvestigadores: profesores de la Universidad del Valle Carlos Uribe Gartner, Ph. D.; Robinson Viáfara, Mg.; Walter Lara (Mg.); Alexander Bonilla, Ph.D. (tutor del programa “Todos a aprender”, profesor de la IE Eustaquio Palacios); Boris Fernando Candela (Mg, profesor IE Eustaquio Palacios); Leidy Yurani Villa (Mg., profesora IE Eustaquio Palacios); estudiantes de doctorado en Educación, Universidad del Valle: Orlando Medina, Víctor Riaño, Andrés Cuellar García, Jhon Andersson Gómez Soto; estudiantes de maestría en educación Cristian Camilo Polanco, María Camila Castillo Cabezas y Juan David Acero Arias; estudiantes de pregrado David Rincón Tovar, Caterine Durán, Ángela Garay, Jaime Reina Gamboa, Gina Vanessa Torres Perlaza, Lina Marcela Gallardo.

Agradecemos el soporte administrativo y financiero para la ejecución del programa prestado por la Vicerrectoría de Investigaciones de la Universidad del Valle y por la Dirección de Investigaciones y Desarrollo Tecnológico de la Universidad Autónoma de Occidente. A la profesora Gloria Toro, directora del CIER Sur y de la DINTEV (Dirección de nuevas tecnologías y educación virtual, de la Universidad del Valle), por su acompañamiento permanente y por el respaldo logístico prestado por ambas entidades en su ejecución, en especial en los seminarios interdiscipliarios y el evento de socialización y validación. Agradecemos el incondicional apoyo secretarial, administrativo y logístico prestado a la dirección del programa por los monitores de pregrado, estudiantes de ingeniería de la Universidad del Valle Erik Velasco Taba, Clara Inés Patiño, Oscar Alexander Cobo Escobar, Laura Sofía Soto y Leidy Tatiana Millán.

Reconocemos y agradecemos a los Secretarios de Educación, rectores, docentes, estudiantes y padres de familia de los departamentos y municipios en la zona de influencia del CIER Sur que ofrecieron su tiempo en las entrevistas, grupos focales, observaciones de clases a los investigadorees del proyecto Diseño de un modelo de evaluación de programas de formación docente en TIC; igualmente, a los profesores participantes en los estudios de caso sobre el uso y apropiación en el aula de los Objetos de Aprendizaje de los CIER, o en la encuesta en línea exploratoria sobre el programa CREATIC y los Objetos de Aprendizaje. Igualmente, a los funcionarios del MEN y de Colciencias por su participación en las entrevistas y por su esmerado trabajo en las visitas de supervisión realizadas durante la ejecución del programa; a los directores y funcionarios de los CIER Centro, Oriente, Occidente y Norte.

Agradecemos a los participantes en los seminarios realizados en el CIER Sur a lo largo del programa y en el evento de socialización, así como en el panel sobre el programa de investigación realizado en Virtual Educa 2017; sus intervenciones y observaciones críticas desempeñaron una función de evaluación formativa en su desarrollo.

Agradecemos a los evaluadores anónimos por su lectura cuidadosa, sus observaciones y sugerencias, que enriquecieron significativamente la obra.

Finalmente, agradecemos especialmente al profesor Ignacio Jara, asesor del programa, por su estadía entre nosotros y sus invaluables aportes; así como a los expertos que integraron el panel y validación de la primera versión del modelo de evaluación, profesores Guillermo Sunkel, Ignacio Jara, Angel Facundo, Alvaro Galvis, y a la funcionaria del MEN Andrea Rojas.

PRESENTACIÓN

Uno de los pilares de las políticas públicas de mejoramiento del sistema educativo colombiano es el fomento de la innovación educativa mediante la integración de TIC en las instituciones educativas oficiales: dotación de infraestructura, formación docente y producción de contenidos educativos digitales. Siendo la evaluación “una condición crítica necesaria para la planeación y la definición de instrumentos de financiación pública” (COLCIENCIAS, 2013), Colciencias y el MEN realizaron la convocatoria 716-2015, con el objetivo de “Diseñar modelos metodológicos para el seguimiento y la evaluación del uso educativo de TIC en proyectos y programas educativos que se promueven en el nivel nacional y/o regional para caracterizar el impacto del uso y apropiación educativa de TIC en los establecimientos educativos” (Calderón, Ruiz, Parra y Pérez, 2016). En respuesta a esta convocatoria, la Universidad del Valle y la Universidad Autónoma de Occidente construyeron el programa de investigación Hacia un modelo metodológico para la evaluación de los programas que promueven la innovación educativa mediante la apropiación y uso de las TIC en el contexto colombiano. El programa estuvo integrado por los siguientes proyectos (para abreviar nos referimos a ellos con el numeral que los antecede):

1. Diseño de un modelo metodológico de evaluación de los programas de innovación educativa mediante la apropiación y uso educativo de las TIC a nivel nacional y regional.

2. Diseño de un modelo de evaluación de programas de formación docente en TIC.

3. La innovación educativa desde el uso y apropiación de los contenidos educativos digitales.

Cada proyecto tuvo su propio problema de investigación, así como sus objetivos y metodología, articulándose en torno al marco conceptual y metodológico que dio sentido al macroproblema de investigación abordado en el programa ¿Cómo evaluar la incidencia, en el mejoramiento de las instituciones educativas, de la formación docente y el desarrollo de contenidos educativos digitales realizados en el marco de los programas que promueven la innovación educativa mediante la apropiación y el uso educativo de las TIC a nivel nacional y regional? Aunque el problema no se restringe a la evaluación de un programa específico sino de una categoría de programas, los que promueven la innovación educativa mediante la apropiación y uso educativo de las TIC, el caso ejemplar de esta categoría considerado es el proyecto Construyendo capacidades en el uso de las TIC para innovar en la educación, del Ministerio de Educación Nacional (Lemus, 2016). Una de sus estrategias fue la creación de los Centros de innovación educativa regionales, CIER, para la ejecución de actividades de investigación, formación docente y producción de recursos educativos digitales.

El programa de investigación se insertó en la compleja intersección de dos campos disciplinares, ya de por sí inherentemente complejos y controvertidos. Por una parte, la evaluación educativa, y más en general la investigación evaluativa de programas y políticas sociales. También se enfrentó a esclarecer algunas de las problemáticas conceptuales y pragmáticas alrededor de la innovación educativa, y en especial la que se centra en la integración de las TIC en los procesos pedagógicos, que llamaremos ‘Innovación Educativa mediada por TIC’ (abreviadamente, IETIC).

La investigación evaluativa es una disciplina de las ciencias sociales aplicadas que ha experimentado un extraordinario desarrollo desde los años sesenta. No obstante, todavía existen importantes controversias teóricas y prácticas acerca de sus fundamentos epistemológicos, axiológicos y metodológicos, como estudiamos en la primera parte del libro, dedicada a la presentación de una visión panorámica en la investigación evaluativa, obtenida a partir de la revisión de la literatura realizada en este campo. En cuanto al segundo campo, la innovación educativa mediada por TIC, que abordamos específicamente en la segunda parte del libro, la perplejidad acerca del complejo de cuestiones no resueltas sólo tiene parangón con las expectativas sobre las potencialidades de transformar la educación mediante las TIC. Así, pues, esta parte revisa la literatura al respecto, comenzando por la caracterización del entorno global actual y las demandas que impone a los sistemas educativos, a las que se espera dar respuesta mediante su informatización.

De esta manera, las dos primeras partes del libro exponen el marco teórico de nuestra propuesta metodológica para evaluar algunos elementos de los programas nacionales o institucionales de fomento a la innovación educativa mediada por TIC, propuesta que hemos denominado Eval-IETIC. Este marco está compuesto de dos partes. La primera está conformada, hablando impropiamente, por la totalidad del saber teórico–práctico acumulado por la comunidad de evaluadores educativos, a su vez parte de la comunidad de expertos en investigación evaluativa. No obstante, siendo conscientes de las controversias fundacionales que subsisten en el campo, y que probablemente seguirán subsistiendo en el futuro (por razones que discutimos en el capítulo 1, sección 3), es necesario tomar posición frente a estas controversias.

En gran parte el objetivo del capítulo 1 es ofrecer y argumentar nuestra toma de posición, tomada por un número cada vez mayor de especialistas (Mark, 2002): los diferentes enfoques en los que se pueden agrupar todas las teorías sobre la evaluación de programas sociales (no solo educativos sino en todos los sectores, como la salud pública, la seguridad social, la prevención del delito, etc), a pesar de sus divergencias epistemológicas y axiológicas, no son incompatibles, en el sentido de que las diferentes metodologías comprendidas dentro de los diferentes enfoques son específicamente aplicables a diferentes situaciones evaluativas, y es deber del evaluador ajustar la metodología a la situación evaluativa. Esta postura integrativa o ecléctica no significa que las divergencias epistemológicas y axiológicas se pueden pasar por alto. Si la axiología o la epistemología de un evaluador son incompatibles con la metodología requerida por la situación evaluativa, lo lógico es que deje de lado el proyecto. De hecho, en ese primer capítulo también ponemos sobre la mesa nuestras posturas axiológicas y epistemológicas, que han determinado que Eval-IETIC privilegie los enfoques interpretativos constructivista y crítico, y por tanto sea aplicable sobre todo a las situaciones de evaluación que demandan las metodologías cualitativas privilegiadas en estos enfoques (sin que excluyan las técnicas de investigación cuantitativas).

La segunda parte del marco teórico de Eval-IETIC es la “teoría sobre la innovación educativa mediada por TIC”. De acuerdo con los enfoques en investigación evaluativa que acabamos de mencionar, es muy importante la comprensión del entorno o contexto de la innovación o del programa de fomento a la innovación escolar. Por ello el primer capítulo de esa segunda parte analiza el actual contexto societal mundial, profundamente transformado por la revolución tecnológica que ha llevado al que Castells denomina “paradigma tecnológico informacional” (M. Castells, 2006). Los siguientes dos capítulos revisan la literatura sobre innovación escolar y sobre innovación escolar mediada por TIC, respectivamente.

En el resto del libro se da a conocer el trabajo de construcción teórica y de estudio empírico realizado en los proyectos. La tercera parte está dedicada, en un primer capítulo (cap. 7), a la exposición de los antecedentes y el desarrollo del programa como un todo, seguida de la exposición (cap. 8) de los objetivos y los resultados del proyecto 1. La cuarta y quinta partes hacen lo propio con los proyectos 2 y 3, respectivamente. Un último y breve capítulo presenta las conclusiones globales del programa a la vista de los resultados específicos de los proyectos. Las recomendaciones para el MEN sobre el diseño de los programas de formación docente en servicio para la innovación educativa mediada por TIC se exponen a lo largo de la cuarta parte, desde las voces de los actores del programa CREATIC; las recomendaciones relacionadas con el mejoramiento y la difusión de los contenidos educativos digitales elaborados por los CIER se encuentran al final de la quinta parte; así mismo, se propone un plan de mejoramiento para una eventual segunda generación de objetos de aprendizaje.

El libro no es una recopilación de capítulos independientes, pese a que los capítulos 6, y desde el 8 hasta el 12, fueron escritos por diferentes colectivos de autores (los demás capítulos fueron escritos por el editor, como veremos enseguida). En efecto, la obra fue planificada y estructurada como un todo unitario y cohesivo. Su macroestructura refleja la articulación de los proyectos alrededor del problema global del programa. En consecuencia, el trabajo del editor no se redujo a una simple revisión editorial, pues también contribuyó a la redacción final de todos los capítulos para asegurar un mínimo de coherencia en el contenido y en el estilo (no obstante, las limitaciones en el cronograma limitaron el trabajo de estructuración final del libro respecto a sus dos últimas partes, por lo cual en ellas hay algunas redundancias).

En cada capítulo se indican su respectivo autor o el colectivo de autores, a menos que el capítulo haya sido escrito por el editor, en cuyo caso el autor es el mismo editor (la primera parte en su totalidad, los capítulos 4 y 5 de la segunda parte, y el capítulo 7); sin embargo, estos capítulos recogen en gran parte las discusiones en el equipo de investigadores a lo largo del programa y fueron validados en los seminarios del programa o por los investigadores, quienes examinaron las sucesivas versiones del material.

La obra en realidad tiene dos componentes: el presente libro impreso y un apéndice en línea que contiene los estudios de caso y los materiales complementarios*, disponible en: https://cutt.ly/xytlO79 o escaneando el código QR

TABLA DE CONTENIDO

PRIMERA PARTE

REVISIÓN DE LA LITERATURA SOBRE INVESTIGACIÓN EVALUATIVA

CAPÍTULO 1

VISIÓN PANORÁMICA DE LA INVESTIGACIÓN EVALUATIVA

1. Aclaración semántica del término evaluación

2. Esbozo histórico

3. Enfoques y modelos metodológicos de evaluación

4. Hacia una conceptualización comprehensiva de la investigación evaluativa

Apéndice: fundamentos de la evaluación de programas

1. Introducción

2. Un poco de historia

3. Marco evaluativo de las teorías de la evaluación de programas

4. Estado del arte y fases (stages) de la investigación evaluativa

4.1. Primera fase: En búsqueda de la verdad sobre la resolución de los problemas sociales

4.2. Segunda fase: Generando alternativas que enfatizan el uso y el pragmatismo

4.3. Tercera fase: Tratando de integrar el pasado

CAPÍTULO 2

OTROS CONCEPTOS BÁSICOS EN LA INVESTIGACIÓN EVALUATIVA

1. Concepción sistémica de un programa social

2. Sujetos que intervienen en una evaluación

2.1. El cliente o contratista de la evaluación

2.2. Las partes interesadas de la evaluación

2.3. Las audiencias o usuarios de los resultados de la evaluación

3. Teoría del programa

3.1. Componentes del modelo de cambio

3.2 Modelo de acción

4. Indicadores, criterios y estándares de evaluación

5. Criterios para la metaevaluación

6. Procesos de una evaluación

CAPÍTULO 3

LA EVALUACIÓN DE CUARTA GENERACIÓN

1. Concepción de evaluación y características distintivas

2. El círculo hermenéutico dialéctico

3. Aplicaciones de la evaluación de cuarta generación

Apéndice: ¿qué significa ‘evaluación de cuarta generación’?

SEGUNDA PARTE

REVISIÓN DE LA LITERATURA SOBRE INNOVACIÓN EDUCATIVA MEDIADA POR TIC

CAPÍTULO 4

¿EN DÓNDE ESTAMOS?

1. Viajeros en el tiempo

2. Precisiones conceptuales

3. Economía y sociedad bajo el paradigma tecnológico informacional

4. ¿Hacia una cultura de la sociedad red global?

5. ¿Continuidad o discontinuidad histórica?

CAPÍTULO 5

LA INNOVACIÓN EDUCATIVA COMO CAMINO HACIA UN NUEVO PARADIGMA ESCOLAR

1. Concepto de innovación educativa

2. Innovación incremental versus innovación disruptiva

3. Agotamiento de la “Educación Industrial”

4. Hacia un nuevo paradigma educativo: la visión

Apéndice: Innovación e innovación educativa

Características de la innovación educativa

Buenas prácticas en innovación educativa

CAPÍTULO 6

INNOVACIÓN EDUCATIVA MEDIADA POR TIC

1. Las TIC en la innovación educativa

1.1. Innovación en el aprendizaje mediado por TIC

1.2. Innovación académica mediada por TIC

2. Mediación tecnológica

2.1. La mediación como proceso

2.2. Medio y tecnología

2.3. Particularidades de la mediación tecnológica

3. Apropiación y uso educativo de las TIC

Dificultades y retos

4. Conclusión: noción de innovación educativa mediada por TIC

Anexo: Innovación Educativa Mediada por TIC Caso Universidad Autónoma de Occidente

TERCERA PARTE

MARCO GENERAL DEL MODELO METODOLÓGICO DE EVALUACIÓN DE PROGRAMAS Y PROYECTOS DE INNOVACIÓN EDUCATIVA MEDIADA POR TIC EVAL-IETIC

CAPÍTULO 7

Antecedentes, objetivos y estructura del programa de investigación

1. El proyecto Construyendo capacidades en el uso de las TIC para innovar en educación

2. Antecedentes inmediatos del programa de investigación

3. Descripción general del programa de investigación

3.1. Problema de investigación

3.2. Objetivos del programa de investigación

3.3. Marco teórico y metodológico del programa de investigación

4. Desarrollo del programa de investigación

CAPÍTULO 8

EVALUACIÓN DE LOS PROGRAMAS Y PROYECTOS DE INNOVACIÓN EDUCATIVA MEDIANTE LA APROPIACIÓN

1. Problema de investigación, objetivos y ruta metodológica

2. Marco conceptual para el diseño y la evaluación de programas y proyectos dirigidos al fomento de la Innovación educativa mediada por TIC (IETIC)

2.1. Consideraciones generales

2.2. Propósito del programa, productos y contextos

2.3. Insumos

2.4. Procesos

2.5. Etapas de Desarrollo

2.6. Seguimiento, monitoreo y Evaluación

3. Modelo para evaluar proyectos institucionales de innovación educativa mediada por TIC

3.1. Categorías de análisis y sus relaciones

3.2. Criterios y fuentes de información

4. Sobre la transformación de los CIER en centros de investigación reconocidos por Colciencias

4.1. Antecedentes y situación actual de los CIER

4.2. La investigación al interior del CIER Sur

4.3. Algunos lineamientos para un eventual Centro de Investigación en Innovación Educativa Mediada por TIC

Apéndice: bases empíricas y metodológicas del marco conceptual Eval-IETIC y del modelo metodológico de evaluación de proyectos institucionales

CUARTA PARTE

FORMATIC CON SENTIDO: MODELO DE EVALUACIÓN DE FORMACIÓN DOCENTE EN USO Y APROPIACIÓN DE TECNOLOGÍAS

CAPÍTULO 9

MODELO DE EVALUACIÓN DE LA FORMACIÓN DOCENTE

1. La evaluación educativa

2. La política pública sobre formación docente en el uso pedagógico de tecnologías

3. Conocimiento tecnológico y pedagógico del contenido (TPACK)

4. La formación docente en el uso de tecnologías en Colombia: una breve historia

4.1. Computadores para educar

4.2. Programa CREATIC: Inspirar, Crear y Diseñar Aprendizajes con TIC

5. Los fundamentos de la evaluación de programas de formación docente en uso e integración de tecnologías

6. El modelo de evaluación de formación docente en uso de tecnologías

6.1. La construcción del modelo

6.2. Metodología

6.3 Resultados

7. Conclusiones

Anexo 1: Dimensiones, indicadores y descriptores del modelo de evaluación de formación docente en TIC

CAPÍTULO 10

LA EXPERIENCIA DE CREATIC EN EL CIER SUR

1. Metodología

2. Resultados

2.1. El acceso a la formación en CREATIC

2.2. Actores externos al contexto escolar

2.3. Actores del contexto escolar

2.4. Análisis interpretativo de las entrevistas a los actores del contexto escolar

3. Conclusiones

QUINTA PARTE

LA INNOVACIÓN EDUCATIVA DESDE EL USO Y LA APROPIACIÓN DE LOS CONTENIDOS EDUCATIVOS DIGITALES

CAPÍTULO 11

MARCO TEÓRICO ESPECÍFICO DEL PROYECTO

1. La Filosofía analítica de la educación y la pedagogía crítica como fundamentos filosóficos del proyecto

2. Calidad de la enseñanza, el aprendizaje y la evaluación en el contexto de la apropiación educativa de las TIC

3. El Conocimiento Tecnológico y Pedagógico del Contenido (TPACK)

4. La formación docente en el sistema educativo colombiano

Apéndice: Glosario de términos técnicos en el contexto colombiano

CAPÍTULO 12

EVALUACIÓN DE LOS OBJETOS DE APRENDIZAJE CONSTRUIDOS EN EL CIER-SUR

1. Evaluación interna

1.1. Manual de Producción y Gestión de Contenidos Educativos Digitales

1.2. Integrantes del equipo de diseño y desarrollo de los OA

1.3. Elementos constitutivos y estructura general de los OA

1.4. Fases del diseño y desarrollo de los OA

2. Evaluación externa

2.1. Química

2.2. Biología

2.3. Física

2.4. Matemáticas

2.5. Lenguaje

3. Análisis global del proceso de diseño y producción de los OA

3.1. Heterogeneidad de los OA en cuanto a su calidad tecnopedagógica

3.2. Las teorías del aprendizaje que fundamentan los OA y la Investigación basada en el diseño

3.3. El ciclo de aprendizaje orienta la secuenciación de las actividades

3.4. La resonancia entre el sistema de conocimiento, creencias y valores del diseñador del OA con el del docente, versus la pedagogía crítica

3.5. Relación entre la coherencia curricular y el Plan de Integración de los Componentes Curriculares (PICC)

4. Recomendaciones

Apéndice: propuesta de instrumentos de evaluación de Objetos de Aprendizaje para las áreas de Ciencias y de Matemáticas

Instrumento Evaluación de OA para el Área de Ciencias (Tercera Versión)

CAPÍTULO 13

CONCLUSIONES

REFERENCIAS

NOTAS AL PIE

ÍNDICE DE TABLAS

Tabla 1. Enfoques de evaluación.

Tabla 2. Especificación de los contenidos que idealmente debería tener una teoría de la evaluación comprehensiva.

Tabla 3. Comparación entre el enfoque postpositivista y la evaluación de cuarta generación.

Tabla 4: Modelos de evaluación de proyectos institucionales analizados.

Tabla 5. Criterios de análisis para proyectos institucionales de innovación educativa mediada por TIC.

Tabla 6. Frecuencia de las categorías de análisis (entrevistas a funcionarios).

Tabla 7. Procedencia de los participantes en CREATIC CIER Sur.

Tabla 8. Equipo de diseño y producción en el CIER Sur.

Tabla 9. Proceso de diseño y producción de un OA.

Tabla 10. Análisis de Conocimientos y Habilidades para el OA_autótrofos.

Tabla 11. OA en grados anteriores asociados al OA_autótrofos.

Tabla 12. OA implementados en los estudios de caso para la evaluación externa.

Tabla 13. Categorías descriptivas que sintetizan los resultados del análisis de los casos.

Tabla 14. Plan de mejoramiento para el diseño y producción de los OA.

ÍNDICE DE FIGURAS

Figura 1. El árbol de la evaluación.

Figura 2. Elementos conceptuales de la definición de evaluación.

Figura 3. Propósitos de la evaluación de programas sociales.

Figura 4. Conceptos estructurales básicos de las teorías de la evaluación.

Figura 5. Componentes de un sistema.

Figura 6. Elementos de la teoría del programa.

Figura 7. Tipos de criterios y estándares para la evaluación de programas sociales.

Figura 8. Criterios y estándares.

Figura 9. Elementos del proceso evaluativo.

Figura 10. Círculo hermenéutico dialéctico.

Figura 11. Curva-en-S que describe el desarrollo de una tecnología.

Figura 12. Comparación de las curvas en S para dos paradigmas tecnológicos rivales.

Figura 13: Marco conceptual para el diseño y evaluación de programas y proyectos dirigidos al fomento de la Innovación educativa mediada por TIC (IETIC) (elaboración propia).

Figura 14. Componentes y procesos críticos de un programa estatal de fomento a la innovación educativa mediada por TIC a nivel nacional y regional.

Figura 15. Categorías de análisis para evaluar proyectos institucionales de IETIC.

Figura 16. Plan de formación en CREATIC.

Figura 17. Diseño de evaluación general del Desarrollo Profesional (DP)

Figura 18. Elementos del modelo de evaluación de formación docente.

Figura 19. Cuadro resumen de actores de CREATIC entrevistados.

Figura 20. Modelo TPACK.

Figura 21. Diagrama de flujo del modelo ADDIE adaptado para la producción de los OA en los CIER.

SIGLAS

ADDIE: Análisis, Diseño, Desarrollo, Implementación, Evaluación

C/H: Conocimientos y Habilidades

CIER: Centro de Innovación Educativa Regional

CIPP: Contexto, Insumo, Proceso, Producto

CONPES: Consejo Nacional de Política Económica y Social

CPE: Computadores para Educar

DBA: Derechos básicos de Aprendizaje

DRAE: Diccionario de la Real Academia Española

EBC: Estándares Básicos de Competencias

E4G: Evaluación de Cuarta Generación

FOD: Fundación Omar Dengo

G&L: Guba y Lincoln

IE: Institución Educativa

IETIC: Innovación Educativa mediada por TIC

MEN: Ministerio de Educación Nacional

OA: Objeto(s) de Aprendizaje

OECD: Organisation for Economic Co-operation and Development

PICC: Plan de Integración de Componentes Curriculares

QCT: Equipo de Control de Calidad (Quality Control Team)

R&K: Reigeluth y Karnopp

REDA: Recursos Educativos Digitales Abiertos

SEM: Secretaría de Educación Municipal

SI: Sociedad de la Información

TIC: Tecnologías de la Información y la Comunicación

TPACK: Conocimiento Tecnológico y Pedagógico del Contenido (ver significado de las siglas TK, CK, PK, TPK, TCK, PCK en la Figura 20)

TPC: Teoría Pedagógica Crítica

UAO: Universidad Autónoma de Occidente

UV: Universidad del Valle

PRIMERA PARTE

REVISIÓN DE LA LITERATURA SOBRE INVESTIGACIÓN EVALUATIVA

 

La primera parte se centra en la revisión de la literatura en el campo disciplinar principal en el que se sitúa el programa de investigación. Se ha estructurado en tres capítulos. El primero presenta una visión a vuelo de pájaro del campo, enfocada sobre todo en delinear los cuatro grandes enfoques que sistematizan las distintas maneras de concebir la evaluación formal de programas sociales y de orientarla metodológicamente: el postpositivista, el pragmático, el interpretativo-constructivista y el crítico. Si bien bajo cada uno subyacen diferentes paradigmas sociocientíficos, actualmente tales enfoques no se consideran excluyentes por la mayoría de teóricos, por cuanto son la situación y los propósitos de la evaluación los que determinan el diseño metodológico. El capítulo segundo desarrolla los conceptos fundamentales de la investigación evaluativa compartidos en los cuatro enfoques, o que son necesarios para comprender su distinción. El tercero aborda la teoría de la evaluación desarrollada por Egon Guba (1924-2008) y su esposa Yvonne Lincoln, que se sitúa en el enfoque interpretativo–constructivista y a la vez en el crítico, que denominaron “Evaluación de cuarta generación” (Guba y Lincoln, 1989). El objetivo de su estudio es ir más allá de las generalidades tratadas en los dos primeros capítulos para ejemplificar la complejidad epistemológica, axiológica y metodológica de la evaluación de programas, teniendo como telón de fondo el enfoque de evaluación postpositivista, que se supone conocido del lector pues ha sido el enfoque hegemónico durante muchos años. En contraste, sigue siendo todavía válido lo dicho al despuntar el siglo actual por Guba y Lincoln (2001, p. 3): “this form [la evaluación constructivista] is neither widely known nor commonly understood” (en adelante nos referimos a este par de autores, en ese orden, con las iniciales G&L, y a la Evaluación de cuarta generación como E4G). Hemos escogido esta teoría por la coincidencia de marcos axiológico y epistemológico entre estos autores y los investigadores. No obstante, como ya dijimos, reconocemos que la situación de evaluación, el tipo de evaluando y las necesidades informativas del cliente, quien contrata y paga al evaluador, determinan en gran parte el propósito y los objetivos de la evaluación —en especial, las preguntas a resolver—, y en consecuencia los métodos, los tipos de datos a recoger, y las técnicas de recolección de datos y de análisis. Por tanto, Eval-IETIC, la propuesta metodológica para la evaluación de la innovación educativa mediada por TIC que expondremos en las partes 3 a 5 del libro, y que tiene como marco axiológico y epistemológico el descrito por G&L (1989), es tanto más aplicable cuanto las preguntas de evaluación a las que se llegue en la negociación entre el cliente y el evaluador prospectivo se acerquen más a las típicas de la E4G.

CAPÍTULO 1

VISIÓN PANORÁMICA DE LA INVESTIGACIÓN EVALUATIVA

El término evaluación es una palabra elástica que se emplea para abarcar muchas clases de juicios. Se habla de evaluación de la ejecución de la tarea, de evaluación de la calidad de la educación, de evaluación del clima organizacional, de evaluación del material didáctico, de evaluación del mercado potencial de un producto, de evaluación de sentido de pertenencia, de evaluación de un determinado programa, proyecto o institución, etc. Sin embargo, el término evaluación, a pesar de su creciente popularidad y empleo permanente, es pobremente definido y a menudo impropiamente utilizado.

(CORREA, PUERTA Y RESTREPO, 2002, p. 27)

El principal objetivo de este capítulo y el siguiente es contribuir a la conceptualización de la investigación evaluativa a la luz de la revisión bibliográfica realizada en el curso del programa de investigación, presentando un estado del arte de la misma. Está estructurado en las secciones que se describen a continuación. La primera presenta una primera aclaración semántica del término ‘evaluación’, distinguiendo dos significados técnicos: i) la evaluación académica, estudiantil o escolar: la calificación de los estudiantes realizada por los docentes como un aspecto de los procesos formales de enseñanza y aprendizaje; ii) la evaluación sistemática de organizaciones, políticas, programas, proyectos, productos —de consumo, materiales didácticos, etc.—, dirigida a emitir un juicio crítico y fundamentado sobre su calidad, valía y mérito, según ciertos criterios y estándares1. En este libro usamos la palabra en este segundo sentido, para el cual también se usa el término ‘investigación evaluativa’. La segunda sección brevemente ofrece una panorámica de la historia de este campo teórico-práctico, concluyendo con la metáfora que plantea que la evaluación ha llegado a ser un árbol frondoso, con muchas ramas y subramas: los diferentes enfoques y modelos de evaluación existentes, que no son incompatibles sino complementarios en cuanto unos u otros son los más apropiados para diversas situaciones y propósitos de evaluación. La tercera sección distingue los conceptos de enfoque de evaluación de programas sociales y de modelo metodológico de evaluación, y ofrece una sistematización de los diferentes enfoques de evaluación existentes en la literatura y en la práctica profesional de la comunidad de evaluadores. Por último, la cuarta sección ofrece nuestra contribución específica a la conceptualización de la investigación evaluativa de una manera que abarque todos los enfoques de evaluación descritos, a partir de una síntesis analítica de las conceptualizaciones encontradas en la revisión bibliográfica.

1. ACLARACIÓN SEMÁNTICA DEL TÉRMINO EVALUACIÓN

Entendemos por programa una intención o designio planificado, cuya ejecución requiere aplicar medios determinados (recursos humanos, organizacionales, financieros, físicos) con miras a obtener mediante un cierto proceso de transformación unos resultados o efectos predefinidos. La totalidad de estos medios es el insumo del programa, y la de los efectos es su producto. Un programa es entonces la transformación unitariamente organizada de un insumo en un determinado producto previamente definido (Correa, Puerta y Restrepo, 1996, p.25). Si el resultado que se intenta obtener es aumentar el bienestar humano o contribuir a satisfacer una necesidad social, el programa será específicamente un programa social. En el capítulo 2, sección 1, ampliaremos esta noción desde una perspectiva sistémica.

El diccionario de la Real Academia Española, edición del tricentenario, trae dos acepciones del substantivo ‘evaluación’: i) acción y efecto de evaluar; ii) examen escolar. ‘Evaluar’, según este mismo diccionario, significa: i) señalar el valor de algo; ii) estimar, calcular, apreciar el valor de algo; iii) Estimar los conocimientos, aptitudes y rendimiento de los alumnos. Así, pues, lexicográficamente el término está asociado a tres campos semánticos. En su sentido habitual y cotidiano está ligado a las prácticas académicas, a la enseñanza formal. Un segundo sentido se refiere a la tasación del valor de mercado de una mercancía. Un tercer sentido, que el diccionario de la RAE apenas intenta articular en su primera acepción del verbo ‘evaluar’, está ligado a una profesión o práctica social que se constituyó en el siglo pasado, la ‘investigación evaluativa’. Es este tercer sentido el que nos interesa. Pero necesitamos ir más allá del diccionario de la RAE para caracterizarlo.

El Cambridge Dictionary presenta para el verbo evaluate un único sentido: “to judge or calculate the quality, importance, amount, or value of something”2. Este sentido precisa y desarrolla el primer sentido general indicado por el diccionario de la RAE, fundiéndolo con el segundo sentido más específico, de orden económico. Para el sentido académico, parece que en el inglés se ha ido imponiendo el verbo assess, aunque este también se usa en muchos contextos como sinónimo de evaluate. Sin entrar en la discusión semántica sobre ambos términos, por el momento destacamos la presencia del verbo ‘juzgar’ y del sustantivo ‘valor’ como elementos centrales de una red semántica que atrapa el significado más técnico de ‘evaluar’. Evaluar sería, entonces, ‘juzgar el valor de algo’ o ‘formular un juicio de valor’.

Ahora bien, si el juicio de valor se refiere a una entidad o a un proceso sociopolítico complejo, como un programa social o educativo, ese juicio debe emitirse tras una sistemática búsqueda y un análisis de información pertinente, pues está en juego el bien común de la sociedad. Este imperativo se plasma en el intento más reconocido de consensuar una definición descriptiva de valuación, que se realizó en los Estados Unidos desde 1975 hasta 1981, como parte de un proyecto interinstitucional dirigido al desarrollo de normas para la evaluación educativa, en el que participaron doce organizaciones que constituyeron el Joint Committee on Standards for Educational Evaluation (JCSEE). Luego de una extendida deliberación y de una validación pública que involucró varios cientos de educadores, evaluadores y ciudadanos, se publicó un libro que recogió los consensos a los que se llegó (Joint Committee on Standards for Educational Evaluation, 1981). El comité definió ‘evaluación’ como “The systematic investigation of the worth or merit of an object” (“La investigación sistemática de la valía o el mérito de un objeto”. En la sección 4 profundizamos en esta concisa definición).

Aunque en la primera revisión de las normas se mantuvo esta definición (Joint Committee on Standards for Educational Evaluation, 1994, p. 3), la tercera edición de los estándares elaboró ampliamente la definición para incluir, además de la valoración propiamente dicha, sus propósitos inmediatos, su relación con el desarrollo del “evaluando”, la entidad o el proceso estudiado y, por último, su finalidad social última (Yarbrough, Shulha, Hopson y Caruthers, 2010, p. XXV):

• the systematic investigation of the quality of programs, projects, subprograms, subprojects, and/or any of their components or elements, together or singly

• for purposes of decision making, judgments, conclusions, findings, new knowledge, organizational development, and capacity building in response to the needs of identified stakeholders

• leading to improvement [evaluación formativa] and/or accountability [evaluación sumativa] in the users’ programs and systems

• ultimately contributing to organizational or social value.

Sin embargo, la definición de la primera edición de los estándares, que había asumido una larga tradición en esta especialidad aplicada de las ciencias sociales, continúa siendo utilizada con frecuencia por su concisión, a sabiendas de que debe ser interpretada y aplicada teniendo a la vista la cada vez mayor complejidad y variedad de las prácticas evaluativas (F. Lawrenz y Desjardins, 2012; T. R. Lawrenz, 2010). Ahora bien, si salimos de este ámbito institucional para examinar la literatura relevante, ya no encontramos tal unanimidad. Correa, Puerta y Restrepo (2002, pp. 27-29) señalan, citando a Galtung, que en la literatura se encontraban hacia 1975 más de trescientas definiciones diferentes. No obstante, tras su recorrido por algunas de estas conceptualizaciones, concluyen:

Por diferentes que sean las maneras de concebir el fin y los métodos de la evaluación que estas definiciones implican, todas ellas podemos reducirlas a un común denominador: el de que todas se refieren a la investigación y la apreciación de la eficiencia, eficacia, efectividad y relevancia social de una institución, programa o proyecto, para lo cual se requiere disponer de información sobre los insumos, los procesos y los productos o resultados. Cuanto más válidas, confiables y representativas sean estas informaciones, mayor será la posibilidad de reorganizar los fines y los medios de un programa o proyecto, de tal manera que éste arroje resultados óptimos. Obtener y valorar estas informaciones es lo que denominamos evaluación. (p. 29)

Al comparar esta síntesis con la definición original del JCSEE, vemos que esta puede utilizarse para expresar el núcleo de la empresa evaluativa, supuesto que se precisen los criterios y estándares a la luz de los cuales se emite el juicio valorativo (calidad, eficiencia, relevancia social, y otros). Así, pues, y solo con el propósito de aclarar el significado técnico que le daremos al término ‘evaluación’, diremos que esta indica: i) evaluación como producto: un juicio crítico y fundamentado sobre la calidad, la valía y el mérito del evaluando, según criterios y estándares de alguna manera consensuados por los participantes en el proceso; ii) evaluación como actividad: el proceso a través del cual se construye tal juicio; iii) evaluación como campo especializado, la ‘investigación evaluativa’, disciplina aplicada de las ciencias sociales que comprende las diferentes teorías prácticas que orientan a los evaluadores en su actividad profesional. En las siguientes secciones iremos más allá de la aclaración semántica para penetrar en la selva de teorías sobre los fundamentos ontológicos, epistemológicos y metodológicos de esta familia de prácticas sociales.

2. ESBOZO HISTÓRICO

La investigación evaluativa actual es resultado de un proceso evolutivo de construcciones y reconstrucciones conceptuales y metodológicas en interacción con las demandas sociales. Este complejo proceso ha sido periodizado desde diversas perspectivas interpretativas. Correa et al. (2002, pp. 55-60) acuden al planteo de Foucault en su Arqueología del Saber sobre la formación de las ciencias, esto es, a las etapas sucesivas de positividad, disciplina y ciencia. Centran la ‘etapa de los inicios’, o de positividad —su constitución como un campo con cierto objeto— en los conocidos aportes de Ralph Tyler (1902-1994), quien ha sido llamado ‘padre de la evaluación’ (D. L. Stufflebeam y Shinkfield, 1987, p. 16). Estos aportes cristalizaron en el importante estudio llamado The eight-year study (1933-1942). Tyler detalló en una entrevista la génesis y la importancia fundacional de este complejo estudio, y su cometido en el mismo (Nowakowski, 1983), que fue mucho más allá de determinar hasta qué punto se consiguieron los objetivos curriculares de las innovaciones educativas sometidas a evaluación. En realidad, se trató de lo que Scriven llamó evaluación formativa, en cuanto la información recogida, acerca del logro de los objetivos de los programas estudiados, se utilizó como insumo del análisis de sus puntos fuertes y débiles para guiar las revisiones sucesivas de los programas (Scriven, 1966, p. 5ss).

La ‘etapa disciplinar’, para Correa et al. (2002), tiene un comienzo bastante definido, los años que siguieron inmediatamente al Sputnik Shock de 1957. La legislación estadounidense promulgada por entonces, financiando nuevos proyectos curriculares a gran escala e instaurando la “guerra contra la pobreza” con una pléyade de programas sociales, supuso la conversión en evaluadores de un número cada vez mayor de científicos sociales, por cuanto la continuidad de tales proyectos educativos y programas sociales se supeditó a su evaluación. Se utilizaron los métodos ya conocidos de experimentación social para “medir” el efecto de los evaluandos. Sin embargo, ya en los años finales de los sesenta algunos evaluadores, entre los que cabría destacar a Robert Stake, emprendieron evaluaciones cualitativas y estudios de caso al reconocer los límites epistemológicos de las metodologías cuantitativas dominantes. Por último, según Correa et al. (2002, p. 57), alrededor de los setenta la investigación evaluativa se adentró en la etapa científica en virtud de la consolidación de una comunidad académica internacional, la constitución de asociaciones profesionales, publicaciones especializadas periódicas, libros, congresos, programas académicos de formación de evaluadores, y la publicación de normas reguladoras de la práctica, como las del Joint Committee (1981, 1994).

Una de las esquematizaciones de la historia de la investigación evaluativa más conocidas es la de Stufflebeam y Shinkfield (1987). Coincide en gran parte con la que acabamos de presentar, pero difiere en que subdivide la etapa de la positividad de Correa et al. (2002) en tres períodos: la época pretyleriana, hasta 1930; la época tyleriana, desde 1930 hasta 1945; y la “edad de la inocencia”, desde 1946 hasta 1957. Este último nombre refleja circunstancias sociales específicas de los Estados Unidos de la posguerra. Siendo Stufflebeam uno de los principales protagonistas de la profesionalización de la investigación evaluativa a partir de los sesenta y de la ruptura con la tradición tyleriana en la evaluación educativa, Stuffleabeam y Shinkfield (1987) desarrollan ampliamente la emergencia de métodos alternativos durante la que llaman “época del realismo” (1958-1972), que equivale cronológicamente a la etapa disciplinar de Correa et al. (2002). En efecto, las enmarañadas e indóciles realidades políticas y sociales con las que se encontraron abruptamente los evaluadores educativos y de programas sociales tras el Sputnik les obligaron a abandonar su complacencia, a fundamentar sus metodologías en conceptos como utilidad y relevancia, en función del interés público. En consecuencia, fueron años de vibrantes debates en la naciente disciplina, que rápidamente vio multiplicar el número de escuelas teórico–prácticas en investigación evaluativa (en el apéndice del capítulo ofrecemos una panorámica de tales escuelas, resumiendo la de Shadish, Cook y Leviton, 1992). Por último, la etapa científica de Correa et al. (2002) corresponde a la “época de la profesionalización” de Stufflebeam y Shinkfield (1987).

Los dos recuentos reseñados, y otras periodizaciones similares, sugieren una historia lineal de la disciplina, lo cual está muy lejos de la verdad. Por ello concluiremos la sección con una interpretación más compleja de esa historia, representada en la Figura 1. Esta indica las relaciones de dependencia histórico–conceptuales entre algunas teorías evaluativas de bastante influencia en la comunidad internacional de evaluadores hasta comienzos del presente siglo, identificadas por los nombres de sus proponentes (Christie y Alkin, 2008). Se agrupan en tres grandes ramas, y una adicional más pequeña asociada al enfoque tyleriano y sus derivados más modernos. Esta división tripartita responde a las tres grandes dimensiones de cualquier teoría de evaluación, según Christie y Atkin: la atención a los modos en que el uso de los resultados del proceso afecta al evaluando, los métodos empleados en la realización de la evaluación, y las concepciones sobre los valores y los juicios de valor (valuing). Los teóricos difieren entre sí, de acuerdo con estos autores, en el énfasis particular que otorgan a alguno de estas tres dimensiones, a las cuales se refieren como a las “ramas” del “árbol de la evaluación”. Así, pues, sitúan a los teóricos seleccionados sobre la rama que mejor refleja su énfasis primario y, a la vez, una combinación de la historia y de la influencia de unos enfoques sobre otros.

Christie y Alkin justifican cuidadosamente su selección de los teóricos considerados en el árbol en términos de sus aportes en la elaboración progresiva del estado del arte en el campo. Es decir, los diferentes enfoques y modelos serían más bien complementarios, como lo sugiere la metáfora del árbol, sin desconocer las controversias conceptuales y metodológicas entre los teóricos, algunas de fondo; sin embargo, las descalificaciones de los ochenta, los años de la “guerra paradigmática”3, han sido prácticamente superadas. Igualmente, Christie y Alkin explican detenidamente la posición de cada teórico seleccionado en el árbol y los detalles de su estructura, como las subramas que se desprenden de las tres ramas principales. Por último, describen la evolución de su interpretación de la historia del campo tal como se representa en el árbol, desde las primeras versiones recogidas en su libro del 2004, Evaluation roots. Así, pues, el campo de la evaluación sistemática ha ido creciendo y desarrollándose con el paso de los años hasta convertirse en un frondoso árbol con muchas ramas primarias (que podemos asimilar a los enfoques de evaluación) y ramas secundarias (lo que llamaremos modelos metodológicos de evaluación). En la siguiente sección describiremos los grandes enfoques de evaluación que sugiere el árbol de la evaluación de Christie y Alkin, y precisaremos el significado del concepto ‘modelo metodológico de evaluación’ que hemos asumido en el programa de investigación.

Figura 1. El árbol de la evaluación.

Fuente: elaboración propia, a partir de Christie y Alkin, 2008.

3. ENFOQUES Y MODELOS METODOLÓGICOS DE EVALUACIÓN

El término ‘modelo’ es polisémico, incluso en la terminología científica y en la filosofía de las ciencias, dejando de lado sus usos cotidianos. Nos fijaremos en la distinción entre modelos descriptivos y prescriptivos, los primeros integrados en las ciencias teóricas y los segundos en las disciplinas prácticas. Aquellos, como el modelo atómico de Bohr, idealizan y representan parcialmente un fenómeno, sirviendo para hacer predicciones sobre el comportamiento real del objeto modelado en ciertas condiciones. Los modelos prescriptivos tienen el propósito de identificar una solución apropiada a un problema práctico, recomendando un método o modo de actuar para conseguir cierto fin en ciertas circunstancias determinadas. Así, pues, un modelo metodológico de evaluación es un modelo prescriptivo perteneciente a la “caja de herramientas” de los evaluadores. Así, consideramos con Stake (2006, p.74) que “Un modelo [de evaluación] es un método particular de hacer la evaluación. Se supone que ha de ser generalmente válido para situaciones y finalidades diversas”. Ello no significa que sea universalmente el más apropiado para todos los proyectos de evaluación en cualquier circunstancia sino para una cierta familia de tales procesos que comparten características difusamente definidas, o “parecidos familiares”. Tampoco significa que el modelo de evaluación al que recurre el evaluador pueda servirle como una receta: cada situación de evaluación es única, y requiere una adaptación muy diferente de esas guías de trabajo (Stake, 2006, p.76).

Por otra parte, usaremos el término ‘enfoque de evaluación’ para referirnos a una familia de modelos metodológicos de evaluación que comparten unos propósitos similares y una misma filiación paradigmática en las ciencias sociales. Todo científico social asume, explícita o implícitamente, unos supuestos filosóficos de fondo sobre la condición humana, sobre el mundo específicamente social, sobre la naturaleza del conocimiento que podemos llegar a obtener acerca de lo social, sobre cómo podemos adquirir ese conocimiento; sobre las relaciones entre lo social, lo biológico y lo material; sobre los valores, y sobre otros asuntos fundacionales de este orden. La índole filosófica de estos supuestos, de estos sistemas de creencias, significa que no pueden ser demostrados ni refutados empíricamente. En otras palabras, las ciencias sociales son “ciencias de la discusión” (Hoyos y Vargas, 2002), por cuanto sus contenidos substantivos y sus metodologías son indisociables de sus supuestos filosóficos (Goldmann, 1984), a diferencia de las ciencias físico–naturales, pues mientras los objetos de estudio de estas son separables en principio del sujeto cognoscente, en aquellas somos a la vez sujeto y objeto4. Tal carácter explica que las ciencias sociales estén en un permanente estado de “ciencia extraordinaria”, de pluralidad paradigmática (Kuhn, 1975). Entendemos por paradigma, con palabras de Michael Patton (citado por G&L, 1989, p.43), sintetizando las múltiples nociones kuhnianas de este término:

… una visión del mundo, una perspectiva general, un modo de fragmentar la complejidad del mundo real. Como tales, los paradigmas están profundamente arraigados en la socialización de sus adherentes: les dicen qué es importante, legítimo y razonable. Los paradigmas son también normativos: señalan al profesional lo que ha de hacer sin necesidad de prolongadas consideraciones existenciales o epistemológicas5.

En efecto, las ciencias sociales, desde su nacimiento como tales a mediados del siglo XIX, han estado escindidas en dos grandes vertientes o paradigmas (Briones, 2002, p. 43ss; Mardones, 1991, p.27ss y passim). Por una parte, la vertiente positivista (Saint-Simon, Comte, Spencer, Stuart-Mill, Durkheim, etc.), que intenta inspirarse en las ciencias físicas para su búsqueda de la explicación de los fenómenos sociales mediante leyes causales universales obtenidas a través de la medición, la estadística, la experimentación social; por otra parte, la vertiente comprensiva, hermenéutica, interpretativa (Droysen, Dilthey, Simmel, Rickert, Weber, Schütz), que rechaza tal inspiración en las ciencias de lo material:

Tal vez la primera reacción contra la propuesta de construir las ciencias sociales como ciencias explicativas, tomando como modelo para su estructuración y metodología a las ciencias naturales, fue la del filósofo hegeliano Wilhem Dilthey (1833-1911). Para él, las que denomina ciencias del espíritu, como la historia y otras disciplinas que se ocupan de la cultura, deben tener un fundamento epistemológico diferente al que se le da a las ciencias naturales, pues mientras las primeras tratan con significados culturales, las segundas se refieren y estudian hechos externos. Frente a la explicación positivista, como denomina al objetivo final de las ciencias naturales, las ciencias del espíritu deben buscar la comprensión (Verstehen) de las expresiones culturales. Esta comprensión es posible porque el objeto de estudio no es algo externo al hombre, sino que forma parte de su experiencia ya que las realidades espirituales o culturales han sido creadas por el hombre mismo en el curso de la historia. (Briones, 2002, p.57, destacado en el original)

La primera vertiente, que privilegia los métodos cuantitativos, dominó casi indiscutidamente en las ciencias sociales hasta los años ochenta del siglo pasado; es cierto que algunas disciplinas, en especial la antropología cultural, habían desarrollado métodos cualitativos de indagación como la etnografía, pero su cientificidad se consideraba en general menor a la de los métodos cuantitativos (Kerlinger, 2002; Rodríguez, Gil y García, 1996). En los años ochenta se puso en cuestión tal hegemonía metodológica, dando lugar a un debate fundacional en las ciencias sociales tan enconado que Gage lo calificó como guerra paradigmática (cf. nota 3), en cuanto la reivindicación de la cientificidad de las metodologías cualitativas se basó en la recusación de las cuantitativas como modo válido de conocer lo social (Howe y Eisenhart, 1990). Esa guerra dio paso al eclecticismo metodológico, en el cual los disensos en las creencias sobre la naturaleza de lo social y su conocimiento no impiden utilizar, a quienes se sitúan en un paradigma, las herramientas metodológicas específicas del otro, siempre en función de la naturaleza del problema e interpretando los datos obtenidos desde los presupuestos paradigmáticos propios. Por ejemplo, los científicos sociales “postpositivistas” a veces complementan las mediciones de constructos sociométricos o psicométricos con entrevistas o con la observación de los participantes en sus contextos naturales; igualmente, los investigadores interpretativos quizás utilicen cuestionarios cerrados construidos a partir de la información recogida en un estudio de caso para explorar la transferibilidad de los hallazgos a otros escenarios.

En los párrafos previos presentamos implícitamente nuestra posición filosófica sobre la fundamentación paradigmática en las ciencias sociales, en cuanto las hemos caracterizado como ciencias de la discusión por la inseparabilidad entre sujeto y objeto, y en consecuencia las hemos distinguido de las ciencias físicoquímicas y biológicas. Así, pues, nos hemos alineado con la vertiente hermenéutica, aunque asumimos también el eclecticismo metodológico. En el párrafo siguiente desarrollamos un poco nuestros presupuestos ontológicos sobre la naturaleza de lo social y de su conocimiento, justificando de paso tal eclecticismo.

Los vínculos sociales no son de naturaleza física, material. Son ante todo relaciones interpersonales, en primer lugar en el seno de la familia, la comunidad primaria en la que nacemos y nos socializamos, y posteriormente en círculos cada vez más amplios, hasta culminar en “la sociedad”, como se entiende generalmente: la tribu, la nación, etc.; adicionalmente, esos vínculos también están constituidos por los sistemas culturales de significados y normas compartidos en los diversos niveles sociales (Geertz, 2005). Así, pues, lo social como tal no es accesible a los sentidos, aunque tiene algunas manifestaciones conductuales, individuales y colectivas, que sí lo son (A. Schütz, El problema de la realidad social, cit. por Mardones, 1991, p. 275 ss.). Por tal motivo, la sociedad y sus procesos pueden ser considerados, desde la perspectiva de la primera persona, la perspectiva de los sujetos, no una única realidad externa sino una pluralidad de realidades mentales subjetivas que solo pueden ser estudiadas interpretativamente, “desde dentro”. En tal sentido, G&L (1989, p.43) afirman: “El paradigma constructivista… niega la existencia de una realidad objetiva, afirmando en su lugar que las realidades son construcciones sociales de la mente, habiendo tantas construcciones como individuos”6. Pero lo social también puede ser considerado, desde la perspectiva objetivante de la tercera persona, como una realidad parcialmente externa, constituida por las manifestaciones conductuales de los vínculos y las normas sociales, realidad que puede ser estudiada hasta cierto punto con metodologías afines a las de las ciencias naturales. Aunque no es posible asumir las dos perspectivas simultáneamente, se ha de asumir una u otra, según el problema entre manos. Así, pues, la creencia o no en la realidad de lo incognoscible —que para el positivista es lo subjetivo y para el constructivista es la realidad social en sí, el noumeno— están más en el plano de las convicciones filosóficas íntimas del investigador que en el de las técnicas de investigación. Nada impide al científico social afincado en el paradigma interpretativo utilizar las herramientas estadísticas desarrolladas por el científico social positivista para promediar las “conexiones de sentido” que se infieren para una masa [población] de casos, como ya señalaba Weber a comienzos del XX en su clásica obra póstuma, Economía y Sociedad: esbozo de sociología comprensiva (cit. por Mardones, 1991, pp. 249, 254, 258).

La escuela neomarxista de Frankfurt generó un tercer paradigma en ciencias sociales, el paradigma crítico. Considera al científico social ante todo como un militante en la lucha de clases, cuya responsabilidad primordial es desenmascarar las diversas formas de opresión subyacentes en la vida social y ayudar a la emancipación de las oprimidas, a la construcción de una sociedad más justa y equitativa, privilegiando para ello la investigación–acción participativa (Atweh, Kemmis y Weeks, 1998; Elliot, 1993; Grundy, 1998).

Así, pues, cada uno de estos tres paradigmas en las ciencias sociales da lugar a tres enfoques de investigación evaluativa, al que hemos de añadir un cuarto enfoque, no fundamentado en las ciencias sociales propiamente sino en la administración. Esta clasificación de los modelos metodológicos de evaluación (recordemos que un enfoque de evaluación es una familia de tales modelos que comparten una filiación paradigmática) es desarrollada por Greene (1994, 2000). La Tabla 1 presenta nuestra adaptación de la bien conocida tabla 38.1 de Greene (2000)7.

Tabla 1. Enfoques de evaluación (los enfoques se denominan según su marco epistemológico).

¿Qué relación existe entre la clasificación de los teóricos propuesta por Christie y Alkin (2008) en la Figura 1 y los enfoques de evaluación propuestos por Greene? De la discusión que los autores hacen en sus respectivos textos se puede concluir lo siguiente:

• La rama izquierda de la Figura 1, que comprende los modelos orientados a optimizar el uso de los resultados de la evaluación, corresponde plenamente al enfoque pragmático. Se aplica en situaciones de evaluación en las que el papel central del equipo evaluador es contribuir a la construcción de capacidad en la organización implementadora del programa (Stake, 2006, p. 83ss). En consecuencia, ha de trabajar en estrecho contacto con la gerencia, asesorándola en la autoevaluación de los procesos internos de la organización, en la toma de decisiones, etc. De hecho, Shadish et al. (1991) afirman con razón que la teoría de la evaluación de Robert Wholey, uno de los principales representantes de este enfoque, es también una teoría administrativa8.

• El enfoque postpositivista comprende los modelos ubicados en la rama central, que privilegian el método, junto con la teoría de Scriven y sus descendientes (subrama izquierda de la rama derecha, orientada a la valoración). “Los postpositivistas reconocen que toda observación es falible y tiene error. Mientras los positivistas creían que la meta de la ciencia era descubrir la verdad, el postpositivista cree que la meta de la ciencia es intentar medir la verdad, aunque no puede obtenerse” (Christie y Alkin, 2008, p. 134, traducción y cursivas nuestras). Pese a las diferencias respecto a los riesgos de subjetividad inherentes a los juicios valorativos entre, por una parte, Campbell y sus descendientes —los teóricos en la rama central—, con Scriven, por la otra, ambas corrientes comparten el recurso a los métodos de las ciencias sociales cuantitativas como el principal componente de la caja de herramientas del evaluador. Por lo demás, es importante anotar que este enfoque está primordialmente al servicio de los altos responsables de la construcción y la implementación de las políticas públicas dirigidas a incrementar el bienestar de la población mediante la mitigación de los problemas sociales9.

• La evaluación constructivista de G&L (1989) enfatiza la necesidad de acomodar la pluralidad de valores en las sociedades democráticas al plantear y ejecutar toda evaluación, como desarrollamos en el cap. 3. Para lograr tal acomodación propone una metodología hermenéutico-dialéctica, derivada del paradigma interpretativo, figurando en la base de la rama derecha (Figura 1). También asume los ideales de justicia social y equidad del enfoque crítico, denunciando la tendencia a la colusión entre el evaluador y el “cliente”, la entidad contratante de la evaluación, en perjuicio de las partes interesadas (stakeholders) desprovistas de poder.

•Christie y Alkin (2008) sitúan a Robert Stake a modo de puente entre el enfoque interpretativo y el postpositivista, uniendo las dos grandes subramas de la rama derecha. En efecto, la teoría de Stake en su última versión (2004, 2006) conjuga el análisis de variables descriptivas (o el ‘pensamiento basado en criterios y estándares’) y el conocimiento de los actores experiencial, personal y situado. Por ello complementa la metodología hermenéutico–dialéctica.

• Los trabajos de House, y en especial el modelo de House y Howe, así como los otros modelos más recientes en la subrama derecha de la rama derecha, o de los enfoques orientados al valor de la Figura 1, tipifican el enfoque crítico, que concibe el papel del evaluador ante todo como un abogado de las causas sociales y de defensa de los desprotegidos.

Cualquier intento medianamente comprensivo de exponer los modelos más influyentes en este floreciente campo demandaría una enciclopedia, pues cada uno de los autores seleccionados por Christie y Alkin (2008) ha dedicado su carrera, con una gran producción de libros y artículos especializados, a la elaboración, la aplicación y la difusión de sus respectivas propuestas teórico-prácticas. Aunque naturalmente la revisión bibliográfica efectuada en el programa de investigación no abarca todo ese gran volumen de literatura primaria, la que hemos podido abarcar nos permite llegar a unas conclusiones analíticas sobre lo que tienen en común todos los modelos de evaluación de programas, que procedemos a exponer.

4. HACIA UNA CONCEPTUALIZACIÓN COMPREHENSIVA DE LA INVESTIGACIÓN EVALUATIVA

En el epígrafe del capítulo destacamos la confusión que existe en torno al concepto de investigación evaluativa. Para cerrar esta visión panorámica intentaremos sistematizarlo y aclararlo analíticamente a partir de la definición propuesta por las dos primeras ediciones de las normas del Joint Committee presentada en la primera sección del capítulo. El propósito no es proponer una nueva definición sino explicitar los elementos contenidos en esa definición clásica, integrando otros elementos que nos parecen fundamentales para comprender las funciones sociales y los componentes esenciales de las acciones evaluativas, sea cual sea el contexto en el que se realizan, los propósitos particulares que se persigan y el enfoque teórico asumido en ellas.

Partiremos de las dos grandes funciones político–sociales cuya realización compete actualmente a la investigación evaluativa:

i) Contribuir a la construcción y la implementación de las políticas sociales a gran escala.

ii) Ayudar a la acción social en pequeña escala, quizás sin depender de la autoridad política; por ejemplo, contribuir a mejorar la calidad de vida de una comunidad o la calidad académica de una institución educativa.

La evaluación de programas sociales emergió en los años sesenta como una dimensión esencial del complejísimo proceso político-gubernamental de atender a los problemas sociales (primera función). Ese proceso se puede concebir, idealmente, como la siguiente “sucesión” de acciones entrelazadas no linealmente (cfr. Shadish et al, 1991, pp. 21-22):

1.identificar un problema socialimportante que requiera la intervención del Estado para su mitigación y justifique una inversión significativa de sus recursos;

2.teorizar acerca de lo que se puede hacer al respecto, a partir de las presuntas relaciones causales entre: los elementos del problema, posibles acciones de intervención, y posibles efectos de esas acciones —directos e indirectos— sobre la población directamente implicada y sobre la sociedad en conjunto;

3.diseñar y seleccionar una o varias alternativas de programas sociales para atender el problema (conjuntos organizados de acciones de intervención);

4.implementar una o varias de esas alternativas, probablemente en forma piloto;

5.evaluar los efectos de los programas implementados, para intentar ‘percibir’ de la manera más fidedigna posible hasta qué punto el problema mejora o se reducen sus síntomas, para comparar las alternativas estudiadas, etc.;

6.tomar decisiones administrativas o políticas