Evaluation methodological approach

.

¿Cuál es su finalidad?

Se trata de establecer el método que permitirá al equipo de evaluación externo responder a las preguntas y llegar a un juicio global. El método de evaluación incluye la selección de las preguntas, los criterios de juicio, los indicadores y los niveles objetivo, así como:

• una estrategia de recopilación y análisis de los datos
• los campos seleccionados para los estudios
• una serie de herramientas específicamente desarrolladas
• un plan de trabajo.

El equipo de evaluación comienza a diseñar un método provisional a partir del momento en que redacta su propuesta para efectuar una estimación de los costes. En esta fase hay una hipótesis clave, consiste en estimar hasta qué punto la evaluación podrá apoyarse en datos secundarios y en qué medida requerirá trabajos específicos de recopilación de información sobre el terreno.

Las líneas principales del método se trazan durante la etapa inicial, en función de las preguntas de evaluación, de los criterios de juicio, de los indicadores, de las herramientas de recopilación de datos y de la estrategia de análisis.

El método se perfecciona y completa antes de la fase de terreno, y se describe en su totalidad en el informe de primera fase (desk).

El informe final incluye una presentación corta y precisa del método de evaluación, así como sus límites, si procede. El método se describe de forma detallada en el anexo, incluyendo el diseño inicial, las soluciones a los problemas encontrados, el método realmente aplicado y sus límites.

El método de evaluación se diseña según un proceso iterativo a tres niveles:

• Un enfoque pregunta por pregunta que permite que el equipo de evaluación prepare las tablas de diseño con vistas a aportar una respuesta adecuada a cada una de las preguntas.
• Un enfoque global que abarca todas las preguntas y que permite al equipo de evaluación optimizar su método en conjunto, respetando las limitaciones de tiempo y de recursos.
• Una serie de herramientas desarrolladas de forma específica.

.

.

¿En qué consiste?

La tabla de diseño muestra cómo se va a responder a una pregunta de evaluación, incluida la secuencia de razonamiento que debe relacionar los datos, constataciones y conclusiones.

¿Cuándo se elabora?

Se elabora una tabla de diseño para cada una de las preguntas, que se va perfeccionando progresivamente en versiones sucesivas:

• Versión preliminar incluida en el informe inicial.
• Versión(es) provisional(es) preparada(s) durante la primera etapa de la evaluación, hasta que el diseño metodológico sea progresivamente optimizado.
• Versión final incluida en el informe de primera fase (desk).

Contenido de la tablaEn las primeras filas de la tabla se resumen las etapas que ya se han realizado (véase de la pregunta al indicador), es decir:

• Texto de la pregunta.
• Comentario.
• Campo de la pregunta
• Criterios de juicio
• Indicadores
• Niveles objetivo

Subpreguntas¿En qué consisten?

Junto con los criterios de juicio, los indicadores y los niveles objetivo, las subpreguntas deben explicar cómo responderá el equipo de evaluación a una pregunta, por ejemplo:

• ¿Cómo han evolucionado los indicadores a lo largo del período evaluado?
• ¿En qué medida puede calificarse de éxito el cambio?
• ¿Hasta qué punto contribuyen las actividades de la CE a explicar el cambio observado? ¿Mediante qué mecanismos? ¿Hay elementos que prueben que dichos mecanismos han funcionado como se supone que lo han hecho?
• ¿Hasta qué punto hay elementos de prueba en favor de informaciones alternativas? ¿Hay indicios de que el cambio observado se deba a otros socios donantes, a otras políticas de la CE, al Gobierno o a otros factores externos?

¿Qué hace cada uno, y cuándo?

En la etapa inicial se elaboran una serie de preguntas de evaluación, junto con las subpreguntas. 

Las responsabilidades se reparten de la siguiente forma:

• El grupo de referencia valida las preguntas.
• El equipo de evaluación detalla cada pregunta con subpreguntas en una tabla de diseño.

¿Cuál es su finalidad?

Las subpreguntas describen la secuencia de razonamiento mediante la que el equipo de evaluación pretende responder a la pregunta. El razonamiento previsto es indicativo, pero merece la pena aclararlo bien de entrada porque:

• Los miembros del grupo de referencia tienen así la ocasión de aportar opiniones y contribuciones específicas.
• Todos los miembros del equipo de evaluación comprenden el porqué de la recopilación y tratamiento de la información, lo que aumenta la eficacia de su labor.
• Los miembros del equipo poco familiarizados con la evaluación reciben consejos útiles sobre los datos que deben recopilarse y tratarse.

Además, puede ser interesante realizar subpreguntas provisionales, mientras se realiza el esbozo de las preguntas clave. Los miembros del grupo de referencia descubrirán que muchas de sus expectativas se satisfacen respondiendo a estas subpreguntas, lo que les ayudará a aceptar la idea de una lista limitada de preguntas de evaluación precisas. 

Subpreguntas relativas a los indicadores

Estas subpreguntas pueden referirse a:
(1) el nivel o el estado actual de los indicadores, potencialmente desglosados por país, zona, grupo social, etc. Por ejemplo:

• ¿Cuál es el valor actual del indicador cuantitativo X en el ámbito nacional? ¿Y para las zonas /grupos objetivo?

(2) los cambios en los indicadores. Por ejemplo:

• ¿Han notado las partes interesadas un cambio positivo en el indicador cualitativo Y durante el período evaluado?

Como se observa en estos dos ejemplos, las subpreguntas pueden ser de tipo cuantitativo o de tipo cualitativo.

Pregunta:

• ¿En qué medida la ayuda de la CE ha mejorado la capacidad del sistema educativo para incorporar a alumnos de grupos desfavorecidos sin discriminación?

Subpregunta:

• ¿Cómo ha evolucionado el número de profesores experimentados y cualificados para cada 1.000 niños en edad de escolarización primaria, a nivel nacional, en las zonas urbanas pobres y en las zonas donde se encuentra concentrada la minoría étnica X, respectivamente?

En este ejemplo, la subpregunta sólo se realiza para ver cómo se va a aplicar el indicador (número de profesores cualificados y experimentados).

Subpreguntas relativas al análisis

La finalidad de estas subpreguntas es:
(3) confirmar las hipótesis sobre el éxito de la intervención y justificar una respuesta positiva a una pregunta. Por ejemplo:

• ¿El plan de ayuda de la CE incluye el compromiso de hacer el seguimiento de indicadores de desempeño relativos al efecto X?
• ¿Se ha realizado dicho seguimiento?
• ¿Se han comentado los datos relativos al seguimiento con los socios donantes de forma periódica?
• ¿Han adoptado medidas los socios donantes a raíz de estas conversaciones?
• ¿El objetivo de estas medidas era la obtención del efecto X?
• Etc.

(4) poner en tela de juicio las hipótesis sobre el éxito de la intervención y justificar una respuesta negativa a la pregunta. Por ejemplo:

• ¿Hay otros socios donantes que hayan actuado en favor de un seguimiento de los indicadores de desempeño relativos al efecto X?
• ¿Los actores no gubernamentales han contribuido a priorizar el tema de la consecución del efecto X en el debate público?
• ¿Hasta qué punto han contribuido los socios donantes a potenciar las acciones en favor de los grupos desfavorecidos?

Pregunta:

• ¿En qué medida la ayuda de la CE ha mejorado la capacidad de las autoridades locales para crear estrategias adecuadas de desarrollo rural?

Subpregunta:

• ¿En qué medida la CE ha logrado establecer la descentralización como una prioridad en su diálogo político con el Gobierno?

En este ejemplo, la subpregunta corresponde a un resultado específico a corto plazo (potenciación de la descentralización a través del diálogo político), que abre el camino para obtener el impacto en el que se centra la pregunta (refuerzo de las capacidades). 

Subpreguntas relativas al juicio

Estas subpreguntas están destinadas a contribuir a la formulación de conclusiones con juicios de valor explícitos. Su finalidad es: 

(5) aplicar y ajustar los criterios de juicio en el contexto específico de la intervención. Por ejemplo:

• ¿Se remiten de forma espontánea las partes interesadas a los mismos criterios de juicio que los elegidos para la evaluación? De no ser así, ¿por qué motivo?

(6) aplicar o desarrollar niveles objetivo en el contexto específico de la intervención. Por ejemplo:

• ¿Qué territorios /grupos presentan un mejor desempeño en el país respecto de los criterios de juicio seleccionados? Entre ellos, ¿cuáles pueden ser legítimamente comparados con los territorios /grupos objetivo?

• Subpreguntas relativas a un juicio

Pregunta:

• ¿En qué medida ha sido eficaz la ayuda de la CE en lo que respecta a la mejora de la red vial?

Subpregunta:

• ¿En qué medida ha mejorado la CE la red vial?

En este ejemplo, la subpregunta corresponde a una condición previa (la red vial se mejora) antes de aplicar el criterio de juicio (eficacia en la mejora de la red vial).

Estrategia de análisis

Pueden adoptarse cuatro estrategias:

• Análisis del cambio, que compara los indicadores medidos/calificados en el tiempo y en relación con los niveles objetivo.
• Meta-análisis, que extrapola los resultados de otras evaluaciones o estudios tras haber comprobado rigurosamente su validez y posibilidad de transferencia.
• Análisis de atribución, que compara los cambios observados con un escenario "sin intervención", también denominado escenario contrafactual.
• Análisis de contribución, que confirma o invalida supuestos causales partiendo de una cadena o secuencia de razonamientos.

Las tres últimas estrategias resultan adecuadas para las preguntas que requieren un análisis de causalidad. En cuanto a la primera, puede aplicarse en el resto de los casos.

Áreas de investigación

El equipo de evaluación puede querer recopilar y tratar los datos relativos a la intervención en su conjunto o estudiar de forma más específica determinadas áreas, por ejemplo:

• Cada una de las subpreguntas se estudia por países e incluye una visita a cada uno de ellos, así como una nota por país.
• Además de emplear estadísticas de ámbito nacional, el equipo de evaluación estudia una selección de distritos representativos respectivamente (a) del grupo/territorio objetivo y (b) de los grupos/territorios con mejor desempeño.
• El equipo de evaluación elige cuidadosamente diez proyectos que serán objeto de una investigación detallada para poder trabajar algunas de las subpreguntas.

Ejemplo

.

.

¿Cuál es su finalidad?

Se trata de completar totalmente el método de evaluación para responder a las preguntas de evaluación y disponer de una buena combinación de herramientas de evaluación, teniendo en cuenta el tiempo y los recursos disponibles.

El método de evaluación se diseña a partir de un proceso iterativo a tres niveles:

• Un enfoque pregunta por pregunta que permite que el equipo de evaluación prepare las tablas de diseño con vistas a aportar una respuesta adecuada a cada una de las preguntas.
• Un enfoque global que abarca todas las preguntas y que permite al equipo de evaluación optimizar su método en conjunto, respetando las limitaciones de tiempo y de recursos.
• Una serie de herramientas desarrolladas de forma específica.

Es posible que sea necesario realizar varias iteraciones para que el equipo de evaluación optimice el diseño global, al tiempo que garantice la máxima calidad para cada una de las preguntas.

Paralelamente a la realización de las tablas de diseño establecidas pregunta por pregunta, el equipo de evaluación confecciona su método de evaluación de forma global abarcando todas las preguntas e incluyendo un determinado número de herramientas, tales como:

• El análisis documental de una serie de informes.
• Un análisis de los indicadores de contexto.
• Una serie de entrevistas con una categoría determinada de las partes interesadas.
• Un cuestionario.
• Una serie de estudios de caso.
• Una serie de focus groups o de reuniones participativas.
• Un panel de expertos.
• La construcción y el tratamiento de una base de datos ad hoc.

Estos ejemplos son flexibles. Si procede, el equipo de evaluación puede incluso desarrollar una herramienta totalmente nueva.

El equipo de evaluación establece la lista de herramientas de evaluación previstas en las tablas de diseño. Cada herramienta se considera entonces en función de su capacidad para ayudar a responder a varias preguntas y subpreguntas, por ejemplo:

• Una serie de entrevistas con los agentes gubernamentales; esta herramienta puede ayudar a responder preguntas sobre "la consonancia de la estrategia de la CE con las prioridades del Gobierno", el "diálogo en los principales ámbitos" y la "coordinación entre socios donantes".
• Un focus group que reúna a los participantes implicados en la educación primaria; esta herramienta puede ayudar a responder a las preguntas que se planteen sobre "la eficiencia de las modalidades de financiación escogidas", la "integración de la igualdad entre los hombres y las mujeres" y la "mejora del acceso a la educación básica para los más pobres".

La imagen de este proceso se puede observar a través de la matriz que figura a continuación, en la que la primera herramienta ayuda a responder a las subpreguntas Aa, Cf y Eb, etc.

De este gráfico se desprende que el juego de herramientas proporcionará al equipo de evaluación la posibilidad de cruzar los datos para las subpreguntas Aa y Eb. Las herramientas y las preguntas se combinan para optimizar las posibilidades de cruce.

La función de este gráfico es meramente explicativa. En la práctica, la utilización de una matriz no es factible si existen más de 12 herramientas y/o subpreguntas, algo que suele suceder en el caso de la evaluación de una estrategia país. El enfoque pragmático consiste en establecer la lista de las preguntas y subpreguntas tratadas en el momento de desarrollar cada herramienta. En este sitio web puede consultarse un ejemplo de ello.

El equipo de evaluación confirma que cada una de las herramientas previstas resulta adecuada, en el sentido de que:

• Cumple la función que le corresponde. Por ejemplo: el focus group es adecuado para recopilar las opiniones de los beneficiarios; el estudio de caso es adecuado para entender los mecanismos de causalidad; las entrevistas son adecuadas para reunir los puntos de vista de los agentes de las instituciones colaboradoras, etc.
• Está en consonancia con la estrategia de análisis escogida. Por ejemplo: una serie de estudios de casos resulta adecuada para un análisis de contribución; un cuestionario remitido a los beneficiarios y no beneficiarios resulta muy adecuado para un análisis de atribución; un panel de expertos resulta apropiado en caso de meta-análisis, etc.
• Se adapta a las limitaciones que se hayan identificado. Por ejemplo: una encuesta de cuestionario sólo resulta adecuada si se dispone de una muestra satisfactoria; una base de datos sólo se puede procesar si la cantidad de datos que faltan es limitada.

El equipo de evaluación explica y justifica las principales decisiones técnicas que ha adoptado, así como las opciones alternativas, sus ventajas e inconvenientes y los riesgos asociados.

El equipo de evaluación valora si las herramientas escogidas pueden reforzarse mutuamente, por ejemplo:

• Una serie de entrevistas puede ayudar a identificar los documentos apropiados con vistas a un análisis documental.
• Una serie de entrevistas puede ayudar a seleccionar a las partes interesadas que deban participar en un focus group y las cuestiones que se deban discutir.
• Una serie de entrevistas puede ayudar a perfeccionar las preguntas que se van a plantear a una muestra de beneficiarios.
• Una serie de monografías de estudio de caso puede ser sometida a examen por parte de un panel de expertos con vistas a reforzar el análisis y obtener constataciones más precisas.

Durante el proceso de optimización progresiva del diseño, el equipo de evaluación valora de forma transversal todas las tablas de diseño con vistas a preparar una síntesis final, es decir, un juicio global derivado de las respuestas a todas las preguntas de evaluación.

El juicio global es más que una simple compilación de constataciones y conclusiones. Puede llevar implícitos unos análisis específicos que merece la pena preparar con antelación, como por ejemplo:

• Identificar temas específicos (por ejemplo, el diálogo político con el Gobierno del país socio, descentralización de los procedimientos de la CE, etc.) y definir subpreguntas adecuadas para insertarlas en varias tablas de diseño.
• En caso de que las preguntas seleccionadas, las subpreguntas o las herramientas dejen una parte de la ayuda sin cubrir, se pueden añadir algunos estudios para disponer de una visión más completa del sistema de ayuda (por ejemplo meta-análisis de los informes de seguimiento). Con este fin, se puede realizar también un análisis global de las bases de datos de gestión.

Al diseñar su método, el equipo de evaluación trata de distribuir sus recursos limitados de forma adecuada entre las preguntas y las subpreguntas. Algunas preguntas merecen ser tratadas con herramientas costosas, tales como una encuesta de cuestionario a los usuarios finales, varios estudios de caso, un focus group, etc., mientras que para otras bastará un simple análisis documental y algunas entrevistas en la CE y el Gobierno.

La necesidad de credibilidad es una de las razones por las cuales una pregunta merece recibir más recursos. Si la pregunta se considera como políticamente sensible y si la respuesta puede dar lugar a discusiones agitadas, se deberá partir de un diseño más consistente con más cruces entre las diversas fuentes, mayores tamaños de muestras, varios focus groups o estudios de caso, etc.

También resulta razonable destinar recursos sustanciales a una cuestión que plantea problemas de factibilidad. Los siguientes ejemplos ilustran las dificultades específicas que justifican un diseño especialmente consistente:

• Una pregunta está relacionada con un aspecto innovador de la intervención en un sector en el que el nivel de experiencia es escaso.
• Una pregunta está relacionada con un componente de la intervención que acaba de afectar a los usuarios finales a nivel de terreno y los actores encargados de la aplicación de dicha intervención no conocen en absoluto la posible reacción de las personas a las que va dirigida.
• Una pregunta está relacionada con un impacto lejano que presenta una gran distancia lógica con las actividades de la CE y numerosos factores externos hacen que resulte difícil examinar las relaciones de causalidad.

Es poco frecuente que una pregunta no se pueda evaluar de ningún modo. Los problemas de factibilidad provienen más bien de una acumulación de dificultades y de limitaciones. Al principio de la evaluación, es frecuente que se pueda enmendar una pregunta difícil para hacerla más evaluable. Esto puede hacerse, por ejemplo, limitando el ámbito de la pregunta o aplicándolo a un efecto menos alejado o a un efecto probable si el efecto real todavía no resulta observable. Una vez se ha validado la pregunta, el equipo de evaluación debe diseñar un método apropiado y destinarle los recursos adecuados.

El equipo de evaluación diseña sucesivas versiones del método que hay que seguir, hasta que se contemplen los siguientes condicionantes:

• Que la implementación de las herramientas de evaluación se ajuste al calendario del proceso de evaluación.
• Que el coste de las herramientas de evaluación (recursos humanos, costes técnicos, gastos de desplazamiento y de estancia) se ajuste al presupuesto global de la evaluación.
• Que se cuente con una fuerza de trabajo cualificada suficiente para implementar las herramientas de evaluación de forma profesional.

.

.

¿Por qué se necesitan herramientas?

Las herramientas de evaluación se utilizan para recopilar datos primarios y secundarios, para analizar la información y para emitir juicios de valor (o valoración razonada). El equipo de evaluación externo puede realizar algunas de estas tareas sin el uso de herramientas; sin embargo, hay diversas herramientas que son necesarias para responder a las distintas preguntas de evaluación.

La gama de herramientas existente es amplia: desde las más sencillas y habituales, como por ejemplo los extractos de bases de datos, los análisis documentales, las entrevistas o los desplazamientos sobre el terreno, hasta las más técnicas, como por ejemplo los focus groups, la modelización o los análisis coste-ventajas. En este sitio web se describen una serie de herramientas de uso frecuente.

Mediante la combinación apropiada de varias herramientas, el equipo de evaluación consolida la base factual de su trabajo, la fiabilidad de los datos, la validez de sus razonamientos y la credibilidad de sus conclusiones.

Las herramientas se eligen durante el proceso iterativo de diseño global del método de evaluación con vistas a:

• Ayudar a responder todas las preguntas y subpreguntas, así como a emitir un juicio global.
• Obtener/recopilar datos, ayudar a analizarlos y a emitir juicios de valor (o valoración razonada).
• Facilitar el cruce de datos y su triangulación.
• Lograr la combinación de herramientas adecuada para que éstas se refuercen entre sí.
• Respetar los condicionantes relativos al contexto, como la disponibilidad de expertos, datos, recursos o calendario.

Todas las herramientas de evaluación se desarrollan de forma progresiva, y se finalizan antes del inicio de la fase de terreno. Hay que señalar que algunas de ellas deben aplicarse, y por lo tanto desarrollarse, en la primera etapa del proceso, como por ejemplo las entrevistas con las principales partes interesadas en la etapa inicial, el análisis de las bases de datos de gestión en la fase documental, etc.

Mientras que el conjunto de las herramientas de evaluación debe seleccionarse en función del diseño global de la evaluación, cada una de las herramientas en sí debe desarrollarse por separado. En este sitio web puede consultarse un ejemplo concreto del desarrollo de una herramienta.

La herramienta de evaluación puede describirse en unas pocas líneas en el informe inicial o en el informe de primera fase (desk). Sin embargo, hay veces en que su formalización debe ser mayor, incluso como términos de referencia debidamente presentados, especialmente cuando varios miembros del equipo de evaluación trabajan por separado (por ejemplo si el trabajo se realiza simultáneamente en países distintos o si se subcontrata la herramienta).

El desarrollo de una herramienta consta de las siete etapas siguientes:

El equipo de evaluación elabora una lista de las preguntas y subpreguntas relativas a la herramienta en cuestión. Toma como referencia las tablas de diseño.

El equipo de evaluación define las características técnicas de la herramienta durante una etapa preparatoria. Estas características dependerán del tipo de herramienta, y pueden abarcar temas como:

• El muestreo, la selección de las entrevistas, de los estudios de caso, de los documentos, etc.
• Las preguntas, los temas de un análisis documental, el contenido de las monografías, los campos de una base de datos, etc.
• Las modalidades de aplicación.
• La duración de las entrevistas, de los focus groups, de las visitas, etc.

¡Atención! - Al elaborar un cuestionario o un modelo de entrevista, el equipo de evaluación no debe limitarse a copiar-pegar las subpreguntas. Si las preguntas y subpreguntas se realizan sin ningún tipo de control y atención a los informantes, los riesgos de sesgos serán considerables.

El equipo de evaluación se encarga también de identificar y valorar los principales riesgos relacionados con la recopilación y el análisis de los datos, así como los potenciales sesgos. Si es necesario, incluso prepara soluciones alternativas en caso de que la herramienta no pueda utilizarse de forma satisfactoria. A continuación se indican algunos ejemplos de posibles riesgos vinculados al empleo de algunas herramientas de evaluación, así como ejemplos de soluciones alternativas:

• Dada una base de datos X, si transcurridas 4 semanas falta más del 20% de los datos, analizar los datos disponibles y solicitar al experto Y que opine sobre la validez de las constataciones.
• Dada una serie de entrevistas X, si transcurridas 3 semanas no puede contactarse con más de un 30% de los interlocutores, proceder a recopilar información de "segunda mano" a través del experto Y.
• Dado un cuestionario X, si el número de respuestas disminuye a menos de 200, organizar un focus group y cruzar los resultados con los de la encuesta de cuestionario.

Evidentemente, esta lista es ampliable.

Las fórmulas varían de una herramienta a otra. La información puede volcarse en tablas, listas de citas o transcripciones literales, monografías, etc. El equipo de evaluación puede decidir la forma que debe tomar el informe, por ejemplo:

• Datos completos entregados al coordinador del equipo de evaluación.
• Datos completos incluidos en un CD-ROM adjunto al informe final (en este caso, puede que haya que prestar atención para mantener el anonimato de determinados documentos).
• Tablas o cuadros para incluir en el informe final.

El equipo de evaluación también decide la forma de presentar la puesta en práctica de la herramienta y sus limitaciones en caso de que las haya, por ejemplo:

• Nota para incluir en el anexo metodológico del informe final.
• Breve comentario metodológico para incluir en el informe final.

Las distintas funciones y tareas que hay que realizar se distribuyen entre los miembros del equipo de evaluación, por ejemplo:

• ¿Quién se encarga de la ejecución de la herramienta?
• ¿Quién se encarga de unificar y coordinar si diversos miembros del equipo aplican una misma herramienta en países/territorios distintos?
• ¿Quién se encarga de optar por soluciones alternativas en caso de dificultades de aplicación?
• ¿Quién se encarga de entregar los informes?
• ¿Quién se encarga de escribir los comentarios metodológicos?
• ¿Quién se encarga de garantizar la calidad?

Los criterios de calidad deben definirse de forma precisa. Según las herramientas, pueden abarcar los siguientes temas:

• Cobertura de temas o preguntas.
• Precisión.
• Identificación de potenciales sesgos o distorsiones.
• Respeto a las normas de anonimato u otras normas éticas.
• Calidad formal, lengua, ortografía, formatos.

En este sitio web se propone una serie de listas de control para el control de calidad de las herramientas de uso más frecuente.

En algunos casos puede resultar necesario especificar una serie de condiciones de tipo práctico, como por ejemplo:

• Fecha de inicio/final.
• Recursos humanos disponibles.
• Posibilidades y modos de desplazamiento.
• Gastos técnicos.

.

.

¿En qué consiste?

Algunas preguntas son de fácil respuesta, mientras que otras pueden presentar problemas de evaluabilidad. Así pues, es necesario valorar desde el principio el grado de factibilidad de las preguntas de evaluación.

¿Cuál es su finalidad?

• Garantizar que la evaluación aporte respuestas sólidas y creíbles a las preguntas planteadas.
• Eliminar o modificar las preguntas a las que es demasiado difícil responder.
• Adaptar el tiempo disponible y los demás recursos en caso de que sea necesario responder a preguntas complejas.

¿Qué debe tenerse en cuenta?

Para establecer la evaluabilidad de una pregunta, hay que comprobar:

• Que los conceptos sean estables (¿todos comprenden los principales términos de la cuestión de la misma forma?).
• Si pueden identificarse las hipótesis explicativas (¿cuáles son los factores externos y los supuestos causales?).
• Si el acceso al terreno y la recopilación de datos comportan dificultades importantes.

¿Cuáles son los límites más habituales?Una actividad muy innovadora

Si la pregunta corresponde a una herramienta, actividad o proceso innovadores, pueden surgir las siguientes dificultades:

• Puede resultar difícil definir los términos de la cuestión sin ambigüedades.
• Los conocimientos para comprender los mecanismos de causalidad pueden ser insuficientes.

Una actividad muy reciente

Si la pregunta corresponde a una actividad ejecutada recientemente:

• Es posible que dicha actividad todavía no haya producido efectos observables.
• Puede que las personas entrevistadas no se hayan formado todavía opiniones sólidas.

Deficiencias en la gestión

Si la pregunta corresponde a actividades en las que hay o ha habido deficiencias de gestión, pueden surgir las siguientes dificultades:

• Los datos e informes de seguimiento pueden ser inapropiados o poco fiables.
• Las dificultades en la gestión pueden haber generado conflictos que limiten el acceso a determinados informadores o que distorsionen sus respuestas.

Si existe una fuerte sospecha de prácticas ilícitas o ilegales, es preferible posponer la evaluación e iniciar una auditoría.

Un campo demasiado complejo

Si la pregunta corresponde a un campo multidimensional o multisectorial, pueden surgir las siguientes dificultades:

• Puede que, en relación con el tiempo y el presupuesto disponibles, haya demasiados datos que recopilar, personas que contactar y análisis que realizar.

Un impacto lejano

Si la pregunta corresponde a un impacto lejano vinculado a la actividad evaluada por una larga cadena de causalidad, pueden surgir las siguientes dificultades:

• Puede que haya muchos factores externos y con tanta influencia que se haga imposible analizar la contribución de la intervención.

Una intervención demasiado marginal

Si la pregunta corresponde a una actividad de muy poca envergadura en relación con otras políticas vecinas o con el propio contexto, pueden surgir las siguientes dificultades:

• Puede que la actividad evaluada no abarque a la masa crítica que permitiría analizar su contribución.

Recomendaciones

De forma absoluta, una pregunta es raramente inevaluable. La dificultad en responder a una pregunta de evaluación suele derivar de una acumulación de dificultades y limitaciones.

Cuando una pregunta se considera demasiado difícil, puede modificarse para facilitar su evaluación. Esto puede hacerse, por ejemplo, limitando el campo de la pregunta o aplicándola a un efecto menos lejano o a un efecto probable en caso de que el efecto real no sea todavía observable. Esta opción se consideraría preferible al abandono de la pregunta.

Los decisores políticos o cualquier otro actor pueden pedir con insistencia que se responda a una pregunta manifiestamente demasiado difícil. En ese caso, resulta útil proporcionar una explicación completa de las dificultades y mostrar que las evaluaciones tienen ciertos límites y no pueden responder a todas las preguntas.

.