Términos de referencia para la Evaluación Intermedia del
Proyecto
Agua y Suelo para la Agricultura 2
Especialista en procesamiento y análisis estadístico de datos cuantitativos
Catholic Relief Services
Plataforma de Restauración de Tierras
Agua y Suelo para la Agricultura | ASA
Oficina Regional de América Latina y El Caribe | LACRO
Introducción
Catholic Relief Services-CRS, es la agencia oficial de la comunidad católica de los Estados Unidos para ayuda humanitaria y el desarrollo internacional. CRS desarrolla sus actividades en diferentes regiones alrededor del mundo, y administra su trabajo en Latinoamérica y el Caribe a través de su oficina regional para Latinoamérica y el Caribe (LACRO por sus siglas en inglés).
Actualmente, CRS implementa en LACRO la Plataforma de Restauración de Tierras – Agua y Suelo para la Agricultura (en adelante llamado "Plataforma ASA"), y a partir de junio de 2022, como parte de la estrategia de implementación de la Plataforma ASA, se inicia el proyecto Agua y Suelo para la Agricultura 2 / ASA2, que tiene intervenciones en Guatemala, Honduras, Nicaragua y Oaxaca, México, a través de los socios locales.
ASA2 busca contribuir a que los productores, emprendedores y profesionales agrícolas actuales y de la próxima generación en Centroamérica restauran los recursos del suelo y el agua, logran una producción resiliente, transforman los productos agrícolas para los mercados y crean oportunidades de negocios orientadas al mercado, al tiempo que contribuyen a reducir la migración rural.
El proyecto se encuentra en el año tres de seis de implementación, por lo que se requiere realizar una evaluación intermedia que permita determinar el avance en los indicadores del marco de resultados; así como, conocer el alcance en la implementación de la teoría de cambio, e identificar limitantes y aprendizajes que han sido parte de las intervenciones desarrolladas. Con dichos insumos, la dirección del proyecto puede identificar ajustes que sean necesario implementar para el siguiente periodo de ejecución.
Antecedentes
ASA2 surgió como una oportunidad para confrontar y explorar nuevos enfoques de abordaje ante cuatro desafíos que crecían cada día y más, reflejando la necesidad de ampliar las soluciones de ASA a más productores, a sus sistemas agrícolas completos y responder a problemas que requerían una atención de mayor prioridad:
El cambio climático socavando la restauración del suelo y exacerbando la vulnerabilidad rural, y el calentamiento global se está extendiendo en el Corredor Seco de Centroamérica hacia el norte.
Los bajos ingresos prevaleciendo en las fincas pequeñas.
Éxodo de jóvenes y adultos jóvenes de la agricultura, y la migración económica como respuesta a la falta de oportunidades y dificultades en el hogar.
Una pandemia mundial del COVID-19 que impidió brindar extensión agrícola y apoyo técnico a las comunidades agrícolas de forma presencial.
La necesidad de alcanzar escala conllevó al uso de herramientas ICT4D que permitiesen masificar el conocimiento y ponerlo al alcance de los agricultores
Es el enfoque agrícola insignia de CRS LACRO para enfrentar simultáneamente los desafíos de la degradación de la tierra, la sequía, las lluvias erráticas, la baja productividad agrícola y la pobreza en América Central. Las prácticas de ASA restauran la salud y la fertilidad del suelo, al mismo tiempo que maximizan la captura de agua de lluvia, aumentan la retención de humedad en el suelo y reducen la escorrentía y la erosión. La restauración del suelo y el agua aumenta sustancialmente los rendimientos, produciendo más alimentos con la misma cantidad de agua, una ventaja crítica a medida que las precipitaciones se vuelven más erráticas.
La Plataforma ASA estableció sus cimientos a través de la implementación del proyecto de Agua y Suelo para la Agricultura (ASA), incluida la evidencia generada en 3,000 parcelas de demostración en fincas que muestran cómo las prácticas ASA aumentan significativamente los rendimientos y la salud del suelo, especialmente durante la sequía. A fines de 2020, CRS desarrolló una estrategia para escalar las prácticas ASA a través de escalamiento basada en el desarrollo de alianzas, el fortalecimiento de capacidades del recurso humano, y la generación de evidencia sobre la efectividad de las prácticas promovidas por el proyecto regional ASA y el uso de las ICT4D para masificar conocimiento.
ASA desarrolló una estrategia de extensión híbrida que combina métodos tradicionales de capacitación y asistencia técnica (escuelas de campo agrícolas, parcelas de demostración, cascadas de capacitación de extensionista a promotores y agricultor) con herramientas digitales ICT4D (ASAVirtual), para amplificar las interacciones con los agricultores con un mayor alcance geográfico, y con un paquete más regular, consistente y diseñado para el usuario final.
El monitoreo, la evaluación, la rendición de cuentas y el aprendizaje[1] constantes de alta calidad contribuyen a un desempeño superior de sus programas y proyecto, a la vez que constituye una garantía de calidad que, con el tiempo, enriquecen el desarrollo humano integral. ASA2 monitorea el progreso de sus actividades mediante un rigoroso sistema de monitoreo y evaluación, el cual alimenta a los Hitos con evidencias del progreso frente a los indicadores y metas a mitad y al final del proyecto. La información se gestiona en tiempo real, mediante el uso de tecnologías de la información digitales, que facilita el control de calidad y pertinencia de los datos colectados, y se visualizan a través de tableros de avances.
Descripción del Proyecto
| Agua y Suelo para la Agricultura 2 - ASA2 | |||||||||||||||||||||
| Los productores, emprendedores y profesionales agrícolas actuales y de la próxima generación en Centroamérica restauran los recursos del suelo y el agua, logran una producción resiliente, transforman los productos agrícolas para los mercados y crean oportunidades de negocios orientadas al mercado, al tiempo que contribuyen a reducir la migración rural. | |||||||||||||||||||||
| Junio 2022 – Julio 2028 | |||||||||||||||||||||
|
| |||||||||||||||||||||
|
| |||||||||||||||||||||
|
| |||||||||||||||||||||
|
| |||||||||||||||||||||
|
|
La teoría de cambio definida para el proyecto plantea que:
Si los productores restauran los recursos del suelo y el agua, logran una producción resiliente, transforman los productos agrícolas para los mercados y crean oportunidades de negocios asociativos orientados al mercado, entonces la agricultura será un medio de vida rentable y sostenible, mejorando la calidad de vida de los agricultores y su familia, logrando el relevo generacional y evitando la migración de los jóvenes.
El proyecto ha definido una serie de preguntas de aprendizaje enfocadas en aumentar el conocimiento sobre fenómenos precisos del territorio, para obtener información que asegure que el cambio previsto sí sucede y se está dando de forma efectiva, a la vez que guían el conocimiento hacia un fin preciso y para plantearlas es necesario tomar como referencia la propuesta del proyecto y su teoría de cambio, específicamente los supuestos.
Generales de la evaluación
Objetivos de la evaluación
General
Conocer los avances en la implementación a partir de la teoría de cambio, e identificar aprendizajes, oportunidades y limitantes que hayan sido parte de las intervenciones desarrolladas, o de cambios en el contexto de los territorios. Identificar ajustes que sean necesario implementar en el proyecto ASA2, para el siguiente periodo de ejecución (Julio/25-julio/28).
Específicos
Identificar el avance en el cumplimiento de metas de los indicadores de hitos, a partir del análisis comparativo de los resultados de la línea de base y los datos gestionados en el sistema MEAL.
Evaluar la implementación de la estrategia de escalamiento de la Plataforma ASA cimentada en ASA2.
Identificar oportunidades y/o limitantes, lecciones aprendidas y buenas prácticas para recomendar ajustes en el diseño estratégico y operativo del proyecto para la segunda fase de este.
Analizar la pertinencia de los indicadores y metas, considerando el avance en la implementación del proyecto, la retroalimentación de participantes directos, indirectos y actores claves, así como los cambios recientes en el contexto de los territorios, para proponer, en caso sea necesario, modificaciones a los hitos.
Evaluar propuestas actuales para una estrategia para la sostenibilidad de la Plataforma ASAVirtual fuera de CRS.
Evaluar avances y fidelidad versus nuestro Plan de Escalamiento para la Plataforma ASA (2021).
Análisis con grupos de Interés
De acuerdo con el diseño del proyecto, y con la estrategia de escalamiento de ASA, para la evaluación intermedia se identifican tres grupos de interés para la participación en la generación de insumos y reflexiones de análisis.
Conocer los avances en la implementación a partir de la teoría de cambio, e identificar aprendizajes, oportunidades y limitantes que hayan sido parte de las intervenciones desarrolladas, o de cambios en el contexto de los territorios. Identificar ajustes que sean necesario implementar en el proyecto ASA2, para el siguiente periodo de ejecución (Julio/25-julio/28).
Específicos
Identificar el avance en el cumplimiento de metas de los indicadores de hitos, a partir del análisis comparativo de los resultados de la línea de base y los datos gestionados en el sistema MEAL.
Evaluar la implementación de la estrategia de escalamiento de la Plataforma ASA cimentada en ASA2.
Identificar oportunidades y/o limitantes, lecciones aprendidas y buenas prácticas para recomendar ajustes en el diseño estratégico y operativo del proyecto para la segunda fase de este.
Analizar la pertinencia de los indicadores y metas, considerando el avance en la implementación del proyecto, la retroalimentación de participantes directos, indirectos y actores claves, así como los cambios recientes en el contexto de los territorios, para proponer, en caso sea necesario, modificaciones a los hitos.
Evaluar propuestas actuales para una estrategia para la sostenibilidad de la Plataforma ASAVirtual fuera de CRS.
Evaluar avances y fidelidad versus nuestro Plan de Escalamiento para la Plataforma ASA (2021).
Análisis con grupos de Interés
De acuerdo con el diseño del proyecto, y con la estrategia de escalamiento de ASA, para la evaluación intermedia se identifican tres grupos de interés para la participación en la generación de insumos y reflexiones de análisis.
Grupo de interés | Actores | Objetivo de Análisis |
|---|---|---|
| Participantes directos en el proyecto |
|
|
| Usuarios de ASAvirtual |
|
|
| Aliados estratégicos |
|
|
| Personal del proyecto |
|
|
Áreas de análisis
Se identifican tres áreas de interés para el alcance y análisis de los objetivos establecidos como parte de la evaluación intermedia, cada una de las cuales es esencial para el desarrollo de las actividades y el logro y sostenibilidad de los resultados.
Objetivos estratégicos del proyecto: permitirá identificar áreas de mejora en su definición, metas, indicadores y abordajes.
Estrategia de escalamiento: analizar las iniciativas implementadas como parte de la estrategia, considerando:
Vision: “Land restoration is the basis for sustainable resilient production systems and prosperous livelihoods in Mesoamerica and the Caribbean.”
Mission: To catalyze the sustainable and responsible scaling of Water Smart Agriculture to restore lands of smallholder communities in Mesoamerica and the Caribbean.
Goal and strategy: The 10-year goal for the LACRO Platform is 500,000 Mesoamerican and Caribbean farmers restoring 500,000 hectares of agricultural land by 2030.
MEAL: permitirá generar insumos para identificar los ajustes que sean pertinentes en el área, asegurando que los procesos implementados permitan que la información fluya de mejor manera desde el campo hacia los tomadores de decisiones en forma oportuna.
- Areas de análisis
Se identifican tres áreas de interés para el alcance y análisis de los objetivos establecidos como parte de la evaluación intermedia, cada una de las cuales es esencial para el desarrollo de las actividades y el logro y sostenibilidad de los resultados.
Objetivos estratégicos del proyecto: permitirá identificar áreas de mejora en su definición, metas, indicadores y abordajes.
Estrategia de escalamiento: analizar las iniciativas implementadas como parte de la estrategia, considerando:
Vision: “Land restoration is the basis for sustainable resilient production systems and prosperous livelihoods in Mesoamerica and the Caribbean.”
Mission: To catalyze the sustainable and responsible scaling of Water Smart Agriculture to restore lands of smallholder communities in Mesoamerica and the Caribbean.
Goal and strategy: The 10-year goal for the LACRO Platform is 500,000 Mesoamerican and Caribbean farmers restoring 500,000 hectares of agricultural land by 2030.
MEAL: permitirá generar insumos para identificar los ajustes que sean pertinentes en el área, asegurando que los procesos implementados permitan que la información fluya de mejor manera desde el campo hacia los tomadores de decisiones en forma oportuna.
Criterio | Pregunta |
|---|---|
| Pertinencia | ¿En qué medida el proyecto satisface las necesidades de los participantes y otros actores del sector de agricultura, teniendo en cuenta el contexto económico, cultural y político?
¿Hay intervenciones o resultados que no están incluidos pero que deberían estarlo?
¿Están satisfechos con el programa los participantes, otros actores del sector de agricultura y las partes interesadas clave? |
| Coherencia | ¿En qué medida el proyecto se vincula y complementa con las prioridades y actividades de los Gobiernos nacionales y otros donantes? ¿En qué medida el proyecto complementa, coordina y armoniza con las prioridades y actividades del sector privado? |
| Eficiencia | ¿Cómo se están utilizando los recursos (insumos) del proyecto para lograr los resultados y objetivos previstos? ¿En qué medida resultaron rentables las distintas actividades? |
| Eficacia | ¿En qué medida el proyecto está en vías de lograr los resultados esperados (hitos, indicadores y metas)?
¿El proyecto ha logrado avances en el alcance de los objetivos estratégicos? ¿El proyecto ha logrado promover prácticas climáticamente inteligentes para diversificar los sistemas de cultivo y crear sistemas agrícolas resilientes al clima? ¿El proyecto ha logrado fortalecer a los agricultores y las organizaciones locales / agroempresas para mejorar su gobernanza y gestión financiera a fin de aumentar su participación en el mercado y su poder de negociación?
¿En qué medida el proyecto fomentó una mayor participación e inversión del sector privado en sus regiones objetivo?
¿El proyecto empoderó a las mujeres para participar en las cadenas de valor prioritarias, incluso mediante la toma de decisiones sobre la producción agrícola y el uso de los ingresos? ¿El proyecto creó oportunidades de negocio para los jóvenes y les permitió aprovecharlas? |
Impact
| ¿Qué diferencia generó el proyecto para los participantes del proyecto y otros actores del sector de agricultura? ¿Hubo consecuencias no deseadas, positivas o negativas? |
Sustainability
| ¿En qué medida los avances y resultados del proyecto son resilientes a los riesgos climáticos y cambios en el mercado a lo largo del tiempo? ¿En qué medida los resultados son propiedad de los agricultores, organizaciones, y del sector de agricultura público y privado? |
Metodologías sugeridas para la evaluación
Para el desarrollo del estudio de evaluación intermedia, desde CRS se proponen cuatro metodologías de base para la recolección y análisis de la información de interés, las cuales permitirán generar insumos que contribuyan al alcance de los objetivos del estudio, desde la perspectiva de diferentes actores, tanto del personal del equipo implementador, como de los participantes directos en la implementación, agricultores, agricultoras, jóvenes y agroempresas. A la vez, con las metodologías propuestas se busca obtener la retroalimentación de instituciones aliadas al proyecto, que han participado activamente en la coordinación para la implementación de este.
Las metodologías propuestas brindan opciones para tres propósitos puntuales:
Análisis de datos recolectados por el proyecto para el cálculo de los indicadores;
Recolección de datos y análisis complementario para responder a las preguntas específicas de la evaluación; y
Interpretación colectiva de los resultados para la gestión adaptativa.
A continuación, se describen metodologías propuestas y los actores de interés para cada una de las mismas. CRS tiene apertura a observaciones y recomendaciones de otras metodologías sugeridas por el equipo evaluador del estudio.
Medición de indicadores
- Descripción de la metodología
La medición de los indicadores del proyecto permitirá conocer el cambio en relación con la línea de base de estos. Por el conocimiento de los territorios y de los temas técnicos específicos de la implementación, el personal del proyecto, como parte de las actividades de monitoreo periódicas, es el responsable de la colección de los datos cuantitativos que responden a los indicadores, siguiendo un protocolo y herramientas estructuradas, para asegurar la objetividad en la evaluación. Por tanto, que CRS brindará al equipo evaluador los datos gestionados en su sistema de monitoreo, los PIRS y el protocolo de recolección de datos, para que se realice un análisis comparativo entre los datos de la línea de base, y el estado actual al momento del estudio.
Las actividades requeridas para el equipo evaluador incluyen:
Realizar el proceso de análisis de los datos primarios a ser proporcionados por CRS, considerando aspectos de control de calidad y pertinencia.
Establecer el avance en el cumplimiento de las metas a medio término de los indicadores de hitos del proyecto.
Realizar el análisis comparativo entre los resultados de la línea de base y los obtenidos en esta evaluación intermedia, para medir el progreso en el desempeño de las intervenciones.
Identificar ajustes pertinentes que sean requeridos a los hitos, considerando sus indicadores y metas al final del proyecto, como a los hitos en sí mismos.
- Actores de interés
- Participantes directos en el proyecto
Metodología KISS
- Descripción de la metodología
La metodología KISS (Keep, Improve, Start, Stop) propone un proceso sencillo para la evaluación de un proyecto, desde la perspectiva de los actores involucrados en la implementación de este; dicho proceso permite analizar las experiencias desarrolladas por dichos actores en los diferentes objetivos e indicadores comprometidos por el proyecto y la estrategia de escalamiento, como por ejemplo el diseño del proyecto (teoría de cambio), las estrategias planificadas, área MEAL, los procesos y acciones implementadas.
La implementación de la metodología KISS como parte de la evaluación, permitirá hacer un alto en el camino, y examinar aspectos críticos del proyecto, considerando cuatro categorías de acción:
Conservar (Keep) sin cambios las acciones implementadas en el proyecto que han dado buenos resultados, por lo cual deben continuar realizándose en el futuro.
Mejorar (Improve) las acciones que fueron esencialmente efectivas en el proyecto, pero que requieran mejoras para el siguiente periodo de implementación.
Iniciar (Start) acciones que no se han estado realizando en el proyecto, pero que ahora, por su pertinencia, cambios en el contexto, recomendaciones de participantes o aliados estratégicos, sería beneficioso incluir y se considera deben implementarse en la siguiente etapa del proyecto.
Detener (Stop) las acciones que se identifican como ineficaces o que pudieron haber tenido problemas en la implementación, que no brindaron los resultados esperados, o que por cambios en el contexto, ya no tienen aplicabilidad, por lo que se considera no deberían continuar realizando en el proyecto.
Los resultados de la implementación de esta metodología deben permitir la identificación de acciones claves a implementar en el proyecto, generando un espacio de reflexión, análisis, toma de decisiones y priorización de acciones para la planificación de estrategias, o el mismo diseño del proyecto vinculado con sus hitos, metas e indicadores.
- Actores de interés
- Personal del proyecto de CRS y Socios
- Participantes directos en el proyecto
- Aliados estratégicos (CREA y CNEA)
Metodología SenseMaker / Mapa del presente y del futuro
- Descripción de la metodología
SenseMaker es una metodología basada en narrativas que tiene en cuenta la complejidad de contextos y que puede utilizarse para realizar monitoreo, evaluaciones (ya sean de línea de base, intermedias o finales) y estudios de investigación. SenseMaker se basa en las narrativas que comparten los encuestados y a las que les dan un significado adicional. Reconoce que las narrativas personales (relatos breves de las experiencias de las personas) permiten obtener mejores perspectivas que pueden ayudar a contextualizar el conocimiento.
La metodología SenseMaker, conjugada con el mapa del Presente y del Futuro, permite a grupos colectivos, participantes directos en el proyecto (agricultores y jóvenes), analizar su situación presente, identificando impactos positivos o negativos, desde un punto de referencia en el pasado y de las acciones llevadas a cabo en el proyecto durante dicho periodo, para planificar el Futuro deseado y los ajustes que sean requeridos para su logro.
El CMS busca identificar los cambios ocurridos desde la perspectiva de los participantes, y a la vez les permite identificar las causas de dicho cambio (por qué), explicando cómo se produjo (procesos) y en qué contexto sucedió (cuándo).
La elaboración del mapa del futuro, a partir de detallar su situación actual (presente), permitirá a los participantes identificar qué cambios les gustaría ver en su situación personal, familiar, comunitaria, para el periodo próximo (tres años), así como reflexionar sobre cuál es el esfuerzo que están dispuestos a hacer para lograrlo, los recursos disponibles, y los retos o limitantes que visualizan para alcanzarlo.
- Actores de interés
- Participantes directos del proyecto que ha tenido una experiencia exitosa o que deja lecciones de aprendizaje. Estas se seleccionarán con base a propuestas de los países. (persona individual, familia, grupo agroempresa)
Metodología 180°
- Descripción de la metodología
La metodología 180° es una herramienta que será de utilidad para el análisis y comprensión sobre la gestión de desempeño del proyecto, a través de la cual se busca la retroalimentación de actores clave que socialicen desde su perspectiva cómo el proyecto, desde las acciones y los mecanismos implementados, ha favorecido o limitado el alcance de un impacto esperado en un área de interés. Los resultados, permitirán autoevaluar al proyecto, para identificar los ajustes requeridos al futuro.
- Actores de interés
- Aliados estratégicos
Metodología para medición de ‘Escalamiento’ a Sistemas Transformativos:
Determinar la metodología que facilite evaluar el avance y retos en la implementación de la estrategia de escalamiento, con perspectiva al logro de sistemas transformativos.