INFORME FINAL DEL ESTUDIO PILOTO DE PARAGUAY
NOVIEMBRE 2010
PROGRAMA DE EVALUACIÓN Y MONITOREO DE LA ALFABETIZACIÓN
FICHA TÉCNICA
EQUIPO DE ELABORACIÓN
Ministerio de Educación y Cultura
Dalila Zarza Paredes, Directora de Estadística Educativa (DIEE/DGPE)
Graciela Sosa, Directora de Evaluación y Calidad Educativa (DECE/DGPE)
Nidia Glavinich, Jefa del Departamento de Planificación, Investigación, Innovación y Evaluación de la Dirección General de Educación Permanente (DGEP)
Ada Lina Guerrero Piris, Técnica de la Dirección de Estadística Educativa (DIEE/DGPE)
Arnaldo Ortiz, Técnico de la Dirección de Evaluación de Calidad Educativa (DECE/DGPE)
Edgar Osvaldo Brizuela Vera, Jefe de departamento de Diseño Curricular (DGCEO)
Lidia Manuela Fabio de Garay, Jefa de departamento de apoyo a la implementación curricular en medios comunicativos (DGCEO)
Oscar Gaona, Asistente Técnico en Investigación (MEC-OEI)
Organización de Estados Iberoamericanos (OEI)
Instituto para el Desarrollo y la Innovación Educativa (IDIE)
Federico Barrios Sosa, Coordinador del Equipo Técnico Nacional LAMP
Nelly Briet, Asistente Técnica en Investigación
Corrección de Estilo
María Gilda Vázquez, Técnica de la Dirección de Estadística Educativa (DIEE/DGPE)
Edición
Marcela Capra, Departamento de Comunicación (OEI)
© Dirección General de Estadística, Encuestas y Censos ,
Ministerio de Educación y Cultura y Organización de Estados Iberoamericanos.
Noviembre, 2010
AUTORIDADES
Ministerio de Educación y Cultura (MEC)
Luis Alberto Riart Montaner, Ministro
Diana Serafini Fernández, Viceministra
Viceministerio de Educación para la Gestión Educativa
Héctor Valdez Alé, Viceministro
Viceministerio de Educación para el Desarrollo Educativo
Mirna Vera Notario, Directora General Dirección General de Planificación Educativa (DGPE)
María de la Paz Bareiro Dorroum, Directora General Dirección General de Educación Permanente (DGEP)
Organización de Estados Iberoamericanos (OEI)
Luis Scasso, Director General de Cooperación y Educación Permanente
Dirección General de Estadística, Encuestas y Censos (DGEEC)
Zulma Sosa, Directora General Dirección General de Estadística, Encuestas y Censos
ÍNDICE
Presentación -11
RESUMEN EJECUTIVO - 13
INTRODUCCIÓN - 15
1. MARCO CONCEPTUAL Y METODOLÓGICO DEL LAMP - 19
2. ESTUDIO PILOTO LAMP EN PARAGUAY - 25
2.1. Objetivos del estudio Piloto - 25
2.2. Población y Muestra - 26
2.2.1. Consideraciones sobre población objetivo - 26
2.2.2. Consideraciones sobre unidades muestrales - 26
2.2.3. Marco muestral utilizado - 27
2.2.4. Tamaño de la muestra - 28
2.2.5. Diseño de la muestra - 28
2.3. Adaptación y revisión de instrumentos y manuales LAMP - 30
2.3.1. Conformación y capacitación de los equipos de trabajo de adaptación - 31
2.3.2. Proceso de adaptación de los instrumentos - 31
2.3.3. Talleres de adaptación - 33
2.3.4. Aspectos positivos del proceso de adaptación - 36
2.3.5. Dificultades encontradas durante el proceso de adaptación - 37
2.4. Capacitación - 37
2.4.1. Capacitación a supervisores y encuestadores - 37
2.4.1.1. Objetivos generales y organización de las capacitaciones a supervisores y encuestadores - 38
2.4.1.2. Desarrollo de la capacitación a supervisores y encuestadores 39
2.4.2. Capacitación a correctores - 40
2.4.3. Capacitación a digitadores - 42
2.4.4. Capacitación a codificadores - 42
2.5. Recolección de datos - 43
2.5.1. Organización y logística del trabajo de campo - 44
2.5.2. Estrategia para minimizar la tasa de no respuesta - 46
2.5.3. Desarrollo del trabajo de campo - 48
2.5.4. Entrevista e instrumentos - 50
2.6. Asignación de puntajes - 58
2.6.1. Procedimientos para la corrección de instrumentos - 59
2.6.2. Informes comparativos de asignación de puntajes - 63
2.7. Codificación del cuestionario de antecedentes - 65
2.8. Procesamiento de datos - 66
2.8.1. Recepción y organización de los cuestionarios - 66
2.8.2. Captura de datos - 66
2.8.3. Descripción de la base de datos y registros - 67
2.8.4. Verificación de la captura de datos - 67
2.8.5. Validación y consistencia - 67
2.9. Control de calidad - 68
2.9.1. Control de calidad de la adaptación de los instrumentos - 68
2.9.2. Control de calidad de la capacitación a encuestadores y supervisores - 68
2.9.3. Control de calidad de la muestra - 68
2.9.4. Control de calidad de recolección de datos - 69
2.9.5. Control de calidad del procesamiento de datos - 70
2.9.5.1. Corrección y codificación - 70
2.9.5.2. Programa de consistencia de datos de los instrumentos - 70
2.10. Estudio etnográfico - 71
3. PRINCIPALES RESULTADOS - 72
3.1. Evaluación del marco muestral - 72
3.2. Funcionamiento del CA y de los instrumentos cognitivos - 76
3.3. Capacitaciones, recolección y procesamiento de datos - 78
3.3.1. Capacitaciones - 78
3.3.2. Recolección de datos - 79
3.3.3. Procesamiento de los datos - 80
3.3.4. Aspectos relacionados al costo - 80
3.3.5. Capacidades nacionales para la implementación de la encuesta principal - 81
3.3.6. Difusión de los resultados de la prueba piloto - 82
4. SUGERENCIAS - 83
4.1. Población y muestra - 83
4.2. Adaptación - 84
4.3. Capacitación - 84
4.3.1. Personal de campo - 84
4.3.2. Correctores - 85
4.3.3. Digitadores y codificadores - 86
4.4. Recolección de datos - 86
4.4.1. Operativo de campo - 86
4.4.2. Entrevista e instrumentos - 87
4.4.2.1. Secuencia de la entrevista - 87
4.4.2.2. Instrumentos - 87
4.5. Codificación - 89
4.6. Procesamiento de datos - 89
BIBLIOGRAFÍA - 90
ÍNDICE DE TABLAS Y ANEXOS
TABLAS
Tabla 1. Muestra del estudio piloto - 30
Tabla 2. Número y porcentaje de consistencias e inconsistencias entre correctores - 64
Tabla 3. Resultado final de la muestra por nivel educativo según Módulos A y B y Cuadernillos 1 y 2 - 72
Tabla 4. Cantidad de entrevistas según código de situación final en la encuesta - 73
Tabla 5. Distribución de encuestados por sexo y edad - 75
ANEXOS
Anexo A. Perfiles y responsabilidades de supervisores y encuestadores - 92
Anexo B. Tiempo de aplicación de instrumentos según código de situación final - 96
Anexo C. Perfiles y responsabilidades de correctores – 98
Anexo D. Duración media de la entrevista - 100
AGRADECIMIENTOS
La concreción del estudio piloto del Programa de Evaluación y Monitoreo de la Alfabetización (LAMP), reflejada en el presente Informe, ha sido factible gracias al trabajo interinstitucional y multidisciplinario de los directivos, funcionarios y técnicos de las instituciones nacionales responsables de coordinar el estudio, quienes aportaron su conocimiento, experiencia y tiempo, sumados al entusiasmo y compromiso, para llevar a cabo esta experiencia. Al apoyo y orientaciones otorgados por los Especialistas del Instituto de Estadística de la Unesco a lo largo de todo el desarrollo del proceso. Especialmente a las personas encuestadas por brindar su mejor predisposición y tiempo para la aplicación de las entrevistas del LAMP en Paraguay.
PRESENTACIÓN
La cooperación en materia educativa requiere, entre otros aspectos, conocer, valorar, registrar, evaluar y sistematizar diversas experiencias que dan respuesta a múltiples necesidades; así como también profundizar el estudio de los campos del conocimiento. De este modo y en cumplimiento de los objetivos Institucionales de la OEI, del Plan Iberoamericano de Alfabetización y en el marco de “Metas Educativas 2021: La educación que queremos para la generación del Bicentenario”, el Instituto para el Desarrollo y la Innovación Educativa (IDIE MERCOSUR), especializado en alfabetización y educación de personas jóvenes y adultas, con Sede en Asunción realiza desde 2008 estudios, investigaciones y sistematizaciones destinadas a identificar buenas prácticas, así como a favorecer el intercambio de experiencias entre los países del Mercosur.
Si bien todas las publicaciones y actividades del IDIE se encuentran en su página web www.oei.org.py/idie, valoramos la necesidad de establecer una línea de publicaciones impresas “Colección IDIE MERCOSUR” que tengo el placer de presentar, cuyo tamaño y diseño favoreciera su uso como elemento de estudio, trabajo o consulta. Para el desarrollo de las investigaciones y su publicación contamos con el inestimable apoyo del Ministerio de Educación de Paraguay y del Ministerio de Educación de España, así como con la colaboración de los Ministerios de Educación de los países del Mercosur. Agradecemos a todos quienes apoyan esta iniciativa y deseamos que estos recursos sean de vuestro interés y utilidad para mejorar la educación de nuestros jóvenes y adultos. Luis Scasso Director General Cooperación y Educación Permanente Organización de Estados Iberoamericanos
INTRODUCCIÓN
ANTECEDENTES Y FUNDAMENTACIÓN DE LA PARTICIPACIÓN DE PARAGUAY EN EL LAMP
En marzo de 2007 se suscribió la Ayuda Memoria entre el Gobierno de la República del Paraguay y la Unesco, destacándose principalmente la necesidad de contar con la cooperación de ese organismo para dotar al país de sistemas de información que permitan mejorar la planificación y el monitoreo de políticas más efectivas de Educación de Jóvenes y Adultos (EJA), y además la posibilidad de la participación de Paraguay en la implementación del Programa de Evaluación y Monitoreo de la Alfabetización (LAMP). De esta manera se inició la etapa exploratoria para la implementación del LAMP en Paraguay. Posteriormente, en diciembre de 2007, el Ministerio de Educación y Cultura de Paraguay declaró oficialmente su interés para la implementación del LAMP. En julio de 2008 se organizó en Asunción una reunión técnica con la presencia del Especialista Principal del LAMP. El 6 de octubre de 2008 se firmó el “Convenio Específico de Cooperación Interinstitucional entre el Ministerio de Educación y Cultura (MEC), la Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI) y la Dirección General de Estadística, Encuestas y Censos (DGEEC), para la implementación del Programa de Evaluación y Monitoreo de la Alfabetización”. En el marco del Plan Iberoamericano de Alfabetización y Educación de Jóvenes y Adultos 2007-2015 (PIA) con apoyo de la Agencia Española de Cooperación Internacional y de Desarrollo (AECID), la OEI ofreció un apoyo financiero y técnico para la realización del estudio piloto del LAMP, y el MEC y la DGEEC se comprometieron a aportar las contrapartidas nacionales respectivas. Asimismo, se constituyeron formalmente la Comisión Mixta Interinstitucional (CMI) y el Equipo Técnico Nacional (ETN), responsables de la elaboración del Informe Nacional de Planeación y de la ejecución de las actividades del estudio, integrado por representantes de cada una de las instituciones mencionadas.
La participación de Paraguay en el LAMP se formalizó con la aprobación del Informe Nacional de Planeación, en agosto de 2009, y la suscripción del Memorándum de Entendimiento (MoU) entre el Instituto de Estadística de la Unesco (UIS) y la República del Paraguay.
El actual sistema de medición de la alfabetización en Paraguay presenta limitaciones pues, por un lado, no da cuenta de las competencias en lectura de las personas, ya que se sustenta en indicadores indirectos1. Por otro lado, la información disponible actualmente es insuficiente para monitorear y evaluar las políticas educativas implementadas. Por ello, el MEC consideró indispensable llevar a cabo un estudio de medición directa de las competencias en alfabetismo en la población joven y adulta, para disponer de datos confiables sobre la distribución real de las competencias en lectura y manejo de números, con vistas a diseñar políticas de educación permanente más pertinentes, revisar y ajustar la oferta educativa del sistema escolar, cuyos déficits configuran el telón de fondo del problema de los bajos niveles de alfabetismo acumulado. Mediante la información obtenida a través del estudio LAMP se pretende contribuir a la definición de planes, programas y proyectos sociales e intersectoriales más pertinentes, que posibiliten mejorar la calidad de vida de la población del país.
1 Actualmente, en Paraguay, se determina si una persona es alfabeta o analfabeta a partir de la autodeclaración y en función de su nivel educativo.
TRABAJO INTERINSTITUCIONAL
El proceso de implementación de la prueba piloto contó con una coordinación nacional encargada de las actividades del LAMP y se constituyó un Equipo Técnico Nacional (ETN), responsable de la coordinación técnica de las actividades de la prueba piloto, integrado por representantes del MEC, DGEEC y OEI. Durante todo el proceso, el ETN presentó los alcances, las dificultades y las propuestas técnicas a la Comisión Mixta Interinstitucional (CMI), instancia constituida por las máximas autoridades de las instituciones involucradas en la implementación del LAMP, responsable del seguimiento de las actividades del ETN así como de la aprobación de las propuestas técnicas acordadas entre las instituciones, o de tomar decisiones respecto a las modificaciones correspondientes. Se constituyeron equipos técnicos ad hoc integrados por funcionarios de las diferentes instituciones involucradas, principalmente de las dependencias del MEC (Dirección General de Planificación Educativa, Dirección General de Educación Permanente, Dirección General de Currículum, Orientación y Evaluación Educativa) para las diferentes etapas del proceso.
Vale la pena destacar que en el marco de todo este proceso, el trabajo interinstitucional e interdisciplinario llevado a cabo constituyó un valor agregado teniendo en cuenta que contribuyó a fomentar el desarrollo de actividades de manera cooperativa complementando criterios y estrategias a partir de aportes de cada integrante, lo cual enriqueció esta experiencia. Por otro lado, el trabajo interinstitucional representó un desafío importante para las instituciones involucradas considerando la necesidad de poner a disposición, a tiempo completo, los recursos humanos comprometidos en las actividades del LAMP.
SITUACIÓN SOCIOLINGÜÍSTICA DE PARAGUAY
La situación sociolingüística de Paraguay se caracteriza esencialmente por un contacto histórico de las dos lenguas oficiales del país, el castellano y el guaraní, estableciéndose entre ambas una constante interacción en la vida cotidiana de las personas, especialmente en el ámbito de la comunicación oral. En Paraguay se han acuñado dos conceptos lingüísticos en guaraní para explicar fenómenos usuales que se presentan debido al contacto de sus dos lenguas oficiales: jopara y jehe’a. En el uso común de estos dos términos guaraníes, el primero hace alusión literalmente a una mezcla donde se observa heterogeneidad; la segunda, a una mezcla mucho más homogénea (Ministerio de Educación y Cultura, 2006). Sin embargo, en el plano escrito, esta realidad presenta diferencias importantes. En primer lugar, se evidencia que la mayor parte de los materiales escritos formales y no formales disponibles se encuentran en castellano y que a pesar de los esfuerzos realizados por el sistema educativo paraguayo en los últimos años, existe muy poco uso del guaraní en forma escrita, por lo que la población en general utiliza escasamente los códigos escritos de esta lengua en su vida cotidiana. En este contexto, Paraguay aplicó la encuesta LAMP en idioma castellano, aunque el guaraní fue utilizado para establecer los primeros contactos y minimizar los casos de rechazo, alentar al encuestado durante la aplicación de la prueba; y en algunos casos para administrar el Cuestionario de Antecedentes (único instrumento para el que se consideró necesario realizar una traducción al guaraní).
ESTUDIO ETNOGRÁFICO
Las particularidades socioculturales de Paraguay hacen que la recolección de los datos de la encuesta LAMP en este contexto difiera cualitativamente de la realizada en otros países. El UIS, teniendo presente la importancia de considerar las características socioculturales de cada país, ha recomendado incluir un estudio etnográfico durante el desarrollo de la recolección de datos. Se realizó un estudio etnográfico del trabajo de campo de la Encuesta LAMP en su etapa piloto, cuyo objetivo consistió en “acompañar, observar y analizar la experiencia de aplicación de la prueba en diferentes contextos y la relación entre entrevistador y entrevistado” (Guttandin, Riquelme, 2009), con el fin de aportar una mirada cualitativa al proceso de recolección de datos, aspecto fundamental para poder evaluar el alcance de la encuesta LAMP en el contexto de Paraguay. Los resultados obtenidos forman parte de un informe etnográfico independiente, sin embargo, es mencionado brevemente en el capítulo 2 “Estudio Piloto en Paraguay” atendiendo que forma parte integral del estudio.
INFORME FINAL DEL ESTUDIO PILOTO DE PARAGUAY - NOVIEMBRE 2010 - PROGRAMA DE EVALUACIÓN Y MONITOREO DE LA AL... by PortalGuaraniII
Fuente: DIRECCIÓN GENERAL DE ESTADÍSTICAS, ENCUENTAS Y CENSOS
MINISTERIO DE EDUCACIÓN Y CULTURA
Archivo del PORTALGUARANI.COM
Registro al Portal: Noviembre 2012
