fbpx

Buena práctica

LALA Project. Building Capacity to Use Learning Analytics to Improve Higher Education in Latin America

Etiquetas

Resumen ejecutivo

El proyecto Building Capacity to use Learning Analytics to Improve Higher Education in Latin America (LALA), en co-financiamiento del Programa Erasmus+ de la EU y coordinado por la Universidad Carlos III de Madrid, busca resolver la brecha existente entre las Instituciones de Educación Superior (IES) de Latinoamérica y la realidad europea; si bien la implementación de herramientas de analítica de aprendizaje (LA) en la región latinoamericana existen, pero como experiencias aisladas.

LALA presenta una compilación de experiencias de pilotajes en las diferentes universidades latinoamericanas que conforman el consorcio, habiendo sido previamente adaptadas a las necesidades y realidades situadas. Estas adaptaciones fueron inspiradas en herramientas de consejería utilizando paneles de visualización diseñadas en KU LEuven, así como herramientas de detección temprana de abandono desarrolladas en la Universidad Carlos III de Madrid. Se contó con la asesoría de la Universidad de Edimburgo para el uso de la herramienta OnTask a las universidades latinoamericanas interesadas. Como resultado de estas actividades, se realizó la adaptación y/o adopción de cuatro conjuntos de herramientas que incluyen a su vez herramientas de consejería académica y predicción de abandono. Éstas tienen diferentes nombres según cada socio latinoamericano: TrAC (Trayectoria Académica y Curricular) en la Universidad Austral de Chile (UACh), NoteMyProgress y DaP-MOOC en la Pontificia Universidad Católica de Chile y AvAc (Avance Académico) en la Universidad de Cuenca. En el caso específico de la Escuela Superior del Litoral, por el hecho de contar con una herramienta institucional, fueron embebidas en su sistema de consejería denominado SiCa (Sistema de Consejerías Académicas). De los productos y actividades comprometidos en el marco del proceso y ejecución del proyecto, UACh fue la responsable del proceso de pilotaje con el apoyo de la la UC3M y en el cual participaron todos los socios del proyecto LALA junto con cuatro universidades externas al consorcio, Universidad de Chile (UChile), Universidad Politécnica Salesiana (UPS, Ecuador), Universidad Federal Rural de Pernambuco (UFRPE, Brasil) y el Instituto Tecnológico de Zitácuaro (México) durante el año 2019 y 2020.

Los resultados del proyecto LALA ayudan a mejorar la calidad de la educación en América Latina y benefician a la economía y la sociedad,haciendo que los procesos sean mas eficientes y eficaces. La cooperación internacional ha sido altamente promovida, no sólo para las IES chilenas y ecuatorianas, sino también con otras organizaciones de todo el mundo. La evaluación de actividades y resultados previstos ha sido llevada a cabo con éxito y con calidad. Producto del brote COVID-19 y la sincronización de algunas actividades con el calendario académico real de las instituciones se solicitó una prórroga de seis meses, habiéndose concretado en ese plazo todas las actividades y productos comprometidos.

Universidad Austral de Chile

Valdivia, Chile

Responsable

Eliana Scheihing
Académica
Facultad de Ciencias de la Ingeniería. Instituto de Informática, Universidad Austral de Chile

Descripción detallada de la práctica

Contexto en que se realiza la práctica

LALA ha sido desarrollado de manera colaborativa por varias universidades latinoamericanas y europeas, tomando como referencia marcos anteriores y otros ejemplos similares en Europa, buscando desarrollar la capacidad local de crear, adaptar y usar herramientas de analítica de aprendizajes (LA) en las Instituciones de Educación Superior que conforman el Consorcio.

El propósito es desarrollar metodologías y herramientas tecnológicas para analizar datos relacionados a los procesos educativos. Esta línea de trabajo se ha desarrollado fuertemente en las últimas décadas debido a la creciente acumulación de datos e información y la apremiante necesidad de optimizar los procesos de enseñanza y aprendizaje; y hoy, en el contexto mundial pandémico, a la incorporación y toma de decisiones en torno a los soportes digitales para la formación de las nuevas generaciones de profesionales en el mundo.

En Latinoamérica, las experiencias en la adopción de LA han sido aisladas, por ende, LALA se propuso acortar las brechas regionales, adoptar de manera situada experiencias europeas y desarrollar productos que permitan su proyección. El marco de la iniciativa se abordó a partir de cuatro dimensiones fundamentales:

  1. Institucional: identificar las necesidades y consideraciones para adoptar una herramienta de LA en una institución de Educación Superior.
  2. Tecnológica: pasos a seguir para el diseño, implementación y evaluación de una herramienta de LA (analíticas de aprendizajes) que se adapte a la realidad de la institución).
  3. Ética: consideraciones éticas y de privacidad de datos y sus usos que deben considerar las instituciones para la adopción de una herramienta de LA.
  4. Comunal: etapas para compartir experiencias de LA, intercambiar resultados y buenas prácticas con otras instituciones.

Cada una de estas dimensiones se transformó en un Manual que permite la proyección conjunta o de manera independiente de cada una y la proyección de la experiencia a otras instituciones.

Planificación de la práctica

El objetivo general del proyecto LALA es el de mejorar la calidad, eficiencia y relevancia de la Educación Superior en América Latina desarrollando capacidades locales para crear, adaptar, implementar y adoptar herramientas de analíticas de aprendizaje que mejoren el proceso de toma de decisiones académicas. Se propuso desarrollar un marco de referencia para describir los aspectos metodológicos, técnicos, institucionales, éticos y comunales para la implantación de analíticas de aprendizaje, en el contexto de las Instituciones de Educación Superior en América Latina. Otro de los objetivos específicos es la adopción de dos herramientas ya creadas en un contexto europeo para América Latina, una de ellas dirigida a los administradores académicos y otra a profesores y consejeros estudiantiles; y, finalmente, la creación del Manual de LALA, una guía que contiene el proceso completo con la metodología, infraestructura, recomendaciones y la adopción de experiencias y prácticas obtenidas durante el pilotaje.

El campo de la Analítica del Aprendizaje y Analítica Académica ha crecido considerablemente en los últimos años, pero principalmente en las instituciones de educación superior europeas. El uso de estas herramientas permite no sólo mejorar, modernizar y tomar mejores decisiones en el manejo de las universidades y sus recursos, sino también en la modernización y mejoramiento de los programas académicos. La realidad regional, en coherencia con los procesos de modernización de las instituciones de educación superior, ha basado sus decisiones principalmente en preconcepciones a partir de datos cuya procedencia son de un nivel básico de información. En este contexto, el proyecto LALA buscaba adherir instituciones y/o investigadores de Latinoamérica a la comunidad de analíticas de aprendizaje; definir el grado de participación e involucramiento institucional, de forma activa o pasiva, dentro de la comunidad; proveer de una red de colaboradores no sólo institucionales sino también agentes externos tales como empresas, otras instituciones educativas públicas o privadas y redes de colaboración internacionales que faciliten identificar potenciales socios para la elaboración y presentación de proyectos de investigación de mayor alcance e impacto y transformación a partir de herramientas que permitan acceder a las instituciones latinoamericanas a un nivel más competitivo, de calidad y acercando las brechas y estándares globales de las nuevas generaciones de profesionales en Latinoamérica.

Todo esto se propone como una forma de desarrollar, en base al trabajo colaborativo y en red, la transformación, a partir del uso de herramientas de analítica de aprendizaje (LA) y la modernización en la gestión y el aprendizaje de las instituciones de Educación Superior en Latinoamérica.

Por otra parte, uno de los valores añadidos de la práctica se relaciona a la formación de capacidades, instalándose el tema de LA a nivel del equipo y directores de escuela de la UACh, de manera transversal. Se creó conciencia sobre el valor de uso de las herramientas disponibles para desarrollar procesos informados, pudiendo apoyar a los directores de escuelas para resolver solicitudes extraordinarias; solicitudes que son parte de procesos ya existentes, numerosas y que requieren tiempo para resolver. El uso de herramientas de LA viene a apoyar la confianza en las decisiones que se están tomando, disminuir el tiempo de dedicación a éstas, permitiendo abrir la imaginación de los directores de escuela y tomar conciencia que se puede hacer más, tensionando y presionando para que este tipo de iniciativas se institucionalicen. La comprensión, en la actualidad, con mucho más acceso a datos, producto de la virtualidad, de cómo las herramientas de LA son útiles, de fácil acceso e implementación, especialmente si responden a procesos pre-existentes hace que si bien la implementación de estas herramientas considere recurso humano, especialmente en la mantención de los sistemas, ciertamente sea un valor añadido en la gestión, calidad y sistema académico de una Institución que se propone, a nivel internacional, competitiva.

Desarrollo y ejecución de la práctica

El consorcio completo del proyecto está compuesto por 7 instituciones, de las cuáles 4 son las instituciones beneficiarias en Latinoamérica: la Universidad Austral de Chile (UACh), la Pontificia Universidad Católica de Chile (PUC-Chile), la Escuela Superior del Litoral (ESPOL) y la Universidad de Cuenca en Ecuador (U Cuenca) y otras 3 Universidades europeas: la Universidad Carlos III de Madrid, España (coordinadora del proyecto), la Katholieke Universiteit Leuven, Bélgica y University of Edinburgh, Reino Unido.

Las etapas, actividades y resultados de la práctica se desprenden directamente de los entregables comprometidos. Se propusieron 9 entregables y para cada uno de estos se detallan las actividades y en coherencia el presupuesto. Cada institución asociada a la práctica era responsable de alguno de los entregables, teniendo que adaptar y compartir de manera situada las herramientas, los soportes de difusión, las actividades y procesos del mismo desarrollo. Los entregables comprometidos por la iniciativa son:

  1. LALA Framework
  2. Diseño de las herramientas para el LA
  3. Pilotaje de las herramientas
  4. Código fuente
  5. Evaluación externa del primer año del proyecto
  6. LALA Plan de aseguramiento de la calidad
  7. LALA Protocolo de resolución de conflictos
  8. LALA PLan de comunicaciones
  9. Anexos

La primera etapa desarrollada por esta iniciativa consistió en la elaboración de un Marco LALA, es decir, un marco metodológico que permita guiar en el diseño, la implementación y el uso de las herramientas de LA en las instituciones de educación superior en América Latina y en el cual se consideran las cuatro dimensiones fundamentales: institucional, tecnológica, ética y comunal, proponiendo una serie de pautas para que la institución se integre a una comunidad LALA internacional para contar con apoyo para investigaciones y desarrollo.

Una segunda etapa estuvo destinada al desarrollo y adaptación de herramientas de LA inspiradas en aquellas desarrolladas por los socios europeos, pero considerando las necesidades y pertinencia de cada contexto. Para ello se consideraron las fases habituales del desarrollo de software: toma de requisitos, diseño, desarrollo y pruebas de uso, en un esquema iterativo, considerando algunos preceptos del desarrollo ágil de productos de software. En una tercera etapa se llevaron a cabo procesos de pilotaje de las herramientas desarrolladas, que permitieron su validación y mejora. Este proceso se llevó a cabo considerando un protocolo de 5 fases:

  1. Fase de preparación: que incluyó el desarrollo de artefactos, socialización del plan piloto con los actores claves y levantamiento de línea base
  2. Fase de Acuerdos con los participantes
  3. Fase de Capacitación de los distintos actores (administradores, técnicos y usuarios)
  4. Fase de Uso, en que se acompañó a los usuarios y se socializaron sus experiencias
  5. Fase de Evaluación y Mejora

En una cuarta etapa se consideró la invitación a cuatro instituciones del contexto latinoamericano que llevaron a cabo un proceso similar, pero más breve, de adaptación y pilotaje de las herramientas ya desplegadas en las instituciones pertenecientes al consorcio del proyecto.

Los recursos solicitados al programa de financiamiento se destinaron acorde a las actividades y productos comprometidos durante el desarrollo del proyecto. Los ítems considerados fueron principalmente los de recurso humano, costo de viajes y estadía (reuniones del consorcio, talleres, conferencias y otras actividades detalladas en cada uno de los Boletines del Proyecto), equipamiento y subcontrataciones.

Los principales cambios de la planificación original están asociados a eventos externos, principalmente los movimientos sociales vividos en Chile y Ecuador en el año 2019 y la pandemia del Coronavirus desde marzo del 2020, que modificaron fuertemente las dinámicas del trabajo universitario, el cual se ha mantenido 100% online hasta ahora. De esta forma, los procesos de pilotaje se vieron retrasados y los protocolos de intervención se adaptaron al contexto de trabajo remoto a partir de marzo del 2020.

Resultados de la práctica

Uno de los principales resultados del proyecto es el manual LALA, guía a otras IES para la adopción de soluciones y herramientas de LA. Contiene las versiones finales de tres de los productos comprometidos: el marco LALA, el diseño y la adaptación de las herramientas de LA y la recopilación de experiencias piloto.

El marco LALA proporciona la metodología para la adopción de soluciones de analítica del aprendizaje en las IES en el contexto de América Latina, incluyendo directrices para los aspectos institucionales (identificación de necesidades, estrategia general o políticas), técnicos (requisitos de las herramientas o participación de las partes interesadas), éticos (privacidad y cuestiones éticas del uso de datos en la educación) y comunitarios. A este fin, se ha llevado a cabo un análisis detallado de las necesidades de las diferentes partes interesadas, con la participación de 1.884 estudiantes, 364 miembros del personal académico y 32 directivos en encuestas, entrevistas y grupos de discusión.

Se han adaptado tres herramientas de análisis del aprendizaje diferentes de Europa:

  1. Herramienta de asesoramiento para titulaciones académicas (en 4 instituciones) y para cursos en MOOCs (en 2 instituciones)
  2. Herramienta de predicción de abandono temprano para detectar estudiantes en riesgo en titulaciones académicas (en 5 instituciones) o cursos específicos (en 1 institución)
  3. Herramienta para proporcionar feedback personalizado llamada OnTask (en 1 institución)

El código fuente del software de cada herramienta y de cada institución está disponible y abierto para que otras instituciones puedan aprovechar este esfuerzo. El documento sobre el diseño y la adaptación de las herramientas de análisis del aprendizaje describe cada solución específica en cada IES de América Latina, pero también algunos puntos comunes como la recomendación de infraestructura general.

A partir de los pilotos en 8 IES de América Latina, se han obtenido importantes resultados y lecciones aprendidas que se describen en la compilación de pilotos, la cual incluye el análisis de registros, encuestas, grupos de discusión, entrevistas, técnicas estadísticas, etc. Se han obtenido resultados positivos sobre la usabilidad, el impacto, la utilidad o el rendimiento de las herramientas de análisis del aprendizaje pilotadas; y, se ofrecen lecciones aprendidas y recomendaciones. La comunidad LALA de analítica de aprendizaje en América Latina ha surgido, con más de 200 IES en la región, como un canal de comunicación para compartir conocimientos, experiencias y herramientas y para permitir la adopción de soluciones de analítica de aprendizaje. Esta comunidad continuará después del proyecto ya que se ha creado un SIG en SOLAR y también se ha implementado la conferencia LALA con 3 ediciones, a cual tendrá una continuación como evento conjunto con la conferencia LACLO.

Análisis de la práctica

Revisión de los resultados de la práctica

Un total de 8 IES en América Latina utilizaron las herramientas de LA incluyendo asesoramiento, herramientas de predicción de abandono y de retroalimentación. Así, las instituciones pueden hacer intervenciones tempranas sobre los estudiantes en riesgo o retroalimentación personalizada, mejorando el sistema de educación. Se creó una comunidad LALA que incluye más de 200 instituciones diferentes para compartir y apoyar la adopción. El pilotaje considero más de 19.000 estudiantes y 600 profesores y el análisis de los pilotos ha revelado efectos positivos en la usabilidad, utilidad, rendimiento e impacto de las soluciones, reforzando así el buen efecto en la educación y la relevancia de las soluciones proporcionadas por el proyecto.

El Manual de LALA sirve como referencia y catalizador para que otras instituciones en América Latina utilicen los datos educativos para mejorar la calidad de la educación; contiene la versión final de otros entregables del proyecto: el Marco LALA (conjunto de pasos y directrices para la adopción de soluciones de analítica de aprendizaje en América Latina considerando las dimensiones institucionales, técnicas, éticas y comunitarias), el diseño de las herramientas LALA, el proceso de arquitectura y diseño para la creación de las herramientas y el entregable de los pilotos y los resultados, como las lecciones aprendidas sobre el uso de la analítica de aprendizaje en las instituciones.

La relevancia se traduce en resultados como análisis de necesidades de LA con más de 50 directivos, 200 profesores y 1.500 estudiantes, permitiendo disponer de información relevante para sus estrategias y gobernanza, lo que supone una ventaja competitiva. Se habilitó el uso de datos educativos, otorgando a las instituciones oportunidades de innovación y nuevas investigaciones, p.e. generación de 40 trabajos de investigación asociados a LALA, 10 en revistas indexadas en el JCR.

Por otra parte, la cooperación regional fue altamente promovida en el proyecto LALA, no sólo para la IES de Chile y Ecuador sino también en otros países de Latinoamérica y otras organizaciones alrededor del mundo. Las principales acciones del proyecto que revelan la cooperación internacional son: una comunidad formada por más de 200 IES de América Latina, pero también por profesores, gestores y personas interesadas en la analítica del aprendizaje en América Latina, representada por Chile, Ecuador, México, Perú, Argentina, Bolivia y Brasil; y, la conferencia LALA donde puede participar cualquier persona interesada en Learning Analytics en América Latina. Se realizan publicaciones y presentaciones sobre el tema, así como se habilitan discusiones útiles y keynotes, 3 ediciones organizadas por el consorcio LALA con más de 180 asistentes, 9 jornadas regionales de formación y 5 talleres, más de 800 asistentes, involucrando a diferentes países de la región. Las 8 IES han adoptado y pilotado soluciones de analítica del aprendizaje (3 de Chile, 3 de Ecuador, 1 de Brasil, 1 de México) y han generado conexión con otras redes, como SOLAR (Society of Learning Analytics), para permitir diferentes tipos de cooperación; para la continuación de la comunidad LALA, como Grupo de Interés Especial; como metared (red latinoamericana) para la difusión del proyecto; como CEDIA (red latinoamericana) para la colaboración, organización de eventos y fines de difusión; comoMOOC-Maker; o SNOLA (Red Española de Learning Analytics).

El proyecto ha recibido retroalimentación mediante varias evaluaciones externas de expertos en el área, de University of South Australia, Goethe Universität, Alemania y Graz University of Technology, Austria. Las evaluaciones coinciden en que LALA es enormemente ambicioso ya que la adopción e implementación de LA requiere mucho tiempo y apoyo institucional transversal y destacan el logro de su objetivo principal (desarrollar habilidades, conocimientos, tecnologías y procedimientos para el análisis del aprendizaje) y de su impresionante impacto.

Replicabilidad de la práctica

En el caso de la UACh la difusión ha sido muy activa tanto interna como externa, publicaciones, participación en Conferencias internacionales de alto impacto. El proyecto LALA siguió el enfoque más razonable y establecido para la difusión de los resultados del proyecto. En primer lugar, lanzaron una atractiva página web del proyecto y la mantuvieron también actualizado con diversas actividades de cada socio del proyecto. Además, seleccionaron dos canales de medios sociales para difundir los resultados del proyecto también de forma viral en la web. Este es un enfoque estándar en la actualidad y el proyecto LALA lo hizo muy bien. Se puede argumentar lo bien que se puede llegar a los grupos objetivo del proyecto con los canales de medios sociales Facebook, Youtube y Twitter. Considerando que los estudiantes son uno de los grupos objetivo, es recomendable agregar Instagram como otro canal de difusión. Entre la difusión de los medios de comunicación, es estupendo ver que el proyecto LALA también pudo atraer a socios asociados al proyecto que no han sido socios principales que reciben financiación. Este tipo de difusión es otro logro significativo del proyecto LALA que también demuestra el atractivo de los resultados para las organizaciones de educación superior en América Latina. Por último, fue un placer ver tantas actividades de difusión por parte de todos los socios que van desde publicaciones y talleres hasta el libro y el número especial de BJET. Es estupendo ver que un proyecto de desarrollo de capacidades como LALA no sólo logró su objetivo principal en términos de la creación de habilidades, conocimientos, tecnología y procedimientos para el análisis del aprendizaje, sino que también ha llegado a una comunidad mucho más amplia a través de diversas actividades de difusión. De este modo, el proyecto LALA actúa como un ejemplo de buenas prácticas que estableció nuevos estándares de Capacity Building.

Auto-evaluación del carácter transformador de la práctica:

  1. La práctica integra explícita e intencionadamente las dimensiones de internacionalización o interculturalidad

    Nivel: Alto
    Justificación: El proyecto LALA instala iniciativas desarrolladas colaborativamente por un consorcio de universidades: 3 europeas y 4 latinoamericanas. En ese proceso se diseñan y validan herramientas de Learning Analytics (LA) inspiradas en propuestas desarrolladas previamente por algunas de las universidades europeas, adaptadas a cada contexto cultural de las universidades latinoamericanas participantes

  2. La práctica genera cambios significativos verificables (valor añadido) en sus beneficiarios directos

    Nivel: Alto
    Justificación: Gracias al desarrollo de herramientas de LA pertinentes, guiado por las necesidades declaradas por los beneficiarios directos, se logró un cambio significativo en sus labores. En el curso de los pilotajes, los usuarios (directores de programas y estudiantes) indican que el uso de las herramientas de LA les proveen argumentos más claros de apoyo a sus decisiones.

  3. La práctica genera un valor añadido para la universidad

    Nivel: Alto
    Justificación: El proyecto ha permitido instalar en la universidad herramientas de LA que representan un aporte en procesos educativos ya existentes, apoyando la toma de decisiones informada. Representan una experiencia que ha sido muy bien recibida por parte de los directores de programas de estudio, como principales actores.

  4. Los resultados de la práctica se ampliaron y beneficiaron a otros actores institucionales

    Nivel: Alto
    Justificación: La estrategia de utilizar datos existentes tuvo la ventaja de instalar rápidamente los servicios, logrando el involucramiento de los usuarios en pilotaje, quienes actuaron como embajadores en la ampliación de su uso. Además, los resultados del proyecto han permitido diseñar diversas extensiones/adaptaciones de las herramientas de LA para beneficio de otros actores institucionales.

  5. La práctica se hace cargo, de manera innovadora, de los desafíos propios de la institución o del sistema de educación superior

    Nivel: Alto
    Justificación: En efecto, el proyecto interviene procesos educativos existentes, abordando el desafío de utilizar los datos existentes de manera innovadora recogiendo experiencia internacional en su desarrollo. Se presenta como un ejemplo de uso de los datos para apoyar la toma de decisiones informada.

  6. Otro aspecto no considerado previamente

    Nivel: Alto
    Justificación: Un aspecto estratégico en los resultados obtenidos fue contar con el respaldo de la Dirección de Pregrado, UAAP y DTI durante el proceso, como también que representantes de los diferentes departamentos hayan participado en las entrevistas de diagnóstico desde los lideres institucionales