Compartir
Pontificia Universidad Católica del Perú
Lima, Perú
Responsable
Descripción detallada de la práctica
Dimensión: Contexto y origen de la práctica
Caracterización del contexto y la situación que origina y en la que tiene lugar la práctica
El curso Mecánica para Ingenieros es obligatorio de tercer nivel de Ingeniería Industrial. En el contexto de la pandemia (2020-2021), el curso incluyó un sistema de evaluación no presencial que consistió en 4 prácticas calificadas y 2 exámenes comunes para todos los horarios. Según informes de los docentes del curso:
- La mayoría de alumnos priorizaba la aprobación por encima del aprendizaje, lo cual conllevó problemas de motivación.
- El alto peso de los exámenes parcial (30%) y final (40%) contribuyó a incrementar los niveles de ansiedad y estrés.
- La reacción de los alumnos ante las dificultades de aprendizaje en el curso fue de desánimo, lo cual generó baja asistencia, abandono del curso y plagio que, en conjunto, impactaron negativamente en el rendimiento académico.
Con base en la problemática percibida, se propuso incorporar un sistema de evaluación formativa que aliente y estimule el desempeño de los alumnos.
Planteamiento de pertinencia de la práctica a partir de la situación, problema u oportunidad detectada
En los cursos de ciencias e ingeniería es más común el sistema de avaluación tradicional basado en evaluaciones calificadas y exámenes (evaluación sumativa o del aprendizaje). En cambio, el sistema de evaluación formativa o para el aprendizaje fomenta la participación de los alumnos, los motiva e involucra en su proceso de aprendizaje. De esta manera se incrementa su autopercepción de competencia y su autonomía. Además, se considera que es una buena práctica en docencia porque se ha demostrado la factibilidad de su implementación y de su sostenibilidad en el tiempo, y ha sido bien valorada por los alumnos. Esta experiencia docente representa un precedente para otros cursos de ciencias e ingeniería de la PUCP que deseen mejorar el desempeño y aprendizaje de los alumnos.
Dimensión: Planificación de la práctica
Planteamiento de objetivos de la práctica
Los objetivos de la implementación de esta experiencia fueron:
- Estimular el desempeño estudiantil y su involucramiento en el proceso de aprendizaje.
- Motivar y promover la valoración del curso para la vida profesional.
- Incrementar la autopercepción de competencia y la autonomía de los alumnos.
- entar un precedente para la incorporación de actividades de evaluación formativa en los cursos de ciencias e ingeniería de la PUCP.
Proceso de diseño y planificación, identificación de los actores involucrados y definición de recursos
El proceso de diseño y planificación de la práctica fue llevado a cabo por todos los profesores del curso, liderados por dos profesoras y un profesor responsable, quienes presentaron y desarrollaron un proyecto de innovación docente con el apoyo de la institución. En tal sentido, han sido los mismos profesores del curso los responsables de implementar la práctica y los alumnos los beneficiarios directos. Durante la primera fase todos los profesores del curso participaron en la elaboración de preguntas para construir un banco. Además, se contó con la participación de dos asistentes, financiados por el proyecto mencionado. Ellos se encargaron de elaborar las figuras, de resolver los problemas numéricos con múltiples juegos de datos en Exel y de colocar todas las preguntas en documentos Word con un formato específico. El profesor responsable, desarrolló y utilizó un plugin propio para exportar el banco de preguntas elaborado a un formato compatible con el LMS institucional. Al respecto, el complemento se implementó en Word, en un archivo con macros (.docm), que sirve de plantilla para copiar las preguntas previamente elaboradas y exportarlas al formato XML de Moodle (base del LMS institucional). Básicamente, el plugin utiliza estilos específicos definidos en la plantilla para reconocer las diferentes partes de la pregunta, así como algunas reglas y símbolos sencillos, que son interpretados por el código elaborado en VBA al momento de exportar las preguntas. Las preguntas son exportadas con todos sus elementos, incluyendo los textos de los enunciados con su formato (negrita, cursiva), las retroalimentaciones, las figuras, los conjuntos de datos numéricos de las preguntas de cálculo y los puntajes, entre otros aspectos. Para el desarrollo de las actividades de enseñanza y evaluación, los alumnos deben hacer uso de sus dispositivos móviles (teléfonos o tablets) en clase y de sus computadoras personales (laptops, teléfonos o tablets) en las demás actividades asincrónicas.
Mecanismos de evaluación
Se planteó evaluar los siguientes indicadores:
- El promedio de nota final
- El porcentaje de aprobados en el curso
- El promedio de notas de prácticas (hasta 2021-2) o evaluación semanal (desde el 2022-1)
- El porcentaje de aprobados en prácticas (hasta 2021-2) o evaluación semanal (desde el 2022-1)
Los datos para el análisis de los indicadores se recogieron desde el mismo LMS. Además, se aplicó una encuesta de satisfacción.
Dimensión: Implementación de la práctica
Descripción de la implementación de la práctica, indicando etapas, acciones y actividades específicas
La experiencia se puede dividir en cuatro etapas:
-
Definición de la estrategia
En líneas generales, se decidió modificar el enfoque de evaluación del curso desde una evaluación del aprendizaje hacia una evaluación para el aprendizaje e incorporando el nuevo contenido curricular aprobado. Precisamente, la evaluación formativa abarca todas las actividades llevadas a cabo -durante el proceso de aprendizaje- con el objetivo de proporcionar a los estudiantes una retroalimentación sobre su progreso para, así, apoyar o mejorar su aprendizaje (Andrade, 2010; Clavijo, 2021). Con base en ello, se propuso:
- Reemplazar las cuatro prácticas calificadas del curso por actividades de aprendizaje semanales.
- Redistribuir los pesos de los exámenes parcial y final.
- Establecer que la evaluación formativa tuviera un 50% de la nota total del curso y la evaluación sumativa el 50% restante.
Cabe señalar que las actividades de evaluación formativa fueron diseñadas para estimular el desempeño de los alumnos (Wiliam, 2017), generar un clima de involucramiento en el proceso e incrementar la motivación. Además, dado que los entornos de enseñanza y aprendizaje deben reducir las oportunidades de comportamiento fraudulento a través del diseño de la evaluación (Bretag et al., 2019), se incorporó trabajos únicos y personalizados.
-
Elaboración de preguntas
La elaboración de las preguntas se basó en la experiencia de los docentes sobre las dificultades de aprendizaje que los estudiantes evidenciaban en los primeros semestres de enseñanza remota. A partir de este análisis, se elaboraron preguntas representativas de todos los temas del curso, haciendo énfasis en aquellos conceptos identificados como de mayor dificultad. Se plantearon preguntas de diferente tipo (opción múltiple, de cálculo, de desarrollo, etc.)
-
Implementación del banco
Dada la ingente cantidad de preguntas elaboradas, se desarrolló y utilizó un plugin propio para exportar el banco de preguntas elaborado a un formato compatible con Paideia. Las preguntas son exportadas con todos sus elementos, incluyendo los textos de los enunciados con su formato (negrita, cursiva), las retroalimentaciones, las figuras, los conjuntos de datos numéricos y los puntajes.
-
Desarrollo de las actividades
Se utilizó el LMS institucional para diseñar las actividades de evaluación para el aprendizaje de los alumnos mediante el uso de diferentes recursos, que permitieron utilizar las preguntas y las retroalimentaciones desarrolladas e implementadas en el banco de preguntas. Los cinco tipos de actividades de evaluación para el aprendizaje fueron programados en Paideia, incluyendo las actividades presenciales. De esta manera, además de mantener informados a los estudiantes, se utilizó la plataforma para brindar a los alumnos las rúbricas y las retroalimentaciones de todas sus actividades de aprendizaje.
En esta experiencia, las actividades de aprendizaje fueron variadas, la cantidad de preguntas elaboradas superó el millar y, en consecuencia, el monitoreo y la retroalimentación de las evaluaciones también fueron bastante diversos. Sin embargo, en todos los casos, se procuró brindar una retroalimentación adecuada y oportuna a fin de estimular la motivación y la autonomía de los alumnos y, así, mejorar el aprendizaje a través de la evaluación (Martínez, 2020).
Identificación y justificación de eventuales cambios durante la implementación
Durante la implementación de la práctica se realizaron dos cambios principales:
- La actividad de consolidación de la semana inicialmente fue sincrónica, pues aún existían restricciones por la pandemia. En el segundo semestre de su aplicación se cambió por una actividad que alterna la modalidad presencial (una semana) con la modalidad a distancia asincrónica (la otra semana). De esta manera, por un lado se logra mayor interacción entre los alumnos (presencial) y por el otro lado mayor flexibilidad (asincrónica).
- En la actividad de aprendizaje autónomo el alumno debe responder 9 preguntas, agrupadas en tres niveles de dificultad (tres preguntas en cada nivel). En la etapa de diseño se previó que el alumno debía responder correctamente todas las preguntas para alcanzar el puntaje máximo. Sin embargo, antes de la puesta en marcha, se decidió ajustar este criterio a solo dos preguntas correctas en cada nivel, logrando un mejor balance en la dedicación de tiempo al curso.
Dimensión: Resultados de la práctica
Proceso de evaluación y descripción de resultados
Como parte de la evaluación de la nueva metodología implementada durante los semestres académicos 2022-1 y 2022-2, se midió el logro académico de los estudiantes en los últimos 16 semestres académicos (8 años) y se compararon los resultados.
Para ello se propusieron cuatro indicadores de logro académico: el promedio de nota final; el porcentaje de aprobados en el curso; el promedio de notas de prácticas (hasta 2021-2) o evaluación semanal (desde el 2022-1); y, el porcentaje de aprobados en prácticas (hasta 2021-2) o evaluación semanal (desde el 2022-1).
Respecto al promedio de nota final, que es el indicador de desempeño más utilizado, se observa que en los dos semestres de aplicación de la nueva metodología se han obtenido niveles de desempeño ligeramente más altos que en los semestres anteriores, a excepción del semestre 2017-2. Asimismo, se observa que el nivel más bajo se alcanzó en el semestre 2021-2. Respecto al porcentaje de aprobados en el curso, se observó que en los dos semestres de aplicación de la nueva metodología se han alcanzado los mayores porcentajes de todos los semestres analizados. Se observa también que el porcentaje más bajo se obtuvo en el semestre 2021-2.
El promedio de notas de prácticas (hasta 2021-2) o evaluación semanal (desde el 2022-1) es un indicador relevante para la experiencia de innovación desarrollada. Como se mencionó, se reemplazaron las cuatro prácticas calificadas del curso por actividades de aprendizaje semanales (evaluación formativa), manteniendo los exámenes parcial y final (evaluación sumativa). Aunque las actividades de evaluación en los semestres anteriores a la experiencia son muy distintas a las diversas actividades de aprendizaje realizadas durante la experiencia, este indicador representa el desempeño de los alumnos sin considerar los exámenes, lo que ayudaría a corroborar (o no) la efectividad de la nueva metodología.
En los dos semestres de aplicación de la nueva metodología se han obtenido los niveles de desempeño (sin considerar exámenes) más altos de todos los semestres analizados; se observa que los niveles más bajos se alcanzaron en los semestres 2021-1 y 2021-2.
Análisis de la práctica
Dimensión: Proyección de la práctica a futuro
Propuesta de proyección y sostenibilidad de la práctica a futuro; descripción de eventuales ajustes y modificaciones de la práctica para futuras implementaciones.
La sostenibilidad es un aspecto fundamental en la planificación de cualquier proyecto educativo y, en particular, en la evaluación para el aprendizaje universitario. Desde el inicio de la planificación de la experiencia, se tuvo en cuenta la importancia de que el proyecto fuera adaptable a diferentes modalidades: presencial, semipresencial y no presencial. Durante el semestre 2022-1, se implementó la modalidad no presencial, con excepción de los exámenes parcial y final, que fueron presenciales. Los alumnos realizaron todas las actividades de manera virtual, incluyendo el aprendizaje autónomo, las actividades sincrónicas y la autoevaluación, siguiendo un cronograma previamente establecido. Además, se generaron sesiones de Zoom y foros para las actividades sincrónicas de los viernes.
Para el semestre 2022-2, se implementó la modalidad semipresencial, con todas las clases presenciales y las actividades de entrada y salida realizadas a través de dispositivos móviles. La mitad de las actividades sincrónicas fueron presenciales y la otra mitad no presencial, manteniendo los exámenes presenciales. Durante ambos semestres, no se presentaron dificultades significativas en la implementación de las diferentes modalidades, lo que validó la aplicabilidad de la experiencia en cualquiera de ellas.
Además, como parte importante de la experiencia, se generó un amplio banco de preguntas con diferentes juegos de datos, lo que permitió variar las preguntas de un semestre a otro. Este banco de preguntas se está utilizando en el presente año, pero, para garantizar la sostenibilidad del proyecto, es necesario establecer un calendario de actualización del banco de preguntas y un proceso de mejora continua de la metodología, que incluya el incremento y la variación de los juegos de datos. De esta manera, se asegurará la calidad y pertinencia de la evaluación para el aprendizaje a largo plazo.
Por otro lado, en base a los resultados obtenidos, incluyendo la percepción de los alumnos, se ha identificado que sería conveniente modificar algunas de las actividades de consolidación presenciales de manera que se realicen experiencias vivenciales colaborativas. Para lograr esto se ha pensado en plantear algunos problemas sencillos en los que los alumnos puedan armar el sistema físico correspondiente y analizarlo tanto teórica como experimentalmente, comparando los resultados. En la institución se cuenta con un laboratorio de manufactura digital que tiene la capacidad y la disposición para la fabricación de los elementos necesarios.
Dimensión: Apreciación global de la práctica
Análisis de cumplimiento de objetivos de la práctica
Las mediciones realizadas del logro académico permiten afirmar que el impacto en los estudiantes de un curso de ingeniería cuando se transforma el sistema de evaluación tradicional (evaluación sumativa o del aprendizaje) en un sistema de evaluación formativa (o para el aprendizaje) es positivo. En los cuatro indicadores de desempeño analizados existe una ligera pero clara tendencia de aumento en el nivel de desempeño. Estos resultados son coherentes con los reportados en la literatura en investigaciones relacionadas. Los resultados de la encuesta aplicada para medir la percepción de los estudiantes sobre las actividades de evaluación formativa muestran que la gran mayoría de los alumnos considera que la nueva metodología contribuyó a mejorar su aprendizaje y desempeño, y que debería extenderse a otros cursos de su carrera.
Aunque no se ha medido, los docentes del curso también tienen una percepción positiva sobre la metodología. Se ha apreciado un ligero aumento en el nivel de compromiso y motivación de los alumnos, reflejado en el alto porcentaje de ejecución de las actividades de aprendizaje propuestas y en los buenos promedios obtenidos en ellas. A partir de la revisión de la literatura y de la propia experiencia de innovación desarrollada, se ha constatado que el uso de plugins o complementos personalizados tiene un gran impacto en la elaboración de un banco de preguntas para la implementación de un sistema de evaluación para el aprendizaje en la plataforma Moodle. El gran volumen de preguntas elaborado e implementado en la presente experiencia de innovación no habría sido posible sin una herramienta de este tipo. En tal sentido, el plugin desarrollado ha sido de gran utilidad, permitiendo la elaboración e implementación de preguntas de alta la calidad con efectividad. Por ello, se pondrá a disposición de los profesores PUCP que estén interesados en la posterior adaptación y réplica de la experiencia en otros cursos.
Evaluación reflexiva sobre la práctica implementada, con énfasis en su potencial de transformación
La práctica en sí misma ha constituido una transformación en la metodología de enseñanza y evaluación del curso Mecánica para Ingenieros, donde ha sido implementada. Por ello, la práctica involucra a todos los procesos relacionados a un curso (aprendizaje, enseñanza, evaluación). Así, las actividades de evaluación formativa realizadas en clase fomentan la asistencia y la participación de los alumnos. Las actividades de aprendizaje autónomo estimulan la motivación y aumentan la autonomía de los alumnos. Las actividades de consolidación semanales incrementan la interacción entre los alumnos, fomentan el trabajo colaborativo y requieren la activa participación de los profesores y jefes de práctica, involucrándolos en mayor medida en todo el proceso de formación de los alumnos.
La principal transformación ha consistido en cambiar el sistema de evaluación del aprendizaje o sumativo por un sistema de evaluación para el aprendizaje o formativo. Para poder realizar esta transformación ha sido decisiva la participación de todos los actores. Por ejemplo, el conocimiento y dominio del curso por parte de los docentes involucrados ha sido fundamental, pero ha sido necesaria la adaptación al cambio. También ha sido importante la participación de los asistentes en la elaboración y revisión de todos los recursos implementados, quienes junto a los jefes de práctica han debido igualmente adaptarse a la nueva metodología. Y por supuesto, los alumnos, quienes han debido adaptarse a procesos de enseñanza, aprendizaje y evaluación distintos, prácticamente novedosos en las carreras de ingeniería que ofrece la institución. En este sentido, la comunicación es esencial en el proceso de adaptación a la nueva metodología del curso. Se requiere conversatorios y explicaciones iniciales y, además, documentos de referencia claros y concisos que sirvan de guía y recordatorio sobre los aspectos principales. Asimismo, se requiere dialogo constante para enfatizar e interiorizar el carácter formativo de la evaluación, tanto entre profesores como entre alumnos.
