Retroalimentación Automática de Presentaciones

Proveer al estudiante un ambiente inmersivo y no intrusivo en donde pueda practicar una presentación oral y recibir una retroalimentación oportuna, integral y libre de sesgos de sus habilidades de comunicación oral.

Facilitar al instructor la evaluación individualizada de habilidades básicas de comunicación oral de sus estudiantes.

Facilitar al instructor la retroalimentación individualizada de habilidades disciplinares y de comunicación de sus estudiantes en el contexto de presentación oral.

La práctica RAP nació en el CTI de ESPOL como un prototipo de innovación educativa. El proceso de diseño RAP como práctica educativa empezó con un trabajo conjunto con profesores de Comunicación y Física, ambas materias transversales y de primer año, para determinar el proceso de integración de la práctica en sus actividades educativas. Se requirió la construcción de tres “aulas RAP” y el reclutamiento de varios ayudantes de gestión para organizar el diseño y evaluación de la práctica RAP.

Cada aula RAP tenía un costo de aproximadamente 2,000 USD. El vicerrectorado académico de la institución financio la construcción de las aulas y la contratación de los ayudantes académicos para gestionar el uso de las misma. Durante un semestre académico, dependiendo de la cantidad de usuarios, se necesitan entre 10 y 30 horas semanales de un ayudante para gestionar el uso de las aulas RAP y guiar a los estudiantes durante las presentaciones.

Para evaluar la capacidad del sistema RAP de escalar de un prototipo a un sistema de apoyo académico el sistema fue usado, con el apoyo de profesores de Física I y de Comunicación, en ambas asignaturas, las cuales en conjunto registran más 2000 estudiantes cada semestre académico.

Además, al inicio de la implementación del sistema RAP y con el apoyo de profesores de comunicación se realizó un experimento tipo test caso – control con una muestra de más de 200 estudiantes con el objetivo de responder la siguiente pregunta:

¿Qué tanto contribuye al aprendizaje de habilidades de comunicación oral la retroalimentación proporcionada por el sistema RAP?

Finalmente, la práctica RAP es evaluada constantemente de las siguientes formas:

• Formularios de experiencia de usuario proporcionados al estudiante después de uso del sistema RAP.
• En el reporte proporcionado por el sistema RAP existe un enlace en cada sección para reportar errores de clasificación/detección/evaluación.

Los datos proporcionados por estas encuestas son procesados al final de cada "campaña de práctica RAP" para detectar puntos de dolor y fuentes de errores en el sistema que pueden ser mejoradas.

La práctica RAP se puede resumir en los siguientes pasos:

1. El profesor, de cualquier asignatura, solicita al CTI al inicio del semestre el uso del sistema RAP para sus estudiantes. Al hacer esto, el profesor debe proveer la lista de sus estudiantes y las fechas provistas para el uso del sistema.
2. El soporte técnico procede a registrar a los estudiantes y habilitar las fechas seleccionadas para registro de citas de uso del sistema.
3. El profesor socializa el uso del sistema a sus estudiantes y procede a enviar una tarea a sus estudiantes la cual consiste en preparar una investigación y presentación oral de la misma usando diapositivas. El tema de la investigación es a discreción del profesor pero se espera que sea contenido disciplinar de su asignatura. La tarea es enviada usando el LMS de la institución y contiene infografía que explica el acceso y uso del sistema.
4. Al estudiante normalmente se le da una semana para preparar la presentación, dentro de esta semana el estudiante debe entrar al portal web del sistema RAP, usando las credenciales digitales de nuestra institución, y reservar una cita para su presentación.
5. Contamos con tres aulas RAP en nuestro campus y en el día de la cita, el estudiante acude a una de estas aulas RAP para rendir su presentación oral. El estudiante debe traer consigo su archivo de diapositivas en formato PDF o Microsoft PowerPoint.
6. Antes de empezar la presentación, el estudiante debe cargar las diapositivas en una computadora en el aula RAP. Para esto, un ayudante esta presente y guía al estudiante para que efectué correctamente este paso.
7. El estudiante tiene 5 minutos para presentar, el ayudante guía el estudiante en el uso básico del sistema y sale del aula para que el estudiante empiece. Durante los 5 minutos de la presentación, el estudiante esta solo en el aula. Cuando el estudiante termina, se le ofrece la oportunidad de repetir la presentación.
8. En aproximadamente 10 a 15 minutos, el estudiante recibe en su correo un aviso que el reporte de retroalimentación está listo.
9. El estudiante, si así lo desea, ingresa nuevamente al portal web del sistema RAP para revisar la retroalimentación generada.
10. La retroalimentación contiene lo siguiente:
    • Porcentaje de uso de cinco posturas diferentes y una evaluación del porcentaje de uso posturas abiertas. Se muestran fotos del estudiante en cada postura.
    • Porcentaje de mirada al público vs. miradas a las diapositivas. Se muestran fotos del estudiante en ambos casos.
    • Evaluación de uso de pausas sonoras, se muestran tres clips de audios de pausas sonoras hechas por el estudiante.
    • Lista de muletillas usadas por el estudiante.
    • Gráfico de nivel volumen usado por el estudiante durante toda la presentación. Niveles bajos son marcados en rojo.
    • Evaluación diapositiva por diapositiva de la cantidad de texto, tamaño de texto y contraste de texto con fondo. Se proveen ejemplos de buen uso.
11. Del lado del profesor, después que todos sus estudiantes han finalizado con sus presentaciones, puede entrar al portal web del sistema RAP y revisar las presentaciones de cada estudiante sincronizada con una grabación de sus diapositivas. Opcionalmente el profesor puede agregar una retroalimentación en texto más una nota numérica sobre 10. Esta retroalimentación es agregada al reporte recibido por el estudiante. El estudiante recibe un correo informando que el reporte RAP ha sido actualizado.

Desde el inicio del uso del sistema, han habido cambios en los algoritmos internos de recolección y clasificación de datos. Esto debido a la retroalimentación de los estudiantes con respecto a la exactitud del sistema RAP. Además detalles de usabilidad, por ejemplo aceptar diapositivas en formato PDF, han sido cambiados a lo largo del uso del sistema debido a la retroalimentación recibida por estudiantes y profesores.

Para el sistema RAP se hicieron dos evaluaciones: escalabidad y aprendizaje.

Escalabilidad

Debido a que el objetivo del sistema RAP es el uso masivo en una institución educativa era necesario evaluar la capacidad logística y tecnológica del sistema para procesar y albergar miles de presentaciones orales. Para esto reclutamos la ayuda de profesores de asignaturas transversales, específicamente de Física I y Comunicación. Cada asignatura cuenta con aproximadamente 30 paralelos y con más de 30 estudiantes cada uno, en total entre 1500 y 2000 estudiantes por semestre.

El sistema RAP fue usado en estas asignaturas y durante todo el proceso se recolecto, más de una vez, retroalimentación de profesores y estudiantes. Se estudió además los puntos de falla del sistema y la carga computacional en el procesamiento de datos. Como resultado, se refinaron los procesos de uso del sistema (rediseño logístico) y los algoritmos de procesamiento de datos en el backend (rediseño tecnológico).

Desde entonces el sistema RAP ha demostrado escalabilidad, registrando hasta la fecha más de 3500 grabaciones.

Aprendizaje

Con el apoyo de profesores de la asignatura de Comunicación se realizó un experimento tipo test caso – control con una muestra de más de 220 estudiantes con el objetivo de responder la siguiente pregunta:

¿Qué tanto contribuye al aprendizaje de habilidades de comunicación oral la retroalimentación proporcionada por el sistema RAP?

De manera aleatoria se seleccionaron 110 estudiantes en control y 110 en caso de 6 paralelos de Comunicación. A ambos grupos se le asignaba la tarea RAP, pero al grupo de caso se le pedía que en lugar de ir al RAP, presenten en su casa grabándose con su teléfono. Ambos grupos recibían retroalimentación del profesor de Comunicación pero solo el grupo de caso recibía retroalimentación del RAP. Ambos grupos hicieron tres presentaciones, la tercera presentación fue hecha de manera tradicional en clase, evaluada por un profesor de comunicación diferente al profesor de la clase para evitar sesgo. Al evaluar los resultados se obtuvo lo siguiente:

• Los estudiantes mejoraban dentro del sistema, es decir había una mejora estadísticamente significativa entre la primera presentación RAP y la segunda presentación RAP, según el sistema RAP. La mejora era especialmente significativa en la mirada hacia la audiencia.
• Los estudiantes mejoraban fuera del sistema. Es decir había una diferencia estadísticamente significativa entre estudiantes que usaron el RAP (grupo caso) y estudiantes que no (grupo control) en la tercera presentación. Está presentación oral fue hecha en clase y evaluado por un profesor. El efecto fue de 4% a favor de los estudiantes en el grupo de caso.