Canvas Analytics y Google Data Studio: predice el desempeño con un tablero digital - Tec de Mty - México

Compartir
Compartir
canvas-mid-blob
canvas-mid-blob
Video Transcript
[MÚSICA] Hola, ¿qué tal? Los saluda el profesor Germán Domínguez, del Tecnológico de Monterrey, en México. Y la idea de este video es compartirles un poquito sobre esta innovación que se implementó en la plataforma Canvas y otra herramienta, que se llama Google Data Studio, donde lo que hicimos fue intentar predecir el desempeño de los estudiantes y motivarlos a través de un tablero digital. Me da mucho gusto compartir esta herramienta con ustedes y espero que les sea de su agrado. Vamos a ver, entonces, la motivación. Por qué nosotros decidimos generar este tablero, esta herramienta? Si bien las plataformas educativas, como lo es el Canvas y algunas otras, nos ofrecen la forma de presentarle las calificaciones a los estudiantes, siempre es una forma genérica, general, donde no vemos particularidades de lo que viene siendo una materia en sí y tampoco vemos la comparación, de decir cómo vas tú como estudiante, cómo voy yo como estudiante, en relación a los demás estudiantes del grupo. Entonces la idea de esto es mostrales a los estudiantes, de una manera visual, cómo están en la clase, durante el desempeño de un semestre o de un período académico.

Y aquí ellos van a poder visualizar claramente cómo van. Muy bien. El objetivo de esta herramienta es aprovechar los beneficios de las analíticas de aprendizaje para mejorar el rendimiento académico de los estudiantes mediante un tablero web, desarrollado en Google Data Studio y alimentado por los datos generados por el Canvas. Entonces, esta herramienta es un híbrido que va a estar en Google Data Studio pero soportado por las analíticas que nos ofrece Canvas y esos datos maravillosos que no estamos, nosotros, extrayendo valor. Entonces parte de ahí, de que nosotros queremos empezar a sacarle valor a estos datos que nos ofrece el Canvas a través de otra herramienta, ¿OK? Entonces, en este tablero los alumnos van a poder visualizar sus indicadores de desempeño.

Eso es lo principal, que el alumno vea cómo va. Cómo va él en la materia y cómo va comparado con los estudiantes. ¿Y qué se le presenta? La participación. Cuántas participaciones ha hecho durante ciertas semanas, en ciertas actividades, cuál es su avance en la clase, qué porcentaje ha completado, las calificaciones, por supuesto, lo que ha realizado, la calificación final calculada pero a través de un modelo de predicción. Entonces, aquí empezamos a hablar un poquito del Data Science, de la ciencia de datos, donde usamos un modelo de predicción basado en regresión lineal donde tenemos las variables que están afectando a la calificación final del alumno.

Y claro que están las calificaciones de las actividades, de los foros, de los exámenes, de los quizzes. Pero también, ¿qué afecta eso? Afecta sus participaciones, las horas que ha dedicado a Canvas, y otros factores que están afectando el modelo de manera significativa. Y, además de presentarles esta predicción, porque es algo muy maravilloso que el alumno vea: "Con base en tu desempeño hasta el momento, tu calificación final va a ser este número" porque es una predicción numérica. Entonces, eso es una parte que él puede ver y puede decir "voy perfecto", o "voy más o menos", o "tengo que echarle más ganas". Y cómo van los demás, cómo voy yo y cómo van los demás.

Y, además, esto les ofrece la oportunidad de decir "mira, estoy fallando en los quizzes, o en estas tareas o en los exámenes parciales, o en el proyecto, Entonces necesito trabajar más en este sentido". Entonces es una cosa muy maravillosa que ellos puedan entrar a revisar, periódicamente, cómo van. Y ahora, cómo se ve el proceso de implementación: tenemos aquí el esquema donde la fuente principal es el Canvas. Y ¿qué extraemos del Canvas? ¿Qué datos se extraen? Las calificaciones, la participación, la interacción que tiene el alumno en el Canvas, todo esto viene desde las nuevas analíticas, desde el botón de nuevas analíticas de Canvas, ahí nosotros podemos extraer todos los reportes. Genera un archivo CSV, un Excel, que es el que utilizamos para alimentar al Google Data Studio.

Entonces, de ahí, el profesor- Este proceso lo hacemos manual, todavía no estamos hablando de API ni nada automatizado, ni de interfases. Estamos hablando de que el profe descarga el Excel Lo sube al Google Sheets, que es una hoja de cálculo de Google, aquí ven el monito del profe, lo carga en el Google Data Studio, que es donde va a ser el tablero que finalmente va a ver el alumno, ese Dashboard que se está actualizando con los indicadores. El profe hace las pruebas de ese tablero para ver si está haciendo bien las predicciones, ese modelo que se generó está haciendo bien las predicciones. Y los indicadores que está mostrándole al estudiante también son correctos, son precisos, o hay que hacer ajustes, a lo mejor, por ahí, en el modelo o en el entrenamiento. Luego se publica el tablero para que los estudiantes ya entren a visualizarlo.

Y en ese punto, algo muy importante que nos ofrece el Google Data Studio es que podemos entrar con nuestra cuenta académica y no nos va a costar. O con nuestra cuenta, incluso, de Gmail y no nos cuesta. Es una herramienta gratuita así como los servicios de Google, como el Google Docs, el Google Sheets, la presentación de Powerpoint, es gratuita. Y, además de que es gratuita, está en la nube. Desde el momento en que yo hago la publicación de un tablero lo que hacemos es compartirles la liga, compartimos el enlace a los alumnos para que entren a ese tablero.

Y eso está diseñado, desarrollado de tal forma que si yo entro con mi computadora lo visualizo en una página web; si yo entro en mi teléfono, por ejemplo, agarro mi teléfono y entro a esa liga, como lo hacen la mayoría de los estudiantes, pues, se les despliega bien padre porque ahí lo pueden ver en cualquier momento y se los abre como si fuera casi una aplicación. Y ahí pueden ellos ingresar su matrícula, su identificador como alumno, y les hace el despliegue a cada uno de los estudiantes, porque es personalizado, cada quien tiene ahí su parte personalizada y, de hecho, con el modelo de predicción le dice a él cómo le va a ir y todas sus calificaciones. Entonces, está padrísimo, también, si entra con la Tablet se acomoda al formato de la Tablet. Y eso no lo tenemos que programar nosotros, porque ya lo realizó la compañía de Google para que nosotros podamos utilizarlo. Finalmente, el profesor lo que hace es verificar cómo va el grupo.

Dice: "bueno, voy a revisar si están trabajando como se espera, el desempeño es adecuado de acuerdo al avance que llevamos". Y qué acciones puedo yo tomar para motivarlos, para decirles, "oigan, fíjense cómo está el desempeño grupal llevamos, en promedio, tal, tenemos, a lo mejor, una desviación estándar tal", o "necesitamos trabajar en este sentido, en este aspecto". Entonces está padrísimo porque si bien esto se generó para el estudiante, resulta que, para el profesor, es una herramienta valiosísima, porque ahí tú ves el panorama completo, así como el estudiante ve sus datos y los del grupo, tú ves todo el panorama de cómo vamos, y hacia dónde vamos, qué necesitamos. Entonces, esa es la parte de implementación. Ahora, ¿cómo se ve el tablero?, ¿cómo lo visualizan los estudiantes? Estas son tomas de la página web, de cuando entran en la computadora.

Y adicionalmente, esto se puede poner como un elemento incrustado en el Canvas. ¿Y cómo se ve eso? Yo hago una página en blanco en el Canvas y le pongo un elemento embebido, embeded item, o incrustado. Entonces le pongo el codiguito que me da, se lo pego y abro la página de Canvas Y ahí mismo se me visualiza el documento. Es una cosa muy maravillosa porque se adapta, básicamente, a la página y al dispositivo en el que lo estás utilizando. Pero bueno, ¿qué es lo que visualiza el estudiante? Lo primero, ve el nombre de la clase.

Esta clase, particularmente, fue muy padre porque es la de matemáticas y ciencias de datos y este Dashboard es parte del Data Science, la ciencia de datos. Entonces era para que vean de primera mano cómo se estaban haciendo visualizaciones de los datos. y las predicciones y diferentes elementos del Data Science aplicado ya en esta materia. Entonces el alumno pone su matrícula, con el formato que tenga la universidad, su identificador como alumno, aquí dice "No data" porque no tiene matrícula, pero le carga su nombre de alumno para confirmar que sí es él. Y luego ya puede visualizar las estadísticas generales de la materia que dice cuántas participaciones lleva en promedio la clase, y cuántas llevo yo, en el promedio de la clase, y tus datos, porque es como si uno no lo estuviera viendo, las horas invertidas que lleva la clase hasta ese momento, los elementos vistos, las actividades completadas, las actividades faltantes.

Adicionalmente, el total de alumnos. Esta era una clase masiva, una clase en línea que se estaba dando a nivel nacional aquí en México y había 980 alumnos, y se ve aquí el promedio grupal en 83. Este promedio es un aspecto que dependerá de la clase y del avance que se tenga. Aquí ya estaban el período uno y dos completado y vienen, ahora sí, el desglose de las actividades: actividad uno, quiz uno, actividad dos, etcétera, etcétera. Igual te despliega el promedio de lo que obtuvo la clase en esa actividad, y lo que está obteniendo el estudiante en esa actividad.

Y él puede decir "mira, a los mejor a mí me fue mal y a los demás les fue bien. O al revés, a mí me fue bien y a los demás les fue mal. Por ejemplo, aquí en esta actividad RV, que es un simulador, en la clase tuvo un promedio de 42, entonces esto es una alerta para el profesor. ¿por qué salieron tan bajos ahí? Y acá nosotros podemos ver la gráfica, la tendencia grupal que dice cómo se fueron desarrollando las actividades. En general también igual aquí está el 72 que es el quiz tres el profesor entre a Canvas y revisa qué está sucediendo en ese quiz, por qué está más abajo.

A lo mejor también puede hacer lo mismo con el 78, que es el quiz cuatro. Ya viese, a lo mejor los quizzes tienen un elemento que no está funcionando y nos está otorgando una calificación más baja. También está aquí una caja de compromiso que en esa parte lo que queremos es involucrar al alumno en el proceso de enseñanza-aprendizaje. Ya tú tienes ahora tu desempeño hasta el momento, entonces tú ya sabes cómo estás y a qué te comprometes, qué es lo que vas a realizar para seguir mejorando, salir mejor. Entonces aquí nosotros les ponemos cuáles son los compromisos que ellos van a tener.

Y, regresando de este lado, donde ven sus notas, dice cuántos puntos se han acumulado hasta el momento. Son 56 máximo el promedio de puntos acumulados en la clase, ¿cuántos puntos llevo acumulado yo de 56? Porque todavía está en proceso la clase. Esto, durante el semestre, se está actualizando varias veces para que vayan viendo cómo van. La calificación final proyectada esta es la que hace la predicción en función de estas variables, de las calificaciones, de los elementos vistos, de las horas invertidas, de las participaciones. Y en función de esas variables, que son variables de entrada, Nosotros pudimos hacer la predicción de la calificación final.

Y, además, le pusimos Calificación máxima posible. Porque luego sucedía que se asustaban. Decían: "es que el sistema me está haciendo una predicción que yo no voy a acreditar la materia, me dice que voy a sacar un 60". Y decía "¿qué voy a hacer, porque el sistema me dice que voy a reprobar". Pero, realmente, se lo está haciendo por el desempeño actual, pero no está considerando que todavía quedan muchas actividades y que puede obtener una calificación aprobatoria.

Entonces, por eso hicimos los dos rubros, los dos indicadores, la calificación proyectada, que dice: "de seguir así, con tus datos históricos nosotros hicimos la proyección de que vas a obtener esta calificación. Pero si tu obtienes 100 en todas las calificaciones restantes, en todas las actividades restantes, tú vas a tener esta calificación máxima posible". Entonces eso los motiva, ¿OK? Les hace como una alerta, un warning, y dicen, "mira, de seguir así voy a sacar 50 o voy a sacar 60. Pero si yo me pongo las pilas, le hecho más ganas, voy a sacar un 80, un 85. Porque necesito sacar 100 para aprobar".

Entonces, desde ese momento, ellos deciden decir sí, yo me comprometo a sacar 95 o 100 en las actividades y a dedicarle más tiempo, porque si no, no voy a acreditar la materia. Y ahí lo están viendo, desde una etapa temprana, En el semestre esto se les comparte, se les va compartiendo periódicamente para que puedan revisarlo. Y para los profesores también esto es muy útil porque tú vienes aquí y visualizas la estadística general de las clases, los promedios generales, y, además, puedes meterle la matrícula de un estudiante que tú quieras conocer y lo puedes comparar. Y ese es un argumento válido que utilizamos los profes y esto fue descubierto después. Porque cuando un estudiante te dice: "es que me está yendo mal, no estoy realizando todo" o "la materia está muy difícil", y luego culpan a alguien más, y dicen "está muy difícil la materia, no le entiendo, me está yendo mal", y luego vienes a visualizar aquí, y bueno, son odiosas las comparaciones pero tú puedes tomar como referencia la clase, el grupo, los 980 estudiantes llevan estas métricas, tienen 34 horas.

Y a lo mejor este estudiante que dice que le está yendo mal tiene, en lugar de 34 o 35 horas, tiene diez horas. Entonces ese argumento está muy claro, te va mal porque necesitas trabajar más. Participaciones, a lo mejor, la clase tiene 42 en promedio cada estudiante Y acá tiene, a lo mejor, 15. Entonces ahí es cuando les cae el 20. Porque ahí sí, como dicen, "dato mata relato".

Este dato que está aquí salió del Canvas y ese dato no miente, ¿verdad? Y cualquier relato que el estudiante nos quiera contar va a ser inválido, ese argumento es inválido, porque el argumento válido aquí está. Está en los datos del Canvas, de las nuevas analíticas. Y, sobre todo, cómo se los estamos presentando. Aquí realizamos, hace poco tiempo, una actualización donde les ponemos el avance del curso aquí con un indicador. Bueno, en este momento estás al 20%, estás a tiempo para seguir trabajando.

Y la otra parte, padrísima, ¿no? para quienes van superbién aquí les dice "calificación final proyectada: 100". Esa es una experiencia maravillosa, porque el sistema me dice que voy a sacar 100. Entonces yo tengo que seguir con el mismo nivel de exigencia, con esa disciplina, con esa diligencia, para poder lograr ese 100 que me está proyectando aquí. Entonces, es una cosa muy maravillosa y los alumnos eso nos han comentado. En los estudios que hicimos, tuvimos un grupo de control y un grupo de estudio.

El de control fue con 688 alumnos y el de estudio fue con 512. Los promedios finales que obtuvieron, 91 y 92, y las desviaciones estándar. Y alguien va a decir, subió un punto la calificación estándar, y la desviación estándar bajó del 16. 44 al 13. 95, pero estamos hablando de clases masivas, de clases masivas donde hay 500, casi 700 alumnos.

En este tablero teníamos el ejemplo de los 980 alumnos, Entonces, es un punto que tiene un alcance y un impacto muy grande. Y la desviación estándar que es a todos les subiste un punto pero la dispersión fue mucho menor. La desviación estándar es la distancia que hay entre el promedio y los datos, cómo está la distribución. La encuesta que hicimos es Esta herramienta me ayudó a reconocer mi desempeño en la clase y a mejorar mis calificaciones en esta materia. Hay 79% de acuerdo, 13% de acuerdo, ni de acuerdo ni desacuerdo, 4%, desacuerdo 2%, totalmente desacuerdo 2%.

En su mayoría, tenemos aquí 79 totalmente de acuerdo, más 13 que están de acuerdo, son 92%, el 92% de la clase dice que esto le ayudó a reconocer cómo está y a mejorar. Y le gustaría usar esta herramienta en otras clases, el 92 nuevamente dice "sí quiero utilizarla", "me da igual" es el 7, y un cachito de la gráfica dice que no le gustaría. Entonces, este indicador, que fue una encuesta, un instrumento que se lanzó para ver qué les había parecido fue bastante bueno. Entonces, en conclusión, ¿qué hallazgos encontramos? Los resultados cuantitativos y cualitativos, porque tuvimos muchos comentarios, nos muestran que estas analíticas nos ofrecen muchas ventajas no solo para el estudiante, para que se motive, para que cumpla con sus objetivos de aprendizaje, con el desarrollo de habilidades nuevas y competencias, sino también para que se sienta parte de un grupo. Decir, "entre todo el grupo tuvimos un promedio de 95".

Es una cosa extraordinaria, maravillosa, hermosa. Y luego dicen cómo hice para hacer eso, cómo esta herramienta me ayudó. Y adicionalmente, para el docente, para los profesores, es un activo valioso para dar seguimiento a los estudiantes. Tú das seguimiento de manera grupal, cómo va tu grupo, cómo van en esta clase, y cómo van individualmente, ¿OK? Entonces, eso es lo principal que encontramos en esta herramienta. La implementación, al inicio, requiere un poco de conocimiento de cómo manipular los datos, cómo crear el tablero, pero una vez que ya está eso realizado, es prácticamente automático, nomás hacerle copiar y pegar a los datos, al Excel, al Google Sheets, a la hoja de cálculos, y, automáticamente, hace la actualización de los indicadores.

No me queda nada más que agradecer por su tiempo dedicado a este video. Espero que les haya gustado. Ahí les comparto mi correo, germán. dominguez@tec. mx para cualquier duda o cualquier inquietud o asesoría que necesiten para implementar este tipo de herramientas con Canvas y con Google Data Studio con sus estudiantes.

Entonces, me despido. Les mando un saludo y un abrazo dondequiera que estén. Muchas gracias, hasta luego. Bye-bye.
colapso