Analíticas de Canvas para la mejora continua de contenidos - Tec de Mty - México
[MÚSICA] Hola, muy buenas tardes a todos, mi nombre es Carlos Díaz. Soy Profesor Asociado del departamento de Bioingeniería en el tecnológico de Monterrey, campus Ciudad de México. Y, junto con colegas del área de desarrollo de profesores, con la maestra Aretha Olvera, la maestra Magdalena Reyes, y Georgina Villanueva, trabajamos este proyecto desde hace ya un par de años, justo a raíz de la pandemia y de la necesidad de analizar este tipo de datos, que se titula: "Nuevas analíticas de Canvas LMS como herramienta para mejora continua de contenido de cursos". Este es un proyecto que está desarrollado desde el Tecnológico de Monterrey, campus Ciudad de México en el área de profesional. Primeramente, vamos a enmarcar un poco de la tecnología en la educación. Y conocemos que los procesos educativos se hacen más dinámicos, más lúdicos, innovadores y, además, transformadores, cuando implementamos el uso de la tecnología en la educación.
Tenemos, además, el uso de este tipo de plataformas de aprendizaje, lo que llamamos los Learning Management System, para poder hacer la gestión de este tipo de cursos, cursos académicos que están cargados en ciertas plataformas, para que, a través de medios digitales, podamos nosotros gestionarlos. Las ventajas de la implementación de la tecnología en la educación es, principalmente, la flexibilidad que tenemos tanto profesores como alumnos para poder acceder a estos contenidos, además de la ubicuidad de los contenidos, que podemos acceder a ellos en cualquier momento, la rentabilidad, además de la reducción de tiempos y costos, sobre todo para el envío y la evaluación de información, y, por supuesto, el manejo de este tipo de datos. Y, finalmente, uno de los puntos que quisiéramos explorar con este proyecto, y que lo hicimos durante algunos años, fue colectar datos estadísticos, lo que llamamos ahora las analíticas, para poder obtener información de los estudiantes a través de este Learning Management System, es decir, poder obtener métricas a raíz del desempeño de los estudiantes en los cursos digitales. En una búsqueda a través de la plataforma Scopus en el 2021, a finales del año pasado, nosotros pudimos identificar que la tendencia en publicaciones sobre los Learning Management Systems ha ido en incremento desde los 2000, aproximadamente desde el inicio de los 2000, principalmente debido a la popularización de estas plataformas. Eso implica que ha ido en incremento y, como vemos, el incremento ha sido significativo, de hecho, de manera exponencial, hasta llegar a nuestros años.
Además, en una búsqueda mediante inteligencia artificial, también en plataformas y en bases de datos, pudimos identificar que los términos relacionados y algunas regiones del mundo con el término LMS podemos identificar aquí "educación", "online", los términos "módulo", "Moodle", también como una plataforma importante, "Blackboard", también como alguna plataforma importante. Sin embargo, también tenemos algunas otras palabras genéricas como pueden ser "recursos" "datos", "plataforma", "organización", "contenido", "educación", por supuesto, "entrega", "entrenamiento", "enseñanza", "actividades", y, por supuesto, toda la terminología anexa como puede ser "implementación", "facilitación del aprendizaje", "adaptación", "interacción" y "entrega". Adicionalmente, en los conceptos de las regiones, podemos nosotros identificar que Norteamérica, específicamente en Norteamérica Estados Unidos, es uno de los participantes principales en la generación de contenidos donde se menciona la palabra Learning Management System. También tenemos Canadá como uno de los principales aportadores de información. Sin embargo, en la sección de Norteamérica, que es prácticamente un cuarto de las contribuciones que se encuentran, está México también como uno de los participantes importantes desde donde nosotros estamos ofreciendo esta experiencia del uso de las analíticas en Canvas LMS.
También podemos ver en otras regiones, como en Europa, que Reino Unido, Alemania y Holanda son participantes importantes. En la parte de Asia tenemos a China, a la India y a Arabia Saudita con algunos de los países que más contribuyen con esa información. Y, en el resto del mundo, tenemos prácticamente un cuarto de contribuciones entre África y Oceanía, donde Australia y Sudáfrica, así como Brasil, también, en la región de Latinoamérica, son contribuidores importantes. La propuesta que tenemos con este proyecto de investigación es poder realizar un análisis estadístico de la información que proporcionan las nuevas analíticas de Canvas LMS. Eso implica poder, durante el proyecto, discutir la utilidad de las analíticas a diferentes niveles.
como podremos ver a lo largo de nuestra experiencia de investigación, desde el punto de vista del profesor, de un curso específicamente, del departamento, que compila varios cursos, a nivel escuela, que compila, además, varios departamentos, y a nivel administración escolar, que compila varias escuelas, podemos nosotros proponer una herramienta metodológica para evaluar cuantitativamente el diseño de estos cursos en la plataforma Canvas. Adicionalmente, con esta experiencia nosotros proponemos una sistematización, que es posible, para poder sugerir mejoras en el diseño de cursos con base en información cuantitativa y que pueda ser analizada, derivados de los datos estadísticos que provienen de Canvas LMS. Esa es la propuesta de investigación y el proyecto que desarrollamos, por lo cual se implementó, a través del departamento de capacitación de profesores en el Tecnológico de Monterrey, nombrado CEDDIE, se realizó una capacitación a los profesores sobre el uso de las nuevas analíticas de Canvas. Esto durante el año 2020. Una vez implementado esto en el Campus Ciudad de México, se realizó con una serie de profesores en un grupo piloto, específicamente con siete docentes que, amablemente, participaron de manera voluntaria y decidieron contribuir con la información.
De diez grupos, con alrededor de 250 alumnos incluidos en estos diez grupos, proporcionaron ellos estos datos, de manera que los descargaron durante el curso como una de las actividades de esta capacitación que se les impartió a los profesores, recolectamos los datos y realizamos un análisis cuantitativo descriptivo de la información derivada de toda esta experiencia con el grupo piloto de profesores. Al respecto de los resultados y de los que pudimos nosotros encontrar con este proyecto de investigación de las nuevas analíticas de Canvas encontramos cuestiones interesantes. Lo que se va a discutir aquí es solamente la experiencia de la implementación con este grupo piloto de profesores, de siete profesores, sin embargo, nuestra propuesta de sistematización es poder realizar esto a diferentes niveles como he comentado. Específicamente, se pueden hacer análisis comparativos entre grupos para poder identificar dónde tenemos alumnos o grupos más o menos involucrados. Esto, por ejemplo, es una propuesta de análisis donde podemos nosotros, en diferentes gráficos de cajas y bigotes, poner las diferentes materias o los diferentes grupos y el número de participaciones que se registraron en la plataforma LMS.
En este sentido, por ejemplo, podemos identificar grupos que están muy involucrados y que los alumnos, dentro de este grupo, son muy participativos, así como algunos otros grupos que no lo son tanto o que son de menor duración. Por otro lado, también podemos hacer un estadístico descriptivo un poco más avanzado, como puede ser una distribución de frecuencias, donde encontramos un resumen de las participaciones específicamente por materia. En este caso, las materias están identificadas por claves, donde podemos ver una distribución de las participaciones en esta materia específicamente, así como sus gráficos de cajas y bigotes y algunos intervalos de confianza para sus medias y sus medianas. Lo que podemos ver aquí es encontrar si la distribución de las participaciones para cada uno de los alumnos, o cómo se distribuyeron estas participaciones en este grupo, es normal o si tenemos algunos sesgos. Es decir, que tenemos participaciones, o que tenemos alumnos que muestran participaciones anormalmente altas en comparación con el resto de sus compañeros.
Aquí podemos ver, por ejemplo, para este grupo, que tenemos una media de participaciones para cada alumno de 46 con un intervalo de confianza entre 44 y 47. 8, prácticamente 48, lo cual quiere decir que cada alumno, en promedio, estaría participando esa cantidad de veces. Este tipo de distribuciones de frecuencia son importantes también para nosotros poder identificar si hay alumnos que están anormalmente involucrados en el curso con demasiadas participaciones durante el semestre o en algún período, y también algunos alumnos que pueden tener un bajo envolvimiento en el curso lo cual también se puede identificar fácilmente con pocas participaciones comparado con el resto de sus compañeros. Adicionalmente, con esta herramienta estadística, en este caso realizamos este análisis estadístico en el programa Minitab podemos ver cómo podemos generar una serie de estadísticos descriptivos, como son estadísticos tanto de tendencia central como también medidas de variabilidad. En algunas otras exploraciones que realizamos podemos ver también un análisis comparativo por grupo de la calificación obtenida en el curso.
¿Eso qué implica? Que también nosotros podemos identificar como comentábamos, a nivel desde el departamento, comparando diferentes grupos o de diferentes grupos de un mismo profesor o diferentes profesores en un mismo grupo, podemos identificar si hubo variaciones significativas entre las calificaciones obtenidas. En este caso, por ejemplo podemos ver algunos grupos con distribuciones bastante amplias, es decir, con una desviación de las calificaciones obtenidas, como son estos dos, o algunos otros grupos que tienen una calificación muy constante y, por lo tanto, la variabilidad y la dispersión que se obtienen en este grupo es mucho menor. Esto es importante, sobre todo a nivel departamento o a nivel escuela, porque se puede tener un panorama de cómo están comportándose las materias en diferentes- en las calificaciones en diferentes materias. Así también podemos realizar asociaciones, asociaciones cuantitativas entre la calificación y el número de vistas que tiene cada alumno en el curso. Esto fue interesante porque, así, nosotros, estratificando en estos análisis de regresión, pudimos graficar, como vemos aquí en cada panel un grupo diferente, una clave de materia diferente y tenemos en el eje de las X el número de vistas por página y en eje de la Y tenemos la calificación obtenida.
Como vemos aquí, hay algunas regresiones interesantes específicamente donde vemos que a mayor número de vistas la calificación obtenida por el alumno es mayor, específicamente, por ejemplo, en este grupo. Sin embargo, hay algunos otros cursos donde, prácticamente, independientemente del número de vistas que tiene el alumno, la calificación obtenida fue constante. Esto, por supuesto, se puede derivar por la naturaleza misma de la materia como pueden ser algunas materias cortas, unas materias más cortas que ocurren en nuestro plan de estudios, o algunas otras materias académicas que implican participación del alumno dentro de la plataforma. Sin embargo, esto también es importante porque entre el mismo grupo de diferentes profesores se puede ver también qué tanto el profesor está estimulando el envolvimiento de los alumnos en este curso. También se pudieron identificar tendencias temporales a lo largo de la exploración que realizamos en estas nuevas analíticas.
Eso implica, por ejemplo, análisis con series de tiempo. Específicamente mediante series de tiempo pudimos nosotros trabajar y realizar la identificación de algunos períodos críticos para algunas materias. Esto no es general en nuestro plan de estudios, dependiendo si estamos trabajando en una población de preparatoria, de bachillerato o en una población nivel universitario, es decir, de profesional, Tenemos diferentes tiempos críticos y temporalidades distintas sobre todo respecto a los períodos de examinaciones parciales o la realización de exámenes finales. Específicamente aquí tenemos nosotros una serie de tiempo que se graficó con el número de semanas en el eje de la Y y el número de vistas por cada página que nosotros tenemos en el Canvas que podemos llegar a ver que son demasiado altas, es decir, cada página cuántas vistas recibió en promedio durante el tiempo. Es decir, aquí nosotros podemos identificar para la materia, por ejemplo, que tiene inicio BT que es la que está marcada aquí en verde, tenemos puntos críticos en los cuales el número de vistas se maximizó durante las semanas, específicamente en la semana 12 y en la semana seis, que, justamente, coincide con los períodos de exámenes parciales primero y segundo parcial, así como algunas otras materias, por ejemplo, las que tienen claves PC donde podemos identificar que entre la semana tres y cuatro tenemos nosotros una gran cantidad de vistas.
Lo mismo ocurre, aproximadamente, entre las semanas ocho y nueve, y finalmente, también en la semana 11 y en la semana 14. Eso implica diferentes períodos, períodos intermedios de examinación a los alumnos, lo cual coincide, también, con las tendencias temporales que nosotros encontramos. También vemos algunas materias donde el grado de envolvimiento de los alumnos no fue tan amplio, como puede ser alguna de estas materias, como la que está en rojo, donde la optimización de tiempos ocurrió hacia el final. Eso implica y coincide, justamente, con materias que realizan examen final, por lo cual los alumnos llegan y acceden a los recursos que están montados en la plataforma. Este tipo de tendencias temporales y de análisis mediante series de tiempo resulta interesante y de particular repercusión durante la exploración sobre todo para poder analizar en qué períodos los alumnos y los profesores se muestran más activos en este contexto.
Como discusión de este proyecto y con estos resultados preliminares que pudimos mostrar, nosotros tenemos varias consideraciones. Entre ello, que los datos derivados de estas nuevas analíticas de Canvas realmente pueden apoyar hacia las inferencias del docente en sus cursos. Eso implica que, activar las nuevas analíticas de Canvas, una vez identificado nuestro curso en la plataforma nos puede permitir identificar aquellas actividades o recursos que tengan alta o baja participación. En ese sentido, para los que realizan gestión y modificación de los contenidos en estas plataformas, se puede empezar a encontrar puntos o áreas de mejora para poder optimizar estos recursos, hacerlos más atractivos para los alumnos, o realizar una mejora o una optimización de ellos. También nosotros, a través de las nuevas analíticas de Canvas, podemos proponer una tendencia, un análisis de tendencias de cómo se desenvuelven o cómo se envuelven los alumnos en el curso además de cómo están rindiendo los estudiantes en la plataforma.
Eso implica, mediante series de tiempo, poder ir identificando algunos hitos importantes incluso también a nivel de la gestión académica, de la gestión de toda la institución nosotros podríamos ir ubicando dónde están ocurriendo algunos períodos importantes o de particular envolvimiento y enganche con el alumno en estos cursos. También podemos nosotros identificar el desempeño de alumnos, tanto en promedio como de alumnos particulares en períodos específicos de tiempo o en algún curso completo. Eso implica que, como profesores, también podemos nosotros identificar en qué momentos están los alumnos más activos en esta plataforma. La propuesta de sistematización que tenemos nosotros con este proyecto derivados de las nuevas analíticas de Canvas es, primeramente, activar las nuevas analíticas de Canvas una vez que tengamos el inicio de nuestro período académico como profesores, y descargar y compartir los datos al finalizar cada período académico. Eso implica tener una centralización de estos datos y que nosotros como profesores tengamos a alguien asignado para enviar esta descarga, que puede ser en formato CSV para que se compile, se acomode, se depure la información, y entonces se empiece a realizar esta exploración que resulta de particular interés ya a nivel masivo.
Adicionalmente podríamos nosotros, desde una perspectiva de gestión académica, poder recolectar la información histórica de varios períodos, de varios profesores y de varias materias, para poder identificar todas estas cualidades que históricamente podrían realizarse y que serían de interés, también, para poder mejorar y optimizar este tipo de recursos. Finalmente, a diferentes niveles, el análisis estadístico se puede hacer cada vez más rico y cada vez entregar más información al respecto de cómo estas plataformas se pueden gestar. Eso implica tener, por ejemplo, un solo profesor realizando su análisis histórico de lo que ha ocurrido con el mismo grupo, con la misma materia, a lo largo del tiempo en diferentes períodos académicos por ejemplo, en el período académico de verano o en el período académico de invierno comparado con los períodos semestrales. Y, además, podríamos nosotros también llevar esto a nivel de grupos entre diferentes profesores y, finalmente, a nivel masivo ya con diferentes departamentos o escuelas en una misma institución. Finalmente, como conclusiones, y como un mensaje para llevar a casa, nosotros tenemos que la difusión del uso estadístico de datos de las nuevas analíticas de Canvas en los cursos que están montados en esta plataforma es importantísimo.
Tenemos, también, como profesores, que buscar esta mejora continua y esta optimización de los recursos que tenemos montados en las plataformas por lo cual difundir este uso de datos es algo importantísimo y nosotros, que ya hemos iniciado esta exploración, poder transmitir y difundir esta palabra al respecto del potencial análisis que se puede llevar a cabo es importante. También nosotros encontramos, como ya lo he reiterado en ocasiones anteriores, la utilidad a nivel de un profesor, un curso, un departamento, una escuela, incluso una región o a nivel nacional, poder identificar este tipo de análisis y poder tomarlo como una herramienta importante para la mejora continua a nivel de una centralización de datos y de poder optimizar estas estrategias. También podemos nosotros, en las analíticas, encontrar una herramienta para plantear de manera informada y de manera analítica y cuantitativa cómo podemos mejorar el contenido de estos cursos. Eso implica que nosotros, como profesores. proveemos la información y, quizás de algún departamento o de alguna colaboración que tengamos con un centro o alguien que esté colaborando para compilar toda esta información, que podamos nosotros iniciar este tipo de análisis.
Finalmente, y como en cualquier área del conocimiento, la mejora continua de la experiencia del aprendizaje del alumno y de la práctica docente es esencial y es nuestro compromiso como docentes mejorar cada semestre cada implementación que tengamos en nuestros cursos estas herramientas y el conocimiento que nosotros ofrecemos y la experiencia de enseñanza-aprendizaje que tenemos para los alumnos. Esto implica no solamente realizar esto por sentimiento o por el feeling que tenemos ya como profesores impartiendo históricamente alguna clase, sino también que nosotros, con las nuevas analíticas de Canvas, podemos tomar estas estrategias como una idea cuantitativa y completamente analítica de la implementación de las mejoras y eso nos hará, por supuesto, cada vez mejores profesores y tener una mejor experiencia de enseñanza-aprendizaje para los alumnos. Pues, con esto espero que haya tenido un panorama general y que hayamos podido transmitir este panorama general de la implementación de las nuevas analíticas de Canvas. Les agradezco mucho su atención y su participación en esta conferencia. Mi nombre es Carlos Díaz.
Reitero, soy Profesor Asociado del Departamento de Bioingeniería en la escuela de Ingeniería y Ciencias del Tecnológico de Monterrey, campus Ciudad de México. Dejo mis datos de contacto para cualquier comunicación posterior, Será un gusto poder contribuir con información y además con compartir mejores prácticas para poder optimizar el uso de las nuevas analíticas de Canvas en la mejora continua de nuestros cursos. Muchas gracias.
Tenemos, además, el uso de este tipo de plataformas de aprendizaje, lo que llamamos los Learning Management System, para poder hacer la gestión de este tipo de cursos, cursos académicos que están cargados en ciertas plataformas, para que, a través de medios digitales, podamos nosotros gestionarlos. Las ventajas de la implementación de la tecnología en la educación es, principalmente, la flexibilidad que tenemos tanto profesores como alumnos para poder acceder a estos contenidos, además de la ubicuidad de los contenidos, que podemos acceder a ellos en cualquier momento, la rentabilidad, además de la reducción de tiempos y costos, sobre todo para el envío y la evaluación de información, y, por supuesto, el manejo de este tipo de datos. Y, finalmente, uno de los puntos que quisiéramos explorar con este proyecto, y que lo hicimos durante algunos años, fue colectar datos estadísticos, lo que llamamos ahora las analíticas, para poder obtener información de los estudiantes a través de este Learning Management System, es decir, poder obtener métricas a raíz del desempeño de los estudiantes en los cursos digitales. En una búsqueda a través de la plataforma Scopus en el 2021, a finales del año pasado, nosotros pudimos identificar que la tendencia en publicaciones sobre los Learning Management Systems ha ido en incremento desde los 2000, aproximadamente desde el inicio de los 2000, principalmente debido a la popularización de estas plataformas. Eso implica que ha ido en incremento y, como vemos, el incremento ha sido significativo, de hecho, de manera exponencial, hasta llegar a nuestros años.
Además, en una búsqueda mediante inteligencia artificial, también en plataformas y en bases de datos, pudimos identificar que los términos relacionados y algunas regiones del mundo con el término LMS podemos identificar aquí "educación", "online", los términos "módulo", "Moodle", también como una plataforma importante, "Blackboard", también como alguna plataforma importante. Sin embargo, también tenemos algunas otras palabras genéricas como pueden ser "recursos" "datos", "plataforma", "organización", "contenido", "educación", por supuesto, "entrega", "entrenamiento", "enseñanza", "actividades", y, por supuesto, toda la terminología anexa como puede ser "implementación", "facilitación del aprendizaje", "adaptación", "interacción" y "entrega". Adicionalmente, en los conceptos de las regiones, podemos nosotros identificar que Norteamérica, específicamente en Norteamérica Estados Unidos, es uno de los participantes principales en la generación de contenidos donde se menciona la palabra Learning Management System. También tenemos Canadá como uno de los principales aportadores de información. Sin embargo, en la sección de Norteamérica, que es prácticamente un cuarto de las contribuciones que se encuentran, está México también como uno de los participantes importantes desde donde nosotros estamos ofreciendo esta experiencia del uso de las analíticas en Canvas LMS.
También podemos ver en otras regiones, como en Europa, que Reino Unido, Alemania y Holanda son participantes importantes. En la parte de Asia tenemos a China, a la India y a Arabia Saudita con algunos de los países que más contribuyen con esa información. Y, en el resto del mundo, tenemos prácticamente un cuarto de contribuciones entre África y Oceanía, donde Australia y Sudáfrica, así como Brasil, también, en la región de Latinoamérica, son contribuidores importantes. La propuesta que tenemos con este proyecto de investigación es poder realizar un análisis estadístico de la información que proporcionan las nuevas analíticas de Canvas LMS. Eso implica poder, durante el proyecto, discutir la utilidad de las analíticas a diferentes niveles.
como podremos ver a lo largo de nuestra experiencia de investigación, desde el punto de vista del profesor, de un curso específicamente, del departamento, que compila varios cursos, a nivel escuela, que compila, además, varios departamentos, y a nivel administración escolar, que compila varias escuelas, podemos nosotros proponer una herramienta metodológica para evaluar cuantitativamente el diseño de estos cursos en la plataforma Canvas. Adicionalmente, con esta experiencia nosotros proponemos una sistematización, que es posible, para poder sugerir mejoras en el diseño de cursos con base en información cuantitativa y que pueda ser analizada, derivados de los datos estadísticos que provienen de Canvas LMS. Esa es la propuesta de investigación y el proyecto que desarrollamos, por lo cual se implementó, a través del departamento de capacitación de profesores en el Tecnológico de Monterrey, nombrado CEDDIE, se realizó una capacitación a los profesores sobre el uso de las nuevas analíticas de Canvas. Esto durante el año 2020. Una vez implementado esto en el Campus Ciudad de México, se realizó con una serie de profesores en un grupo piloto, específicamente con siete docentes que, amablemente, participaron de manera voluntaria y decidieron contribuir con la información.
De diez grupos, con alrededor de 250 alumnos incluidos en estos diez grupos, proporcionaron ellos estos datos, de manera que los descargaron durante el curso como una de las actividades de esta capacitación que se les impartió a los profesores, recolectamos los datos y realizamos un análisis cuantitativo descriptivo de la información derivada de toda esta experiencia con el grupo piloto de profesores. Al respecto de los resultados y de los que pudimos nosotros encontrar con este proyecto de investigación de las nuevas analíticas de Canvas encontramos cuestiones interesantes. Lo que se va a discutir aquí es solamente la experiencia de la implementación con este grupo piloto de profesores, de siete profesores, sin embargo, nuestra propuesta de sistematización es poder realizar esto a diferentes niveles como he comentado. Específicamente, se pueden hacer análisis comparativos entre grupos para poder identificar dónde tenemos alumnos o grupos más o menos involucrados. Esto, por ejemplo, es una propuesta de análisis donde podemos nosotros, en diferentes gráficos de cajas y bigotes, poner las diferentes materias o los diferentes grupos y el número de participaciones que se registraron en la plataforma LMS.
En este sentido, por ejemplo, podemos identificar grupos que están muy involucrados y que los alumnos, dentro de este grupo, son muy participativos, así como algunos otros grupos que no lo son tanto o que son de menor duración. Por otro lado, también podemos hacer un estadístico descriptivo un poco más avanzado, como puede ser una distribución de frecuencias, donde encontramos un resumen de las participaciones específicamente por materia. En este caso, las materias están identificadas por claves, donde podemos ver una distribución de las participaciones en esta materia específicamente, así como sus gráficos de cajas y bigotes y algunos intervalos de confianza para sus medias y sus medianas. Lo que podemos ver aquí es encontrar si la distribución de las participaciones para cada uno de los alumnos, o cómo se distribuyeron estas participaciones en este grupo, es normal o si tenemos algunos sesgos. Es decir, que tenemos participaciones, o que tenemos alumnos que muestran participaciones anormalmente altas en comparación con el resto de sus compañeros.
Aquí podemos ver, por ejemplo, para este grupo, que tenemos una media de participaciones para cada alumno de 46 con un intervalo de confianza entre 44 y 47. 8, prácticamente 48, lo cual quiere decir que cada alumno, en promedio, estaría participando esa cantidad de veces. Este tipo de distribuciones de frecuencia son importantes también para nosotros poder identificar si hay alumnos que están anormalmente involucrados en el curso con demasiadas participaciones durante el semestre o en algún período, y también algunos alumnos que pueden tener un bajo envolvimiento en el curso lo cual también se puede identificar fácilmente con pocas participaciones comparado con el resto de sus compañeros. Adicionalmente, con esta herramienta estadística, en este caso realizamos este análisis estadístico en el programa Minitab podemos ver cómo podemos generar una serie de estadísticos descriptivos, como son estadísticos tanto de tendencia central como también medidas de variabilidad. En algunas otras exploraciones que realizamos podemos ver también un análisis comparativo por grupo de la calificación obtenida en el curso.
¿Eso qué implica? Que también nosotros podemos identificar como comentábamos, a nivel desde el departamento, comparando diferentes grupos o de diferentes grupos de un mismo profesor o diferentes profesores en un mismo grupo, podemos identificar si hubo variaciones significativas entre las calificaciones obtenidas. En este caso, por ejemplo podemos ver algunos grupos con distribuciones bastante amplias, es decir, con una desviación de las calificaciones obtenidas, como son estos dos, o algunos otros grupos que tienen una calificación muy constante y, por lo tanto, la variabilidad y la dispersión que se obtienen en este grupo es mucho menor. Esto es importante, sobre todo a nivel departamento o a nivel escuela, porque se puede tener un panorama de cómo están comportándose las materias en diferentes- en las calificaciones en diferentes materias. Así también podemos realizar asociaciones, asociaciones cuantitativas entre la calificación y el número de vistas que tiene cada alumno en el curso. Esto fue interesante porque, así, nosotros, estratificando en estos análisis de regresión, pudimos graficar, como vemos aquí en cada panel un grupo diferente, una clave de materia diferente y tenemos en el eje de las X el número de vistas por página y en eje de la Y tenemos la calificación obtenida.
Como vemos aquí, hay algunas regresiones interesantes específicamente donde vemos que a mayor número de vistas la calificación obtenida por el alumno es mayor, específicamente, por ejemplo, en este grupo. Sin embargo, hay algunos otros cursos donde, prácticamente, independientemente del número de vistas que tiene el alumno, la calificación obtenida fue constante. Esto, por supuesto, se puede derivar por la naturaleza misma de la materia como pueden ser algunas materias cortas, unas materias más cortas que ocurren en nuestro plan de estudios, o algunas otras materias académicas que implican participación del alumno dentro de la plataforma. Sin embargo, esto también es importante porque entre el mismo grupo de diferentes profesores se puede ver también qué tanto el profesor está estimulando el envolvimiento de los alumnos en este curso. También se pudieron identificar tendencias temporales a lo largo de la exploración que realizamos en estas nuevas analíticas.
Eso implica, por ejemplo, análisis con series de tiempo. Específicamente mediante series de tiempo pudimos nosotros trabajar y realizar la identificación de algunos períodos críticos para algunas materias. Esto no es general en nuestro plan de estudios, dependiendo si estamos trabajando en una población de preparatoria, de bachillerato o en una población nivel universitario, es decir, de profesional, Tenemos diferentes tiempos críticos y temporalidades distintas sobre todo respecto a los períodos de examinaciones parciales o la realización de exámenes finales. Específicamente aquí tenemos nosotros una serie de tiempo que se graficó con el número de semanas en el eje de la Y y el número de vistas por cada página que nosotros tenemos en el Canvas que podemos llegar a ver que son demasiado altas, es decir, cada página cuántas vistas recibió en promedio durante el tiempo. Es decir, aquí nosotros podemos identificar para la materia, por ejemplo, que tiene inicio BT que es la que está marcada aquí en verde, tenemos puntos críticos en los cuales el número de vistas se maximizó durante las semanas, específicamente en la semana 12 y en la semana seis, que, justamente, coincide con los períodos de exámenes parciales primero y segundo parcial, así como algunas otras materias, por ejemplo, las que tienen claves PC donde podemos identificar que entre la semana tres y cuatro tenemos nosotros una gran cantidad de vistas.
Lo mismo ocurre, aproximadamente, entre las semanas ocho y nueve, y finalmente, también en la semana 11 y en la semana 14. Eso implica diferentes períodos, períodos intermedios de examinación a los alumnos, lo cual coincide, también, con las tendencias temporales que nosotros encontramos. También vemos algunas materias donde el grado de envolvimiento de los alumnos no fue tan amplio, como puede ser alguna de estas materias, como la que está en rojo, donde la optimización de tiempos ocurrió hacia el final. Eso implica y coincide, justamente, con materias que realizan examen final, por lo cual los alumnos llegan y acceden a los recursos que están montados en la plataforma. Este tipo de tendencias temporales y de análisis mediante series de tiempo resulta interesante y de particular repercusión durante la exploración sobre todo para poder analizar en qué períodos los alumnos y los profesores se muestran más activos en este contexto.
Como discusión de este proyecto y con estos resultados preliminares que pudimos mostrar, nosotros tenemos varias consideraciones. Entre ello, que los datos derivados de estas nuevas analíticas de Canvas realmente pueden apoyar hacia las inferencias del docente en sus cursos. Eso implica que, activar las nuevas analíticas de Canvas, una vez identificado nuestro curso en la plataforma nos puede permitir identificar aquellas actividades o recursos que tengan alta o baja participación. En ese sentido, para los que realizan gestión y modificación de los contenidos en estas plataformas, se puede empezar a encontrar puntos o áreas de mejora para poder optimizar estos recursos, hacerlos más atractivos para los alumnos, o realizar una mejora o una optimización de ellos. También nosotros, a través de las nuevas analíticas de Canvas, podemos proponer una tendencia, un análisis de tendencias de cómo se desenvuelven o cómo se envuelven los alumnos en el curso además de cómo están rindiendo los estudiantes en la plataforma.
Eso implica, mediante series de tiempo, poder ir identificando algunos hitos importantes incluso también a nivel de la gestión académica, de la gestión de toda la institución nosotros podríamos ir ubicando dónde están ocurriendo algunos períodos importantes o de particular envolvimiento y enganche con el alumno en estos cursos. También podemos nosotros identificar el desempeño de alumnos, tanto en promedio como de alumnos particulares en períodos específicos de tiempo o en algún curso completo. Eso implica que, como profesores, también podemos nosotros identificar en qué momentos están los alumnos más activos en esta plataforma. La propuesta de sistematización que tenemos nosotros con este proyecto derivados de las nuevas analíticas de Canvas es, primeramente, activar las nuevas analíticas de Canvas una vez que tengamos el inicio de nuestro período académico como profesores, y descargar y compartir los datos al finalizar cada período académico. Eso implica tener una centralización de estos datos y que nosotros como profesores tengamos a alguien asignado para enviar esta descarga, que puede ser en formato CSV para que se compile, se acomode, se depure la información, y entonces se empiece a realizar esta exploración que resulta de particular interés ya a nivel masivo.
Adicionalmente podríamos nosotros, desde una perspectiva de gestión académica, poder recolectar la información histórica de varios períodos, de varios profesores y de varias materias, para poder identificar todas estas cualidades que históricamente podrían realizarse y que serían de interés, también, para poder mejorar y optimizar este tipo de recursos. Finalmente, a diferentes niveles, el análisis estadístico se puede hacer cada vez más rico y cada vez entregar más información al respecto de cómo estas plataformas se pueden gestar. Eso implica tener, por ejemplo, un solo profesor realizando su análisis histórico de lo que ha ocurrido con el mismo grupo, con la misma materia, a lo largo del tiempo en diferentes períodos académicos por ejemplo, en el período académico de verano o en el período académico de invierno comparado con los períodos semestrales. Y, además, podríamos nosotros también llevar esto a nivel de grupos entre diferentes profesores y, finalmente, a nivel masivo ya con diferentes departamentos o escuelas en una misma institución. Finalmente, como conclusiones, y como un mensaje para llevar a casa, nosotros tenemos que la difusión del uso estadístico de datos de las nuevas analíticas de Canvas en los cursos que están montados en esta plataforma es importantísimo.
Tenemos, también, como profesores, que buscar esta mejora continua y esta optimización de los recursos que tenemos montados en las plataformas por lo cual difundir este uso de datos es algo importantísimo y nosotros, que ya hemos iniciado esta exploración, poder transmitir y difundir esta palabra al respecto del potencial análisis que se puede llevar a cabo es importante. También nosotros encontramos, como ya lo he reiterado en ocasiones anteriores, la utilidad a nivel de un profesor, un curso, un departamento, una escuela, incluso una región o a nivel nacional, poder identificar este tipo de análisis y poder tomarlo como una herramienta importante para la mejora continua a nivel de una centralización de datos y de poder optimizar estas estrategias. También podemos nosotros, en las analíticas, encontrar una herramienta para plantear de manera informada y de manera analítica y cuantitativa cómo podemos mejorar el contenido de estos cursos. Eso implica que nosotros, como profesores. proveemos la información y, quizás de algún departamento o de alguna colaboración que tengamos con un centro o alguien que esté colaborando para compilar toda esta información, que podamos nosotros iniciar este tipo de análisis.
Finalmente, y como en cualquier área del conocimiento, la mejora continua de la experiencia del aprendizaje del alumno y de la práctica docente es esencial y es nuestro compromiso como docentes mejorar cada semestre cada implementación que tengamos en nuestros cursos estas herramientas y el conocimiento que nosotros ofrecemos y la experiencia de enseñanza-aprendizaje que tenemos para los alumnos. Esto implica no solamente realizar esto por sentimiento o por el feeling que tenemos ya como profesores impartiendo históricamente alguna clase, sino también que nosotros, con las nuevas analíticas de Canvas, podemos tomar estas estrategias como una idea cuantitativa y completamente analítica de la implementación de las mejoras y eso nos hará, por supuesto, cada vez mejores profesores y tener una mejor experiencia de enseñanza-aprendizaje para los alumnos. Pues, con esto espero que haya tenido un panorama general y que hayamos podido transmitir este panorama general de la implementación de las nuevas analíticas de Canvas. Les agradezco mucho su atención y su participación en esta conferencia. Mi nombre es Carlos Díaz.
Reitero, soy Profesor Asociado del Departamento de Bioingeniería en la escuela de Ingeniería y Ciencias del Tecnológico de Monterrey, campus Ciudad de México. Dejo mis datos de contacto para cualquier comunicación posterior, Será un gusto poder contribuir con información y además con compartir mejores prácticas para poder optimizar el uso de las nuevas analíticas de Canvas en la mejora continua de nuestros cursos. Muchas gracias.