Novas analíticas do Canvas melhora o conteúdo - Tec. de Mty - México

Compartilhe
Compartilhe
canvas-mid-blob
canvas-mid-blob
Video Transcript
Olá, boa tarde a todos. Meu nome é Carlos Díaz, sou professor associado no Departamento de Engenharia do Tecnológico de Monterrey, Campus da Cidade do México e junto com colegas da Área de Desenvolvimento de Professores com a professora Areta Olvera, Magdalena Reyes e Georgina Villanueva. Há alguns anos estamos trabalhando neste projeto, justamente como resultado da pandemia e da necessidade de analisar este tipo de dados. Ele se intitula Novas Análises de Canvas LMS como uma ferramenta para a melhoria contínua do conteúdo dos cursos. Este é um projeto que está sendo desenvolvido no Tecnológico de Monterrey, Campus Ciudad de México, na área das profissões. Primeiro, vamos enquadrar um pouco de tecnologia na educação e sabemos que os processos educacionais se tornam mais dinâmicos, mais lúdicos, inovadores e também transformadores.

Quando implementamos o uso da tecnologia na educação, temos também o uso deste tipo de plataformas de aprendizagem, o que chamamos de Learning Management Systems, para poder administrar este tipo de cursos, cursos acadêmicos que são carregados em determinadas plataformas para que possamos administrá-los através de meios digitais. As vantagens da implementação da tecnologia na educação são principalmente a flexibilidade que tanto professores quanto alunos têm para acessar esses conteúdos, assim como a ubiquidade dos conteúdos que podemos acessar a qualquer momento. Relação custo-eficácia. Além da redução de tempo e custos, especialmente para o envio e avaliação de informações e, é claro, para o tratamento deste tipo de dados. E finalmente, um dos pontos que gostaríamos de explorar com este projeto e que fizemos durante alguns anos, foi a coleta de dados estatísticos, o que agora chamamos de analíticos para poder obter informações dos alunos através deste Learning Management System, ou seja, poder obter métricas baseadas no desempenho dos alunos nos cursos digitais.

Em uma busca através da plataforma Scopus em ano passado, pudemos identificar que a tendência nas publicações sobre Learning Management System tem aumentado desde o início dos anos 2000, aproximadamente desde o início dos anos 2000, principalmente devido à popularização dessas plataformas. Isso implica que o aumento foi e como podemos ver, o aumento tem sido significativo, de fato, exponencialmente, até nossos anos. Além disso, em uma busca usando inteligência artificial, também em plataformas e bancos de dados, conseguimos identificar esses termos relacionados e algumas regiões do mundo com o termo LMS. Podemos identificar aqui a Educação online. Os termos módulos também como uma plataforma importante Blackboard também como alguma plataforma importante.

Entretanto, também temos algumas outras palavras genéricas como recursos, dados, plataforma, organização, conteúdo, educação, claro, entrega, treinamento, ensino, atividades e, claro, toda a terminologia relacionada como implementação, facilitação de aprendizagem, adaptação, interação e entrega. Além disso, nos conceitos das regiões, podemos identificar que a América do Norte, especificamente na América do Norte, os Estados Unidos, é um dos principais participantes na geração de conteúdo onde a palavra Learning Management System é mencionada. Também temos o Canadá como um dos principais contribuintes de informação. Entretanto, na seção norte-americana, que é praticamente 1/4 das contribuições encontradas, o México é também um dos participantes importantes de onde estamos oferecendo esta experiência do uso da análise em Canvas LMS. Podemos ver também em outras regiões, como na Europa, que o Reino Unido, a Alemanha a Alemanha e a Holanda são atores importantes no lado asiático temos a China, a Índia e Arábia Saudita, como alguns dos países que mais contribuem com estas informações.

E no resto do mundo temos praticamente 1/4 das contribuições entre a África e a Oceania, onde a Austrália e a África do Sul, assim como o Brasil também na região da América Latina, são importantes contribuintes. A proposta que temos com este projeto de pesquisa é poder realizar uma análise estatística das informações fornecidas pelas novas análises do Canvas LMS. Isto implica em poder discutir durante o projeto a utilidade das análises em diferentes níveis, como poderemos ver ao longo de nossa experiência de pesquisa. Do ponto de vista do professor de um curso, especificamente do departamento que compila vários cursos em nível escolar, que compila vários departamentos e em nível de administração escolar que compila várias escolas. Podemos propor uma ferramenta metodológica para avaliar quantitativamente o projeto destes cursos na plataforma Canvas.

Além disso, com esta experiência, propomos uma sistematização que é possível a fim de sugerir melhorias no desenho dos cursos com base em informações quantitativas e que podem ser analisadas, derivadas dos dados estatísticos provenientes do Canvas LMS. Esta é a proposta de pesquisa e o projeto que desenvolvemos, pela qual foi implementado através do EM do Departamento de Formação de Professores do Tecnológico de Monterrey. Nomeado. Foi realizado um treinamento para professores sobre o uso da nova Análise no Canvas, isto durante o ano de no Campus da Cidade do México, foi realizado com uma série de professores em um grupo piloto, especificamente com sete professores que gentilmente participaram voluntariamente e decidiram contribuir com as informações de dez grupos com cerca de 250 alunos incluídos nesses dez grupos. Eles forneceram estes dados para que pudessem fazer o download durante o curso como uma das atividades deste treinamento dado aos professores.

Coletamos os dados e realizamos uma análise quantitativa descritiva das informações derivadas de toda essa experiência com o grupo piloto de professores. Em termos dos resultados e do que pudemos descobrir com este projeto de pesquisa da nova Análise de Canvas encontramos questões interessantes. O que será discutido aqui é apenas a experiência da implementação com este grupo piloto de professores de sete professores. No entanto, nossa proposta de sistematização é poder fazer isso em diferentes níveis, como discutido acima. Especificamente, análises comparativas podem ser feitas entre grupos a fim de identificar onde temos alunos ou grupos mais ou menos envolvidos.

Esta, por exemplo, é uma proposta de análise onde podemos colocar em diferentes gráficos de caixas os diferentes assuntos ou os diferentes grupos e o número de participações que foram registradas na plataforma LMS. Neste sentido, por exemplo, podemos identificar grupos que estão muito envolvidos e que os alunos dentro deste grupo são muito participativos, bem como alguns outros grupos que não estão tão envolvidos ou que são de menor duração. Por outro lado, também podemos fazer uma estatística descritiva um pouco mais avançada, como uma distribuição de frequências onde encontramos um resumo das participações especificamente por matéria. Neste caso, as matérias são identificadas por chaves, onde podemos ver aqui uma distribuição participações nesta matéria específica, bem como seus gráficos de caixa e alguns intervalos de confiança para seus meios e medianas. O que podemos ver aqui é, em contraste, a distribuição das participações para cada um dos alunos, que, bom como dissemos, para que como essas participações foram distribuídas nesse grupo seja normal ou se temos alguns vieses, ou seja, que temos participações ou que temos alunos que mostram participações anormalmente altas em comparação com o resto de seus colegas.

Aqui podemos ver, por exemplo, para este grupo temos um número médio de participações para cada aluno de 46 com um intervalo de confiança entre praticamente 48, o que significa que cada aluno, em média, estaria participando desse número de vezes. Este tipo de distribuição de frequência também é importante para que possamos identificar se há alunos que estão anormalmente envolvidos no curso, com muitas participações durante o semestre ou em algum período, e também alguns alunos que podem ter uma baixa, um baixo, envolvimento no curso, o que também pode ser facilmente identificado com poucas participações em comparação com o resto de seus colegas. Além disso, com esta ferramenta estatística que neste caso realizamos esta análise estatística no programa militar, podemos ver como podemos gerar uma série de estatísticas descritivas tais como estatísticas de tendência central, bem como medidas de variabilidade. Em algumas outras explorações que realizamos, também podemos ver uma análise comparativa por grupo da nota obtida no curso. Isto significa que também podemos identificar, como dizíamos em nível departamental, comparando diferentes grupos ou diferentes grupos do mesmo professor ou diferentes professores no mesmo grupo.

Podemos identificar se houve variações significativas entre as notas obtidas. Neste caso. Por exemplo, podemos ver alguns grupos com distribuições bastante amplas, ou seja, com um desvio das notas obtidas, como estes dois ou alguns outros grupos que têm uma nota muito constante e, portanto, a variabilidade e dispersão obtida neste grupo é muito menor. Isto é importante especialmente em nível de departamento ou de escola, porque você pode ter uma visão geral de como as matérias estão se desempenhando em diferentes EM nas notas, perdão, em diferentes matérias. Assim, também podemos fazer associações, associações quantitativas entre a nota e o número de visualizações que cada aluno tem no curso.

Isto foi interessante porque foi assim que nos estratificamos neste caso. Nestas análises de regressão pudemos traçar, como vemos aqui em cada painel, um grupo diferente, uma chave de matéria diferente, e temos no eixo X o número de visualizações por por página e no eixo da teremos a nota obtida. Como podemos ver, há algumas regressões interessantes aqui especificamente onde vemos que quanto maior o número de visualizações, maior a nota obtida pelo aluno. specificamente, por exemplo, neste grupo. Entretanto, existem alguns outros cursos onde praticamente, independentemente do número de visualizações do aluno a nota obtida foi constante.

Isto, naturalmente, pode ser derivado da natureza da própria matéria, tais como algumas matéria curtas. Algumas matérias mais curtas que ocorrem em nosso currículo ou algumas outras matérias acadêmicas que envolvem a participação do aluno dentro da plataforma. Entretanto, isto também é importante porque entre o mesmo grupo de diferentes professores você também pode ver o quanto o professor está estimulando o envolvimento dos alunos neste curso. Também foi possível identificar tendências temporais durante toda a exploração que realizamos nestas novas análises. Isso implica, por exemplo, a análise com séries cronológicas.

Especificamente através de séries cronológicas, pudemos trabalhar e identificar alguns períodos críticos para algumas matérias. Isto não está em geral, digamos, em nosso currículo, dependendo se estamos trabalhando com uma população de ensino médio, de bacharelado ou uma população já em nível ou seja, em nível profissional. Temos diferentes tempos críticos e diferentes temporalidades, especialmente no que diz respeito aos períodos de exames intermediários ou à realização de exames finais. Especificamente, aqui temos uma série cronológica que plotamos com o número de semanas no eixo das dez e o número de visualizações para cada página que temos no Canvas, que podemos ver que são muito altas, ou seja, quantas visualizações cada página recebeu em média ao longo do tempo. Ou seja, aqui podemos identificar que para a matéria, por exemplo, que Bethe começou, que é o que está marcado aqui em verde.

Temos pontos críticos nos quais o número de visualizações é maximizado durante as semanas, especificamente na semana o que coincide com os períodos do primeiro e segundo exames intermediários, bem como algumas outras matérias, por exemplo aqueles que têm uma chave de PC, onde podemos identificar que entre a semana 3 e a 4 temos um grande número de visualizações. O mesmo ocorre aproximadamente entre as semanas 8 e 9 e finalmente também na semana Isto implica períodos diferentes, períodos intermediários de exame dos alunos, o que também coincide com as tendências temporais que encontramos. Vemos também algumas matérias em que o grau de envolvimento dos estudantes não foi tão extenso como poderia ser algumas destas matérias, como a que está em vermelho, onde realmente a optimização do tempo ocorreu perto do fim. Isto implica e coincide precisamente com as matérias que têm um exame final, para que os alunos cheguem e tenham acesso aos recursos que estão montados na plataforma. Este tipo de tendências temporais e análise de séries temporais é interessante e de particular relevância durante a exploração, especialmente para se poder analisar em que períodos os alunos e professores estão mais ativos neste contexto.

Como uma discussão deste projeto e com estes resultados preliminares pudemos mostrar temos várias considerações, entre elas, que os dados derivados destas novas análises de Canvas podem realmente apoiar as inferências do professor em seus cursos. Isso implica em ativar a nova Análise de Canvas. Uma vez identificado nosso curso na plataforma, ele pode nos permitir identificar aquelas atividades ou recursos que têm alta ou baixa participação. E neste sentido, para aqueles que administram e modificam o conteúdo destas plataformas, eles podem começar a encontrar pontos ou áreas de melhoria a fim de otimizar estes recursos e torná-los mais atraentes para os alunos, ou melhorá-los ou otimizá-los. Também podemos através da nova Análise de Canvas, podemos propor uma tendência, uma análise de tendências, de como os alunos se desenvolvem ou como se envolvem no curso, bem como como os alunos estão se desempenhando na plataforma.

Isto implica, através de séries temporais ser capaz de identificar alguns marcos importantes que mesmo no nível da administração acadêmica da qustão de toda a instituição, poderíamos localizar onde alguns períodos importantes estão ocorrendo ou onde há um envolvimento e engajamento particular com o aluno nestes cursos. Também podemos identificar o desempenho dos alunos, tanto na média como de alunos particulares, em períodos de tempo específicos ou em um curso completo. Isso significa que, como professores, também podemos identificar quando os alunos estão mais ativos nesta plataforma. A proposta de sistematização que temos com este projeto derivado da nova análise de canvas, é primeiramente ativar a nova análise de canvas quando tivermos o início de nosso período acadêmico como professores e baixar e compartilhar os dados no final de cada período acadêmico. Isto implica ter uma centralização destes dados e que nós, como professores, temos alguém designado para enviar este download, que pode ser em formato sv, para que as informações possam ser compiladas, acomodadas, impas e então possamos começar a ealizar esta exploração, que é de particular interesse a nível em massa.

Além disso, poderíamos, de uma perspectiva de gestão acadêmica, coletar informações históricas de vários períodos, de vários professores e de várias matérias a fim de identificar todas estas qualidades que historicamente poderiam ser realizadas e que também seriam de interesse para melhorar e otimizar este tipo de recursos. Finalmente, em diferentes níveis, a análises estatísticas podem se tornar mais rica e cada vez e fornecer mais informações sobre como estas plataformas podem ser administradas. Isso significa ter, por exemplo, um único professor fazendo sua análise histórica do que aconteceu com o mesmo grupo, com a mesma matéria ao longo do tempo, em diferentes períodos acadêmicos, por exemplo no período acadêmico de verão ou no período acadêmico de inverno, em comparação com os períodos semestrais. E também poderíamos levar isto a um nível de grupo entre diferentes professores e finalmente a um nível em massa já com diferentes departamentos ou escolas na mesma instituição. Finalmente, como conclusões e como uma mensagem para levar para casa acreditamos que a divulgação do uso estatístico dos dados da nova análise de canvas nos cursos que são criados nesta plataform é extremamente importante.

Como professores, também temos que buscar a melhoria contínua e esta otimização dos recursos que instalamos nas plataformas. Portanto, a divulgação deste uso de dados é extremamente importante. E para nós, que já começamos esta exploração, é importante poder transmitir e difundir esta palavra sobre o potencial de análises que podem ser realizadas. Também encontramos, como já reiterei em ocasiões anteriores, a utilidade em nível de professor, um curso, um departamento, uma escola, até mesmo uma região ou nível nacional. Poder identificar este tipo de de análise e de tomá-la como uma ferramenta importante para a melhoria contínua no nível de uma centralização de dados e ser capaz de otimizar estas estratégias.

Também podemos nas análises encontrar uma ferramenta para propor de maneira informada e analítica e quantitativa como podemos melhorar o conteúdo desses cursos. Isto implica que nós, como professores, fornecemos as informações e talvez de algum departamento ou de alguma colaboração que temos com um centro, alguém que está colaborando para compilar todas estas informações para que possamos iniciar este tipo de análise. Finalmente, como em qualquer área do conhecimento, a melhoria contínua da experiência de aprendizagem do aluno e da prática de ensino é essencial e é nosso compromisso como professores melhorar a cada semestre, a cada implementação que temos em nossos cursos. Estas ferramentas e o conhecimento que oferecemos e a experiência de ensino e aprendizagem que temos para os alunos. Isto implica não apenas em fazer isto por sentimentos ou por feeling que já temos como professores historicamente ensinando algumas aulas, mas também que nós, com a nova análise de canvas podemos tomar estas estratégias como uma ideia quantitativa e totalmente analítica da implementação de melhorias.

E isso não será feito, pois é claro que teremos professores cada vez melhores e teremos uma melhor experiência de ensino e aprendizagem para os alunos. Portanto, espero que vocês tenham tido uma visão geral e que tenhamos sido capazes de transmitir esta visão geral da implementação da nova Análise de Canvas. Muito obrigado por sua atenção e por sua participação nesta conferência. Meu nome é Carlos Diaz. Sou professor associado no Departamento de Engenharia da Escola de Engenharia e Ciências do Tecnológico de Monterrey, campus Cidade do México.

eixo meus dados de contato para qualquer outra comunicação. Será um prazer contribuir com informações e também compartilhar as melhores práticas a fim de otimizar o uso da nova Análise de Canvas na melhoria contínua de nossos cursos. Muito obrigado.
colapso