Novos Testes: migrar ou não? - Cornell University - USA
Novas Perguntas - Devo Ficar ou Devo Ir? Olá, e bem-vindos à nossa apresentação. O meu nome é Marina Tokman, e eu sou a tecnóloga instrucional sênior. E meu nome é James Wally, e eu sou designer instrucional. Ambos trabalhamos no centro para inovação do ensino da Universidade de Cornell. Cornell: Fatos Breves Cornell é uma universidade de subvenção fundiária da Ivy League em em uma linda porção do Estado de Nova York. Há 80 campos de estudos, com 16 faculdades e escolas, com um corpo estudantil de 25.
000 graduandos, alunos de pós-graduação e profissionais. Temos um corpo docente de cerca de 3. 500, e tipicamente temos Canvas a cada semestre. Nós do centro da inovação no ensino apoiamos tecnologias para todas as faculdades e escolas, com o Canvas sendo o centro de atividades de aprendizagem para muitos alunos. Quaisquer alterações que implementemos requerem um planejamento e uma execução cuidadosos para evitar a destruição em massa.
Por que Usamos as Perguntas do Canvas Os intrutores vêm usando as perguntas em seus cursos do Canvas, principalmente, para avaliação formativa, autotestes e prática de problemas. Esses foram componentes importantes para alguns cursos da iniciativa de aprendizagem ativa. Pesquisas, tanto com nota como sem, também são ferramentas populares do Canvas para os nossos instrutores. Novas Perguntas: Uso Precoce Após nossa migração para o Canvas, que aconteceu entre 2017 e 2019, todas as perguntas eram perguntas clássicas. Nós olhamos as novas perguntas.
A essa altura, eram chamadas "Próximas Perguntas", e escolhemos segurar o uso delas por algumas razões. Quando a Instructure anunciou o seu plano inicial de terminar com as perguntas clássicas até o verão de 2022, habilitamos as novas perguntas como recurso opcional no outono de 2019. Queríamos ter oportunidades de explorar a funcionalidade por nós mesmos, e como alguns membros docentes as usariam também. Tirar a temperatura, por assim dizer. Na primavera de 2020, as coisas mudaram rapidamente para todos.
Com a pandemia forçando todos a concluir seus semestres online, os instrutores estavam ansiosos para experimentar. As novas perguntas foram uma das ferramentas que os instrutores podiam usar para avaliações online. Então, rapidamente fornecemos alguns recursos para ajudar os instrutores a começar. Nesse momento, não havia ferramentas de migração. Se alguém quisesse começar a usá-las, seria construindo ou reconstruindo suas perguntas.
O Que Aprendemos Então, por que alguns mudaram para as novas perguntas? Havia algumas funcionalidades-chave que eram particularmente atraentes para alguns instrutores. Especialmente aqueles que tinham que lidar com turmas grandes. Estes incluíam uma melhor gestão do alojamento dos alunos. Onde enviar tempo extra para tentativas dos alunos é persistente ao longo de todas as perguntas de um curso. Eis uma citação de um dos instrutores: "Os alojamentos SDS economizaram muito tempo.
" Os instrutores também acharam ótima a faixa de opções de perguntas. "Aprecio a capacidade de fazer perguntas básicas de revisão, bem como perguntas que requerem a aplicação de material. " Outros motivos por que instrutores preferiram as novas perguntas eram devido a melhores opções de perguntas, questão-destaque, por exemplo, foi uma boa adição. E a flexibilidade de ter a nota das perguntas independentemente daos pontos designados às perguntas. Se quisesse recompensar com um ponto por uma pergunta de prática, você pode fazer isso e ainda ter 10 perguntas com 1 ponto por pergunta.
Esta também foi uma oportunidade de descobrir o que não funcionou bem. Por exemplo, ser capaz de fazer download de relatórios de análises com envios de estudantes não está disponível. Ainda não. Instrutores estão descobrindo que alguns problemas com as novas perguntas são devidos a copiar de um semestre para o outro. O fluxo de trabalho para a criação das perguntas era incômodo, e os instrutores diziam: "Enquanto as novas perguntas têm grande versatilidade, são dolorosamente ineficientes.
" "As novas perguntas podem ser uma grande meloria em relação às perguntas, mas ainda têm um longo caminho pela frente para serem agradáveis e fáceis de usar. " O design inerente das novas perguntas, como LTI, não suportaria integrações com nossas ferramentas de terceiros tais como o Panopto. E ele não fazia uso do rico editor de conteúdos disponível como funcionalidade central no Canvas. Já Chegamos Lá? Foi um alívio para nós quando a Instructure optou por arasar o fim das perguntas clássicas e acelerou o desenvolvimento das novas perguntas para fechar algumas daquelas lacunas. Isso nos permitiu reexaminar nossos planos.
E agora, dois anos mais tarde, estamos prontos a dizer para nossos instrutores que comecem todos a usar as novas perguntas? Bem, há três itens na nossa lista que são importantes para que isso aconteça. Suporte de migração. A ferramenta de migração em massa é essencial. Ela está atualmente sendo testada em beta, e pode ficar disponível no ambiente produtivo, mas da nossa experiência e das experiências que lemos na comunidade do Canvas, não estamos prontos para liberar este recurso para o corpo docente ainda. Também precisamos do novo editor de conteúdo rico, a capacidade de inserir e/ou migrar equações editáveis e novas perguntas, bem como ser capaz de utilizar mídia por meio de integrações de terceiros, é essencial.
E, finalmente, estamos antecipando ansiosamente os relatórios de análise dos estudantes. Temos alguns instrutores, bem como a iniciativa de aprendizagem ativa da Cornell, que dependem desses relatórios. Até que eles fiquem disponíveis, estes usuários precisarão continuar usando as perguntas clássicas. Indo Adiante O plano de migração da Cornell se baseia em algumas suposições. Primeiro: que a Instructure atenderá a suas datas de fornecimento ambicionadas.
Alterações a qualquer uma dessas datas poderiam potencialmente interferir na nossa linha do tempo de migração. A nossa segunda suposição é que a ferramenta de migração funciona como o prometido. Se não for melhorada em relação a seu estado atual, ela atingirá a data ambicionada, mas não estará pronta para o que precisamos a fim de recomendá-la ao nosso corpo docente. E nossa suposição final é de que essas ferramentas de autohabilitação nos possibilitará fornecer uma linha do tempo de migração diferenciada. Construímos nossa linha do tempo com base na ideia de que poderíamos ligar e desligar as novas perguntas, bem como as perguntas clássicas, para diferentes subcontas a diferentes momentos.
Planos de Cornell: Recursos e Treinamento Para ajudar o corpo docente nesta migração, pretendemos utilizar comparações de ferramentas e documentação. Usaremos tanto a nossa documentação disponível interna como a disponível por meio dos guias e da comunidade do Canvas como recursos para o nosso corpo docente. Além disso, tiraremos proveito de nosso relacionamento com membros do nosso corpo docente e trabalharemos com eles em consultas diretas para determinar que ferramentas de avaliação são melhor adequadas às suas necessidades seguindo adiante. Além disso, estaremos oferecendo uma revisão técnica das avaliações no Canvas. Para garantir que o corpo docente esteja tirando o que querem da configuração que escolherem.
Finalmente, desenvolveremos oficinas como "Migrando para as novas perguntas" e "Começando com as novas perguntas", para garantir que as pessoas entendam a funcionalidade completa da nova ferramenta e o que será alterado da ferramenta antiga. Planos de Cornell: Comunicação Além de todos esses recursos de apoio, também precisaremos fornecer uma comunicação clara. A fim de gerenciar nossas comunicações, começamos a desenvolver um plano de comunicação, com uma linha do tempo de comunicação detalhada. Esta linha do tempo inclui conversas diretas com as principais partes interessadas. Já começamos a contactar os diversos departamentos que têm suas próprias equipes de apoio administrativo e a trabalhar com eles para garantir que não apenas eles entendem os nossos planos, mas nós entendemos o que eles precisam de nós e da ferramenta.
A nossa linha do tempo também inclui entrar em contato com instrutores específicos, que estejam possivelmente segurando a migração. devido a faltas atuais no design da ferramenta. Também estaremos utilizando recursos do conjunto de ferramentas de transição das novas perguntas, disponível na comunidade do Canvas. Planos de Cornell: Controlar a Disponibilidade e a Migração das Novas Perguntas Um dos elementos-chave a serem comunicados será a nossa linha do tempo de migração. Graças a ferramentas de autocapacitação, não seremos forçados às novas perguntas de uma vez só, como era o plano original, para o verão de 2022, mas seremos capazes de levar sensivelmente o corpo docente para longe das perguntas clássicas e para os braços das novas perguntas.
Estamos atualmente na primeira fase de nossa transição. Não habilitamos novas perguntas ao nível da conta, mas possibilitamos aos instrutores atualizá-las a nível do curso. A fase 1 continuará até o outono de 2022. Durante esse tempo, antecipamos que as novas perguntas serão atualizadas ao novo editor de conteúdo rico, e a ferramenta de migração será concluída. Planejamos começar a fase 2 no inverno de 2023.
Habilitaremos as novas perguntas ao nível da conta e também habilitaremos a ferramenta de migração em massa, com as novas perguntas configuradas como a opção ao migrar perguntas. Ainda não faremos com que a migração seja cumprida, uma vez que compreendemos que os relatórios de análises dos alunos podem ainda não estar disponíveis para os instrutores. A fase 3 deverá começar no verão de 2023, com a Instructure planejando abordar nossas principais prioridades a esta altura, sentimos que estaremos prontos a fazer cumprir a migração às novas perguntas. Também desabilitaremos a capacidade de o corpo docente criar novas perguntas clássicas, mas esperamos permitir-lhes continuar o uso de perguntas existentes nesta fase. A fase 3 acabará em junho de 2024, com a Instructure fazendo cumprir a migração para as novas perguntas e desabilitando as perguntas clássicas.
Esperamos que a fase 3 nôs dê tempo de acumular feedback de membros do corpo docente sobre a nova ferramenta de perguntas e o processo de migração a fim de trabalharmos com a Instructure para dar os toques finais às novas perguntas antes de sua implementação como regra em junho de 2024. Como já declaramos, este plano de migração tem base em algumas suposições. Por isso, enfrentamos riscos. Se o Canvas não atingir suas datas de fornecimento, isso poderia fazer com que a confiança do corpo docente não só no Canvas, mas também em nosso departamento, se desgaste. Além disso, há o risco de instabilidade nas novas perguntas ou na ferramenta de migração em massa, bem como o risco de planejamento de recursos.
Se a Instructure estiver despreparada para a velocidade com que os usuários começarem a utilizar as novas perguntas, poderemos ter problemas. Também enfrentamos o risco de ter uma multiplicidade de migrantes de última hora. Atualmente, não temos uma maneira de determinar facilmente a adoção das novas perguntas, de modo que não há meio de dimensionar quão próximos estamos de um estado de migração de 100%. Conclusões Então, dado isso tudo, aqui estão algumas conclusões-chave em que pensar ao planejar a sua migração das perguntas. Ative as perguntas no seu ambiente Canvas e experimente.
Também conceda a si mesmo algum tempo para planejar e iniciar a transição. Comunique-se, comunique-se, comunique-se. Não podemos acentuar mais a relevância disso. Você deve se comunicar com seus constituintes-chave, os instrutores, e mantê-los atualizados ao longo do processo quanto a qualquer mudança. E, finalmente, permaneça conectado com o grupo comunitário de transição das perguntas. Isso o ajudará a permanecer atualizado quanto a qualquer alteração e lhe dará a oportunidade de aprender de pares de outras instituições.
000 graduandos, alunos de pós-graduação e profissionais. Temos um corpo docente de cerca de 3. 500, e tipicamente temos Canvas a cada semestre. Nós do centro da inovação no ensino apoiamos tecnologias para todas as faculdades e escolas, com o Canvas sendo o centro de atividades de aprendizagem para muitos alunos. Quaisquer alterações que implementemos requerem um planejamento e uma execução cuidadosos para evitar a destruição em massa.
Por que Usamos as Perguntas do Canvas Os intrutores vêm usando as perguntas em seus cursos do Canvas, principalmente, para avaliação formativa, autotestes e prática de problemas. Esses foram componentes importantes para alguns cursos da iniciativa de aprendizagem ativa. Pesquisas, tanto com nota como sem, também são ferramentas populares do Canvas para os nossos instrutores. Novas Perguntas: Uso Precoce Após nossa migração para o Canvas, que aconteceu entre 2017 e 2019, todas as perguntas eram perguntas clássicas. Nós olhamos as novas perguntas.
A essa altura, eram chamadas "Próximas Perguntas", e escolhemos segurar o uso delas por algumas razões. Quando a Instructure anunciou o seu plano inicial de terminar com as perguntas clássicas até o verão de 2022, habilitamos as novas perguntas como recurso opcional no outono de 2019. Queríamos ter oportunidades de explorar a funcionalidade por nós mesmos, e como alguns membros docentes as usariam também. Tirar a temperatura, por assim dizer. Na primavera de 2020, as coisas mudaram rapidamente para todos.
Com a pandemia forçando todos a concluir seus semestres online, os instrutores estavam ansiosos para experimentar. As novas perguntas foram uma das ferramentas que os instrutores podiam usar para avaliações online. Então, rapidamente fornecemos alguns recursos para ajudar os instrutores a começar. Nesse momento, não havia ferramentas de migração. Se alguém quisesse começar a usá-las, seria construindo ou reconstruindo suas perguntas.
O Que Aprendemos Então, por que alguns mudaram para as novas perguntas? Havia algumas funcionalidades-chave que eram particularmente atraentes para alguns instrutores. Especialmente aqueles que tinham que lidar com turmas grandes. Estes incluíam uma melhor gestão do alojamento dos alunos. Onde enviar tempo extra para tentativas dos alunos é persistente ao longo de todas as perguntas de um curso. Eis uma citação de um dos instrutores: "Os alojamentos SDS economizaram muito tempo.
" Os instrutores também acharam ótima a faixa de opções de perguntas. "Aprecio a capacidade de fazer perguntas básicas de revisão, bem como perguntas que requerem a aplicação de material. " Outros motivos por que instrutores preferiram as novas perguntas eram devido a melhores opções de perguntas, questão-destaque, por exemplo, foi uma boa adição. E a flexibilidade de ter a nota das perguntas independentemente daos pontos designados às perguntas. Se quisesse recompensar com um ponto por uma pergunta de prática, você pode fazer isso e ainda ter 10 perguntas com 1 ponto por pergunta.
Esta também foi uma oportunidade de descobrir o que não funcionou bem. Por exemplo, ser capaz de fazer download de relatórios de análises com envios de estudantes não está disponível. Ainda não. Instrutores estão descobrindo que alguns problemas com as novas perguntas são devidos a copiar de um semestre para o outro. O fluxo de trabalho para a criação das perguntas era incômodo, e os instrutores diziam: "Enquanto as novas perguntas têm grande versatilidade, são dolorosamente ineficientes.
" "As novas perguntas podem ser uma grande meloria em relação às perguntas, mas ainda têm um longo caminho pela frente para serem agradáveis e fáceis de usar. " O design inerente das novas perguntas, como LTI, não suportaria integrações com nossas ferramentas de terceiros tais como o Panopto. E ele não fazia uso do rico editor de conteúdos disponível como funcionalidade central no Canvas. Já Chegamos Lá? Foi um alívio para nós quando a Instructure optou por arasar o fim das perguntas clássicas e acelerou o desenvolvimento das novas perguntas para fechar algumas daquelas lacunas. Isso nos permitiu reexaminar nossos planos.
E agora, dois anos mais tarde, estamos prontos a dizer para nossos instrutores que comecem todos a usar as novas perguntas? Bem, há três itens na nossa lista que são importantes para que isso aconteça. Suporte de migração. A ferramenta de migração em massa é essencial. Ela está atualmente sendo testada em beta, e pode ficar disponível no ambiente produtivo, mas da nossa experiência e das experiências que lemos na comunidade do Canvas, não estamos prontos para liberar este recurso para o corpo docente ainda. Também precisamos do novo editor de conteúdo rico, a capacidade de inserir e/ou migrar equações editáveis e novas perguntas, bem como ser capaz de utilizar mídia por meio de integrações de terceiros, é essencial.
E, finalmente, estamos antecipando ansiosamente os relatórios de análise dos estudantes. Temos alguns instrutores, bem como a iniciativa de aprendizagem ativa da Cornell, que dependem desses relatórios. Até que eles fiquem disponíveis, estes usuários precisarão continuar usando as perguntas clássicas. Indo Adiante O plano de migração da Cornell se baseia em algumas suposições. Primeiro: que a Instructure atenderá a suas datas de fornecimento ambicionadas.
Alterações a qualquer uma dessas datas poderiam potencialmente interferir na nossa linha do tempo de migração. A nossa segunda suposição é que a ferramenta de migração funciona como o prometido. Se não for melhorada em relação a seu estado atual, ela atingirá a data ambicionada, mas não estará pronta para o que precisamos a fim de recomendá-la ao nosso corpo docente. E nossa suposição final é de que essas ferramentas de autohabilitação nos possibilitará fornecer uma linha do tempo de migração diferenciada. Construímos nossa linha do tempo com base na ideia de que poderíamos ligar e desligar as novas perguntas, bem como as perguntas clássicas, para diferentes subcontas a diferentes momentos.
Planos de Cornell: Recursos e Treinamento Para ajudar o corpo docente nesta migração, pretendemos utilizar comparações de ferramentas e documentação. Usaremos tanto a nossa documentação disponível interna como a disponível por meio dos guias e da comunidade do Canvas como recursos para o nosso corpo docente. Além disso, tiraremos proveito de nosso relacionamento com membros do nosso corpo docente e trabalharemos com eles em consultas diretas para determinar que ferramentas de avaliação são melhor adequadas às suas necessidades seguindo adiante. Além disso, estaremos oferecendo uma revisão técnica das avaliações no Canvas. Para garantir que o corpo docente esteja tirando o que querem da configuração que escolherem.
Finalmente, desenvolveremos oficinas como "Migrando para as novas perguntas" e "Começando com as novas perguntas", para garantir que as pessoas entendam a funcionalidade completa da nova ferramenta e o que será alterado da ferramenta antiga. Planos de Cornell: Comunicação Além de todos esses recursos de apoio, também precisaremos fornecer uma comunicação clara. A fim de gerenciar nossas comunicações, começamos a desenvolver um plano de comunicação, com uma linha do tempo de comunicação detalhada. Esta linha do tempo inclui conversas diretas com as principais partes interessadas. Já começamos a contactar os diversos departamentos que têm suas próprias equipes de apoio administrativo e a trabalhar com eles para garantir que não apenas eles entendem os nossos planos, mas nós entendemos o que eles precisam de nós e da ferramenta.
A nossa linha do tempo também inclui entrar em contato com instrutores específicos, que estejam possivelmente segurando a migração. devido a faltas atuais no design da ferramenta. Também estaremos utilizando recursos do conjunto de ferramentas de transição das novas perguntas, disponível na comunidade do Canvas. Planos de Cornell: Controlar a Disponibilidade e a Migração das Novas Perguntas Um dos elementos-chave a serem comunicados será a nossa linha do tempo de migração. Graças a ferramentas de autocapacitação, não seremos forçados às novas perguntas de uma vez só, como era o plano original, para o verão de 2022, mas seremos capazes de levar sensivelmente o corpo docente para longe das perguntas clássicas e para os braços das novas perguntas.
Estamos atualmente na primeira fase de nossa transição. Não habilitamos novas perguntas ao nível da conta, mas possibilitamos aos instrutores atualizá-las a nível do curso. A fase 1 continuará até o outono de 2022. Durante esse tempo, antecipamos que as novas perguntas serão atualizadas ao novo editor de conteúdo rico, e a ferramenta de migração será concluída. Planejamos começar a fase 2 no inverno de 2023.
Habilitaremos as novas perguntas ao nível da conta e também habilitaremos a ferramenta de migração em massa, com as novas perguntas configuradas como a opção ao migrar perguntas. Ainda não faremos com que a migração seja cumprida, uma vez que compreendemos que os relatórios de análises dos alunos podem ainda não estar disponíveis para os instrutores. A fase 3 deverá começar no verão de 2023, com a Instructure planejando abordar nossas principais prioridades a esta altura, sentimos que estaremos prontos a fazer cumprir a migração às novas perguntas. Também desabilitaremos a capacidade de o corpo docente criar novas perguntas clássicas, mas esperamos permitir-lhes continuar o uso de perguntas existentes nesta fase. A fase 3 acabará em junho de 2024, com a Instructure fazendo cumprir a migração para as novas perguntas e desabilitando as perguntas clássicas.
Esperamos que a fase 3 nôs dê tempo de acumular feedback de membros do corpo docente sobre a nova ferramenta de perguntas e o processo de migração a fim de trabalharmos com a Instructure para dar os toques finais às novas perguntas antes de sua implementação como regra em junho de 2024. Como já declaramos, este plano de migração tem base em algumas suposições. Por isso, enfrentamos riscos. Se o Canvas não atingir suas datas de fornecimento, isso poderia fazer com que a confiança do corpo docente não só no Canvas, mas também em nosso departamento, se desgaste. Além disso, há o risco de instabilidade nas novas perguntas ou na ferramenta de migração em massa, bem como o risco de planejamento de recursos.
Se a Instructure estiver despreparada para a velocidade com que os usuários começarem a utilizar as novas perguntas, poderemos ter problemas. Também enfrentamos o risco de ter uma multiplicidade de migrantes de última hora. Atualmente, não temos uma maneira de determinar facilmente a adoção das novas perguntas, de modo que não há meio de dimensionar quão próximos estamos de um estado de migração de 100%. Conclusões Então, dado isso tudo, aqui estão algumas conclusões-chave em que pensar ao planejar a sua migração das perguntas. Ative as perguntas no seu ambiente Canvas e experimente.
Também conceda a si mesmo algum tempo para planejar e iniciar a transição. Comunique-se, comunique-se, comunique-se. Não podemos acentuar mais a relevância disso. Você deve se comunicar com seus constituintes-chave, os instrutores, e mantê-los atualizados ao longo do processo quanto a qualquer mudança. E, finalmente, permaneça conectado com o grupo comunitário de transição das perguntas. Isso o ajudará a permanecer atualizado quanto a qualquer alteração e lhe dará a oportunidade de aprender de pares de outras instituições.
Confira algumas histórias de sucesso dos primeiros usuários do Novos Testes na Cornell. Também saiba como qual foi a estratégia de introdução, como determinaram quando recomendar a migração ao Novos Testes e como seus planos e recomendações foram moldados pela experiência dos primeiros usuários dessa ferramenta clássica de testes.