(finalmente de volta a esta série de posts que espero dar por concluída antes de ir de férias... que oficialmente começam amanhã!)

Dificuldades da avaliação da participação on-line

Do meu ponto de vista, a avaliação de um aluno deve reflectir o desempenho ao longo de todo o proceso de aprendizagem e não basear-se apenas nos resultados obtidos num exame teórico final e/ou num trabalho final. Para que esta estratégia possa funcionar é, na minha opinião, fundamental que a avaliação final seja um reflexo de todo o esforço de trabalho que é exigido ao aluno durante esse processo. Esta perspectiva da avaliação está reflectida nos parâmetros de avaliação utilizados e que foram analisados no post anterior.

Muitos autores de referência na área do e-Learning defendem também a importância da participação nos grupos de discussão ser alvo de avaliação, como forma de estimular a participação e dessa forma potenciar a construção de Comunidades de Aprendizagem Distribuídas (embora obviamente o sucesso de uma CAD esteja muito mais relacionado com as metodologias pedagógicas utilizadas do que propriamente com a avaliação).

Existem muitos estudos onde são examinadas várias questões sobre a participação em grupos de discussão. Por exemplo, no livro "E-moderanting" da Gilly Salmon é apresentada uma análise muito interessante sobre os comportamentos típicos que se podem encontrar num grupo de discussão (gostei especialmente na análise sobre os alunos que ela identifica como lurkers). Tal como em muitos outros casos a questão da avaliação da participação on-line é abordada mas apenas de um ponto de vista qualitativo, o que na realidade não resolve todas as dificuldades para quem tem que apresentar uma avaliação final quantitativa para este parâmetro.

Tal como julgo ter acontecido com outros professores/formadores, na minha primeira experiência de leccionação de uma disciplina à distância, apesar do cuidado da preparação prévia do ponto de vista teórico das metodologias a utilizar, inclui a avaliação da participação on-line como um parâmetro de avaliação da disciplina, sem ter percebido as dificuldades associadas a esta tarefa.

Na realidade, a necessidade do desenvolvimento de uma metodologia detalhada foi algo que apenas se tornou óbvio no final da primeira expriência, quando verifiquei as dificuldades e a exigência associadas a esta tarefa de avaliação.

Os principais factores que contribuíram para essas dificuldades foram os seguintes:

• Elevado número de alunos – aproximadamente 60 alunos por disciplina distribuídos por duas edições a decorrer quase em simultâneo;


• Elevado número de mensagens – cada edição das disciplinas gerou, em média, mais de 1000 mensagens nos fóruns de discussão, o que equivaleu a mais de 4000 mensagens trocadas em aproximadamente 2 meses;


• Pouco conhecimento pessoal dos alunos, o que dificultou a associação da mensagem ao aluno;

Os dados estatísticos das ferramentas de tracking do LMS (nas primeiras edições o WebCT e nas mais recentes o Blackboard) são claramente insuficientes para avaliar o desempenho do aluno, já que apenas reflectem a quantidade de participações e a sua localização no tempo. O parâmetro essencial a avaliar é a qualidade das participações, o que no actual estado da arte não pode ser efectuado através de um processo automático, sendo por isso exigida a avaliação por parte do professor/formador.

A tomada de consciência destas dificuldades obrigou à adopção de um processo muito moroso que consistiu na avaliação, no final da disciplina, de todas as mensagens publicadas por todos os alunos. Só desta forma foi possível obter uma avaliação minimamente coerente, apesar de terem sido desde logo identificadas várias inconsistências nesse processo de avaliação.

Para resolver algumas dessas inconsistências foi tomada a decisão de, em futuras edições, basear a avaliação da participação on-line com base no registo da avaliação qualitativa de todas as mensagens publicadas nos fóruns de discussão. Da experiência anterior resultou também a decisão de realizar a avaliação de cada mensagem no momento em que ela é lida pela primeira vez. Esta decisão foi tomada devido aos motivos apresentados de seguida:

• um risco reduzido das mensagens ficarem esquecidas no processo de avaliação;


• não ser perdida informação temporal que por vezes é importante para avaliar a pertinência/importância de uma participação;


• evitar uma sobrecarga de trabalho muito grande no final da disciplina.

No próximo post irei abordar a questão da avaliação qualitativa das participações.