No início do Mestrado em Multimédia em Educação (2004?) senti a necessidade de colocar em prática uma estratégia de avaliação que me permitisse avaliar o contributo individual dos elementos de um grupo de trabalho. Esta necessidade era reforçada porque era a primeira vez iria leccionar uma disciplina em regime de b-learning, onde o trabalho prático era realizado essencialmente a distância. Se já era complexo avaliar os grupos em regime presencial, pareceu-me óbvio que seria muito mais difícil nessa nova aventura que iria começar.

Das várias pesquisas que efetuei sobre estratégias de auto e hetero avaliação são de destacar duas soluções que me foram apresentadas na altura:

• do lado das Ciências da Educação recebi uma grelha com várias dezenas de parâmetros que, na prática, era tão complexa que não resolvia o meu problema. Sendo sincero, na minha visão mais pragmática de engenheiro, não consegui perceber como é que podia extrair dali informação que me ajudasse a decidir a nota a atribuir a cada aluno;
• do lado das Engenharias apresentam-me uma estratégia muito simples de implementar. Por exemplo, a nota de um grupo de 3 alunos foi de 15 valores. Então, os alunos têm 45 valores para distribuir entre eles. Cada aluno faz a sua distribuição e a nota final é calculada com base na média da opinião de todos os elementos. Simples de colocar em prática mas apresenta dois problemas fundamentais para a não ter adoptado:
  • no momento em que pretendia realizar este exercício ainda não tinha as notas finais do trabalho;
  • enquanto docente não considero uma solução aceitável deixar a decisão da nota final totalmente dependente da opinião dos alunos. No fundo, esta estratégia é quase um caminho sem retorno para o docente. As regras são definidas por si mas, no final, não é ele que tem o papel final de decisão sobre as notas.

Com base nestes contributos acabei por desenvolver a minha própria estratégia que, resumidamente, passa por uma única questão à qual os alunos têm que responder individualmente utilizando uma grelha muito simples de responder e posteriormente tratar.

A questão:

Para cada elemento do seu grupo de trabalho (inclusivamente quem está a avaliar), indique qual das seguintes classificações melhor se aplica, tendo em atenção o contributo desse elemento para o resultado final do trabalho da disciplina.

A grelha:

5 - Muito superior à média
4 - Superior à média
3 - Idêntico à média
2 - Inferior à média
1 - Muito inferior à média
0 - Não participou

Para receber estes dados utilizei várias estratégias, tais como: envio de email, preenchimento de um formulário online ou o envio da folha de excel partilhada aqui.

A formulação da questão tem evoluído e sido adaptada por várias pessoas. Inicialmente foi algo que desenvolvi para as minhas disciplinas do MMEd mas rapidamente foi adoptada por mim noutras disciplinas de NTC e por outros colegas em várias disciplinas de todos os ciclos de ensino da Universidade de Aveiro.

Como colocar em prática?

Nesta estratégia, a opinião transmitida pelos alunos é meramente qualitativa. São eles que têm a possibilidade de informar os docentes sobre o contributo que cada um deu para o resultado final que conseguiram obter no trabalho de grupo. No final, é da responsabilidade do professor compilar essa informação e verificar se consegue obter informação suficiente que lhe permita diferenciar as notas dos alunos de um modo sustentado.

Obviamente que nem sempre é possível! Mas, da minha experiência na sua aplicação, na grande maioria dos casos, rapidamente conseguimos obter uma visão geral dos diferentes contributos (se existirem grandes divergências dentro de um grupo a solução passará pela reunião e discussão entre todos).

Uma pequena demonstração da sua aplicação...

Alguns jogadores da equipa do SCP da época 1986/87 vão avaliar o seu contributo para o histórico 7-1 :)

Nesta tabela, em cada coluna foram colocados as avaliações enviadas por cada elemento. Por exemplo, olhando para a primeira coluna com dados, podemos observar que o Manuel Fernandes deu 5 a ele próprio, 4 ao Mário Jorge, 2 ao Vítor Damas e 2 ao Fernando Mendes.

Deste modo, observando os dados de uma linha, muito rapidamente conseguimos ficar com uma ideia das diferentes opiniões sobre o contributo de cada elemento. Por exemplo, o Manuel Fernandes foi classificado de um modo bastante positivo por todos os elementos.

Normalização dos dados

Olhando para os dados da tabela anterior com mais atenção facilmente percebemos que o Fernando Mendes não compreendeu este exercício (e isso é algo que acontece com vários elementos de vários grupos). Não está em causa que o desempenho do SCP foi excelente! Neste exercício não se pretende comparar desempenhos entre os diferentes grupos/equipas, pelo que - obviamente - se alguém considera que nenhum elemento do grupo deve ser destacado então a nota a atribuir a todos deve ser 3.

Do ponto de vista matemático, o ideal seria garantir que a média das notas dadas por qualquer elemento é próxima de 3. Por esse motivo, e embora tenha alguns colegas que não concordam, acho muito útil tentar normalizar as respostas de modo a garantir a tal média aproximada de 3. Mas sem exagerar! Por exemplo, a média das avaliações do Manuel Fernandes não dá exatamente 3 mas o exercício foi bem colocado em prática e por isso não é necessário alterar os dados. 

A avaliação individual

Normalmente, utilizo este exercício para diferenciar as avaliações individuais entre +2 e -2 valores (em alguns casos também já apliquei diferenças de +3 a -3).

Nos resultados anteriores é óbvio que o Fernando Mendes optou por não colaborar na avaliação e não se preocupou em diferenciar as avaliações. Esta situação acontece várias vezes, principalmente com os elementos que tiveram um contributo menos relevante para o trabalho de grupo. Nestas situações, não existindo uma opinião idêntica por parte de todos os elementos do grupo, o melhor será não ter em grande consideração este contributo.

Com base nesta informação já devidamente normalizada, após uma análise cuidada, a avaliação final poderá ser algo deste tipo:

Aqui poderia ser útil uma descrição do meu processo para a decisão das ponderações finais mas não é algo simples de transformar num algoritmo. Dos resultados obtidos, julgo ser relevante reter os seguintes pontos que me ajudaram a chegar à ponderação final:

• o Manuel Fernandes foi destacado por todos como estando sempre a cima dos restantes colegas;
• o Mário Jorge foi destacado positivamente por duas pessoas, embora, uma delas seja a sua própria avaliação;
• o Vítor Damas foi destacado negativamente pelos dois colegas com contributos mais positivos para a equipa;
• todos destacaram o Fernando Mendes pela negativa e dois elementos consideraram o seu contributo inferior ao do Vítor Damas.

O resultado final

Admitindo que a avaliação do SCP enquanto equipa teria sido de 18 valores (o que seria mesmo assim injusto dada a goleada histórica!), as classificações individuais seriam as seguintes:

Conclusões

Esta é apenas uma pequena demonstração do modo como esta estratégia de auto e hetero avaliação me tem ajudado a atribuir classificações individuais mais justas para todos. O caso aqui apresentado é um exemplo "simples" e, mais tarde, talvez volte a escrever sobre este assunto para destacar outros casos que podem ser mais complexos de decidir.

Para já, se estiverem interessados, podem utilizar, adaptar ou modificar este trabalho livremente. Se o fizerem, a única coisa que gostava era que deixassem um comentário a descrever onde e como o vão utilizar e, se possível, os resultados que obtiveram da sua aplicação.

PS. Do jogo dos 7-1 só me recordo mesmo do resultado. Provavelmente estou a ser muito injusto para o Vítor Damas e para o Fernando Mendes. As minhas desculpas a ambos!

PS2. Outras coisas que escrevi relacionadas com avaliação, neste caso sobre avaliação da participação online...

PS3. Obrigado à Mónica Aresta pelo trabalho de revisão do texto.

publicado por carlossantos às 15:13