O Facebook é tramado e muitas vezes deixa-me sem saber o que pensar...
Ontem publiquei um post sobre "Auto e hetero avaliação: como colocar em prática?". Para o divulgar utilizei essencialmente o facebook (a minha timeline e alguns grupos relacionados com a temática). Essa estratégia correu bastante bem e, como resultado, obtive comentários muito interessantes para a temática do post.
Sem a ajuda do Facebook dificilmente teria conseguido uma divulgação e interacção com tantas pessoas e por isso sai um Like! :)
Por outro lado, os comentários recebidos ainda ontem já começam a ficar perdidos no poço sem fundo que o facebook representa para a informação partilhada. Se esses comentários tivessem sido colocados no próprio post seriam muito mais úteis no futuro e, mesmo agora, seria mais simples ligar as diferentes discussões que surgiram em contextos de divulgação distintos.
E é aqui que sai o Dislike! :(
Like + Dislike = ?
Fica a interrogação para que possam ajudar a responder, no entanto, uma solução que julgo ser interessante passa por pedir autorização às pessoas que fizeram os comentários mais relevantes e copiá-los manualmente aqui para o blog...
No início do Mestrado em Multimédia em Educação (2004?) senti a necessidade de colocar em prática uma estratégia de avaliação que me permitisse avaliar o contributo individual dos elementos de um grupo de trabalho. Esta necessidade era reforçada porque era a primeira vez iria leccionar uma disciplina em regime de b-learning, onde o trabalho prático era realizado essencialmente a distância. Se já era complexo avaliar os grupos em regime presencial, pareceu-me óbvio que seria muito mais difícil nessa nova aventura que iria começar.
Das várias pesquisas que efetuei sobre estratégias de auto e hetero avaliação são de destacar duas soluções que me foram apresentadas na altura:
- do lado das Ciências da Educação recebi uma grelha com várias dezenas de parâmetros que, na prática, era tão complexa que não resolvia o meu problema. Sendo sincero, na minha visão mais pragmática de engenheiro, não consegui perceber como é que podia extrair dali informação que me ajudasse a decidir a nota a atribuir a cada aluno;
- do lado das Engenharias apresentam-me uma estratégia muito simples de implementar. Por exemplo, a nota de um grupo de 3 alunos foi de 15 valores. Então, os alunos têm 45 valores para distribuir entre eles. Cada aluno faz a sua distribuição e a nota final é calculada com base na média da opinião de todos os elementos. Simples de colocar em prática mas apresenta dois problemas fundamentais para a não ter adoptado:
- no momento em que pretendia realizar este exercício ainda não tinha as notas finais do trabalho;
- enquanto docente não considero uma solução aceitável deixar a decisão da nota final totalmente dependente da opinião dos alunos. No fundo, esta estratégia é quase um caminho sem retorno para o docente. As regras são definidas por si mas, no final, não é ele que tem o papel final de decisão sobre as notas.
Com base nestes contributos acabei por desenvolver a minha própria estratégia que, resumidamente, passa por uma única questão à qual os alunos têm que responder individualmente utilizando uma grelha muito simples de responder e posteriormente tratar.
A questão:
Para cada elemento do seu grupo de trabalho (inclusivamente quem está a avaliar), indique qual das seguintes classificações melhor se aplica, tendo em atenção o contributo desse elemento para o resultado final do trabalho da disciplina.
A grelha:
5 - Muito superior à média
4 - Superior à média
3 - Idêntico à média
2 - Inferior à média
1 - Muito inferior à média
0 - Não participou
Para receber estes dados utilizei várias estratégias, tais como: envio de email, preenchimento de um formulário online ou o envio da folha de excel partilhada aqui.
A formulação da questão tem evoluído e sido adaptada por várias pessoas. Inicialmente foi algo que desenvolvi para as minhas disciplinas do MMEd mas rapidamente foi adoptada por mim noutras disciplinas de NTC e por outros colegas em várias disciplinas de todos os ciclos de ensino da Universidade de Aveiro.
Como colocar em prática?
Nesta estratégia, a opinião transmitida pelos alunos é meramente qualitativa. São eles que têm a possibilidade de informar os docentes sobre o contributo que cada um deu para o resultado final que conseguiram obter no trabalho de grupo. No final, é da responsabilidade do professor compilar essa informação e verificar se consegue obter informação suficiente que lhe permita diferenciar as notas dos alunos de um modo sustentado.
Obviamente que nem sempre é possível! Mas, da minha experiência na sua aplicação, na grande maioria dos casos, rapidamente conseguimos obter uma visão geral dos diferentes contributos (se existirem grandes divergências dentro de um grupo a solução passará pela reunião e discussão entre todos).
Uma pequena demonstração da sua aplicação...
Alguns jogadores da equipa do SCP da época 1986/87 vão avaliar o seu contributo para o histórico 7-1 :)
| Manuel Fernandes | Mário Jorge | Vitor Damas | Fernando Mendes | |
| Manuel Fernandes | 5 | 5 | 4 | 5 |
| Mário Jorge | 4 | 4 | 3 | 5 |
| Vítor Damas | 2 | 2 | 3 | 5 |
| Fernando Mendes | 2 | 1 | 2 | 5 |
Nesta tabela, em cada coluna foram colocados as avaliações enviadas por cada elemento. Por exemplo, olhando para a primeira coluna com dados, podemos observar que o Manuel Fernandes deu 5 a ele próprio, 4 ao Mário Jorge, 2 ao Vítor Damas e 2 ao Fernando Mendes.
Deste modo, observando os dados de uma linha, muito rapidamente conseguimos ficar com uma ideia das diferentes opiniões sobre o contributo de cada elemento. Por exemplo, o Manuel Fernandes foi classificado de um modo bastante positivo por todos os elementos.
Normalização dos dados
Olhando para os dados da tabela anterior com mais atenção facilmente percebemos que o Fernando Mendes não compreendeu este exercício (e isso é algo que acontece com vários elementos de vários grupos). Não está em causa que o desempenho do SCP foi excelente! Neste exercício não se pretende comparar desempenhos entre os diferentes grupos/equipas, pelo que - obviamente - se alguém considera que nenhum elemento do grupo deve ser destacado então a nota a atribuir a todos deve ser 3.
Do ponto de vista matemático, o ideal seria garantir que a média das notas dadas por qualquer elemento é próxima de 3. Por esse motivo, e embora tenha alguns colegas que não concordam, acho muito útil tentar normalizar as respostas de modo a garantir a tal média aproximada de 3. Mas sem exagerar! Por exemplo, a média das avaliações do Manuel Fernandes não dá exatamente 3 mas o exercício foi bem colocado em prática e por isso não é necessário alterar os dados.
| Manuel Fernandes | Mário Jorge | Vitor Damas | Fernando Mendes | |
| Manuel Fernandes | 5 | 5 | 4 | 3 |
| Mário Jorge | 4 | 4 | 3 | 3 |
| Vítor Damas | 2 | 2 | 3 | 3 |
| Fernando Mendes | 2 | 1 | 2 | 3 |
A avaliação individual
Normalmente, utilizo este exercício para diferenciar as avaliações individuais entre +2 e -2 valores (em alguns casos também já apliquei diferenças de +3 a -3).
Nos resultados anteriores é óbvio que o Fernando Mendes optou por não colaborar na avaliação e não se preocupou em diferenciar as avaliações. Esta situação acontece várias vezes, principalmente com os elementos que tiveram um contributo menos relevante para o trabalho de grupo. Nestas situações, não existindo uma opinião idêntica por parte de todos os elementos do grupo, o melhor será não ter em grande consideração este contributo.
Com base nesta informação já devidamente normalizada, após uma análise cuidada, a avaliação final poderá ser algo deste tipo:
| Manuel Fernandes | Mário Jorge | Vitor Damas | Fernando Mendes | Ponderação | |
| Manuel Fernandes | 5 | 5 | 4 | 3 | +2 |
| Mário Jorge | 4 | 4 | 3 | 3 | +1 |
| Vítor Damas | 2 | 2 | 3 | 3 | -1 |
| Fernando Mendes | 2 | 1 | 2 | 3 | -2 |
Aqui poderia ser útil uma descrição do meu processo para a decisão das ponderações finais mas não é algo simples de transformar num algoritmo. Dos resultados obtidos, julgo ser relevante reter os seguintes pontos que me ajudaram a chegar à ponderação final:
- o Manuel Fernandes foi destacado por todos como estando sempre a cima dos restantes colegas;
- o Mário Jorge foi destacado positivamente por duas pessoas, embora, uma delas seja a sua própria avaliação;
- o Vítor Damas foi destacado negativamente pelos dois colegas com contributos mais positivos para a equipa;
- todos destacaram o Fernando Mendes pela negativa e dois elementos consideraram o seu contributo inferior ao do Vítor Damas.
O resultado final
Admitindo que a avaliação do SCP enquanto equipa teria sido de 18 valores (o que seria mesmo assim injusto dada a goleada histórica!), as classificações individuais seriam as seguintes:
| Nota equipa | Ponderação | Nota individual | |
| Manuel Fernandes | 18 | +2 | 20 |
| Mário Jorge | 18 | +1 | 19 |
| Vítor Damas | 18 | -1 | 17 |
| Fernando Mendes | 18 | -2 | 16 |
Conclusões
Esta é apenas uma pequena demonstração do modo como esta estratégia de auto e hetero avaliação me tem ajudado a atribuir classificações individuais mais justas para todos. O caso aqui apresentado é um exemplo "simples" e, mais tarde, talvez volte a escrever sobre este assunto para destacar outros casos que podem ser mais complexos de decidir.
Para já, se estiverem interessados, podem utilizar, adaptar ou modificar este trabalho livremente. Se o fizerem, a única coisa que gostava era que deixassem um comentário a descrever onde e como o vão utilizar e, se possível, os resultados que obtiveram da sua aplicação.
PS. Do jogo dos 7-1 só me recordo mesmo do resultado. Provavelmente estou a ser muito injusto para o Vítor Damas e para o Fernando Mendes. As minhas desculpas a ambos!
PS2. Outras coisas que escrevi relacionadas com avaliação, neste caso sobre avaliação da participação online...
PS3. Obrigado à Mónica Aresta pelo trabalho de revisão do texto.
