Hoje terminei o lançamento da pauta final de LabMM 3 de NTC. O trabalho destes últimos dias tem sido impressionante e considero urgente reflectir sobre o processo de avaliação que temos adoptado para estas disciplinas.
Como exercício informal, resolvi contar o número de itens pelo qual cada aluno foi avaliado. Foi uma contagem cega, sem ponderar a importância relativa de cada parâmetro. O único critério é tratar-se de um item ao qual foi atribuído uma avaliação. Esses itens vão desde uma resposta a uma questão de escolha múltipla até uma avaliação global da participação do aluno nas aulas práticas.
Aqui ficam os números obtidos para cada parâmetro que consta no guião da disciplina:
- Mini-teste teórico 1 - 15
- Mini-teste teórico 2 - 15
- Mini-teste prático 1 - 15
- Mini-teste prático 2 - 22
- Mini-teste prático 3 - 25
- Avaliação contínua (aulas práticas) - 22
- Memória descritiva de projecto - 2
- Documentação de planificação de projecto - 3
- Relatório de projecto - 18
- Projecto - 10
- Auto e hetero-avaliação - 3
A soma dá 150 itens, sendo que, em média, cada item pode contribuir com uns "míseros" 0,1333 valores para a nota do aluno.
Contando que são mais de 100 alunos e cerca de 80 frequentaram a disciplina até ao final... é fazer as contas ao total de itens avaliados!
Algumas questões com que me debato actualmente e para o qual agradeço todos os contributos:
- Este tipo de avaliação "micro" conduz realmente a uma avaliação mais justa e correspondente aos conhecimentos adquidos pelos alunos?
- Ao perder o poder de realizar uma avaliação mais "macro" o professor sente-se mais seguro por não ter que assumir tão directamente o seu papel de avaliador? Se sim, será essa uma atitude correcta?
- Será uma inevitabilidade optar por este tipo de solução quando temos esta quantidade de alunos?
Não tenho respostas mas, para a disciplina que vai começar no próximo semestre, estou decidido a cortar significativamente no número de itens.
Hoje de manhã precisava de um vídeo do vimeo para testar um problema técnico existente aqui nos blogs do Sapo Campus UA. Andei por lá, fiz uma pesquisa por "Aveiro" e encontrei um vídeo que me agradou bastante.
Sem pensar muito no assunto, publiquei o post com o vídeo, detectei o problema técnico, percebi como resolvê-lo e ajudei a utilizadora do Sapo Campus que estava com dificuldades.
Entretanto resolvi divulgar o post no twitter e no facebook. Inesperadamente, muito rapidamente, várias pessoas começaram a divulgar o vídeo original que, em pouco mais de 12 horas, passou de 125 visualizações para, neste momento, mais de 1250.
Se não estivesse tão cansado poderia tentar fazer algum tipo de observação minimamente inteligente sobre o poder das redes sociais e da nossa rede de contactos na Web. No entanto, vou apenas dizer que, para mim, foi giro :)
Talvez para a autora do vídeo tenha significado algo mais! E a consequência das nossas acções para o trabalho de outros seria muito mais interessante de analisar... (mas hoje não me apetece)
Encontrei este vídeo sobre Aveiro e gostei!
Aveiro By Water from anabelasantiago on Vimeo.
O Facebook é tramado e muitas vezes deixa-me sem saber o que pensar...
Ontem publiquei um post sobre "Auto e hetero avaliação: como colocar em prática?". Para o divulgar utilizei essencialmente o facebook (a minha timeline e alguns grupos relacionados com a temática). Essa estratégia correu bastante bem e, como resultado, obtive comentários muito interessantes para a temática do post.
Sem a ajuda do Facebook dificilmente teria conseguido uma divulgação e interacção com tantas pessoas e por isso sai um Like! :)
Por outro lado, os comentários recebidos ainda ontem já começam a ficar perdidos no poço sem fundo que o facebook representa para a informação partilhada. Se esses comentários tivessem sido colocados no próprio post seriam muito mais úteis no futuro e, mesmo agora, seria mais simples ligar as diferentes discussões que surgiram em contextos de divulgação distintos.
E é aqui que sai o Dislike! :(
Like + Dislike = ?
Fica a interrogação para que possam ajudar a responder, no entanto, uma solução que julgo ser interessante passa por pedir autorização às pessoas que fizeram os comentários mais relevantes e copiá-los manualmente aqui para o blog...
No início do Mestrado em Multimédia em Educação (2004?) senti a necessidade de colocar em prática uma estratégia de avaliação que me permitisse avaliar o contributo individual dos elementos de um grupo de trabalho. Esta necessidade era reforçada porque era a primeira vez iria leccionar uma disciplina em regime de b-learning, onde o trabalho prático era realizado essencialmente a distância. Se já era complexo avaliar os grupos em regime presencial, pareceu-me óbvio que seria muito mais difícil nessa nova aventura que iria começar.
Das várias pesquisas que efetuei sobre estratégias de auto e hetero avaliação são de destacar duas soluções que me foram apresentadas na altura:
- do lado das Ciências da Educação recebi uma grelha com várias dezenas de parâmetros que, na prática, era tão complexa que não resolvia o meu problema. Sendo sincero, na minha visão mais pragmática de engenheiro, não consegui perceber como é que podia extrair dali informação que me ajudasse a decidir a nota a atribuir a cada aluno;
- do lado das Engenharias apresentam-me uma estratégia muito simples de implementar. Por exemplo, a nota de um grupo de 3 alunos foi de 15 valores. Então, os alunos têm 45 valores para distribuir entre eles. Cada aluno faz a sua distribuição e a nota final é calculada com base na média da opinião de todos os elementos. Simples de colocar em prática mas apresenta dois problemas fundamentais para a não ter adoptado:
- no momento em que pretendia realizar este exercício ainda não tinha as notas finais do trabalho;
- enquanto docente não considero uma solução aceitável deixar a decisão da nota final totalmente dependente da opinião dos alunos. No fundo, esta estratégia é quase um caminho sem retorno para o docente. As regras são definidas por si mas, no final, não é ele que tem o papel final de decisão sobre as notas.
Com base nestes contributos acabei por desenvolver a minha própria estratégia que, resumidamente, passa por uma única questão à qual os alunos têm que responder individualmente utilizando uma grelha muito simples de responder e posteriormente tratar.
A questão:
Para cada elemento do seu grupo de trabalho (inclusivamente quem está a avaliar), indique qual das seguintes classificações melhor se aplica, tendo em atenção o contributo desse elemento para o resultado final do trabalho da disciplina.
A grelha:
5 - Muito superior à média
4 - Superior à média
3 - Idêntico à média
2 - Inferior à média
1 - Muito inferior à média
0 - Não participou
Para receber estes dados utilizei várias estratégias, tais como: envio de email, preenchimento de um formulário online ou o envio da folha de excel partilhada aqui.
A formulação da questão tem evoluído e sido adaptada por várias pessoas. Inicialmente foi algo que desenvolvi para as minhas disciplinas do MMEd mas rapidamente foi adoptada por mim noutras disciplinas de NTC e por outros colegas em várias disciplinas de todos os ciclos de ensino da Universidade de Aveiro.
Como colocar em prática?
Nesta estratégia, a opinião transmitida pelos alunos é meramente qualitativa. São eles que têm a possibilidade de informar os docentes sobre o contributo que cada um deu para o resultado final que conseguiram obter no trabalho de grupo. No final, é da responsabilidade do professor compilar essa informação e verificar se consegue obter informação suficiente que lhe permita diferenciar as notas dos alunos de um modo sustentado.
Obviamente que nem sempre é possível! Mas, da minha experiência na sua aplicação, na grande maioria dos casos, rapidamente conseguimos obter uma visão geral dos diferentes contributos (se existirem grandes divergências dentro de um grupo a solução passará pela reunião e discussão entre todos).
Uma pequena demonstração da sua aplicação...
Alguns jogadores da equipa do SCP da época 1986/87 vão avaliar o seu contributo para o histórico 7-1 :)
| Manuel Fernandes | Mário Jorge | Vitor Damas | Fernando Mendes | |
| Manuel Fernandes | 5 | 5 | 4 | 5 |
| Mário Jorge | 4 | 4 | 3 | 5 |
| Vítor Damas | 2 | 2 | 3 | 5 |
| Fernando Mendes | 2 | 1 | 2 | 5 |
Nesta tabela, em cada coluna foram colocados as avaliações enviadas por cada elemento. Por exemplo, olhando para a primeira coluna com dados, podemos observar que o Manuel Fernandes deu 5 a ele próprio, 4 ao Mário Jorge, 2 ao Vítor Damas e 2 ao Fernando Mendes.
Deste modo, observando os dados de uma linha, muito rapidamente conseguimos ficar com uma ideia das diferentes opiniões sobre o contributo de cada elemento. Por exemplo, o Manuel Fernandes foi classificado de um modo bastante positivo por todos os elementos.
Normalização dos dados
Olhando para os dados da tabela anterior com mais atenção facilmente percebemos que o Fernando Mendes não compreendeu este exercício (e isso é algo que acontece com vários elementos de vários grupos). Não está em causa que o desempenho do SCP foi excelente! Neste exercício não se pretende comparar desempenhos entre os diferentes grupos/equipas, pelo que - obviamente - se alguém considera que nenhum elemento do grupo deve ser destacado então a nota a atribuir a todos deve ser 3.
Do ponto de vista matemático, o ideal seria garantir que a média das notas dadas por qualquer elemento é próxima de 3. Por esse motivo, e embora tenha alguns colegas que não concordam, acho muito útil tentar normalizar as respostas de modo a garantir a tal média aproximada de 3. Mas sem exagerar! Por exemplo, a média das avaliações do Manuel Fernandes não dá exatamente 3 mas o exercício foi bem colocado em prática e por isso não é necessário alterar os dados.
| Manuel Fernandes | Mário Jorge | Vitor Damas | Fernando Mendes | |
| Manuel Fernandes | 5 | 5 | 4 | 3 |
| Mário Jorge | 4 | 4 | 3 | 3 |
| Vítor Damas | 2 | 2 | 3 | 3 |
| Fernando Mendes | 2 | 1 | 2 | 3 |
A avaliação individual
Normalmente, utilizo este exercício para diferenciar as avaliações individuais entre +2 e -2 valores (em alguns casos também já apliquei diferenças de +3 a -3).
Nos resultados anteriores é óbvio que o Fernando Mendes optou por não colaborar na avaliação e não se preocupou em diferenciar as avaliações. Esta situação acontece várias vezes, principalmente com os elementos que tiveram um contributo menos relevante para o trabalho de grupo. Nestas situações, não existindo uma opinião idêntica por parte de todos os elementos do grupo, o melhor será não ter em grande consideração este contributo.
Com base nesta informação já devidamente normalizada, após uma análise cuidada, a avaliação final poderá ser algo deste tipo:
| Manuel Fernandes | Mário Jorge | Vitor Damas | Fernando Mendes | Ponderação | |
| Manuel Fernandes | 5 | 5 | 4 | 3 | +2 |
| Mário Jorge | 4 | 4 | 3 | 3 | +1 |
| Vítor Damas | 2 | 2 | 3 | 3 | -1 |
| Fernando Mendes | 2 | 1 | 2 | 3 | -2 |
Aqui poderia ser útil uma descrição do meu processo para a decisão das ponderações finais mas não é algo simples de transformar num algoritmo. Dos resultados obtidos, julgo ser relevante reter os seguintes pontos que me ajudaram a chegar à ponderação final:
- o Manuel Fernandes foi destacado por todos como estando sempre a cima dos restantes colegas;
- o Mário Jorge foi destacado positivamente por duas pessoas, embora, uma delas seja a sua própria avaliação;
- o Vítor Damas foi destacado negativamente pelos dois colegas com contributos mais positivos para a equipa;
- todos destacaram o Fernando Mendes pela negativa e dois elementos consideraram o seu contributo inferior ao do Vítor Damas.
O resultado final
Admitindo que a avaliação do SCP enquanto equipa teria sido de 18 valores (o que seria mesmo assim injusto dada a goleada histórica!), as classificações individuais seriam as seguintes:
| Nota equipa | Ponderação | Nota individual | |
| Manuel Fernandes | 18 | +2 | 20 |
| Mário Jorge | 18 | +1 | 19 |
| Vítor Damas | 18 | -1 | 17 |
| Fernando Mendes | 18 | -2 | 16 |
Conclusões
Esta é apenas uma pequena demonstração do modo como esta estratégia de auto e hetero avaliação me tem ajudado a atribuir classificações individuais mais justas para todos. O caso aqui apresentado é um exemplo "simples" e, mais tarde, talvez volte a escrever sobre este assunto para destacar outros casos que podem ser mais complexos de decidir.
Para já, se estiverem interessados, podem utilizar, adaptar ou modificar este trabalho livremente. Se o fizerem, a única coisa que gostava era que deixassem um comentário a descrever onde e como o vão utilizar e, se possível, os resultados que obtiveram da sua aplicação.
PS. Do jogo dos 7-1 só me recordo mesmo do resultado. Provavelmente estou a ser muito injusto para o Vítor Damas e para o Fernando Mendes. As minhas desculpas a ambos!
PS2. Outras coisas que escrevi relacionadas com avaliação, neste caso sobre avaliação da participação online...
PS3. Obrigado à Mónica Aresta pelo trabalho de revisão do texto.
Provavelmente devia publicar aqui um post com os slides de cada aula de Laboratório Multimédia 3 (disciplina de NTC onde se introduzem conceitos de programação aplicados em JavaScript).
No entanto, ando demasiado preguiçoso (ou demasiado cheio de trabalho) para o fazer. Fica o link para a tag do slideshare que tenho estado a utilizar. Todos os ficheiros podem ser descarregados e re-utilizados. Apenas partilho o pdf porque a maioria das pessoas não consegue abrir o ficheiro original em keynote.
Hoje foi um dia em cheio... cheio de compromissos assumidos que vão implicar um esforço muito grande para as próximas semanas.
O primeiro é já para a semana no SAPO Codebits e vai passar pela disponiblização, pela primeira vez, de uma escola funcional na nova plataforma do Sapo Campus Escolas. Mais detalhes serão dados durante o evento!
O outro compromisso foi assumido com os STIC para (finalmente) se avançar com a integração do Sapo Campus UA como um serviço institucional que, em grande medida, vai substituir o actual my.ua. Se tudo correr como previsto, no início de Dezembro essa mudança será uma realidade.
Mãos e pés ao trabalho! :)
Este ainda é o logo da The PLE Conference de 2011 que decorreu em Southampton. Mas a partir de hoje já é oficial, a edição de 2012 será em Aveiro.
Eu e o Luís, como temos tão pouco para fazer, decidimos ocupar o nosso tempo livre e abraçar este desafio de organizar uma nova edição desta conferência. :)
Os desafios são enormes porque o nível das edições anteriores foi muito elevado.
Vamos precisar de muita criatividade! Esperamos que muitos de vocês possam ajudar...
A última edição das Conversas 2.beer do labs.sapo/ua foram dedicadas ao tema SCE Javascript Framework - First Peek. Fomos muito bem recebidos no biscoito e a audiência ultrapassou as 30 pessoas!
A preparação.
O Nuno Simaria a começar a apresentação.
A audiência
Alguns slides
O grande final!
E os desenhos do Ricardo são já um clássico :)
