Critérios de avaliação que escolhem o vencedor certo

Bons critérios de avaliação de hackathon saem direto do propósito do evento: se você quer algo para pilotar, dê peso a viabilidade e evidência; se quer pensamento novo, dê peso a originalidade e insight. Use quatro ou cinco critérios, atribua pesos, escreva um guia curto de pontuação para cada um, publique tudo junto com o desafio e calibre os jurados antes do primeiro pitch. Os passos abaixo mostram como.

Por que a avaliação dá errado

A maioria dos problemas de avaliação é de desenho, não de pessoas. O padrão de sempre: cinco critérios copiados de outro evento (inovação, impacto, viabilidade, design, apresentação), pesos iguais, uma escala de 1 a 10 que ninguém definiu e jurados que se conhecem dez minutos antes dos pitches. O resultado é que o apresentador mais confiante vence, os jurados discordam por motivos que não conseguem explicar e a equipe com a ideia mais promissora vai embora sem entender o que fez de errado.

Há também um viés bem documentado em ação. O psicólogo Edward Thorndike descreveu o efeito halo em 1920: quando um avaliador forma uma impressão forte sobre uma qualidade, ela contamina a avaliação de todo o resto. Um pitch caprichado faz a ideia parecer mais viável, a equipe mais capaz, o impacto maior. Bons critérios e um processo disciplinado são a sua principal defesa.

Sete passos para critérios que funcionam

1. Comece pelo que você vai fazer com o vencedor. Volte ao propósito do evento e ao compromisso do dono (veja como escrever uma declaração de desafio que as pessoas queiram resolver). Se o dono vai pilotar o vencedor em noventa dias, os critérios precisam premiar ideias que realmente possam ser pilotadas em noventa dias. Se o objetivo é revelar novas formas de enxergar um problema, premie insight e originalidade e aceite que o vencedor talvez seja rústico. Escreva o propósito no topo da ficha de pontuação, para que os jurados o vejam toda vez.

2. Escolha quatro ou cinco critérios, não mais. Os jurados não conseguem ter oito critérios em mente durante um pitch de cinco minutos. Blocos de construção típicos:

• Entendimento do problema. A equipe descobriu algo verdadeiro sobre as pessoas afetadas?
• Valor. Se funcionar, quanto muda para essas pessoas ou para a organização?
• Viabilidade. Dá para construir e operar dentro das restrições declaradas?
• Evidência. O que a equipe testou, com quem, e o que aprendeu?
• Originalidade. É uma resposta de fato diferente ou uma versão do que já existe?

Repare no que ficou de fora: "apresentação". Clareza importa, mas como critério próprio ela premia a performance em detrimento da substância. Se você incluí-la, dê a ela o menor peso.

3. Atribua pesos de acordo com o propósito. Pesos iguais são uma decisão disfarçada, geralmente a errada. Um evento voltado para piloto pode usar: valor 30%, viabilidade 30%, evidência 25%, entendimento do problema 15%. Um evento de exploração pode usar: entendimento do problema 35%, originalidade 35%, valor 20%, viabilidade 10%. Uma matriz de decisão ponderada é o jeito mais simples de organizar isso.

4. Escreva o que cada nota significa. "Viabilidade: 1–5" convida a cinco interpretações diferentes. Escreva uma âncora curta para as notas baixa, média e alta. Por exemplo, para evidência: 1 — nenhum contato com usuários ou dados; 3 — conversou com alguns usuários ou testou uma premissa; 5 — testou a premissa mais arriscada com usuários reais e mudou a ideia por causa disso. Âncoras assim transformam opinião em julgamento e tornam a discordância útil, porque os jurados podem apontar para a descrição. Um mapa de premissas e um teste de hipótese são o que você está pedindo às equipes; diga isso na âncora.

5. Publique tudo junto com o desafio. As equipes devem ver critérios, pesos e âncoras no primeiro dia. Não é uma cortesia; é assim que você direciona o trabalho. Se a evidência vale um quarto da nota, as equipes vão atrás de usuários. Se você anuncia os critérios no pitch, elas terão otimizado para os slides. Esse é um dos 9 erros em hackathon que os organizadores continuam repetindo.

6. Calibre os jurados antes dos pitches. Prepare os jurados na véspera ou, no mínimo, uma hora antes. Passe pelo propósito, pelos critérios e pelas âncoras. Depois, peça que cada um pontue separadamente uma amostra, uma submissão de um evento anterior ou uma inventada, comparem as notas e discutam as diferenças. Dez minutos de calibragem eliminam a maior parte da discordância que vocês teriam no final. Peça aos jurados que declarem conflitos de interesse e garanta que pelo menos um deles seja a pessoa que vai assumir a ideia vencedora.

7. Avalie o trabalho, não só o pitch. Dê aos jurados tempo com cada equipe antes das apresentações finais: dez minutos na mesa delas, olhando o protótipo e perguntando o que testaram. Peça que os jurados pontuem de forma independente primeiro e só depois deliberem. Discutam as equipes em que as notas mais divergem, não aquelas em que todos concordam. Use o total como ponto de partida para a decisão, não como uma máquina que decide sozinha; se o painel contrariar os números, registre por quê. Depois, dê a cada equipe um feedback curto e por escrito, com base nos critérios. Uma matriz de captura de feedback mantém tudo estruturado.

Um exemplo de ficha de pontuação

Adapte os pesos ao seu próprio propósito. Pontue a submissão, nunca as pessoas da equipe.

O que fazer e o que evitar

Faça

• Derive cada critério do propósito do evento.
• Mantenha o painel pequeno: de três a cinco jurados.
• Pontue de forma independente antes de discutir.
• Registre os motivos da decisão final, principalmente quando ela se afasta dos totais.
• Dê feedback a todas as equipes, não só às vencedoras.

Evite

• Deixar o jurado mais sênior falar primeiro na deliberação; os outros vão se ancorar na visão dele.
• Acrescentar um critério de "fator uau" ou "critério dos jurados"; isso reabre a porta para o efeito halo.
• Mudar os critérios durante o evento.
• Usar a matriz de impacto e esforço como ferramenta final de pontuação; ela é útil para uma primeira triagem rápida de muitas inscrições, não para escolher um vencedor.

Exemplo ilustrativo

Ilustrativo. Uma seguradora de porte médio no Sudeste Asiático fez um hackathon interno sobre como reduzir o tempo de liquidação de pequenos sinistros de automóvel. O chefe de sinistros havia concordado em pilotar o vencedor numa região.

No primeiro evento, o painel pontuou cinco critérios de peso igual numa escala de 1 a 10, sem definições. Venceu uma equipe com um pitch animado e chamativo para um app de sinistros totalmente automatizado. Quando o chefe de sinistros olhou com atenção, viu que a ideia exigia uma mudança no sistema central fora do orçamento do piloto. Não deu em nada.

Para o evento seguinte, os organizadores refizeram a ficha em torno do piloto: viabilidade dentro dos sistemas existentes da região 30%, valor para os segurados 30%, evidência 25%, entendimento do problema 15%, com âncoras escritas. Publicaram a ficha com o desafio e fizeram uma calibragem de vinte minutos com os cinco jurados usando uma inscrição inventada. Os jurados passaram oito minutos em cada mesa antes dos pitches. A equipe vencedora tinha entrevistado seis segurados e três reguladores de sinistro, descoberto que a maior parte dos atrasos vinha da espera por um único orçamento de reparo e proposto que oficinas credenciadas enviassem os orçamentos diretamente. O pitch era simples. A ideia entrou no piloto regional no mês seguinte.

Perguntas frequentes

Quais são os critérios de avaliação mais comuns em hackathons? A maioria dos eventos usa alguma combinação de entendimento do problema, valor ou impacto, viabilidade, evidência ou testes, e originalidade. A combinação certa depende do que você vai fazer com o vencedor, então escolha e atribua pesos a partir do seu propósito, em vez de copiar a lista de outro evento.

A apresentação deve ser um critério de avaliação? Raramente como critério isolado. Se você incluí-la, dê um peso pequeno. A clareza da comunicação importa, mas premiá-la demais favorece quem se apresenta bem em detrimento das equipes com o trabalho mais sólido.

Como evitar que os jurados discordem? Escreva âncoras para cada nota, calibre com uma inscrição de exemplo antes do evento, pontue de forma independente e depois discuta as maiores diferenças. A discordância que sobra depois disso costuma ser uma informação útil sobre as ideias.

Para onde ir agora

Para o desenho mais amplo do evento, veja como fazer um hackathon que produza algo real e o mapa completo em hackathons, jams e desafios: todos os tipos explicados. Os guias de matriz de decisão ponderada, mapa de premissas e matriz de captura de feedback dão a estrutura para a pontuação, para o que as equipes devem testar e para o feedback depois.