Des critères d'évaluation qui désignent le bon lauréat

De bons critères d'évaluation de hackathon découlent directement de l'objectif de l'événement : si vous voulez quelque chose à piloter, pondérez la faisabilité et les preuves ; si vous voulez une pensée neuve, pondérez l'originalité et la compréhension. Retenez quatre ou cinq critères, pondérez-les, rédigez pour chacun un court guide de notation, publiez-les avec le défi et calibrez votre jury avant le premier pitch. Les étapes ci-dessous montrent comment.

Pourquoi l'évaluation dérape

La plupart des problèmes d'évaluation sont des problèmes de conception, pas de personnes. Le schéma habituel : cinq critères copiés d'un autre événement (innovation, impact, faisabilité, design, présentation), des poids égaux, une échelle de 1 à 10 que personne n'a définie, et des jurés qui se rencontrent pour la première fois dix minutes avant les pitchs. Résultat : l'orateur le plus assuré gagne, les jurés divergent pour des raisons qu'ils ne savent pas formuler, et l'équipe à l'idée la plus prometteuse repart en se demandant ce qu'elle a fait de travers.

Un biais bien documenté est aussi à l'œuvre. Le psychologue Edward Thorndike a décrit l'effet de halo en 1920 : lorsqu'un évaluateur se forge une impression forte sur une qualité, celle-ci colore son jugement sur tout le reste. Un pitch soigné fait paraître l'idée plus faisable, l'équipe plus compétente, l'impact plus grand. De bons critères et un processus rigoureux sont votre principale protection.

Sept étapes vers des critères qui fonctionnent

1. Partir de ce que vous ferez du lauréat. Revenez à l'objectif de l'événement et à l'engagement du porteur (voir comment rédiger un énoncé de défi que les équipes veulent relever). Si le porteur doit piloter le lauréat en quatre-vingt-dix jours, les critères doivent récompenser des idées réellement pilotables en quatre-vingt-dix jours. Si le but est de faire émerger de nouvelles façons de voir un problème, récompensez la compréhension et l'originalité, et acceptez que le lauréat soit brut. Inscrivez l'objectif en tête de la grille de notation pour que le jury l'ait sous les yeux à chaque fois.

2. Choisir quatre ou cinq critères, pas plus. Un juré ne peut pas garder huit critères en tête pendant un pitch de cinq minutes. Briques typiques :

• Compréhension du problème. L'équipe a-t-elle découvert quelque chose de vrai sur les personnes concernées ?
• Valeur. Si cela fonctionne, qu'est-ce que cela change pour ces personnes ou pour l'organisation ?
• Faisabilité. Peut-on le construire et le faire fonctionner dans les contraintes annoncées ?
• Preuves. Qu'a testé l'équipe, avec qui, et qu'a-t-elle appris ?
• Originalité. Est-ce une réponse réellement différente, ou une variante de l'existant ?

Remarquez ce qui manque : la « présentation ». La clarté compte, mais en tant que critère à part entière elle récompense la performance plutôt que le fond. Si vous l'incluez, donnez-lui le poids le plus faible.

3. Les pondérer selon l'objectif. Des poids égaux sont une décision déguisée, généralement la mauvaise. Un événement orienté pilote pourrait retenir : valeur 30 %, faisabilité 30 %, preuves 25 %, compréhension du problème 15 %. Un événement d'exploration pourrait retenir : compréhension du problème 35 %, originalité 35 %, valeur 20 %, faisabilité 10 %. Une matrice de décision pondérée est la façon la plus simple de le mettre à plat.

4. Écrire ce que signifie chaque note. « Faisabilité : 1-5 » ouvre la porte à cinq interprétations. Rédigez un court repère pour les notes basse, moyenne et haute. Par exemple, pour les preuves : 1 — aucun contact avec des utilisateurs ou des données ; 3 — a parlé à quelques utilisateurs ou testé une hypothèse ; 5 — a testé l'hypothèse la plus risquée auprès de vrais utilisateurs et modifié l'idée en conséquence. De tels repères transforment l'opinion en jugement et rendent les désaccords utiles, car les jurés peuvent pointer la description. Une cartographie des hypothèses et un test d'hypothèse, c'est précisément ce que vous demandez aux équipes ; dites-le dans le repère.

5. Tout publier avec le défi. Les équipes doivent voir les critères, les poids et les repères dès le premier jour. Ce n'est pas une politesse ; c'est ainsi que vous orientez le travail. Si les preuves comptent pour un quart de la note, les équipes iront chercher des utilisateurs. Si vous annoncez les critères au pitch, elles auront optimisé pour les slides. C'est l'une des 9 erreurs de hackathon que les organisateurs répètent.

6. Calibrer le jury avant les pitchs. Briefez le jury la veille, ou au moins une heure avant. Passez en revue l'objectif, les critères et les repères. Puis faites noter séparément un cas d'exemple, une candidature passée ou inventée, comparez les notes et discutez des écarts. Dix minutes de calibrage suppriment l'essentiel des désaccords que vous auriez sinon à la fin. Demandez aux jurés de déclarer tout conflit d'intérêts, et veillez à ce qu'au moins l'un d'eux soit la personne qui portera l'idée gagnante.

7. Évaluer le travail, pas seulement le pitch. Donnez au jury du temps avec chaque équipe avant les présentations finales : dix minutes à sa table, à regarder le prototype et à demander ce qui a été testé. Faites d'abord noter les jurés de manière indépendante, puis délibérer. Discutez des équipes sur lesquelles les notes divergent le plus, pas de celles qui font consensus. Utilisez le total comme point de départ de la décision, pas comme une machine qui la prend ; si le jury s'écarte des chiffres, consignez pourquoi. Ensuite, donnez à chaque équipe un bref retour écrit au regard des critères. Une grille de recueil des retours permet de le structurer.

Un exemple de grille de notation

Adaptez les poids à votre propre objectif. Notez la proposition, jamais les individus de l'équipe.

À faire et à éviter

À faire

• Faire découler chaque critère de l'objectif de l'événement.
• Garder un jury restreint : trois à cinq personnes.
• Noter de manière indépendante avant d'en discuter.
• Consigner les raisons de la décision finale, surtout lorsqu'elle s'écarte des totaux.
• Faire un retour à chaque équipe, pas seulement aux lauréats.

À éviter

• Laisser le juré le plus senior parler en premier pendant la délibération ; les autres s'aligneront sur son avis.
• Ajouter un critère « effet waouh » ou « appréciation du jury » ; cela rouvre la porte à l'effet de halo.
• Modifier les critères en cours d'événement.
• Utiliser la matrice impact-effort comme outil de notation final ; elle sert à un premier tri rapide de nombreuses candidatures, pas à choisir un seul lauréat.

Exemple illustratif

Illustratif. Un assureur de taille moyenne en Asie du Sud-Est a organisé un hackathon interne pour réduire le délai de règlement des petits sinistres automobiles. Le directeur des sinistres s'était engagé à piloter le lauréat dans une région.

Lors de la première édition, le jury a noté cinq critères à poids égal sur une échelle de 1 à 10, sans définitions. Une équipe au pitch animé spectaculaire, proposant une application de gestion des sinistres entièrement automatisée, a gagné. En y regardant de près, le directeur des sinistres a constaté qu'elle exigeait une modification du système cœur, hors du budget pilote. Elle n'a abouti à rien.

Pour l'édition suivante, les organisateurs ont reconstruit la grille autour du pilote : faisabilité avec les systèmes existants de la région 30 %, valeur pour les assurés 30 %, preuves 25 %, compréhension du problème 15 %, avec des repères rédigés. Ils l'ont publiée avec le défi et ont mené un calibrage de vingt minutes avec les cinq jurés sur une candidature inventée. Les jurés ont passé huit minutes à chaque table avant les pitchs. L'équipe gagnante avait interrogé six assurés et trois experts, découvert que la plupart des retards venaient de l'attente d'un unique devis de réparation, et proposé que les garages agréés déposent directement leurs devis. Son pitch était sobre. L'idée est entrée dans le pilote régional le mois suivant.

Questions fréquentes

Quels sont les critères d'évaluation courants d'un hackathon ? La plupart des événements combinent compréhension du problème, valeur ou impact, faisabilité, preuves ou tests, et originalité. Le bon dosage dépend de ce que vous ferez du lauréat : choisissez-les et pondérez-les à partir de votre objectif plutôt que de copier la liste d'un autre événement.

La présentation doit-elle être un critère d'évaluation ? Rarement en tant que critère autonome. Si vous l'incluez, donnez-lui un poids faible. La clarté de la communication compte, mais la récompenser fortement favorise les orateurs au détriment des équipes au travail le plus solide.

Comment éviter que les jurés soient en désaccord ? Rédigez des repères pour chaque note, calibrez sur une candidature d'exemple avant l'événement, notez de manière indépendante, puis discutez des plus grands écarts. Le désaccord qui subsiste ensuite est généralement une information utile sur les idées.

Pour aller plus loin

Pour la conception d'ensemble de l'événement, voir comment organiser un hackathon qui produit quelque chose de concret et la cartographie complète dans hackathons, jams et challenges : tous les types expliqués. Les guides matrice de décision pondérée, cartographie des hypothèses et grille de recueil des retours vous donnent la structure pour la notation, pour ce que les équipes doivent tester et pour les retours après coup.