Bewertungskriterien, die den richtigen Gewinner küren

Gute Bewertungskriterien für einen Hackathon ergeben sich direkt aus dem Zweck der Veranstaltung: Wollen Sie etwas pilotieren, gewichten Sie Machbarkeit und Belege; wollen Sie neues Denken, gewichten Sie Originalität und Erkenntnis. Nutzen Sie vier oder fünf Kriterien, gewichten Sie sie, schreiben Sie für jedes eine kurze Bewertungsanleitung, veröffentlichen Sie sie mit der Challenge und kalibrieren Sie Ihre Jury vor dem ersten Pitch. Die Schritte unten zeigen, wie das geht.

Warum die Bewertung schiefgeht

Die meisten Bewertungsprobleme sind Designprobleme, keine Personenprobleme. Das übliche Muster: fünf Kriterien, von einer anderen Veranstaltung übernommen (Innovation, Wirkung, Machbarkeit, Design, Präsentation), gleiche Gewichte, eine 1–10-Skala, die niemand definiert hat, und Jurymitglieder, die sich zehn Minuten vor den Pitches zum ersten Mal sehen. Das Ergebnis: Die selbstbewussteste Präsentation gewinnt, die Jury ist aus Gründen uneins, die sie nicht benennen kann, und das Team mit der vielversprechendsten Idee fragt sich auf dem Heimweg, was es falsch gemacht hat.

Dazu kommt ein gut dokumentierter Bias. Der Psychologe Edward Thorndike beschrieb 1920 den Halo-Effekt: Wenn Bewertende von einer Eigenschaft einen starken Eindruck gewinnen, färbt er ihr Urteil über alles andere. Ein geschliffener Pitch lässt die Idee machbarer, das Team fähiger und die Wirkung größer erscheinen. Gute Kriterien und ein disziplinierter Prozess sind Ihr wichtigster Schutz.

Sieben Schritte zu Kriterien, die funktionieren

1. Beginnen Sie bei dem, was Sie mit dem Gewinner tun werden. Gehen Sie zurück zum Zweck der Veranstaltung und zur Zusage des Owners (siehe So schreiben Sie ein Challenge Statement, das Menschen lösen wollen). Wenn der Owner den Gewinner in neunzig Tagen pilotieren will, müssen die Kriterien Ideen belohnen, die sich tatsächlich in neunzig Tagen pilotieren lassen. Geht es darum, neue Sichtweisen auf ein Problem zu finden, belohnen Sie Erkenntnis und Originalität und akzeptieren Sie, dass der Gewinner noch roh sein kann. Schreiben Sie den Zweck oben auf den Bewertungsbogen, damit die Jury ihn jedes Mal sieht.

2. Wählen Sie vier oder fünf Kriterien, nicht mehr. Während eines Fünf-Minuten-Pitches kann niemand acht Kriterien im Kopf behalten. Typische Bausteine:

• Problemverständnis. Hat das Team etwas Zutreffendes über die Betroffenen herausgefunden?
• Nutzen. Wenn es funktioniert: Wie viel ändert es für diese Menschen oder für die Organisation?
• Machbarkeit. Lässt es sich innerhalb der genannten Einschränkungen bauen und betreiben?
• Belege. Was hat das Team getestet, mit wem, und was hat es gelernt?
• Originalität. Ist es eine wirklich andere Antwort oder eine Variante von etwas Bestehendem?

Beachten Sie, was fehlt: „Präsentation“. Klarheit zählt, doch als eigenes Kriterium belohnt sie Auftritt statt Substanz. Wenn Sie sie aufnehmen, geben Sie ihr das geringste Gewicht.

3. Gewichten Sie nach dem Zweck. Gleiche Gewichte sind eine verdeckte Entscheidung – meist die falsche. Eine pilotorientierte Veranstaltung könnte so gewichten: Nutzen 30 %, Machbarkeit 30 %, Belege 25 %, Problemverständnis 15 %. Eine explorative Veranstaltung etwa so: Problemverständnis 35 %, Originalität 35 %, Nutzen 20 %, Machbarkeit 10 %. Eine Gewichtete Entscheidungsmatrix ist die einfachste Art, das darzustellen.

4. Schreiben Sie auf, was jede Punktzahl bedeutet. „Machbarkeit: 1–5“ lädt zu fünf verschiedenen Auslegungen ein. Formulieren Sie einen kurzen Anker für die niedrige, mittlere und hohe Punktzahl. Zum Beispiel für Belege: 1 — kein Kontakt mit Nutzern oder Daten; 3 — mit einigen Nutzern gesprochen oder eine Annahme getestet; 5 — die riskanteste Annahme mit echten Nutzern getestet und die Idee daraufhin verändert. Solche Anker machen aus Meinung ein Urteil und Meinungsverschiedenheiten nützlich, weil die Jury auf die Beschreibung zeigen kann. Ein Assumption Mapping und ein Hypothesentest sind genau das, was Sie von den Teams erwarten; sagen Sie das im Anker.

5. Veröffentlichen Sie alles zusammen mit der Challenge. Die Teams sollten Kriterien, Gewichte und Anker am ersten Tag sehen. Das ist keine Höflichkeit, sondern Ihr Steuerungsinstrument. Zählen Belege ein Viertel der Punkte, gehen die Teams los und suchen Nutzer. Verkünden Sie die Kriterien erst beim Pitch, haben sie auf Folien optimiert. Das ist einer der 9 Hackathon-Fehler, die Veranstalter immer wieder machen.

6. Kalibrieren Sie die Jury vor den Pitches. Briefen Sie die Jury am Vortag oder mindestens eine Stunde vorher. Gehen Sie Zweck, Kriterien und Anker durch. Dann bewerten alle einzeln ein Beispiel – eine frühere Einreichung oder eine erfundene –, vergleichen die Punktzahlen und besprechen die Abweichungen. Zehn Minuten Kalibrierung beseitigen den Großteil der Meinungsverschiedenheiten, die Sie sonst am Ende hätten. Bitten Sie die Jurymitglieder, Interessenkonflikte offenzulegen, und stellen Sie sicher, dass mindestens eines von ihnen die Person ist, die die Gewinneridee verantworten wird.

7. Bewerten Sie die Arbeit, nicht nur den Pitch. Geben Sie der Jury vor den Abschlusspräsentationen Zeit mit jedem Team: zehn Minuten am Tisch, den Prototyp ansehen und fragen, was getestet wurde. Lassen Sie zuerst unabhängig bewerten, dann beraten. Besprechen Sie die Teams, bei denen die Bewertungen am weitesten auseinanderliegen, nicht die, bei denen alle einig sind. Nutzen Sie die Gesamtpunktzahl als Ausgangspunkt der Entscheidung, nicht als Automat, der sie trifft; wenn die Jury von den Zahlen abweicht, halten Sie den Grund fest. Geben Sie danach jedem Team kurzes schriftliches Feedback entlang der Kriterien. Ein Feedback-Capture-Grid gibt ihm Struktur.

Ein Beispiel-Bewertungsbogen

Passen Sie die Gewichte an Ihren eigenen Zweck an. Bewerten Sie die Einreichung, nie die einzelnen Personen im Team.

Do's and Don'ts

Do

• Leiten Sie jedes Kriterium aus dem Zweck der Veranstaltung ab.
• Halten Sie die Jury klein: drei bis fünf Mitglieder.
• Bewerten Sie unabhängig, bevor Sie diskutieren.
• Halten Sie die Gründe für die endgültige Entscheidung fest, besonders wenn sie von den Gesamtpunkten abweicht.
• Geben Sie jedem Team Feedback, nicht nur den Gewinnern.

Don't

• Lassen Sie in der Beratung nicht das ranghöchste Jurymitglied zuerst sprechen; die anderen orientieren sich sonst an seiner Sicht.
• Fügen Sie kein Kriterium „Wow-Faktor“ oder „Ermessen der Jury“ hinzu; es öffnet dem Halo-Effekt wieder die Tür.
• Ändern Sie die Kriterien nicht während der Veranstaltung.
• Nutzen Sie die Impact-Effort-Matrix nicht als finales Bewertungsinstrument; sie eignet sich für eine schnelle erste Sortierung vieler Einreichungen, nicht für die Wahl eines Gewinners.

Illustratives Beispiel

Illustrativ. Ein mittelgroßer Versicherer in Südostasien veranstaltete einen internen Hackathon dazu, wie sich die Regulierung kleiner Kfz-Schäden beschleunigen lässt. Der Leiter der Schadenabteilung hatte zugesagt, den Gewinner in einer Region zu pilotieren.

Bei der ersten Veranstaltung bewertete die Jury fünf gleich gewichtete Kriterien auf einer 1–10-Skala ohne Definitionen. Ein Team mit einem auffällig animierten Pitch für eine vollautomatisierte Schaden-App gewann. Als der Leiter der Schadenabteilung genauer hinsah, erforderte sie eine Änderung am Kernsystem außerhalb des Pilotbudgets. Daraus wurde nichts.

Für die nächste Veranstaltung bauten die Organisatoren den Bogen rund um den Pilot neu auf: Machbarkeit mit den bestehenden Systemen der Region 30 %, Nutzen für Anspruchsteller 30 %, Belege 25 %, Problemverständnis 15 %, mit schriftlichen Ankern. Sie veröffentlichten ihn mit der Challenge und führten mit den fünf Jurymitgliedern eine zwanzigminütige Kalibrierung an einer erfundenen Einreichung durch. Vor den Pitches verbrachte die Jury acht Minuten an jedem Tisch. Das Gewinnerteam hatte sechs Anspruchsteller und drei Schadenregulierer interviewt, herausgefunden, dass die meisten Verzögerungen durch das Warten auf einen einzigen Kostenvoranschlag entstanden, und schlug vor, zugelassene Werkstätten Kostenvoranschläge direkt hochladen zu lassen. Der Pitch war schlicht. Im Folgemonat ging die Idee in den regionalen Pilot.

Häufige Fragen

Welche Bewertungskriterien sind bei Hackathons üblich? Die meisten Veranstaltungen nutzen eine Mischung aus Problemverständnis, Nutzen oder Wirkung, Machbarkeit, Belegen oder Tests und Originalität. Die richtige Mischung hängt davon ab, was Sie mit dem Gewinner vorhaben – wählen und gewichten Sie sie also aus Ihrem Zweck heraus, statt die Liste einer anderen Veranstaltung zu kopieren.

Sollte die Präsentation ein Bewertungskriterium sein? Als eigenständiges Kriterium selten. Wenn Sie sie aufnehmen, geben Sie ihr ein geringes Gewicht. Klare Kommunikation zählt, doch wer sie stark belohnt, bevorzugt gute Präsentatoren gegenüber Teams mit der stärksten Arbeit.

Wie verhindern Sie, dass sich die Jury uneins ist? Schreiben Sie Anker für jede Punktzahl, kalibrieren Sie vor der Veranstaltung an einer Beispiel-Einreichung, bewerten Sie unabhängig und besprechen Sie dann die größten Abweichungen. Was danach an Uneinigkeit bleibt, ist meist eine nützliche Information über die Ideen.

Wie es weitergeht

Für das Gesamtdesign der Veranstaltung lesen Sie So führen Sie einen Hackathon durch, der echte Ergebnisse liefert und die vollständige Übersicht in Hackathons, Jams und Challenges: alle Formate erklärt. Die Guides Gewichtete Entscheidungsmatrix, Assumption Mapping und Feedback-Capture-Grid geben Ihnen die Struktur für die Bewertung, für das, was die Teams testen sollten, und für das Feedback danach.