Criterios de evaluación que eligen al ganador correcto

Los buenos criterios de evaluación de un hackathon salen directamente del propósito del evento: si quieres algo que pilotar, pondera la viabilidad y la evidencia; si quieres pensamiento nuevo, pondera la originalidad y la comprensión del problema. Usa cuatro o cinco criterios, pondéralos, escribe una breve guía de puntuación para cada uno, publícalos con el reto y calibra al jurado antes del primer pitch. Los pasos siguientes explican cómo.

Por qué falla la evaluación

La mayoría de los problemas de evaluación son problemas de diseño, no de personas. El patrón habitual: cinco criterios copiados de otro evento (innovación, impacto, viabilidad, diseño, presentación), pesos iguales, una escala del 1 al 10 que nadie definió y un jurado que se conoce diez minutos antes de los pitches. El resultado es que gana el presentador más seguro, el jurado discrepa por motivos que no sabe explicar y el equipo con la idea más prometedora se va preguntándose qué hizo mal.

Además actúa un sesgo bien documentado. El psicólogo Edward Thorndike describió en 1920 el efecto halo: cuando quien evalúa se forma una impresión fuerte de una cualidad, esa impresión tiñe la valoración de todo lo demás. Un pitch pulido hace que la idea parezca más viable, el equipo más capaz y el impacto mayor. Unos buenos criterios y un proceso disciplinado son tu principal defensa.

Siete pasos hacia unos criterios que funcionen

1. Parte de lo que harás con el ganador. Vuelve al propósito del evento y al compromiso del responsable (consulta cómo redactar un reto que la gente quiera resolver). Si el responsable va a pilotar el ganador en noventa días, los criterios deben premiar ideas que de verdad se puedan pilotar en noventa días. Si el objetivo es descubrir nuevas formas de ver un problema, premia la comprensión y la originalidad y acepta que el ganador quizá esté poco pulido. Escribe el propósito en la parte superior de la hoja de puntuación para que el jurado lo vea cada vez.

2. Elige cuatro o cinco criterios, no más. Un jurado no puede tener ocho criterios en la cabeza durante un pitch de cinco minutos. Piezas habituales:

• Comprensión del problema. ¿Descubrió el equipo algo cierto sobre las personas afectadas?
• Valor. Si funciona, ¿cuánto cambia para esas personas o para la organización?
• Viabilidad. ¿Se puede construir y operar dentro de las restricciones indicadas?
• Evidencia. ¿Qué probó el equipo, con quién y qué aprendió?
• Originalidad. ¿Es una respuesta realmente distinta o una versión de lo que ya existe?

Fíjate en lo que falta: «presentación». La claridad importa, pero como criterio propio premia la actuación por encima del fondo. Si la incluyes, dale el peso más bajo.

3. Pondéralos según el propósito. Los pesos iguales son una decisión disfrazada, normalmente la equivocada. Un evento orientado a un piloto podría usar: valor 30 %, viabilidad 30 %, evidencia 25 %, comprensión del problema 15 %. Un evento de exploración podría usar: comprensión del problema 35 %, originalidad 35 %, valor 20 %, viabilidad 10 %. Una matriz de decisión ponderada es la forma más sencilla de plasmarlo.

4. Escribe qué significa cada puntuación. «Viabilidad: 1–5» invita a cinco interpretaciones distintas. Escribe un ancla breve para la puntuación baja, la media y la alta. Por ejemplo, para la evidencia: 1 — ningún contacto con usuarios ni datos; 3 — habló con algunos usuarios o probó un supuesto; 5 — probó el supuesto más arriesgado con usuarios reales y cambió la idea en consecuencia. Anclas así convierten la opinión en juicio y hacen útil el desacuerdo, porque el jurado puede señalar la descripción. Un mapa de supuestos y una prueba de hipótesis son lo que pides a los equipos que hagan; dilo en el ancla.

5. Publícalo todo con el reto. Los equipos deben ver los criterios, los pesos y las anclas el primer día. No es una cortesía; es la forma de orientar el trabajo. Si la evidencia vale una cuarta parte de la nota, los equipos irán a buscar usuarios. Si anuncias los criterios en el pitch, habrán optimizado para las diapositivas. Es uno de los 9 errores que los organizadores de hackathons siguen repitiendo.

6. Calibra al jurado antes de los pitches. Reúne al jurado el día anterior o, como mínimo, una hora antes. Repasad el propósito, los criterios y las anclas. Después, que cada uno puntúe por separado una muestra (una propuesta anterior o una inventada), comparad las notas y comentad las diferencias. Diez minutos de calibración eliminan la mayor parte del desacuerdo que, si no, aparecería al final. Pide a los miembros del jurado que declaren cualquier conflicto de interés y asegúrate de que al menos uno sea la persona que se hará cargo de la idea ganadora.

7. Evalúa el trabajo, no solo el pitch. Da al jurado tiempo con cada equipo antes de las presentaciones finales: diez minutos en su mesa, mirando el prototipo y preguntando qué probaron. Que el jurado puntúe primero de forma independiente y después delibere. Comentad los equipos en los que las notas más difieren, no aquellos en los que todos coinciden. Usad el total como punto de partida para la decisión, no como una máquina que la toma; si el jurado se aparta de los números, dejad por escrito por qué. Después, da a cada equipo una breve valoración escrita según los criterios. Una matriz de captura de retroalimentación la mantiene estructurada.

Un ejemplo de hoja de puntuación

Adapta los pesos a tu propio propósito. Puntúa la propuesta, nunca a las personas del equipo.

Qué hacer y qué no

Qué hacer

• Deriva cada criterio del propósito del evento.
• Mantén un jurado reducido: de tres a cinco personas.
• Puntúa de forma independiente antes de debatir.
• Deja constancia de los motivos de la decisión final, sobre todo cuando se aparta de los totales.
• Da una valoración a todos los equipos, no solo a los ganadores.

Qué no hacer

• No dejes que el miembro más senior del jurado hable primero en la deliberación; los demás se anclarán en su opinión.
• No añadas un criterio de «efecto wow» o «criterio del jurado»; vuelve a abrir la puerta al efecto halo.
• No cambies los criterios durante el evento.
• No uses la matriz impacto-esfuerzo como herramienta de puntuación final; sirve para una primera criba rápida de muchas propuestas, no para elegir un ganador.

Ejemplo ilustrativo

Ilustrativo. Una aseguradora mediana del Sudeste Asiático organizó un hackathon interno para reducir el tiempo de liquidación de los siniestros de automóvil de poca cuantía. El responsable de siniestros había aceptado pilotar el ganador en una región.

En el primer evento, el jurado puntuó cinco criterios con el mismo peso en una escala del 1 al 10 sin definiciones. Ganó un equipo con un pitch animado y llamativo para una app de siniestros totalmente automatizada. Cuando el responsable de siniestros la examinó de cerca, requería un cambio en el sistema troncal fuera del presupuesto del piloto. No llegó a ninguna parte.

Para el siguiente evento, los organizadores rehicieron la hoja en torno al piloto: viabilidad dentro de los sistemas actuales de la región 30 %, valor para los asegurados 30 %, evidencia 25 %, comprensión del problema 15 %, con anclas escritas. La publicaron con el reto e hicieron una calibración de veinte minutos con los cinco miembros del jurado sobre una propuesta inventada. El jurado pasó ocho minutos en cada mesa antes de los pitches. El equipo ganador había entrevistado a seis asegurados y tres peritos, descubrió que la mayoría de los retrasos se debían a la espera de un único presupuesto de reparación y propuso que los talleres homologados subieran los presupuestos directamente. Su pitch era sobrio. Entró en el piloto regional al mes siguiente.

Preguntas frecuentes

¿Cuáles son los criterios de evaluación habituales en un hackathon? La mayoría de los eventos combinan comprensión del problema, valor o impacto, viabilidad, evidencia o pruebas y originalidad. La combinación adecuada depende de lo que harás con el ganador, así que elígelos y pondéralos a partir de tu propósito en lugar de copiar la lista de otro evento.

¿Debe ser la presentación un criterio de evaluación? Rara vez como criterio independiente. Si la incluyes, dale poco peso. La claridad al comunicar importa, pero premiarla mucho favorece a los buenos presentadores frente a los equipos con el trabajo más sólido.

¿Cómo se evita que el jurado discrepe? Escribe anclas para cada puntuación, calibra con una propuesta de muestra antes del evento, puntúa de forma independiente y después comenta las mayores diferencias. El desacuerdo que quede tras eso suele ser información útil sobre las ideas.

Por dónde seguir

Para el diseño completo del evento, consulta cómo organizar un hackathon que produzca algo real y el mapa completo en hackathons, jams y retos: todos los tipos explicados. Las guías de matriz de decisión ponderada, mapa de supuestos y matriz de captura de retroalimentación te dan la estructura para puntuar, para lo que deben probar los equipos y para la valoración posterior.