Medir a transformação por resultados, não por atividade

Meça uma transformação pelo que mudou para as pessoas a quem ela deveria servir: quanto tempo o cliente espera, quantas vezes precisa correr atrás, quanto retrabalho a equipe deixou de fazer. Marcos cumpridos, sistemas lançados e pessoas treinadas mostram que o programa está ocupado, não que está funcionando. A solução é escrever o resultado primeiro, desenhar a cadeia que liga a atividade a esse resultado e reportar os indicadores de adoção e de resultado antes de qualquer outra coisa.

Este texto é a etapa de medição do artigo central do hub, a transformação falha na porta do cliente. Se a sua questão são os indicadores de inovação de forma mais ampla, veja como medir a inovação.

Por que os indicadores de atividade tomam conta

Atividade é fácil de contar, chega no prazo e quase sempre está verde. Um escritório de programa consegue reportar todo mês "nova plataforma no ar, 86% dos marcos concluídos, 2.000 colaboradores treinados" sem que ninguém verifique se os clientes perceberam alguma coisa.

Três fatores empurram os programas nessa direção:

• Os resultados chegam tarde. Um novo processo de sinistros pode levar um ano para aparecer nos índices de reclamação. Os marcos aparecem toda semana.
• Os resultados são compartilhados. Nenhuma frente de trabalho sozinha é dona de "os clientes nos ligam menos". Cada uma é dona da própria entrega, então cada uma reporta a própria entrega.
• Os resultados podem ficar vermelhos. Um relatório de status baseado em atividade protege todo mundo. Um baseado em resultados expõe o programa enquanto ainda há tempo de mudá-lo, e é exatamente por isso que vale a pena tê-lo.

O efeito é o relatório conhecido: verde por fora, vermelho por dentro. O programa termina no prazo, e a linha de frente continua trabalhando do jeito antigo, com um sistema novo acoplado por cima. O texto irmão sobre por que programas de transformação geram relatórios e ninguém muda trata do padrão mais amplo; este trata dos indicadores.

Sete passos para indicadores de resultado

1. Escreva o resultado nas palavras do cliente

Antes de qualquer métrica, escreva uma frase por resultado: quem, o que muda para essa pessoa e até quando. "Donos de pequenas empresas obtêm o alvará de funcionamento numa única visita, sem que lhes peçam o mesmo documento duas vezes, até o fim do ano que vem." Se você não consegue escrever essa frase, nenhum dashboard vai dizer para que serve a transformação.

Use um mapa de experiência do estado atual para encontrar os momentos que importam. O resultado deve nomear um deles, não uma abstração como "melhor experiência do cliente".

2. Desenhe a cadeia da atividade ao resultado

Organize quatro níveis e seja honesto sobre quais você mede hoje:

Uma árvore de KPIs faz isso bem: o resultado no topo, os direcionadores abaixo dele e as atividades só nas folhas. Indicadores de atividade e de entrega pertencem ao plano do projeto. Indicadores de adoção e de resultado pertencem ao relatório que a liderança lê.

Se a cadeia parece familiar, é porque é. O modelo de Donald Kirkpatrick para avaliar treinamentos fez o mesmo movimento décadas atrás, separando se as pessoas gostaram do curso de se o comportamento e os resultados delas mudaram. Os programas de transformação, em geral, param no primeiro nível.

3. Meça a adoção separadamente e procure o caminho antigo

A adoção é o nível que a maioria dos programas pula, e é onde a maioria deles falha. Um processo novo pode estar no ar e não ser usado. Meça-o diretamente:

• Que parcela do trabalho passa pelo caminho novo de ponta a ponta?
• Quanto ainda corre pelo caminho antigo, em paralelo? Conte as planilhas, os formulários paralelos, as ligações que contornam o sistema.
• Quantas gambiarras surgiram? Gambiarras são dados: cada uma marca um ponto em que o novo desenho não se encaixa no trabalho.

Os números não vão mostrar tudo isso. Passe meio dia por mês em observação contextual na linha de frente. Ver alguém redigitar um caso do sistema novo no antigo vale mais do que qualquer gráfico de uso.

4. Registre a linha de base antes de qualquer mudança

Você não pode reivindicar uma melhora que não mediu antes. Registre cada indicador de resultado e de adoção por pelo menos algumas semanas antes da entrada em produção, com a mesma definição que vai usar depois. Se os dados não existem, faça uma amostra manual: separe cinquenta casos e cronometre.

Registre a definição por escrito. "Dias até o alvará" precisa de um início (pedido enviado ou primeiro contato?) e de um fim (alvará emitido ou alvará recebido?).

5. Decida de antemão qual resultado mudaria o plano

Trate cada grande mudança como uma hipótese: "Se levarmos os pedidos para o online com dados pré-preenchidos, as visitas repetidas vão cair em três meses." Defina o limiar e a data de decisão antes do lançamento, como faria num teste de hipótese. Se o limiar não for atingido, o programa já combinou de antemão que vai parar, ajustar ou redesenhar, e não estender a campanha de comunicação.

6. Reporte os resultados primeiro e mantenha o vermelho visível

Coloque os resultados no topo da página, a adoção em seguida e a atividade por último, numa única linha, se é que vai aparecer. Mostre cada resultado em relação à linha de base e ao limiar. Onde um indicador estiver vermelho, diga o que o programa está fazendo a respeito.

Se a sua organização já trabalha com OKR ou com um scorecard, coloque os resultados da transformação dentro desse sistema como resultados-chave, em vez de num dashboard separado do programa.

7. Revise num ritmo definido e fique atento à manipulação

Revise os indicadores de resultado todo mês com as pessoas donas do trabalho. Uma vez por trimestre, faça uma retrospectiva sobre os próprios indicadores: quais mudaram uma decisão, quais ninguém olhou e quais as pessoas passaram a gerenciar no lugar do trabalho.

A lei de Goodhart, que leva o nome do economista Charles Goodhart, é o alerta aqui: um indicador posto sob pressão deixa de dizer a verdade. Se o "tempo médio de atendimento" vira meta, as ligações ficam mais curtas e os clientes ligam de novo. Combine cada meta com um indicador que flagre o atalho, como recontatos ao lado do tempo de atendimento.

Um exemplo

Ilustrativo. Uma seguradora de porte médio na Holanda conduziu um programa de dois anos para migrar a regulação de sinistros para uma nova plataforma. O relatório mensal mostrava marcos em dia, a plataforma no ar em todas as regiões e todos os analistas de sinistros treinados. As reclamações não caíam.

O novo diretor do programa reconstruiu o relatório em torno de um único resultado: "Um cliente com um sinistro residencial simples é pago sem precisar nos ligar." Abaixo dele ficaram três indicadores: dias entre o primeiro aviso e o pagamento nos sinistros simples; parcela dos sinistros simples em que o cliente fez um segundo contato; e parcela dos sinistros tratados inteiramente na nova plataforma, sem serem redigitados na antiga.

A linha de base foi desconfortável. Muitos sinistros ainda eram copiados para o sistema antigo porque a etapa de pagamento da equipe de finanças não tinha mudado. Os analistas tinham criado uma planilha compartilhada para acompanhar o que a plataforma não conseguia. Os segundos contatos não tinham mudado desde a entrada em produção.

O trabalho do trimestre seguinte foi redirecionado para a passagem ao pagamento, que nenhuma frente de trabalho assumia. Os indicadores de atividade saíram do relatório ao conselho.

O que fazer e o que evitar

Faça

• Escreva cada resultado como uma frase que o cliente reconheceria.
• Meça a adoção à parte, incluindo quanto trabalho ainda passa pelo caminho antigo.
• Registre a linha de base antes da entrada em produção, com as definições por escrito.
• Defina limiares e datas de decisão antes do lançamento.
• Combine cada meta com um indicador que exponha a manipulação.

Não faça

• Não reporte "percentual de marcos concluídos" como prova de progresso.
• Não conte pessoas treinadas como resultado; conte pessoas trabalhando do jeito novo.
• Não trate a entrada em produção como linha de chegada. Para o cliente, é o começo.
• Não deixe cada frente reportar só a própria entrega; alguém precisa ser dono do resultado compartilhado.
• Não ranqueie equipes ou pessoas por números de adoção. Isso ensina as pessoas a esconder gambiarras, que são o sinal mais útil que você tem.

Perguntas frequentes

Quais são bons KPIs para uma transformação digital? Comece com dois ou três indicadores de resultado ligados a um momento que clientes ou equipes sentem, como tempo de resolução, recontatos ou retrabalho. Acrescente um ou dois indicadores de adoção, como a parcela do trabalho concluída de ponta a ponta pelo caminho novo. Disponibilidade do sistema e funcionalidades entregues pertencem ao plano do projeto, não ao scorecard da transformação. O texto irmão a transformação digital é um problema de design de serviços explica por quê.

Qual é a diferença entre uma entrega e um resultado? Uma entrega é o que o programa produz: um portal, um processo, um curso de treinamento. Um resultado é o que muda, graças a ela, para as pessoas que o programa atende: menos visitas, decisões mais rápidas, menos retrabalho.

Em quanto tempo dá para medir os resultados de uma transformação? A adoção aparece poucas semanas depois da entrada em produção e é o melhor sinal precoce. Os resultados costumam levar alguns meses para se firmar, e é por isso que você define limiares e datas de decisão de antemão e acompanha a adoção nesse meio-tempo. Se a adoção estiver baixa na sexta semana, os resultados não vão chegar sozinhos.

Para fechar

Para montar seus indicadores, comece com um mapa de experiência para encontrar os momentos que importam, desenhe a cadeia com uma árvore de KPIs e formule cada grande mudança como um teste de hipótese. Para manter as equipes no comando do plano que esses indicadores orientam, leia como conduzir um roadmap de transformação do qual as equipes são donas. Todos os guias de método estão no índice de guias.