Quatro pegadinhas das métricas em TI

Era um help desk excelente. Então, seu CIO, querendo resultados mensuráveis, estabeleceu que a métrica de incidentes resolvidos por semana era adequada para a avaliação de desempenho. A empresa em questão tinha três unidades de help desk: uma para cada local importante. O resultado de uma delas foi muito pior que a das outras duas, e foi castigada por isso.

O que ele estava fazendo de errado? Ser eficiente demais. Seus gestores tinham estabelecido um programa de autosuficiência dos usuários que reduziu muito o número de chamados. Os analistas consumiram bastante tempo educando os funcionários a serem mais independentes e sofisticados no uso da tecnologia. O resultado foi menos incidentes para resolver, juntamente com níveis mais elevados de eficácia dos funcionários.

Moral da história: seu resultado nitidamente superior, resultou em métricas de desempenho pobres.

“Você não pode gerenciar o que não pode medir”, afirma o lendário guru da administração Peter Drucker. Ele está certo, mas não o suficiente. O fato é que é muito mais fácil obter métricas erradas do que certas, e o dano causado a partir das métricas erradas geralmente excede o benefício potencial das métricas certas.

A métrica certa depende do entendimento claro do que a companhia quer realizar. Imagine que em vez de trabalhar em TI você seja um policial rodoviário. Se seu objetivo é pegar quem anda acima da velocidade máxima permitida, sua métrica será o maior número de multas emitidas por agente por hora. Se, por outro lado, seu objetivo for minimizar a quantidade de excesso de velocidade nas estradas, você vai garantir que cada carro da polícia esteja altamente visível, e a métrica passará a ser o menor quantidade de multas emitidas.

Uma razão aparentemente inteligente nem sempre é realmente inteligente

Qualquer objetivo que não possa ser transformado claramente em um número permite a manipulação para que os interessados o considerem atingido ou não. Talvez sua organização não tenha definido as métricas necessárias para avaliar um objetivo. Muitas vezes, elas e os instrumentos para chegar a elas, são especificados antes da definição do objetivo. E talez aí esteja o “x” da questão.

A SMART é uma técnica de definição de metas muito popular. Ela representa (com algumas variações) os objetivos específicos, mensuráveis, atingíveis, realistas e e em tempo (ou com prazo).

Quem poderia argumentar contra uma técnica de formulação de objetivos como essa? A resposta: quem prefere a prevenção para a solução de problemas, ainda que, com poucas exceções, as ações preventivas sejam mais difíceis de medir.

A prevenção bem-sucedida é indistinguível na ausência de risco. Qualquer um que tenha trabalhado em projetos Y2K, sabe bem. Muitos foram acusados de desperdiçar dinheiro da empresa em um falso problema diante da não ocorrência do caos anunciado para o dia 1º de janeiro de 2000.

Será que eles definiram claramente o método ou sistema de medição que seria usado para monitorar o seu objetivo: evitar a parada dos sistemas com a troca da data?

Há, ao que parece, quatro maneiras diferentes de realizar métricas erradas. Você pode:

– Medir as coisas certas de forma ruim.

– Medir as coisas erradas, bem ou mal.

– Negligência a medição de algo importante.

– Estender as métricas a funcionários individuais.

O primeiro problema é o mais fácil de evitar. Depois de saber o que você precisa medir – quais são seus objetivos – as falhas mais comuns são fáceis de detectar e corrigir. Um exemplo comum é não dar pesos diferentes para atividades diferentes. Nosso exemplo de help desk teria falhado este teste, mesmo que a taxa de resolução fosse a medida certa: todas as chamadas para o help desk foram contadas de forma igual, mesmo que resultassem em quantidades dramaticamente diferentes de tempo para resolução dos problemas.

O segundo problema é mais difícil de detectar. Foi o pecado cometido no caso do help desk. A taxa de resolução não era o elemento mais importante para medir. O tempo de trabalho do usuário gasto para resolver dificuldades técnicas é o que importa.

As empresas devem querer também que seus funcionários aproveitem ao máximo as ferramentas disponíveis para eles. É um outro objetivo muito importante e de difícil mensuração. O gerente de help desk reconhecia essa importância e instituiu programas nessa direção.

E aí chegamos na quarta e mais polêmica falácia métricas – ampliar as métricas para funcionários individuais. Por mais tentadora que seja, é quase sempre uma proposta perdedora, porque os empregados quase sempre descobrirão as formas como as métricas são aplicadas.

Métricas não importam se não forem associadas a maneiras de saber se a organização está ou não alcançando os objetivos mais importantes. Caso contrário, seus administradores estarão voando sem instrumentos. O desafio é medir direito, porque há coisas piores do que voar sem instrumentos. Entre elas, voar com base em instrumentos que permitem leituras falsas.