Benchmarks sem contexto não têm sentido: as armadilhas dos dados sem insights

Foi uma conversa típica com um cliente quando surgiu a pergunta: “Qual é o gasto médio com segurança para organizações como a nossa?” Já ouvi variações dessa consulta inúmeras vezes. Sabendo que isso aconteceria, respondi: “Em média, a maioria das organizações gasta cerca de 3 a 6% de seu orçamento de TI em segurança”.

“Ótimo, estamos em 3%”, respondeu o cliente, satisfeito com sua posição.

Mas eu não terminei. “Sim, mas seus gastos com TI são significativamente inferiores à média do setor para empresas do seu tamanho. Então, na realidade, os seus 3% são como gastar 1,5% numa organização mais típica. Os gastos com segurança como porcentagem do orçamento de TI não têm sentido sem a compreensão do seu investimento geral em TI.”

Silêncio.

Este é um cenário comum: um cliente busca benchmarks e métricas sem compreender totalmente o contexto mais amplo. Eles presumem que, desde que atinjam uma porcentagem “normal”, estarão em boa forma. Mas os benchmarks, embora úteis em certos casos, são muitas vezes enganosos quando retirados do contexto.

Os perigos do uso indevido de benchmarks

Numa conversa semelhante, discutimos a alocação de recursos entre a manutenção das operações diárias de TI e a promoção da inovação. Eu disse ao cliente que a maioria das organizações de TI, especialmente as maduras, normalmente operam em uma divisão 60/40 – 60% mantendo os sistemas atuais e 40% impulsionando a inovação.

A resposta deles? “Estamos em 40/60.”

Foi então que indiquei que eles tinham acabado de passar por uma transformação digital significativa. Seu foco atual na inovação fazia sentido — neste momento. Mas avisei-os de que, à medida que os seus sistemas se estabilizassem, essa proporção provavelmente passaria para o padrão 60/40, à medida que se concentrassem mais em refinar e optimizar o que tinham construído. Então, se eles definissem 40/60 como sucesso, quando inevitavelmente mudassem para 60/40, isso indicaria fracasso? (Spoiler: Não. Apenas um ciclo.)

Estes intercâmbios realçam uma questão fundamental: embora os parâmetros de referência possam fornecer pontos de referência úteis, confiar neles sem contexto pode levar a uma má tomada de decisões e a uma confiança equivocada.

O fascínio do benchmark: por que as empresas perguntam

No mundo acelerado e de alta pressão da gestão de TI, os líderes são frequentemente solicitados a justificar as suas decisões, gastos e prioridades estratégicas ao lado comercial da organização. Os executivos e os conselhos de administração querem dados concretos e os benchmarks oferecem uma forma fácil de fornecer métricas aparentemente objetivas.

Mas aqui está o desafio: os líderes empresariais tendem a procurar comparações rápidas. Eles querem saber se estão gastando muito ou pouco em TI e como se comparam aos concorrentes. Sob pressão, os líderes de TI muitas vezes recorrem às mesmas comparações fáceis: benchmarks que lhes mostram como estão os seus gastos ou inovações.

O problema é que esses benchmarks muitas vezes não levam em consideração as características únicas da empresa. Quer se trate de gastos com segurança ou divisões de operações/inovação, os benchmarks genéricos ignoram o contexto estratégico mais amplo.

Entendendo por que o contexto é importante

Vamos explicar por que usar benchmarks sem considerar o contexto pode ser enganoso, começando com o exemplo dos gastos com segurança.

É fácil dizer que 3-6% de um orçamento de TI deveria ser alocado para segurança. Mas o que essa porcentagem realmente representa?

• Uma empresa com um orçamento de TI robusto, com sistemas maduros, arquitetura de nuvem e automação, provavelmente gastará de 3 a 6% em medidas de segurança avançadas, incluindo detecção de ameaças, monitoramento em tempo real e gerenciamento de vulnerabilidades.
• Mas e se o seu orçamento de TI for comparativamente pequeno? Seu gasto de 3% em segurança pode significar que você pode pagar apenas proteção básica de firewall, sistemas de patches e ferramentas de monitoramento desatualizadas.

Nesse caso, o valor de referência de 3% significa pouco porque você não está comparando maçãs com maçãs. A organização com um orçamento de TI maior pode fazer muito mais com os seus gastos com segurança – mesmo na mesma percentagem – porque o seu investimento global em TI é maior. Portanto, simplesmente atingir a porcentagem “certa” não é suficiente para garantir uma postura de segurança adequada.

Uma visão mais ampla: Benchmarking para inovação e operações

Da mesma forma, no caso da inovação em TI versus despesas operacionais, uma divisão 60/40 é uma referência útil, mas apenas para organizações que se encontram numa fase estável e madura do seu ciclo de vida tecnológico.

Para uma empresa que acabou de passar por uma transformação digital, como o cliente do meu exemplo, a proporção irá inclinar-se para a inovação – provavelmente mais perto de 40/60 ou mesmo 30/70. Isso não é um problema porque a organização está focada na construção de novas capacidades. A questão surge quando a liderança vê esta relação 40/60 e assume que está atrás ou à frente da indústria com base num benchmark sem compreender a sua situação única.

Inevitavelmente, à medida que a empresa estabiliza e aperfeiçoa os seus novos sistemas, o equilíbrio mudará. As operações exigirão mais recursos e a proporção avançará para os tradicionais 60/40. É um processo natural e cíclico.

Como usar benchmarks de forma eficaz

Embora os benchmarks possam ser úteis, o segredo é usá-los de forma inteligente. Aqui estão alguns princípios orientadores para garantir que os benchmarks sejam uma ferramenta de insight, e não uma distração:

• Entenda o contexto estratégico: Antes de buscar benchmarks, pergunte-se: em que fase minha organização se encontra? Você está no meio de uma transformação ou operando em um ambiente estável? Isso mudará drasticamente a relevância de qualquer benchmark para você.
• Analise suas necessidades específicas: Não compare apenas porcentagens – entenda o que está por trás dos números. Se você está analisando gastos com segurança, não vise apenas 3-6%. Em vez disso, pergunte quais capacidades sua empresa precisa para se defender contra ameaças específicas e, em seguida, calcule quanto investimento essas capacidades exigem.
• Evite comparações de tamanho único: Uma empresa que está em rápido crescimento gastará mais em inovação do que uma empresa legada que tenta manter sistemas obsoletos. Os benchmarks para uma organização podem ser completamente insignificantes para outra.
• Use benchmarks para informar, não para ditar: A melhor maneira de aproveitar os benchmarks é como uma ferramenta para informar sua tomada de decisão. Eles não devem ditar a sua estratégia. Entenda o “porquê” por trás dos números e não tenha medo de se afastar do benchmark se a sua situação assim o exigir.

Quando os benchmarks devem ser ignorados

Finalmente, há momentos em que os benchmarks simplesmente não importam. Ao enfrentar pressões empresariais para cumprir benchmarks específicos, pergunte-se: este número é realmente relevante para minha organização neste momento? Se lhe disserem que seus gastos com inovação são muito altos ou muito baixos com base em um benchmark, questione se a comparação é válida para seu estágio específico de crescimento, ciclo de vida tecnológico e estratégia de negócios.

O resultado final

Benchmarks sem contexto não são apenas sem sentido – eles podem ser perigosos. Eles oferecem uma falsa sensação de segurança e podem levar a tomadas de decisão inadequadas. Embora seja importante estar atento aos padrões do setor, é ainda mais crítico compreender a situação única da sua organização e como esses benchmarks se aplicam. Só então você poderá tomar decisões baseadas em dados que realmente apoiem os objetivos e necessidades do seu negócio.

Saiba mais sobre Pesquisa da IDC para líderes de tecnologia.

A International Data Corporation (IDC) é a principal fornecedora global de inteligência de mercado, serviços de consultoria e eventos para os mercados de tecnologia. A IDC é uma subsidiária integral do International Data Group (IDG Inc.), empresa líder mundial em serviços de mídia, dados e marketing de tecnologia. Recentemente eleita a Empresa Analista do Ano pela terceira vez consecutiva, as Soluções Líderes em Tecnologia da IDC fornecem orientação especializada apoiada por nossos serviços de pesquisa e consultoria líderes do setor, programas robustos de liderança e desenvolvimento e benchmarking e sourcing de dados de inteligência de primeira classe. dos consultores mais experientes do setor. Contate-nos hoje para saber mais.

Daniel Saroff é vice-presidente do grupo de consultoria e pesquisa da IDC, onde é profissional sênior na prática de consultoria ao usuário final. Esta prática fornece suporte a conselhos, líderes empresariais e executivos de tecnologia em seus esforços para arquitetar, avaliar e otimizar a tecnologia da informação de suas organizações. A prática de consultoria ao usuário final da IDC utiliza a extensa biblioteca internacional de dados de TI da IDC, sua robusta base de pesquisa e soluções de consultoria personalizadas para fornecer valor comercial exclusivo por meio de aceleração de TI, gerenciamento de desempenho, otimização de custos e recursos de benchmarking contextualizados.