A febre dourada da inteligência artificial (IA) está criando um problema inesperado: um desperdício em massa no fornecimento de recursos. Os custos excessivos da nuvem inevitavelmente levam à falta de verdadeiro retorno do investimento Para esses sistemas. Muitas empresas gastam 2 dólares para obter 1 dólar de benefícios. Isso não é lucrativo.
Dados recentes mostram uma incrível realidade de organizações que perdem dinheiro devido ao excesso de provisionamento de recursos em nuvem, com apenas 13% das CPUs provisionadas e 20% da memória usada.
Deixe -me pintar uma imagem do que leva o sonho dos diretores financeiros. Imagine entrar em um enorme data center, onde 87% dos computadores estão lá, zumbindo, sem fazer nada. Parece loucura, certo? É exatamente isso que está acontecendo em seu ambiente de nuvem. Se você gerenciar uma operação típica de computação em nuvem de negócios, está faltando dinheiro. Não é incomum ver empresas gastam 1 milhão de dólares por mês em recursos na nuvem, com 75% ou 80% desse valor que passa diretamente pela janela. Não é um mistério o que isso significa para seus resultados.
Se você executar 1.000 instâncias de alto desempenho e cada um custa um dólar por hora, é de US $ 720.000 por mês, mas provavelmente está usando apenas US $ 93.600 em ciência da computação. O resto é apenas uma face de decoração digital. Mas espere, piore. Você não está apenas desperdiçando dinheiro em computador e armazenamento sem usar; Você também está pagando por refrigeração, energia, administração e licenças de software Para uma capacidade que está lá acumulando poeira digital. Fornecedores de nuvem não são organizações benéficas. Esse custo está acontecendo com você. Esse capital desperdiçado poderia ser financiando a inovação, promovendo vantagem competitiva ou simplesmente tornando seus acionistas mais felizes. Over -Up está mascarando problemas mais profundos em sua arquitetura.
Eu carrego neste negócio tempo suficiente para saber que a computação em nuvem deve ser sua vantagem competitiva, não sua âncora financeira. Neste momento, para a maioria das empresas, é a última. Até que as empresas levam a sério a luta contra esse lixo, a promessa da economia em nuvem continuará sendo exatamente isso: uma promessa.
Os números não mentem, mas as pessoas mentem sobre os números
Somente em 2023, fornecedores de nuvem implantaram 878.000 aceleradores que geraram sete milhões de horas de trabalho de GPU, o que resultou em receitas aproximadas de 5,8 bilhões de dólares. Esses números escondem uma ineficiência preocupante. A renda aumentaria significativamente se esses recursos fossem usados com mais eficiência.
As cargas de trabalho da IA pioraram exponencialmente este problema. Os fornecedores de nuvem apressam dezenas de milhares de aceleradores de GPUs e IA, mas os testes sugerem que a maioria desses processadores está subutilizada. Considere os aglomerados UltraScale AWS. Cada um deles consiste em 20.000 GPU NVIDIA H100, que teoricamente poderia gerar US $ 65 bilhões anualmente com o rendimento total, mas não abordará esse número.
As organizações geralmente fornecem excesso de recursos em nuvem, mais um terço do que realmente usam. Mais da metade das organizações cita A falta de visibilidade do uso da nuvem como o principal culpado desse comportamento desperdiçado. Isso é O problema é agravado pela ascensão da IAque trouxe renda dos componentes dos data centers para os níveis recordes, com um crescimento anual de 127% a 54 bilhões de dólares.
Evite o desperdício da nuvem acionada pela IA
As empresas inteligentes não se limitam a esperar que o problema desapareça, mas toma medidas. Este é o meu conselho:
- Supervisão de tempo real duplicado. Não confie apenas nas ferramentas básicas oferecidas pelo seu fornecedor de nuvem; Eles não fornecerão a visibilidade de custo imediata de que você precisa. Em vez disso, invista em soluções de terceiros que fornecem uma imagem clara e atualizada do uso de seus recursos. Centle nas GPUs que consomem muita energia e executam cargas de trabalho de IA.
- Otimizar a atribuição derecursos. Em vez de aumentar o número de instâncias, considere a possibilidade de ajustar o tamanho. Os tipos de instâncias modernas oferecidas pelos fornecedores de nuvem pública podem oferecer mais a você o seu dinheiro.
- Use IA para gerenciar seus recursos na nuvem. A análise preditiva pode ajudá -lo a expandir ou reduzir a escala, dependendo da demanda, o que garante que ela não paga por recursos inativos.
- Não se concentre apenas no tamanho das instâncias. Seja estratégico e tenha uma visão mais ampla. Avalie as instâncias e os planos de poupança reservados para equilibrar o custo e o desempenho. Lembre -se de que você pode ter cargas de trabalho em grande parte em que menores e mais eficientes podem fazer o trabalho melhor.
- Audite periodicamente o uso da sua GPU. As taxas de uso da CPU e a memória constantemente baixa são sinais de alerta. Supervisionar a diferença entre o que fornece e o que usa, especialmente para as cargas de trabalho da IA.
A inflação de recursos em nuvem não é apenas sobre custos. Trata -se de eficiência e sustentabilidade, incluindo processos e práticas recomendadas. As organizações devem examinar cuidadosamente suas estratégias de alocação de recursos em nuvem, especialmente à medida que as cargas de trabalho da IA se tornam mais frequentes. A chave é equilibrar o fato de ter recursos suficientes para lidar com as demandas máximas e evitar a armadilha do resistido caro.
Sim, isso parece comumente, mas recebo uma ligação para a semana de conselhos de administração, diretores financeiros e diretores de sistemas de informação construídos para excedentes de custos que acionam o orçamento, geralmente causados por administradores de nuvem, arquitetos da nuvem de outros funcionários de TI que fazem Nem mesmo entender que eles têm um problema. Isso é inaceitável.
