- AWS é a única plataforma de computação em nuvem da Netflix
- Mas a AWS também faz parte da Amazon, dona da Amazon Prime Video, uma grande rival da Netflix
- Os engenheiros da Netflix têm lutado para controlar a quantidade de recursos que usam na AWS
A Netflix, a plataforma de streaming mais popular do mundo, pode dominar o entretenimento doméstico, mas está a lutar para gerir um dos seus maiores desafios operacionais: os custos da computação em nuvem.
Apesar de sua imagem tecnológica, a Netflix admitiu que não sabe exatamente quanto gasta na nuvem, um descuido ainda mais surpreendente dado que seu provedor de nuvem, AWS, faz parte da Amazon – dona da Prime Video, uma das Os maiores concorrentes da Netflix.
Contando com a AWS para computação, armazenamento e rede, a infraestrutura em nuvem da Netflix dá suporte ao seu serviço de streaming global. As equipes de engenharia usam ferramentas de autoatendimento para criar e implantar aplicações, gerando grandes quantidades de dados. No entanto, a complexidade deste ecossistema torna difícil para a Netflix compreender exatamente como os recursos são utilizados e como os custos se acumulam.
Mantendo seu conteúdo fluindo
A equipe de Platform Data Science Engineering (DSE) da Netflix assumiu a tarefa de desvendar esse problema. A missão da equipe é ajudar os engenheiros da empresa a compreender o uso de recursos, a eficiência e os custos associados.
No entanto, como a Netflix reconheceu em um postagem recente no blogo gerenciamento de custos da nuvem ainda é um trabalho em andamento.
Para enfrentar os desafios que enfrenta, a Netflix desenvolveu duas ferramentas: Foundational Platform Data (FPD) e Cloud Efficiency Analytics (CEA). O FPD fornece uma camada de dados centralizada com um modelo padronizado, agregando dados de aplicativos como o Apache Spark. A CEA se baseia nisso aplicando lógica de negócios para gerar atribuição de custos e propriedade, fornecendo insights sobre eficiência e padrões de uso.
Os obstáculos são significativos. A ampla infraestrutura da Netflix inclui serviços com múltiplos proprietários, heurísticas de custos variadas e plataformas multilocatários que complicam o rastreamento.
Atrasos nos dados e personalizações específicas da plataforma adicionam uma camada adicional de complexidade. Auditorias regulares e transformações de dados são necessárias para manter a precisão, mas a empresa admite que ainda não conseguiu visibilidade total dos seus gastos com nuvem.
Olhando para o futuro, a Netflix afirma que planeja expandir suas ferramentas e incorporar análises preditivas e aprendizado de máquina para otimizar o uso e detectar anomalias de custos.
Enquanto a empresa trabalha para refinar a sua abordagem, a sua situação realça uma ironia impressionante: a plataforma de streaming mais popular do mundo depende da tecnologia da sua rival para fornecer o seu próprio serviço, mas ainda está a descobrir o verdadeiro custo de manter o fluxo do seu conteúdo.