Como a Netflix funciona com ISPs de todo o mundo para lhe proporcionar a melhor experiência de visualização

Amanhã será lançada a segunda temporada de Demolidor em simultâneo em 190 países. Os assinantes da Netflix em todo o planeta poderão ver em streaming a série instantaneamente, em qualquer dispositivo ligado à Internet. E ainda que milhões de pessoas em todo o mundo estejam a ver em simultâneo, o efeito deste tráfego adicional na "Internet" será muito ligeiro devido a uma decisão que tomámos em 2011: criar a nossa própria rede de distribuição de conteúdos, também conhecida como CDN.

Desde que nos expandimos globalmente, em janeiro, surgiu um interesse cada vez maior em descobrir como poderíamos fornecer a melhor experiência de visualização possível em simultâneo para 190 países. Conseguimos isto mesmo com a Netflix Open Connect, a nossa CDN de distribuição global. Este mapa da nossa rede dá-lhe uma ideia da forma como este projeto evoluiu ao longo dos últimos cinco anos.

Localizações de ISPs Ponto de intercâmbio de dados da Internet (os círculos variam em função do volume)

A Netflix Open Connect assegura 100% do nosso tráfego de vídeo, atualmente cerca de 125 milhões de horas de visualização por dia. Isto corresponde a dezenas de terabits por segundo de tráfego simultâneo, tornando a Netflix Open Connect numa das redes com um volume de tráfego mais elevado em todo o mundo.

Globalmente, perto de 90% do nosso tráfego é fornecido através de ligações diretas entre a Open Connect e os fornecedores de serviços de Internet (ISPs) que os nossos membros utilizam para a aceder à Internet. A maior parte destas ligações estão localizadas no ponto de interconexão regional geograficamente mais próximo do assinante que está a visualizar conteúdo. Uma vez que as ligações à rede da Netflix Open Connect são sempre gratuitas e o nosso fornecimento de tráfego tem uma forte ênfase na localização, milhares de ISPs em todo o mundo estão a participar entusiasticamente neste programa.

Além disso, também fornecemos aos ISPs elegíveis o mesmo equipamento Open Connect (OCAs) que utilizamos nas nossas localizações de interconexão da Internet. Depois de estes dispositivos serem instalados no centro de dados de um ISP, quase todo o conteúdo da Netflix é enviado a partir de OCAs locais em alternativa a uma transmissão 'upstream' a partir da Internet. Muitos ISPs tiram partido desta opção, adicionalmente à interconexão de rede local, uma vez que permite reduzir o volume de capacidade necessário para assegurar o restante tráfego da Internet, uma ves que a Netflix deixa de ser um fator relevante em termos de capacidade. Isto oferece uma vantagem dupla, reduzindo os custos de operação do ISP e garantindo a melhor experiência Netflix possível para todos os seus membros.

Temos agora equipamentos Open Connect em cerca de 1.000 localizações distintas em todo o mundo. Em grandes cidades, como Nova Iorque, Paris, Londres, Hong Kong e Tóquio, bem como em localizações mais remotas — em pontos distantes a norte, como a Gronelândia e Tromsø, na Noruega, e a sul, em Puerto Montt, no Chile, e Hobart, na Tasmânia. Os ISPs instalaram OCAs mesmo em Macapá e Manaus, na floresta amazónica — de todos os continentes, exceto a Antártida, e em muitas ilhas, como a Jamaica, Malta, Guam e Okinawa. Isto significa que os nossos membros recebem o seu conteúdo de áudio e vídeo da Netflix a partir de um servidor localizado na sua região local, ou diretamente ligado à rede do seu ISP.

À medida que o nosso serviço continua a crescer em todas as novas localizações globais para as quais nos expandimos, também cresce o alcance da nossa Netflix Open Connect, permitindo aos ISPs beneficiar cada vez mais da economia proporcionada pela sua participação no programa Netflix Open Connect. Isto significa que a qualidade da Netflix em locais como a Índia, o Médio Oriente, África e a Ásia continuará a melhorar de forma contínua.

Como funciona a rede Open Connect?

Partilhámos uma publicação de blogue recente em que dávamos conta de como a Netflix utiliza a "nuvem" AWS da Amazon para computação genérica e escalável. Basicamente, tudo aquilo que precede o início de uma transmissão em streaming acontece na AWS, incluindo toda a lógica da interface da aplicação, a descoberta de conteúdo e a experiência de seleção, os algoritmos de recomendações, a transcodificação, etc.. Utilizamos a AWS para estas aplicações uma vez que a necessidade deste tipo de computação não é exclusiva da Netflix, e podemos tirar partido da facilidade de utilização e do crescimento do mercado da "nuvem".

Tudo o que acontece após premir o botão de reprodução é exclusivo da Netflix, e a nossa necessidade cada vez maior de crescimento e escalabilidade nesta área foi a oportunidade ideal para criar uma eficiência cada vez maior para o nosso fornecimento de conteúdo e para a Internet, em geral.

Para compreender melhor como tudo isto acontece, vamos olhar mais a fundo para o nascimento da rede Open Connect, e para o seu funcionamento:

A Netflix Open Connect foi originalmente concebida em 2011 (e anunciada em 2012) como uma resposta à escala cada vez maior da transmissão em streaming de conteúdos da Netflix. Desde o lançamento do serviço de streaming, em 2007, a Netflix provou ser responsável por uma importante fatia do tráfego de Internet em todos os mercados onde operávamos. Embora as redes de fornecimento de conteúdo de outros fornecedores estivessem a cumprir de forma muito positiva a transmissão de conteúdos da Netflix (bem como todos os outros tipos de conteúdo na Internet), apercebemo-nos de que podíamos ser muito mais eficientes se conhecêssemos a fundo a forma como os nossos assinantes utilizam a Netflix. Embora o número e o tamanho dos ficheiros que compõem a nossa biblioteca de conteúdos possa ser realmente impressionante, conseguimos utilizar sofisticados modelos de popularidade para garantir que o ficheiro correto se encontra no servidor ideal na hora certa. Estes avançados algoritmos partilham algumas abordagens em comum, e às vezes entradas em comum, com os nossos sistemas de recomendação de conteúdos líderes da indústria.

Tal como mencionámos acima, esta forma de processar o pré-posicionamento de conteúdo permite evitar a utilização significativa da Internet em escalas incomportáveis. Olhemos para o continente da Austrália, por exemplo. Todo o acesso a conteúdo da Internet não originário na Austrália é fornecido através de vários cabos subaquáticos. Em vez de utilizar esta dispendiosa capacidade de transmissão de conteúdo subaquática para fornecer tráfego da Netflix, copiamos cada ficheiro uma vez a partir do nosso repositório de transcodificação sedeado nos EUA e guardamos as cópias em localizações de armazenamento na Austrália. Isto é efetuado fora das horas de ponta, quando não estamos a competir com outro tráfego da Internet. Quando cada ficheiro já se encontra no continente, é replicado em dezenas de servidores da rede Open Connect dentro da rede de cada ISP.

Além do conceito básico do pré-posicionamento de conteúdo, também nos focámos na criação de uma combinação altamente eficiente de hardware e software para os nossos dispositivos da rede Open Connect. Esta especialização na otimização permitiu-nos melhorar a eficiência da OCA exponencialmente desde o início do programa. Crescemos desde um fornecimento de 8 Gbps de conteúdo a partir de um único servidor, em 2012, para mais de 90 Gbps a partir de um único servidor em 2016.

Ao mesmo tempo, os equipamentos Open Connect tornaram-se mais pequenos e muito mais eficientes em termos energéticos. Isto significa que cada série de televisão ou filme que é visualizado por um membro da Netflix requer menos energia para alimentar e refrigerar um servidor que pode ser instalado num espaço mais pequeno. Efetivamente, toda a nossa pegada de carbono ao nível dos servidores de conteúdo é neutra, como concluímos recentemente neste blogue.

Em direção ao futuro

Este ano, expandimos o nosso serviço por todo o mundo, à exceção da China. Estamos muito entusiasmados com o papel que a Netflix Open Connect pode representar no fornecimento de conteúdo de entretenimento a pessoas de todo o planeta. É seguro afirmar que a nossa aventura está apenas a começar!

-Ken

Ken Florance é Vice-Presidente de Content Delivery (Fornecimento de Conteúdo) na Netflix

Mais de Blogue da empresa

Anúncio de TVs recomendadas para Netflix em 2016

À medida que as funcionalidades das Smart TVs evoluíram, o programa também evoluiu. Para 2016, introduzimos novos critérios e estabelecemos limiares de desempenho mais rápido para os critérios existentes. Ler mais

Início