Armazenamento Backup Informática Tendência de Tecnologia

O que a indústria está fazendo sobre o problema da escala Zetta

O que a indústria está fazendo sobre o problema da escala Zetta
 

Não é novidade que a quantidade de dados gerados está acelerando em um ritmo vertiginoso. Mas, para aqueles de nós que trabalham com infraestrutura de dados, é o que nos mantém acordados à noite. De qualquer maneira que você olhe para isso – armazenamento, memória, processamento ou rede – nós, como uma indústria, temos que ultrapassar os limites das tecnologias existentes, ou o mundo não será capaz de acompanhar os dados. 

Então, o que estamos fazendo sobre isso? Muito. E, em nossa nova série de encontros, trazemos vários especialistas de toda a indústria para falar sobre o que está por vir nas arquiteturas de dados de última geração. 

 

Acostume-se a falar em zetabytes

Algumas estatísticas para alimentar sua fome de dados: em 2025, espera-se que os EUA gerem 30,6ZB de dados, enquanto a China gerará 48,6ZB de dados. Se isso é um pouco difícil de entender, deixe-me ajudá-lo. 

Numericamente falando, um Zetabyte tem 1.000 Exabytes ou 1.000.000 Petabytes ou 1.000.000.000 (um bilhão) de Terabytes ou 1.000.000.000.000 (um trilhão) de Gigabytes. Se você acha que esse é um futuro distante, você está errado. Já há dois anos, a indústria vendia quase um zetabyte de novos dispositivos de armazenamento. Nós cruzamos esse abismo antes mesmo de a maioria notar.  E estivemos ocupados construindo a base para gerenciar para onde nosso mar hercúleo de dados está se dirigindo.

 

O que você perdeu? 

Em julho, o grupo  Bay Area Storage Solutions Meetup  realizou um evento inaugural. Nossos primeiros tópicos discutidos foram como uma empresa de processamento gráfico vê os tecidos e o NVMe-oF™, como a Western Digital está repensando as eficiências de armazenamento por meio do armazenamento zoneado e como uma inicialização está desafiando o controle da memória principal com OmniXtend™, um tecido de memória coerente com cache. 

 

NVMe™-Sobre Tecidos

A primeira apresentação explicou porque o NVMe-over-Fabrics (NVMe-oF) é necessário, dadas as velocidades de armazenamento mais rápidas que existem hoje. Em algumas arquiteturas, a rede agora se tornou o gargalo para o desempenho. NVMe-oF é um padrão aberto que define como compartilhar armazenamento em vários servidores / CPUs. Melhorar a taxa de transferência de armazenamento permite maior desempenho para aplicativos como aprendizado de máquina e IA.

Esta apresentação descreveu as implementações de seu RDMA (Remote Direct Memory Access) e, especificamente, o suporte sobre Ethernet, RoCE (RDMA sobre Converged Ethernet). Exemplos de aplicativos e benchmarks de desempenho de rede foram mostrados para várias implementações. Para oferecer suporte a RDMA, é necessário que o hardware no ponto de interface de rede e o software do sistema no host estejam cientes do RDMA.

 

Armazenamento Zoneado

A próxima apresentação foi sobre Zoned Storage, de Dave Landsman, da Western Digital. Dave está no conselho do grupo NVM Express, que define os padrões abertos para armazenamento e arquiteturas de dados. Ele explicou como ambos os HDDs e SSDs consistem em várias regiões / blocos ou zonas e que cada dispositivo fisicamente só pode ser gravado sequencialmente. Para a maioria dos sistemas, essa restrição não era aparente porque o controlador da unidade estava fazendo o gerenciamento de dados. Esta implementação convencional funciona, mas não é escalonável para densidades mais altas.

O padrão de armazenamento zoneado para HDDs é SMR (Shingled Magnetic Recording). A implementação de armazenamento zoneado para SSDs é chamada de ZNS (Zoned Namedspaces). Este padrão requer que o software do dispositivo host coopere na organização dos dados a serem armazenados em um SSD ZNS. Existem várias opções de software de bloco zoneado que podem ser implementadas. Esses detalhes do software podem ser encontrados em www.zonedstorage.io .

As vantagens de implementar o armazenamento zoneado é que os dados são colocados de forma inteligente nas unidades. Ao fazer isso, o controlador da unidade tem tarefas mínimas de gerenciamento de dados para executar. O resultado é que o armazenamento zoneado permite densidades mais altas, melhor QoS e menor TCO. HDDs SMR de armazenamento zoneado e SSDs ZNS podem lidar com o crescimento explosivo de dados e suportar escala de zetabytes para data centers e provedores de nuvem. Recentemente, a Western Digital anunciou seu primeiro ZNS SSD, o Ultrastar® DC ZN540 ZNS NVMe SSD. Saiba mais em www.westerndigital.com/zoned-storage

 

OmniXtend 

A última apresentação foi sobre OmniXtend. Esta arquitetura quebra o domínio da memória principal da CPU. OmniXtend é uma malha de memória coerente de cache aberta baseada em Ethernet de baixo custo. Embora existam muitas arquiteturas de interface de memória, nenhuma é aberta, baseada em Ethernet e preserva a coerência. 

OmniXtend permite que todos os nós em uma rede compartilhem a memória principal igualmente. A CPU não possui mais memória principal. OmniXtend serializa o barramento de coerência do cache, TileLink, e o envia na camada 2 por quadros Ethernet. Isso permite que não apenas as CPUs acessem a memória principal, mas também GPUs, FPGAs, aceleradores de Machine Learning, etc., para compartilhar a memória de forma coerente e igual. 

O grupo de hardware de código aberto, CHIPS Alliance, está desenvolvendo ainda mais o OmniXtend. Atualmente, existe uma implementação FPGA de vários núcleos RISC-V quádruplos que compartilham o cache L2 e também podem acessar o cache nas outras placas via Ethernet. Embora ainda esteja no início do desenvolvimento do OmniXtend como um padrão, se ele for adotado, permitirá novas arquiteturas em data centers e resolverá melhor os aplicativos de carga de trabalho com uso intensivo de memória.

 
 
Fonte: Western Digital BLOG

Sobre o autor

Edú Saldaña

Deixar comentário.

Share This