VMs A3 agora em visualização privada no Google Cloud, com tecnologia de GPUs NVIDIA H100

Em seu evento I/O com foco em IA, o Google anunciou que os clientes do Google Cloud poderiam começar a usar máquinas virtuais A3 equipadas com GPUs NVIDIA H100 em uma prévia privada. A gigante das buscas disse que seus novos A3VMs foram um “passo à frente” para clientes que desenvolvem modelos avançados de aprendizado de máquina.

Os principais recursos das máquinas virtuais (VMs) da GPU A3 são os seguintes:

• 8 GPUs H100 utilizando a arquitetura Hopper da NVIDIA, oferecendo taxa de transferência de computação 3x
• Largura de banda bissecional de 3,6 TB/s entre as 8 GPUs do A3 via NVIDIA NVSwitch e NVLink 4.0
• Processadores escaláveis ​​Intel Xeon de 4ª geração da próxima geração
• 2 TB de memória do host via DIMMs DDR5 de 4800 MHz
• Largura de banda de rede 10 vezes maior alimentada por nossas IPUs habilitadas para hardware, pilha de comunicação GPU especializada entre servidores e otimizações NCCL

Usando essas máquinas virtuais, as empresas que precisam treinar modelos complexos de ML podem fazer isso muito mais rapidamente. Eles são construídos com modelos de IA exigentes em mente que são responsáveis ​​pela IA generativa de hoje .

“As VMs A3 do Google Cloud, equipadas com GPUs NVIDIA H100 de última geração, acelerarão o treinamento e o fornecimento de aplicativos de IA generativos”, disse Ian Buck, vice-presidente de hiperescala e computação de alto desempenho da NVIDIA. “Na sequência das instâncias G2 lançadas recentemente pelo Google Cloud, estamos orgulhosos de continuar nosso trabalho com o Google Cloud para ajudar a transformar empresas em todo o mundo com infraestrutura de IA criada especificamente.”

De acordo com o Google, seus novos supercomputadores A3 podem fornecer até 26 exaFlops de desempenho de IA e é a primeira instância de GPU a usar IPUs de 200 Gbps personalizados com transferências de dados de GPU para GPU que podem ignorar o host da CPU. Isso permite dez vezes mais largura de banda de rede, acelerando as coisas.