Google Cloud lança sua IA mais poderosa

ATUALIZADO 08:00 EDT / 29 DE AGOSTO DE 2023

por Mike Wheatley

O Google Cloud está reforçando sua infraestrutura de computação de inteligência artificial baseada em nuvem, adicionando novas unidades de processamento de tensores e máquinas virtuais baseadas em unidades de processamento gráfico que, segundo ele, são otimizadas para alimentar as cargas de trabalho de IA mais exigentes.

As novas VMs otimizadas para IA foram anunciadas no Google Cloud Next 2023, juntamente com o lançamento de uma oferta atualizada de nuvem distribuída do Google que torna possível executar cargas de trabalho de IA e análise de dados em qualquer local, inclusive na borda da rede. Além disso, o Google lançou uma nova edição de nível empresarial do Google Kubernetes Engine para aplicativos baseados em contêineres.

Em uma postagem no blog, Amin Vahdat, gerente geral de aprendizado de máquina, sistemas e IA em nuvem do Google, disse que os clientes estão exigindo VMs mais poderosas para lidar com as demandas exponencialmente crescentes de novas cargas de trabalho, como IA generativa e grandes modelos de linguagem. “O número de parâmetros em LLMs aumentou 10 vezes por ano nos últimos cinco anos”, disse ele. “Como resultado, os clientes precisam de uma infraestrutura otimizada para IA que seja econômica e escalável.”

Para atender a essa necessidade, o Google concebeu o Cloud TPU v5e, já disponível em versão prévia. Diz-se que é a TPU em nuvem mais econômica, versátil e escalável já desenvolvida, fornecendo integração com GKE, a estrutura de aprendizado de máquina Vertex AI do Google e várias estruturas de IA líderes, como PyTorch, TensorFlow e JAX. Diz-se que ele foi projetado para aplicativos de treinamento e inferência de IA de média e grande escala, oferecendo desempenho de treinamento até duas vezes mais rápido por dólar e até 2,5 vezes o desempenho de inferência por dólar para LLMs e modelos de IA generativos, em comparação com a geração anterior. Nuvem TPU v4.

A boa notícia é que os clientes não precisam sacrificar o desempenho ou a flexibilidade em prol desses ganhos de eficiência de custos, disse Vahdat. Ele disse que os pods TPU v5e oferecem um equilíbrio perfeito entre desempenho com flexibilidade e eficiência, permitindo que até 256 chips sejam interconectados com largura de banda superior a 400 terabytes por segundo e 100 petaOps de desempenho. Os clientes podem escolher entre oito configurações diferentes de VM, variando de um único chip a mais de 250 em uma única fatia. Ele oferece aos clientes flexibilidade superior para treinar e executar uma ampla variedade de LLMs e modelos de IA, acrescentou Vahdat.

Com o lançamento das VMs Cloud TPU v5e, o Google também está disponibilizando uma nova tecnologia Multislice em versão prévia, que torna possível combinar dezenas de milhares de chips TPU v5e ou chips TPU v4 mais antigos do Google. Anteriormente, os clientes estavam limitados a uma única fatia de chips TPU, o que significava que estavam limitados a um máximo de 3.072 chips com o TPU v4. O Multislice permite que os desenvolvedores trabalhem com dezenas de milhares de chips baseados em nuvem conectados por meio de uma interconexão entre chips.

Juntamente com as VMs TPU v5e, o Google anunciou suas novas VMs A3 baseadas na mais recente GPU H100 da Nvidia Corp., dizendo que elas são desenvolvidas especificamente para as cargas de trabalho generativas de IA mais exigentes. De acordo com o Google, eles oferecem um grande avanço em termos de desempenho em relação às GPUs A100 da geração anterior, com treinamento três vezes mais rápido e 10 vezes mais largura de banda de rede. Devido à maior largura de banda, os clientes podem ampliar seus modelos para dezenas de milhares de GPUs H100, disse Vahdat.

Agora em versão prévia, uma única VM A3 contém oito GPUs H100 junto com 2 terabytes de memória de host e também contém as mais recentes unidades de processamento central escaláveis Xeon de 4ª geração da Intel para descarregar outras tarefas de aplicativos.

O Google disse que a startup generativa de IA Anthropic AI, que é rival do OpenAI LP, é uma das primeiras a adotar suas novas VMs TPU v5e e A3. modelos avançados.