A Nvidia anunciou um conjunto de novidades em IA voltadas para robótica física, incluindo novos modelos de “mundo” (Cosmos), bibliotecas e infraestrutura de hardware. Entre os destaques está o Cosmos Reason, um modelo de linguagem-visual de 7 bilhões de parâmetros que permite que robôs “raciocinem” em ambientes reais. Segundo a empresa, essas ferramentas ajudam a gerar dados sintéticos (imagens, vídeos e texto) para treinar agentes de IA e robôs no mundo físico.
Modelos Cosmos para dados sintéticos
A Nvidia ampliou sua família Cosmos com dois novos modelos principais para criar dados sintéticos realistas:
- Cosmos Transfer-2: acelera a geração de dados sintéticos a partir de cenas 3D de simulação ou de controles espaciais (como mapas e profundidade).
- Cosmos Transfer (versão destilada): uma versão otimizada para velocidade, que simplifica o processo de síntese em um único passo.
Esses modelos são usados para gerar automaticamente conjuntos de dados de texto, imagem e vídeo, usados no treinamento de robôs e agentes de IA . De modo geral, as ferramentas Cosmos tornam mais fácil criar cenários virtuais variados e realistas, reduzindo a necessidade de coletar dados reais complexos para aprendizado de máquina.
Cosmos Reason: robôs com capacidade de raciocínio
Outro destaque é o Cosmos Reason, um modelo de IA de 7 bilhões de parâmetros voltado para raciocínio em tarefas físicas . Graças à incorporação de memória e conhecimento de física do mundo real, o Cosmos Reason funciona como um “modelo de planejamento” que prevê os próximos passos que um robô deve tomar.
De acordo com a Nvidia, o Cosmos Reason pode ser usado em diversas aplicações práticas, como curadoria e anotação de dados para treinamento, planejamento de tarefas dos robôs e análise de vídeo. Por exemplo:
- Curadoria de dados: automatiza a seleção e anotação de imagens/vídeos para treinar IA.
- Planejamento de robôs: atua como “cérebro” que divide comandos complexos em etapas para o robô executar.
- Análise de vídeo: permite que agentes de IA entendam e resumam grandes volumes de filmagens.
Esse modelo é tão avançado que consegue lidar com tarefas de múltiplos passos e mesmo situações novas ou ambíguas no ambiente.
Simulação 3D e bibliotecas Omniverse
A Nvidia também lançou novas bibliotecas de reconstrução neural (NuRec) que permitem simular o mundo real em 3D usando dados de sensores . Uma das técnicas introduzidas, chamada Gaussian splatting 3D, recria cenários reais tridimensionais com grande realismo. Essas ferramentas são integradas em plataformas de simulação popular, como o CARLA (um simulador open-source para veículos autônomos) e no SDK Omniverse da própria Nvidia. Em resumo, elas ajudam desenvolvedores a criar gêmeos digitais realistas do ambiente físico, facilitando testes e treinamentos de robôs sem sair do computador.
Novos servidores e computação em nuvem
Para completar o ecossistema, a Nvidia anunciou também novos produtos de hardware:
- Nvidia RTX Pro Blackwell Server: um servidor dedicado a tarefas de robótica, com uma única arquitetura capaz de suportar tudo, do treinamento ao aprendizado por simulação.
- Nvidia DGX Cloud: plataforma em nuvem para gerenciar cargas de trabalho de IA e robótica em escala.
Essas soluções dão aos desenvolvedores poder computacional especializado para treinar modelos de IA físicos de forma eficiente, seja em datacenters locais ou na nuvem.
Todas essas novidades fazem parte do impulso da Nvidia rumo à robótica como o próximo grande campo de aplicação de seus chips de IA, além do uso tradicional em data centers de aprendizado de máquina . Segundo a empresa, a convergência de gráficos computadorizados e IA está transformando a robótica, permitindo construir robôs e veículos autônomos cada vez mais capazes de interagir com o mundo real.
