O Google revelou a IA generativa Lumiere para ajudar os usuários a criar imagens e vídeos realistas usando prompts baseados em texto

A IA generativa conseguiu percorrer um longo caminho rapidamente. Nos últimos dias, tive várias conversas com meus parentes e até mesmo com meu tatuador, discutindo como a IA está lentamente penetrando em todos os setores e a única maneira de avançar é entendendo adequadamente como ela funciona. Agora, o Google acaba de lançar o Lumiere, uma nova ferramenta generativa de IA que irá ajudá-lo a criar imagens e vídeos mais realistas por meio de comandos baseados em texto.

O Lumiere do Google é mais uma prova de que a IA é o futuro e não há nada que possamos fazer para mudar isso

Um dos destaques do Lumiere é o fato de ser capaz de criar movimentos que parecem realistas e não apresentam instabilidade. Isso pode não parecer impressionante, mas com a ajuda da mais recente ferramenta generativa de IA, podemos ir muito longe e criar algo incrível.

O Lumiere também utiliza modelos probabilísticos de difusão que auxiliam na geração de imagens. Isto é acoplado a uma U-Net Espaço-Tempo. Para quem não sabe, o U-Net serve como uma arquitetura que traz up e downscaling temporal, além de blocos de atenção que são adicionados às imagens. A melhor coisa é que esta nova ferramenta de IA generativa pode ser usada com muitos outros modelos, e isso não ajudará a criar imagens e vídeos que parecerão muito mais realistas do que qualquer coisa que vimos antes.

Lumiere pode ser usado para criar o seguinte,

• Cinemagraphs: onde uma única seção de uma imagem é animada
• Inpainting: um objeto em um vídeo é substituído por outro
• Geração estilizada: O estilo artístico de qualquer criação pode ser transformado em outra coisa
• Imagem para vídeo: ajuda a animar qualquer imagem desejada
• Vídeo para vídeo: permite que os usuários criem vídeos em um estilo artístico diferente

No momento em que este artigo foi escrito, a duração do vídeo era de apenas 5 segundos, enquanto a capacidade de criar transições de vídeo e vários ângulos de câmera não existia. Também é importante notar que se você quiser experimentar o Lumiere, não conseguirá fazê-lo apenas com uma GPU padrão. É preciso que haja algo poderoso impulsionando o poder gráfico do seu PC, ou então a ferramenta simplesmente não funcionará, o que faz sentido.

A introdução do Lumière parece interessante sob várias perspectivas. Ainda ontem eu estava conversando com meu tatuador sobre como ele conseguiu criar uma série de tatuagens para seu cliente usando IA porque o cliente estava procurando por algo que não havia sido criado antes. Só posso imaginar o quão poderosas estas ferramentas serão num futuro próximo e espero que estas ferramentas não possam ser usadas pelas mãos erradas que procuram causar apenas o caos.

Fonte de notícias: Lumière