A Microsoft corrigiu a brecha do Designer AI que foi usada para fazer deepfakes de Taylor Swift

Na semana passada, fotos falsas da cantora Taylor Swift se tornaram virais online, gerando outra conversa sobre o uso indevido de IA e forçando X (antigo Twitter) a bloquear pesquisas por Taylor Swift na plataforma .

Agora, a mídia 404 relata que a Microsoft fez alterações no Designer AI que supostamente foi usado pelo canal Telegram para gerar imagens explícitas. De acordo com a investigação da 404 media , as fotos falsas da celebridade foram rastreadas até o Designer AI da Microsoft, com o Telegram Channel e o 4chan até recomendando aos usuários que aproveitassem as vantagens do Designer AI.

O grupo Telegram recomenda que os membros usem o gerador de imagens de IA da Microsoft chamado Designer, e os usuários geralmente compartilham avisos para ajudar outras pessoas a contornar as proteções que a Microsoft implementou. O tópico do 4chan onde essas imagens apareceram também incluía instruções sobre como fazer o Designer da Microsoft criar imagens explícitas.

Embora a Microsoft tenha bloqueios para impedir que as pessoas gerem imagens explícitas, os usuários contornaram isso digitando nomes incorretamente ou descrevendo atos sexuais, em vez de usar nomes diretamente no prompt.

Os testes da 404 Media descobriram que o Designer não gerará uma imagem de “Jennifer Aniston”, mas conseguimos gerar imagens sugestivas da atriz usando a frase “jennifer ‘ator’ aniston”. Antes das imagens do Swift AI se tornarem virais no Twitter, um usuário do grupo Telegram recomendou que os membros usassem a frase “Taylor ‘cantor’ Swift” para gerar imagens.

Em comunicado à mídia 404, a Microsoft afirmou que não encontrou evidências de que o Designer AI tenha sido usado para criar imagens de Taylor Swift. O porta-voz observou ainda:

Nosso Código de Conduta proíbe o uso de nossas ferramentas para a criação de conteúdo adulto ou íntimo não consensual, e quaisquer tentativas repetidas de produzir conteúdo que contrarie nossas políticas podem resultar na perda de acesso ao serviço. Temos grandes equipes trabalhando no desenvolvimento de grades de proteção e outros sistemas de segurança alinhados aos nossos princípios de IA responsável, incluindo filtragem de conteúdo, monitoramento operacional e detecção de abusos para mitigar o uso indevido do sistema e ajudar a criar um ambiente mais seguro para os usuários.

Embora a Microsoft ainda não tenha divulgado uma declaração pública, o CEO Satya Nadella abordou o assunto em uma entrevista ao noticiário da NBC .

“Sim, temos que agir”, disse Nadella em resposta a uma pergunta sobre os deepfakes de Swift. “Acho que todos nós nos beneficiamos quando o mundo online é um mundo seguro. E, portanto, não acho que alguém iria querer um mundo on-line que não fosse totalmente seguro tanto para os criadores quanto para os consumidores de conteúdo. Portanto, acho que cabe a nós agir rapidamente nisso.”

A mídia 404 observou que depois que sua investigação foi publicada, a Microsoft parece ter corrigido a lacuna e usar os mesmos prompts ou fases para contornar o bloqueio de palavras-chave não funciona mais no Designer AI. No entanto, também mencionaram que o Telegram ainda não tomou nenhuma medida e os canais em questão estão ativos e procuram formas de explorar outros serviços de IA para gerar imagens explícitas falsas de celebridades. Além disso, os usuários do 4chan mencionaram que encontraram outras maneiras de contornar a proibição do Bing e do Designer.

A notícia chega em um momento ruim para a Microsoft, já que a Federal Trade Commission (FTC) acaba de anunciar que abriu uma investigação sobre a Microsoft por seu investimento em empresas de IA generativa. Outro relatório do início deste mês afirmou que a FTC e o Departamento de Justiça (DOJ) estão investigando o relacionamento da Microsoft com a OpenAI .