Como pintar melhor com difusão estável

A Stable Diffusion é uma das principais ferramentas de geração de texto para imagem de IA disponíveis online. Desenvolvido pela Stability.ai, o software é um revolucionário tradutor de imagens. Ele usa um modelo de difusão latente para renderizar algumas das imagens mais rápidas com base em prompts de texto.

Entre seus muitos recursos, o outpainting é um dos mais interessantes de se usar. Ele ajuda a expandir uma imagem existente em uma ou mais direções com base em descrições de texto, métodos de amostragem e configurações de resolução. E, ao contrário das imagens puramente geradas por IA, o recurso de outpainting oferece aos artistas e usuários ocasionais do Stable Diffusion mais controle sobre o produto final.

Criando sua imagem usando prompts

Antes de abordar a pintura externa no Stable Diffusion, você deve gerar uma imagem. Veja como você usa a interface GUI Automatic1111 para criar uma nova imagem.

1. Vá para a guia txt2img.

   

2. Digite as palavras que descrevem sua imagem na caixa de texto do prompt.

   

3. Digite palavras que descrevam os elementos gráficos que você não deseja ver na caixa de texto de solicitação negativa.

   

4. Defina as etapas de amostragem em torno de 50-55, dependendo dos recursos da sua placa gráfica.

   

5. Use qualquer método de amostragem que desejar e defina a largura e a altura da imagem.

   

6. Marque a opção “Restore Faces” se estiver gerando pessoas na imagem.

   

7. Ajuste o controle deslizante “Batch Count” se quiser renderizar mais de uma imagem.

   

8. Defina a semente como “-1”, a menos que você tenha uma semente de imagem específica em mente que deseja recriar.

   

9. Clique no botão “Gerar”.

   

Observe que as palavras digitadas na caixa de texto do prompt são muito importantes. Se você deseja pinceladas, estilos, cores e outros efeitos específicos, mencione-os nessa seção.

O gerador de imagem Stable Diffusion padrão renderizará algo com uma sensação fotográfica, a menos que seja instruído de outra forma.

Usando o recurso Outpaint em difusão estável

Depois de renderizar uma imagem, você pode começar a expandi-la ou pintá-la. Selecione a imagem que você mais gosta do seu lote e clique no botão “Enviar para img2img”.

Siga as próximas etapas para configurar a Difusão estável para pintura externa.

1. Vá para a guia img2img na interface GUI Automatic1111.

   

2. Role para baixo até ver o menu suspenso “Script” e selecione “Outpainting mk2”.

   

3. Escolha a direção da pintura final marcando as caixas “Esquerda”, “Direita”, “Para cima” ou “Para baixo”.

   

4. Descreva os elementos visuais da pintura externa na caixa de texto de prompt na parte superior da interface do usuário.

   

5. Marque a opção “Apenas redimensionar”.

   

6. Defina as etapas de amostragem entre 80 e 100 usando o controle deslizante.

   

7. Ajuste o número de pixels, que geralmente você pode maximizar para obter a mais alta qualidade de imagem.

   

8. Clique no botão “Gerar”.

   

A melhor maneira de configurar o processo Outpaint

Um dos maiores problemas com a pintura externa no Stable Diffusion e em outros softwares de conversão de texto em imagem habilitados para IA é sobrecarregar a IA. Por exemplo, expandir uma imagem em mais de uma direção pode produzir resultados mistos.

Além disso, se apenas um lado ficar bom, você não conseguirá mantê-lo e refazer a pintura nas outras direções. Em vez disso, você deve começar do zero. Isso significa que você pode não conseguir recriar aquele lado que parecia perfeito.

Aqui está o que você deseja fazer para obter os melhores resultados de outpainting em Stable Diffusion .

Expandir para a esquerda

1. Carregue sua foto na guia img2img.

   

2. Descreva os elementos visuais que você deseja na pintura externa.

   

3. Adicione solicitações negativas, se necessário.

   

4. Escolha a direção de pintura externa “Esquerda” e desmarque as outras três opções.

   

5. Clique em “Gerar” até ficar satisfeito com o resultado.

   

6. Arraste a imagem do painel direito da interface do usuário para a guia img2img.

Expandir para a direita

1. Descreva os elementos visuais que você deseja e não deseja nos campos de prompt.

   

2. Adicione prompts negativos se quiser que a IA omita detalhes.

   

3. Escolha a direção de pintura externa “Direita” e desmarque a anterior.

   

4. Clique em “Gerar” até obter algo ótimo.

   

5. Arraste a imagem para a guia img2img ou clique no botão “Enviar para img2img”.

   

Expandir para cima

1. Adicione novos elementos visuais para a imagem.

   

2. Adicione solicitações negativas, se necessário.

   

3. Selecione a direção de pintura externa “Para cima” e desmarque a última.

   

4. Clique em “Gerar” até gostar do resultado.

   

5. Arraste e solte a imagem final de volta na guia img2img.

Expandir para baixo

1. Digite sua descrição final antes de gerar uma expansão para baixo.

   

2. Use alguns prompts negativos, de preferência para evitar a sobreposição com a imagem original.

   

3. Selecione “Para baixo” como a direção de pintura externa e desmarque todo o resto.

   

4. Clique no botão “Gerar” até ficar satisfeito com os resultados.

   

Outro grande benefício de expandir sua imagem em uma direção de cada vez é que você pode descrever melhor a imagem.

Por exemplo, digamos que sua imagem inicial tenha o seguinte prompt: “crianças brincando no quintal”. Você pode adicionar “cachorro brincando no quintal” de um lado e “gato brincando no quintal” do outro lado. A IA terá uma chance muito maior de acertar as coisas e renderizar animais realistas na imagem final.

No mesmo exemplo, você pode digitar “céu azul e pássaros” no prompt e fazer com que a IA preencha acima da imagem original, em vez de obter pedaços do céu em todas as direções.

O que você precisa dominar ao pintar em difusão estável

A difusão estável não sai barata. Mas como é um software Open AI, você pode executá-lo em sua própria máquina para evitar o pagamento de uma taxa por geração. Observe que você provavelmente precisará de uma placa gráfica decente com cerca de 8 GB de VRAM e uma boa CPU para evitar tempos de renderização super lentos.

Agora é uma questão de instalar a IU da Web da GUI do Automatic1111.

Como instalar a IU da Web Stable Diffusion Automatic1111 no Windows

1. Primeiro, instale o Python 3.11.1 , pois o Stable Diffusion depende muito da codificação Python.

   

2. Baixe e instale o instalador independente do Git de 32 bits ou 64 bits apropriado, dependendo da sua CPU.

   

3. Execute “git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git ” para obter o repositório correto.

   

4. Faça o download do ponto de verificação do modelo de difusão estável chamado “model.ckpt” aqui .

   

5. Adicione “model.ckpt” no diretório “models”.

   

6. Clique duas vezes no arquivo executável “webui-user.bat”.

   

7. Gere uma imagem e experimente os recursos de pintura externa, pintura interna e outros.

Como instalar a IU da Web Stable Diffusion Automatic1111 no Linux

A instalação da IU da Web Automatic1111 em uma máquina Linux é um pouco diferente, mas bastante direta. Aqui estão os passos que você deve seguir.

Red Hat Linux

1. Digite “ sudo dnf install wget git python3” no terminal.

   

2. Instale a IU executando “ .”bash <(wget –q0-https://raw.githubusercontent.com/AUTOMATIC1111/stable-diffusion-webui/master/webui.sh)

   

DebianLinux

1. Digite “ sudo apt install wget git python3 python3-venv” e execute-o no terminal.

   

2. Instale a IU com o seguinte comando “ bash <(wget –q0-https://raw.githubusercontent.com/AUTOMATIC1111/stable-diffusion-webui/master/webui.sh).”

   

Arch Linux

1. Digite “ sudo P –S wget git python3” no terminal.

   

2. Execute “ bash <(wget –q0- https://raw.githubusercontent.com/AUTOMATIC1111/stable-diffusion-webui/master/webui.sh)” no terminal.

   

Como instalar a IU da Web do Stable Diffusion Automatic1111 no Apple Silicon

Os comandos para instalar o Automatic1111 Web UI em uma máquina Apple Silicon são diferentes de outros sistemas operacionais.

1. Inicie o aplicativo Terminal.

   

2. Executar “ $ cd ~/Documents/”

   

3. Executar “ ”$ curl https://raw.githubusercontent.com/dylancl/stable-diffusion-webui-mps/master/setup_mac.sh -0 setup_mac.sh

   

4. Executar “ $ chmod +x setup_mac.sh”

   

5. Executar “ ./setup_mac.sh”

   

6. Siga as próximas instruções apresentadas na interface do terminal.

Você pode executar a IU do Automatic1111 executando “ ./run webui_mac.sh” no terminal. Sempre que você executá-lo, ele começará com as últimas atualizações feitas no repositório.

O que fazer depois de pintar uma imagem

Por melhor que seja a Stable Diffusion AI, ela está longe de ser perfeita. Sobrecarregá-lo com informações e descrições extensas pode resultar em algumas imagens menos empolgantes. Da mesma forma, descrições vagas podem expandir a imagem sem adicionar elementos visuais relevantes o suficiente.

Depois de terminar a pintura, você tem duas opções. Você pode salvar a imagem e editá-la ainda mais em seu editor de imagens favorito. Mas outra maneira de obter mais uso da difusão estável é mudar para a pintura interna.

Selecione sua imagem no painel direito e clique no botão “Enviar para Inpaint”. A interface do usuário mudará para um novo tipo de recurso de edição. É um ótimo método para preencher os espaços em branco em certas partes da imagem.

1. Selecione um tamanho de pincel e mascare uma parte da imagem onde deseja adicionar algo.

   

2. Descreva os elementos de pintura interna.

   

3. Desmarque o script “Outpainting mk2”.

   

4. Clique em “Gerar” até ficar satisfeito com o resultado.

   

Um recurso muito necessário está finalmente aqui

Embora o Stable Diffusion tenha sido lançado em agosto de 2022, o recurso de pintura externa realmente não existia no início. Pelo menos sua primeira iteração não foi espetacular. Mas em um curto espaço de tempo, o outpainting do Stable Diffusion ultrapassou as capacidades de seu recurso de inpainting.

O software pode gerar imagens impressionantes. E com textos descritivos de 75 palavras e um campo separado para solicitações negativas, a precisão da IA ​​é impressionante.

Agora queremos ouvir de você. Qual é a sua experiência com Stable Diffusion ou software similar até agora? Normalmente, você consegue renderizar imagens satisfatórias ou leva muito tempo? Conte-nos sobre suas experiências de difusão estável e dicas de pintura na seção de comentários abaixo.