Os últimos modelos multimodais Llama 3.2 da Meta são lançados no Microsoft Azure e no Google Cloud

No Connect 2024 , o fundador e CEO da Meta, Mark Zuckerberg, anunciou a estreia do Llama 3.2 . Esta nova versão introduz modelos de linguagem de visão grande (LLMs) de pequeno e médio porte com parâmetros 11B e 90B , juntamente com uma seleção de modelos somente de texto no dispositivo (parâmetros 1B e 3B). Notavelmente, os novos modelos de visão 11B e 90B representam o empreendimento inaugural do Llama em capacidades multimodais.

A Microsoft também anunciou que os modelos Llama 3.2 11B Vision Instruct e Llama 3.2 90B Vision Instruct agora estão acessíveis no Azure AI Model Catalog . Além disso, em breve os desenvolvedores podem esperar inferências por meio de APIs sem servidor Models-as-a-Service (MaaS) para esses modelos aprimorados.

Os modelos Llama 3.2 disponíveis para inferência de computação gerenciada no Azure incluem:

• Chama 3.2 1B
• Lhama 3.2 3B
• Lhama 3.2-1B-Instruir
• Lhama 3.2-3B-Instruir
• Guarda Lhama 3 1B
• Llama 3.2 11B Visão Instrutor
• Llama 3.2 90B Visão Instrutor
• Llama Guard 3 11B Visão

Atualmente, o ajuste fino é oferecido apenas para os modelos Llama 3.2 1B Instruct e 3B Instruct. No entanto, a Microsoft está planejando expandir os recursos de ajuste fino para coleções adicionais do modelo Llama 3.2 nos próximos meses. Esses modelos operam com um limite de 200 mil tokens por minuto e 1 mil solicitações por minuto . Os desenvolvedores que exigem um limite de taxa mais alto são incentivados a entrar em contato com a equipe da Microsoft para possíveis ajustes.

Além disso, o Google anunciou que todos os modelos Llama 3.2 agora estão disponíveis no Vertex AI Model Garden, permitindo a implantação self-service. No momento, apenas o modelo Llama 3.2 90B é oferecido em preview por meio da solução MaaS do Google .

Em conjunto com os modelos Llama 3.2, a Meta introduziu as distribuições Llama Stack . Essas distribuições são projetadas para simplificar como os desenvolvedores utilizam os modelos Llama em vários ambientes, que incluem configuração de nó único, local, nuvem e no dispositivo. A equipe Meta revelou o seguinte:

• Llama CLI (interface de linha de comando) para criar, configurar e executar distribuições Llama Stack
• Código do cliente disponível em várias linguagens de programação, como Python, Node.js, Kotlin e Swift
• Contêineres Docker para o Llama Stack Distribution Server e o Agents API Provider
• Uma variedade de distribuições:
  • Distribuição de pilha Llama de nó único via implementação interna Meta e Ollama
  • Distribuições do Cloud Llama Stack por meio da AWS, Databricks, Fireworks e Together
  • Distribuição de pilha Llama no dispositivo no iOS implementada usando PyTorch ExecuTorch
  • Distribuição de pilha Llama local com suporte da Dell

A implementação dos modelos Llama 3.2 e das distribuições Llama Stack significa um avanço fundamental na melhoria da acessibilidade a modelos de IA robustos para desenvolvedores. Espera-se que esse progresso impulsione maior inovação e adoção mais ampla de IA em vários setores.

Fonte