A atualização do LLM Runner Llamafile traz um aumento de desempenho de 10x para CPUs AMD Ryzen AVX-512

A atualização mais recente do Llamafile melhorou significativamente o desempenho das CPUs Ryzen da AMD, fazendo uso de seus recursos AVX-512, aumentando-o em até 10 vezes.

Acelere seus modelos LLM robustos com a atualização mais recente do Llamafile: desempenho 10 vezes mais rápido em CPUs AMD Ryzen com suporte AVX-512

De acordo com Phoronix , a atualização mais recente do Llamafile agora inclui suporte para o conjunto de instruções AVX-512. Isso significa que as CPUs capazes de utilizar o AVX-512 terão um aumento significativo no desempenho ao usar o software. Foi relatado que as próximas CPUs Zen 4 “Ryzen” da AMD experimentarão uma melhoria de dez vezes na avaliação imediata com esta atualização, resultando em um desempenho LLM mais eficiente ao usar a ferramenta.

Llamafile é uma ferramenta prontamente implementável que combina um modelo LLM com as bibliotecas necessárias em um único arquivo executável. Desenvolvido pela Mozilla Ocho, seu objetivo é tornar os LLMs acessíveis a um público mais amplo, utilizando execuções de CPU e GPU. A ferramenta ganhou popularidade entre os desenvolvedores porque elimina a necessidade de soluções caras para acessar LLMs. No entanto, como o Llamafile ainda está em seus estágios iniciais de desenvolvimento, pode haver algumas imprecisões que serão resolvidas à medida que a tendência da computação de ponta ganhar impulso.

Segundo Phoronix, o novo Llamafire 0.7 ainda não passou por testes. No entanto, eles anunciaram planos para realizar testes em sistemas AMD e Intel no futuro. A versão mais recente pode ser acessada através do GitHub clicando neste link. É importante observar que apenas as CPUs Ryzen da AMD atualmente suportam instruções AVX-512 para chips de consumo. Em contraste, a Intel optou por não oferecer suporte a esse recurso para proteger as vendas de chips Xeon. Isso dá à plataforma Ryzen da AMD uma vantagem para usuários que necessitam de recursos AVX-512 em seus aplicativos.