Julia 2

Modelo de decisão de 1,06 bilhão de parâmetros para texto, imagens, fala gravada e áudio ao vivo. Lê o contexto uma vez e responde a várias perguntas sobre ele.

Baixar Julia 2 no Hugging Face

Três discos sobrepostos em azul-marinho e azul cercam uma abertura em losango

Como funciona

Envie o contexto, suas perguntas e as opções ou critérios de pontuação. A Julia 2 retorna probabilidades estruturadas para escolha (choice), pontuação (score) e sim ou não (noul), com o formato de requisição e resposta da Julia 1.5. O runtime aceita até 255 opções por pergunta de escolha, com avaliação em duas rodadas para listas maiores.

A rede usa 18 camadas de atenção linear e seis de atenção completa. Cada pergunta parte do mesmo contexto. Texto e JSON podem ser combinados com imagens ou fala gravada, lidos pelos encoders do modelo. Em uma sessão ao vivo, o runtime incorpora novos trechos de áudio ou texto e atualiza as respostas sem reprocessar os trechos anteriores.

Por exemplo, envie uma foto de inspeção e o código da peça para perguntar se há dano visível e qual é o tipo de defeito. Em uma ligação ao vivo, abra uma sessão com perguntas fixas, envie trechos de áudio à medida que chegam e leia as decisões atualizadas sobre destino ou urgência. Exemplos em Python e multimodais

Resultados

Estas são avaliações internas preliminares. O checkpoint de referência para os números de texto e áudio abaixo é BF16. As taxas de acerto e consistência se referem aos testes indicados. Dados da avaliação

AvaliaçãoResultado
SLCMB 3.0, conjunto completo64,7 pontos
SLCMB 3.0, subconjunto de desenvolvimento67,7 pontos
Decisões de negócio reservadas, 6.000 perguntas em quatro fluxos77,2% de acerto
Erro de calibração esperado no teste de negócio0,033
Mesma resposta com opções reordenadas95,8%
Fatos falados, 268 perguntas93,7%
Intenções em gravações, MInDS-14, 2.413 trechos75,3%
Acerto final em seis perguntas por ligação, 115 ligações reservadas75,8%

Nas ligações reservadas, um alerta experimental sinalizou 94% das ligações fraudulentas antes do fim e gerou falsos alertas em 32% das legítimas. Use esses alertas para revisão. Nos testes em que um único fato no contexto determinava a resposta, o acerto caiu de 63% a 2 mil tokens para 53% a 32 mil. O card também relata desempenho menor com fala rápida e gravações em português nos testes de áudio. Model card e limites

BF16 em NVIDIA RTX PRO 6000Latência mediana
Uma pergunta sobre texto4,7 ms
Seis perguntas sobre o mesmo contexto textual11,7 ms
Uma pergunta sobre uma imagem de 1,6 MP61,6 ms
Uma pergunta sobre dez segundos de fala49,6 ms
Acrescentar 0,96 s de áudio durante uma ligação41,8 ms

Execução local

Use Python 3.10+ e o runtime PyTorch fornecido. CUDA é indicado para cargas maiores. A execução em CPU atende cargas menores. Para ler arquivos de áudio, instale as dependências opcionais de áudio do runtime. Pesos e runtime têm licença Apache 2.0, com avisos para componentes de terceiros. Runtime e avisos

python -m pip install huggingface_hub
hf download SupersonicLabs/Julia-2 --local-dir Julia-2 --exclude "int4/*" "int8/*"
python -m pip install -e ./Julia-2/runtime
from julia2 import Runtime

modelo = Runtime("Julia-2")
resultado = modelo.predict_questions(
    state={"chamado": "Fui cobrado duas vezes pelo mesmo pedido."},
    questions={
        "equipe": {
            "type": "choice",
            "instructions": "Qual equipe deve atender o chamado?",
            "criteria": {"cobranca": "Cobranças e estornos", "tecnica": "Erros do aplicativo"},
        },
        "prioridade": {
            "type": "score",
            "instructions": "Prioridade do chamado",
            "criteria": ["baixa", "media", "alta"],
        },
    },
)
print(resultado["answers"])
PrecisãoPesosPico de memória GPU no manifestoConcordância com BF16, texto / fala / áudio ao vivo
BF162,14 GB3,74 GBReferência
INT81,39 GB2,94 GB99,3% / 99,4% / 99,4%
INT41,16 GB2,71 GB99,7% / 95,8% / 98,7%

Para usar um checkpoint menor, inclua a pasta correspondente no download e passe precision="int8" ou precision="int4" ao criar o runtime. Teste com seus dados, especialmente para fala e contextos longos. Manifesto do modelo

Flash e Nano

Julia 2 Flash

Uma faixa horizontal clara atravessa um disco azul gravado

A Flash mantém a API e os tipos de entrada da Julia 2. São 658 MB de pesos no total, com 427 MB para texto, 116 MB para imagem e 115 MB para áudio. Para carregar só o texto, use Runtime("Julia-2-Flash", modalities=("text",)).

Na avaliação pareada do card com 222 itens reservados do SLCMB, a Flash ficou 0,07 ponto abaixo da Julia 2 BF16. No teste em RTX PRO 6000, o pico de memória caiu de 3,74 GB para 1,08 GB e o lote de 64 perguntas de texto passou de 295 ms para 171 ms. Algumas respostas mudam, com diferenças maiores em certos idiomas e classes de imagem mais parecidas entre si. Pesos, runtime e avaliações da Julia 2 Flash

hf download SupersonicLabs/Julia-2-Flash --local-dir Julia-2-Flash

Use o runtime em Julia-2-Flash/runtime com Python e PyTorch. Para execução só com texto, consulte no card os arquivos necessários. Instalação e arquivos da Flash

Julia 2 Nano

Um chip quadrado visto de cima com detalhes gravados e trilhas de circuito

A Nano usa 15 MB de pesos em três arquivos e roda em C. O repositório tem firmware para decisões de texto em ESP32-S3. Os programas de imagem e fala usam categorias fixas, e o card ainda não traz latência medida em placa física.

ComponentePesosEscopo
Texto8,2 MBEscolha, pontuação e sim ou não em inglês e português
Imagem1,7 MBClasses treinadas de Imagenette e Oxford Flowers
Fala5,1 MB14 intenções bancárias de MInDS-14

A Nano deu a mesma resposta que a Julia 2 em 58% de 231 casos de texto reservados do SLCMB, chegando a 71% nos 166 casos em que a Julia 2 estava confiante. São taxas de concordância entre modelos. A Nano é voltada a entradas curtas e decisões delimitadas. Para ligações ao vivo e contextos longos, use a Julia 2 ou a Flash. Pesos, exemplos em C e firmware da Julia 2 Nano

Para compilar o programa de texto em um computador com compilador C:

hf download SupersonicLabs/Julia-2-Nano --local-dir Julia-2-Nano
cd Julia-2-Nano
cc -O2 -o nano_text c/nano_text.c -lm

O programa lê um arquivo de entrada compactado e os pesos de texto. Use o guia de formatos para preparar a entrada ou o projeto ESP-IDF em firmware/ para compilar para o ESP32-S3. Formatos de entrada da Nano