Julia 2
Modelo de decisão de 1,06 bilhão de parâmetros para texto, imagens, fala gravada e áudio ao vivo. Lê o contexto uma vez e responde a várias perguntas sobre ele.
Baixar Julia 2 no Hugging Face

Como funciona
Envie o contexto, suas perguntas e as opções ou critérios de pontuação. A Julia 2 retorna probabilidades estruturadas para escolha (choice), pontuação (score) e sim ou não (noul), com o formato de requisição e resposta da Julia 1.5. O runtime aceita até 255 opções por pergunta de escolha, com avaliação em duas rodadas para listas maiores.
A rede usa 18 camadas de atenção linear e seis de atenção completa. Cada pergunta parte do mesmo contexto. Texto e JSON podem ser combinados com imagens ou fala gravada, lidos pelos encoders do modelo. Em uma sessão ao vivo, o runtime incorpora novos trechos de áudio ou texto e atualiza as respostas sem reprocessar os trechos anteriores.
Por exemplo, envie uma foto de inspeção e o código da peça para perguntar se há dano visível e qual é o tipo de defeito. Em uma ligação ao vivo, abra uma sessão com perguntas fixas, envie trechos de áudio à medida que chegam e leia as decisões atualizadas sobre destino ou urgência. Exemplos em Python e multimodais
Resultados
Estas são avaliações internas preliminares. O checkpoint de referência para os números de texto e áudio abaixo é BF16. As taxas de acerto e consistência se referem aos testes indicados. Dados da avaliação
| Avaliação | Resultado |
|---|---|
| SLCMB 3.0, conjunto completo | 64,7 pontos |
| SLCMB 3.0, subconjunto de desenvolvimento | 67,7 pontos |
| Decisões de negócio reservadas, 6.000 perguntas em quatro fluxos | 77,2% de acerto |
| Erro de calibração esperado no teste de negócio | 0,033 |
| Mesma resposta com opções reordenadas | 95,8% |
| Fatos falados, 268 perguntas | 93,7% |
| Intenções em gravações, MInDS-14, 2.413 trechos | 75,3% |
| Acerto final em seis perguntas por ligação, 115 ligações reservadas | 75,8% |
Nas ligações reservadas, um alerta experimental sinalizou 94% das ligações fraudulentas antes do fim e gerou falsos alertas em 32% das legítimas. Use esses alertas para revisão. Nos testes em que um único fato no contexto determinava a resposta, o acerto caiu de 63% a 2 mil tokens para 53% a 32 mil. O card também relata desempenho menor com fala rápida e gravações em português nos testes de áudio. Model card e limites
| BF16 em NVIDIA RTX PRO 6000 | Latência mediana |
|---|---|
| Uma pergunta sobre texto | 4,7 ms |
| Seis perguntas sobre o mesmo contexto textual | 11,7 ms |
| Uma pergunta sobre uma imagem de 1,6 MP | 61,6 ms |
| Uma pergunta sobre dez segundos de fala | 49,6 ms |
| Acrescentar 0,96 s de áudio durante uma ligação | 41,8 ms |
Execução local
Use Python 3.10+ e o runtime PyTorch fornecido. CUDA é indicado para cargas maiores. A execução em CPU atende cargas menores. Para ler arquivos de áudio, instale as dependências opcionais de áudio do runtime. Pesos e runtime têm licença Apache 2.0, com avisos para componentes de terceiros. Runtime e avisos
python -m pip install huggingface_hub
hf download SupersonicLabs/Julia-2 --local-dir Julia-2 --exclude "int4/*" "int8/*"
python -m pip install -e ./Julia-2/runtime
from julia2 import Runtime
modelo = Runtime("Julia-2")
resultado = modelo.predict_questions(
state={"chamado": "Fui cobrado duas vezes pelo mesmo pedido."},
questions={
"equipe": {
"type": "choice",
"instructions": "Qual equipe deve atender o chamado?",
"criteria": {"cobranca": "Cobranças e estornos", "tecnica": "Erros do aplicativo"},
},
"prioridade": {
"type": "score",
"instructions": "Prioridade do chamado",
"criteria": ["baixa", "media", "alta"],
},
},
)
print(resultado["answers"])
| Precisão | Pesos | Pico de memória GPU no manifesto | Concordância com BF16, texto / fala / áudio ao vivo |
|---|---|---|---|
| BF16 | 2,14 GB | 3,74 GB | Referência |
| INT8 | 1,39 GB | 2,94 GB | 99,3% / 99,4% / 99,4% |
| INT4 | 1,16 GB | 2,71 GB | 99,7% / 95,8% / 98,7% |
Para usar um checkpoint menor, inclua a pasta correspondente no download e passe precision="int8" ou precision="int4" ao criar o runtime. Teste com seus dados, especialmente para fala e contextos longos. Manifesto do modelo
Flash e Nano
Julia 2 Flash

A Flash mantém a API e os tipos de entrada da Julia 2. São 658 MB de pesos no total, com 427 MB para texto, 116 MB para imagem e 115 MB para áudio. Para carregar só o texto, use Runtime("Julia-2-Flash", modalities=("text",)).
Na avaliação pareada do card com 222 itens reservados do SLCMB, a Flash ficou 0,07 ponto abaixo da Julia 2 BF16. No teste em RTX PRO 6000, o pico de memória caiu de 3,74 GB para 1,08 GB e o lote de 64 perguntas de texto passou de 295 ms para 171 ms. Algumas respostas mudam, com diferenças maiores em certos idiomas e classes de imagem mais parecidas entre si. Pesos, runtime e avaliações da Julia 2 Flash
hf download SupersonicLabs/Julia-2-Flash --local-dir Julia-2-Flash
Use o runtime em Julia-2-Flash/runtime com Python e PyTorch. Para execução só com texto, consulte no card os arquivos necessários. Instalação e arquivos da Flash
Julia 2 Nano

A Nano usa 15 MB de pesos em três arquivos e roda em C. O repositório tem firmware para decisões de texto em ESP32-S3. Os programas de imagem e fala usam categorias fixas, e o card ainda não traz latência medida em placa física.
| Componente | Pesos | Escopo |
|---|---|---|
| Texto | 8,2 MB | Escolha, pontuação e sim ou não em inglês e português |
| Imagem | 1,7 MB | Classes treinadas de Imagenette e Oxford Flowers |
| Fala | 5,1 MB | 14 intenções bancárias de MInDS-14 |
A Nano deu a mesma resposta que a Julia 2 em 58% de 231 casos de texto reservados do SLCMB, chegando a 71% nos 166 casos em que a Julia 2 estava confiante. São taxas de concordância entre modelos. A Nano é voltada a entradas curtas e decisões delimitadas. Para ligações ao vivo e contextos longos, use a Julia 2 ou a Flash. Pesos, exemplos em C e firmware da Julia 2 Nano
Para compilar o programa de texto em um computador com compilador C:
hf download SupersonicLabs/Julia-2-Nano --local-dir Julia-2-Nano
cd Julia-2-Nano
cc -O2 -o nano_text c/nano_text.c -lm
O programa lê um arquivo de entrada compactado e os pesos de texto. Use o guia de formatos para preparar a entrada ou o projeto ESP-IDF em firmware/ para compilar para o ESP32-S3. Formatos de entrada da Nano