Julia 1.5

Modelo de 144 milhões de parâmetros para decisões sobre texto. Segue regras escritas com mais frequência e é menos sensível à ordem das opções que a Julia 1.

Baixar Julia 1.5 no Hugging Face

Dois círculos gravados ladeiam um losango azul sobre papel marfim

Como funciona

Envie um contexto em texto ou JSON, uma pergunta e as respostas permitidas. O modelo compara as opções em uma passagem e devolve a probabilidade de cada uma. A aplicação pode usar o resultado para encaminhar um chamado, verificar se um pedido atende a uma política ou atribuir um nível segundo critérios definidos.

Tipo de perguntaO que você forneceO que recebe
choice2 a 20 opções nomeadas, com descriçõesChave escolhida e probabilidade de cada opção
noulPergunta de sim ou não, com descrições opcionais para verdadeiro e falsoProbabilidade de «sim»
score2 a 20 níveis ordenadosPontuação esperada, nível mais provável e probabilidades

A Julia 1.5 usa um encoder mmBERT-small de 22 camadas e um módulo de decisão que compara as opções. Os 1.024 tokens são divididos entre contexto, pergunta e opções. Cada opção pode ocupar até 48 tokens, e a pergunta mais as opções têm limite conjunto de 512. O runtime sinaliza contexto truncado. Use o modo estrito quando for necessário preservar o contexto inteiro.

Resultados

A Julia 1.5 melhora nos três tipos de pergunta do núcleo do SLCMB em inglês e português. Os pontos do SLCMB são uma nota composta. Os demais números são taxas nos testes indicados. Dados da avaliação · Protocolo do SLCMB

AvaliaçãoJulia 1Julia 1.5
SLCMB 3.0, conjunto completo de 920 questões33,346,2
Aplicação correta de regras escritas29,6%87,4%
Aplicação correta de regras negadas27,6%94,3%
Mesma decisão após reordenar as opções59%87%
Testes públicos de classificação em cinco idiomas67,0%73,0%

O desempenho cai em algumas tarefas. Na trilha Emotion do SLCMB, a Julia 1 marcou 91,6 e a Julia 1.5, 66,0. O desempenho em questões de conhecimento geral de provas é limitado. Faça cálculos e comparações numéricas próximas no código da aplicação e envie o resultado no contexto. Valide as probabilidades com seus próprios dados antes de usá-las como limiares de automação.

Em uma NVIDIA L40S, o card registra cerca de 15 ms para uma requisição e 3.700 linhas/s em lote com o encoder FP16. Em CPU de 8 vCPUs e FP32, foram cerca de 250 ms para uma requisição de 325 tokens e 5 linhas/s. As medições dependem do hardware e da carga. Model card e benchmarks de execução

Execução local

Use Python 3.10+ e PyTorch em CPU ou CUDA. O repositório no Hugging Face inclui pesos FP32 (577 MB), tokenizador, runtime, métricas e proveniência sob Apache 2.0.

python -m pip install huggingface_hub
hf download SupersonicLabs/Julia-1.5 --local-dir Julia-1.5
python -m pip install -e ./Julia-1.5/runtime
from julia15 import Runtime

modelo = Runtime("Julia-1.5")
resultado = modelo.predict_questions(
    state={"chamado": "Fui cobrado duas vezes pelo mesmo pedido."},
    questions={
        "equipe": {
            "type": "choice",
            "instructions": "Qual equipe deve atender este chamado?",
            "criteria": {
                "cobranca": "Cobranças duplicadas, pagamentos e estornos",
                "tecnica": "Problemas de acesso e erros do aplicativo",
            },
        },
    },
)
print(resultado["answers"]["equipe"])

Inicie o runtime HTTP local com python -m julia15 serve --port 8080. Use POST /v1/predict para uma requisição, /v1/predict_batch para um lote ou /v1/logits para as pontuações brutas das opções. Para escolhas sensíveis à ordem, experimente views=3 para avaliar diferentes ordenações. Documentação do runtime

Flash e Nano

Julia 1.5 Flash

Uma faixa azul diagonal cruza um paralelogramo claro gravado

A Julia 1.5 Flash está em prévia privada. Usa os mesmos tipos de pergunta, contexto de 1.024 tokens e runtime da Julia 1.5, com 296 MB de pesos frente aos 577 MB da versão padrão.

Julia 1.5 Nano

A Julia 1.5 Nano ainda não tem lançamento público. Para decisões de texto em ESP32-S3, veja Julia 2 Nano.

Migração da Julia 1

Estamos descontinuando a Julia 1 na API hospedada. As requisições à rota da Julia 1 passam automaticamente para a Julia 1.5 com o mesmo formato. Para migrar uma instalação local, baixe os novos pesos e o runtime. Reavalie os limiares usados na sua aplicação, especialmente na classificação de emoções ou com contextos acima de 1.024 tokens. Arquivo de pesquisa da Julia 1