SLCMB
O Supersonic Labs Classification Models Benchmark mede o que um modelo decide, a confiança dessa decisão e o quanto ela se mantém quando as opções mudam de lugar.
O que mede
O modelo recebe um contexto, uma pergunta e as respostas permitidas. A pergunta pode pedir uma escolha entre opções, uma pontuação em escala ordenada ou uma decisão de sim ou não. A avaliação considera a resposta escolhida e a distribuição de probabilidades. Um chamado encaminhado para Cobrança, por exemplo, deveria continuar indo para Cobrança quando essa opção passa da primeira para a última posição. As probabilidades podem mudar mesmo quando a escolha se mantém.
| Conjunto | Questões | O que cobre |
|---|---|---|
| Núcleo operacional | 200 | Cenários construídos de roteamento, triagem, aplicação de regras, restrições e alternativas próximas |
| Questões de fontes públicas | 690 | Notícias, emoção, intenção bancária, spam, ciências, provas e decisões tipadas selecionadas |
| Dilemas éticos | 30 | Comparação descritiva de escolhas e sensibilidade à ordem, sem gabarito |
| Total | 920 | 890 questões com gabarito e 30 casos descritivos |
O núcleo é equilibrado entre inglês e português do Brasil. A expansão tem 583 itens em inglês e 107 em português. As 16 áreas de análise incluem domínios operacionais e tarefas das fontes públicas. Algumas áreas têm amostras pequenas.
Protocolo de avaliação
- Congele o conjunto de questões, o plano de ordenação das opções e o avaliador. Registre o checkpoint, o adaptador, a configuração e o ambiente da execução.
- Apresente cada questão 100 vezes com o mesmo contexto e enunciado. Reordene as opções segundo o mesmo plano para todos os modelos. A execução completa tem 92.000 apresentações por modelo, incluindo ordens repetidas usadas como controle.
- Preserve as chaves das opções quando elas mudarem de posição. Em questões binárias, cada opção aparece primeiro 50 vezes. Em escalas de quatro níveis, cada nível ocupa cada posição 25 vezes. Em conjuntos maiores, as posições são balanceadas até onde as 100 apresentações permitem.
- Informe acerto exato, concordância entre repetições, mudanças no vetor completo de probabilidades, sensibilidade à posição e cobertura. Respostas inválidas reduzem a nota. Registre a latência à parte, com as condições de medição.
As 100 apresentações de uma pergunta são medições repetidas do mesmo item. Ao estimar a incerteza, a reamostragem mantém juntas todas as repetições da questão.
Como a nota é calculada
A nota local combina 80% de qualidade da decisão e 20% de confiabilidade. A qualidade combina 65% de acerto exato e 35% de pontuação probabilística, com perda de Brier para respostas categóricas ou binárias e ranked probability score para níveis ordenados. A confiabilidade considera o acerto nas apresentações mais difíceis, a concordância entre repetições, a estabilidade das probabilidades, o efeito da posição e a cobertura de respostas válidas.
A versão 3 agrega os idiomas cobertos em cada área e depois as 16 áreas com a fórmula (média das raízes quadradas das notas)². Em duas áreas igualmente ponderadas, 50 e 50 resultam em 50, enquanto 100 e 0 resultam em 25. Isso dá às áreas mais fracas maior influência que uma média simples. Os pontos SLCMB formam uma nota composta de 0 a 100.
Resultados dos modelos
| Modelo | Pontos SLCMB 3.0 no conjunto completo | Fonte |
|---|---|---|
| Julia 1 | 33,3 | Comparação no model card da Julia 1.5 |
| Julia 1.5 | 46,2 | Model card da Julia 1.5 |
| Julia 2 | 64,7 | Avaliação interna preliminar da Julia 2 |
As notas acima usam o conjunto completo de 920 questões conforme relatado no card de cada versão. A Julia 2 também registra 67,7 no subconjunto de desenvolvimento. A avaliação pareada da Flash usa outro recorte, com 222 questões reservadas. Mantenha a revisão dos dados e o recorte fixos ao comparar execuções. Resultados da Julia 1.5 · Resultados da Julia 2 e da Flash
Escopo e próximos passos
O benchmark mede o desempenho em um conjunto delimitado. Os cenários operacionais foram construídos para a avaliação, e os rótulos das fontes públicas têm níveis de revisão diferentes. Para decisões em produção, avalie também com dados representativos e rótulos revisados de forma independente. Os dilemas éticos descrevem as escolhas nas condições dadas. A latência depende do hardware e do adaptador usados.
À medida que Julia ganhar novas capacidades, vamos acrescentar tarefas e publicar a pontuação e o recorte usados em cada nova avaliação.