Treino do King

Estado agora

Versões

Cada versão é medida com a mesma bateria de critérios, a velocidade de geração (tok/s) e o tempo até ao 1.º token (TTFT).

King vs Claude

A mesma bateria de 117 critérios das versões do King, corrida também nos modelos Claude. Critérios avaliados por código (testes, SQL, execução), sem juiz. O custo do King é só eletricidade; o do Claude é o preço público da API por cada milhão de tokens gerados.

Sombra — o King ao lado do Claude

Todos os dias, as tarefas que o Claude fez são repetidas pelo King e um juiz dá nota de 0 a 10 às duas respostas. A distância entre as duas linhas é o que falta aprender.

Por categoria

Tarefas reais (Sombra à mão)

Dataset de treino (pares DPO)

Cada par junta, para o mesmo pedido, a resposta boa (Claude) e a fraca (King). Só entram casos em que o Claude teve nota ≥ 6 e o King ficou abaixo.

Execuções de treino