Projeto
Rejeite comprimentos diferentes e rótulos desconhecidos, mantendo contagem zero nas classes nunca observadas.
Ambiente de programação com IA
Matrizes de confusão de classificação
Monte uma matriz de confusão com os rótulos esperados e previstos.
● ● ●MatrixTern●
Fluxos de trabalho · Matrizes de confusão de classificação ×
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrix✳Monte uma matriz de confusão com os rótulos esperados e previstos.
✓ AlteraçõesRevise antes de aplicar ↗
Ilustração do ambiente
Revise antes de aplicar
Compare o comportamento real com o resultado esperado. Se uma verificação falhar, investigue a causa antes de fazer outras alterações.
Modelos
Configure um endpoint compatível com OpenAI ou Anthropic com a URL base e uma chave API, quando necessária. Teste a conexão. O servidor local precisa estar em execução; ferramentas remotas podem transmitir dados separadamente.
Fluxos de trabalho
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrixTorne o código de avaliação tão revisável quanto o resultado
O MatrixTern oferece aos desenvolvedores um ambiente com IA para Windows para examinar o código por trás de um resultado de avaliação. Abra a pasta do projeto e declare o que o relatório deve medir antes de pedir alterações. A conversa pode então relacionar o cálculo, suas entradas e o código que apresenta o resultado, em vez de tratar um número impresso como evidência suficiente.
Para um relatório de classificação, peça ao modelo que inspecione como rótulos esperados e previstos se tornam uma matriz de confusão. Forneça a ordem declarada dos rótulos e um pequeno caso de teste cujas contagens você possa verificar por conta própria. Essa solicitação oferece uma forma concreta de discutir a implementação sem presumir que o relatório já foi verificado de maneira independente.
Use as edições propostas para esclarecer premissas que afetam a interpretação: se rótulos desconhecidos são rejeitados, como classes vazias são representadas e se os tamanhos das entradas devem coincidir. Revise os arquivos afetados e execute seus testes de avaliação. Compare os rótulos exibidos com a matriz subjacente, além de verificar se os totais conferem.
Um modelo de IA com restrições removidas pode estar disponível pelo endpoint compatível com OpenAI ou da Anthropic que você configurar no MatrixTern. Adicione credenciais quando exigidas e verifique a conexão. O modelo e o servidor selecionados regem restrições, contexto e ferramentas; suas saídas continuam sendo algo a avaliar junto com as evidências do projeto.
Verificação do software por trás de um relatório
Qual é um primeiro caso de teste útil para um relatório de classificação?
Use uma sequência curta com uma previsão correta conhecida e uma classificação incorreta conhecida, mantendo explícita a ordem dos rótulos. Calcule as contagens esperadas de forma independente. Isso facilita identificar eixos trocados ou indexação inconsistente de rótulos durante a revisão.
Rótulos ausentes de uma amostra devem desaparecer da saída?
Decida se o relatório usa um conjunto fixo de rótulos ou o deriva de cada amostra. Mostre esse requisito ao modelo e inspecione também o código de apresentação. Uma classe que desaparece pode dificultar a comparação de relatórios.
O MatrixTern classifica os modelos conectados para mim?
O fluxo de trabalho descrito aqui trata da revisão do seu software de avaliação. Uma resposta do modelo não é um resultado medido de benchmark. Você define o experimento, executa suas verificações e inspeciona as evidências resultantes antes de tirar conclusões sobre qualquer sistema.
Como devo lidar com amostras de avaliação sensíveis?
Use dados de teste representativos sem informações sensíveis e revise o endpoint do modelo e as ferramentas conectadas antes de compartilhar dados. Mesmo um servidor local de modelo executado separadamente não torna todas as ferramentas locais; portanto, inspecione todo o caminho dos dados.
MatrixTern · Atualizado 2026-10-25
