Progetto
Rifiuta lunghezze diverse ed etichette sconosciute, mantenendo conteggi nulli per le classi mai osservate.
Ambiente di sviluppo con IA
Matrici di confusione per classificazione
Costruisci una matrice di confusione da etichette attese e previste.
● ● ●MatrixTern●
Flussi di lavoro · Matrici di confusione per classificazione ×
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrix✳Costruisci una matrice di confusione da etichette attese e previste.
✓ ModificheControlla prima di applicare ↗
Illustrazione dell’ambiente
Controlla prima di applicare
Confronta il comportamento effettivo con il risultato atteso. Se una verifica fallisce, indaga la causa prima di altre modifiche.
Modelli
Configura un endpoint compatibile con OpenAI o Anthropic usando URL di base e chiave API, se necessaria. Prova la connessione. Il server locale deve essere in esecuzione; gli strumenti remoti possono trasmettere dati separatamente.
Flussi di lavoro
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrixRendi il codice di valutazione esaminabile quanto il risultato
MatrixTern offre agli sviluppatori un ambiente IA per Windows per esaminare il codice dietro un risultato di valutazione. Apri la cartella del progetto e specifica cosa debba misurare il rapporto prima di chiedere modifiche. La conversazione può quindi collegare il calcolo, i suoi input e il codice che presenta il risultato, invece di trattare un numero stampato come prova sufficiente.
Per un rapporto di classificazione, chiedi al modello di esaminare come le etichette attese e previste diventino una matrice di confusione. Fornisci l'ordine dichiarato delle etichette e un piccolo caso di test di cui puoi verificare autonomamente i conteggi. Questa richiesta offre un modo concreto per discutere l'implementazione senza supporre che il rapporto sia già stato verificato in modo indipendente.
Usa le modifiche proposte per chiarire i presupposti che influiscono sull'interpretazione: se le etichette sconosciute siano rifiutate, come vengano rappresentate le classi vuote e se le lunghezze degli input debbano coincidere. Esamina i file interessati ed esegui i test di valutazione. Confronta le etichette visualizzate con la matrice sottostante, oltre a verificare che i totali tornino.
Un modello IA ablitterato può essere disponibile tramite l'endpoint compatibile con OpenAI o Anthropic che configuri in MatrixTern. Aggiungi credenziali quando richieste e verifica la connessione. Modello e server selezionati governano restrizioni, contesto e strumenti; il loro output resta qualcosa da valutare insieme alle evidenze del progetto.
Verificare il software dietro un rapporto
Qual è un primo caso di test utile per un rapporto di classificazione?
Usa una breve sequenza con una previsione corretta nota e un'errata classificazione nota, mantenendo esplicito l'ordine delle etichette. Calcola indipendentemente i conteggi attesi. Questo rende più facile individuare assi invertiti o indicizzazione incoerente delle etichette durante la revisione.
Le etichette assenti da un campione devono scomparire dall'output?
Decidi se il rapporto usa un insieme fisso di etichette o lo ricava da ogni campione. Mostra quel requisito al modello ed esamina anche il codice di presentazione. Una classe che scompare può rendere difficile confrontare i rapporti.
MatrixTern classifica per me i modelli collegati?
Il flusso di lavoro descritto qui riguarda la revisione del tuo software di valutazione. Una risposta del modello non è un risultato di benchmark misurato. Definisci l'esperimento, esegui le verifiche ed esamina le evidenze risultanti prima di trarre conclusioni su qualsiasi sistema.
Come gestire campioni di valutazione sensibili?
Usa casi di test rappresentativi depurati dai dati sensibili ed esamina l'endpoint del modello e gli strumenti collegati prima di condividere dati. Anche un server del modello locale eseguito separatamente non rende locale ogni strumento, quindi controlla l'intero percorso dei dati.
MatrixTern · Aggiornato 2026-10-25
