Projet
Refusez les longueurs différentes et les étiquettes inconnues, en gardant des comptes nuls pour les classes jamais observées.
Espace de développement avec IA
Matrices de confusion de classification
Construisez une matrice de confusion à partir des étiquettes attendues et prédites.
● ● ●MatrixTern●
Méthodes de travail · Matrices de confusion de classification ×
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrix✳Construisez une matrice de confusion à partir des étiquettes attendues et prédites.
✓ ModificationsVérifiez avant d’appliquer ↗
Illustration de l’espace de travail
Vérifiez avant d’appliquer
Comparez le comportement observé au résultat attendu. Si une vérification échoue, cherchez la cause avant de poursuivre les modifications.
Modèles
Configurez un endpoint compatible OpenAI ou Anthropic avec son URL de base et une clé API si nécessaire. Testez la connexion. Un serveur local doit fonctionner ; les outils distants peuvent transmettre des données séparément.
Méthodes de travail
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrixRendre le code d’évaluation aussi vérifiable que le résultat
MatrixTern offre aux développeurs un espace IA Windows pour examiner le code derrière un résultat d’évaluation. Ouvrez le dossier du projet et précisez ce que le rapport est censé mesurer avant de demander des changements. La conversation peut alors relier le calcul, ses entrées et le code qui présente le résultat, au lieu de traiter un nombre affiché comme une preuve suffisante.
Pour un rapport de classification, demandez au modèle d’inspecter comment les étiquettes attendues et prédites deviennent une matrice de confusion. Fournissez l’ordre déclaré des étiquettes et un petit jeu de test dont vous pouvez vérifier les comptes vous-même. Cette demande permet de discuter concrètement de l’implémentation sans supposer que le rapport a déjà été vérifié indépendamment.
Utilisez les modifications proposées pour clarifier les hypothèses d’interprétation : rejet éventuel des étiquettes inconnues, représentation des classes vides et obligation de longueurs d’entrée identiques. Examinez les fichiers touchés et exécutez vos tests d’évaluation. Comparez les étiquettes affichées à la matrice sous-jacente tout en vérifiant la somme des comptes.
Un modèle d’IA dont les mécanismes de refus ont été atténués, dit « abliterated », peut être disponible via le point de terminaison compatible OpenAI ou Anthropic configuré dans MatrixTern. Ajoutez les identifiants nécessaires et vérifiez la connexion. Le modèle et le serveur choisis régissent les restrictions, le contexte et les outils ; leur sortie reste à évaluer avec les éléments du projet.
Vérifier le logiciel derrière un rapport
Quel premier jeu de test est utile pour un rapport de classification ?
Utilisez une courte séquence avec une prédiction correcte connue et une erreur de classification connue, en explicitant l’ordre des étiquettes. Calculez les comptes attendus indépendamment. Cela facilite le repérage d’axes inversés ou d’une indexation incohérente des étiquettes lors de l’examen.
Les étiquettes absentes d’un échantillon doivent-elles disparaître de la sortie ?
Décidez si le rapport utilise un ensemble fixe d’étiquettes ou le déduit de chaque échantillon. Présentez cette exigence au modèle et inspectez aussi le code de présentation. Une classe qui disparaît peut rendre les rapports difficiles à comparer.
MatrixTern classe-t-il les modèles connectés pour moi ?
Le processus décrit ici concerne l’examen de votre logiciel d’évaluation. Une réponse de modèle n’est pas un résultat de référence mesuré. Vous définissez l’expérience, exécutez ses vérifications et inspectez les éléments obtenus avant de tirer des conclusions sur un système.
Comment traiter des échantillons d’évaluation sensibles ?
Utilisez des jeux de test représentatifs expurgés des données sensibles et examinez le point de terminaison du modèle et les outils connectés avant de partager des données. Même un serveur de modèle local exécuté séparément ne rend pas tous les outils locaux : inspectez donc l’ensemble du parcours des données.
MatrixTern · Mis à jour 2026-10-25
