Project
Weiger verschillende lengtes en onbekende labels en behoud nulwaarden voor nooit waargenomen klassen.
AI-werkruimte voor code
Verwarringsmatrices voor classificatie
Bouw een verwarringsmatrix uit verwachte en voorspelde labels.
● ● ●MatrixTern●
Werkprocessen · Verwarringsmatrices voor classificatie ×
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrix✳Bouw een verwarringsmatrix uit verwachte en voorspelde labels.
✓ WijzigingenControleer vóór het toepassen ↗
Illustratie van de werkruimte
Controleer vóór het toepassen
Vergelijk het werkelijke gedrag met het verwachte resultaat. Onderzoek een mislukte controle voordat je verdergaat met wijzigingen.
Modellen
Stel een OpenAI-compatibel of Anthropic-endpoint in met de basis-URL en zo nodig een API-sleutel. Test de verbinding. Een lokale modelserver moet actief zijn; externe hulpmiddelen kunnen apart gegevens versturen.
Werkprocessen
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrixMaak de evaluatiecode even controleerbaar als het resultaat
MatrixTern biedt ontwikkelaars een Windows-AI-werkomgeving om de code achter een evaluatieresultaat te onderzoeken. Open de projectmap en geef aan wat het rapport moet meten voordat je om wijzigingen vraagt. Het gesprek kan dan de berekening, de invoer en de code die het resultaat presenteert verbinden, in plaats van een afgedrukt getal als voldoende bewijs te behandelen.
Vraag het model bij een classificatierapport te onderzoeken hoe verwachte en voorspelde labels een verwarringsmatrix vormen. Lever de vastgelegde labelvolgorde en een klein testgeval waarvan je de aantallen zelf kunt controleren. Zo kun je de implementatie concreet bespreken zonder aan te nemen dat het rapport al onafhankelijk is geverifieerd.
Gebruik de voorgestelde wijzigingen om aannames te verduidelijken die de interpretatie beïnvloeden: of onbekende labels worden afgewezen, hoe lege klassen worden weergegeven en of invoerlengten gelijk moeten zijn. Beoordeel de betrokken bestanden en voer je evaluatietests uit. Vergelijk de getoonde labels met de onderliggende matrix en controleer ook of de totalen kloppen.
Een abliterated AI-model kan beschikbaar zijn via het OpenAI-compatibele of Anthropic-endpoint dat je in MatrixTern instelt. Voeg zo nodig inloggegevens toe en controleer de verbinding. Het gekozen model en de server bepalen beperkingen, context en hulpmiddelen; hun uitvoer blijft iets dat je naast het projectbewijs moet beoordelen.
De software achter een rapport controleren
Wat is een nuttig eerste testgeval voor een classificatierapport?
Gebruik een korte reeks met een bekende correcte voorspelling en een bekende misclassificatie en houd de labelvolgorde expliciet. Bereken de verwachte aantallen onafhankelijk. Zo zijn verwisselde assen of inconsistente labelindexering gemakkelijker te herkennen.
Moeten labels die in een steekproef ontbreken uit de uitvoer verdwijnen?
Bepaal of het rapport een vaste labelverzameling gebruikt of die per steekproef afleidt. Geef die eis aan het model en bekijk ook de presentatiecode. Een verdwijnende klasse kan rapporten moeilijk vergelijkbaar maken.
Rangschikt MatrixTern de verbonden modellen voor mij?
De hier beschreven werkwijze betreft beoordeling van je evaluatiesoftware. Een modelantwoord is geen gemeten benchmarkresultaat. Jij definieert het experiment, voert controles uit en bekijkt het resulterende bewijs voordat je conclusies over een systeem trekt.
Hoe ga ik om met gevoelige evaluatievoorbeelden?
Gebruik representatieve opgeschoonde testgegevens en controleer het modelendpoint en verbonden hulpmiddelen voordat je gegevens deelt. Zelfs een afzonderlijk draaiende lokale modelserver maakt niet elk hulpmiddel lokaal, dus onderzoek het volledige gegevenspad.
MatrixTern · Bijgewerkt 2026-10-25
