Projekt
Lehnen Sie unterschiedliche Längen und unbekannte Klassen ab und behalten Sie Nullwerte für nie beobachtete Klassen bei.
KI-Arbeitsumgebung für Code
Konfusionsmatrizen für Klassifikation
Erstellen Sie eine Konfusionsmatrix aus erwarteten und vorhergesagten Klassen.
● ● ●MatrixTern●
Arbeitsabläufe · Konfusionsmatrizen für Klassifikation ×
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrix✳Erstellen Sie eine Konfusionsmatrix aus erwarteten und vorhergesagten Klassen.
✓ ÄnderungenVor dem Anwenden prüfen ↗
Illustration der Arbeitsumgebung
Vor dem Anwenden prüfen
Vergleichen Sie das tatsächliche Verhalten mit dem erwarteten Ergebnis. Klären Sie fehlgeschlagene Prüfungen vor weiteren Änderungen.
Modelle
Richten Sie einen OpenAI-kompatiblen oder Anthropic-Endpunkt mit Basis-URL und gegebenenfalls API-Schlüssel ein. Testen Sie die Verbindung. Ein lokaler Modellserver muss laufen; entfernte Werkzeuge können Daten separat übertragen.
Arbeitsabläufe
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrixDen Evaluationscode so überprüfbar wie das Ergebnis machen
MatrixTern bietet Entwicklern eine KI-Arbeitsumgebung für Windows zur Untersuchung des Codes hinter einem Evaluationsergebnis. Öffnen Sie den Projektordner und geben Sie an, was der Bericht messen soll, bevor Sie Änderungen anfordern. Das Gespräch kann so Berechnung, Eingaben und Darstellungscode verbinden, statt eine ausgegebene Zahl als ausreichenden Beleg zu behandeln.
Lassen Sie das Modell bei einem Klassifikationsbericht untersuchen, wie erwartete und vorhergesagte Klassenbezeichnungen zu einer Konfusionsmatrix werden. Geben Sie die festgelegte Klassenreihenfolge und einen kleinen Testdatensatz an, dessen Anzahlen Sie selbst prüfen können. Diese Anfrage ermöglicht eine konkrete Diskussion der Implementierung, ohne vorauszusetzen, dass der Bericht bereits unabhängig verifiziert wurde.
Nutzen Sie die vorgeschlagenen Änderungen, um interpretationsrelevante Annahmen zu klären: ob unbekannte Klassen abgelehnt werden, wie leere Klassen dargestellt werden und ob Eingabelängen übereinstimmen müssen. Prüfen Sie die betroffenen Dateien und führen Sie Ihre Evaluationstests aus. Vergleichen Sie die angezeigten Klassenbezeichnungen mit der zugrunde liegenden Matrix und prüfen Sie außerdem die Summen.
Ein abliteriertes KI-Modell kann über den OpenAI-kompatiblen oder Anthropic-Endpunkt verfügbar sein, den Sie in MatrixTern konfigurieren. Ergänzen Sie bei Bedarf Zugangsdaten und prüfen Sie die Verbindung. Das ausgewählte Modell und der Server bestimmen Beschränkungen, Kontext und Werkzeuge. Ihre Ausgabe bleibt etwas, das zusammen mit den Projektbelegen bewertet werden muss.
Die Software hinter einem Bericht prüfen
Was ist ein nützlicher erster Testdatensatz für einen Klassifikationsbericht?
Verwenden Sie eine kurze Folge mit einer bekannten richtigen Vorhersage und einer bekannten Fehlklassifikation bei ausdrücklich festgelegter Klassenreihenfolge. Berechnen Sie die erwarteten Anzahlen unabhängig. So lassen sich vertauschte Achsen oder inkonsistente Klassenindizes bei der Prüfung leichter erkennen.
Sollten Klassen, die in einer Stichprobe fehlen, aus der Ausgabe verschwinden?
Entscheiden Sie, ob der Bericht einen festen Klassensatz verwendet oder ihn aus jeder Stichprobe ableitet. Zeigen Sie diese Anforderung dem Modell und prüfen Sie auch den Darstellungscode. Eine verschwindende Klasse kann Berichte schwer vergleichbar machen.
Erstellt MatrixTern für mich eine Rangliste der verbundenen Modelle?
Der hier beschriebene Ablauf betrifft die Prüfung Ihrer Evaluationssoftware. Eine Modellantwort ist kein gemessenes Benchmark-Ergebnis. Sie definieren das Experiment, führen seine Prüfungen aus und untersuchen die resultierenden Belege, bevor Sie Schlussfolgerungen über ein System ziehen.
Wie sollte ich mit vertraulichen Evaluationsdaten umgehen?
Nutzen Sie repräsentative bereinigte Testdaten und prüfen Sie Modellendpunkt und verbundene Werkzeuge, bevor Sie Daten weitergeben. Selbst ein separat laufender lokaler Modellserver macht nicht jedes Werkzeug lokal. Prüfen Sie deshalb den vollständigen Datenweg.
MatrixTern · Aktualisiert 2026-10-25
