Proiect
Respingeți lungimi diferite și etichete necunoscute, păstrând zerouri pentru clasele neobservate.
Spațiu de programare cu AI
Matrice de confuzie pentru clasificare
Construiți o matrice de confuzie din etichetele așteptate și prezise.
● ● ●MatrixTern●
Fluxuri de lucru · Matrice de confuzie pentru clasificare ×
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrix✳Construiți o matrice de confuzie din etichetele așteptate și prezise.
✓ ModificăriVerifică înainte de aplicare ↗
Ilustrarea spațiului de lucru
Verifică înainte de aplicare
Compară comportamentul real cu rezultatul așteptat. Dacă o verificare eșuează, cercetează cauza înainte de alte modificări.
Modele
Configurează un endpoint compatibil OpenAI sau Anthropic cu URL-ul de bază și cheia API, dacă este necesară. Testează conexiunea. Serverul local trebuie să ruleze; instrumentele externe pot transmite date separat.
Fluxuri de lucru
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrixFaceți codul de evaluare la fel de ușor de examinat ca rezultatul
MatrixTern oferă dezvoltatorilor un spațiu cu IA pentru Windows destinat examinării codului din spatele unui rezultat de evaluare. Deschideți dosarul proiectului și precizați ce trebuie să măsoare raportul înainte de a cere modificări. Conversația poate apoi lega calculul, intrările și codul de prezentare a rezultatului, fără a trata un număr afișat drept dovadă suficientă.
Pentru un raport de clasificare, cereți modelului să examineze cum devin etichetele așteptate și prezise o matrice de confuzie. Furnizați ordinea declarată a etichetelor și un set mic de date de test ale cărui numărări le puteți verifica singur. Cererea oferă o modalitate concretă de a discuta implementarea fără a presupune că raportul a fost deja verificat independent.
Folosiți editările propuse pentru a clarifica presupunerile care afectează interpretarea: dacă etichetele necunoscute sunt respinse, cum sunt reprezentate clasele goale și dacă lungimile intrărilor trebuie să coincidă. Examinați fișierele afectate și rulați testele evaluării. Comparați etichetele afișate cu matricea subiacentă și verificați că totalurile corespund.
Un model IA abliterat poate fi disponibil prin punctul de acces compatibil cu OpenAI sau Anthropic configurat în MatrixTern. Adăugați date de autentificare când sunt necesare și verificați conexiunea. Modelul și serverul selectate guvernează restricțiile, contextul și instrumentele; rezultatele lor trebuie în continuare evaluate alături de dovezile proiectului.
Verificarea software-ului din spatele unui raport
Care este un prim set de test util pentru un raport de clasificare?
Folosiți o secvență scurtă cu o predicție corectă cunoscută și o clasificare greșită cunoscută, păstrând explicită ordinea etichetelor. Calculați independent numărările așteptate. Astfel identificați mai ușor axe inversate sau indexarea inconsecventă a etichetelor.
Etichetele absente dintr-un eșantion trebuie să dispară din ieșire?
Decideți dacă raportul folosește un set fix de etichete sau îl derivă din fiecare eșantion. Arătați cerința modelului și examinați și codul de prezentare. Dispariția unei clase poate îngreuna compararea rapoartelor.
MatrixTern clasifică modelele conectate pentru mine?
Fluxul descris aici privește examinarea software-ului dumneavoastră de evaluare. Un răspuns al modelului nu este un rezultat de benchmark măsurat. Definiți experimentul, rulați verificările și examinați dovezile rezultate înainte de a trage concluzii despre orice sistem.
Cum trebuie să gestionez eșantioanele sensibile de evaluare?
Folosiți date de test reprezentative anonimizate și examinați punctul de acces al modelului și instrumentele conectate înainte de a trimite date. Chiar și un server local de model care rulează separat nu face toate instrumentele locale, așa că examinați întregul traseu al datelor.
MatrixTern · Actualizat 2026-10-25
