Proje
Farklı uzunlukları ve bilinmeyen etiketleri reddederken hiç gözlenmeyen sınıfların sayısını sıfır tutun.
Yapay zekâ ile kod çalışma alanı
Sınıflandırma karışıklık matrisleri
Beklenen ve tahmin edilen etiketlerden bir karışıklık matrisi oluşturun.
● ● ●MatrixTern●
İş akışları · Sınıflandırma karışıklık matrisleri ×
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrix✳Beklenen ve tahmin edilen etiketlerden bir karışıklık matrisi oluşturun.
✓ DeğişikliklerUygulamadan önce inceleyin ↗
Çalışma alanı çizimi
Uygulamadan önce inceleyin
Gerçek davranışı beklenen sonuçla karşılaştırın. Bir kontrol başarısız olursa yeni değişikliklerden önce nedenini araştırın.
Modeller
Temel URL ve gerekiyorsa API anahtarıyla OpenAI uyumlu veya Anthropic endpoint yapılandırın. Bağlantıyı test edin. Yerel model sunucusu çalışıyor olmalıdır; uzak araçlar ayrıca veri aktarabilir.
İş akışları
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrixDeğerlendirme kodunu sonucu kadar incelenebilir kılın
MatrixTern, geliştiricilere değerlendirme sonucunun ardındaki kodu incelemek için Windows yapay zekâ çalışma alanı sunar. Değişiklik istemeden önce proje klasörünü açın ve raporun neyi ölçmesi gerektiğini belirtin. Görüşme böylece basılmış bir sayıyı yeterli kanıt saymak yerine hesaplamayı, girdilerini ve sonucu sunan kodu ilişkilendirebilir.
Bir sınıflandırma raporu için modelden beklenen ve tahmin edilen etiketlerin karışıklık matrisine nasıl dönüştüğünü incelemesini isteyin. Bildirilen etiket sırasını ve sayılarını kendiniz kontrol edebileceğiniz küçük bir test verisini sağlayın. Bu istek, raporun zaten bağımsız doğrulandığını varsaymadan uygulamayı tartışmak için somut bir yol sunar.
Yorumu etkileyen varsayımları netleştirmek için önerilen düzenlemeleri kullanın: Bilinmeyen etiketler reddediliyor mu, boş sınıflar nasıl gösteriliyor ve girdi uzunlukları eşleşmek zorunda mı? Etkilenen dosyaları inceleyip değerlendirme testlerinizi çalıştırın. Toplamların tutmasını kontrol etmenin yanında görüntülenen etiketleri alttaki matrisle karşılaştırın.
MatrixTern’de yapılandırdığınız OpenAI uyumlu veya Anthropic uç noktasında ret kısıtları azaltılmış (abliterated) yapay zekâ modeli bulunabilir. Gerektiğinde kimlik bilgilerini ekleyip bağlantıyı kontrol edin. Kısıtlamaları, bağlamı ve araçları seçilen model ve sunucu belirler; çıktıları proje kanıtlarıyla birlikte değerlendirilecek içerik olarak kalır.
Raporun ardındaki yazılımı kontrol etme
Sınıflandırma raporu için yararlı ilk test verisi nedir?
Etiket sırasını açık tutarak bilinen doğru tahmin ve bilinen yanlış sınıflandırma içeren kısa bir dizi kullanın. Beklenen sayıları bağımsız hesaplayın. Bu, inceleme sırasında yer değiştirmiş eksenleri veya tutarsız etiket indekslemeyi belirlemeyi kolaylaştırır.
Örnekte bulunmayan etiketler çıktıdan kaybolmalı mı?
Raporun sabit bir etiket kümesi mi kullandığına yoksa her örnekten mi türettiğine karar verin. Gereksinimi modele gösterin ve sunum kodunu da inceleyin. Kaybolan bir sınıf raporları karşılaştırmayı zorlaştırabilir.
MatrixTern bağlı modelleri benim için sıralar mı?
Burada açıklanan iş akışı değerlendirme yazılımınızı incelemekle ilgilidir. Model yanıtı ölçülmüş bir kıyaslama sonucu değildir. Herhangi bir sistem hakkında sonuca varmadan önce deneyi siz tanımlar, kontrollerini çalıştırır ve oluşan kanıtları incelersiniz.
Hassas değerlendirme örneklerini nasıl ele almalıyım?
Temsili, hassas bilgilerden arındırılmış test verileri kullanın ve paylaşmadan önce model uç noktasını ve bağlı araçları inceleyin. Ayrı çalışan yerel model sunucusu bile her aracı yerel yapmaz; bu nedenle tüm veri yolunu inceleyin.
MatrixTern · Güncellendi 2026-10-25
