Proyek
Tolak panjang berbeda serta label tak dikenal, sambil mempertahankan hitungan nol untuk kelas yang belum diamati.
Ruang kerja kode dengan AI
Matriks kebingungan klasifikasi
Bangun matriks kebingungan dari label yang diharapkan dan diprediksi.
● ● ●MatrixTern●
Alur kerja · Matriks kebingungan klasifikasi ×
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrix✳Bangun matriks kebingungan dari label yang diharapkan dan diprediksi.
✓ PerubahanTinjau sebelum menerapkan ↗
Ilustrasi ruang kerja
Tinjau sebelum menerapkan
Bandingkan perilaku sebenarnya dengan hasil yang diharapkan. Jika pemeriksaan gagal, cari penyebabnya sebelum membuat perubahan lain.
Model
Atur endpoint kompatibel OpenAI atau Anthropic dengan URL dasar dan kunci API jika diperlukan. Uji koneksi. Server model lokal harus berjalan; alat jarak jauh dapat mengirim data secara terpisah.
Alur kerja
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrixJadikan kode evaluasi sama mudahnya ditinjau seperti hasilnya
MatrixTern memberi pengembang ruang kerja AI Windows untuk memeriksa kode di balik hasil evaluasi. Buka folder proyek dan nyatakan apa yang seharusnya diukur laporan sebelum meminta perubahan. Percakapan kemudian dapat menghubungkan perhitungan, masukannya, dan kode penyaji hasil, alih-alih menganggap angka yang dicetak sebagai bukti yang cukup.
Untuk laporan klasifikasi, minta model memeriksa bagaimana label yang diharapkan dan diprediksi menjadi matriks konfusi. Berikan urutan label yang dinyatakan dan data uji kecil yang jumlahnya dapat Anda periksa sendiri. Permintaan itu memberi cara konkret membahas implementasi tanpa menganggap laporan telah diverifikasi secara independen.
Gunakan usulan edit untuk memperjelas asumsi yang memengaruhi penafsiran: apakah label tak dikenal ditolak, bagaimana kelas kosong direpresentasikan, dan apakah panjang masukan harus sama. Tinjau berkas terdampak dan jalankan pengujian evaluasi. Bandingkan label yang ditampilkan dengan matriks dasarnya sekaligus periksa apakah jumlah totalnya sesuai.
Model AI abliterasi mungkin tersedia melalui endpoint kompatibel OpenAI atau Anthropic yang Anda konfigurasikan di MatrixTern. Tambahkan kredensial jika diperlukan dan periksa koneksi. Model serta server yang dipilih mengatur pembatasan, konteks, dan alat; keluarannya tetap perlu dievaluasi bersama bukti proyek.
Memeriksa perangkat lunak di balik laporan
Apa data uji awal yang berguna untuk laporan klasifikasi?
Gunakan urutan pendek dengan prediksi benar yang diketahui dan kesalahan klasifikasi yang diketahui, dengan urutan label tetap eksplisit. Hitung jumlah yang diharapkan secara independen. Ini mempermudah identifikasi sumbu tertukar atau pengindeksan label tidak konsisten saat tinjauan.
Haruskah label yang tidak ada dalam sampel hilang dari keluaran?
Tentukan apakah laporan memakai himpunan label tetap atau menurunkannya dari setiap sampel. Tunjukkan persyaratan itu kepada model dan periksa juga kode penyajian. Kelas yang menghilang dapat membuat laporan sulit dibandingkan.
Apakah MatrixTern memeringkat model terhubung untuk saya?
Alur kerja yang dijelaskan di sini berkaitan dengan peninjauan perangkat lunak evaluasi Anda. Respons model bukan hasil tolok ukur yang diukur. Anda menentukan eksperimen, menjalankan pemeriksaannya, dan memeriksa bukti hasilnya sebelum menyimpulkan apa pun tentang sistem mana pun.
Bagaimana sebaiknya saya menangani sampel evaluasi sensitif?
Gunakan data uji perwakilan yang sudah dibersihkan dari informasi sensitif dan tinjau endpoint model serta alat terhubung sebelum berbagi data. Bahkan server model lokal yang berjalan terpisah tidak membuat semua alat bersifat lokal, jadi periksa seluruh jalur data.
MatrixTern · Diperbarui 2026-10-25
