Dự án
Từ chối độ dài khác nhau và nhãn lạ, giữ số đếm bằng không cho lớp chưa xuất hiện.
Không gian lập trình với AI
Ma trận nhầm lẫn phân loại
Tạo ma trận nhầm lẫn từ nhãn mong đợi và nhãn dự đoán.
● ● ●MatrixTern●
Quy trình · Ma trận nhầm lẫn phân loại ×
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrix✳Tạo ma trận nhầm lẫn từ nhãn mong đợi và nhãn dự đoán.
✓ Thay đổiKiểm tra trước khi áp dụng ↗
Minh họa không gian làm việc
Kiểm tra trước khi áp dụng
So sánh hành vi thực tế với kết quả mong đợi. Nếu kiểm tra thất bại, tìm nguyên nhân trước khi sửa tiếp.
Mô hình
Cấu hình endpoint tương thích OpenAI hoặc Anthropic bằng URL cơ sở và khóa API nếu cần. Kiểm tra kết nối. Máy chủ mô hình cục bộ phải đang chạy; công cụ từ xa có thể truyền dữ liệu riêng.
Quy trình
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrixLàm cho mã đánh giá dễ xem xét như chính kết quả
MatrixTern cung cấp không gian AI trên Windows cho nhà phát triển xem mã đằng sau kết quả đánh giá. Mở thư mục dự án và nêu báo cáo phải đo điều gì trước khi yêu cầu thay đổi. Khi đó cuộc trò chuyện có thể liên kết phép tính, đầu vào và mã trình bày kết quả thay vì coi một con số in ra là đủ bằng chứng.
Với báo cáo phân loại, yêu cầu mô hình kiểm tra cách nhãn mong đợi và nhãn dự đoán trở thành ma trận nhầm lẫn. Cung cấp thứ tự nhãn đã khai báo và tập dữ liệu nhỏ có số đếm bạn tự kiểm tra được. Yêu cầu đó tạo cách cụ thể để thảo luận triển khai mà không giả định báo cáo đã được xác minh độc lập.
Dùng chỉnh sửa đề xuất để làm rõ giả định ảnh hưởng diễn giải: nhãn lạ có bị từ chối không, lớp rỗng được biểu diễn thế nào và độ dài đầu vào có phải bằng nhau không. Xem tệp bị ảnh hưởng và chạy kiểm thử đánh giá. So nhãn hiển thị với ma trận bên dưới, đồng thời kiểm tra tổng số có khớp không.
Mô hình AI đã gỡ cơ chế từ chối có thể có qua điểm cuối tương thích OpenAI hoặc Anthropic bạn cấu hình trong MatrixTern. Thêm thông tin xác thực khi cần và kiểm tra kết nối. Mô hình và máy chủ được chọn chi phối giới hạn, ngữ cảnh và công cụ; đầu ra của chúng vẫn cần được đánh giá cùng bằng chứng dự án.
Kiểm tra phần mềm đằng sau báo cáo
Dữ liệu kiểm thử đầu tiên hữu ích cho báo cáo phân loại là gì?
Dùng chuỗi ngắn có một dự đoán đúng đã biết và một phân loại sai đã biết, giữ thứ tự nhãn rõ ràng. Tính độc lập số đếm mong đợi. Điều này giúp nhận ra trục bị đảo hoặc chỉ mục nhãn không nhất quán khi xem xét.
Nhãn không xuất hiện trong mẫu có nên biến mất khỏi đầu ra không?
Quyết định báo cáo dùng tập nhãn cố định hay suy ra từ từng mẫu. Cho mô hình biết yêu cầu đó và kiểm tra cả mã trình bày. Lớp biến mất có thể làm báo cáo khó so sánh.
MatrixTern có xếp hạng các mô hình đã kết nối giúp tôi không?
Quy trình ở đây liên quan xem xét phần mềm đánh giá của bạn. Phản hồi mô hình không phải kết quả điểm chuẩn đã đo. Bạn xác định thí nghiệm, chạy kiểm tra và xem bằng chứng thu được trước khi kết luận về bất kỳ hệ thống nào.
Nên xử lý mẫu đánh giá nhạy cảm thế nào?
Dùng dữ liệu đại diện đã loại bỏ thông tin nhạy cảm và xem điểm cuối mô hình cùng công cụ kết nối trước khi chia sẻ. Ngay cả máy chủ mô hình cục bộ chạy riêng cũng không khiến mọi công cụ thành cục bộ, vì vậy hãy kiểm tra toàn bộ đường đi dữ liệu.
MatrixTern · Cập nhật 2026-10-25
