โปรเจกต์
ปฏิเสธความยาวต่างกันและป้ายที่ไม่รู้จัก โดยคงค่าศูนย์สำหรับคลาสที่ไม่เคยปรากฏ.
พื้นที่เขียนโค้ดด้วย AI
เมทริกซ์ความสับสนของการจำแนก
สร้างเมทริกซ์ความสับสนจากป้ายกำกับจริงและค่าที่ทำนาย.
● ● ●MatrixTern●
ขั้นตอนการทำงาน · เมทริกซ์ความสับสนของการจำแนก ×
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrix✳สร้างเมทริกซ์ความสับสนจากป้ายกำกับจริงและค่าที่ทำนาย.
✓ การเปลี่ยนแปลงตรวจสอบก่อนนำไปใช้ ↗
ภาพประกอบพื้นที่ทำงาน
ตรวจสอบก่อนนำไปใช้
เปรียบเทียบการทำงานจริงกับผลที่คาดหวัง หากการตรวจสอบไม่ผ่าน ให้หาสาเหตุก่อนแก้ไขเพิ่มเติม
โมเดล
ตั้งค่า endpoint ที่รองรับ OpenAI หรือ Anthropic ด้วย URL หลักและคีย์ API หากจำเป็น ทดสอบการเชื่อมต่อ เซิร์ฟเวอร์โมเดลในเครื่องต้องทำงานอยู่ เครื่องมือระยะไกลอาจส่งข้อมูลแยกต่างหาก
ขั้นตอนการทำงาน
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrixทำให้โค้ดประเมินผลตรวจทานได้พอ ๆ กับผลลัพธ์
MatrixTern ให้พื้นที่ AI บน Windows แก่นักพัฒนาเพื่อตรวจโค้ดเบื้องหลังผลประเมิน เปิดโฟลเดอร์โครงการและระบุว่ารายงานควรวัดอะไรก่อนขอแก้ไข จากนั้นการสนทนาจึงเชื่อมการคำนวณ อินพุต และโค้ดนำเสนอผลได้ แทนการถือว่าตัวเลขที่พิมพ์ออกมาเป็นหลักฐานเพียงพอ
สำหรับรายงานการจำแนกประเภท ขอให้โมเดลตรวจว่าป้ายกำกับที่คาดหวังและที่ทำนายกลายเป็นเมทริกซ์ความสับสนอย่างไร ให้ลำดับป้ายกำกับที่ประกาศและข้อมูลทดสอบเล็ก ๆ ที่คุณนับตรวจเองได้ คำขอนี้ให้วิธีหารือโค้ดอย่างเป็นรูปธรรมโดยไม่สมมติว่ารายงานผ่านการตรวจอิสระแล้ว
ใช้การแก้ที่เสนอทำสมมติฐานซึ่งกระทบการตีความให้ชัด ได้แก่ ปฏิเสธป้ายที่ไม่รู้จักหรือไม่ แสดงคลาสว่างอย่างไร และความยาวอินพุตต้องตรงกันหรือไม่ ตรวจไฟล์ที่ได้รับผลและรันการทดสอบประเมินของคุณ เทียบป้ายที่แสดงกับเมทริกซ์เบื้องหลัง นอกจากตรวจว่ายอดรวมบวกถูกต้อง
โมเดล AI ที่ลดกลไกการปฏิเสธอาจมีผ่านปลายทางที่เข้ากันได้กับ OpenAI หรือ Anthropic ที่คุณตั้งค่าใน MatrixTern เพิ่มข้อมูลรับรองเมื่อจำเป็นและตรวจการเชื่อมต่อ โมเดลและเซิร์ฟเวอร์ที่เลือกกำกับข้อจำกัด บริบท และเครื่องมือ เอาต์พุตของมันยังเป็นสิ่งที่ต้องประเมินร่วมกับหลักฐานโครงการ
ตรวจซอฟต์แวร์เบื้องหลังรายงาน
ข้อมูลทดสอบแรกที่มีประโยชน์สำหรับรายงานจำแนกประเภทคืออะไร?
ใช้ลำดับสั้นที่มีการทำนายถูกและการจำแนกผิดที่ทราบ โดยระบุลำดับป้ายให้ชัด คำนวณจำนวนที่คาดหวังแยกเอง วิธีนี้ช่วยให้พบแกนสลับหรือดัชนีป้ายไม่สอดคล้องระหว่างตรวจได้ง่ายขึ้น
ป้ายที่ไม่ปรากฏในตัวอย่างควรหายไปจากเอาต์พุตหรือไม่?
ตัดสินว่ารายงานใช้ชุดป้ายคงที่หรือสร้างจากแต่ละตัวอย่าง แสดงข้อกำหนดนั้นแก่โมเดลและตรวจโค้ดนำเสนอด้วย คลาสที่หายไปอาจทำให้เปรียบเทียบรายงานยาก
MatrixTern จัดอันดับโมเดลที่เชื่อมต่อให้ฉันหรือไม่?
ขั้นตอนที่อธิบายนี้เกี่ยวกับการตรวจซอฟต์แวร์ประเมินของคุณ คำตอบโมเดลไม่ใช่ผลเบนช์มาร์กที่วัดมา คุณกำหนดการทดลอง รันการตรวจ และตรวจหลักฐานผลก่อนสรุปเกี่ยวกับระบบใด
ควรจัดการตัวอย่างประเมินที่อ่อนไหวอย่างไร?
ใช้ข้อมูลทดสอบตัวแทนที่ลบข้อมูลอ่อนไหว และตรวจปลายทางโมเดลกับเครื่องมือที่เชื่อมต่อก่อนแชร์ แม้เซิร์ฟเวอร์โมเดลในเครื่องที่ทำงานแยกก็ไม่ได้ทำให้ทุกเครื่องมืออยู่ในเครื่อง จึงต้องตรวจเส้นทางข้อมูลทั้งหมด
MatrixTern · อัปเดตล่าสุด 2026-10-25
