Проєкт
Відхиляйте різні довжини та невідомі мітки, зберігаючи нульові лічильники для класів без спостережень.
Робоче середовище з ШІ для коду
Матриці помилок класифікації
Побудуйте матрицю помилок за очікуваними й передбаченими мітками.
● ● ●MatrixTern●
Сценарії · Матриці помилок класифікації ×
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrix✳Побудуйте матрицю помилок за очікуваними й передбаченими мітками.
✓ ЗміниПеревірте перед застосуванням ↗
Ілюстрація робочого середовища
Перевірте перед застосуванням
Порівняйте фактичну поведінку з очікуваним результатом. Якщо перевірка не проходить, з’ясуйте причину перед наступними змінами.
Моделі
Налаштуйте OpenAI-сумісний або Anthropic endpoint із базовою URL-адресою та API-ключем, якщо він потрібен. Перевірте з’єднання. Локальний сервер моделі має працювати; віддалені інструменти можуть окремо передавати дані.
Сценарії
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrixЗробіть код оцінювання таким же доступним для перевірки, як і результат
MatrixTern надає розробникам середовище ШІ для Windows, щоб досліджувати код, який формує результати оцінювання. Відкрийте папку проєкту й укажіть, що має вимірювати звіт, перш ніж просити зміни. Тоді діалог може пов’язати обчислення, вхідні дані та код представлення результату, замість вважати надруковане число достатнім доказом.
Для звіту класифікації попросіть модель перевірити, як очікувані й передбачені мітки стають матрицею помилок. Надайте оголошений порядок міток і невеликий приклад, кількості в якому можете перевірити самі. Такий запит дає конкретний спосіб обговорення реалізації без припущення, що звіт уже незалежно перевірено.
Використайте запропоновані зміни, щоб уточнити припущення, які впливають на тлумачення: чи відхиляються невідомі мітки, як подаються порожні класи й чи мають збігатися довжини входів. Перегляньте відповідні файли й запустіть тести оцінювання. Порівняйте відображені мітки з базовою матрицею та перевірте правильність підсумкових кількостей.
Модель ШІ з усуненими механізмами відмов може бути доступна через кінцеву точку, сумісну з OpenAI, або Anthropic, яку ви налаштовуєте в MatrixTern. Додайте облікові дані за потреби й перевірте підключення. Обрані модель і сервер визначають обмеження, контекст та інструменти; їхній результат залишається предметом оцінювання разом із доказами проєкту.
Перевірка програми, що формує звіт
Який перший тестовий приклад корисний для звіту класифікації?
Використайте коротку послідовність із відомим правильним передбаченням і відомою помилковою класифікацією, явно вказавши порядок міток. Незалежно обчисліть очікувані кількості. Це допоможе помітити переставлені осі чи неузгоджену індексацію міток.
Чи мають мітки, відсутні у вибірці, зникати з результату?
Вирішіть, чи звіт використовує фіксований набір міток або виводить його з кожної вибірки. Надайте цю вимогу моделі й перевірте також код представлення. Зникнення класу може ускладнити порівняння звітів.
Чи ранжує MatrixTern підключені моделі замість мене?
Описаний процес стосується перевірки вашого програмного забезпечення для оцінювання. Відповідь моделі не є виміряним результатом тестування. Ви визначаєте експеримент, запускаєте перевірки й досліджуєте отримані докази, перш ніж робити висновки про будь-яку систему.
Як працювати з чутливими зразками оцінювання?
Використовуйте характерні очищені тестові дані та перевіряйте кінцеву точку моделі й підключені інструменти до передавання даних. Навіть окремо запущений локальний сервер моделі не робить кожен інструмент локальним, тому перевірте весь шлях даних.
MatrixTern · Оновлено 2026-10-25
