プロジェクト
長さの不一致や未知のラベルを拒否し、一度も現れないクラスの件数はゼロのまま残してください。
● ● ●MatrixTern●
ワークフロー · 分類の混同行列 ×
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrix✳正解ラベルと予測ラベルから混同行列を作ってください。
✓ 変更内容適用前に確認 ↗
ワークスペースのイメージ
適用前に確認
実際の動作を期待する結果と比較します。検証に失敗した場合は、次の変更を加える前に原因を調べてください。
モデル
OpenAI互換またはAnthropicのエンドポイントを、ベースURLと必要なAPIキーで設定し、接続をテストします。ローカルのモデルサーバーは起動が必要です。リモートツールは別途データを送信する場合があります。
ワークフロー
def confusion(expected, predicted, labels):
if len(expected) != len(predicted) or len(set(labels)) != len(labels):
raise ValueError("labels or lengths")
index = {label: i for i, label in enumerate(labels)}
matrix = [[0] * len(labels) for _ in labels]
for actual, guess in zip(expected, predicted):
if actual not in index or guess not in index:
raise ValueError("unknown label")
matrix[index[actual]][index[guess]] += 1
return matrix結果と同じように評価コードもレビュー可能にする
MatrixTernは、評価結果の背後にあるコードを調べるWindows向けAIワークスペースを開発者に提供します。プロジェクトフォルダーを開き、変更を求める前にレポートが何を測るべきかを明示してください。表示された数値だけを十分な根拠と見なさず、計算、入力、結果を示すコードを対話で結び付けられます。
分類レポートでは、期待ラベルと予測ラベルが混同行列になる過程をモデルに調べさせます。宣言したラベル順序と、自分で件数を確認できる小さなテストデータを示してください。この依頼なら、レポートが既に独立に検証されていると仮定せずに、実装を具体的に検討できます。
編集案を使い、未知のラベルを拒否するか、該当のないクラスをどう表すか、入力長を一致させる必要があるかなど、解釈に影響する前提を明確にします。影響するファイルをレビューし、評価テストを実行してください。合計が一致するかだけでなく、表示ラベルと基になる行列も比較します。
MatrixTernに設定するOpenAI互換またはAnthropicのエンドポイントで、拒否抑制を解除したAIモデルを利用できる場合があります。必要な認証情報を追加し、接続を確認してください。制約、コンテキスト、ツールは選択したモデルとサーバーによって決まります。その出力も、プロジェクトの根拠と合わせて評価する対象です。
レポートを支えるソフトウェアを確認する
分類レポートの最初のテストデータには何が有用ですか？
ラベル順序を明示し、正しい予測と誤分類をそれぞれ含む短い列を使います。期待する件数を独立に計算してください。レビュー時に軸の入れ替わりやラベル添字の不整合を見つけやすくなります。
サンプルにないラベルは出力から消すべきですか？
固定のラベル集合を使うか、サンプルごとに導くかを決めます。その要件をモデルに示し、表示コードも確認してください。クラスが消えるとレポート間の比較が難しくなることがあります。
MatrixTernが接続モデルを順位付けしてくれますか？
ここで説明する作業は、評価用ソフトウェアのレビューです。モデルの応答は測定済みベンチマーク結果ではありません。何らかのシステムについて結論を出す前に、自分で実験を定義し、チェックを実行して、得られた根拠を確認します。
機密性のある評価サンプルはどう扱うべきですか？
代表的で機密情報を除いたテストデータを使い、共有前にモデルのエンドポイントと接続ツールを確認します。別途稼働するローカルモデルサーバーでも、すべてのツールがローカルになるわけではないため、データ経路全体を確認してください。
MatrixTern · 更新日 2026-10-25
