LLMフィンガープリント検証ツール

LLM APIフィンガープリントチェッカー

利用しているAPIは、本当に公称どおりのモデルを実行していますか？このツールは一語で答えられるプローブ質問を複数送信し、回答分布のフィンガープリントを作成します。さらに、Jensen-Shannonダイバージェンスを使って信頼できる参照先と比較します。すべてブラウザ内で完結し、APIキーがどこかにアップロードされることはありません。

仕組み

任意のLLMに「1から100までのランダムな数字を1つ挙げて」と尋ねると、そのモデルの特徴が表れます。GPT-4oは42と37に執着し、Claudeは47を好み、Llamaは53を好みます。こうした習性は学習データの統計に由来するため、名称変更、システムプロンプト、量子化によって消すことはできません。

このツールは、Brucknerによる「One Token Is Enough」（arXiv:2607.10252）の検証プロトコルを実装しています。複数のタスクと言語で1トークンのプローブを実行し、公式リファレンスのフィンガープリントに対するJensen-Shannonダイバージェンスでスコア化します。距離がどの範囲に入るかが判定結果になります。

完全なバッテリー（16プローブ）では、等誤り率約9.5%で検証できます。Standardティア（8プローブ）では約10.6%です。プローブは通常のチャットのように見えるため、再販業者が検知したり対策したりすることはできません。

主な特長

APIキーはブラウザ内に保持されます。リクエストはテスト対象のエンドポイントへ直接送信され、DevToolsで確認できます。
公開されている「One Token Is Enough」（arXiv:2607.10252）の手法を、公開されたリファレンスデータとともに実装しています。
2つのモードに対応：公称モデルに対してエンドポイントを監査するか、任意のエンドポイントで共有可能なAIランダム性チェックを実行できます。

使い方

エンドポイントを入力

ベースURLとAPIキーを入力し、申告されているモデルを選択します。キーはブラウザーのメモリ内にのみ保存され、リクエストはエンドポイントへ直接送信されます。

数百回、サイコロを振る

Standardティアでは、8プローブ × 25サンプルで約200件のリクエストを数分間に送信します。Quickは約1分で60件のリクエストを実行し、Strictは16プローブすべてを実行して誤り率を約9.5%まで下げます。

目盛りを確認

距離がどの範囲に入るかをひと目で確認できます。ユニットごとの距離と、分布全体の比較も表示されます。

LLM APIフィンガープリントチェックの仕組み

LLMの行動フィンガープリントとは？

大規模モデルは真にランダムな数を生成できません。「1から100までのランダムな数字を言って」と尋ねると、どのモデルにも隠しきれない好みの数字があり、その割合は安定していてモデルごとに異なります。このような一語回答のプローブを数十個使い、回答分布をつなぎ合わせると、名前の変更、プロンプトの変更、量子化でも消せない行動フィンガープリントが得られます。

temperature 1.0では、GPTモデルは42や37に偏り、Claudeは47を好み、Llamaは53を好みます。これは学習データにおける確率的な傾向に由来するもので、同じモデルでは時間が経っても安定し、モデル間では明確に異なります。各プローブは、言い回しの候補群からランダムに選ばれた通常の意味的な質問です（乱数、色、文字、多言語プロンプトなど）。特殊な文字列は含まれないため、不正な中継側がキーワードルールで検出・傍受するのは困難です。

検証にかかるコスト：3つのプローブレベル

アドレスとキーを貼り付け、申告されているモデルを選んで開始します。各レベルのコストはボタンのすぐ横に明記され、自分の利用枠が消費されます。

レベルユニットリクエスト時間エラー率

クイック4 × 15≈64~1 min高め（概算）

標準デフォルト8 × 25≈204~2 min約10.6%

厳密16 × 25≈404~4 min約9.5%

エンドポイント監査モードでは、参照先として組み込みのフィンガープリントライブラリがデフォルトで使用されます（各フィンガープリントには収集日と対象ユニットが記載されています）。詳細オプションでは、信頼するカスタムエンドポイント（通常は公式APIまたはOpenRouter）に切り替え、同じ実行内で現在の比較分布を収集することもできます。回答はユニットごとにストリーミングされ、いつでもキャンセルできます。レポートには、論文の基準値と照合したスケール上の3段階判定、平均Jensen-Shannonダイバージェンス、2つの分布を比較するユニットごとのJSDに加え、トークン使用量、レイテンシ、ルーティングの安定性などの客観的な技術指標が示されます。

判定基準：距離はどの範囲に入るか

2つのフィンガープリントをJensen-Shannonダイバージェンスでユニットごとに比較し、その平均を算出します。論文で測定された値は、モデル自身との比較で約0.140、プロバイダーをまたぐデプロイメントで約0.227、異なるモデル間で約0.463でした。3つのしきい値はこれらの値から導出され、出典とともに中央で管理されています。

≤ 0.25一致申告されたモデルと整合

0.25 – 0.35要注意より高いレベルで再テストするか、別の参照先を試してください

> 0.35異なる可能性が高いフィンガープリントが公式参照と明確に一致しません

各プローブユニット（タスク×言語）では、一語回答の正規化された経験分布が得られます。JSDはユニットごとに計算され（底2、範囲は0～1）、エンドポイント間の距離は、十分な有効サンプルがあるユニットの平均として算出されます。しきい値は出典とともに中央で管理され、今後のキャリブレーションに使用されます。組み込みの参照フィンガープリントはすべて、論文の公式公開データセット（Zenodo、CC-BY-4.0、167モデルを収録）に基づいており、このツールがライブサンプリングで使用するものとまったく同じ、最小限の固定システムプロンプトで収集されています。

証拠であって、証明ではありません

これは既知の誤判定率を伴う統計的手法です。量子化されたデプロイメント、予告のない更新、古くなったフィンガープリントは、いずれも正当な理由で分布を変化させる可能性があります。また、推論を無効化できない場合、推論モデルは信頼度が低いと判定されます。

次のように扱ってください

再テストと参照先の切り替えのきっかけチャネルを変更する前の統計的証拠他の情報と組み合わせる1つのシグナル

次のようには扱わないでください

プロバイダーへの公の告発 1回の実行結果だけによる有罪の証明あなたに代わって判断を下す最終判定

量子化したバリアントを提供している場合、モデルを予告なく更新した場合、または参照フィンガープリントが古くなった場合、いずれも正当な理由で分布が変化する可能性があります。そのため、単一の判定をプロバイダーへの告発と受け取ってはいけません。推論モデルに対しては、プローブにデフォルトで推論無効化パラメータを付け、エンドポイントが拒否した場合は推論後のチャネル（より大きなトークン予算）にフォールバックし、結果全体を低信頼度として表示します。確信が持てない場合は、より高いレベルで再テストし、別の参照先を試してください。判断する前に、価格やレイテンシなど他のシグナルとも組み合わせてください。

ブラウザー上で実行する理由

他者が信頼できるかを検証するツールが、代わりにあなたのキーを要求すべきではありません。Toseaはリクエスト経路上に存在しません。エンドポイントがクロスオリジンリクエストをブロックした場合、ツールが同等のcurlコマンドを生成するため、ローカルターミナルで続行できます。

~~Toseaのサーバー~~ — リクエスト経路上にはなく、キー、エンドポイント、結果を一切確認しません。 GitHubでオープンソース公開 — 検出エンジンを1行ずつ監査 →

キーはページのメモリ内にのみ保持され、「設定を記憶する」に明示的にチェックした場合に限りlocalStorageへ書き込まれます。プローブはブラウザーから入力したエンドポイントへ直接送信されます。Toseaはプロキシを実行せず、テレメトリーも収集しません。手法、しきい値、参照データの出典はすべてこのページで公開されており、オープンソースリポジトリと1行ずつ比較できます。

参照とデータ

さらに読む

FAQ

いいえ。キーはブラウザーのメモリ内（または任意でご自身のlocalStorage）にのみ保存され、プローブリクエストはブラウザーから設定したエンドポイントへ直接送信されます。DevToolsのNetworkパネルで確認できます。

LLMは、意味のない一語の質問（ランダムな数字の命名など）に対して、モデルごとに安定した確率分布で回答します。このツールは温度1.0でこれらの分布をサンプリングし、Jensen-Shannonダイバージェンスで比較します。同じモデルをプロバイダー間で比較した場合は約0.227、異なるモデルでは約0.463です（arXiv:2607.10252）。

標準チェックでは、8セル × 25サンプルで、約90トークンのリクエストを約200回実行します。gpt-4o-miniの料金では約$0.005です。正確な見積もりは開始前に表示され、確認するまで何も送信されません。

いいえ。判定は統計的な観測結果であり、告発ではありません。この手法には固有の誤り率（8セルでEER約10.6%）があり、量子化されたデプロイ、通知されないモデル更新、古い参照フィンガープリントによって分布が変化する可能性もあります。判断材料の一つとして扱い、結論を出す前に再テストしてください。

クロスオリジン（CORS）のブラウザーリクエストを許可していないエンドポイントがあります。それだけで問題があるとは限りません。このツールは状況を検出し、同等のcurlコマンドを表示しますので、ご自身のターミナルからエンドポイントをプローブできます。

サンプリングの前に、エンドポイントが受け付ける推論無効化パラメーターをプローブします（OpenRouterのreasoning、Zhipuのthinking、またはOpenAIのreasoning_effort形式）。いずれも機能しない場合は、より大きなトークン予算で推論後のチャンネルにフォールバックし、結果の信頼度が低いことを明示します。

プライバシー

すべての処理はブラウザー上で実行されます。APIキーはブラウザーのメモリ内にのみ保存され、プローブリクエストはブラウザーからエンドポイントへ直接送信されます。Toseaのサーバーを経由することはなく、アナリティクスもありません。コードはオープンソースで、監査可能です。 GitHubでオープンソース公開 — 検出エンジンを1行ずつ監査 →