LLM-Fingerabdruck-Verifizierung

LLM-API-Fingerprint-Prüfer

Läuft über die von Ihnen erworbene API wirklich das angegebene Modell? Dieses Tool sendet eine Reihe von Ein-Wort-Testfragen, erstellt Fingerprints der Antwortverteilungen und vergleicht sie mithilfe der Jensen-Shannon-Divergenz mit einer vertrauenswürdigen Referenz – vollständig in Ihrem Browser. Ihr API-Schlüssel wird nirgendwo hochgeladen.

Methode

Bitten Sie ein beliebiges LLM, „eine zufällige Zahl zwischen 1 und 100 zu nennen“, und es verrät sich selbst — GPT-4o ist geradezu besessen von 42 und 37, Claude bevorzugt 47, Llama liebt 53. Diese Gewohnheiten stammen aus Statistiken der Trainingsdaten; Umbenennungen, System-Prompts und Quantisierung können sie nicht auslöschen.

Dieses Tool implementiert das Verifizierungsprotokoll aus Bruckner, „One Token Is Enough“ (arXiv:2607.10252): Ein-Token-Prüfungen über mehrere Aufgaben und Sprachen hinweg werden anhand der Jensen-Shannon-Divergenz mit offiziellen Referenz-Fingerabdrücken bewertet — das Band, in dem der Abstand liegt, bestimmt das Urteil.

Die vollständige Testreihe (16 Prüfungen) erreicht eine Fehlerrate bei gleicher Fehlerwahrscheinlichkeit von etwa 9,5 %; die Standardstufe (8 Prüfungen) liegt bei ~10,6 %. Die Prüfungen wirken wie gewöhnliche Chats, sodass Wiederverkäufer sie weder erkennen noch manipulieren können.

Höhepunkte

Ihr API-Schlüssel bleibt in Ihrem Browser – Anfragen gehen direkt an den von Ihnen getesteten Endpunkt und können in den DevTools überprüft werden.
Implementiert die veröffentlichte Methode aus „One Token Is Enough“ (arXiv:2607.10252) mit offen dokumentierten Referenzdaten.
Zwei Modi: Überprüfen Sie einen Endpunkt anhand eines angegebenen Modells oder führen Sie auf einem beliebigen Endpunkt eine teilbare KI-Zufälligkeitsprüfung durch.

So verwenden Sie das Tool

Geben Sie Ihren Endpunkt ein

Basis-URL und API-Schlüssel eingeben, dann das Modell auswählen, als das sich der Endpunkt ausgibt. Der Schlüssel bleibt ausschließlich im Browserspeicher; Anfragen gehen direkt an Ihren Endpunkt.

Würfeln Sie einige hundert Mal

Die Standardstufe sendet 8 Prüfungen × 25 Stichproben ≈ 200 Anfragen in wenigen Minuten; „Schnell“ sendet 60 Anfragen in etwa einer Minute, und „Streng“ führt alle 16 Prüfungen aus, um die Fehlerrate auf ~9,5 % zu senken.

Lesen Sie das Maßband ab

Sehen Sie auf einen Blick, in welchem Band der Abstand liegt — zusätzlich zu Abständen pro Einheit und einem vollständigen Verteilungsvergleich.

So funktioniert die Fingerabdruckprüfung von LLM-APIs

Was ist ein Verhaltensfingerabdruck eines LLM?

Große Modelle können keine wirklich zufälligen Zahlen erzeugen – wenn man sie bittet, „eine zufällige Zahl von 1 bis 100 zu nennen“, hat jedes Modell bevorzugte Werte, die es nicht verbergen kann, und zwar in stabilen, modellabhängigen Anteilen. Fügt man die Antwortverteilungen einiger Dutzend solcher Ein-Wort-Prüfungen zusammen, erhält man einen Verhaltensfingerabdruck, den weder Umbenennungen noch Prompt-Änderungen oder Quantisierung löschen können.

Bei Temperatur 1,0 konzentrieren sich GPT-Modelle auffällig auf 42 und 37, Claude bevorzugt 47, Llama liebt 53 – Präferenzen, die aus Wahrscheinlichkeitsmustern in den Trainingsdaten entstehen, bei einem Modell über die Zeit stabil bleiben und sich zwischen Modellen deutlich unterscheiden. Jede Prüfung ist eine gewöhnliche semantische Frage, die zufällig aus einem Formulierungspool ausgewählt wird (Zufallszahlen, Farben, Buchstaben, mehrsprachige Prompts) und keine magischen Zeichenfolgen enthält. Ein unehrliches Relay kann sie daher mit Keyword-Regeln kaum erkennen oder abfangen.

Was die Verifizierung kostet: drei Prüfungsstufen

Fügen Sie Adresse und Schlüssel ein, wählen Sie das behauptete Modell und starten Sie; die Kosten jeder Stufe stehen direkt neben der Schaltfläche, wobei Ihr eigenes Kontingent verwendet wird.

StufeEinheitenAnfragenZeitFehlerrate

Schnell4 × 15≈64~1 minhöher (grob)

StandardSTANDARD8 × 25≈204~2 min~10,6 %

Streng16 × 25≈404~4 min~9,5 %

Im Endpoint-Audit-Modus verwendet die Referenz standardmäßig die integrierte Bibliothek für Verhaltensfingerabdrücke (jeder Fingerabdruck ist mit Erfassungsdatum und den abgedeckten Einheiten versehen). In den erweiterten Optionen können Sie auch zu einem benutzerdefinierten vertrauenswürdigen Endpoint wechseln – normalerweise zur offiziellen API oder zu OpenRouter –, um im selben Durchlauf eine Live-Vergleichsverteilung zu erfassen. Die Antworten werden Einheit für Einheit gestreamt und Sie können jederzeit abbrechen. Der Bericht enthält ein Urteil in drei Bändern, die mittlere Jensen-Shannon-Divergenz auf einer Skala mit den Baselines aus der Studie, die JSD pro Einheit mit Vergleich zweier Verteilungen sowie objektive technische Werte wie Token-Verbrauch, Latenz und Routing-Stabilität.

Urteils-Baselines: In welches Band fällt die Distanz?

Die beiden Fingerabdrücke werden Einheit für Einheit mit der Jensen-Shannon-Divergenz verglichen und anschließend gemittelt. Die Studie ermittelte: ein Modell mit sich selbst ≈ 0,140, Bereitstellungen über verschiedene Anbieter hinweg ≈ 0,227, unterschiedliche Modelle ≈ 0,463 – daraus leiten sich die drei Schwellenwerte ab, die zentral gespeichert und mit ihrer Quelle dokumentiert werden.

≤ 0.25ÜbereinstimmungKonsistent mit dem behaupteten Modell

0.25 – 0.35VerdächtigAuf einer höheren Stufe erneut testen oder eine andere Referenz ausprobieren

> 0.35Wahrscheinlich andersDer Fingerabdruck weicht deutlich von der offiziellen Referenz ab

Jede Prüfungseinheit (Aufgabe × Sprache) ergibt eine normalisierte empirische Verteilung von Ein-Wort-Antworten. Die JSD wird pro Einheit berechnet (Basis 2, Bereich 0–1), und die Endpoint-Distanz ist der Durchschnitt über alle Einheiten mit ausreichend gültigen Stichproben. Die Schwellenwerte werden zentral gespeichert und mit ihren Quellen dokumentiert, um eine künftige Kalibrierung zu ermöglichen. Alle integrierten Referenzfingerabdrücke stammen aus dem offiziellen öffentlichen Datensatz der Studie (Zenodo, CC-BY-4.0, mit 167 Modellen), der mit exakt demselben minimalen festen System-Prompt erhoben wurde, den dieses Tool für Live-Stichproben verwendet.

Es ist ein Indiz, kein Beweis

Dies ist eine statistische Methode mit einer bekannten Fehlerrate. Quantisierte Bereitstellungen, stille Aktualisierungen und veraltete Fingerabdrücke können Verteilungen legitimerweise verschieben. Reasoning-Modelle werden mit geringer Konfidenz gekennzeichnet, wenn sich das Reasoning nicht deaktivieren lässt.

Zu verstehen als

Auslöser für einen erneuten Test und den Wechsel der Referenz Statistischer Hinweis vor einem Kanalwechsel Ein Signal, das mit anderen kombiniert werden sollte

Niemals als

Öffentliche Anschuldigung gegen einen Anbieter Schuldspruch aufgrund eines einzigen Durchlaufs Ein Urteil, das Ihnen die Entscheidung abnimmt

Anbieter, die quantisierte Varianten bereitstellen, Modelle unbemerkt aktualisieren oder deren Referenzfingerabdrücke veralten lassen, können Verteilungen legitimerweise verschieben. Daher sollte kein einzelnes Urteil jemals als Anschuldigung gegen einen Anbieter verstanden werden. Für Reasoning-Modelle gilt die vollständige Strategie: Die Prüfungen enthalten standardmäßig Parameter zum Deaktivieren des Reasonings, wechseln bei Ablehnung durch den Endpoint auf einen Post-Reasoning-Kanal (mit höherem Token-Budget) und kennzeichnen das gesamte Ergebnis als wenig zuverlässig. Wenn Sie unsicher sind, testen Sie auf einer höheren Stufe erneut, probieren Sie eine andere Referenz aus und kombinieren Sie vor Ihrer Entscheidung weitere Signale wie Preis und Latenz.

Warum es in Ihrem Browser ausgeführt wird

Ein Tool, das prüft, ob andere vertrauenswürdig sind, sollte im Gegenzug nicht Ihren Schlüssel verlangen. Tosea befindet sich an keiner Stelle des Anfragepfads. Wenn ein Endpoint Cross-Origin-Anfragen blockiert, generiert das Tool einen gleichwertigen curl-Befehl, damit Sie in einem lokalen Terminal fortfahren können.

~~Tosea-Server~~ — nicht im Anfragepfad, sieht niemals Ihren Schlüssel, Endpunkt oder Ergebnisse; Open Source auf GitHub – prüfen Sie die Erkennungs-Engine Zeile für Zeile →

Der Schlüssel bleibt ausschließlich im Seitenspeicher und wird nur dann in localStorage geschrieben, wenn Sie ausdrücklich „Konfiguration speichern“ aktivieren. Die Prüfungen gehen direkt von Ihrem Browser an den eingegebenen Endpoint. Tosea betreibt keinen Proxy und erfasst keine Telemetrie. Methode, Schwellenwerte und Quellen der Referenzdaten sind auf dieser Seite vollständig veröffentlicht und lassen sich Zeile für Zeile mit dem Open-Source-Repository vergleichen.

Referenzen & Daten

Weiterführende Informationen

FAQ

Nein. Der Schlüssel verbleibt ausschließlich im Arbeitsspeicher Ihres Browsers (oder optional in Ihrem eigenen localStorage), und Probe-Anfragen werden von Ihrem Browser direkt an den von Ihnen konfigurierten Endpunkt gesendet. Sie können dies im Netzwerkbereich der DevTools überprüfen.

LLMs beantworten semantische Ein-Wort-Fragen (z. B. durch das Nennen einer Zufallszahl) mit stabilen, modellspezifischen Wahrscheinlichkeitsverteilungen. Das Tool nimmt Stichproben aus diesen Verteilungen bei einer Temperatur von 1,0 und vergleicht sie mithilfe der Jensen-Shannon-Divergenz: Dasselbe Modell bei verschiedenen Anbietern erzielt etwa 0,227, verschiedene Modelle etwa 0,463 (arXiv:2607.10252).

Eine Standardprüfung umfasst 8 Zellen × 25 Stichproben ≈ 200 Anfragen mit jeweils etwa 90 Tokens – bei der Preisgestaltung von gpt-4o-mini etwa $0.005. Die genaue Schätzung wird vor dem Start angezeigt, und es wird nichts gesendet, bevor Sie bestätigen.

Nein. Das Ergebnis ist eine statistische Beobachtung, keine Anschuldigung. Die Methode weist eine inhärente Fehlerquote auf (≈10,6 % EER bei 8 Zellen), und quantisierte Deployments, unbemerkte Modellaktualisierungen oder veraltete Referenz-Fingerprints können die Verteilungen verändern. Betrachten Sie das Ergebnis als einen Beleg unter mehreren und testen Sie erneut, bevor Sie Schlussfolgerungen ziehen.

Einige Endpunkte erlauben keine browserbasierten Cross-Origin-Anfragen (CORS). Das bedeutet allein nicht, dass etwas nicht stimmt – das Tool erkennt dies und stellt Ihnen einen gleichwertigen curl-Befehl bereit, mit dem Sie den Endpunkt stattdessen über Ihr eigenes Terminal prüfen können.

Vor der Stichprobenentnahme prüft das Tool, welchen Parameter zum Deaktivieren von Reasoning Ihr Endpunkt akzeptiert (OpenRouters reasoning, Zhipus thinking oder der reasoning_effort-Stil von OpenAI). Wenn keiner funktioniert, greift es auf einen Post-Reasoning-Kanal mit einem größeren Token-Budget zurück und kennzeichnet das Ergebnis deutlich als weniger zuverlässig.

Datenschutz

Alles läuft in Ihrem Browser: Der API-Schlüssel bleibt ausschließlich im Browserspeicher, Prüfungsanfragen gehen direkt von Ihrem Browser an Ihren Endpunkt — niemals über einen Tosea-Server — und es gibt keine Analytics. Der Code ist Open Source und kann überprüft werden. Open Source auf GitHub – prüfen Sie die Erkennungs-Engine Zeile für Zeile →