LLM 행동 핑거프린트란 무엇인가요?

대규모 모델은 진정으로 무작위적인 숫자를 생성할 수 없습니다. "1에서 100 사이의 무작위 숫자를 말해 보세요"라고 요청하면 모든 모델에는 숨길 수 없는 선호 값이 있으며, 모델마다 다른 일정한 비율로 나타납니다. 이러한 한 단어 프로브 수십 개의 응답 분포를 이어 붙이면 행동 핑거프린트를 얻을 수 있습니다. 모델 이름 변경, 프롬프트 변경, 양자화로도 이를 지울 수 없습니다.

온도 1.0에서 GPT 모델은 42와 37을 유난히 선호하고, Claude는 47을, Llama는 53을 선호합니다. 이러한 선호는 학습 데이터에 형성된 확률적 습관에서 비롯되며, 하나의 모델에서는 시간이 지나도 안정적이고 모델 간에는 뚜렷하게 다릅니다. 각 프로브는 표현 풀에서 무작위로 선택한 일반적인 의미 질문입니다(난수, 색상, 문자, 다국어 프롬프트). 특정 문자열을 사용하지 않으므로 부정직한 릴레이가 키워드 규칙으로 이를 감지하거나 가로채기 어렵습니다.

검증 비용: 세 가지 프로브 레벨

주소와 키를 붙여 넣고, 주장된 모델을 선택한 다음 시작하세요. 각 레벨의 비용은 버튼 바로 옆에 명시되어 있으며, 사용자의 할당량이 차감됩니다.

엔드포인트 감사 모드에서는 기본적으로 내장 핑거프린트 라이브러리가 기준으로 사용됩니다(각 핑거프린트에는 수집일과 포함된 단위가 표시됩니다). 고급 옵션에서 신뢰할 수 있는 사용자 지정 엔드포인트로 전환할 수도 있습니다. 일반적으로 공식 API 또는 OpenRouter를 사용해 동일한 실행에서 실시간 비교 분포를 수집합니다. 응답은 단위별로 스트리밍되며 언제든 취소할 수 있습니다. 보고서에는 논문 기준선과 비교한 척도의 세 구간 판정, 평균 Jensen-Shannon divergence, 이중 분포 비교를 사용한 단위별 JSD, 그리고 토큰 사용량·지연 시간·라우팅 안정성과 같은 객관적인 기술 지표가 포함됩니다.

판정 기준선: 거리는 어느 구간에 해당하나요?

두 핑거프린트는 Jensen-Shannon divergence를 사용해 단위별로 비교한 뒤 평균을 냅니다. 논문에서 측정한 값은 다음과 같습니다. 모델 자체와의 비교 ≈ 0.140, 공급자 간 배포 비교 ≈ 0.227, 서로 다른 모델 간 비교 ≈ 0.463. 세 임계값은 이 수치에서 도출되며, 출처와 함께 중앙에서 관리됩니다.

각 프로브 단위(작업 × 언어)는 한 단어 응답의 정규화된 경험적 분포를 생성합니다. JSD는 단위별로 계산되며(밑 2, 범위 0~1), 엔드포인트 거리는 유효한 표본이 충분한 단위들의 평균입니다. 향후 보정을 위해 임계값은 출처와 함께 중앙에서 관리됩니다. 모든 내장 기준 핑거프린트는 논문의 공식 공개 데이터셋에서 가져옵니다(Zenodo, CC-BY-4.0, 167개 모델 포함). 이 데이터셋은 이 도구가 실시간 샘플링에 사용하는 것과 정확히 동일한 최소 고정 시스템 프롬프트로 수집되었습니다.

이는 증거이지, 확정적인 증명이 아닙니다

이 방법은 알려진 오류율이 있는 통계적 방법입니다. 양자화된 배포, 예고 없는 업데이트, 오래된 핑거프린트는 모두 정당하게 분포를 변화시킬 수 있습니다. 또한 추론을 비활성화할 수 없는 경우 추론 모델은 낮은 신뢰도로 표시됩니다.

양자화된 변형 모델을 배포하거나, 모델을 예고 없이 업데이트하거나, 기준 핑거프린트가 오래된 경우 모두 분포가 정당하게 달라질 수 있습니다. 따라서 어떤 단일 판정도 공급자에 대한 고발로 해석해서는 안 됩니다. 추론 모델에 대한 전체 전략은 다음과 같습니다. 기본적으로 프로브에 추론 비활성화 매개변수를 포함하고, 엔드포인트가 이를 거부하면 추론 후 채널(더 큰 토큰 예산)로 대체하며, 전체 결과를 낮은 신뢰도로 표시합니다. 확신이 서지 않으면 더 높은 레벨에서 다시 테스트하고, 다른 기준을 시도한 뒤, 가격과 지연 시간 같은 다른 신호와 함께 판단하세요.

브라우저에서 실행되는 이유

다른 대상의 신뢰성을 검증하는 도구가 대신 사용자의 키를 요구해서는 안 됩니다. Tosea는 요청 경로에 전혀 개입하지 않습니다. 엔드포인트가 원본 간 요청을 차단하면 도구가 동등한 curl 명령을 생성하므로 로컬 터미널에서 계속 진행할 수 있습니다.

Tosea 서버 — 요청 경로에 포함되지 않으며, 키·엔드포인트·결과를 절대 확인하지 않습니다. GitHub에서 오픈 소스 확인 — 감지 엔진을 한 줄씩 감사하세요 →

키는 페이지 메모리에만 저장되며, "구성 기억하기"를 직접 선택한 경우에만 localStorage에 기록됩니다. 프로브는 브라우저에서 입력한 엔드포인트로 직접 전송됩니다. Tosea는 프록시를 실행하지 않고 텔레메트리도 수집하지 않습니다. 방법, 임계값, 기준 데이터 출처는 모두 이 페이지에 공개되어 있으며, 오픈 소스 저장소의 내용과 한 줄씩 비교할 수 있습니다.

• 논문: Tomáš Bruckner, "One Token Is Enough" — arXiv:2607.10252
• 참조 데이터 세트: Zenodo DOI 10.5281/zenodo.21278557 (CC-BY-4.0)
• Open source on GitHub: the detection engine behind this tool

• LLM API가 실제인지 확인하는 방법: 난수로 모델 지문 식별하기
• 중국어 장문: AI는 왜 난수를 말하지 못할까? ‘모델 지문’으로 API 중계 서비스의 진위 밝히기
• 167개 모델의 행동 지문 데이터베이스 둘러보기