Verificador de impressão digital de LLM
Verificador de impressão digital de API de LLM
A API que você comprou está realmente executando o modelo que afirma? Esta ferramenta envia uma série de perguntas de sondagem de uma palavra, identifica as impressões das distribuições de respostas e as compara com uma referência confiável usando a divergência de Jensen-Shannon — tudo no navegador; sua chave de API nunca é enviada para lugar algum.
Método
Peça a qualquer LLM para "dizer um número aleatório entre 1 e 100" e ele se entrega — o GPT-4o é obcecado por 42 e 37, o Claude prefere 47, e o Llama adora 53. Esses hábitos vêm das estatísticas dos dados de treinamento; renomear o modelo, usar prompts de sistema e aplicar quantização não consegue apagá-los.
Esta ferramenta implementa o protocolo de verificação de Bruckner, "One Token Is Enough" (arXiv:2607.10252): testes de um único token em várias tarefas e idiomas, avaliados pela divergência de Jensen-Shannon em relação às impressões digitais de referência oficiais — a faixa em que a distância se encontra determina o veredito.
A bateria completa (16 testes) verifica com uma taxa de erro igual para falsos positivos e falsos negativos de aproximadamente 9,5%; o nível padrão (8 testes), de ~10,6%. Os testes parecem conversas comuns, portanto os revendedores não conseguem detectá-los nem manipulá-los.
Destaques
- Sua chave de API permanece no navegador — as solicitações vão diretamente para o endpoint testado, o que pode ser verificado no DevTools.
- Implementa o método publicado em "One Token Is Enough" (arXiv:2607.10252), com dados de referência documentados abertamente.
- Dois modos: audite um endpoint comparando-o com um modelo declarado ou faça uma análise de aleatoriedade de IA compartilhável em qualquer endpoint.
Como usar
Insira seu endpoint
URL base, chave de API e, depois, selecione o modelo que ele afirma ser. A chave fica apenas na memória do navegador; as solicitações vão diretamente para seu endpoint.
Jogue os dados algumas centenas de vezes
O nível padrão envia 8 testes × 25 amostras ≈ 200 solicitações em alguns minutos; o rápido envia 60 solicitações em cerca de um minuto, e o estrito executa os 16 testes para reduzir a taxa de erro para ~9,5%.
Leia a régua
Veja rapidamente em qual faixa a distância se encontra — além das distâncias por unidade e de uma comparação completa das distribuições.
Como funciona a verificação de fingerprint de APIs de LLM
O que é uma impressão digital comportamental de um LLM?
Modelos grandes não conseguem gerar números verdadeiramente aleatórios — quando solicitados a "dizer um número aleatório de 1 a 100", cada modelo tem valores favoritos que não consegue esconder, em proporções estáveis que variam entre os modelos. Ao reunir as distribuições de respostas de algumas dezenas dessas sondagens de uma palavra, você obtém uma impressão digital comportamental que renomeações, mudanças no prompt e quantização não conseguem apagar.
Na temperatura 1.0, os modelos GPT ficam obcecados por 42 e 37, Claude prefere 47 e Llama adora 53 — preferências que vêm dos padrões de probabilidade presentes nos dados de treinamento, estáveis ao longo do tempo para um mesmo modelo e claramente diferentes entre modelos. Cada sondagem é uma pergunta semântica comum, escolhida aleatoriamente de um conjunto de formulações (números aleatórios, cores, letras e prompts multilíngues), sem strings mágicas; assim, um relay desonesto dificilmente consegue detectá-las ou interceptá-las com regras de palavras-chave.
Quanto custa a verificação: três níveis de sondagem
Cole o endereço e a chave, selecione o modelo declarado e comece; o custo de cada nível aparece ao lado do botão, usando sua própria cota.
No modo de auditoria do endpoint, a referência padrão é a biblioteca integrada de impressões digitais (cada impressão digital inclui a data de coleta e as unidades abrangidas). Você também pode mudar para um endpoint confiável personalizado nas opções avançadas — geralmente a API oficial ou o OpenRouter — para coletar uma distribuição de comparação atualizada na mesma execução. As respostas chegam unidade por unidade e você pode cancelar a qualquer momento; o relatório apresenta um veredito em três faixas, a divergência média de Jensen-Shannon em uma escala com os valores de referência do artigo, o JSD por unidade com comparação entre as duas distribuições, além de métricas técnicas objetivas, como uso de tokens, latência e estabilidade do roteamento.
Valores de referência do veredito: em qual faixa a distância se enquadra
As duas impressões digitais são comparadas unidade por unidade usando a divergência de Jensen-Shannon e depois calculamos a média. O artigo mediu: um modelo comparado consigo mesmo ≈ 0.140, implantações entre provedores ≈ 0.227 e modelos diferentes ≈ 0.463 — os três limites derivam desses valores e ficam armazenados centralmente com a fonte indicada.
Cada unidade de sondagem (tarefa × idioma) gera uma distribuição empírica normalizada de respostas de uma palavra; o JSD é calculado por unidade (base 2, variando de 0 a 1) e a distância do endpoint é a média entre as unidades com amostras válidas suficientes. Os limites ficam armazenados centralmente com as fontes indicadas para futuras calibrações. Todas as impressões digitais de referência integradas vêm do conjunto de dados público oficial do artigo (Zenodo, CC-BY-4.0, abrangendo 167 modelos), coletado com exatamente o mesmo prompt de sistema mínimo e fixo usado por esta ferramenta para a amostragem ao vivo.
É uma evidência, não uma prova
Este é um método estatístico com uma taxa de erro conhecida; implantações quantizadas, atualizações silenciosas e impressões digitais desatualizadas podem alterar as distribuições legitimamente, e modelos de raciocínio são sinalizados com baixa confiança quando não é possível desativar o raciocínio.
Um gatilho para repetir o teste e trocar de referência Evidência estatística antes de mudar de canal Um sinal a ser combinado com outros
Uma acusação pública contra um provedor Prova de condenação baseada em uma única execução Um veredito que decide por você
Provedores que implantam variantes quantizadas, atualizam modelos silenciosamente ou mantêm impressões digitais de referência desatualizadas podem alterar as distribuições legitimamente; portanto, nenhum veredito isolado deve ser interpretado como uma acusação contra um provedor. Para modelos de raciocínio, a estratégia completa é: as sondagens incluem parâmetros que desativam o raciocínio por padrão; se o endpoint recusar, usamos um canal pós-raciocínio (com um orçamento maior de tokens); e marcamos todo o resultado como de baixa confiança. Em caso de dúvida, repita o teste em um nível mais alto, tente outra referência e combine o resultado com outros sinais, como preço e latência, antes de decidir.
Por que a ferramenta é executada no seu navegador
Uma ferramenta que verifica se outras pessoas são confiáveis não deveria exigir sua chave em troca. A Tosea não participa do caminho da solicitação; quando um endpoint bloqueia solicitações de origem cruzada, a ferramenta gera um comando curl equivalente para que você possa continuar em um terminal local.
Servidores da Tosea — não faz parte do caminho da solicitação, nunca vê sua chave, endpoint ou resultados; Código aberto no GitHub — audite o mecanismo de detecção linha por linha →
A chave fica apenas na memória da página e é gravada no localStorage somente se você marcar explicitamente "lembrar configuração". As sondagens vão diretamente do seu navegador para o endpoint informado — a Tosea não usa proxy nem coleta telemetria, e o método, os limites e as fontes dos dados de referência são publicados nesta página, linha por linha comparáveis ao repositório de código aberto.
- Artigo: Tomáš Bruckner, "One Token Is Enough" — arXiv:2607.10252
- Conjunto de dados de referência: Zenodo DOI 10.5281/zenodo.21278557 (CC-BY-4.0)
- Open source on GitHub: the detection engine behind this tool
- Como verificar se uma API de LLM é real: identificando modelos por impressão digital com números aleatórios
- Artigo longo em chinês: por que a IA não consegue dizer números aleatórios? Uma “impressão digital do modelo” que revela a autenticidade das APIs intermediárias
- Navegue pelo banco de dados de impressões digitais comportamentais de 167 modelos
Perguntas frequentes
Não. A chave fica somente na memória do seu navegador (ou, opcionalmente, no seu próprio localStorage), e as solicitações de teste são enviadas pelo navegador diretamente ao endpoint que você configurar. Você pode confirmar isso no painel Network das DevTools.
Os LLMs respondem a perguntas semânticas de uma palavra (como nomear um número aleatório) com distribuições de probabilidade estáveis e específicas de cada modelo. A ferramenta coleta amostras dessas distribuições na temperatura 1,0 e as compara usando a divergência de Jensen-Shannon: o mesmo modelo entre diferentes provedores apresenta cerca de 0,227, enquanto modelos diferentes ficam em torno de 0,463 (arXiv:2607.10252).
Uma verificação padrão envolve 8 células × 25 amostras ≈ 200 solicitações de cerca de 90 tokens cada — aproximadamente US$ 0,005 com os preços do gpt-4o-mini. A estimativa exata é exibida antes do início, e nada é enviado até você confirmar.
Não. O veredito é uma observação estatística, não uma acusação. O método tem uma taxa de erro inerente (≈10,6% de EER com 8 células), e implantações quantizadas, atualizações silenciosas do modelo ou fingerprints de referência desatualizados podem alterar as distribuições. Considere-o apenas uma evidência e faça novos testes antes de tirar conclusões.
Alguns endpoints não permitem solicitações do navegador entre origens (CORS). Isso, por si só, não significa que há algo errado — a ferramenta detecta essa situação e fornece um comando curl equivalente para que você possa testar o endpoint diretamente no seu próprio terminal.
Antes da amostragem, a ferramenta testa qual parâmetro de desativação do raciocínio o seu endpoint aceita (reasoning do OpenRouter, thinking do Zhipu ou o estilo reasoning_effort da OpenAI). Se nenhum funcionar, ela recorre a um canal pós-raciocínio com um limite maior de tokens e marca claramente o resultado como de menor confiança.
Privacidade
Tudo é executado no seu navegador: a chave de API fica apenas na memória do navegador, as solicitações de teste vão diretamente do seu navegador para seu endpoint — nunca passam por nenhum servidor da Tosea — e não há analytics. O código é open source e pode ser auditado. Código aberto no GitHub — audite o mecanismo de detecção linha por linha →
Ferramentas relacionadas