¿Qué es una huella de comportamiento de un LLM?

Los modelos grandes no pueden generar números verdaderamente aleatorios: cuando se les pide «decir un número aleatorio del 1 al 100», todos tienen valores favoritos que no pueden ocultar, en proporciones estables que varían según el modelo. Si unes las distribuciones de respuestas de unas pocas decenas de estas pruebas de una sola palabra, obtienes una huella de comportamiento que ni el cambio de nombre, ni las modificaciones del prompt ni la cuantización pueden borrar.

Con una temperatura de 1, los modelos GPT se obsesionan con 42 y 37, Claude prefiere 47 y Llama adora 53: son preferencias que proceden de los hábitos probabilísticos de los datos de entrenamiento, estables a lo largo del tiempo para un mismo modelo y claramente distintas entre modelos. Cada prueba es una pregunta semántica normal, seleccionada al azar de un conjunto de formulaciones (números aleatorios, colores, letras y prompts multilingües), sin cadenas mágicas, por lo que un relay deshonesto difícilmente puede detectarlas o interceptarlas mediante reglas de palabras clave.

Coste de la verificación: tres niveles de prueba

Pega la dirección y la clave, selecciona el modelo declarado y empieza; el coste de cada nivel aparece detallado junto al botón, utilizando tu propia cuota.

En el modo de auditoría del endpoint, la referencia predeterminada es la biblioteca de huellas integrada (cada huella incluye la fecha de recopilación y las unidades cubiertas). También puedes cambiar a un endpoint de confianza personalizado en las opciones avanzadas —normalmente la API oficial u OpenRouter— para recopilar una distribución de comparación en vivo durante la misma ejecución. Las respuestas llegan unidad por unidad y puedes cancelar en cualquier momento; el informe ofrece un veredicto en tres bandas, la divergencia media de Jensen-Shannon en una escala con referencias del artículo, la JSD por unidad con comparación de ambas distribuciones, además de datos técnicos objetivos como el uso de tokens, la latencia y la estabilidad del enrutamiento.

Referencias del veredicto: ¿en qué banda cae la distancia?

Las dos huellas se comparan unidad por unidad mediante la divergencia de Jensen-Shannon y después se calcula la media. El artículo midió: un modelo consigo mismo ≈ 0,140, despliegues entre proveedores ≈ 0,227 y modelos diferentes ≈ 0,463; los tres umbrales se derivan de estos valores, se almacenan de forma centralizada y mantienen registrada su fuente.

Cada unidad de prueba (tarea × idioma) produce una distribución empírica normalizada de respuestas de una sola palabra; la JSD se calcula por unidad (base 2, en un rango de 0 a 1) y la distancia del endpoint es la media de las unidades con suficientes muestras válidas. Los umbrales se almacenan de forma centralizada y mantienen registrada su fuente para futuras calibraciones. Todas las huellas de referencia integradas proceden del conjunto de datos público oficial del artículo (Zenodo, CC-BY-4.0, con 167 modelos), recopilado con el mismo prompt de sistema fijo y mínimo que utiliza esta herramienta para el muestreo en vivo.

Es una evidencia, no una prueba

Este es un método estadístico con una tasa de error conocida; los despliegues cuantizados, las actualizaciones silenciosas y las huellas obsoletas pueden modificar legítimamente las distribuciones, y los modelos de razonamiento se marcan como de baja confianza cuando no se puede desactivar el razonamiento.

Los proveedores que despliegan variantes cuantizadas, actualizan los modelos silenciosamente o mantienen huellas de referencia obsoletas pueden modificar legítimamente las distribuciones, por lo que ningún veredicto aislado debe interpretarse como una acusación contra un proveedor. En los modelos de razonamiento, la estrategia completa es la siguiente: las pruebas incluyen parámetros para desactivar el razonamiento de forma predeterminada, recurren a un canal posterior al razonamiento (con un presupuesto de tokens mayor) cuando el endpoint los rechaza y marcan todo el resultado como de baja confianza. Si no tienes claro el resultado, repite la prueba en un nivel superior, prueba otra referencia y combínala con otras señales, como el precio y la latencia, antes de decidir.

Por qué se ejecuta en tu navegador

Una herramienta que verifica si otros son de confianza no debería pedirte tu clave a cambio. Tosea no interviene en la ruta de la solicitud; cuando un endpoint bloquea las solicitudes de origen cruzado, la herramienta genera un comando curl equivalente para que puedas continuar en un terminal local.

Servidores de Tosea — no interviene en las solicitudes ni ve tu clave, endpoint o resultados; Código abierto en GitHub: audita el motor de detección línea por línea →

La clave solo permanece en la memoria de la página y se escribe en localStorage únicamente si marcas explícitamente «recordar configuración». Las pruebas van directamente desde tu navegador al endpoint que has introducido: Tosea no ejecuta ningún proxy ni recopila telemetría, y el método, los umbrales y las fuentes de datos de referencia están publicados en esta página, línea por línea comparables con el repositorio de código abierto.

• Artículo: Tomáš Bruckner, «One Token Is Enough» — arXiv:2607.10252
• Conjunto de datos de referencia: Zenodo DOI 10.5281/zenodo.21278557 (CC-BY-4.0)
• Open source on GitHub: the detection engine behind this tool

• Cómo verificar que una API de LLM es real: identificación de modelos mediante números aleatorios
• Artículo largo en chino: ¿por qué la IA no puede decir números aleatorios? Una «huella del modelo» revela si un servicio de retransmisión de API es auténtico
• Explora la base de datos de huellas de comportamiento de 167 modelos