Haz la prueba. Abre ChatGPT y pregunta a qué empresa debería contratar un cliente para lo que tú haces, en tu ciudad. Lee la respuesta. Abre un chat nuevo y haz la pregunta idéntica.
Las respuestas van a diferir. A veces poco: los mismos nombres en otro orden. A veces por completo: un competidor que no estaba ahora es el primero, y un negocio que sí aparecía desapareció.
Casi todo el mundo lo toma como una falla y sigue adelante. No es una falla. Es la propiedad más útil del sistema, porque te dice que la visibilidad en IA no es una posición que ocupas. Es una probabilidad, y las probabilidades se pueden medir.
Dos fuentes de variación
La primera es que el modelo no recupera una respuesta guardada. La genera, token por token, muestreando de una distribución de continuaciones plausibles. Donde un nombre candidato es abrumadoramente más probable que las alternativas, va a aparecer casi siempre. Donde tres nombres son más o menos igual de plausibles, cuál sale se parece a un volado.
La segunda es la recuperación. Cuando un asistente hace una búsqueda en vivo, trae un número pequeño de páginas y compone a partir de ellas. Qué páginas trae depende de cómo reescribió tu pregunta en una consulta, de qué devolvió el índice en ese momento y de cuántos resultados decidió abrir. Dos corridas, dos conjuntos ligeramente distintos de fuentes, dos respuestas distintas.
Y se acumulan. Insumos variables alimentando una salida muestreada producen respuestas que pueden diferir bastante sin que nada haya cambiado en el mundo.
El número que sí importa
Una vez que aceptas la variación, la medición correcta se vuelve obvia: no ¿me mencionan?, sino ¿con qué frecuencia?
Los casos son situaciones distintas que piden respuestas distintas:
Nunca mencionado, en muchas corridas y en los cuatro asistentes. Estás ausente del material con el que se construyen las respuestas. Nada incremental va a arreglar esto. Algo tiene que cambiar en las fuentes.
Mencionado de vez en cuando — digamos una de cada cinco veces. Existes en el material pero no eres el candidato más fuerte. Es una posición mucho mejor de lo que se siente, porque la distancia entre uno de cinco y tres de cinco suele ser cuestión de algunas fuentes, no de reconstruirlo todo. También es la posición que más se diagnostica mal, porque que el dueño se sienta invisible o tranquilo depende enteramente de qué corrida le tocó ver.
Mencionado casi siempre, pero no siempre. Eres una respuesta por defecto con el borde suave. Vale la pena saber qué competidor te desplaza en las corridas que pierdes, porque esa es la competencia concreta en la que estás.
Mencionado todas las veces. Fuerte, y más frágil de lo que parece. Una consistencia así casi siempre descansa en un puñado de fuentes. Conviene saber cuáles, para notarlo cuando alguna cambie.
No puedes ubicarte en ninguna de estas categorías con una sola consulta. Una consulta te dice el resultado de una muestra, y el dueño que pregunta una vez y ve su nombre se va tranquilo con una evidencia que no sostiene esa tranquilidad.
Por qué un asistente no equivale a cuatro
Encima de la variación entre corridas está la variación entre asistentes. ChatGPT, Claude, Gemini y Perplexity difieren en datos de entrenamiento, en buscador, en qué tan agresivamente buscan, y en qué tan dispuestos están a nombrar negocios concretos.
El resultado práctico es que estar ausente de uno dice muy poco. Estar ausente de los cuatro es un patrón, y es un patrón con una sola causa: las fuentes. Estar fuerte en uno y ausente en tres también informa: normalmente significa que te está sosteniendo una fuente que el buscador de ese asistente favorece, y nada más.
La formulación es una tercera dimensión
La misma intención del cliente llega de muchas formas. Mejor dentista en Tijuana, dónde me pongo implantes en Tijuana, es seguro hacerse trabajo dental en México, clínica dental más barata cerca de la frontera. Es la misma persona en distintos momentos de la misma decisión, y rutinariamente producen recomendaciones distintas, porque cada una se reescribe en una búsqueda distinta y engancha con material distinto.
Un negocio puede ser la respuesta por defecto para una formulación y ser invisible en otra — con frecuencia invisible en las formulaciones tempranas y más cautelosas, que son las que usan los clientes antes de saber quiénes son las opciones. Ahí es donde una recomendación vale más, y son justo las preguntas que a un dueño menos se le ocurre probar, porque no son preguntas sobre él.
Qué implica esto para medir cualquier cosa
Junta las tres dimensiones — corridas repetidas, cuatro asistentes, muchas formulaciones — y queda clara la razón por la que revisar a la ligera falla. Estás muestreando un punto de un espacio grande y sacando una conclusión sobre todo el espacio.
Y por eso también la conclusión a la que se llega suele estar equivocada en una dirección específica: la tranquilizadora. Pregúntale al asistente por tu negocio por nombre, una vez, en el que tengas abierto, y te va a hablar de tu negocio, porque tú le diste el nombre. Nada de ese intercambio se parece a lo que vive un cliente que nunca ha oído de ti.