Cómo decide

El rastreador busca el grupo cuyo User-agent coincide con su nombre (sin distinguir mayúsculas). Si no hay ninguno, usa el grupo User-agent: *. Si varios grupos nombran al mismo rastreador, sus reglas se suman.

Dentro del grupo, gana la regla Allow o Disallow cuyo patrón coincide con la ruta y es más largo, es decir, la más específica. Si un Allow y un Disallow empatan en longitud, gana el Allow. El asterisco equivale a cualquier secuencia de caracteres y el dólar marca el final de la URL. Un Disallow vacío no bloquea nada.

Así es como lo define el estándar RFC 9309 y como lo aplica Google. Recuerda que robots.txt controla el rastreo, no la indexación: para que una página no aparezca en Google, usa noindex y deja que se pueda rastrear.

Todo se calcula en tu navegador. No se envía nada a ningún servidor.