Cómo facilitar que ChatGPT encuentre su blog: revisión de los rastreadores

Para que su blog pueda descubrirse en la búsqueda de ChatGPT, compruebe primero el acceso de OAI-SearchBot, el rastreador de búsqueda de OpenAI. Su función es distinta de GPTBot, dedicado a recopilar contenido para entrenamiento; puede definir políticas separadas para ambos. Permitir el acceso no garantiza que una respuesta muestre o cite el sitio.

Comprender los rastreadores de búsqueda y entrenamiento

Un rastreador es un programa que recupera automáticamente las páginas web. OpenAI utiliza diferentes agentes de usuario para diferentes fines, y los propietarios de sitios pueden definir políticas de acceso para esos nombres. Un agente de usuario es la información que un programa que solicita utiliza para identificarse.

La documentación oficial de los rastreadores explica que los ajustes de búsqueda y entrenamiento son independientes. También observa que las reglas robots.txt no pueden aplicarse a las visitas iniciadas por el usuario. El bloqueo de GPTBot por sí solo no debe entenderse como control de todo tipo de acceso relacionado con ChatGPT.

Registrar la configuración actual de acceso público

Decidir su política antes de cambiar la configuración: ¿debería descubrir el sitio en búsqueda, debería permitirse la recogida de entrenamiento, y dónde está el material que debe permanecer privado? Guarda los robots.txt actuales y la configuración de seguridad relevante para que puedas restaurarlos si es necesario.

1. Sin iniciar sesión, compruebe si el artículo que desea que se descubra es accesible.
2. Abra /robots.txt después del dominio del sitio y leer las reglas actuales.
3. Comprobar grupos dedicados OAI-SearchBot y GPTBot, además de los User-agent: * grupo predeterminado utilizado cuando un rastreador no tiene grupo que coincida.
4. Busque bloqueo de bots separados en el host, plugins de seguridad, o red de entrega de contenidos.

Un sitio de WordPress puede servir robots.txt a través de un archivo de servidor físico, un plugin, o una respuesta generada dinámicamente. Compruebe que los cambios realizados en la interfaz de administración realmente llegan al archivo público. Establecer qué componente administra la respuesta actual en lugar de asumir que se instala un plugin en particular.

Ejemplo que permite la búsqueda y bloquea el entrenamiento

El siguiente ejemplo permite el acceso de búsqueda al contenido público y bloquea la recopilación de GPTBot. No es un reemplazo completo del archivo para cualquier sitio. Conserve las declaraciones del mapa del sitio y las restricciones necesarias e integre las reglas según su política.

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

Allow: / permite al agente especificado acceder a todos los caminos, mientras Disallow: / bloquea todas las rutas. Así, el ejemplo permite al agente de búsqueda acceder al sitio completo. Añada las exclusiones específicas que requiera su política.

No asuma que un grupo dedicado hereda las restricciones bajo User-agent: *. El reglas de selección de grupos del estándar robots.txt utilizan el grupo predeterminado solo cuando no existe uno específico que coincida. Si el grupo predeterminado excluye rutas, compruebe que las exclusiones necesarias también figuran en OAI-SearchBot. Proteja el material privado con autenticación y autorización, independientemente de robots.txt.

Antes de guardar, busque grupos del mismo agente y resuelva las duplicaciones o contradicciones. Después compruebe las cachés y vuelva a abrir el archivo público /robots.txt para comparar las reglas servidas con su intención. Si el resultado difiere, restaurar el archivo original y la configuración e investigar la ruta de gestión.

OpenAI dice que sus sistemas pueden tardar aproximadamente 24 horas para ajustarse a los cambios robots.txt. Esto se refiere a las actualizaciones de control de acceso; no promete descubrimiento o citación dentro de 24 horas.

El acceso todavía puede fallar cuando robots.txt lo permite

Un permiso robots.txt y el servidor que acepta una solicitud son asuntos separados. Firewalls, protección de bots, requisitos de inicio de sesión o errores de conexión pueden prevenir la recuperación. Si sus herramientas proporcionan registros de bloqueo, compruebe la URL afectada, el tiempo y el nombre de regla.

Identifique la regla concreta que bloquea el acceso y ajuste solo el alcance necesario. Una prueba con un nombre de agente de usuario modificado no demuestra que la solicitud provenga de OpenAI. Revise también las IP actuales de la documentación oficial y los métodos de verificación del proveedor.

Una apertura de página en su navegador no garantiza que un rastreador reciba la misma respuesta. Por el contrario, una solicitud automatizada bloqueada no establece que todos los lectores o rastreadores están bloqueados. Grabar la solicitud fue probada y en qué condiciones.

Separar el acceso de la visibilidad en los resultados

Una vez configurado el acceso, revise el contenido y la estructura de enlace de la página. ¿La respuesta principal está disponible públicamente? ¿Pueden los lectores alcanzarlo a través de los artículos o categorías pertinentes? ¿El título coincide con el cuerpo? Permitir el acceso a la búsqueda no crea un interruptor que hace que su enlace aparezca en cada respuesta.

Anote por separado «robots.txt responde», «se sirven las reglas previstas», «el contenido público es accesible» y «aparece en la búsqueda». El último resultado depende de la consulta y del momento: una sola búsqueda no demuestra el éxito ni el fallo de la configuración.

Para la indexación de Google, ver cómo comprobar el estado de indexación de un post en Search Console. El estado de índice de Google y la visibilidad de la búsqueda de ChatGPT no pueden sustituirse entre sí.

No use robots.txt como un límite de seguridad

Robots.txt declara una política pública de rastreo; no autentica a los usuarios ni protege material privado. La introducción de Google a robots.txt también explica que no todos los rastreadores siguen sus reglas. Protege el contenido de los miembros y la información administrativa mediante autenticación y permisos.

Mantenga el archivo cambiado, las reglas de seguridad y la respuesta pública real juntos así que usted sabe qué restaurar si algo va mal. Definir el alcance de la búsqueda pública y el alcance privado protegido reduce primero el riesgo de ampliar el acceso innecesariamente mientras se resuelve la visibilidad.