Guía de Visibilidad IA
Haz tu sitio visible para LLMs con llms.txt, robots-ai.txt y conversión a markdown. Tres herramientas para optimizar tu contenido para consumo por IA.
¿Qué es la Visibilidad IA?
Visibilidad IA significa optimizar tu sitio web para que los Modelos de Lenguaje puedan descubrir, acceder y entender tu contenido de forma eficiente. dat2ai proporciona tres herramientas complementarias que trabajan juntas para hacer tu sitio completamente visible para la IA.
llms.txt
Indica a los modelos de IA qué contenido es más importante en tu sitio
robots-ai.txt
Controla qué crawlers de IA pueden acceder a tu contenido
Markdown
Sirve páginas como markdown limpio con ~80% menos tokens
llms.txt
¿Qué es llms.txt?
llms.txt es un estándar de llmstxt.org que proporciona un archivo estructurado que indica a los modelos de IA el contenido importante de tu sitio. Piensa en ello como un sitemap diseñado específicamente para LLMs -- ayuda a los modelos de IA a entender rápidamente qué ofrece tu sitio y dónde encontrar las páginas clave.
Modos de Edición
- Editor Estructurado Construye tu llms.txt usando una interfaz basada en formularios. Define un título, descripción y organiza contenido en secciones con enlaces titulados y descripciones.
- Modo Raw Pega o escribe tu propio contenido llms.txt directamente. Control total sobre el formato de salida.
¿Dónde se sirve?
WordPress: yoursite.com/llms.txt
Script tag / otro: dat2ai.com/api/llms-txt/{siteKey}
Ejemplo de Salida
# My Website > A brief description of your website for AI models. ## Main Content - [Home](https://example.com): The homepage - [About](https://example.com/about): About the company ## Documentation - [Getting Started](https://example.com/docs): Quick start guide - [API Reference](https://example.com/docs/api): REST API docs
robots-ai.txt
¿Qué es robots-ai.txt?
robots-ai.txt te permite controlar qué crawlers de IA pueden acceder a tu sitio. Funciona como robots.txt pero está diseñado específicamente para bots de IA. Puedes permitir o bloquear crawlers individuales con una interfaz simple de toggles.
Crawlers por Defecto
dat2ai incluye 8 crawlers de IA preconfigurados con toggles de permitir/bloquear por crawler:
Reglas Personalizadas
Para casos de uso avanzados, añade directivas robots.txt personalizadas para crawlers que no están en la lista por defecto. Las reglas personalizadas se añaden a la salida generada.
¿Dónde se sirve?
WordPress: yoursite.com/robots-ai.txt (también se añade automáticamente a tu robots.txt estándar)
Script tag / otro: dat2ai.com/api/robots-ai/{siteKey}
Conversión a Markdown
¿Qué hace?
La conversión a markdown toma cualquier página de tu sitio y la convierte en markdown limpio. Los LLMs procesan markdown mucho más eficientemente que HTML sin procesar -- típicamente usando ~80% menos tokens. Esto significa respuestas más rápidas, menores costes y mejor comprensión por modelos de IA.
Configuración
- Rutas Permitidas: Especifica qué rutas URL pueden ser convertidas (ej. /blog/*, /docs/*). Deja vacío para permitir todas las rutas.
- Selectores Excluidos: Selectores CSS para elementos a eliminar antes de la conversión (ej. .sidebar, .comments, .advertisement).
- Toggle de Metadatos: Opcionalmente incluye frontmatter YAML con el título de la página, URL fuente y fecha de conversión.
Endpoint API
API: dat2ai.com/api/markdown/{siteKey}/{path}
WordPress: Añade ?format=md a cualquier URL de página en tu sitio WordPress.
Rate Limits y Caché
La conversión a markdown tiene un rate limit de 10 solicitudes por minuto por sitio para prevenir abuso. Las páginas convertidas se cachean durante 5 minutos para reducir la carga del servidor y acelerar solicitudes repetidas.
WordPress vs Script Tag
| Funcionalidad | WordPress | Script Tag |
|---|---|---|
| llms.txt | Servido nativamente en tusitio.com/llms.txt | Servido vía dat2ai.com/api/llms-txt/{siteKey} |
| robots-ai.txt | Servido nativamente + añadido a robots.txt | Servido vía dat2ai.com/api/robots-ai/{siteKey} |
| Markdown | Añade ?format=md a cualquier URL de página | Usa el endpoint API con la ruta |
| Configuración | Ajustes del plugin + sincronización con dashboard | Solo dashboard |