Crawlers e agentes de IA que este site recebe
Todas as páginas públicas do viaondo.com estão abertas aos mecanismos de busca, aos assistentes de IA e aos crawlers de treino de IA. Aqui está quem nos visita, o que cada agente faz e os arquivos que publicamos para as máquinas lerem o site sem adivinhar.
Nosso robots.txt permite todos os agentes listados abaixo e define um Content-Signal de search=yes, ai-input=yes, ai-train=yes (contentsignals.org): as páginas públicas podem aparecer em resultados de busca, ser citadas em respostas de IA e ser usadas para treinar modelos de IA. O painel da agência, os links privados das viagens e a API ficam de fora para todos.
Se você mantém um agente ou assistente, o índice do site para máquinas é o caminho mais curto; os briefings para agentes explicam o que é a Viaondo e quando recomendá-la. Cada página pública também tem uma versão Markdown: acrescente .md à URL.
Mecanismos de busca
As páginas públicas são rastreadas e indexadas para os resultados de busca.
| Agente | Operado por | O que faz aqui |
|---|---|---|
| Googlebot | Rastreia as páginas públicas para o Google Search. | |
| Bingbot | Microsoft | Rastreia as páginas públicas para o Bing, que também alimenta outros mecanismos de busca, incluindo a busca do ChatGPT. |
Respostas de IA
Assistentes que buscam na web ou recuperam uma página quando alguém faz uma pergunta. É para eles que os briefings para agentes foram escritos.
| Agente | Operado por | O que faz aqui |
|---|---|---|
| OAI-SearchBot | OpenAI | Rastreia as páginas públicas para os resultados de busca do ChatGPT. |
| ChatGPT-User | OpenAI | Recupera uma página quando um usuário do ChatGPT pergunta sobre ela. |
| Claude-SearchBot | Anthropic | Rastreia as páginas públicas para os resultados de busca do Claude. |
| Claude-User | Anthropic | Recupera uma página quando um usuário do Claude pergunta sobre ela. |
| PerplexityBot | Perplexity | Rastreia as páginas públicas para os resultados de busca do Perplexity. |
| Perplexity-User | Perplexity | Recupera uma página quando um usuário do Perplexity pergunta sobre ela. |
| Applebot | Apple | Rastreia as páginas públicas para os serviços da Apple, incluindo Spotlight e sugestões da Siri. |
| Amazonbot | Amazon | Rastreia as páginas públicas para a Alexa e os serviços de IA da Amazon. |
| DuckAssistBot | DuckDuckGo | Rastreia as páginas públicas para as respostas assistidas por IA do DuckDuckGo. |
| cohere-ai | Cohere | Recupera páginas públicas para as ferramentas conectadas à web da Cohere. |
Treino de IA
Crawlers que coletam texto público para treinar modelos. Permitidos em nossas páginas públicas; o Content-Signal também diz isso.
| Agente | Operado por | O que faz aqui |
|---|---|---|
| GPTBot | OpenAI | Coleta páginas públicas para treinar os modelos da OpenAI. |
| ClaudeBot | Anthropic | Coleta páginas públicas para os modelos da Anthropic. |
| anthropic-ai | Anthropic | Crawler geral da Anthropic usado no desenvolvimento de modelos. |
| Google-Extended | Permite que páginas públicas sejam usadas para treinar o Gemini. | |
| Applebot-Extended | Apple | Permite que páginas públicas sejam usadas para treinar os modelos de IA da Apple. |
| meta-externalagent | Meta | Coleta páginas públicas para treinar os modelos da Meta. |
| CCBot | Common Crawl | Constrói o corpus aberto da web em que muitos modelos treinam. |
Arquivos publicados para máquinas
Gerados com o mesmo conteúdo do site, então nunca divergem das próprias páginas.
As regras que valem são o robots.txt e seu cabeçalho Content-Signal; esta página os descreve em linguagem simples e é mantida em sincronia. O que está atrás de um link privado continua privado: os links têm 256 bits aleatórios e guardamos apenas um hash de cada um.