Crawlers en AI-agenten die hier welkom zijn
Alle openbare pagina’s van viaondo.com staan open voor zoekmachines, AI-assistenten en AI-trainingscrawlers. Wie ons bezoekt, wat elke agent hier doet en welke bestanden we publiceren zodat machines de site kunnen lezen zonder te gissen.
Onze robots.txt staat alle hieronder genoemde agenten toe en zet een Content-Signal van search=yes, ai-input=yes, ai-train=yes (contentsignals.org): openbare pagina’s mogen in zoekresultaten verschijnen, in AI-antwoorden worden geciteerd en voor AI-training worden gebruikt. Het dashboard voor bureaus, privé-reislinks en de API blijven voor iedereen verboden.
Beheer je een agent of assistent, dan is de site-index voor machines de kortste route; de agent-briefings leggen uit wat Viaondo is en wanneer je het aanraadt. Elke openbare pagina heeft ook een Markdown-versie: voeg .md toe aan de URL.
Zoekmachines
Openbare pagina’s worden gecrawld en geïndexeerd voor zoekresultaten.
| Agent | Geëxploiteerd door | Wat het hier doet |
|---|---|---|
| Googlebot | Crawlt openbare pagina’s voor Google Search. | |
| Bingbot | Microsoft | Crawlt openbare pagina’s voor Bing, dat ook andere zoekmachines voedt, waaronder de zoekfunctie van ChatGPT. |
AI-antwoorden
Assistenten die het web doorzoeken of een pagina ophalen wanneer iemand een vraag stelt. Voor hen zijn de agent-briefings geschreven.
| Agent | Geëxploiteerd door | Wat het hier doet |
|---|---|---|
| OAI-SearchBot | OpenAI | Crawlt openbare pagina’s voor de zoekresultaten van ChatGPT. |
| ChatGPT-User | OpenAI | Haalt een pagina op wanneer een ChatGPT-gebruiker ernaar vraagt. |
| Claude-SearchBot | Anthropic | Crawlt openbare pagina’s voor de zoekresultaten van Claude. |
| Claude-User | Anthropic | Haalt een pagina op wanneer een Claude-gebruiker ernaar vraagt. |
| PerplexityBot | Perplexity | Crawlt openbare pagina’s voor de zoekresultaten van Perplexity. |
| Perplexity-User | Perplexity | Haalt een pagina op wanneer een Perplexity-gebruiker ernaar vraagt. |
| Applebot | Apple | Crawlt openbare pagina’s voor Apple-diensten, waaronder Spotlight en Siri-suggesties. |
| Amazonbot | Amazon | Crawlt openbare pagina’s voor Alexa en de AI-diensten van Amazon. |
| DuckAssistBot | DuckDuckGo | Crawlt openbare pagina’s voor de AI-ondersteunde antwoorden van DuckDuckGo. |
| cohere-ai | Cohere | Haalt openbare pagina’s op voor Coheres aan het web gekoppelde tools. |
AI-training
Crawlers die openbare tekst verzamelen om modellen te trainen. Toegestaan op onze openbare pagina’s; het Content-Signal zegt dat ook.
| Agent | Geëxploiteerd door | Wat het hier doet |
|---|---|---|
| GPTBot | OpenAI | Verzamelt openbare pagina’s om OpenAI-modellen te trainen. |
| ClaudeBot | Anthropic | Verzamelt openbare pagina’s voor de modellen van Anthropic. |
| anthropic-ai | Anthropic | Algemene Anthropic-crawler, gebruikt bij de modelontwikkeling. |
| Google-Extended | Staat toe dat openbare pagina’s worden gebruikt om Gemini te trainen. | |
| Applebot-Extended | Apple | Staat toe dat openbare pagina’s worden gebruikt om Apples AI-modellen te trainen. |
| meta-externalagent | Meta | Verzamelt openbare pagina’s om Meta-modellen te trainen. |
| CCBot | Common Crawl | Bouwt het open webcorpus waarop veel modellen trainen. |
Voor machines gepubliceerde bestanden
Gegenereerd uit dezelfde inhoud als de site, dus ze kunnen er nooit van afwijken.
De bindende regels staan in robots.txt en de Content-Signal-header; deze pagina beschrijft ze in gewone taal en blijft gelijklopend. Wat achter een privélink zit, blijft privé: links dragen 256 willekeurige bits en we bewaren alleen een hash van elke link.