TrafficIntelBot — onze site-scan crawler
Deze pagina beschrijft TrafficIntelBot, de crawler die TrafficIntel.nl gebruikt om de sitegraph en structuur-metrics van klantwebsites te berekenen. Bedoeld voor beheerders die de bot in hun serverlogs zien en willen controleren wat we doen.
Technische specificatie
- Bot-naam
- TrafficIntelBot
- User-Agent
- TrafficIntelBot/1.0 (+https://trafficintel.nl/bot)
- Snelheid
- 5 req/s per host
- Gelijktijdige requests
- 4
- Request-timeout
- 15 s
- Redirects
- max 5 hops, alleen binnen hetzelfde domein
- Frequentie
- Wekelijkse automatische scans op sites waarvan de meet-tag actief is, plus handmatige scans op verzoek van een geautoriseerde Pro-gebruiker op elke aan het account gekoppelde site. Bij tijdelijke technische fouten kunnen beperkte herhaalpogingen plaatsvinden.
- Contact
- [email protected]
Scope
- Alleen publiek bereikbare pagina's; geen login-, betaal- of authenticatiemuren worden omzeild.
- Respecteert robots.txt volgens de standaard, inclusief bot-specifieke Allow-regels.
- Voert geen JavaScript uit — enkel statische HTML.
- Vult of verzendt geen formulieren.
- Doet alleen GET-requests — geen POST, PUT, DELETE of andere state-veranderende methodes.
- Slaat geen cookies of sessies op en gebruikt geen authenticatie-headers.
- Alleen het hoofddomein (met of zonder www). Subdomeinen worden niet gecrawld; ook externe links worden niet gevolgd.
robots.txt is een crawl-voorkeur, geen toegangscontrole. Echte afscherming hoort via authenticatie, netwerkrestricties of een WAF.
Wat we opslaan
Per gecrawlde pagina bewaren we metadata, geen page-body. Concreet:
- URL, pad, HTTP-status, redirect-doelen
- Pagina-titel, canonical-URL, breadcrumb-detectie
- Interne links tussen pagina's (source → target)
Deze gegevens worden bewaard zolang de gekoppelde site in het account actief is, en verwijderd zodra de site of het account wordt verwijderd.
Toelaten of blokkeren
Alleen TrafficIntelBot blokkeren
User-agent: TrafficIntelBot Disallow: /
Alleen TrafficIntelBot toelaten (rest blokkeren)
User-agent: TrafficIntelBot Allow: / User-agent: * Disallow: /
Belangrijk: plaats de specifieke TrafficIntelBot-regel boven een eventuele User-agent: *-regel, anders werkt de whitelist niet in de meeste robots-parsers.
Robots-fetch fail-policy
Wanneer we /robots.txt niet kunnen ophalen door een 403, 429 of 5xx-status of een netwerkfout, doen we één retry en stoppen we anders de crawl volledig. Wij crawlen nooit een site zonder authoritatieve robots.txt te hebben gezien. Een 404 op /robots.txt beschouwen we als 'geen restricties'.
Melding of vraag
Vermoed je misbruik of heb je een vraag over TrafficIntelBot? Mail [email protected].