Cloudflare geeft AI-bedrijven tot 15 september om trainings-crawlers af te splitsen
Wie zijn AI-trainingscrawlers niet scheidt van gewone zoekcrawlers, wordt standaard geblokkeerd op uitgeverssites via Cloudflare. De deadline is 15 september.
Kernpunten
- Cloudflare stelt AI-bedrijven een deadline van 15 september om crawlers voor AI-training en -agents te scheiden van crawlers voor zoekindexering.
- Wie dat niet doet, riskeert standaard geblokkeerd te worden op veel uitgeverssites die via Cloudflare lopen.
- Het beleid is bedoeld om uitgevers compensatie te laten ontvangen voor AI-gebruik van hun content.
Cloudflare geeft AI-bedrijven tot 15 september de tijd om hun webcrawlers op te splitsen: crawlers voor AI-training en AI-agents moeten worden afgesplitst van crawlers die voor gewone zoekindexering worden gebruikt. Wie dat niet doet, loopt het risico standaard geblokkeerd te worden op veel uitgeverssites, zo meldt TechCrunch op basis van de nieuwe Cloudflare-aankondiging.
Het onderscheid is cruciaal: zoekcrawlers indexeren content voor zoekmachines, terwijl AI-trainingscrawlers die content gebruiken om modellen te trainen of AI-agents te voeden. Cloudflare wil dat uitgevers zelf kunnen kiezen welke crawlers toegang krijgen — en eventueel betaald worden voor AI-gebruik van hun materiaal.
Wat betekent dit voor de BeNeLux?
Voor hen biedt dit beleid een nieuw instrument om te controleren welke AI-bedrijven hun content mogen scrapen voor training — en om daar vergoeding voor te eisen.