Google maakt robots.txt-parser open source om er internetstandaard van te maken

Google heeft de parser van zijn robots.txt-protocol en de bijbehorende libraries open source beschikbaar gemaakt. Het bedrijf hoopt op die manieren dat websitebouwers en bedrijven zorgen dat het Robots Exclusion Protocol een officiële webstandaard wordt.

Lees meer