Google maakt robots.txt open source om er erkende internetstandaard van te maken

Google heeft zijn robots.txt-protocol en de bijbehorende libraries open source beschikbaar gemaakt. Het bedrijf hoopt op die manieren dat websitebouwers en bedrijven zorgen dat het Robots Exclusion Protocol een officiële webstandaard wordt.

Lees meer