Internet Archive wil robots.txt negeren om accurater beeld te krijgen

Het Internet Archive heeft bekendgemaakt dat het in de toekomst vaker het robots-bestand van een website wil negeren om deze beter te kunnen archiveren. De organisatie doet dit al bij Amerikaanse overheidswebsites en wil de praktijk nu breder toepassen.

Lees meer