分析了一百万个 robots.txt

写脚本抓取了 Alexa 排名前 100 万名的网站的 robots.txt,分析了这些文件中的文字(sitemap、注释、爬虫等)。只有 37.8% 的网站有格式正确的 robots.txt。