每天推送5篇优质英文文章 · By makers, for makers

运营 1415 天, 推荐好文 5,990 篇, 原创简评 1,194,963 字, 原文总阅读时间 53,454 分钟, 177,588 人订阅

写脚本抓取了 Alexa 排名前 100 万名的网站的 robots.txt,分析了这些文件中的文字(sitemap、注释、爬虫等)。只有 37.8% 的网站有格式正确的 robots.txt。

打赏 如果你觉得我推荐的这篇文章(或我写的简评)不错,对你有所启发,可以考虑请我喝杯咖啡。
分享到: