每天推送5篇优质英文文章 · By makers, for makers

运营 1561 天, 推荐好文 6,420 篇, 原创简评 1,265,086 字, 原文总阅读时间 57,599 分钟, 196,196 人订阅

写脚本抓取了 Alexa 排名前 100 万名的网站的 robots.txt,分析了这些文件中的文字(sitemap、注释、爬虫等)。只有 37.8% 的网站有格式正确的 robots.txt。

打赏 如果你觉得我推荐的这篇文章(或我写的简评)不错,对你有所启发,可以考虑请我喝杯咖啡。 感谢 235 位读者捐款了 $1,737.56
分享到:
App 内打开