每天推送5篇优质英文文章 · By makers, for makers

运营 1022 天, 推荐好文 4,600 篇, 原创简评 946,566 字, 原文总阅读时间 39,731 分钟, 123,172 人订阅

相信很多人都有这样的疑问。同样有疑问的还有:百度、谷歌可以缓存别人的网页,我为啥不可以?别人网站自己写的 Terms of Service 具有法律效应?

如果非要抓取别人网站的内容,最佳实践:有官方 API 的,尽量用官方 API;征求站长的同意;光明正大地在爬虫的 user agent 里写明你是谁、给出网址解释为啥要抓取他们家的内容;咨询律师。

分享到:

选一种适合你的订阅方式: 40,089 人 · 47,079 人 · 8,936 人 · 717 人 · 8,145 人 · 7,161 人 · 7,353 人 · 2,552 人 · 1,055 人 · 41 人