MENU

判断爬虫的几个思路

December 30, 2019 • 已被 193 位童鞋围观过 • 教程文章

写了这么长时间的爬虫,感觉反爬虫意义真的是不大。
首先反爬虫的意义在于什么,要么为了节省带宽和服务器资源,要么是为了防止内容被抓取。
做为服务器程序不管是什么语言你运行的时候都是解析后的,那么首先一点 你自身获取用户信息这块就打了折扣
因为你是服务器运行的,而不是用户运行的。
所以单纯靠服务器上面设置反爬虫毫无意义。
其次 如果你在用户端设置了爬虫,那无非就两种JS+程序后端 或者是APP应用。
对于APP应用 我们不多做分析,主要是针对WEB站点,如果使用了JS+程序后端来反爬虫,
势必会对正常的用户造成了很大的困扰,其次就是正常的蜘蛛。
我们做站是为了什么,吸引用户 带来流量从而变现。那反爬虫就会造成普通用户体验较差,从而导致了用户流失。
所以说从根本上反爬虫不是目的,目的应该是提升用户体验,那么我们就要从另外一个点着手,那就是优化程序。
优化数据结构,尽量使用缓存。
从我自己做项目的经验来看,反爬虫毫无意义,我能做到我比采集目标站的排名都要高,为什么,因为我提升了用户体验.

手段都不是目的,只是过程。那么既然是为了目的,何不换条路走走。

Last Modified: September 28, 2023