宝塔nginx拦截爬虫的方法

查看 361
回复 0
CPO自媒体 发表于 2021-4-25 18:59 显示全部楼层

手机扫码访问此页面


关注我们微信公众号

这是一个创建于 1306 天前的主题,其中的信息可能已经有所发展或是发生改变。
如果大家的网站服务器不是高配置的,爬虫过渡爬取或者服务器被CC攻击时,会导致服务器资源被占满,网站卡顿无法正常访问。
如果大家无法升级服务器配置,可以屏蔽掉一些不需要的爬虫。

注:之前我们说过一种方法,是IP屏蔽法,教程如下

今天这个方法是基于网站设置

|   
第一步:打开宝塔的web日志

宝塔nginx拦截爬虫的方法

宝塔nginx拦截爬虫的方法


|   
第二步:找到使用的网站域名点后面的编辑

宝塔nginx拦截爬虫的方法

宝塔nginx拦截爬虫的方法

|   第三步:分析日志

主要是找出爬虫的特征,根据特征拦截
如下图

宝塔nginx拦截爬虫的方法

宝塔nginx拦截爬虫的方法

|   第四步:设置拦截规则

宝塔nginx拦截爬虫的方法

宝塔nginx拦截爬虫的方法



  

   

          
  1. if ($http_user_agent ~ semrush.com) {
  2. return  403 ;
  3. }

  4.    

  

  复制代码


宝塔nginx拦截爬虫的方法

宝塔nginx拦截爬虫的方法
相关帖子
精彩回复
还没有人回复此帖!

您需要登录后才可以回帖

登录

Or

上一页 在线咨询 快速回复 返回列表