Nginx屏蔽蜘蛛
1.修改Nginx配置参数
需要在该目录下添加文件 /www/server/nginx/conf/agent_deny.conf
#禁止Scrapy等工具的抓取
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
return 403;
}
#禁止指定UA访问。UA为空的可以访问,比如火车头可以正常发布。
if ($http_user_agent ~ "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|YandexBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Bytespider|Ezooms|JikeSpider|SemrushBot" ) {
return 403;
}
#禁止非GET|HEAD|POST方式的抓取
if ($request_method !~ ^(GET|HEAD|POST)$) {
return 403;
}
文件添加以上内容并保存
2.修改网站配置文件
网站 ---> 设置 -----> 配置文件
root /www/wwwroot/niuzheng.net;
include agent_deny.conf;
#SSL-START SSL相关配置,请勿删除或修改下一行带注释的404规则
#error_page 404/404.html;
3.重启nginx 生效
建议阅读
- Windows10 提示无法使用内置管理员账户打开某应用解决方法(查看: 391)
- 释放硬件保留内存(查看: 286)
- Apache httpd列出目录列表中文乱码的解决办法(查看: 1292)
- [重要]微软安全漏洞通告修补通告:(查看: 5591)
- shell中too many arguments错误的解决方法(查看: 1078)