当前位置:  操作系统/服务器>linux

apache使用.htaccess文件实现屏蔽wget下载网站内容

    来源: 互联网  发布时间：2014-08-25

    本文导语:  经发现，虽然wget遵循 robots.txt 规则，但是那个还是可以绕过去，现在把我自己使用的屏蔽方法分享给大家： 1. 屏蔽下载任何文件 .htaccess SetEnvIfNoCase User-Agent "^wget" bad_bot Order Allow,Deny Allow from all Deny from env=bad_bot 2....

经发现，虽然wget遵循 robots.txt 规则，但是那个还是可以绕过去，现在把我自己使用的屏蔽方法分享给大家：

1. 屏蔽下载任何文件

.htaccess

SetEnvIfNoCase User-Agent "^wget" bad_bot

  Order Allow,Deny
  Allow from all
  Deny from env=bad_bot

2. 屏蔽下载部分文件

.htaccess

SetEnvIfNoCase User-Agent "^Wget" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot

Order Allow,Deny
Allow from all
Deny from env=bad_bot


    
 
 

您可能感兴趣的文章:

  • 请问如何用apache屏蔽IP段
    •  
    本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术，将尽最大努力为读者提供更好的信息聚合和浏览方式。
    本站(WWW.)站内文章除注明原创外，均为转载、整理或搜集自网络。欢迎任何形式的转载，转载请注明出处。












  • 相关文章推荐
  • apache .htaccess 设置不起作用问题
  • apache中使用.htaccess文件缓存图片的配置方法
  • apache 还是不支持.htaccess～
  • apache .htaccess文件详解和配置技巧总结
  • 21个常用的apache .htaccess文件配置技巧分享
  • 真痛苦：resin装好了，Apache装好了(开始用pws改成Apache还是不行)，但就是不执行我的jsp，在Win98下面 iis7站长之家
  • 想用APACHE做WEBSERVER，但不会用APACHE，请教。
  • Apache Hadoop 项目主页及介绍
  • apache日志文件总是空的，重起apache也没用。
  • 修改配置真正解决php文件上传大小限制问题(apache+php)
  • 安装完apache测试主页发现用的是系统自带的apache，该怎么办？
  • Apache hadoop当前各个版本说明
  • SUN OS5.8怎么没有make ,我想装APACHE2.0不知道怎么下手,原来的APACHE1.3有不知道怎么卸载
  • Windows下php 5.3.5和apache2安装配置及测试
  • 假设现在需要从网上下载的压缩包apache2，如何以dso模式安装在/home 目录的apache目录中，写出完整命令
  • Apache HTTP服务器2.4中的新功能概览
  • Apache 2.0 好像不支持Tomcat，我没看到哪位用 Apache 2.0 连接上 Tomcat 的
  • Apache HTTP Server(httpd)下载安装以及如何配置java(tomcat)和php详细介绍
  • linux下重装apache，却无法安装apache模块？
  • Apache默认是不支持SSI如何给Apache增加SSI支持
  • 我装了一个redhat9.0, 我如何卸载掉它原来的apache,然后重新装一个apache?
  • 请问TOMCAT和APACHE怎样结合使用呢？就像PHP和APACHE结合使用一样？
  • 真痛苦：resin装好了，Apache装好了(开始用pws改成Apache还是不行)，但就是不执行我的jsp，在Win98下面
  • 我连接apache和tomcat之后为什么apache不能启动？
  • 100分！tomcat4.0.4+Apache可以不用从新编译apache就可以集成tomcat吗？因为我看到:.....
  • 急！Ubuntu10.04 apache2和tomcat6 mod_jk 整合 实现apache2的代理问题


    • 站内导航:


    特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除！

    ©2012-2021,,E-mail:www_#163.com(请将#改为@)

    浙ICP备11055608号-3