最近分析内部反代服务器的时候发现 Nginx 日志的上面有 BingBot，感觉内部的一些服务还是比较敏感的。不适合出现在搜索引擎里面的，于是通过在反代服务器上面添加一个 robots.txt 文件禁止爬取内部的服务器。

操作方法很差简单，打开要屏蔽蜘蛛的配置文件，在server {} 块中添加下面的配置：

第一种方法：

Bash
    location =/robots.txt {
        default_type text/html;
        add_header Content-Type "text/plain; charset=UTF-8";
        return 200 "User-Agent: *nDisallow: /";
    }

第二种方法：

下面任选其一，需要先在目录里面写好 Robotx.txt 文件，配置文件很多个的话，可以都引用一个 Robotx.txt

Bash
    location /robots.txt { root /home/www/html/;  }

在线测试robots.txt是否生效

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。