
昨天,WordPress 交流群里有人提到“如何防止搜索引擎索引 WordPress 网站”的必要性。大多数人都希望被搜索引擎收录,而少数人由于特殊需要和特殊原因不希望搜索引擎找到他们。,这个时候我们应该怎么做?在这里,国外主机评测将根据自己的需要与大家分享如何编写和优化robots.txt文件。

robots协议配置
首先,我们要使用robots.txt文件,那么什么是robots呢?
机器人是网站和爬虫之间的协议。它以简单直接的txt格式文本的方式告诉对应的爬虫允许的权限。也就是说,robots.txt 是访问网站时在搜索引擎中查看的第一个文件。当搜索蜘蛛访问一个站点时,它会首先检查站点根目录中是否存在 robots.txt。如果存在,搜索机器人会根据文件内容判断访问范围;如果该文件不存在,那么 all 的搜索蜘蛛将能够访问该站点上没有密码保护的所有页面。
在 robots.txt 文件中,Disallow 是禁止的,Allow 是允许的。您可以根据需要增加或减少。
WordPress 默认robots配置,大多数人可以使用以下配置。
// WordPress根据实际需求优化robots配置,WordPress网站怎么利用robots.txt文件进行SEO优化 // https://vps.caogenba.com.com/66379.html User-agent: * Disallow: Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://vps.caogenba.com.com/sitemap.xml
这一段的意思是对所有搜索引擎采取一种默认的态度。我不允许或拒绝。我喜欢爬,但是 /wp-admin/ 目录不允许你爬!但是,因为/wp-admin/admin-ajax.php文件经常用于交互,所以单独允许。最后一句告诉搜索引擎,我的站点地图地址,你可以根据我的地图快速爬取。
WordPress禁止国内搜索引擎爬取配置
有些内容是国内人估计找不到的,下面的配置就可以了。
// WordPress根据实际需求优化robots配置,WordPress网站怎么利用robots.txt文件进行SEO优化 // https://vps.caogenba.com.com/66379.html User-agent: Baiduspider Disallow: / User-agent: Sosospider Disallow: / User-agent: sogou spider Disallow: / User-agent: YodaoBot Disallow: / User-agent: * Disallow: /wp-admin/ Sitemap: https://vps.caogenba.com/sitemap.xml
Disallow是禁止的,也就是说User-agent是百度,搜搜,搜狗,有道都不允许爬我的网站。当然,你可以根据自己的需要加减。毕竟,还有很多普通人不知道的小蜘蛛。是的,所以您需要通过在后台检查 User-agent 请求标头来添加它,并将其设置为 Disallow。此设置不会影响国外搜索引擎的索引。
但是如果搜索引擎不符合,就得用杀手锏了,请查看文末的进阶教程!
不太擅长优化 WordPress 配置
为什么说这里有“优化程度较低的 WordPress 配置”?因为国外主机评测经常在群里听到“我*,昨天某个蜘蛛又爬了我的服务器……”等等。因此,如果您不愿意或无法优化您的 WordPress 网站,那么您可以使用以下robots配置。
// WordPress根据实际需求优化robots配置,WordPress网站怎么利用robots.txt文件进行SEO优化 // https://vps.caogenba.com.com/66379.html User-agent: * Disallow: /wp-admin/ Disallow: /wp-login.php Disallow: /search/ Disallow: /?s= Disallow: /readme.html Disallow: /licence.txt Disallow: /wp-config-sample.php Disallow: /feed Disallow: /*/feed Disallow: /comments/feed Disallow: /comments/ Disallow: /attachment/ crawl-delay: 5 Allow: /wp-admin/admin-ajax.php Sitemap: https://vps.caogenba.com.com/sitemap.xml
这是在默认基础上配置的。crawl-delay 启用了传说中的 5 秒屏蔽,但这是蜘蛛的 5 秒屏蔽,它告诉搜索引擎蜘蛛在每次爬行前等待几秒钟。当然,你甚至可以设置10秒、30秒、9999999秒(最好是屏蔽)。
/search/ 或 /?s= 是为了防止蜘蛛爬行和搜索。很多小伙伴不会优化WordPress。一旦访问者或蜘蛛搜索,CPU 就会被填满。这时候可以通过升级服务器来解决问题,或者尝试对WordPress进行优化(
禁止爬取/readme.html、/licence.txt、/wp-config-sample.php是为了防止他人未经授权查看您使用的WordPress版本等信息,您也可以在此处重定向。
/feed、/*/feed、/comments/feed三兄弟是为了防止爬虫爬取你的rss订阅内容。当然,你也可以直接在 WordPress 后台关闭 rss 订阅。一般来说,rss页面对服务器的要求不是很高,一般不需要设置。
/comments/ 是为了防止蜘蛛爬取你的评论内容。如果你的站点评论很多,并且没有设置内存缓存或者 Nginx 缓存,那么每个评论页面服务器都必须生成一个页面,自然 CPU 负载会很高。
/attachment/ 是防止附件内容,即 WordPress 媒体库内容。
总之,简而言之,大部分人不需要设置以上配置。如果真的需要配置的话,毕竟大部分站长都是要流量的!哦,对了,记得把上面的Sitemap地址改成自己的!
禁止搜索引擎爬虫高级版
添加代码防止百度在你的 header.php 文件中包含快照:
<meta name="Baiduspider" content="noarchive">
不过百度不一定遵守机器人规则,可能还是会被收录,那就用下面的终极方法吧!
如果你使用的是Nginx,国外主机评测以宝塔为例,在站点配置中插入如下代码:
if ($http_user_agent ~* (baiduspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)) { return 403; }
长按保存(尝试重启Nginx),如有错误请根据错误修改!这时候去站长工具测试一下效果,看看是否返回403码。
此前《七大罪》曾有几集过渡剧情的特番,而关于第二季动画的消息日前也已经公布,动画将在明年1月上映,届时将直面世纪霸权紫罗兰了。而关于第二季的内容,按照漫画进度十诫也将悉数登场,而在此前还未登场过的七大罪之一傲慢之罪艾斯卡诺也准备出场了,目前为其配音的声优则是组长杉田智和。按照漫画剧情来看第二季如果要把故事完全展开的话,那么半年番基本上是妥妥的了!距离7月22日已经越来越近,这个日期既是《魔法少女奈叶》剧场版的首映日也是《周刊文春》准备爆料某知名声优恋爱的日子。而鉴于此前种种迹象,这位声优是水树奈奈的可能性已经十分的大,而最近又有一件事情基本上要坐实这个猜想。
作为重点关注的对象水树奈奈确定将在7月22日做客花江夏树、日高里菜主持的广播节目,并将在节目上有重大发表,要我说当一切巧合的事都汇聚在一起,就已经不再是巧合了,关于节目上的重大发表怕不是就是奈奈酱恋爱的消息。不过呢,对于声优界的御三家来说年龄确实不小了,若是能得到幸福,对于粉丝们来说也是个不错的消息。至于具体究竟会是谁呢?还是耐心等到22日再说吧!最近几日,日本电影方面《银魂》真人版以及《口袋妖怪》的新剧场版双双上映,然而在pokemon情怀下,《银魂》的票房虽然不错但还是败给了pokemon。
在周末首日票房方面,pokemon强势登顶,而《银魂》则排在了第三位,以至于导演福田雄一在推特上发文鼓励粉丝们去贡献电影票,不过讲真的,《银魂》真人版有如此收获已经算不错的了,pokemon一路走来已经20年,伴随了无数人的童年,这次剧场版又是回到故事的原点,所以票房登顶并不算意外!七月新番《异世界食堂》虽然作为美食番放在了深夜进行放送而颇有报复社会的意思,但是这丝毫没有阻挡观众对其的好评。
该作在niconico上放送第二话之后,好评率可以说高达98.8%,俨然要成为本季霸权的感觉,不过呢,理性的分析下,这部番本身以美食为主,但也隐含了人与人奇妙邂逅的故事线,单元剧形式下想要争夺霸权还是有点困难的,从题材内容来说更吸引看番多年又或是年龄较大的观众,年轻一点的可能就不太能静下心看这种节奏较慢的动画!