为什么网站被必应搜索屏蔽了，必应搜索还一直抓取网站链接

专业SEO优化专家：搞网站排名，如果你的网站，连必应都不收录，那你的网站定是垃圾网站。反之，网站被必应搜索屏蔽了，必应搜索不收录网站的时候，那就是你网站发布的内容出问题了。

为什么网站被必应搜索屏蔽了，必应搜索还一直抓取网站链接，作为站长都开始炸毛了。这点，简直是无解啊。我们都知道，无论是哪个搜索引擎，比如百度、360、搜狗、神马、谷歌等搜索引擎，只要是网站被K了，网站被拔毛了，网站被降权了，或者是网站被惩罚了，这些蜘蛛都是不来抓取网站的。

今天，小千要说的这个事情，就让人有点跳脚，说出来也是非常的让人好笑。网站被必应搜索屏蔽了，然后必应搜索还疯狂的抓取网站，需不需要禁止必应搜索抓取呢。对于这点，小千想了很久，看到win10系统内置Edge浏览器，而Edge浏览器又内置必应搜索引擎，作为国内的搜索引擎，多多少少还是有几个流量的。

但是，必应搜索有几个流量的，那几个流量和必应搜索抓取网站的频次，真的是反差萌。每天查看网站日志，都是十几兆，然后必应搜索特别疯狂，抓取次数都是以十万为单位的，如果不是小千服务器强悍，真的是能被这个必应搜索抓宕机啊。必应不收录我的网站，还把我的网站屏蔽了，你每天还抓取十几万的链接，你要做甚，想不通啊。

必应搜索的收录全被屏蔽了，必应不收录网站？有可能是你被屏蔽了，Bing必应搜索引擎一直抓取网站，但是不收录网站，但是蜘蛛还在爬取，查看网站日志后发现，必应搜索的蜘蛛和谷歌搜索的蜘蛛一样，每天都是十几万的抓，难怪网站的并发过高！如果不用robots.txt文件禁止一下，这个必应蜘蛛，真的是能把服务器抓宕机的存在。

User-agent: Googlebot
Crawl-delay:60
Disallow: /member
 
User-agent: MSNBot
Crawl-delay:60
Disallow: /member
 
User-agent: Bingbot
Crawl-delay:60
Disallow: /member
 
User-agent: *
Crawl-delay: 30
Disallow: /member

解释：主要是禁止谷歌搜索和必应搜索，因为这两个搜索引擎，不管有没有流量，但是，它们频繁的抓取平次，真的能让网站直接宕机，所以，设置一下禁止抓取频次过高，还是非常有用的，然后，这样也不会影响网站收录和排名，更不会影响其它搜索引擎抓取网站。

作为站长，要经常关注自己的网站，这个只是参考代码，大家可以根据自己的网站类型，根据自己服务器配置的高低自由设置。当然，搜索引擎抓取高是好事，但是，抓取频次过高的话，会严重影响网站稳定，甚至服务器被抓宕机以后，网站打不开的，所有的排名、权重、流量、都是会掉的哦。