博创互联提供西安网站建设  西安网站制作  西安网络推广  西安公众号开发等服务

网站建设百科详情
网站维护
网站设计
网站建设百科
屏蔽各大搜索引擎蜘蛛收录的几种方法
来源: | 作者:boo725 | 发布时间: 2017-03-04 | 410 次浏览 | 分享到:
大多时候我们都希望引擎蜘蛛快点收录,不过也有一些比如网站大改等特殊情况,那么如何能屏蔽百度以及各大引擎收录呢?下面分享几种方法:

以下列举了屏蔽主流搜索引擎爬虫(蜘蛛)抓取/索引/收录网页的几种思路。注意:是整站屏蔽,而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫(蜘蛛)。

1、通过 robots.txt 文件屏蔽

可以说 robots.txt 文件是最重要的一种渠道(能和搜索引擎建立直接对话)。我通过分析我自己博客的服务器日志文件,给出以下建议(同时欢迎网友补充):

User-agent: Baiduspider

Disallow: /

User-agent: Googlebot

Disallow: /

User-agent: Googlebot-Mobile

Disallow: /

User-agent: Googlebot-Image

Disallow:/

User-agent: Mediapartners-Google

Disallow: /

User-agent: Adsbot-Google

Disallow: /

User-agent:Feedfetcher-Google

Disallow: /

User-agent: Yahoo! Slurp

Disallow: /

User-agent: Yahoo! Slurp China

Disallow: /

User-agent: Yahoo!-AdCrawler

Disallow: /

User-agent: YoudaoBot

Disallow: /

User-agent: Sosospider

Disallow: /

User-agent: Sogou spider

Disallow: /

User-agent: Sogou web spider

Disallow: /

User-agent: MSNBot

Disallow: /

User-agent: ia_archiver

Disallow: /

User-agent: Tomato Bot

Disallow: /

User-agent: *

Disallow: /

2、通过 meta tag 屏蔽

在所有的网页头部文件添加,添加如下语句:



3、通过服务器(如:Linux/nginx )配置文件设置

直接过滤 spider/robots 的IP 段。

小注:第1招和第2招只对“君子”有效,防止“小人”要用到第3招(“君子”和“小人”分别泛指指遵守与不遵守 robots.txt 协议的 spider/robots),所以网站上线之后要不断跟踪分析日志,筛选出这些 badbot 的ip,然后屏蔽之。

这里有一个badbot ip 数据库:http://www.spam-whackers.com/bad.bots.htm

4、通过搜索引擎提供的站长工具,删除网页快照

比如,有的时候百度不严格遵守 robots.txt 协议,可以通过百度提供的“快照删除与更新”入口删除网页快照。百度网页投诉中心:http://help.baidu.com/webmaster/add

转载请注明:http://www.bootron.net/zxxq?article_id=10

猜你喜欢
网站怎样做好页面的关键词布置规划?
自动推送代码如何安装使用?和主动推送有什么区别?
怎样优化网站能增加回头客访问
浅谈优化文章中关键词的技巧


网站优惠活动
  
注册域名
  • 暂无相关记录!