robots协议例1

为什么要运用“Robots协议”？除了保护隐私之外，是否还有其它目的？李哲解释说：我先对搜索引擎原理做个解释。搜索引擎的工作分为三个阶段：第一，释放蜘蛛，将所有能抓取的网站内容收集起来，其为信息收集阶段；第二，入库，分析，做词表，建立索引；第三，响应用户请求。用户通常只感知到第三个阶段。耗时最长的是第一个阶段，占总耗时80%左右。另两个阶段主要在于技术高度，在竞争中占有更重要的位置。如果竞争对手直接抓取我的信息，他只要有足够的财力和人力，前期可以把我的信息都爬完。

那么，从技术角度来看，如果不遵守“Robots 协议”会有什么后果？据了解，技术人员往往具有两面性。一方面不愿意遵守“Robots协议”；另一方面不遵守协议可能造成以下危害：1、分流目标网站流量。当网站不够大时，是欢迎爬虫的；但当网站足够大时，入口的重要性就显现出来了。当网站不是该网站所有信息的唯一入口时，会降低网站的展示率。以携程网为例，订酒店时，一般遵循“看评价，选择区域，选择酒店，下单”的顺序。假如被spider抓取，那么携程网就不是唯一入口，会对信息的展示几率造成影响。再以Etao网为例，该网站会对消费信息提供比较，从京东买8600，从其他网站买8200，这样用户就不会去点击京东了。2、安全。“Robots协议”一般不允许索引管理者网页，如果不遵守“Robots协议”，会危害网站安全。

“Robots协议”的法律定性

在百度诉360不正当竞争案中，360公司认为，“Robots协议”不是法规、不是标准，也不是合约，不存在违反与不违反的问题。相关资料也表示，“Robots协议”并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。那么，“Robots协议”在法律上终究该如何定性？

华中科技大学法学院教授郑友德：“Robots 协议”在法律上如何定性很重要。是自律性的公约，是行为准则，是同业工会的规则。我国法律对此没有规定，但德国竞争法2008年修改时做了明确界定，专门纳入规范范畴。自律公约是恶规还是良规，在德国法上，要以是否违反善良风俗加以判断。

北京理工大学法学院硕导杨华权：我们讨论爬虫协议时，要区分1994年互联网公开邮件组里讨论的爬虫协议，和依据爬虫协议制定具体的Robots.TXT文本文件。这是两个不同层次的概念。首先，从1994年开始为爬虫协议制定了强调搜索引擎需要遵循的规则。不管是称作习惯法还是什么法，或者叫做“惯例”。它是搜索引擎都要遵循的惯例。第二，爬虫协议确定了每一个网站要编写Robots.txt 的语法规则。就像我们看到GOOGLE.TXT 写的是“.”，对所有搜索引擎都是一样的；第二种写法，百度是分别针对不同的搜索引擎，比如对百度对搜狗，对谷哥允许抓什么，不允许抓什么，其他都不允许抓，这也是黑白名单问题。第三，爬虫协议要注意确定信息交流，信息沟通的原则。搜索引擎本身是促进信息流动。

中国互联网协会研究中心秘书长胡钢：中国有关“Robots协议”的法学文章、经济学、计算机学文章，都认可这是一个行业惯例。2012年经过多轮协商，达成了《互联网搜索引擎服务自律公约》。本案当事人两方都是互联网协会的重要成员。在研究方面，中国司法判决对“Robots协议”比国外还早，国外法律对该协议的法律性质认定也比较一致。美国、欧洲设置的协议大多针对内容，而中国则很多针对主体。这两者有很大区别，无法说哪个更合理，至少都是事实。去年8月份之前，中国这种情况普遍存在，业界也一般认同。互联网协会的立场是，协议的制定要经过当事人协商，协商不成的要进行票决，但这个票决规定还没有实施。

上海市协力律师事务所合伙人傅钢：第一，“Robots协议”的地位。从根本上来说，协议是基于经济学考虑而设定的，旨在加强信息快速流通，是促进信息流通便利的协定。第二，具体到本案，百度针对部分搜索引擎实施了歧视性待遇，是出于限制竞争目的，客观上限制了竞争、阻碍了信息传播、妨碍了大众自由获取信息，因而不具有合理性。

百度“白名单”的竞争法考量

“Robots协议”从1994年制定以来，设定了两个原则。第一，搜索技术应服务于人类，同时应尊重信息提供者的意愿，并维护其隐私。第二，网站有义务保护使用者个人信息及其隐私。搜索国内和美国系列网站协议后发现，美国十大网站，极少禁止某个特定爬虫来爬行；绝大多数网站设置的协议只是禁止爬行一些可能涉及用户隐私和网站经营者隐私的内容。而中国的网站运用“黑白名单”比例远远超过美国网站。竞争法只保护竞争而非竞争者，规制不正当竞争行为而不限制竞争者。那么，百度设计的针对特定竞争者的“黑白名单”行为是否符合竞争法基本理念？

华中科技大学法学院教授郑友德：协议与协议禁止访问的内容，是两个概念。百度既然设计了白名单，就意味着有相应黑名单，即把360排除出去。这一行为，是否涉及反法某个条文？我觉得很难说。除非适用反法第二条的一般条款。这让我联想到傅钢律师提出的歧视行为。这个行为是不是歧视行为呢？所谓歧视，是没有正当理由对条件相同的交易相对人在交易价格等交易条件上实行差别待遇。我认为，这是一种单方拒绝交易的行为。白名单包含的都是我愿意与之交易的伙伴，黑名单属于拒绝交易。

我看了《自律公约》第八条，限制搜索引擎抓取应当有合理的正当理由，不得利用协议进行不正当竞争。其行为是否是属于拒绝交易呢？百度在搜索引擎市场上占有支配地位，垄断法中规定没有正当理由不能拒绝与交易相对人交易。当然，在适用该条款之前要特别研究，双方之间是否具有交易关系。第二，1994年“Robots协议”一个原则是，要尊重内容提供者的意愿。有的权利人没有设置“Robots协议”，他希望自己的信息能够自由传播使用。设置“Robots协议”明显违背信息提供者意愿，这一点违背了协议的基本原则。

中山大学法学院教授谢晓尧：第一，“Robots协议”的性质必须从多个维度去考量。其一，协议是一种计算机语言；其二，一种自力性救济手段；其三，是行业内的经验性做法。第二，使用协议本身并不违法，有其合理性。判断不正当竞争，不以公民道德为标准，而以经济人为标准。反不正当竞争法一般条款判断的主体是经济人。第三，具体到本案，尽管这个措施有其合理正当性，也并不表示百度以不正当竞争一般条款进行诉讼是正确的。一般条款寻求竞争法的支持需要更多理由。从一般商业伦理规范走向一个具体判决，需要做的事情更多。刚才说到绕开协议可能只是侵犯一种技术措施，但如果要构成不正当竞争行为，从目前我国法律来看，它所侵犯的法律必须危及公共竞争秩序。这一点在我国司法实践中一直被忽略。

中国互联网协会研究中心秘书长胡钢：在中国环境下来说，我认为白名单和黑名单都是合理的。我认为，不能以欧美的标准为标准，中国有中国的做法。第二，互联网精神是开放自由流动，黑名单制度是否符合开放流动原则应该让市场说话。

robots协议例2

2013年9月25日，由于用户投诉称其搜狗浏览器的默认设置被改为IE或者360浏览器，且用户手动恢复无效，北京搜狗信息服务有限公司、北京搜狗科技发展有限公司（以下统称搜狗）以不正当竞争为由向陕西省西安市中级人民法院提起民事诉讼，奇虎科技公司、奇虎360软件（北京）公司（以下统称360）利用其开发和运营的“360杀毒”、“360安全卫士”系列软件作为杀毒软件的“监督者”地位，误导、欺骗用户，甚至直接采用破坏性技术手段，阻碍用户正常使用搜狗浏览器，破坏其向广大用户提供服务的完整性，构成不正当竞争，要求360停止不正当竞争行为，公开赔礼道歉，并赔偿经济损失4550万元。

针对搜狗的，360辩称：“搜狗所谓360篡改默认浏览器的说法不成立，360实际上是向用户提示搜狗的诱导捆绑行为，在用户知情并允许的情况下，对被篡改的浏览器进行修复，使被诱导安装的搜狗浏览器恢复为系统最初默认的浏览器，在这一过程中，360充分尊重了用户的知情权和选择权。”与此同时360还宣布搜狗不正当竞争及搜狗CEO王小川商誉诋毁，索赔5100万元。

律师坐堂：

目前，有关“3g”法律之争未来会如何发展，我们还难以断定。但该起案件却再次引发了公众对互联网信息服务市场竞争问题的关注和思考。

自2010年10月，因“360隐私保护器”爆发3Q大战以来，互联网行业围绕360的不正当竞争诉讼一直没有停止过，先后有腾讯、百度、金山、搜狗等公司与360对簿公堂，其中影响较大的一起是2011年8月腾讯向广东省高院的“360扣扣保镖”不正当竞争纠纷一案，2013年4月25日法院已对该案作出一审判决。

法院审理认为，腾讯向用户提供免费的即时通讯服务，再以此搭建平台，向用户提供网络社交、资讯、娱乐等增值服务，并为广告客户投放商业广告实现盈利，是当前国际国内即时通讯行业的商业惯例，360无权假借查杀病毒或者保护用户利益之名，侵入其他网络服务提供者合法软件的运行过程，擅自修改他人软件，破坏他人合法经营；另外，360将自己的产品和服务嵌入腾讯QQ软件界面，依附QQ庞大的用户资源推销自己的产品，拓展360软件及服务的用户，不但给腾讯造成了严重的经济损失，而且增加了自己的交易机会，违反了诚实信用和公平竞争的原则，且主观上具有明显恶意，已构成不正当竞争，判令360赔偿腾讯经济损失及合理维权费用500万元人民币，并在包括360官方网站、新浪网、搜狐网、网易网、《法制日报》、《中国知识产权报》等网站和报刊的显著位置连续15天刊登道歉声明，消除影响。这是中国互联网行业目前为止判罚金额最高的一起案例。

通过广东高院的一审判决我们可以看出，对于企业的恶性竞争司法审判惩罚力度正在不断加强。

3Q法律之争尚未结束，我国互联网行业搜索引擎巨头百度与360之间的诉讼战（简称“3B”大战）也是不断升级，愈演愈烈。随着2012年8月360搜索服务上线，百度与360之间竞争加剧。2013年2月，因百度认为360违反“Robots协议”抓取、复制其网站内容的行为构成不正当竞争，百度向北京市第一中级人民法院提讼，索赔1亿元人民币，10月26日正式开庭审理。

百度诉称，百度除向网民提供搜索引擎服务外，百度网站还设有百度知道、百度百科、百度新闻、百度音乐、百度旅游等内容，百度对这些内容享有著作权及其他合法权益。现360公然违反国际通行的“Robots协议”行业规则，不顾百度的权利声明和所采取的技术措施，非法抓取百度网站内容生成“快照”复制件存储于其自身服务器中并实时向网民提供，严重侵害了百度的合法权益，其行为已构成不正当竞争，要求赔偿其经济损失1亿元人民币以及为制止侵权的合理费用支出20万元。

对此360辩称，上述内容页面实际上是由网友提供的，根据互联网的通行规则，这些页面的相关权利属于网友，360搜索索引这些内容页面并没有侵犯百度的权益，相反还为百度带来了大量的用户和流量。百度利用“Robots协议”自设黑名单，其实质是滥用“Robots协议”，设置歧视性条款以实现限制竞争的非法目的。”

另外，百度对360也采取了相应的反制措施，如果点击360搜索结果中的百度页面链接，将强制跳转至百度首页，而无法进入具体内容页面。360表示，该行为严重违反了工业和信息化部的相关规定，是对用户选择权和使用体验的严重践踏，是极其不负责任的。日前，360以不正当竞争为由已向北京市高院提讼，索赔金额4亿元人民币。

此次3B诉讼之战首先在于“Robots协议”的法律效力如何确定。所谓“Robots协议”，又称机器人协议或爬虫协议，该协议就搜索引擎抓取网站内容的范围作了约定，包括网站是否希望被搜索引擎抓取，哪些内容不允许被抓取，网络爬虫据此“自觉地”抓取或不抓取该网页内容，其目的是为了保护网站数据和敏感信息，确保用户个人信息和隐私不被侵犯。

robots协议例3

8月16日，360搜索上线，与百度展开正面竞争，被业内称之为“3B大战”。在这场大战中，一个关于Robots协议的技术性话题浮出水面，百度指责：360搜索不顾Robots协议肆意抓取百度数据，是一种不遵守互联网基本协议的行为，对全体网民的隐私和安全都会造成威胁。360则回应：百度是在滥用Robots协议，阻碍360进入搜索市场。暂且不论两家公司的是是非非，让我们先来了解一下，什么是Robots协议？为什么会威胁网民的隐私？

我们在用搜索引擎查找资料时，不少人以为是在网络上实时搜索，这其实是一个假像，我们实际是在搜索引擎服务商的数据库中搜索。当搜索出结果后，点击链接，此时打开的才是真正的网上数据。那么，搜索引擎数据库中的数据又是怎么来的呢？每家搜索引擎，都会有一种爬虫程序（Spider），也称作机器人（Robot），它们能自动采集互联网上的网页相关信息，并存储到数据库中。

大多数网站，都会希望网络爬虫来采集自己网站的信息，这样可增加被网民搜索到的概率。但也有部分网站，出于信息垄断或隐私安全等考虑，却并不希望被搜索引擎采集到数据。不过更多的网站，它们希望网站的一部分内容被采集，而另一部分敏感内容则希望能保护起来。针对这些情况，Robots协议应运而生。

Robots协议的实体就是一个robots.txt的文本文件，存放在网站根目录下，它里面包含了一些声明内容，用来告诉搜索引擎的爬虫程序，此网站中的内容哪些可以抓取哪些不可以抓取。我们可以打开http：///robots.txt，看看实际的Robots协议文件是什么样子。

可以看到，robots.txt中有大量的Disallow（不允许）及Allow（允许）语句，每个语句后面标明了具体的文件或文件夹。第一条语句“User—agent： *”，表明此网站的协议适用所有类型的网络爬虫。也有仅针对某个特殊爬虫的，比如“User—agent：Googlebot”则表示仅针对谷歌搜索。

搜索引擎的爬虫程序，首先会读取网站的robots.txt中的声明，再确定抓取信息的权限。这就好比去到别人家里，“需要先敲门，得到许可以后才能进入客厅。除非有主人的进一步许可和邀请，否则你不能擅自进入内室，或者在别人家里四处溜达。”

网络爬虫是这样抓走网页的

Robots协议是国际互联网上网站间通行的道德规范，但它并不是命令，需要搜索引擎自觉遵守。遇到不自觉的信息采集者，完全可以绕过它采集任意数据，包括网站后台数据和个人信息等，这就构成了很大的隐私威胁。这里不妨了解一下网络爬虫的工作原理。

网络爬虫（也叫网络蜘蛛、网络机器人等，谷歌称之为漫游器），实际就是一种能自动抓取网页的程序。对此程序大家应该不会陌生，宽带之前的窄带年代特别流行的离线浏览器（下载整个网站以便离线的时候也能浏览），本质上就是一种网络爬虫程序。

网络上的所有文件，都会有一个独一无二的访问地址，即URL（统一资源定位符），也就是平常我们说的网址或链接。网络爬虫从一个初始的网页URL开始（即所谓的种子），在抓取当前网页的过程中，不断抽取出网页中包含的其他URL，放入下一步要继续抓取的网页队列，如此反复，从而实现从一个页面到另一个页面的自动爬行，漫游因特网，为搜索引擎尽可能多地搜集数据。

原理说起来简单，不过技术实现异常复杂，比如对网站结构的分析，如何识别链接，深度优先还是广度优先，海量抓取效率涉及的多线程并发，定期更新等等问题。

网站如何赶走讨厌的爬虫

从上面的分析可以看出，一方面，搜索引擎要抓取互联网上所有的网页几乎是不可能的，一是抓取技术瓶颈，另外数据存储和处理也是很大问题。但是另一方面，许多网页上看不到的后台文件，比如用户的账户信息及隐私数据等，完全有可能被网络爬虫神不知鬼不觉地抓取。而这些是不可能通过一个Robots协议文件就能阻止的。

我们的账户信息等隐私数据是怎么跑到网上的？有很多途径，比如，你在网站注册时填写的信息将会被网站保存，你发送邮件时E—mail也会游历多家网络服务器，你浏览网站时网站通过Cookies收集到本机的信息，等等。而存有我们信息的网站数据，完全有可能被网络爬虫所提取并到网络上，我们此时的隐私安全，只能看所在网站的技术力量了。

作为网站，完全可以从技术上屏蔽网络爬虫的提取。首先要找出爬虫，识别出哪些是正常的访问哪些是爬虫的访问。一般来说，爬虫程序发出的网络（HTTP）请求，其中的User Agent字段包含它所使用的操作系统、CPU类型、浏览器（现在你对网站能识别你所用浏览器的事不奇怪了吧，原来信息藏在这里）等信息。爬虫的User Agent字段一般与浏览器有所不同，比如Google爬虫的User Agent字段中会有Googlebot字符串，百度搜索引擎爬虫有Baiduspider字符串等。

有些网络爬虫，则会在HTTP请求的User Agent字段中进行伪装，刻意伪装成浏览器的访问。不过，爬虫的访问一般有一定的规律性（并且高发），而浏览器的访问随机性高一些，通过访问频率的统计，也能很容易识别出真正的爬虫程序。

robots协议例4

这种行为一般较罕见，违反国家法律以及法规的网页，一般搜索引擎是不会收录的，百度在"站长FAQ"(/search/guide.html#1)中明确指出不收录"不符合国家法律和法规规定"的网页，谷歌在这方面还是在努力中，但是随着google中国化进程的深入，对于违法内容的打击势必越来越严厉，如果大家有兴趣可以对照搜索几个色情论坛……这个具体我就不举例子了。

2、robots协议有误

由于robots协议的复杂性，导致有小部分站长在创建robots协议的出现错误误导了spider，常见的错误有以下几种：

(1)、颠倒了顺序

错误写成：User-agent: *Disallow: GoogleBot 正确的应该是：User-agent: GoogleBotDisallow: *

(2)、把多个禁止命令放在一行中

例如错误写成：Disallow: /css/ /cgi-bin/ /images/正确的应该是：Disallow: /css/Disallow: /cgi-bin/Disallow: /images/

(3)、行前有大量空格

例如写成：

Disallow: /cgi-bin/尽管在标准没有谈到这个，但是这种方式很容易出问题。

(4)、404重定向到另外一个页面

当Robot访问很多没有设置robots.txt文件的站点时，会被自动404重定向到另外一个Html页面。这时Robot常常会以处理robots.txt文件的方式处理这个Html页面文件。虽然一般这样没有什么问题，但是最好能放一个空白的robots.txt文件在站点根目录下。

(5)、采用大写。例如

USER-AGENT: EXCITEDISALLOW:虽然标准是没有大小写的，但是目录和文件名应该小写：user-agent:GoogleBotdisallow:

(6)、语法中只有Disallow，没有Allow

错误的写法是：User-agent: BaiduspiderDisallow: /john/allow: /jane/(7)、忘记了斜杠/错误写作：User-agent: BaiduspiderDisallow: css正确的应该是：User-agent: BaiduspiderDisallow: /css/……

对于robots协议，飞翔猪建议大家创建robots协议之前仔细阅读一些robots协议的教程，例如百度的帮助文件"禁止搜索引擎收录的方法(/search/robots.html)"就十分详细，google的网站管理员工具中，也有"分析robots.txt"，"生成robots.txt"两个工具，大家可以充分利用起来。

3、网站设计问题

这种情况在前几年的企业站中比较常见，最常见的情况是，整站flash，整站js，蜘蛛无法抓取，对于这样的网站，改版是最好的选择，相关讨论很多，这边就不赘述了

4、网站不稳定

网站不稳定影响收录的情况是相对比较多见，他对spider的抓取有2种影响，一种是，刚好spider抓取页面的时候你的网站无法访问，spider认为你的网站没有内容，相当长的一段时间不会继续访问，造成收录延迟，或者是spider抓取的过程中遇到了太多的错误，某一页面时而可以被抓取时而不可以被抓取，让搜索引擎认为你无法为访问者提供有用的内容——毕竟如果用户从搜索结果点击进去以后出现一个404页面是让搜索引擎很难接受的——网站不稳定的原因也包括2种情况，一种是服务器不稳定，很多站长贪图便宜，使用一些比较便宜的主机，往往每台机子上放置了数百个网站，建议站长最好选择一些比较知名的idc购买主机，譬如新网互联，时代互联，西部数码。还有一种情况，网站的程序不稳定，例如/长期无法被收录，从iis访问日志中，发现蜘蛛抓取的页面出现了多次无法访问的情况，原来该站上线之初，由于程序员在编写程序时，不注意程序的执行效率的优化，导致一部分动态页面占用了过多的资源，访问用户一多马上出现Service Unavailable提示。对于这种情况，思路就是排查占用过多资源的页面，一般而言，程序的执行时间越长，占用的资源也就越多，越容易出现Service Unavailable错误，一般的动态页面执行时间不应该超过325ms，因此我建议该站管理员在动态页面加入一段查看程序执行时间的代码，代码如下

程序顶部：starttime=timer程序尾部：response.Write(timer- starttime)&"ms"经过排查了几个执行时间超过350ms的问题页面以后，网站访问情况趋于稳定，一个更新周期以后网站就被收录了。

5、关联惩罚

所谓城门失火，殃及池鱼，如果某个网站被搜索引擎封杀，同时你的网站又不幸地被搜索引擎判定，2者之间有密切的关系，那么很遗憾，收录就是不可能的事情了，特别是百度，对于一些站群，垃圾站，seo过度站点的封杀极为严厉。关联惩罚分为三种，域名关联，服务器关联，链接关联。

(1)、域名关联。Google在早期的一项专利说明文档中有提到，whois信息可以被搜索引擎检索到并利用于结果排序中。因此，搜索引擎可以通过whois信息判断某个网站的归属，譬如你制作了一个垃圾站/被搜索引擎封杀，而后，又以相同的whois申请了一个、的域名做另外一个网站，那么/可能不会被收录，因为搜索引擎根据whois资料里的信息判断2个网站的所有者是相同的，当然，这边只是举例而已，一般而言，因为1个站被惩罚而触发域名关联的几率是比较小的。对于这种情况，建议各位站长在申请域名的时候，不要每个域名的whois信息都一样。

(2)、服务器/ip关联。如果你和被搜索引擎惩罚过的网站处于同一台服务器，或者共用一个ip，那么搜索引擎可能不会收录你的内容。不过在国内，由于多数使用的是虚拟主机，因此几百个站共用一个ip或者一台服务器也是常见的，这种情况无需担忧，但是如果是与朋友合租，一台服务器只放了几个站点，其中有个站点是被惩罚过的，那么就要小心了，应当考虑更换服务器。例如不久前朋友让我看的一个站，长期以来一直没有被收录，排除了其他因素以后，通过/ip/的同ip反查功能发现，该站和1个被k的qq空间站，还有一个几个月没被收录的私服站为邻，这才知道未被收录的原因。更换了服务器以后，本次更新周期就被收录了。

(3)、链接关联。Goolge的"网站管理员指南"(/support/webmasters/bin/answer.py?answer=35769#design)中提到，"请不要参与旨在提高您的网站排名或PageRank的链接方案。尤其要避免链接到违禁的网站或"恶邻""，明确指出链接向有问题的网站，可能导致排名或者收录问题。这就要求站长在选择友情链接的时候擦亮眼睛，除了看pr以外，还应该查看网站在百度等其他搜索引擎的收录情况，网站本身的内容质量，避免与"恶邻"为伍。

6、内容质量不高

robots协议例5

浅要的说明了网站诊断的重要性后，那倒底网站怎么做诊断呢，SEO初学者只要按照以下步骤操作，就可以对一个网站进行全面的诊断，找出网站内部的不足，以便于优化完善。下面结合一个网站的诊断实例来讲解，以便于初学者理解。

要说明的是，这个网站是推一把线下10期学员新做的一个网站，网站内容并不多，项目也是虚拟的，建站的目的是为了通过实践掌握教学内容，网站的名称叫：酿蜜坊蜂产品专卖店，网址：，以下简称“诊断网站”，不啰嗦了，下面进入如何诊断网站十二步。

第一步，检查各网页标题是否设置正确

这个诊断项目是最重要的，网站标题是搜索引擎识别、抓取，收录网站重要依据，是获得较好排名和展现给用户的第一要素，SEO没有什么比这更重要的啦。见过很多号自称SEO高手的连个标题都写不好。

正确的网站页面标题格式应该如下：(注意：指网站所有页面)

首页标题：关键词_网站名称

栏目页标题：栏目名称_网站名称

内容页标题：文章标题_栏目页_网站名称

诊断网站状况：

首页标题：蜂蜜减肥法，蜂蜜面膜，蜂蜜美容小知识—酿蜜坊蜂产品专卖店

栏目页标题：行业新闻-蜂蜜减肥法，蜂蜜面膜，蜂蜜美容小知识—酿蜜坊蜂产品专卖店

内容页标题：蜂蜜加白醋能减肥吗—蜂蜜白醋减肥方法-蜂蜜减肥法，蜂蜜面膜，蜂蜜美容小知识—酿蜜坊蜂产品专卖店

分析：目标网站首页、栏目页及内容页书写顺序正确，标题中还自动重复了首页标题，有利于搜索引擎对网站内容的理解和抓取。如果你的网站没有达到此标准，尽快改过来吧。

第二步，检查首页标题的长度及符号

在第一步中我们已经谈到网页标题的重要性，首页标题更是重中之重了，怎样写首页标题不是本文讨论的重点，但是你要知道首页标题要写好有那些要求。

要求是：标题字数不超过30个汉字，核心关键3-5个，用“，”或者“|”线隔开，公司名用“—”联接，用户搜索次数最大的关键词排在最前面，不要问我原因，你懂的。

诊断网站状况：

首页标题：蜂蜜减肥法，蜂蜜面膜，蜂蜜美容小知识—酿蜜坊蜂产品专卖店

诊断分析：诊断网站首页标题字数28字。关键词之间才用“，”分隔，公司名用“—”横线连接，符合要求。

第三步，诊断网页是否有标题重复与描述重复。

1、各网页标题诊断

要求：对各个页面进行诊断，包括首页、栏目页、内容页，每个页面标题不能重复，否则搜索引擎以为你的网站每个页面都是相同的内容，而其实每个页面的内容不可能是相同的，比如“产品中心”栏目是介绍不同产品的，“企业新闻”栏目是发表企业相关新闻动态的。

诊断网站状况：没有发现重标题的网页。

例如：企业简介栏目标题：关于酿蜜坊-要想身体好，蜂蜜的作用与功效不得了，健康天使——酿蜜坊专卖店;

内容栏目标题：油菜春浆蜂皇浆-蜂蜜减肥法，蜂蜜面膜，蜂蜜美容小知识—酿蜜坊蜂产品专卖店

2、描述重复诊断

与网页标题诊断一样，每个页面都要有不同的描述，切不要都是一样的描述内容。

要求：准确的描述网页内容，不能有关键词堆砌。每个页面都应该有不同的描述。长度合理。

诊断网站状况：没有发现重复的网页标题，但发现一些产品页描述不正确或者过于简单，产生的原因是系统自动生成，产品第一段内容很关键，尤其是前100字，要对产品进行精准的描述。

诊断分析：虽然网站没重复的标题及描述，但标题及描述不合理，网页标题没有体现该网页内容，相近度高，原因可能是网站管理系统自动生成标题和描述适成的，对于小型网站或者企业网站，建议网页标题及描述手写更准确。

第四步，网站URL的唯一性

网站URL要具有唯一性，如果不相同的页面有洋同URL，搜索引擎在排名时会分散权重，网站难以获得好的排名

要求：正确的选择首选域，内链和外链要统一，做好301重定向。

诊断网站状况：

网站首选域为：，内链和外链基本统一。

访问/index.html和xxx.cn及都是同一页面，无301重定向。

网站内链和外链建设选择为首选域。

诊断分析：做301转向对于SEO新人来说，可能技术有难度，这方面可能要请技术人员协助解决。

第五步，网站URL静态化

虽然百度SEO指南中说，百度蜘蛛对于动态网页的抓取没有岐意，但细心的你可以发现获得良好排名的网站，其URL必然是静态化的，至于什么是静态化的网页，很多初学者说会动的网页，就是动态的，其实这是错误的看法，只要URL中包含“?”“%”等符号，就是动态的网页，多说了几句，扫一下盲。

要求：网站全部采用静态化，有利于网站收录及排名。

诊断网站状况：网站所有网页均是伪静态

如：/info/contact.html

诊断分析：全站最深层次为三层，符合要求

第六步，诊断图片ALT属性

百度官方SEO指南中强调，蜘蛛暂时无法读取图片、flash等的内容，网站中出现图片时，要做好图片属性设置，也就是ALT啦，一方面它可以告诉搜索引擎这是关于什么的图片，另一方面当浏览器无法展示图片时，会以文字的形式展现，还可增加关键词密度。

要求：1、网站所有图片都加上ALT属性，命名合理，不重复。

2、图片上方、或者下方加上关键词锚文本

3、增加图片页面的内链和外链，优化重要图片

诊断网站状况：发现网站所有图片没有ALT属性，修改完善图片ALT属性，对重要图片进行优化，做好图片站内链接，图片周围多出现关键词和锚文本。

诊断分析：做好ALT属性可以展现网站对搜索引擎的友好度，增加客户体验性。

第七步，诊断robots文件

对收录及排名没有影响、不重要的网页内容，或者不想让搜索引擎抓取的内容，可以通过robots协议禁止

要求：网站中要有robots文件，并且代码正确，对不需要搜索引擎抓取的部分进行禁止。

诊断网站状况：网站有robots文件，对一些无需抓取的内容进行了禁止。

robots文件网址：xxx.cn/robots.txt

诊断分析：robots文件重要，但书写一定要正确，否则可以事得其反，最好请技术人员解决。

第八步，诊断死链接

死链接就是用户点击无法展示的页面，或者已经不在的页面，死链接会影响搜索引擎的友好度，会告成因客户体验差，而流失目标客户，严重影响转化率。

要求：网站无死链接。

诊断网站状况：整站无死链接

诊断分析：如何诊断死链接，查找死链接可以借助站长工具，这个不要我多讲吧。

第九步，网站404页面

404页面是当网站出现死链接时，自动转到404页面，引导用户浏览其它首页，避免用户流失。

要求：网站要有友好的404页，对死链接进行转化引导。

诊断网站状况：网站没有404网页，设计和完善好404页面。

第十步，网站空间速度诊断

为什么要求网站空间打开速度要快，这个问题也太小白了吧，你会在一个等了半天也不开的门前，傻等半天吗?客户是没有耐心等待的

要求：网站打开速快，不影响用户抓取和用户浏览

诊断网站状况：最快5毫秒，最慢68妙，电信平均：36毫秒，联通平均：56毫秒

诊断分析：速度就不解释了，当然是越快越好。

第十一步，快照更新诊断

只有快照更新有规律的网站，才是搜索引擎喜欢的网站，如果你的网站快照好久都没有更新，那你就要想想是不是百度不爱你啦，百度可能不喜欢你的网站了，我们必须经常更新网站内容，让蜘蛛不断有新东西吃，有新鲜感，

要求：百度快照更新不超过去3天，网站有经常更新版块，如新闻更新、产品更新、评论更新等，并适时更新。

诊断网站状况：百度第一次快照时间：2012-9-25，最新快照时间2012-10-15，更新速度慢，站内有新闻更新版块，无用户评论交互功能。

诊断分析：建议用适当提高网站外链和网站内容更新，改善两次快照间隔时间太长的现象

robots协议例6

二、日益模糊的“渠道”与“内容”

边界在传统电脑时代，聚合型应用的典型代表实际上是搜索引擎服务。虽然版权界一直将搜索引擎视为所谓的网络信息定位工具，这并不妨碍搜索引擎及衍生服务在用户心目中实际上已经成为一种强大的内容聚合工具。传统的搜索引擎服务与第三方内容之间有相对清晰的界限。搜索引擎网站在搜索界面向用户提供指向第三方内容网页的搜索结果条目。用户点击相关条目，通用的浏览器一般会跳转到第三方内容提供商的网页。搜索引擎服务商一般并不控制通用浏览器呈现第三方作品的方式；而内容提供商也能够合理预见，自己页面在该浏览器上的呈现方式不受搜索引擎服务商影响。在这一技术背景下，用户端“浏览器的跳转”相当于“渠道”向“内容”过渡的服务移交仪式，比较清楚地界定了两类服务商之间的界限。基于搜索链接的“浏览器的跳转”，对用户而言，已经相当地方便和快捷，对用户的心理感受有直接的影响。相关作品通过关键词搜索就能轻松找到，点击链接就能够即时获取。网络用户无需特别留意提供该内容的网站地址和名称。这一点点的变化就使得搜索引擎等信息定位工具的重要性更加凸显——网络用户的注意力的天平实际上不可避免地向搜索引擎服务商倾斜。在很多用户看来，互联网的入口是搜索引擎，而不是一个个内容站点。尽管如此，现有的著作权法的立法者还是相信，将搜索引擎服务提供商定位为“渠道”，而不是“内容”提供商，能够在它和被链接网站（著作权人）之间维持一种利益上的平衡。那些自愿选择对公众开放的内容提供商也的确接受了这样的制度安排。搜索引擎服务商帮助被链接网站扩散作品，从而获得更多的公众注意力；被链接网页的地址和内容得以完整呈现，这保证被链接网站能够从网页浏览量的增加中获得相应利益。如果被链接网站不满意这一安排，则可以利用在网站Robots协议中排除搜索引擎的网络爬虫机器人。主流的搜索引擎服务商大致遵守这一习惯。这样，它们就可以摆脱了著作权法上严厉的直接侵权责任的威胁。不过，从著作权法的角度看，移动网络环境下的各种应用所提供的搜索平台服务与传统的搜索引擎还是有较大的差别：首先，在移动网络下，包括搜索引擎服务在内的各种网络应用对于独立第三方浏览器的依赖不复存在。搜索引擎服务提供商使用个性化的浏览器，可以任意定义用户界面和功能菜单。电脑网络时代内容提供商对浏览器呈现作品方式的合理预期，在移动网络时代不复存在。内容提供商无法再预知各种手机应用的界面将如何呈现自己的内容，因而无法预知作品传播过程中自己的商业利益能否得到保障。其次，移动网络客户端运算能力与阅读界面的限制，导致“渠道”和“内容”的关系被重新定义。

如我们所知，手机或平板电脑的界面比较小，浏览器在呈现网页时不再像电脑界面那样充分地呈现一些次要的信息，比如网站标志、网页地址等。即便这些内容勉强以很小字体呈现，也难以引起用户注意。这反过来促使用户更依赖于聚合应用的渠道，而忽略了内容提供商的重要性。如果移动终端应用的设计者进一步滥用自己对于浏览界面的控制，会进一步强化用户对“渠道”的依赖。比如，最极端的做法是，不在浏览界面上呈现内容提供方的地址，不呈现页面上的特征性内容，等等。这样，内容提供商的角色被淡化，“渠道”服务提供商喧宾夺主，成为真正的控制者。最后，公众获取信息的方式变革也导致内容提供商地位不可避免地衰落。传统的内容提供商能够提供的信息量有限，而聚合型网站却能在很短的时间内汇聚众多内容提供商的内容链接，大大改善了用户的虚拟的访问体验。比如，如果“今日头条”可以不加限制地链接所有内容网站，它给用户带来的体验就是“今日头条”几乎能够提供互联网所有的内容。另外，搜索引擎服务商根据用户个人偏好推荐内容的网络技术和商业模式已经非常成熟。这使得大而全的网络内容聚合服务提供商也能够迎合每个受众的个性化需求。用户越多，服务商的声誉愈隆；而新增用户服务所需的边际成本几乎为零，因此此类聚合型平台呈现出很强烈的“自然垄断”趋势。市场上能够生存的“渠道”很快就具有了支配地位。分散的内容提供商与它进行版权交易谈判时，谈判能力必然被削弱。内容服务商要获得聚合型平台那样的控制力，必须收集海量的内容。这需要支付巨额的交易成本，对绝大多数内容提供商都是不可想象的。理解上述移动网络技术进步的大背景，对于我们理解聚合型网站所引发的版权问题，非常有帮助。移动网络的普及，导致那些被贴上“渠道”标签的聚合型网络应用削弱甚至取代了“内容”提供商的角色。相应地，“渠道”服务提供者从作品传播过程中所获得的利益也超过传统的“渠道”服务提供商（比如基础通讯服务、传统搜索引擎提供商等）。“渠道”和“内容”边界模糊之后，著作权法下强化“渠道”服务商的著作权侵权责任的压力就迅速增加。接下来，本文对移动网络环境下比较典型的“加框链接”和“网络转码”行为进行深入分析，揭示著作权法应对网络技术进步的合理措施。

三、名实不符的网络加框链接

所谓加框链接，是指“设链者将自己控制的面向用户的网页或客户端界面分割成若干区域，在其中部分区域利用链接技术直接呈现来自被链接网站的内容。用户在浏览被链接内容过程中，依然停留在设链者控制的页面或客户端界面上。这样，用户所获得的浏览体验与设链者自己直接提供相关内容时的体验大致相当……在具体案件中，设链者对于设链页面的技术干预程度不尽相同，这可能使得其链接行为实际上处于普通链接与加框链接之间的模糊地带。比如，设链者可能不完全屏蔽被链接网页内容，但是在被链接网页上设置显著的返回按钮引导用户返回设链者的搜索界面。”加框链接的争议在传统互联网络中就已经存在，但是在移动网络时代更加突出。如前所述，移动网络用户基于内容聚合型应用获取版权内容的习惯更加明显。聚合型应用即使不采用极端的加框链接技术，只要最低限度地维持浏览框的存在，并向用户提供方便地回到该应用的主界面的快捷键，就能够维持相当的用户粘性，并最大限度地切分作品传播所带来的利益。加框链接使得终端用户可以通过设链者提供的客户端直接访问第三方网络资源，而无需跳转到该第三方控制的网页界面。依据现行著作权法和相关司法解释，最有可能限制加框链接的是所谓的“信息网络传播权”。

不过，“信息网络传播权”侵权采用所谓的服务器标准5。直接侵权人只有将版权作品上传到服务器上并对外提供，才侵害此项权利。“被链接作品的信息网络传输行为由被链接网站完成,而作品的呈现或播放由用户或被链接的站点完成。这两类行为都没有设链者的直接参与。沿着这一思路,著作权人无法追究加框链接的设链者的直接侵权责任。”在中国的司法实践中，法院可能通过两种变通的途径追究加框链接者的法律责任。其一，先推定设链者自行上传了版权内容，然后要求设链者举证。法院对反驳证据提出很高的要求，最终导致设链者无法该推定，从而被迫承担直接侵权人责任。其二，在著作权法之外，追究设链者所谓的不正当竞争责任。不过，这两种变通途径有很大的不确定性，著作权人或被链接网站未必总能够实现自己的目标。在难以利用现有著作权法禁止加框链接的情况下，希望阻止加框链接的内容提供方，可能会采取技术上的反盗链措施阻止外部的加框链接，或者在网站的Robots协议中排除已知设链者的网络爬虫机器人的访问。反盗链措施并不一定符合著作权法上的“技术保护措施”的最低限度的要求，因而该保护措施本身可能无法得到著作权法的保护。这样，盗链与反盗链就可能演变成丛林规则主导的无聊游戏。在Robots协议中排除网络爬虫机器人，具有法律上的效果。尊重Robots协议可能被视为整个网络行业的习惯。如果法院愿意，很有可能将遵守Robots协议视为所谓的社会公德或商业道德，从而对当事人产生法律意义上的约束力。一旦设链者的网络爬虫被Robots协议排除，则事实上导致设链者不再能大规模获取内容提供方网站的作品信息，也就无法从事类似“今日头条”的实时的作品推荐阅读业务。

不过，通过Robots协议排除的只是网络爬虫机器人，法律承认这一排除的效力并不等同于否定加框链接的合法性。如果设链者采用人工浏览并设置链接方式，依然可以规避Robots协议的限制。上述分析表明，现有的著作权法选择忽略加框链接与普通链接的技术差异，导致著作权人并不能非常有效地阻止设链者利用加框链接从作品传播中获得实质性的利益。在移动网络的著作权人或用户看来，设链者利用加框链接在自己控制的客户端或页面展示来自第三方站点的版权作品，与设链者自己上传并对外提供作品，并无本质差别。这一结果明显不合理。立法者应当放弃严格的“服务器标准”，使得信息网络传播权侵权的控制范围在适当情况下延伸到加框链接。这样，著作权法才能避免陷入过度技术化的泥潭，能够及时适应技术的发展变化，重新恢复作品传播过程中相关主体之间的利益平衡关系。

四、跨越网络边界的转码行为

到目前为止，移动网络终端与传统电脑的信息处理能力还存在实质性的差异（尽管这一差异在迅速缩小）；相应地，移动网络终端的操作系统、浏览器等应用与个人电脑有相当的差别。因此，很多面向电脑终端的网页无法在手机端的浏览器正常显示。于是，一些内容聚合服务的提供商利用所谓的网页转码服务来跨越两类网络终端之间的技术鸿沟，使得移动网络客户端用户也能够比较满意地浏览传统网站的网页。内容聚合型网站在提供转码服务时，除了弥补移动网络终端技术性能上的不足、改善用户体验外，更有商业模式上的考虑。在转码过程中，聚合型应用常常有选择地剔除原网站的附带信息，比如原网站特征信息、广告、补充内容等等。转码者对原网站内容的改动，必然会影响到原网站的利益。原网站既可能提出著作权侵权指控，也可能提出与著作权无关的不正当竞争指控。由于著作权人既可能是被转码的网站，也可能独立于该网站。因此，这两类指控经常是相互独立的。认识到这一点，对于理解后文的分析思路有重要意义。后文仅仅关注著作权法问题，对于反不正当竞争问题不再讨论。技术上，转码可以通过临时复制和永久复制（更准确地说，应该是较长时间的复制）两种方式实现。所谓临时复制，即转码者根据移动网络客户端用户提交的访问请求，临时在服务器端复制被转码的网页文件并转码，然后将转码后的数据传输给用户。在用户获得有关数据实现浏览后，转码者服务器随即删除转码过程中临时保存的文件数据。所谓永久复制，是指在完成转码服务后，服务器端较长时间保留转码后的文件；其他用户有相同访问请求时，再次向该用户提交该转码后的文件。

显然，转码者在服务器上保留转码后的文件，可以避免重复转码行为，节省服务器资源，提高网络传输效率。在著作权法下，分析转码行为是否合法，首先要看转码者是否从事了著作权法意义上的复制或信息网络传播行为，然后再看它是否有合理使用之类的侵权抗辩。如前所述，转码者在提供服务过程中，不可避免地要复制（临时或永久）转码的内容并通过信息网络传输。因此，转码行为的确落入了著作权法限制的行为类别之中，有侵害著作权的可能性。接下来的问题是，此类复制和后续的网络传输行为是否构成著作权法意义上的合理使用。这一问题并没有一成不变的答案。在移动网络与传统电脑网络壁垒森严时，两个网络实际上代表着界限分明的两个市场。移动网络的转码服务使得大量移动网络用户能够自由浏览版权作品，而这些用户原本并非著作权授权时计算在内的目标群体。换句话说，转码行为实际上人为地扩大了版权作品的受众范围，而著作权人并没有获得额外的市场利益。其中的道理就像，著作权人授权他人通过无线电视网络公开传播节目，而互联网服务商通过转码使得网络用户在电脑上也能同步收看该电视节目。因此，在移动网络发展的早期，转码服务可能大大超出著作权人的预期，对著作权人的市场利益有实质性的影响，不应被认定为合理使用。因此，并不奇怪，在盛大文学有限公司诉百度公司案中，一审法院指出：“百度公司以WAP搜索方式提供涉讼作品内容的行为使用户无需访问第三方网站即可完整获得内容，其已超出了提供搜索引擎服务的正常范围，不属于法律规定的免责情形……百度公司直接、完整地将涉讼作品放置在其服务器上，由用户以点击小说搜索方式向用户提供涉讼作品，该行为属于复制和上载作品的行为，并通过网络进行传播，构成直接侵权。”不过，随着信息技术的飞速进步，移动网络客户端性能大幅提高，移动网络与传统网络之间的物理界限逐步缩小。这时候，用户通过移动网络终端访问传统电脑网络的障碍几乎消失，转码服务不再起到联通两个独立市场的巨大作用，更多地是改善客户端显示效果或用户体验。移动网络与传统电脑网络的融合趋势，也导致著作权人产生统一的市场预期。

在发放版权许可时，著作权人就预期到被许可对象将同时向无数的移动网络用户传输作品。这时候，如果转码服务只是起到帮助被许可人更有效传播作品的作用，而没有突出成为独立的传播者，则这一行为被视为合理使用的可能性还是存在的。不过，这里的前提依然是，转码服务依然应当谨慎保持被转码网站的完整性，不然转码者本身可能被视为独立的内容提供者，而无法获得合理使用抗辩的庇护。有些人可能会拿那些与转码行为十分接近的“服务器缓存”行为来类比移动网络转码行为。“服务器缓存”，是网络服务提供商为了提高网络访问速度，在自己的服务器上临时存储用户访问的网页的内容，在遇到后续相同的访问请求时，直接向用户提供缓存的页面。在符合严苛的限制条件的情况下，缓存行为被视为合理使用。这里的限制条件具体包括，“网络服务提供者为提供网络传输效率”而“自动存储”、“未改变自动存储的作品”、不要影响原网络服务提供者获得反馈信息、根据原网络服务提供者的服务变化及时做相应调整等。从著作权法的角度看，这些限制性条件与其说是为了保证缓存者不改变被缓存网页的内容，还不如说是为了避免缓存者成为独立的“内容”提供者。因为著作权法关心的是行为人是否复制或传输作品，至于是否影响被缓存者获取信息、是否改变诉争作品之外的网站信息等，与著作权法所控制的行为并无直接关联。转码服务与“服务器缓存”对于著作权人市场利益的影响有很大差别。“服务器缓存”只是在一定程度上改善了用户的访问体验（速度更快），但是并没有增加了网络受众的范围，因为相关受众在不存在缓存的情况下，原本就能够通过缓存者提供的基础网络服务获取相关作品。

因此，“服务器缓存”在一定条件下被认定为合理使用，是可以理解的。在移动网络与传统网络之间界限分明时，转码服务则实质性地增加了作品的受众范围，违背著作权人的预期。如前所述，在移动网络和传统网络逐步融合后，转码服务可能不再实质性改变受众范围，与服务器缓存对著作权人利益的影响程度更加接近了，因而有可能被认定为合理使用。国内学术界有意见认为，临时复制和永久复制所对应的两种转码方式的著作权法后果不同。前者是临时复制，不受著作权法约束；而后者则起到替代原内容提供商的作用，应当被禁止。认为著作权法不应将“临时复制”视为“复制”的意见，常常强调临时复制本身“时间短暂”、“没有独立的经济价值”、网络用户浏览过程中的临时复制合法等理由。其实，著作权法上的复制，时间长短并无一定标准；能够实现网络浏览的临时复制居然没有独立的经济价值，不合逻辑；用户浏览过程中的临时复制合法，并不妨碍临时复制被认定为著作权法上的复制。对前述反对将临时复制视为复制的意见的进一步反驳超出本文的范围。从转码服务实现商业目的的角度看，转码服务过程中的临时复制或永久复制的区分，只在技术层面有意义，在法律上没有意义。如我们所知，对于著作权人和终端用户而言，这两种转码服务的客观后果都是使得原本不能访问或不能以满意方式访问版权作品的用户得以访问或接触该作品。临时与永久复制，只是增加或减少转码者的服务器负担；对于著作权人或网络用户而言，转码者究竟是临时还是永久复制，很难查证，也漠不关心。

因此，临时与永久复制的差别可以忽略不计。就像Areo案中美国最高法院法官在忽略被告通过“单个天线加网络”的传输与传统有线电视网路传输的技术差异时所说的那样，该技术差异对于用户而言并无意义，对于广播者也没有意义。很难理解这种对终端用户和广播者而言都无法感知的技术差异为什么在法律上却是关键的。回到本文关注的转码服务，如果永久复制的转码应当被禁止，那么临时复制的转码也不应例外。

robots协议例7

国内搜索引擎市场在谷歌隐退之后，就一直处于百度一家独大的状事实上，凭借过硬技术积累和产品革新，百度在框计算、实时搜索、开放平台等方面的创新不断面世，而知道、贴吧、文库等产品的成功运营也为百度提供了优质的内容资源作为反哺，形成了良好的协同优势。加上多年来不断形成的品牌、用户习惯和成熟营销体系，百度已经成为了中文搜索的代名词。几乎所有人都相信，只要百度不犯“重大错误”，這个市场必将延续這一趋势，无论是“富二代”出身的搜索、搜搜，还是“国家队”背景的即刻，都绝难改变這一境况。

但這一局面在360正式进军搜索领域后，出现了一点新的变化。

由于事隔近月，這场大战已经告一段落，众多媒体的扎堆报道和无数业内人士吐槽使這场“3B大战”的始末完整的呈珊在了所有网民面前。

概括的说，从不按照常理出牌的奇虎360终于进军到了搜索领域，推出自有品牌的“360搜索+”，并扛起反垄断大旗以用户名义开始向百度发起直接攻击。百度不干受辱奋起反击，双方你来我往上演了一场针锋相对的大战，战火猛烈程度不输近期的“电商三国杀”，直追当年的“3Q大战”。其间双方高层更是借微博攻讦不断，互揭“伤疤”，引无数网民围观。

随着政府部门的介入以及人们关注度的自然下降，“3B大战”至9月初暂告一段落后，人们对這场战火的关注点主要落到了以下两个角度：360搜索到底能“叫嚣”出什么规模，以及百度的应对会是什么层级。

一、360罔顾robots协议的搜索“创新”，会否颠覆竞价排名模式?

所有人都相信一旦360进军搜索领域，绝不会像搜狗以及搜搜那样按部就班的搞技术和服务的竞争，毕竟搜索还是一个技术壁垒相对高的门槛。和以用户选择或提升用户体验的名义，破坏竞争对手服务和产品的整性，這正是360惯常的杀手锏。

对于搜索這样一个拥有相当技术门槛的领域，一个后进入者想要打破行业格局难度非常大，说起来无非是两条路：一种是以创新能力行非常规之事，如苹果和亚马逊在音乐、图书领域的开拓；另一种而是以非常规手段玩“创新”，360在安全市场曾经如此，如今到了搜索也一样。两者的相同之处是，在“用户为王”的网络准则下，前者会创造一个新世界，后者则仅仅是破坏一个旧格局。

简单地说，360进军搜索的意图和手段和绝大多数企业进入搜索的方式不同——第一立足点是渠道而非产品和品牌。传统的搜索公司运营模式大同小异，基本都是构建一系列基于搜索的服务(网页，新闻，图片等)，然后通过品牌，服务和各种渠道来吸引用户访问其搜索站点。360则根本没想要完全自立，在其搜索主站提供的服务里，有自身提供的服务仅有网页和视频(后来加入了奇虎问答)——一方面是技术能力不足，另一方面是渠道截杀模式根深蒂固。

而罔顾robots协议，正是360“耍流氓”最直接手段。

众所周知，robots协议是搜索行业的一种行业自律规则，并没有强制约束力。然而，即使是教科书中的搜索引擎介绍，也是遵循着Spider程序(蜘蛛爬虫)抓取系统、数据分析系统、索引及查询系统這几个部分和步骤。毫无疑问，Spider的数量和获取的数据需要巨大的投入和长时间的积累。而从目前的结果看，360很多搜索结果是直接抓取其他搜索引擎的结果获得的。业内人士称，這颇有“自己懒得查字典，直接抄别人答案”的感觉。

360的另一个“杀手锏”是，扛着以服务用户为宗旨，向垄断者挑战，获得舆论同情和心理认同。毕竟近年来越发浓重的商业气息也为百度带来许多负面认知，而超过80％的市场份额实际上也坐实了“垄断”认定。

不过，互联网资深评论人士洪波表示：“百度搜索的世纪垄断地位是市场结果，不具有排他性，用户可以自由地在百度、Google、搜狗和搜搜之间切换，毫无障碍。但据360自己披露的数据，360杀毒软件占中国安全软件83.65％的市场份额，而這个产品是排他的。”

现在人们最关注的问题则是，360的闯入会不会颠覆百度的竞价排名商业模式?

国内著名搜索引擎技术专家、中搜CEO陈沛公开表示，“在美国市场每年都会有新搜索理念向谷歌发起挑战。在中国要想改变格局，需要中国搜索厂商有颠覆性的创新，仅仅是在服务形式、呈现方式、搜索算法改进等方面做出的微创新是无法打破垄断的。”

二、百度反击直接且犀利，但哪些才是战略手段?

短期来看，受益于中小企业走到线上以及百度客户结构品牌化支持，百度的搜索服务变现效率仍处于上升渠道，营收增长处于较高水平。但在奇虎360、移动互联网和社区化這三大挑战面前，百度的好日子自去年开始已经结束。所以面对借着“3Q大战”上位、想要在自己核心业务上分食的360，百度没理由不反击。

除了推出安全搜索联盟、对360搜索结果进行提示外，8月28日百度正式对360搜索业务展开业务性反制——用户通过360综合搜索访问百度相关服务时，将会强行跳转至百度首页。对普通用户而言，這样的反击可谓直接而犀利。当然也迎来了360的下一步动作——将网址导航搜索框中之前默认的新闻、地图、MP3等百度产品全部撤掉，分别换成自有、谷歌和搜狗。

robots协议例8

中图分类号： D922・294 文献标识码： A 文章编号： 2095-8153（2016）05-0053-06

2016年5月26日，上海汉涛信息咨询公司（大众点评网的创建者和运营商）诉北京百度网讯科技公司、上海杰图软件技术有限公司不正当竞争纠纷一案在上海市浦东新区人民法院宣判。法院审理后认为，百度公司对涉案点评信息的使用已超出合理限度，实质替代了大众点评网向用户提供信息，最终导致大众点评网流量的减少和部分交易机会的丧失，具有不正当性。百度对此表示不服，认为双方在公司类型上存在差异，提供的服务有所不同，故二者之间不存在竞争关系。诉讼正在进行中，但通过辩护双方你来我往，案件争议已充分明晰。大众点评诉百度不正当竞争案，争议焦点在于百度公司网络内容抄袭行为是否为互联网不正当竞争行为。网络内容抄袭行为即将他人网站中重要内容大量复制、使用并造成相关公众混淆的行为。[1]不过在具体司法实践中，是否造成相关公众混淆行为并不是必要后果，如果大量复制抄袭行为已达到了网络用户无需进入其他经营者网站即可获得足够信息的程度，超过了适当引用的合理限度，事实上造成经营者提供的服务对其他经营者服务的实质性市场替代，那么其行为由于违反公认的商业道德和诚实信用原则而不具有正当性，构成不正当竞争①。那么，什么是市场替代？市场替代的构成，竞争关系的存在是否必须？市场替代如何界定？市场替代缺乏正当性的判断标准又是什么？本文拟结合案件审理情况以及相关判例，就上述问题展开分析。

一、互联网领域竞争关系的判断

市场替代并不是一个成熟与规范的法学概念，北京市海淀区人民法院在审理大众点评与爱帮网不正当竞争案中，首次提出上述概念。此案认为使用垂直搜索技术的爱帮对于特定行业网站的信息的利用，应控制在合理的范围内，不得对该网站造成市场替代的后果②。市场替代更像是一个经济学上的概念，此处的替代，应该是一方的提供行为满足了用户的某种需求，导致另一方交易机会的丧失，进而导致其市场份额降低的现象。由于上述提供行为涉嫌内容的抄袭，属于《反不正当竞争法》所规制的“搭便车”行为。经营者以不当手段侵犯他人的合法权益而获得竞争优势或者交易机会，违反了诚实信用原则与商业道德而具有可责性，因此可视为不正当竞争行为。不过上述逻辑推演都置于《反不正当竞争法》之内，竞争关系的判断，在论证市场替代构成时就有其必要性。

不正当竞争行为中竞争关系认定的必要性是由于反不正当竞争法的调整对象决定的。经营者之间具有竞争关系是区别不正当竞争行为与一般侵权行为的标志[2]。因此，在处理不正当竞争案件中，竞争关系的判断在该类案件中已成为后续工作的逻辑起点。在传统商业环境中，大量案件由于原告与被告之间不具有狭义的竞争关系，而被法院不予立案或者驳回原告的诉请[3]。所谓狭义的竞争关系是指商品之间具有替代关系（相同或者近似商品）的经营者之间的相互争夺交易机会的关系，商品互不相同、不具有替代关系经营者之间不存在竞争关系[4]。不过如果对竞争关系作狭义理解的话，将大大限缩《反不正当竞争法》的适用范围，而这是与该法的立法宗旨相违背的。社会化大生产竞争不断跨越行业界限的现实背景下，立法与法律实施中对竞争关系认定态度逐步宽松。而这种开放与包容的态度，在处理互联网新型不正当竞争中尤为必要。与其固守传统狭义的竞争关系定义，还不如从互联网交易模式出发，对竞争关系作广义解读。重点关注经营者是否通过不当方式、不劳而获增加交易机会从而增加自身竞争优势或掠取、减少他人市场份额、破坏其竞争利益等[5]。例如在奇虎公司与腾讯公司不正当竞争纠纷案中，法院认为奇虎公司专门针对QQ软件开发、经营扣扣保镖，以帮助、诱导等方式破坏QQ软件及其服务的安全性、完整性，减少了腾讯公司的经济收益和增值服务交易机会，干扰了被上诉人的正当经营活动，损害了被上诉人的合法权益，违反了诚实信用原则和公认的商业道德，认定其构成不正当竞争并无不当③。可见，由于互联网商业模式更新快、业务交织并转化，特别是现行互联网企业多将广告收入作为重要来源的情形下，认定两个业务关系看似不同的互联网企业之间具有竞争关系并不困难[6]。

具体到“大众点评诉百度案”中，诞生于2003年的大众点评，是中国最早建立的独立第三方消费点评网站，其主要经营模式是对美食、购物、休闲、娱乐等生活服务进行推介，网友可以通过其网站搜索不同地区的相关商户，也可以对美食、购物、休闲、娱乐等生活服务类商户进行点评④。而百度地图以及百度知道作为百度搜索的组成部分，其核心在于连接人和信息，而这同大众点评连接人和服务存在明显的区别。从这角度上讲，二者不属于同一行业，主营业务存在较大差别。

不过法院认为反不正当竞争法所调整的竞争关系，不限于同业者之间，还包括为自己或者他人争取交易机会所产生的竞争关系，以及因破坏他人竞争优势所产生的竞争关系[7]。互联网跨界竞争成为常态的背景下，从经营主体具体实施的经营行为出发考量竞争关系的存在，显得更为合理。如果双方争夺的是有相同需求的用户群体，那么竞争关系即存在。进而言之，虽然百度的主营业务为搜索，但是在行业细分、业务交叉重合日益普遍的情况下，百度涉及的业务已不局限于搜索。以其旗下的百度糯米为例，其主要经营模式与大众点评非常类似，二者在本地生活服务市场存在较为明显的竞争关系。一方面，百度地图未经许可大量、完整地使用大众点评的内容，并将由此带来的流量导入百度糯米，实质属于为他人争取了交易机会。另一方面，互联网经济是“眼球经济”或者“注意力”经济，纵然经营者主营业务有所不同，但是在免费的网络服务提供市场，二者的用户群可能相同。百度地图、百度知道、百度糯米、手机百度APP等都是百度流量和用户的入口。而大众点评因为“点评”的性质，而成为用户获取信息和数据的端口[8]。在争夺网络用户上，二者存在明显的竞争关系。大众点评积累的商家、店铺的点评信息，是最强大的内容护城河，这是通过长时间运营和积累形成的，百度地图、百度知道等未经许可完整呈现上述内容，属于明显的“搭便车“行为，破坏了大众点评的竞争优势，为自己以及他人争取到了更多交易机会。

二、 互联网领域不正当竞争中市场替代的界定

在“大众点评诉百度案”中，百度公司未经许可在百度地图以及百度知道中通过搜索技术，大量、完整呈现大众点评的点评内容，虽然不一定造成相关公众的混淆误认，但这种行为省去了得到这些智力成果应付出的经营成本，影响了相关公众对经营者网站的选择与判断，掠夺了他人的经营优势，使自己获得不正当的竞争利益[9]，属于不正当竞争行为。用户在搜素商户时，由于百度地图已经完整呈现点评内容，其进入大众点评的必要性就大大降低，百度地图、百度知道对点评内容的使用已经超越合理限度，其提供的服务构成了对大众点评提供服务的实质性替代。而如何界定市场替代，笔者以为在分析的时候，应该包含以下四个环节：存在未经许可的提供行为，提供的内容相同或近似，产生用户转移效果，其他经营者因提供行为而受损。

第一，未经许可的提供行为。相较于反不正当竞争法，知识产权领域涉及到提供行为的内容似乎更多。提供行为往往与作品的信息网络传播权相连，在最高院《关于审理侵害信息网络传播权民事纠纷案件适用法律若干问题的规定》第五条明确规定网络服务者以提供网页快照等方式实质替代其他网络服务者向公众提供相关作品的，人民法院应当认定其构成提供行为。此处的“提供行为”，应当理解为信息网络传播行为[10]。在网络环境中，取得作者或侵权网络用户的授权，是网络服务者作品提供行为的开始。网络服务过程中是否有授权行为，就是界定网络作品提供行为的根本依据或证据[11]。诚然，如果大众点评内容构成作品，那么依据大众点评与客户之间的用户协议，该著作权项下的信息网络传播权由大众点评的所有者汉涛公司享有。百度地图、百度知道未经许可通过搜索技术，抓取以及完整使用上述作品，必然构成侵权。但这不是我们所要讨论的市场替代内容，我们更关注的是由大众点评公司花费巨大人力、财力成本收集起来的其他智力成果的保护。显然，如果相关内容无法构成作品的话，这部分合法权益只能寻求《反不正当竞争法》的保护。大众点评积累的商户信息与点评内容是其付出巨大经营成本的结果，任何人未经许可的提供行为，这里的提供行为是指经营者内容抄袭行为，即通过相关技术抓取信息后，放到自身运营的网站予以展示，这些都将损害原权利人的竞争优势，而获得不正当的竞争利益，而这是反不当正竞争法所不允许的。

第二，内容相似度对比。这个可以从两个角度进行比较，一是进行细节对比，在“大众点评诉百度案”中，通过百度地图搜索商家时，相关用户评论绝大多数来自于大众点评，而且是完整呈现。而在法院审理过程中，其发现在百度地图早期安卓版本中，对其他网站信息的使用是非常谨慎而且较少的。可见，如果是少量使用或者用摘要的方式代替原网站信息，那么由于二者存在较大差异，用户如需了解详细的点评内容，还需进入第三方网站，所以难以构成实质性替代。二是进行整体比较，在“泰亚赛福诉东方安诺案”中，法院认为，二者网站首页、网站新闻中心页面、网站品牌中心页面、网站产品页面等，具有高度相似性。原告主张的相似性主要表现在页面的整体上，被告的抗辩多针对局部的细节区别，法院对被告的抗辩不予采纳[12]。在进行内容相似度比较时，可以参照知产领域中的“用户感知标准”，关注涉嫌不正当竞争经营者经营行为的表现形式所带给相应用户的感知。例如“大众点评诉百度案”中，由于使用百度地图可以查询到相关商户的点评信息，一方面，用户对于本地生活服务信息需求得到满足，另一方面，用户可能误认大众点评与百度之间存在合作。一旦用户形成习惯之后，如果不仔细关注点评内容的标识，用户可能认为点评内容来源于百度地图。

第三，用户转移与交易机会的重新配置。网络环境下的信息不断膨胀，每个人的时间和精力都是有限且宝贵的。因此，用户的注意力就成为一种稀缺资源[13]。而用户的注意力与交易机会密切相关，注意力也可通过增值服务或者提供广告等方式转化为现实的经济利益。因此，互联网竞争中，即使网络经营者提供的产业或者服务存在较大差异，但是在基础用户或者免费网络服务市场，经营者之间的经营行为大多会存在交叉。用户的转移往往意味着交易机会的减少，意味着市场份额的下降，而这也是市场替代认定中重要构成部分。例如在“汉涛诉爱帮聚信案”，法院认为，虽然爱帮网注有“在大众点评发表”字样链接标识，但爱帮网已对全部商户简介内容和绝大部分点评内容进行了充分展示，网络用户一般不会再选择点击大众点评链接标识⑤。因此，部分具有对本地生活服务相关信息需求的用户可能会转移到爱帮网上。而在“大众点评诉百度案”中，百度地图中餐饮类商户的点评信息主要来源于大众点评。以在百度地图中搜索“张妈妈特色川味馆（交道口店）”为例，网页总共有105条评论，其中99条来自于大众点评。百度地图此种大量、完整地使用大众点评的点评内容，虽然其在每条评论下注明“来自大众点评”并设置跳转链接，但最终导致的结果是用户进入大众点评的必要性已经大大降低。此外，用户在百度地图上也可以选择百度糯米团购，这在一定程度上也损害了大众点评在团购市场的竞争优势。而在团购网站的排名中，美团、大众点评、糯米网前三名的顺序已经长期没有变化[14]。百度利用其旗下的百度地图、知道等，通过抄袭大众点评内容的方式，为百度糯米赢取交易机会，存在主观恶意，不具有正当性。其导致用户的转移与交易机会的重新配置，促使了百度地图对大众点评的实质性替代。这种替代不仅仅是网页内容的替代，而且是其他网络服务提供者提供服务的替代，例如本地信息查询服务、团购服务等。

第四，其他经营者的合法权益因提供行为而受损。一般而言，如果行为未对竞争对手的利益构成损害，则很难认定其违法[15]。在市场替代界定的过程中，其目的还是在于对提供行为予以法律规制，保护一方经营者的竞争利益。因此，利益的受损作为提供行为的结果，在行为定性过程中必须予以考察。具体到“大众点评诉百度案”，百度地图以及百度知道等通过技术手段获取点评内容，从而丰富自己的页面，其侵犯的是大众点评潜在的交易机会，瓦解了大众点评往日通过努力而形成的竞争优势。虽然大众点评具体损失以及百度的获利实际上是难以计算的，但这并不影响对大众点评受损以及提供行为与利益受损之间因果关系的判断。通过逻辑推演以及抽样调查，基本上可以判定，百度的行为损害了大众点评的交易机会。

综上，市场替代是放置于反不正当竞争法角度去分析的，因此它同知产领域提供行为侵犯信息网络传播权就具有明显区别。此外《反不正当竞争法》更多的是被视为知识产权的补充规范[16]。市场替代的提出，其原本目的在于运用竞争法的开放性，去保护那些经营者虽然付出成本但不构成作品的内容，通过抑制“搭便车”的行为从而鼓励创新，这个基本判断是在市场替代界定过程中应当坚持的。市场替代的起点在于未经许可的提供行为，提供的内容不限于作品，但与原权利人所收集、整理、创作出来的内容相同或者实质近似，内容的提供实质效果在于服务的提供，从而获取用户的关注与交易机会，最终导致原权利人利益受损与市场份额的减少。但市场替代的构成，不能仅限于界定，如果要对其进行否定性评价并予以规制，还要分析这种替代行为缺乏正当性。

三、互联网领域市场替代缺乏正当性的判断标准

首先，可以肯定的是，市场替代行为是一种竞争行为，但是其并属于《反不正当竞争列举的不正当竞争行为。作为一种新型的互联网竞争行为，其正当性的判断只能有赖于《反不正当竞争法》第二条即一般条款，通过诚实信用原则与公认商业道德等来判断其是否缺乏正当性。而在反不正当竞争法中，诚实信用原则主要体现商业道德⑥。因此，在判断市场替代行为是否具有正当性时，只要重点分析该行为是否违反商业道德。在“大众点评诉百度案”中，法院只是概括性的指出百度公司行为违反了公认的商业道德和诚实信用原则，并没有详细的分析论证。下面从行业惯例、比例原则下的价值判断两个角度就上述问题做个简要分析。

第一，行业惯例的角度。如果对“百度诉360违反Robots协议案”、“腾讯诉360不正当竞争案”等加以分析的话，可以发现：通过援引行业规则来认定互联网领域的商业道德，进而判断涉诉行为是否具有正当性，成为当前部分法院审理互联网新型不正当竞争案件的基本思路[17]。在“大众点评诉百度案”中，百度公司声称其为搜索引擎服务商，其遵守了国际通行Robots协议。那么它是否可以依此免责呢？Robots协议作为最初由互联网技术人员发展出来的技术规范，类似于在新型市场生态中自发生长出来的秩序。在后续的实践中其被证明是有效的，而逐渐成为搜索引擎行业公认的、应当被遵守的行业通行规则或者商业道德[18]。但仅将Robots协议作为行业惯例似乎还不够，将Robots协议与《互联网搜索引擎服务自律协议》一起纳入评判标准，才能彰显互联网公认的商业道德内涵⑦。而依据《互联网搜索引擎服务自律协议》第十一条：“倡导公平理性竞争，抵制不正当竞争行为，维护公平、开放、竞争、有序的市场秩序等”，虽然该条是一个倡导性的规定，但也从侧面说明即使搜索公司遵守了Robots协议，但是如果其通过不合理的技术手段获得竞争优势，或者为他人争取交易机会，其行为也可能被视为违反了自律协议。这是依据百度公司的主张所做的分析。但现实生活中，百度地图、百度知道由于提供了商户的信息以及点评，同时设置了团购链接，导向美团，其提供的服务似乎已经超越了搜索服务的范围。面对这种跨界竞争行为，行业惯例可能并不成熟，这时对于商业道德的理解，似乎只能从更广义的角度，从经营者、消费者、社会公共利益三个维度进行解读。例如，从经营者权益保护的角度，在互联网市场，经营者只要通过不当途径攫取更多商业机会、争取更多交易对象从而牟取更多经济利益，皆可认定该行为违反了互联网领域公认的商业道德[19]。综上，无论是从行业惯例，还是从广义经营者保护的角度，市场替代行为都可以被视为违反诚实信用原则或者公认的商业道德的不正当竞争行为。

第二，比例原则下的价值判断。公认的商业道德、商业伦理等均是非常抽象的概念，而且道德具有多元性、滞后性，在互联网领域可能尚未形成确定的公认商业道德，其在具体案件中如何理解和适用存在非常大的不确定性。无论是借助行业惯例，还是法官创设规则予以运用，都面临较大的主观性，存在一定不足。而如果利用比例原则进行价值判断与衡量的话，将相关环节细化，似乎可以解决上述问题。例如参照兰磊提出的客观性分析框架，回答以下问题：第一，当受诉行为对《反不正当竞争法》保护的利益造成损害时，是否带来正当的抵销性利益；第二，是否有同等有效损害性更小的替代方式；第三，即便没有这样的替代方式，它造成的损害是否远远超过所带来的抵销性利益[20]。以百度地图使用大众点评的点评内容为例，可以肯定的是，百度地图作为一种工具性应用，其呈现商户的相关信息与点评内容，可以让用户在检索过程中对检索内容有一个全面直观的了解。此外内置百度糯米链接，也可以满足用户的多样需求，降低二次检索时间成本。从这个角度而言，百度公司的这种信息分享行为带来了一定的社会正向收益。但是该行为是以损害大众点评的现实利益为代价，如果对上述行为予以放任的话，最终的后果是抑制社会创新，经营者层面与社会长远层面的负面影响不可估量。此外，从替代方式上讲，百度完全可以以摘要或者部分展示的方式，合理使用点评内容。但现实中，百度公司并没有这样做，而且在一审判决之后，依旧完整展示大众点评中的内容，可见其存在明显的主观恶意。综上，可认为百度的市场替代行为违反了公认的商业道德，不具有正当性。

四、结语

“大众点评诉百度案”之所以能够引发广泛关注，除了行为定性存在争议外，更深层次的原因在于其带给大家的疑惑，即在跨界竞争成为常态的背景下，合理的竞争边界在哪。信息的分享与自由流动，能给民众带来便利，提升社会公益。但是如果允许对信息相关内容的无序使用，那么最终导致的结果是经营者的辛苦付出得不到珍视，抑制社会创新。如何兼顾经营者的合法权益、消费者利益、社会公共利益，是我们在处理互联网新型不正当竞争所要考虑的。

目前，网络环境下互联网公司以优势业务为基点，不断开发增值业务。如百度公司以搜索引擎打开市场，然后凭借市场优势开展知道、贴吧、地图、音乐等[21]。在这种商业模式下，竞争越来越表现为领头羊之间的竞争，全网络竞争，同业经营的界限不断被模糊。百度公司的服务已经超越搜索，业务深入到多个领域。百度地图，除了提供定位、导航等常规服务外，也为用户提供商户信息查询、团购等服务。因此，在界定竞争关系的时候，宜从广义的角度。不管其行为主体是否从事相同或相似但具有替代功能的产品服务之经营，也不管是否同属于同一行业或同一经济等级，一旦行为表现为通过不当方式增加与有限用户交易的机会从而攫取自己业务的竞争利益或破坏、减少本应属于他人的竞争优势，皆可认定存在竞争关系。

竞争关系的判断是逻辑的起点，在此基础上，需要进一步分析不当手段是什么，交易机会是如何丧失的。具体到本文中，就是要对市场替代行为进行认定。结合“汉涛公司诉爱帮聚信”、“大众点评诉百度案”，笔者尝试从中提炼出一些标准或者类型化行为。例如要看被诉一方是否有未经许可的提供行为，提供内容与其他经营者花费巨大时间精力和巨大投入积累的网站内容是否相同或者相似，最为重要的是要看是否达到用户转移的效果，即用户进入其他经营者网站的必要性降低，最后检验经营者是否因此遭受损失等。

“大众点评诉百度案”一审业已尘埃落定，大众点评获赔323万。但相关纠纷并没有就此化解，百度很有可能提起上诉，案件依旧存在很大的不确定性。但是该案给我们研究市场替代行为提供了一个鲜活的素材，赔偿不是重点，关键在于互联网竞争规则的明确。市场替代行为之所以为《反不正当竞争法》所限制，原因在于这种“搭便车”或者“不劳而获”的行为，损害了其他经营者的合法权益，违反了公认的商业道德。如果不加以限制的话，可能就没有企业再愿意投入巨额成本进行某些创新性、基础性的工作，最终会抑制企业的创新动力，这是我们所不愿意看到的。

[参考文献]

[1]刘继峰.竞争法学（第二版）[M].北京：北京大学出版社，2016：387.

[2]周樨平.反不正当竞争法中竞争关系的认定及其意义――基于司法实践的考察[J].经济法论丛，2011（2）：81-82.

[3]王永强：网络商业环境中竞争关系的司法界定――基于网络不正当竞争案件的考察[J].法学，2013（11）：142.

[4]孔祥俊，刘泽宇，等.反不正当竞争法原理・规则・案例[M].北京：清华大学出版社，2006：34.

[5]叶 明、陈耿华.互联网不正当竞争呢个案件中竞争关系认定的困境与进路[J].西南政法大学学报，2015（1）：86.

[6]王艳芳.《反不正当竞争法》在互联网不正当竞争案件中的适用[J].法律适用，2014（7）：4.

[7]任重远.“跨界”竞争的正当边界大众点评诉百度地图案一审获胜[EB/OL].[2016-06-08]http：///content/117477.

[8]张兴军.百度O2O逆袭[J].中国经济信息，2015（14）：29-30.

[9]杨 帆.商业抄袭行为的法律规制[D]，重庆：西南政法大学，2014：12.

[10]张玲玲.网页快照提供行为的著作权侵权判定――兼评《最高人民法院关于审理侵害信息网络传播权民事纠纷案件适用法律若干法律问题的规定》第五条[J].知识产权，2015（4）：42.

[11]詹启智.论网络作品的提供行为[J].法学杂志，2014（4）.

[12]程 艳，胡长涓.司法审判中对“搭便车”行为的认定分析[J].网络法律评论，2013（2）：44.

[13]朱理.互联网领域竞争行为的法律边界：挑战与司法回应[J].竞争政策研究，2015（1）：11.

[14]贺 俊.百度拿四成现金帮糯米网备战欲年内超过大众点评挑战美团[N].证券日报，2015-7-6（3）.

[15]黄 勇.论互联网不正当竞争的“新边界”[J].电子知识产权，2015（1）：63.

[16]杜 颖.“怕上火广告语”的冷思考兼谈《反不正当竞争法》一般条款[J].电子知识产权，2016（2）：56.

[17]吴太轩.互联网新型不正当竞争案件审理过程中商业道德的认定规则[J].现代财经，2016（1）：24.

[18]蒋 舸.《反不正当竞争法》一般条款在互联网领域内的适用以 robots 协议案一审为视角[J].电子知识产权， 2014（10）：49.

[19]李生龙.互联网领域公认商业道德研究[J].法律适用，2015（9）：60.

[20]兰 磊.比例原则视角下的《反不正当竞争法》一般条款解释――以视频网站上广告拦截和快进是否构成不正当竞争为例[J].东方法学，2015（3）：81.

robots协议例9

百度方面认为，360搜索在未获得百度公司允许的情况下，违反业内公认的R o b o ts协议，抓取百度旗下百度知道、百度百科、百度贴吧等网站的内容，已经构成了不正当竞争，并向奇虎索赔1亿元。此案也被业内称为“3B搜索大战”的再次升级， 围绕“R o b o ts协议”展开的新一轮“3B搜索大战”，不仅关系到当事双方的切身利益，还将影响到协议的法律地位和行业规则的认定，备受关注。

反不正当竞争

10月16日，百度诉奇虎360违反“Robots协议”抓取、复制其网站内容侵权一案在北京市第一中级人民法院开庭审理。

会议

10月19日，北京市法学会知识产权法研究会在北京召开第一次会员代表大会。

北京市法学会知识产权法研究会

该研究会的宗旨是团结首都知识产权法学工作者和法律工作者，以中国特色社会主义理论体系和社会主义法治理念为指导开展知识产权法学研究和法学交流活动，紧密联系实际，推进知识产权法学发展，发挥知识产权法学研究与实践的专业职能作用，为首都发展建设和社会文明和进步做出积极贡献。研究会的成立，弥补了在知识产权人才密集和实践经验丰富的首都长期没有知识产权法研究会的缺陷。

商标

11月初，Gucci状告Guess商标侵权诉讼案在南京获得胜诉，法院宣判称，被诉方G u e ss的商标侵权及不公平竞争行为严重损害了Gucci品牌声誉。

此次学术盛会紧紧围绕“知识产权与创新发展”主题，设置了知识产权法基本理论、知识产权立法与修法热点、知识产权战略反思与推进、知识产权司法保护、知识产权滥用与反垄断、技术发展与知识产权、知识产权行政保护、创意产业的知识产权问题、国际知识产权保护与海外维权、商业标志的知识产权问题、商业秘密保护等12个专题开展分论坛交流研讨，聚焦我国发展中的重大知识产权问题。

robots协议例10

中图分类号：TP393.08 文献标识码：A 文章编号：1007-9416（2016）10-0202-01

面向服务的体系架构（Service-Oriented Architecture， SOA）作为一个全新的网络架构和组件模型，在提供便利的同时也面临安全方面的挑战。SOA系统不但会受到传统的网络攻击，如重放攻击、注入攻击等，也会受到各种DDoS攻击。近日有研究表明，假冒搜索引擎爬虫已经成为第三大DDoS攻击工具。本文所介绍的基于SOA架构下的DDoS攻击检测方法主要针对当今比较流行的利用网络爬虫所发起的DDoS攻击。

1 SOA安全问题研究

SOA是一个组件模型，它将应用程序的不同功能单元（即服务）通过这些服务之间定义良好的接口和契约联系起来。SOA目前在很大程度上还是比较依赖Web服务，特别是一些面向服务技术在SOA架构上的应用，导致SOA在提供了良好的便捷的同时也避免不了一些安全隐患。而目前来看SOA往往大多应用在企业级平台之上，它所承担的服务不再单纯的是一种技术能力，而更多的是一种业务能力和IT资产。因此研究SOA架构下安全问题，特别是安全检测技术，在风险到来之前提前预测、感知和及时响应具有十分重要的意义。

2 网络爬虫技术

2.1 网络爬虫概述

网络搜索引擎的主要数据来源就是互联网网页，通用搜索引擎的目司褪蔷】赡艿奶岣咄络覆盖率，网络爬虫（又称网页蜘蛛或者网络机器人），就是一种按照特定规则，自动抓取互联网信息的脚本或者程序。 搜索引擎利用网络爬虫技术爬取Web网页、文件甚至图片、音视频等多媒体资源，通过相应的索引技术处理这些信息后提供给用户查询。

2.2 网络爬虫的安全性问题

网络爬虫策略就是尽可能多的抓取互联网中的高价值信息，所以爬虫程序会根据特定策略尽可能多的访问互联网上的网站页面，这毫无疑问会占用目标网站的网络带宽和Web服务器的处理开销，特别是一些小型网站，仅仅处理各种搜索引擎公司的爬虫引擎就会导致自身服务器“应接不暇”。所以黑客可以假冒爬虫程序对Web站点发动DDoS攻击，使网站服务器在大量爬虫程序的访问下，系统资源耗尽而不能及时响应正常用户的请求甚至彻底崩溃。不仅如此，黑客还可能利用网络爬虫抓取各种敏感资料用于不正当用途。比如遍历网站目录列表；搜索测试页面、手册文档、样本程序以查找可能存在的缺陷程序；搜索网站管理员登录页面；搜索互联网用户的个人资料等等。

3 恶意爬虫DDoS攻击的防范和检测

一般情况下，因为特定网站的特殊原因，比如有些网站不希望爬虫白天抓取网页，有些网站不希望爬虫抓取敏感信息等，所以爬虫程序默认是需要遵守Robots协议，所以限制爬虫最简单直接的方法就是设置robots.txt规则。然而并不是所有的搜索引擎爬虫都会遵守robots规则，所以仅仅设置robots是远远不够的。

3.1 日志分析来检测恶意爬虫攻击

（1）分析服务器日志统计访问最多的IP地址段。

grep Processing production.log | awk ’{print $4}’ | awk -F’.’ ’{print $1〃.〃$2〃.〃$3〃.0〃}’ | sort | uniq -c | sort -r -n | head -n 200 > stat_ip.log

（2）把统计结果和流量统计系统记录的IP地址进行对比，排除真实用户访问IP，再排除正常的网页爬虫，如Google，百度，微软爬虫等。很容易得到可疑的IP地址。分析可疑ip 的请求时间、频率、refer头等，很容易检测是否网络爬虫，类似如图1所示日志信息明显是一个网络爬虫。

3.2 基于访问行为特征检测爬虫DDoS

通过日志分析来检测恶意爬虫攻击，无法及时检测并屏蔽这些spider。所以面对分布式的爬虫DDoS攻击，网站很有可能无法访问，分析日志无法及时解决问题。针对恶意爬虫程序和正常用户访问之间的行为特征不同，爬虫DDoS程序为了达到占用系统资源的目的，其访问往往是频率很高而且呈明显规律性，明显区别于真实正常用户浏览访问时的低频率和随机性，所以基于统计数据或者其他应用识别或者IPS技术，可以较容易的生成正常情况下的行为模型，通过采集正常的流量行为可以构造一个正常的网络行为模型，我们可以把处于正常模型内的流量行为认定为正常行为，一旦和正常行为轮廓有了较大的偏离，可以认定为异常或者攻击行为。

4 结语

由于基于SOA的网络系统下的DDoS攻击的普遍性，以及网络爬虫及其对应技术给现有Web系统带来的安全威胁。本文提出了一些反恶意爬虫攻击的策略和思路，对网站管理及安全人员，有一定的参考意义。随着基于网络爬虫和搜索引擎技术的互联网应用日益增多，我们有必要针对这些应用带来的安全问题做更深入的研究。

参考文献

[1]袁志勇.分布式拒绝服务攻击的攻击源追踪技术研究[D].长沙：中南大学，2009.

[2]何远超.基于Web的网络爬虫的设计与实现[J].网微计算机信息，2007，23（21）：119-121.

[3]周伟，王丽娜，张焕国，傅建明.一种新的DDoS攻击方法及对策[J].计算机应用，2003.01：144.

[4]王希斌，廉龙颖.网络安全实验中DDoS攻击实验的实现[J].实验科学与技术，2016，14（1）：68-71.