[ 張平 ]——(2013-6-6) / 已閱11164次
◇ 北京大學法學院教授、博士生導師 張 平
2012年8月，360公司與百度公司關于搜索引擎爬蟲行為爭議引發的“三百大戰”，將互聯網行業多年遵循的處于后臺的行業慣例，即“爬蟲協議”的法律效力問題推到了前臺。
爬蟲協議的概念，源自英文的“robots,txt”，即網絡機器人協議。robots協議官方網站（http://www.robotstxt.org）對網絡機器人（robots）所下的定義為：網絡機器人（也叫網絡游客、爬蟲程序、蜘蛛程序），是一種自動爬行網絡的程序。而爬蟲協議即robots協議是指網站所有者利用robots文本文件指導他們的網站如何應對網絡機器人，允許還是拒絕網絡機器人抓取信息的協議。
多年來，業界一直遵循這種技術協議。現在的問題是，如果違反這一協議，是否構成違約或者侵權，是否有不正當競爭行為，而在無法尋找到直接的法律規范的情況下，能否依反不正當競爭法尋找解決問題的途徑。
反不正當競爭法由于頒布時間過早，對于之后的技術發展很難有預見性，其規定的具體不正當競爭行為沒有適用于互聯網領域的不正當競爭現象。因此，大家都將目光投向了反不正當競爭法的一般條款，試圖通過適用一般條款，對互聯網的競爭行為進行規制。
反不正當競爭法的一般條款規定在第二條第一款：“經營者在市場交易中，應當遵循自愿、平等、公平、誠實信用的原則，遵守公認的商業道德。”以及第二款：“本法所稱不正當競爭行為，是指經營者違反本法規定，損害其他經營者的合法權益，擾亂社會經濟秩序的行為。”構成適用反不正當競爭法一般條款的構成要件是：第一，法律對該種競爭行為未作出特別規定；第二，其他經營者的合法權益確因該競爭行為而受到了實際損害；第三，該種競爭行為因確屬違反誠實信用原則和公認的商業道德而具有不正當性或者可歸責性；第四，擾亂了正常的經濟秩序。
由上述分析可知，一般條款適用的核心點為誠實信用和遵守商業道德，二者是判斷競爭行為是否正當的基礎。當面臨某一競爭行為是否構成反不正當競爭法意義上的不正當競爭行為時，應考量其是否違背了誠實信用原則或違背了基本的商業道德。
最高人民法院在“海帶配額”案中對于反不正當競爭法意義上的誠實信用原則以及商業道德進行了具體的解釋：“在規范市場競爭秩序的反不正當競爭法意義上，誠實信用原則更多的是以公認的商業道德的形式體現出來的。商業道德要按照特定商業領域中市場交易參與者即經濟人的倫理標準來加以評判……反不正當競爭法所要求的商業道德必須是公認的商業道德，是指特定商業領域普遍認知和接受的行為標準，具有公認性和一般性。即使在同一商業領域，由于是市場交易活動中的道德準則，公認的商業道德也應當是交易參與者共同和普遍認可的行為標準。具體到個案中的公認的商業道德，應當結合案件具體情形來分析判定。”
互聯網行業中公認的商業道德更多地體現為互聯網行業的基本行為準則，相關行為準則表現為從事互聯網行業的企業所普遍接受的行為規則。但這些行為準則并非法律法規明確規定，而是在具體的商業實踐過程中被企業在實際經營活動中所遵循。對于這些行為準則的違反意味著對商業道德的違反，相關行為可能構成反不正當競爭法一般條款所規定的不正當競爭行為，應受反不正當競爭法的規制。
而從行業內的基本實踐以及法院的相關判決中我們可以看出，遵守爬蟲協議已經成為互聯網行業的基本行為準則。
1994年6月30日，在經過搜索引擎技術人員以及被搜索引擎抓取的網站站長共同討論后，robots.txt協議正式發布。協議在世界互聯網技術郵件組發布后，幾乎所有的搜索引擎均在商業實踐中予以采用并遵循，包括最早的altavista，infoseek，后來的google，bing，以及中國的百度，搜搜，搜狗等公司。在中國國內互聯網行業，大型網站也基本都將爬蟲協議當作一項行業基本準則。
從法院判決的角度考察，國內存在一些具有指導借鑒意義的判例，法院在判決中對爬蟲協議作為行業基本行為準則的效力進行了相應的確認。
在一起有關百度搜索侵犯隱私權的案例中，原告向萬網公司發送了附有其個人信息的電子郵件，但是通過百度搜索，可以搜索到萬網公司電子郵箱中關于原告的個人信息，因此，原告起訴兩家公司，要求其就對其隱私權的侵害賠禮道歉并賠償損失。北京市第一中級人民法院認為，萬網公司已按行業慣例在根目錄下安裝了禁止鏈接的robots協議，即采取了安全防范措施。百度搜索引擎在進行抓取和收集互聯網信息時，除非有證據證明其惡意獲取相關信息，否則其行為并無不當。因此，對于搜索引擎來說，只要其在進行信息收集及抓取的過程中遵守了爬蟲協議，就不會構成侵權。
北京一中院在另一起浙江泛亞電子商務有限公司訴百度著作權侵權的案件中，再一次確認了爬蟲協議的相關效力。原告泛亞公司稱在百度搜索其享有著作權的三首歌曲時，百度會提供可以進行免費下載該歌曲網站的鏈接，侵犯了其著作權。法院在判決中認為，權利人在針對搜索引擎的維權行為中，可以選擇明示禁止收錄的措施，比如網站可以創建robots.txt文件，以告知搜索引擎哪些內容可以收錄，搜索引擎可以合法地收錄未被禁止鏈接的網站。從這份判決可以看出，搜索引擎在提供搜索服務時，應當遵守爬蟲協議。因此，遵守爬蟲協議已經成為互聯網行業內部的行業基本規范與準則。違反爬蟲協議的行為可能構成不正當競爭。
在技術快速進步的時代，規制技術前沿領域是十分困難的，多變的互聯網一夜之間就會產生出許多新的商業模式。技術開發者以技術先進性為追求目標，商人以最大盈利為目標，他們在推出新的商業模式和新技術時不會太多考慮法律的存在。于是在互聯網領域，技術的快速發展與法律的嚴重滯后這一矛盾就更加突出。面對這一矛盾，法律的原則性條款在解決新問題方面有著得天獨厚的優勢，學者與司法實踐人員都越來越注重原則條款在反不正當競爭領域內的作用，試圖通過適用一般條款對互聯網的競爭行為進行規制。
我們也應注意到，在法律缺位時，互聯網也依靠她自身強大的調節作用、依靠技術標準和行業自律規則保持著良好運轉：
第一，依靠技術規范管理——技術標準發揮重要作用。現代互聯網是依據技術協議構建秩序的，經由各種組織和工程師們的多種匯集產生的基礎協議TCP/IP協議最具有代表性，它是被用作連接計算機和網絡的上百個協議的基礎，其構建了信息傳輸的一整套技術標準。在這些技術標準中，盡管充滿著創新的結晶——專利技術，但他們都被無償地奉獻給了互聯網的基礎設施。這些協議規范著信息高速公路上的通行者，沒有警察但是有紅綠燈，這是嚴格的技術規范世界。新的技術標準也可能會影響預料之中和預料之外的網絡法律關系。云技術介入互聯網，物聯網的開始都是技術標準先行，工程師們繼續發展新的協議去擴展互聯網的容量和效率。隨著新的標準的采納，技術將繼續推動法律產生變化。從這個意義上看，掌控了互聯網新的技術標準，也就掌控了未來法律的方向。
第二，非正式規則與慣例——行業慣例與自律規則發揮作用。千百年來習慣法確立的是：慣例和習俗能確定什么是合理的。在缺乏強制性規則和技術標準的互聯網領域，慣例和習俗形成的規律是：最初時大家各自采用不同的做法，隨后某個人或某些人提出一種倡議的規范，慢慢地開始有人遵循使用。隨著使用的人越來越多，逐漸演變成行業通用的慣例，大家都遵照使用。但規范本身并未被法律或行業組織確定為具有強制性，例如超文本傳輸協議（Http協議）、記錄網民訪問記錄的Cookie以及前文涉及的爬蟲協議等。
這些規范對于調節互聯網參與各方的行為發揮著重大的作用。互聯網沒有國界，如果某一國家的互聯網從業者不遵守國際通用的規范，將受國際互聯網行業的排擠，使整個國家的互聯網行業無法融入世界。因此，如果是國際通用的技術標準或行業慣例，法院應當將其確立為具有法律效力的商業習慣法，在發生違約或者侵權案件時，自愿性的規范應當被倡導，而基于商業道德和行業慣例的自律規則更應當得到法律的支持，反不正當競爭法的一般條款當為合適選擇。
