百度訴奇虎360違反“Robots協議”侵權案
百度訴奇虎360違反“Robots協議”抓取、復制其網站內容侵權一案, 2013年10月16日上午在北京市第一中級人民法院開庭審理。
百度方面認為,360搜索在未獲得百度公司允許的情況下,違反業內公認的Robots協議,抓取百度旗下百度知道、百度百科、百度貼吧等網站的內容,已經構成了不正當競爭,并向奇虎索賠1億元。
百度公關部郭彪向媒體表示,Robots協議是網站信息和網民隱私保護的國際通行規范之一,理應得到全球互聯網公司的共同遵守。不尊重Robots協議將可能導致網民隱私大規模泄露。
郭彪表示,更嚴重的是,奇虎360還利用360瀏覽器等客戶端,強行抓取網民的瀏覽數據和信息到搜索服務器,完全無視Robots協議。這一做法目前已經導致大量企業內網信息被泄露。去年底,百度工程師通過一個名為“鬼節捉鬼”的測試,證明了360瀏覽器存在私自上傳“孤島頁面”等隱私內容到360搜索的行為。
360方面則認為,百度公司濫用Robots協議,設置歧視性條款以達到限制正當競爭的目的。360抓取的內容頁面實際上是由網友提供的,根據互聯網的通行規則,這些頁面的相關權利屬于網友,360搜索索引這些內容頁面并不涉嫌侵犯百度的權益,實際上還為百度帶來了大量的用戶和流量。
百度:Robots協議是行業規范
據中國之聲《央廣新聞》報道,由于360搜索并不遵守搜索引擎通用的Robots協議,導致很多網站出于安全和隱私的考慮、不允許搜索引擎抓取的一些內網信息,也被泄漏在了360搜索上,這些隱私甚至可能包括銀行帳號、密碼、內部郵件等一些信息。
百度公關部郭彪對此表示,此前媒體報道的寶鋼、 AMD、臺灣長庚大學等知名機構內部要求卸載360全部產品,正是因為擔心內部商業信息和個人隱私可能被上傳泄露。Robots協議的目的,也是為保護網站數據和敏感信息以及用戶個人信息和隱私不被侵犯。作為隱私保護的國際通行規范,Robots協議應該得到業內的共同遵守,這也是最大程度保護網民隱私和利益的前提。
“如果百度都無法以Robots協議保護自己,那么淘寶、京東等商業數據網站,國內大量中小網站,甚至企業內網,就更沒有保護自己的能力了。”百度公關部郭彪認為。
據百度介紹,早在2008年,淘寶通過Robots協議以保護商業信息為由不同程度禁止百度、谷歌等搜索爬蟲對其商品信息的抓取。盡管淘寶數據存在巨大商業利益,百度在技術上也完全具備抓取能力,但百度嚴格遵守了Robots協議,立即停止了抓取淘寶網內容。
2012年11月,中國《互聯網搜索引擎服務自律公約》首次將遵守Robots協議(爬蟲協議)的規定納入實質性條款,確定了Robots協議作為行業規范的地位。《自律公約》第七條明確指出,搜索引擎服務應當“遵循國際通行的行業慣例與商業規則,遵守機器人協議(Robots協議)”,第九條則規定了違反Robots協議抓取內容的企業,應在收到權利人符合法律規定的通知后,及時刪除、斷開侵權鏈接,努力維護健康有序的網絡環境。
違規抓取相當于“對不動產的非法侵入”?
2008年,大眾點評曾狀告愛幫網,以“垂直搜索”之名,無視Robots協議,將大眾點評花費心血組織用戶發布的點評內容抓到自己的平臺上。最終,法院判決愛幫網敗訴,除了賠償最高限額外,也要立即停止這一侵權行為。法院認為,這些信息內容被愛幫網未付出勞動、未支出成本、未做出貢獻,卻直接利用技術手段在愛幫網上展示,并以此獲取商業利益,屬于反不正當競爭法理論中典型的“不勞而獲”和“搭便車”的行為。中新網10月16日電
相關解讀:Robots協議
Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”(Robots Exclusion Protocol)。Robots協議的本質是網站和搜索引擎爬蟲的溝通方式,用來指導搜索引擎更好地抓取網站內容,而不是作為搜索引擎之間互相限制和不正當競爭的工具。
Robots協議也就是robots.txt文本文件,當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt。如果存在,搜索爬蟲就會按照該文件中的內容來確定訪問的范圍;如果robots.txt文件不存在,搜索爬蟲將會抓取網站上所有沒有被口令保護的頁面。
商業網站大多會在robots.txt中提供SiteMap文件鏈接地址,為搜素引擎指路,方便爬蟲更好地抓取網站內容。此外,網站也可以使用robots.txt屏蔽網站中一些比較大的文件,如:視頻、圖片等,節省服務器帶寬,也可以屏蔽網站的一些死鏈接。
Robots協議是國際互聯網界通行的道德規范,基于以下原則建立:
1、搜索技術應服務于人類,尊重信息提供者的意愿,并維護其隱私權;
2、網站有義務保護其使用者的個人信息和隱私不被侵犯。
Robots協議用來告知搜索引擎哪些頁面能被抓取,哪些頁面不能被抓取;可以屏蔽一些網站中比較大的文件,如:圖片,音樂,視頻等,節省服務器帶寬;可以屏蔽站點的一些死鏈接。方便搜索引擎抓去網站內容;設置網站地圖連接,方便引導蜘蛛爬取頁面。
360稱:
百度公司惡意阻斷360搜索引擎用戶的訪問,攔截360用戶,強迫其到百度首頁進行搜索,且該等技術手段僅歧視性地對待360搜索引擎用戶,這些行為不僅嚴重影響了用戶體驗,且已經構成了不正當競爭,給360造成重大損失,因此向百度公司索賠4億元。
從2012年8月以來,360公司進軍搜索業務,倡導干凈、安全的搜索結果,拒絕虛假醫療醫藥廣告,觸動了百度公司的壟斷利益。百度公司持續地針對360實施了多項不正當競爭行為。首先,百度惡意阻斷了360搜索引擎用戶的訪問,強迫用戶到百度首頁進行二次搜索,使用戶不能直接獲得搜索的結果內容;其次,百度強行引導來自360搜索引擎的用戶訪問百度搜索,以增加其網站訪問量;再次,百度這些技術歧視措施針對性地對待360搜索引擎用戶。
此外,有業內人士分析稱,百度濫用ROBOTS協議與本案都是百度遏制360搜索而采取的極端手段。在濫用ROBOTS協議的過程中,百度公司作為占據搜索行業壟斷地位的巨頭,對旗下百度知道、百度貼吧、百度文庫以及百度百科等內容頁,違反國際上使用Robots協議的通行慣例而單獨設置區別對待的歧視性名單,允許市場份額排名靠后的谷歌、微軟必應、雅虎、搜狗、SOSO等搜索引擎可以抓取這些內容,而唯獨不允許市場排名第二的360搜索索引這些內容,設置歧視性條款,以達到限制正當競爭的目的。
據了解,360搜索引擎的推出,由于其獨特的技術和干凈的搜索結果,很快贏得了相當的市場份額和用戶,為廣大用戶提供了選擇搜索產品的可能。對此,搜索專家、中搜CEO陳沛表示,Robots協議應成為保護行業約定,而不應成為利益集團的競爭武器;濫用Robots協議或者利用這一協議排斥競爭對手,甚至披上法律的外衣打擊競爭對手的做法,更將嚴重違背互聯網行業開放、自由、創新的原則。而采取“強行跳轉”等極端手段,更是嚴重傷害了用戶體驗,阻礙了互聯網信息的自由、高效流動。