網絡搜尋引擎
此條目需要補充更多來源。 (2014年8月17日) |
「網絡搜尋引擎」的各地常用名稱 | |
---|---|
中國大陸 | 網絡搜索引擎 |
臺灣 | 網路搜尋引擎 |
港澳 | 網絡搜尋引擎 |
星馬 | 網絡搜索引擎 |
本條目屬於網絡搜尋引擎系列 |
網絡搜尋引擎 |
元搜尋引擎 |
國際性搜尋引擎(多語言) |
Yahoo! Search |
Bing |
僅中文搜尋引擎 |
百度 |
360搜索 |
搜狗 |
yam蕃薯藤 |
其他搜尋引擎 |
DuckDuckGo |
Ecosia |
Exalead |
Naver |
Yandex |
Alexa Internet |
AOL |
Ask.com |
Qwant |
其他連結 |
網絡搜尋引擎(英語:web search engine)是設計在萬維網上進行搜尋,意思是指自動從萬維網搜集特定的資訊,提供給用戶進行查詢的系統。
搜尋結果通常會以行列式的連結展示,亦稱為搜尋結果頁 (Search engine results page,SERP)。這些訊息連結可能是連至網頁、圖像、影片、資訊圖表、文章、研究論文或其他類型的檔案。 一些搜尋引擎亦會在其他的數據庫或目錄中搜尋可用數據。與依靠人工維持的網站目錄不同,搜尋引擎進行的實時搜尋,是以網絡爬蟲 (web crawler)進行運行演算法得出來。而沒法被搜尋出來的是稱為深網 (deep web)。
工作原理
搜尋引擎的工作原理大致可以分為搜集資訊、整理資訊和接受查詢。
搜集資訊
搜尋引擎的資訊搜集基本都是自動的。搜尋引擎利用稱為網絡蜘蛛的自動搜尋機械人程式來連上每一個網頁上的超連結。機械人程式根據網頁鏈到其中的超連結,就像日常生活中所說的「一傳十,十傳百……」一樣,從少數幾個網頁開始,連到數據庫上所有到其他網頁的連結。理論上,若網頁上有適當的超連結,機械人便可以遍歷絕大部分網頁。
整理資訊
搜尋引擎整理資訊的過程稱為「建立索引」。搜尋引擎不僅要儲存搜集起來的資訊,還要將它們按照一定的規則進行編排。這樣,搜尋引擎根本不用重新翻查它所有儲存的資訊而迅速找到所要的資料。想像一下,如果資訊是不按任何規則地隨意堆放在搜尋引擎的資料庫中,那麼它每次找資料都得把整個資料庫完全翻查一遍,如此一來再快的電腦系統也沒有用。
接受查詢
用戶向搜尋引擎發出查詢,搜尋引擎接受查詢並向用戶返回資料。搜尋引擎每時每刻都要接到來自大量用戶的幾乎是同時發出的查詢,它按照每個用戶的要求檢查自己的索引,在極短時間內找到用戶需要的資料,並返回給用戶。目前,搜尋引擎返回主要是以網頁連結的形式提供的,這樣通過這些連結,用戶便能到達含有自己所需資料的網頁。通常搜尋引擎會在這些連結下提供一小段來自這些網頁的摘要資訊以幫助用戶判斷此網頁是否含有自己需要的內容。
整理資訊及接受查詢的過程,大量應用了文字資訊檢索技術,並根據網絡超文字的特點,引入了更多的資訊。
發展史
時間線(全列表) | ||
---|---|---|
年份 | 引擎 | 事件 |
1993 | W3Catalog | 啟用 |
Aliweb | 啟用 | |
JumpStation | 啟用 | |
1994 | WebCrawler | 啟用 |
Niranjan | 啟用 | |
Infoseek | 啟用 | |
Lycos | 啟用 | |
1995 | AltaVista | 啟用 |
Open Text Web Index | 啟用[1] | |
Magellan | 啟用 | |
Excite | 啟用 | |
SAPO | 啟用 | |
1996 | Dogpile | 啟用 |
Inktomi | 成立 | |
HotBot | 成立 | |
Ask Jeeves | 成立 | |
1997 | Northern Light | 啟用 |
Yandex | 啟用 | |
1998 | 啟用 | |
1999 | AlltheWeb | 啟用 |
GenieKnows | 成立 | |
Naver | 啟用 | |
Teoma | 成立 | |
Vivisimo | 成立 | |
2000 | 百度 | 成立 |
Exalead | 成立 | |
2003 | Info.com | 啟用 |
2004 | Yahoo! Search | 最終版啟用 |
A9.com | 啟用 | |
Sogou | 啟用 | |
2005 | MSN Search | 最終版啟用 |
Ask.com | 啟用 | |
GoodSearch | 啟用 | |
SearchMe | 成立 | |
2006 | wikiseek | 成立 |
Quaero | 成立 | |
Ask.com | 啟用 | |
Live Search | 啟用 | |
ChaCha | Beta版啟用 | |
Guruji.com | Beta版啟用 | |
2007 | wikiseek | 啟用 |
Sproose | 啟用 | |
Wikia Search | 啟用 | |
Blackle.com | 啟用 | |
2008 | Powerset | 啟用 |
Picollator | 啟用 | |
Viewzi | 啟用 | |
Cuil | 啟用 | |
Boogami | 啟用 | |
LeapFish | Beta版啟用 | |
Forestle | 啟用 | |
VADLO | 啟用 | |
Sperse! Search | 啟用 | |
DuckDuckGo | 啟用 | |
Searchme | 啟用 | |
2009 | Bing | 啟用 |
Microsoft Academic Search | Beta版啟用 | |
Freeoo.org | Beta版啟用 | |
Fusionsearch | 啟用 | |
Cooeo | Beta版啟用 | |
Yebol | Beta版啟用 | |
Mugurdy | 啟用 | |
Goby | 啟用 | |
2016 | LinAsk!恆問 | 成立 |
新奇站 | 成立 | |
2017 | Goonle | 成立 |
1990年初當時萬維網還未出現,為了查詢散佈在各個分散的主機中的檔案,曾有過Archie、Gopher等搜尋工具,隨着互聯網的迅速發展,基於HTTP訪問的web技術的迅速普及,他們就不再能適應用戶的需要。在1994年1月,第一個既可搜尋又可瀏覽的分類目錄EINet Galaxy(Tradewave Galaxy)上線,它還支援Gopher和Telnet搜尋。同年4月,Yahoo目錄誕生,隨着瀏覽量和收錄連結數的增長,開始支援簡單的數據庫查詢。這就是我們說的早期的目錄導航系統,他們的缺點是網站收錄/更新都要靠人工維護,所以在資訊量劇增的條件下,就不是非常受用了。
1994年7月,Lycos推出了基於robot的數據發掘技術,並支援搜尋結果相關性排序,並且他第一個開始在搜尋結果中使用了網頁自動摘要。Infoseek也是同時期的一個重要代表,他們是搜索引擎史上一個重要的進步。
1995年,一種新的搜尋引擎工具出現了——中介搜尋引擎(Meta Search Engine)或稱為元搜尋引擎,第一個中介搜尋引擎是華盛頓大學的學生開發的Metacrawler。用戶只需提交一次搜尋請求,由中介搜尋引擎負責轉換處理後提交給多個預先選定的獨立搜尋引擎,並將從各獨立搜尋引擎返回的所有查詢結果,集中起來處理後再返回給用戶。
1995年12月才登場亮相的AltaVista推出了大量的創新功能使它迅速到達當時搜尋引擎的頂峰,它第一個支援自然語言搜尋的搜尋引擎,具備了基於網頁內容分析,智能處理的能力,第一個實現高級搜尋語法的搜尋引擎(如AND、OR、NOT等),同時AltaVista還支援搜尋新聞群組,搜尋圖片等具有劃時代意義的功能。同時期還有inktomi、HotBot等搜尋引擎。
1997年8月Northernlight公司正式推出搜尋引擎,它第一個支援對搜尋結果進行簡單的自動分類,也是當時擁有最大數據庫的搜索引擎之一。
1998年台灣PChome的前身todo網站成立。
1998年10月,Google誕生。它是目前世界上最流行的搜尋引擎之一,具備很多獨特而且優秀的功能,並且在介面等實現了革命性創新。
1999年5月,Fast (Alltheweb)公司發佈了自己的搜尋引擎AllTheWeb,它的網頁搜尋可利用ODP自動分類,支援Flash和pdf搜尋,支援多語言搜尋,還提供新聞搜尋、圖像搜尋、影片、MP3、和FTP搜尋,擁有極其強大的高級搜尋功能。它曾經是最流行的搜尋引擎之一,後在2003年2月被Overture收購。
在中文搜尋引擎領域,1996年8月成立的搜狐公司是最早參與作網絡資訊分類導航的網站,曾一度自詡「出門找地圖,上網找搜狐」的誇大廣告詞。由於其人工分類提交的局限性,隨着網絡資訊的暴增,逐漸被基於robot自動抓取智能分類的新一代資訊科技取代。
台灣中正大學吳昇教授所領導的GAIS實驗室1998年1月創立了Openfind中文搜尋引擎,是最早開發的中文智能搜尋引擎,採用GAIS實驗室推出多元排序(PolyRankTM)核心技術,截止2002年6月,宣佈累計抓取網頁35億,開始進入英文搜尋領域。
北大天網是教育網最流行的搜尋引擎,它由北大計算機系網絡與分佈式系統研究室開發,於1997年10月29日正式在CERNET上提供服務,2000年初成立天網搜尋引擎新課題組,由國家973重點基礎研究發展規劃項目基金資助開發,收錄網頁約6000萬,利用教育網優勢,有強大的ftp搜尋功能。
百度中文搜尋由超鏈分析專利發明人、前Infoseek資深工程師李彥宏和好友徐勇2000年1月創建,目前支援網頁資訊檢索,圖片,Flash,音樂等多媒體資訊的檢索。並且百度在中文領域第一個開始使用ppc經營模式。
2002年開始很多公司受搜尋市場前景和Google神話的吸引,積極進入搜尋引擎市場,謀求一席之地。但是不幸的是他們當中很多公司尤其是不少中國公司採用流氓手段進行自己搜尋引擎的推廣工作,常用的手段是瀏覽器劫持、惡意捆綁adware/spyware等等,比較惡劣的典型公司是中搜、3721等等。中搜是由慧聰國際主持開發的,自稱是搜尋領域的後起之秀。目前處於起步階段,但是採用流氓軟件手段推廣後,強佔了不少用戶的搜尋引擎選擇。2003年年底慧聰搜尋改名為中國搜尋,推出第三代智能搜尋引擎。中國搜尋主推桌面搜尋——網絡豬,是備受爭議的流氓軟件之一。
2003年11月,Yahoo全資收購3721公司。2005年8月,阿里巴巴和Yahoo達成戰略合作,全資收購雅虎中國,並更名為阿里巴巴雅虎,並將其業務重點全面轉向搜尋領域。
2004年8月3日,搜狐公司推出中文搜尋引擎搜狗。
2006年9月,微軟公司正式推出了擁有自主研發技術的Live Search,宣佈進軍搜尋引擎市場,挑戰Google在網絡搜尋領域的霸主地位。
2009年6月1日,微軟正式上線原名為Kumo的搜尋引擎Bing,中文名「必應」,但是由於不久後的「六四事件」20週年,Bing只在中國上線了1天即被防火長城封鎖,6月6日,Bing解封。
2009年11月,微軟學術搜尋Microsoft Academic Search beta版啟用,該搜尋引擎目前主要提供計算機學科及相關領域的學術論文、作者、會議和學術期刊。
2016年12月,LinAsk!恆問推出LinAsk!恆問搜尋引擎。
分類
搜尋引擎按其工作方式主要可分為三種,分別是全文搜尋引擎(Full Text Search Engine)、垂直搜尋引擎(Vertical Search Engine)和元搜尋引擎(Meta Search Engine)。
全文搜尋引擎
全文搜尋引擎是名副其實的搜尋引擎,歐美具代表性的有Google、Fast/AllTheWeb、 AltaVista、Inktomi、Teoma、WiseNut等,中國著名的有百度(Baidu)。它們都是通過從互聯網上提取各個網站的資訊(以網頁文字為主)而建立的資料庫。檢索與用戶查詢條件匹配的相關記錄,然後按一定的排列順序將結果返回給用戶,因此他們是真正的搜尋引擎。
垂直搜尋引擎
垂直搜尋引擎是針對某一個行業的專業搜尋引擎,是搜尋引擎的細分和延伸,是對網頁庫中的某類專門的資訊進行一次整合,定向分欄位抽取出需要的數據進行處理後再以某種形式返回給用戶。垂直搜尋是相對通用搜尋引擎的資訊量大、查詢不準確、深度不夠等提出來的新的搜尋引擎服務模式,通過針對某一特定領域、某一特定人群或某一特定需求提供的有一定價值的資訊和相關服務。例如,著名的百度圖片搜尋,互聯統計網[1]等都是針對某一領域而採用的垂直搜尋引擎。
元搜尋引擎
元搜尋引擎在接受用戶查詢請求時,同時在其他多個引擎上進行搜尋,並將結果返回給用戶。著名的元搜尋引擎有InfoSpace、Dogpile、Vivisimo等(元搜尋引擎列表),中文元搜尋引擎中具代表性的有搜星搜尋引擎。在搜尋結果排列方面,有的直接按來源引擎排列搜尋結果,如Dogpile,有的則按自訂的規則將結果重新排列組合,如Vivisimo。
市場佔有率
搜尋引擎的商務是一種新的商業模式,在中國大陸還有很多人用網址大全去尋找商業平台網站的時候,搜尋引擎行銷的方式慢慢的興起,越來越多的買家又或賣家通過搜尋引擎來尋找自己的需要。直至2019年9月,Google是全球最多人使用的搜尋引擎,佔有市場92.96%。Google以其優秀的搜尋演算法,不被競價排名所籠罩的搜尋引擎。
東亞和俄羅斯
在一些東亞國家和俄羅斯,Google並不是最多人使用的搜尋引擎。
在俄羅斯,Yandex 擁有61.9%市場佔有率,而Google只有28.3%。在中國大陸,百度是最受歡迎的搜尋引擎。而在南韓,Naver的佔有率達70%。在日本和台灣,Google是最多人使用的搜尋引擎。
歐洲
大部分西方國家最多人使用的搜尋引擎是Google。在捷克,Google並不是最多人使用的搜尋引擎,Seznam.cz 也擁有不少支持者。
未來展望
隨着互聯網的發展,網上可以搜尋的網頁變得愈來愈多,而網頁內容的質素亦變得良莠不齊,沒有保證。所以,未來的搜尋引擎將會朝着知識型搜尋引擎的方向發展,期以為搜尋者提供更準確及適用的資料。目前,網上的百科全書如雨後春筍般發展起來;另一方面,近年來亦有不少公司嘗試在搜尋方面改進,務求更符合用戶的要求。當中諸如Copernic Agent之類的搜尋代理就是其中之一。
消費者保護
2013年6月25日,美國聯邦交易委員會發佈新版的消費者保護命令,要求搜尋引擎必須要能夠明顯區分出搜尋結果及廣告。[2]
參考文獻
- ^ statinternet.net. [2021-08-11]. (原始內容存檔於2015-04-05).
- ^ FTC Consumer Protection Staff Updates Agency's Guidance to Search Engine Industry on the Need to Distinguish Between Advertisements and Search Results. 美國聯邦交易委員會. 2013-06-25 [2013-06-25]. (原始內容存檔於2013-10-10).