TWI427492B - 資訊搜尋系統及方法 - Google Patents
資訊搜尋系統及方法 Download PDFInfo
- Publication number
- TWI427492B TWI427492B TW96101422A TW96101422A TWI427492B TW I427492 B TWI427492 B TW I427492B TW 96101422 A TW96101422 A TW 96101422A TW 96101422 A TW96101422 A TW 96101422A TW I427492 B TWI427492 B TW I427492B
- Authority
- TW
- Taiwan
- Prior art keywords
- search
- document
- cluster name
- classification
- search result
- Prior art date
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本發明涉及一種資訊搜尋系統及方法。
目前，隨著資訊技術的不斷發展，特別是網際網路應用的飛速普及，電子資訊爆炸似的豐富起來。如何對所述海量、無序的資訊進行有效的搜尋是一個亟待解決的問題。
通常，對於用戶搜尋，所返回的搜尋結果一般是包含了文檔表示(例如標題、摘要)或文檔鏈結的一個列表，用戶在此列表中進一步查找和/或選取實際相關或有用的文檔。
但是，對於非常大的文檔庫，例如網際網路搜尋引擎的網頁庫，系統返回給用戶的搜尋結果通常包含了成百上千的相關文檔。對用戶而言，在大量的返回結果中查找出有用資訊是一種很大的負擔，而且品質、類別等有很大不同的文檔(如網頁)無序地羅列在一起很容易掩蓋用戶真正需要的內容。
當前的主流搜尋引擎(例如www.Google.com，search.Yahoo.com，search.MSN.com，www.Baidu.com)都是基於用戶輸入的關鍵字僅僅進行平面搜尋，並不做任何處理。因此，對於包含了多義的、應用寬泛或者搭配多樣的關鍵字的搜尋(例如，“筆記本”
、“病毒”、“mp3”等)，返回的搜尋結果通常是包含了很多主題不相關、混雜在一起的文檔。
由上可知，現有的資訊搜尋存在以下缺點：一是返回給用戶的搜尋結果不夠直觀；二是用戶要浪費大量的時間在搜尋結果中進行查找，效率極為低下；三是用戶在搜尋結果中進行查找時容易漏掉有用資訊。
鑒於以上內容，有必要提供一種資訊搜尋系統及方法，其可快速方便地對資訊進行搜尋，並以聚類分類的方式呈現搜尋結果。
一種資訊搜尋系統，該系統包括網頁伺服器和搜尋伺服器，所述的網頁伺服器包括輸入模組，用於接收用戶輸入的搜尋關鍵字；所述的搜尋伺服器包括：獲取模組，用於根據輸入的關鍵字獲取搜尋結果；確定模組，用於確定聚類名稱，並將搜尋結果中的文檔歸入確定的聚類名稱，及將搜尋結果中的文檔分入其出現概率最高的領域，並取得分類結果；生成模組，用於根據確定的聚類名稱及歸入所述聚類名稱下的文檔生成聚類圖形，及根據取得的分類結果及生成的聚類圖形生成聚類分類圖形；所述的網頁伺服器庫伺服器還包括輸出模組，用於將生成的聚類分類圖形返回給用戶。
一種資訊搜尋方法，該方法包括以下步驟：(a)接收用戶輸入的搜尋關鍵字；(b)根據輸入的關鍵字獲取搜尋結果；(c)確定聚類名稱，並將搜尋結果中的文檔歸入確定的聚類名稱；(d)將搜尋結果中的文檔分入其出現概率最高的領域，並取得分類
結果；(e)根據確定的聚類名稱及歸入所述聚類名稱下的文檔生成聚類圖形，及根據取得的分類結果及生成的聚類圖形生成聚類分類圖形；(f)將生成的聚類分類圖形返回給用戶。
相較於習知技術，所述資訊搜尋系統及方法，可以快速方便地進行搜尋並獲取搜尋結果，而後對搜尋結果進行聚類和分類，直觀條理地將搜尋結果呈現給用戶。因而可以有效提高用戶後期的查找效率及保障用戶不漏掉有用資訊。
101‧‧‧網頁伺服器
102‧‧‧搜尋伺服器
103‧‧‧索引伺服器
104‧‧‧內部網路
106‧‧‧網際網路
111‧‧‧用戶端電腦
113‧‧‧用戶端電腦
115‧‧‧用戶端電腦
301‧‧‧輸入模組
302‧‧‧獲取模組
303‧‧‧處理模組
304‧‧‧計算模組
305‧‧‧確定模組
306‧‧‧生成模組
307‧‧‧輸出模組
108‧‧‧分類資料庫
109‧‧‧索引資料庫
圖1是本發明資訊搜尋系統較佳實施例的硬體架構圖。
圖2是圖1中網頁伺服器、搜尋伺服器及索引伺服器之間的關聯圖。
圖3是本發明資訊搜尋方法較佳實施例的作業流程圖。
圖4是本發明對搜尋結果聚類較佳實施例的具體流程圖。
圖5是本發明對搜尋結果分類較佳實施例的具體流程圖。
圖6是搜尋結果的聚類圖形較佳實施例的示意圖。
圖7是搜尋結果的聚類分類圖形較佳實施例的示意圖。
參閱圖1所示，是本發明資訊搜尋系統較佳實施例的硬體架構圖。該系統採用三層(或多層)架構：資料層，包括索引伺服器103；邏輯事務層，包括搜尋伺服器102；以及表示層，包括網頁伺服器101和分散的用戶端111、113及115。以上所述各設備透過
內部網路104相連，從而實現各設備間協同工作。
其中，所述用戶端111、113及115是用戶介面，負責提交用戶輸入的搜尋關鍵字及向用戶展示搜尋結果。
所述網頁伺服器101負責接收用戶端111、113及115提交的搜尋關鍵字；將搜尋結果返回給用戶端111、113及115；以及為用戶端111、113及115提供搜尋關鍵字的輸入頁面和搜尋結果的返回頁面。
所述搜尋伺服器102負責根據網頁伺服器101接收的搜尋關鍵字對索引伺服器103進行搜尋。
所述索引伺服器103與網際網路106相連，負責從該網際網路106上擷取文檔，並將所述文檔構建成索引(index)，以供搜尋伺服器102搜尋。其中，所述文檔可以是網頁，也可以是新聞，還可以是圖片。
參閱圖2所示，是網頁伺服器101、搜尋伺服器102及索引伺服器103之間的關聯圖。
本發明所稱的模組是完成特定功能的電腦程式段，比程式更適合於描述軟體在電腦中的執行過程。因此本發明以下對軟體都以模組描述。所述網頁伺服器101包括輸入模組301、輸出模組307。所述搜尋伺服器102包括獲取模組302、處理模組303、計算模組304、確定模組305、生成模組306及分類資料庫108；所述分類資料庫108用於存儲不同領域的語料庫，及建立對應不同領域的語言模型(Language Mode)，以便對搜尋結果分類。所述索引伺
服器103包括有索引資料庫109；所述索引資料庫109存儲了索引伺服器103構建的所有索引(index)。
所述輸入模組301用於接收用戶透過用戶端111、113及115輸入的搜尋關鍵字。
所述獲取模組302用於根據輸入模組301輸入的關鍵字獲取搜尋結果，所述搜尋結果由一個或多個文檔組成。具體步驟如下：獲取模組302首先嘗試從搜尋伺服器102的Cache中獲取所述關鍵字對應的搜尋結果；如果搜尋伺服器102的Cache中存有所述關鍵字對應的搜尋結果，獲取模組302從Cache中獲取搜尋結果；否則，獲取模組302根據所述關鍵字，搜尋索引資料庫109並獲取搜尋結果。
所述處理模組303用於對搜尋結果進行前置處理。所述前置處理包括定義門檻值、斷詞及過濾無效詞。所述門檻值包括聚類名稱門檻值和相關度門檻值。所述斷詞即是將文檔斷成一個個詞。所述過濾無效詞即是將無效詞濾除(因為無效詞不表達具體含義，對聚類沒有任何意義)，所述無效詞包括副詞、語氣詞、數量詞等，如中文中的“這”“呢”“個”和英語中的“a”“the”“this”。
所述計算模組304用於利用TF-IDF公式計算文檔中每個詞的權重(用Weight表示)。其中，TF(Term Frequency)代表詞頻，IDF(Inverse Document Frequency)代表詞的常用程度。Weight(t,d)=TF(t,d)* log(N/nt)。其中，TF(t,d)代表詞t
在文檔d中出現的次數(即詞頻)，log(N/nt)即為IDF，N代表搜尋結果中所有文檔的總數，nt代表搜尋結果中出現詞t的文檔數。
所述確定模組305用於確定聚類名稱。具體而言，確定模組305首先將計算出的權重Weight與上述定義的聚類名稱門檻值比較，選出達到聚類名稱門檻值的詞；然後濾除所述達到聚類名稱門檻值的詞中的標點符號；最後依據最長詞原則對所述達到聚類名稱門檻值的詞進行過濾，以確定聚類名稱。例如，現假設經過前兩個步驟得到兩個詞：“車站”、“汽車站”，確定模組305濾除“車站”，將“汽車站”確定為聚類名稱。因為依據最長詞原則，較長的詞更具有代表意義。
所述計算模組304還用於利用TF-IDF公式，計算上述確定的聚類名稱與搜尋結果中每個文檔的相關度。
所述確定模組305還用於依照上述計算的聚類名稱與每個文檔的相關度以及定義的相關度門檻值，將相關度達到相關度門檻值的文檔歸入上述確定的聚類名稱下。
所述計算模組304還用於將搜尋結果中的每個文檔與分類資料庫108中不同領域的語言模型做概率分析，即計算搜尋結果中的每個文檔在所述不同領域的語言模型中出現的概率。計算公式如下：P(FCI Input)=P(FC,Input)/P(Input)，其中，Input表示搜尋結果中的一個文檔，FC(Field Class)表示一個領域的語言模型，P(Input)=Σ FC P(FC,Input)。
所述確定模組305還用於根據上述計算的每個文檔在不同領域的語言模型中出現的概率，將搜尋結果中的文檔依次分入其出現概率最高的領域；並取得分類結果。在本較佳是實施例中，所述分類結果以雜湊表(Hash Table)的形式表示。
所述生成模組306用於根據確定的聚類名稱及歸入所述聚類名稱下的文檔，生成聚類圖形(請參考圖6)；及根據取得的分類結果及生成的聚類圖形，生成聚類分類圖形(請參考圖7)。
所述輸出模組307用於將生成的聚類分類圖形返回給用戶端111、113及115，從而為用戶呈現一個直觀條理的搜尋結果。
以上所述各模組也可包括於單獨電腦設備中，而包含上述模組的單獨電腦設備亦可完成本發明所述各項功能。
參閱圖3所示，是本發明資訊搜尋方法較佳實施例的作業流程圖。
步驟S401，輸入模組301接收用戶透過用戶端111、113及115輸入的搜尋關鍵字。
步驟S402，獲取模組302根據輸入模組301輸入的關鍵字，獲取搜尋結果，所述搜尋結果由一個或多個文檔組成。具體步驟如下：獲取模組302首先嘗試從搜尋伺服器102的Cache中獲取所述關鍵字對應的搜尋結果；如果搜尋伺服器102的Cache中已有所述關鍵字對應的搜尋結果，獲取模組302從Cache中獲取搜尋結果；否則，獲取模組302根據所述關鍵字，搜尋索引資料庫109並獲取搜尋結果。
步驟S403，確定模組305對所述搜尋結果聚類，而後生成模組306根據聚類結果，生成聚類圖形(具體內容將在圖4中詳細描述)。
步驟S404，確定模組305對所述搜尋結果分類，而後生成模組306根據分類結果及生成的聚類圖形，生成聚類分類圖形(具體內容將在圖5中詳細描述)。
步驟S405，輸出模組307將生成的聚類分類圖形返回給用戶端111、113及115，從而為用戶呈現一個直觀條理的搜尋結果。
參閱圖4所示，是本發明步驟S403對搜尋結果聚類的具體流程圖。
步驟S500，首先處理模組303對搜尋結果進行前置處理。所述前置處理包括定義門檻值、斷詞及過濾無效詞。所述門檻值包括聚類名稱門檻值和相關度門檻值。所述斷詞即是將文檔斷成一個個詞。所述過濾無效詞即是將無效詞濾除(因為無效詞不表達具體含義，對聚類沒有任何意義)，所述無效詞包括副詞、語氣詞、數量詞等，如中文中的“這”“呢”“個”和英語中的“a”“the”“this”。
步驟S501，確定模組305確定聚類名稱。具體步驟如下：第一步，計算模組304利用TF-IDF公式計算文檔中每個詞的權重(用Weight表示)。其中，TF(Term Frequency)代表詞頻，IDF(Inverse Document Frequency)代表詞的常用程度。Weight(t,d)=TF(t,d)* log(N/nt)。其中，TF(t,d)代表詞t
在文檔d中出現的次數(即詞頻)，log(N/nt)即為IDF，N代表搜尋結果中所有文檔的總數，nt代表搜尋結果中出現詞t的文檔數。第二步，確定模組305將計算出的權重與上述定義的聚類名稱門檻值比較，選出達到聚類名稱門檻值的詞。第三步，確定模組305濾除上述達到聚類名稱門檻值的詞中的標點符號。第四步，確定模組305依據最長詞原則對上述達到聚類名稱門檻值的詞進行過濾，以確定聚類名稱。例如，現假設經過前三個步驟得到兩個詞：“車站”、“汽車站”，確定模組305濾除“車站”，將“汽車站”確定為聚類名稱。因為依據最長詞原則，較長的詞更具有代表意義。
步驟S502，確定模組305將搜尋結果中的文檔歸入上述確定的聚類名稱。具體而言，首先計算模組304利用TF-IDF公式計算上述確定的聚類名稱與搜尋結果中每個文檔的相關度；然後確定模組305依照上述定義的相關度門檻值，將相關度達到相關度門檻值的文檔歸入上述確定的聚類名稱下。
步驟S503，生成模組306根據上述確定的聚類名稱及歸入所述聚類名稱下的文檔，生成聚類圖形(請參考圖6)。
參閱圖5所示，是本發明步驟S404對搜尋結果分類的具體流程圖。
步驟S601，首先進行準備步驟。也即是，對所述分類資料庫108進行訓練：將不同領域的語料庫加入該分類資料庫108，並建立對應不同領域的語言模型(Language Mode)，以便對搜尋結果
分類。所述語料庫包括電子語料庫、機械語料庫、醫學語料庫、設計語料庫及軟體語料庫。
步驟S602，確定模組305對搜尋結果進行分類。具體步驟如下：第一步，計算模組304將搜尋結果中的每個文檔與上述不同領域的語言模型做概率分析，即是計算搜尋結果中的每個文檔在所述不同領域的語言模型中出現的概率。計算公式如下：P(FCI Input)=P(FC,Input)/P(Input)，其中，Input表示搜尋結果中的一個文檔，FC(Field Class)表示一個領域的語言模型，P(Input)=Σ FC P(FC,Input)。第二步，確定模組305將搜尋結果中的文檔依次分入其出現概率最高的領域。第三步，確定模組305取得分類結果。在本較佳是實施例中，所述分類結果以雜湊表(Hash Table)的形式表示。
步驟S603，生成模組306根據上述取得的分類結果及生成的聚類圖形，生成聚類分類圖形(請參考圖7)。
應當說明的是，上述聚類圖形及聚類分類圖形僅為本發明的採用的實施例，其可以為樹狀圖形，也可以為圈狀圖形，還可以由包含搜尋結果的其他聚類圖形及聚類分類圖形代替。
本發明所提供的資訊搜尋系統及方法，在輸入搜尋關鍵字後，所有的搜尋、聚類、分類步驟均可自動進行，無需人為干預，速度極為快捷。
以上所述僅為本發明之較佳實施例而已，且已達廣泛之使用功效，凡其他未脫離本發明所揭示之精神下所完成之均等變化或修飾
，均應包含在下述之申請專利範圍內。
S401‧‧‧輸入搜尋關鍵字
S402‧‧‧獲取搜尋結果
S403‧‧‧對搜尋結果聚類
S404‧‧‧對搜尋結果分類
S405‧‧‧輸出搜尋結果
Claims (6)
- 一種資訊搜尋系統，包括網頁伺服器和搜尋伺服器，其中：所述的網頁伺服器包括輸入模組，用於接收用戶輸入的搜尋關鍵字；所述的搜尋伺服器包括：獲取模組，用於根據輸入的關鍵字獲取搜尋結果，所述的搜尋結果包括一個或多個文檔；計算模組，用於計算搜尋結果文檔中的每個詞的權重，計算確定的聚類名稱與搜尋結果中的每個文檔的相關度，及計算搜尋結果中的每個文檔在所述不同領域的語言模型中出現的概率；確定模組，用於根據聚類名稱與每個文檔的相關度，將與聚類名稱相關度達到相關度門檻值的文檔歸入該聚類名稱下，及將歸入各聚類名稱下的文檔分入其出現概率最高的領域，並取得分類結果；生成模組，用於根據確定的聚類名稱及歸入所述聚類名稱下的文檔生成聚類圖形，及根據取得的分類結果及生成的聚類圖形生成聚類分類圖形；所述的網頁伺服器還包括輸出模組，用於將生成的聚類分類圖形返回給用戶。
- 如申請專利範圍第1項所述之資訊搜尋系統，其中，所述的搜尋伺服器還包括：處理模組，用於對所述搜尋結果進行前置處理，所述的前置處理 包括定義門檻值、斷詞及過濾無效詞；及分類資料庫，用於存儲不同領域的語言模型。
- 如申請專利範圍第2項所述之資訊搜尋系統，其中，所述的門檻值包括聚類名稱門檻值和相關度門檻值。
- 一種資訊搜尋方法，該方法包括以下步驟：接收用戶輸入的搜尋關鍵字；根據輸入的關鍵字獲取搜尋結果；計算搜尋結果文檔中的每個詞的權重，計算確定的聚類名稱與搜尋結果中的每個文檔的相關度，及計算搜尋結果中的每個文檔在所述不同領域的語言模型中出現的概率；根據聚類名稱與每個文檔的相關度，將與聚類名稱相關度達到相關度門檻值的文檔歸入該聚類名稱下；將歸入各聚類名稱下的文檔分入其出現概率最高的領域，並取得分類結果；根據確定的聚類名稱及歸入所述聚類名稱下的文檔生成聚類圖形，及根據取得的分類結果及生成的聚類圖形生成聚類分類圖形；及將生成的聚類分類圖形返回給用戶。
- 如申請專利範圍第4項所述之資訊搜尋方法，其中，在所述步驟根據輸入的關鍵字獲取搜尋結果之後還包括以下步驟：對搜尋結果進行前置處理，所述的前置處理包括定義門檻值、斷詞及過濾無效詞，所述的門檻值包括聚類名稱門檻值和相關度門檻值。
- 如申請專利範圍第4項所述之資訊搜尋方法，其中，在所述步驟 將歸入各聚類名稱下的文檔分入其出現概率最高的領域，並取得分類結果之前還包括以下步驟：計算搜尋結果中的每個文檔在不同領域的語言模型中出現的概率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW96101422A TWI427492B (zh) | 2007-01-15 | 2007-01-15 | 資訊搜尋系統及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW96101422A TWI427492B (zh) | 2007-01-15 | 2007-01-15 | 資訊搜尋系統及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW200830125A TW200830125A (en) | 2008-07-16 |
| TWI427492B true TWI427492B (zh) | 2014-02-21 |
Family
ID=44818208
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW96101422A TWI427492B (zh) | 2007-01-15 | 2007-01-15 | 資訊搜尋系統及方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI427492B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110099133A1 (en) * | 2009-10-28 | 2011-04-28 | Industrial Technology Research Institute | Systems and methods for capturing and managing collective social intelligence information |
| CN107291723B (zh) * | 2016-03-30 | 2021-04-30 | 阿里巴巴集团控股有限公司 | 网页文本分类的方法和装置，网页文本识别的方法和装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200620002A (en) * | 2004-12-02 | 2006-06-16 | Taiwan Semiconductor Mfg Co Ltd | System and method for text searching using weighted keywords |
| US20060190446A1 (en) * | 2005-02-22 | 2006-08-24 | Taiwan Semiconductor Manufacturing Co., Ltd. | Web search system and method thereof |
-
2007
- 2007-01-15 TW TW96101422A patent/TWI427492B/zh not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW200620002A (en) * | 2004-12-02 | 2006-06-16 | Taiwan Semiconductor Mfg Co Ltd | System and method for text searching using weighted keywords |
| US20060190446A1 (en) * | 2005-02-22 | 2006-08-24 | Taiwan Semiconductor Manufacturing Co., Ltd. | Web search system and method thereof |
Non-Patent Citations (1)
| Title |
|---|
| Udi Manber，Introduction to algorithm a creative approach，Pearson education Taiwan Ltd.，2005/08 Second impression。 * |
Also Published As
| Publication number | Publication date |
|---|---|
| TW200830125A (en) | 2008-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8060513B2 (en) | Information processing with integrated semantic contexts | |
| JP5284990B2 (ja) | キーワードの時系列解析のための処理方法、並びにその処理システム及びコンピュータ・プログラム | |
| CN101216826B (zh) | 信息搜索系统及方法 | |
| Minkov et al. | Contextual search and name disambiguation in email using graphs | |
| US8606778B1 (en) | Document ranking based on semantic distance between terms in a document | |
| US20100005087A1 (en) | Facilitating collaborative searching using semantic contexts associated with information | |
| US20090070322A1 (en) | Browsing knowledge on the basis of semantic relations | |
| Kalashnikov et al. | Web people search via connection analysis | |
| US10606853B2 (en) | Systems and methods for intelligent prospect identification using online resources and neural network processing to classify organizations based on published materials | |
| CN107967290A (zh) | 一种基于海量科研资料的知识图谱网络构建方法及系统、介质 | |
| JP2016534475A (ja) | スマート検索絞り込み | |
| El-Gayar et al. | Enhanced search engine using proposed framework and ranking algorithm based on semantic relations | |
| Van Britsom et al. | Using data merging techniques for generating multidocument summarizations | |
| Barrio et al. | Sampling strategies for information extraction over the deep web | |
| Krause et al. | Logsonomy-social information retrieval with logdata | |
| TWI427492B (zh) | 資訊搜尋系統及方法 | |
| WO2009035871A1 (en) | Browsing knowledge on the basis of semantic relations | |
| Fu et al. | Collaborative querying for enhanced information retrieval | |
| Nuray-Turan et al. | Exploiting web querying for web people search in weps2 | |
| Priyadarshini et al. | Semantic clustering approach for documents in distributed system framework with multi-node setup | |
| Ababneh et al. | An efficient framework of utilizing the latent semantic analysis in text extraction | |
| Zhang et al. | A semantics-based method for clustering of Chinese web search results | |
| Brisebois et al. | Efficient scientific research literature ranking model based on text and data mining technique | |
| Wang et al. | Compact indexes based on core content in personal dataspace management system | |
| Khattak et al. | Intelligent search in digital documents |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |