TWI512506B - Sorting method and device for search results - Google Patents

Sorting method and device for search results Download PDF

Info

Publication number
TWI512506B
TWI512506B TW099140211A TW99140211A TWI512506B TW I512506 B TWI512506 B TW I512506B TW 099140211 A TW099140211 A TW 099140211A TW 99140211 A TW99140211 A TW 99140211A TW I512506 B TWI512506 B TW I512506B
Authority
TW
Taiwan
Prior art keywords
log
query request
document
expected value
correlation
Prior art date
Application number
TW099140211A
Other languages
English (en)
Other versions
TW201214168A (en
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of TW201214168A publication Critical patent/TW201214168A/zh
Application granted granted Critical
Publication of TWI512506B publication Critical patent/TWI512506B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24578Query processing with adaptation to user needs using ranking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

搜索結果的排序方法和裝置
本申請涉及通信和電腦技術領域,特別是涉及一種搜索結果的排序方法和裝置。
當用戶向搜索引擎提交一個查詢請求後,搜索引擎會檢索到大量與用戶的查詢請求相關的資訊。同時,搜索引擎會根據每個資訊與查詢請求的相關性程度,對資訊進行排序,以便用戶可以快速地通過搜索引擎查找到最想要的資訊。
目前,搜索引擎大多利用CTR(Click-Through-Rate,點擊到達率)反映每個資訊與用戶查詢請求的相關性程度,其中,CTR為資訊被點擊的次數與資訊被曝光次數的商。當搜索引擎計算得到每個資訊的CTR後,在搜索結果列表中,按照CTR從大到小的順序對資訊進行排序。
但是,發明人在研究中發現,一個資訊與用戶查詢請求的相關性程度往往與該資訊在搜索結果列表中的位置和在搜索結果列表中的點擊順序有關。例如,在同一個搜索結果展現頁面中,即使相關性相同,不同位置的資訊的CTR也會不一樣。或者,在先被用戶點擊的資訊,會影響位於其後面的資訊的被點擊機率。
然而,現有技術中在對搜索結果進行排序的過程中一方面只考慮到了資訊被點擊的次數和資訊被曝光的次數,而沒有考慮到在整個排序過程中,資訊在搜索結果列表中的位置因素和在搜索結果列表中的被點擊順序的因素,使排序時所依據的相關性分數存在較大偏差,在多數情況下把用戶想要獲得的資訊排在了搜索結果列表的後面,最終導致對搜索結果的排序效果差。另一方面,當對搜索結果的排序效果較差的時,用戶通常需要進一步瀏覽和點擊更多的資訊才能獲得最想要的資訊,而用戶在網站上“盲目地”進行大範圍的瀏覽和點擊的過程時,勢必會增加網路系統,特別是搜索引擎伺服器的負載,降低了網路系統的利用率。從而增加了搜索過程對於搜索引擎伺服器的消耗,同時,也浪費了搜索引擎伺服器的系統資源。
為了解決上述技術問題,本申請實施例提供了一種搜索排序方法和裝置,以減少搜索過程對於搜索引擎伺服器的消耗,並節省搜索引擎伺服器的系統資源。
本申請實施例公開了如下技術方案:
一種搜索結果的排序方法,包括:從日誌系統中提取出被曝光的日誌文檔;計算該日誌文檔與查詢請求的相關性的貝葉斯後驗機率;根據該貝葉斯後驗機率計算該日誌文檔與查詢請求的相關性的期望值;將查詢請求和日誌文檔的標識作為鍵,將該日誌文檔與查詢請求的相關性的期望值作為值儲存在檢索資料結構中;當接收到用戶提交的查詢請求時,從該檢索資料結構中查詢與該用戶提交的查詢請求相關的所有日誌文檔與查詢請求的相關性的期望值;按照期望值從大到小的順序對查詢到的日誌文檔進行排序。
一種搜索結果的排序裝置,包括:提取模組,用於從日誌系統中提取出被曝光的日誌文檔;機率計算模組,用於計算該日誌文檔與查詢請求的相關性的貝葉斯後驗機率;期望值計算模組,用於根據該貝葉斯後驗機率計算該日誌文檔與查詢請求的相關性的期望值;索引建立模組,用於將查詢請求和日誌文檔的標識作為鍵,將該日誌文檔與查詢請求的相關性的期望值作為值儲存在檢索資料結構中;檢索模組,用於當接收到用戶提交的查詢請求時,從該檢索資料結構中查詢與該用戶提交的查詢請求相關的所有日誌文檔與查詢請求的相關性的期望值;排序模組,用於按照期望值從大到小的順序對查詢到的日誌文檔進行排序。
由上述實施例可以看出,本申請在整個排序過程中,考慮到了資訊在搜索結果列表中的位置因素和在搜索結果列表中的被點擊順序的因素,即,基於貝葉斯後驗機率計算日誌文檔與查詢請求的相關性的期望值,當從檢索資料結構中查詢到與用戶提交的查詢請求相關的所有日誌文檔與查詢請求的相關性的期望值後,按照相關性的期望值從大到小的順序對日誌文檔進行排序,從而使排序時所依據的相關性更好。同時,也使用戶減少瀏覽的時間和點擊的次數,快速地獲得最想要的資訊,減少搜索過程對於搜索引擎伺服器的消耗,並節省搜索引擎伺服器的系統資源。
為使本申請的上述目的、特徵和優點能夠更加明顯易懂,下面結合附圖對本申請實施例進行詳細描述。
實施例一
請參閱圖1,其為本申請一種搜索結果的排序方法的一個實施例的流程圖,該方法包括以下步驟:
步驟101:從日誌系統中提取出被曝光的日誌文檔;其中,在日誌系統中以增量更新的方式保存有歷史被曝光的日誌文檔和當天被曝光的日誌文檔。從日誌系統中提取出在日誌系統保存的所有被曝光的日誌文檔。用戶通過搜索引擎進行查詢時,與查詢請求相關的搜索結果會展示給用戶,該展示給用戶的搜索結果即為被曝光的搜索結果,該被曝光的搜索結果以日誌文檔的形式保存在日誌系統中。
步驟102:計算該日誌文檔與查詢請求的相關性的貝葉斯後驗機率;其中,發明人在研究中發現,一個資訊與用戶查詢請求的相關性程度往往與該資訊在搜索結果列表中的位置和在搜索結果列表中的被點擊順序有關。例如,當用戶面對一個搜索結果展示頁面時,一般會從上至下逐一瀏覽日誌文檔在網頁中所展示的展示資訊,如果發現某一個日誌文檔的展示資訊符合自身的搜索意圖,就會點擊該展示資訊並查看詳細內容。當查看完該展示資訊的詳細內容後,可能會繼續瀏覽下面的日誌文檔的展示資訊,也有可能因為查看到了需要的內容而結束瀏覽。由此可見,用戶是否點擊某個日誌文檔主要取決於用戶是否瀏覽到該日誌文檔,以及該日誌文檔與用戶查詢請求的相關性程度。而用戶是否繼續瀏覽下面的日誌文檔主要取決於之前日誌文檔的點擊情況。
基於上述情況,建立一個數學模型。如圖2所示,其為本申請一種構建的機率圖模型結構示意圖。圖2中的每個節點代表一個隨機變數,S表示日誌文檔與用戶查詢請求的相關性,E表示用戶是否看到日誌文檔,C表示用戶是否點擊日誌文檔,下標表示日誌文檔在一個搜索結果展示頁面中的位置,M表示一個搜索結果展示頁面中的日誌文檔總數目。根據前述分析可知,用戶是否點擊某個日誌文檔與用戶是否瀏覽到該日誌文檔,以及該日誌文檔與用戶查詢請求的相關性程度有關,用戶是否瀏覽下面的日誌文檔與之前日誌文檔的點擊情況有關,因此,從圖2中可以看出,在該模型中,例如,S1和E1分別指向C1,表示用戶是否點擊一個日誌文檔C1與用戶是否瀏覽到該日誌文檔E1,以及該日誌文檔與用戶查詢請求的相關性程度S1有關,而C1指向E2,表示用戶是否繼續瀏覽下面的日誌文檔E2與之前日誌文檔C1的點擊情況有關。
根據如圖2所示的數學模型的機率推論,當先驗分佈在[0,1]上服從均勻分佈時,其中,0和1表示實數值區間的兩個端點,即,相關性變數的先驗分佈是從0到1的實數值區間上的均勻分佈,在用戶點擊日誌文檔C1、C2...和CN的情況下,日誌文檔與查詢請求的相關性的聯合後驗分佈計算公式為:
其中,上述公式中的R j 表示日誌文檔j與用戶查詢請求的相關性隨機變數,N j 表示日誌文檔j被點擊的總次數,表示日誌文檔j位於r+d處且沒有被點擊,位置r處的日誌文檔被點擊,位置r到r+d之間的日誌文檔沒有被點擊在所有情況下的發生次數,T表示所有(r,d)的可能取值,β r , d 為一個全局參數,N表示從日誌系統中提取的日誌文檔的總數目,z表示歸一化係數。
從上述聯合分佈的形式可以看出,聯合分佈可以分解為單個文檔分佈的乘積。因此,單個文檔j的相關性後驗分佈計算公式為:
其中,βr,d 為一個全局參數,其估計值N r , d 為在日誌文檔j所在的同一個點擊序列中,位置r處的日誌文檔和位置r+d處的日誌文檔都被點擊,位置r到r+d之間的日誌文檔沒有被點擊在所有情況下的發生次數;為在日誌文檔j所在的同一個點擊序列中,位置r處的日誌文檔被點擊,位置r+d處的日誌文檔沒有被點擊,位置r到r+d之間的日誌文檔沒有被點擊在所有情況下的發生次數;r的取值範圍為小於或等於M-1的所有自然數,d的取值範圍為小於或等於M-r的所有整數,M表示日誌文檔j所在的同一點擊序列中所有日誌文檔的總數。其中,該同一個點擊序列即為針對同一個用戶查詢請求而獲得的所有查詢結果構成的序列。例如,針對用戶查詢請求“MP3”,有100個日誌文檔為該用戶查詢請求的所有查詢結果,則100個日誌文檔構成針對“MP3”的同一個點擊序列。
步驟103:根據該貝葉斯後驗機率計算該日誌文檔與查詢請求的相關性的期望值;其中,根據上述步驟得到的貝葉斯後驗機率計算日誌文檔與查詢請求的相關性的期望值,期望值的計算公式為:
需要說明的是,由於計算期望值的開銷比較大,會消耗較大的系統資源。為了避免計算期望值所帶來的資源消耗,在本步驟計算日誌文檔的相關性的期望值之前,對日誌文檔進行過濾。其中,有一些日誌文檔與用戶查詢請求的相關性不好也不壞。在實際應用中,為了節省空間和時間,需要對這種相關性不好也不壞的日誌文檔進行過濾。
通常,當日誌文檔與用戶查詢請求的相關性的期望值為0.5時,表示相關性不好也不壞,因此,可以過濾掉與用於查詢請求的相關性的期望值為0.5的日誌文檔。而本申請需要提供一種在計算期望值之前,就可以過濾掉相關性不好也不壞的日誌文檔。
優選的,在該根據貝葉斯後驗機率計算日誌文檔與查詢請求的相關性的期望值之前,還包括:根據全局參數對日誌文檔進行過濾,使全局參數小於對應的預設閾值的日誌文檔被過濾。其中,全局參數指的是和用戶查詢請求無關的一個參數,反應的是用戶對一個搜索引擎的評價的一組指標參數。在給定的情況下,全局參數與日誌文檔與查詢請求的相關性的期望值通過機率分佈函數建立起了對應關係,按照期望值的閾值過濾等價於全局參數的閾值過濾,這種關係的推導需要預先做出解析,然後在系統初始化階段根據期望值的閾值計算全局參數的閾值,在日誌處理階段就可以根據全局參數的閾值進行過濾。
例如,從提取出的被曝光的日誌文檔中篩選出被曝光一次且沒有被點擊的日誌文檔;從篩選出的日誌文檔中按照過濾條件公式過濾全局參數小於對應的預設閾值的日誌文檔,其中,β r , d 為全局參數,N r , d 為在被篩選出的日誌文檔所在的同一個點擊序列中,位置r處的日誌文檔和位置r+d處的日誌文檔都被點擊,位置r到r+d之間的日誌文檔沒有被點擊在所有情況下的發生次數;例如,為了便於描述,以一個包含5個日誌文檔的同一個點擊序列為例來說明,已知位置排列第一、第三和第五的日誌文檔被點擊,位置排列第二和第四的日誌文檔沒有被點擊。則位置排列第一和第三的日誌文檔都被點擊,而位置排列位於第二和第二之間,即位置排列位於第二的日誌文檔沒有被點擊,該情況的發生次數為1次,同時,位置排列第三和第五的日誌文檔都被點擊,而位置排列位於第三和第五之間,即位置排列位於第四的日誌文檔沒有被點擊,該情況的發生次數為1次。因此,在以上的同一個點擊序列中,N r , d 為2。
為在被篩選出的日誌文檔所在的同一個點擊序列中,位置r處的日誌文檔被點擊,位置r+d處的日誌文檔沒有被點擊,位置r到r+d之間的日誌文檔沒有被點擊在所有情況下的發生次數;r的取值範圍為小於或等於M-1的所有自然數,d的取值範圍為小於或等於M-r的所有整數,M表示被篩選出的日誌文檔所在的同一點擊序列中所有日誌文檔的總數,E th 為與日誌文檔與查詢請求的相關性的期望值對應的預設閾值。
需要說明的是,上述E th 為與相關性的期望值對應的預設閾值。通常,對日誌文檔與查詢請求的相關性的期望值設定一個閾值,如設定閾值為0.5,則可以過濾掉相關性的期望值為0.5的日誌文檔。當然,可以根據用戶的使用需求和應用場景任意設定與相關性的期望值對應的預設閾值,本申請實施例對此並不限定。
當對日誌文檔進行過濾後,在本步驟中,計算過濾後的日誌文檔的期望值。
另外,當計算了日誌文檔與查詢請求的相關性的期望值後,且在將日誌文檔與查詢請求的相關性的期望值作為value儲存在檢索資料結構之前,優選的,還可以再進行一次日誌文檔的過濾,以保證經過二次過濾後,檢索資料結構中保存的日誌文檔與查詢請求的相關性更高,搜索引擎可以快速地從檢索資料結構中檢索到與用戶提交的查詢請求相關的日誌文檔和其期望值。此處,由於已經計算得到了日誌文檔與查詢請求的相關性的期望值,因此,可以直接利用日誌文檔與查詢請求的相關性的期望值進行過濾,即,當日誌文檔與查詢請求的相關性的期望值等於預設數值時,過濾掉該日誌文檔。
此外,還可以根據貝葉斯後驗機率計算日誌文檔與查詢請求的相關性的方差,可以直接利用日誌文檔與查詢請求的相關性的方差進行過濾,即,當日誌文檔與查詢請求的相關性的方差等於預設數值時,過濾掉該日誌文檔。
其中,方差的計算公式為:
還需要說明的是,可以根據用戶的使用需求和應用場景任意設定與日誌文檔與查詢請求的相關性的期望值或者方差對應的預設閾值,本申請實施例對此並不限定。
步驟104:將查詢請求和日誌文檔的標識作為key,將該日誌文檔與查詢請求的相關性的期望值作為value儲存在檢索資料結構中;例如,key=查詢請求和日誌文檔的標識所占記憶體的連續塊,其中,查詢請求的一個字元占一個記憶體位元組,日誌文檔的標識用4個位元組的記憶體表示;value=期望值乘以10000的整數部分所占記憶體。key和value在檢索資料結構中的索引可以採用常用的trie樹建立,本申請實施例對此不再做詳細說明。
優選的,為了保證檢索資料結構的準確性,在將查詢請求和日誌文檔的標識作為鍵,將該日誌文檔與查詢請求的相關性的期望值作為值儲存在檢索資料結構中之後,還包括:對該檢索資料結構進行校驗;則該從檢索資料結構中查詢與該用戶提交的查詢請求相關的所有日誌文檔與查詢請求的相關性的期望值為:從通過校驗的檢索資料結構中查詢與該用戶提交的查詢請求相關的所有日誌文檔與查詢請求的相關性的期望值。
其中,將檢索資料結構中的鍵作為輸入資料,經過搜索引擎在檢索資料結構的檢索後,如果輸出的結果是與作為輸入資料的鍵對應的值,則通過驗證。例如,在檢索資料結構中有一組鍵值對,該鍵值對中鍵對應的查詢請求為“MP3”,對應的日誌文檔標識為ID1、ID2和ID3,該鍵值對中值對應的日誌文檔與查詢請求的相關性的期望值為0.5、0.8和0.7。分別將“MP3和ID1”、“MP3和ID2”和“MP3和ID3”作為輸入資料,經過搜索引擎在檢索資料結構中檢索後,如果輸出的結果分別為0.5、0.8和0.7,則通過檢驗,否則,沒有通過檢驗。
將檢索資料結構中的所有鍵按照上述方式逐一地校驗,當所有鍵都通過校驗後,則該檢索資料結構通過校驗。
步驟105:當接收到用戶提交的查詢請求時,從該檢索資料結構中查詢與該用戶提交的查詢請求相關的所有日誌文檔與查詢請求的相關性的期望值;步驟106:按照期望值從大到小的順序對查詢到的日誌文檔進行排序。
由上述實施例可以看出,本申請基於貝葉斯後驗機率計算日誌文檔與查詢請求的相關性的期望值,當從檢索資料結構中查詢到與用戶提交的查詢請求相關的所有日誌文檔與查詢請求的相關性的期望值後,按照期望值從大到小的順序對日誌文檔進行排序,考慮到了資訊的位置因素和點擊順序的因素,使用戶快速獲得最想要的資訊。減少搜索過程對於搜索引擎伺服器的消耗,並節省搜索引擎伺服器的系統資源。
實施例二
下面詳細說明一種搜索結果的排序方法的優選實施方式。請參閱圖3,其為本申請一種搜索結果的排序方法的另一個實施例的流程圖,該方法包括以下步驟:
步驟301:從日誌系統中提取出當天被曝光的日誌文檔和歷史被曝光的日誌文檔;其中,還可以分別保留一定時間段內當天被曝光的日誌文檔和歷史被曝光的日誌文檔,例如,保留一個滑動時間視窗內的日誌文檔,作為一種備份,一旦系統運行過程中發現異常情況,可以用來排查問題和恢復資料。
步驟302:根據日誌系統中提取出的當天被曝光的日誌文檔和歷史被曝光的日誌文檔,分別計算當天局部統計量和歷史局部統計量;其中,局部統計量包括N j N j 表示日誌文檔j被點擊的總次數,表示日誌文檔j位於r+d處且沒有被點擊,位置r處的日誌文檔被點擊,位置r到r+d之間的日誌文檔沒有被點擊在所有情況下的發生次數,T表示所有(r,d)的可能取值。
步驟303:將當天局部統計量和歷史局部統計量進行合併;其中,還可以分別保存一段時間內的當天局部統計量和歷史局部統計量,以支援增量更新和排查運行中可能出現的問題,以及恢復資料。
步驟304:根據日誌系統中提取的當天被曝光的日誌文檔和歷史被曝光的日誌文檔,分別計算當天全局統計量和歷史全局統計量;其中,全局統計量包括N r,d N r,d 為在日誌文檔j所在的同一個點擊序列中,位置r處的日誌文檔和位置r+d處的日誌文檔都被點擊,位置r到r+d之間的日誌文檔沒有被點擊在所有情況下的發生次數;為在日誌文檔j所在的同一個點擊序列中,位置r處的日誌文檔被點擊,位置r+d處的日誌文檔沒有被點擊,位置r到r+d之間的日誌文檔沒有被點擊在所有情況下發生的次數,r的取值範圍為小於或等於M-1的所有自然數,d的取值範圍為小於或等於M-r的所有整數,M表示日誌文檔j所在的同一點擊序列中所有日誌文檔的總數。
步驟305:將當天局部統計量和歷史局部統計量進行合併;其中,還可以分別保存一段時間內的當天全局統計量和歷史全局統計量,以支援增量更新和排查運行中可能出現的問題,以及恢復資料。
步驟306:根據合併後的全局統計量,計算全局參數;其中,全局參數為
步驟307:根據全局參數對日誌文檔進行過濾,使全局參數小於對應的預設閾值的日誌文檔被過濾;步驟308:計算過濾後的日誌文檔與查詢請求的相關性的貝葉斯後驗機率;其中,計算日誌文檔與查詢請求的相關性的貝葉斯後驗機率的過程已經在實施例一中進行了詳細地說明,故此處不再贅述,相關計算過程可以參見實施例一。
步驟309:根據貝葉斯後驗機率計算過濾後的日誌文檔與查詢請求的相關性的期望值;其中,計算日誌文檔與查詢請求的相關性的期望值的過程已經在實施例一中進行了詳細地說明,故此處不再贅述,相關計算過程可以參見實施例一。
步驟310:根據日誌文檔與查詢請求的相關性的期望值對日誌文檔進行過濾,使相關性的期望值等於預設預置的日誌文檔被過濾掉;步驟311:將查詢請求和日誌文檔的標識作為key,將該日誌文檔與查詢請求的相關性的期望值作為value儲存在檢索資料結構中;其中,還可以對檢索資料結構進行校驗,得到通過校驗的檢索資料結構。
步驟312:當接收到用戶提交的查詢請求時,從該檢索資料結構中查詢與該用戶提交的查詢請求相關的所有日誌文檔與查詢請求的相關性的期望值;步驟313:按照期望值從大到小的順序對查詢到的日誌文檔進行排序。
本申請中的搜索結果的排序方法可以應用在搜索領域,如圖4所示,其為本申請一種搜索排序系統的結構示意圖。每天提取新的搜索日誌,每天增量更新,輸出相關性的索引資料,更新到搜索排序系統中,作為排序的一個重要因素。
另外,本申請中的搜索結果的排序方法還可以應用在排序的評價系統。例如,給定一個查詢請求,通過本申請中的排序方法得到日誌文檔序列中的每個日誌文檔與查詢請求的相關性分值,這種分值是用戶對排序的一種隱式評價,可以歸一化該相關性分值序列,形成一個機率分佈函數p(x)。同時,用待評價的排序方法對同一個日誌文檔序列中的每個日誌文檔計算相關性分值並進行歸一化,形成一個機率分佈函數g(x)。將p(x)和g(x)的距離作為對待評價的排序方法的評估,差距越小,則待評價的排序方法的評價越高。距離計算公式可以為:
另外,本申請中的搜索結果的排序方法還可以應用在排序的訓練系統。例如,通過本申請中的排序方法得到(查詢,文檔)對的相關性分值,用Y表示,然後抽取(查詢,文檔)對的特徵,用X表示,如文本特徵和圖像特徵。然後,用於機器學習方法訓練得到相關性演算法Y=f(X)。
由上述實施例可以看出,本申請基於貝葉斯後驗機率計算日誌文檔與查詢請求的相關性的期望值,當從檢索資料結構中查詢到與用戶提交的查詢請求相關的所有日誌文檔與查詢請求的相關性的期望值後,按照期望值從大到小的順序對日誌文檔進行排序,考慮到了資訊的位置因素和點擊順序的因素,使用戶快速獲得最想要的資訊。減少搜索過程對於搜索引擎伺服器的消耗,並節省搜索引擎伺服器的系統資源。
實施例三
與上述一種搜索結果的排序方法相對應,本申請實施例還提供了一種搜索結果的排序裝置。請參閱圖5,其為本申請一種搜索結果的排序裝置的一個實施例的結構示意圖,包括:提取模組501、機率計算模組502、期望值計算模組503、索引建立模組504、檢索模組505和排序模組506。下面結合該裝置的工作原理進一步介紹其內部結構以及連接關係。
提取模組501,用於從日誌系統中提取出被曝光的日誌文檔;機率計算模組502,用於計算該日誌文檔與查詢請求的相關性的貝葉斯後驗機率;期望值計算模組503,用於根據該貝葉斯後驗機率計算該日誌文檔與查詢請求的相關性的期望值;索引建立模組504,用於將查詢請求和日誌文檔的標識作為鍵,將該日誌文檔與查詢請求的相關性的期望值作為值儲存在檢索資料結構中;檢索模組505,用於當接收到用戶提交的查詢請求時,從該檢索資料結構中查詢與該用戶提交的查詢請求相關的所有日誌文檔與查詢請求的相關性的期望值;排序模組506,用於按照期望值從大到小的順序對查詢到的日誌文檔進行排序。
優選的,請參閱圖6,其為本申請一種搜索結果的排序裝置的另一個實施例的結構示意圖。除了包括有提取模組501、機率計算模組502、期望值計算模組503、索引建立模組504、檢索模組505和排序模組506之外,該裝置還包括:第一過濾模組507,用於在根據該貝葉斯後驗機率計算日誌文檔與查詢請求的相關性的期望值之前,根據全局參數對日誌文檔進行過濾,使全局參數小於對應的預設閾值的日誌文檔被過濾;則期望值計算模組503,用於根據貝葉斯後驗機率計算過濾後的日誌文檔與查詢請求的相關性的期望值。
其中,第一過濾模組507進一步包括:篩選子模組5071和過濾子模組5072,篩選子模組5071,用於從提取出的被曝光的日誌文檔中篩選出被曝光一次且沒有被點擊的日誌文檔;過濾子模組5072,從篩選出的日誌文檔中,按照過濾條件公式過濾掉全局參數小於對應的預設閾值的日誌文檔,其中,β r , d 為全局參數,N r , d 為在被篩選出的日誌文檔所在的同一個點擊序列中,位置r處的日誌文檔和位置r+d處的日誌文檔都被點擊,位置r到r+d之間的日誌文檔沒有被點擊在所有情況下的發生次數;為在被篩選出的日誌文檔所在的同一個點擊序列中,位置r處的日誌文檔被點擊,位置r+d處的日誌文檔沒有被點擊,位置r到r+d之間的日誌文檔沒有被點擊在所有情況下發生的次數;r的取值範圍為小於或等於M-1的所有自然數,d的取值範圍為小於或等於M-r的所有整數,M表示被篩選出的日誌文檔所在的同一點擊序列中所有日誌文檔的總數,E t h 為與相關性的期望值對應的預設閾值。
優選的,請參閱圖7,其為本申請一種搜索結果的排序裝置的另一個實施例的結構示意圖。該裝置還包括:第二過濾模組508,用於在該將查詢請求和日誌文檔的標識作為key,將該日誌文檔的期望值作為value儲存在檢索資料結構中之前,根據日誌文檔與查詢請求的相關性的期望值或者方差對日誌文檔進行過濾,使期望值或者方差等於對應的預設閾值的日誌文檔被過濾,則索引建立模組504,用於將查詢請求和日誌文檔的標識作為key,將過濾後的日誌文檔的期望值作為value儲存在檢索資料結構中。
優選的,請參閱圖8,其為本申請一種搜索結果的排序裝置的另一個實施例的結構示意圖。除了包括有提取模組501、機率計算模組502、期望值計算模組503、索引建立模組504、檢索模組505和排序模組506之外,該裝置還包括:校驗模組509,用於在該將查詢請求和日誌文檔的標識作為鍵,將該日誌文檔與查詢請求的相關性的期望值作為值儲存在檢索資料結構中之後,對該檢索資料結構進行校驗,則檢索模組505,用於從通過校驗的檢索資料結構中查詢與該用戶提交的查詢請求相關的所有日誌文檔與查詢請求的相關性的期望值。
由上述實施例可以看出,本申請基於貝葉斯後驗機率計算日誌文檔與查詢請求的相關性的期望值,當從檢索資料結構中查詢到與用戶提交的查詢請求相關的所有日誌文檔與查詢請求的相關性的期望值後,按照期望值從大到小的順序對日誌文檔進行排序,考慮到了資訊的位置因素和點擊順序的因素,使用戶快速獲得最想要的資訊。減少搜索過程對於搜索引擎伺服器的消耗,並節省搜索引擎伺服器的系統資源。
需要說明的是,本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程,是可以通過電腦程式來指令相關的硬體來完成,所述的程式可儲存於一電腦可讀取儲存媒體中,該程式在執行時,可包括如上述各方法的實施例的流程。其中,該儲存媒體可為磁碟、光碟、唯讀儲存記憶體(Read-Only Memory,ROM)或隨機儲存記憶體(Random Access Memory,RAM)等。
以上對本申請所提供的一種搜索結果的排序方法和裝置進行了詳細介紹,本文中應用了具體實施例對本申請的原理及實施方式進行了闡述,以上實施例的說明只是用於幫助理解本申請的方法及其核心思想;同時,對於本領域的一般技術人員,依據本申請的思想,在具體實施方式及應用範圍上均會有改變之處,綜上所述,本說明書內容不應理解為對本申請的限制。
501...提取模組
502...機率計算模組
503...期望值計算模組
504...索引建立模組
505...檢索模組
506...排序模組
507...第一過濾模組
5071...篩選子模組
5072...過濾子模組
508...第二過濾模組
509...校驗模組
為了更清楚地說明本申請實施例或現有技術中的技術方案,下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,對於本領域普通技術人員而言,在不付出創造性勞動性的前提下,還可以根據這些附圖獲得其他的附圖。
圖1為本申請一種搜索結果的排序方法的一個實施例的流程圖;
圖2為本申請一種構建的機率模型結構示意圖;
圖3為本申請一種搜索結構的排序方法的另一個實施例的流程圖;
圖4為本申請一種搜索排序系統的結構示意圖;
圖5為本申請一種搜索結果的排序裝置的一個實施例的結構示意圖;
圖6為本申請一種搜索結果的排序裝置的另一個實施例的結構示意圖;
圖7為本申請一種搜索結果的排序裝置的另一個實施例的結構示意圖;
圖8為本申請一種搜索結果的排序裝置的另一個實施例的結構示意圖。

Claims (11)

  1. 一種搜索結果的排序方法,其特徵在於,包括:從日誌系統中提取出被曝光的日誌文檔;計算該日誌文檔與查詢請求的相關性的貝葉斯後驗機率;根據該貝葉斯後驗機率計算該日誌文檔與查詢請求的相關性的期望值;將查詢請求和日誌文檔的標識作為鍵,將該日誌文檔與查詢請求的相關性的期望值作為值儲存在檢索資料結構中;當接收到用戶提交的查詢請求時,從該檢索資料結構中查詢與該用戶提交的查詢請求相關的所有日誌文檔與查詢請求的相關性的期望值;按照期望值從大到小的順序對查詢到的日誌文檔進行排序。
  2. 根據申請專利範圍第1項所述的排序方法,其中,在該根據貝葉斯後驗機率計算日誌文檔與查詢請求的相關性的期望值之前,還包括:根據全局參數對日誌文檔進行過濾,使全局參數小於對應的預設閾值的日誌文檔被過濾;則根據該貝葉斯後驗機率計算該日誌文檔與查詢請求的相關性的期望值為:根據貝葉斯後驗機率計算過濾後的日誌文檔與查詢請求的相關性的期望值。
  3. 根據申請專利範圍第2項所述的排序方法,其中,該根據全局參數對日誌文檔進行過濾,使全局參數小於對應的預設閾值的日誌文檔被過濾包括:從提取出的被曝光的日誌文檔中篩選出被曝光一次且沒有被點擊的日誌文檔;從篩選出的日誌文檔中,按照過濾條件公式過濾全局參數小於對應的預設閾值的日誌文檔,其中,β r,d 為全局參數,N r,d 為在被篩選出的日誌文檔所在的同一個點擊序列中,位置r處的日誌文檔和位置r+d處的日誌文檔都被點擊,位置r到r+d之間的日誌文檔沒有被點擊在所有情況下發生的次數;為在被篩選出的日誌文檔所在的同一個點擊序列中,位置r處的日誌文檔被點擊,位置r+d處的日誌文檔沒有被點擊,位置r到r+d之間的日誌文檔沒有被點擊在所有情況下發生的次數;r的取值範圍為小於或等於M-1的所有自然數,d的取值範圍為小於或等於M-r的所有整數,M表示被篩選出的日誌文檔所在的同一點擊序列中所有日誌文檔的總數,E th 為與相關性的期望值對應的預設閾值。
  4. 根據申請專利範圍第1項所述的排序方法,其中,在該將查詢請求和日誌文檔的標識作為鍵,將該日誌文檔的期望值作為值儲存在檢索資料結構中之前,還包括:根據日誌文檔與查詢請求的相關性的期望值或者方差對日誌文檔進行過濾,使期望值或者方差等於對應的預設閾值的日誌文檔被過濾;則該將查詢請求和日誌文檔的標識作為鍵,將該日誌文檔的期望值作為值儲存在檢索資料結構中為:將查詢請求和日誌文檔的標識作為鍵,將過濾後的日誌文檔的期望值作為值儲存在檢索資料結構中。
  5. 根據申請專利範圍第1項所述的排序方法,其中,在該將查詢請求和日誌文檔的標識作為鍵,將該日誌文檔與查詢請求的相關性的期望值作為值儲存在檢索資料結構中之後,還包括:對該檢索資料結構進行校驗;則該從檢索資料結構中查詢與該用戶提交的查詢請求相關的所有日誌文檔與查詢請求的相關性的期望值為:從通過校驗的檢索資料結構中查詢與該用戶提交的查詢請求相關的所有日誌文檔與查詢請求的相關性的期望值。
  6. 根據申請專利範圍第1-5項中的任意一項所述的方法,其中,該計算日誌文檔與查詢請求的相關性的貝葉斯後驗機率具體為:根據用戶是否點擊日誌文檔與用戶是否瀏覽到該日誌文檔,以及該日誌文檔與用戶查詢請求的相關性程度有關,用戶是否瀏覽下面的日誌文檔與之前日誌文檔的點擊情況有關,當先驗分佈在[0,1]上服從均勻分佈時,計算用戶點擊日誌文檔後,日誌文檔與查詢請求的相關性的聯合後驗分佈。
  7. 一種搜索結果的排序裝置,其特徵在於,包括:提取模組,用於從日誌系統中提取出被曝光的日誌文檔;機率計算模組,用於計算該日誌文檔與查詢請求的相關性的貝葉斯後驗機率;期望值計算模組,用於根據該貝葉斯後驗機率計算該日誌文檔與查詢請求的相關性的期望值;索引建立模組,用於將查詢請求和日誌文檔的標識作為鍵,將該日誌文檔與查詢請求的相關性的期望值作為值儲存在檢索資料結構中;檢索模組,用於當接收到用戶提交的查詢請求時,從該檢索資料結構中查詢與該用戶提交的查詢請求相關的所有日誌文檔與查詢請求的相關性的期望值;排序模組,用於按照期望值從大到小的順序對查詢到的日誌文檔進行排序。
  8. 根據申請專利範圍第7項所述的排序裝置,其中,還包括第一過濾模組,用於在根據該貝葉斯後驗機率計算日誌文檔與查詢請求的相關性的期望值之前,根據全局參數對日誌文檔進行過濾,使全局參數小於對應的預設閾值的日誌文檔被過濾;則該期望值計算模組,用於根據貝葉斯後驗機率計算過濾後的日誌文檔與查詢請求的相關性的期望值。
  9. 根據申請專利範圍第8項所述的排序裝置,其中,該第一過濾模組包括:篩選子模組,用於從提取出的被曝光的日誌文檔中篩選出被曝光一次且沒有被點擊的日誌文檔;過濾子模組,從篩選出的日誌文檔中,按照過濾條件公式過濾掉全局參數小於對應的預設閾值的日誌文檔,其中,β r,d 為全局參數,N r,d 為在被篩選出的日誌文檔所在的同一個點擊序列中,位置r處的日誌文檔和位置r+d處的日誌文檔都被點擊,位置r到r+d之間的日誌文檔沒有被點擊在所有情況下發生的次數;為在被篩選出的日誌文檔所在的同一個點擊序列中,位置r處的日誌文檔被點擊,位置r+d處的日誌文檔沒有被點擊,位置r到r+d之間的日誌文檔沒有被點擊在所有情況下發生的次數;r的取值範圍為小於或等於M-1的所有自然數,d的取值範圍為小於或等於M-r的所有整數,M表示被篩選出的日誌文檔所在的同一點擊序列中所有日誌文檔的總數,E th 為與相關性的期望值對應的預設閾值。
  10. 根據申請專利範圍第7項所述的排序裝置,其中,還包括第二過濾模組,用於在該將查詢請求和日誌文檔的標識作為鍵,將該日誌文檔的期望值作為值儲存在檢索資料結構中之前,根據日誌文檔與查詢請求的相關性的期望值或者方差對日誌文檔進行過濾,使期望值或者方差等於對應的預設閾值的日誌文檔被過濾,則該索引建立模組,用於將查詢請求和日誌文檔的標識作為鍵,將過濾後的日誌文檔的期望值作為值儲存在檢索資料結構中。
  11. 根據申請專利範圍第7項所述的排序裝置,其中,還包括校驗模組,用於在該將查詢請求和日誌文檔的標識作為鍵,將該日誌文檔與查詢請求的相關性的期望值作為值儲存在檢索資料結構中之後,對該檢索資料結構進行核驗,則該檢索模組,用於從通過校驗的檢索資料結構中查詢與該用戶提交的查詢請求相關的所有日誌文檔與查詢請求的相關性的期望值。
TW099140211A 2010-09-28 2010-11-22 Sorting method and device for search results TWI512506B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010102991000A CN102419755B (zh) 2010-09-28 2010-09-28 一种搜索结果的排序方法和装置

Publications (2)

Publication Number Publication Date
TW201214168A TW201214168A (en) 2012-04-01
TWI512506B true TWI512506B (zh) 2015-12-11

Family

ID=45928307

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099140211A TWI512506B (zh) 2010-09-28 2010-11-22 Sorting method and device for search results

Country Status (7)

Country Link
US (3) US8538975B2 (zh)
EP (1) EP2622514A4 (zh)
JP (1) JP5864586B2 (zh)
CN (1) CN102419755B (zh)
HK (1) HK1166162A1 (zh)
TW (1) TWI512506B (zh)
WO (1) WO2012047593A2 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102419755B (zh) 2010-09-28 2013-04-24 阿里巴巴集团控股有限公司 一种搜索结果的排序方法和装置
CN103123653A (zh) * 2013-03-15 2013-05-29 山东浪潮齐鲁软件产业股份有限公司 基于贝叶斯分类学习的搜索引擎检索排序方法
US10606883B2 (en) 2014-05-15 2020-03-31 Evolv Technology Solutions, Inc. Selection of initial document collection for visual interactive search
US20150331908A1 (en) 2014-05-15 2015-11-19 Genetic Finance (Barbados) Limited Visual interactive search
US10102277B2 (en) * 2014-05-15 2018-10-16 Sentient Technologies (Barbados) Limited Bayesian visual interactive search
CN103995869B (zh) * 2014-05-20 2017-02-22 东北大学 一种基于Apriori算法的数据缓存方法
US9390275B1 (en) * 2015-01-27 2016-07-12 Centurion Holdings I, Llc System and method for controlling hard drive data change
US11868354B2 (en) * 2015-09-23 2024-01-09 Motorola Solutions, Inc. Apparatus, system, and method for responding to a user-initiated query with a context-based response
CN106649396B (zh) * 2015-11-03 2019-11-08 腾讯科技(深圳)有限公司 游戏等级数据的排序方法、系统及装置
CN105512232B (zh) * 2015-11-30 2020-02-28 北京金山安全软件有限公司 数据存储方法及装置
CN105512230B (zh) * 2015-11-30 2020-05-22 北京金山安全软件有限公司 数据存储方法及装置
CN105488195A (zh) * 2015-12-07 2016-04-13 中国人民大学 一种基于层次结构子话题的搜索结果多样化排序方法
CN107423298B (zh) * 2016-05-24 2021-02-19 北京百度网讯科技有限公司 一种搜索方法和装置
WO2017212459A1 (en) 2016-06-09 2017-12-14 Sentient Technologies (Barbados) Limited Content embedding using deep metric learning algorithms
US10755144B2 (en) 2017-09-05 2020-08-25 Cognizant Technology Solutions U.S. Corporation Automated and unsupervised generation of real-world training data
US10755142B2 (en) 2017-09-05 2020-08-25 Cognizant Technology Solutions U.S. Corporation Automated and unsupervised generation of real-world training data
US11030634B2 (en) 2018-01-30 2021-06-08 Walmart Apollo, Llc Personalized mechanisms to resolve explore-exploit dilemma with dynamically shared learnings
US11055742B2 (en) 2018-01-30 2021-07-06 Walmart Apollo, Llc Automated mechanisms to resolve explore-exploit dilemma with adaptive revival opportunities
US11042895B2 (en) 2018-01-30 2021-06-22 Walmart Apollo, Llc Automatic resolution of the explore-exploit decision in omnichannel settings
US11574201B2 (en) 2018-02-06 2023-02-07 Cognizant Technology Solutions U.S. Corporation Enhancing evolutionary optimization in uncertain environments by allocating evaluations via multi-armed bandit algorithms
CN110309121B (zh) * 2018-03-22 2023-05-26 腾讯科技(深圳)有限公司 日志处理方法及装置、计算机可读介质和电子设备
CN111563158B (zh) * 2020-04-26 2023-08-29 腾讯科技(深圳)有限公司 文本排序方法、排序装置、服务器和计算机可读存储介质
CN113220922B (zh) * 2021-06-04 2024-02-02 北京有竹居网络技术有限公司 图像搜索方法、装置和电子设备
CN114662008B (zh) * 2022-05-26 2022-10-21 上海二三四五网络科技有限公司 基于点击位置因素改进的ctr热门内容计算方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW498236B (en) * 1998-06-05 2002-08-11 I2 Technologies Inc Computer implemented scheduling system and process using abstract local search technique
TW200422878A (en) * 2002-08-05 2004-11-01 Yahoo Inc Method and apparatus for search ranking using human input and automated ranking
US20070214131A1 (en) * 2006-03-13 2007-09-13 Microsoft Corporation Re-ranking search results based on query log
US7287012B2 (en) * 2004-01-09 2007-10-23 Microsoft Corporation Machine-learned approach to determining document relevance for search over large electronic collections of documents
TW200943106A (en) * 2008-03-12 2009-10-16 Yahoo Inc System, method, and/or apparatus for reordering search results
US7664744B2 (en) * 2006-07-14 2010-02-16 Yahoo! Inc. Query categorizer
US7689615B2 (en) * 2005-02-25 2010-03-30 Microsoft Corporation Ranking results using multiple nested ranking

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128613A (en) * 1997-06-26 2000-10-03 The Chinese University Of Hong Kong Method and apparatus for establishing topic word classes based on an entropy cost function to retrieve documents represented by the topic words
US7702537B2 (en) 1999-05-28 2010-04-20 Yahoo! Inc System and method for enabling multi-element bidding for influencing a position on a search result list generated by a computer network search engine
US7424469B2 (en) * 2004-01-07 2008-09-09 Microsoft Corporation System and method for blending the results of a classifier and a search engine
US7761447B2 (en) 2004-04-08 2010-07-20 Microsoft Corporation Systems and methods that rank search results
US20060064411A1 (en) 2004-09-22 2006-03-23 William Gross Search engine using user intent
US7865495B1 (en) 2004-10-06 2011-01-04 Shopzilla, Inc. Word deletion for searches
US20070288399A1 (en) * 2006-05-16 2007-12-13 Mark Reynolds Qualitative retirement advice and management system and method for creating a retirement plan
US7769776B2 (en) 2006-06-16 2010-08-03 Sybase, Inc. System and methodology providing improved information retrieval
AU2007339839A1 (en) 2006-12-29 2008-07-10 Thomson Reuters Global Resources Information-retrieval systems, methods, and software with concept-based searching and ranking
CN101334773B (zh) * 2007-06-28 2014-07-30 联想(北京)有限公司 一种过滤搜索引擎查询结果的方法
US7895206B2 (en) 2008-03-05 2011-02-22 Yahoo! Inc. Search query categrization into verticals
US8180766B2 (en) 2008-09-22 2012-05-15 Microsoft Corporation Bayesian video search reranking
US9449078B2 (en) * 2008-10-01 2016-09-20 Microsoft Technology Licensing, Llc Evaluating the ranking quality of a ranked list
US8671093B2 (en) * 2008-11-18 2014-03-11 Yahoo! Inc. Click model for search rankings
JP4912384B2 (ja) * 2008-11-21 2012-04-11 日本電信電話株式会社 文書検索装置、文書検索方法、および文書検索プログラム
US8126894B2 (en) 2008-12-03 2012-02-28 Microsoft Corporation Click chain model
US8620900B2 (en) 2009-02-09 2013-12-31 The Hong Kong Polytechnic University Method for using dual indices to support query expansion, relevance/non-relevance models, blind/relevance feedback and an intelligent search interface
CN102419755B (zh) 2010-09-28 2013-04-24 阿里巴巴集团控股有限公司 一种搜索结果的排序方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW498236B (en) * 1998-06-05 2002-08-11 I2 Technologies Inc Computer implemented scheduling system and process using abstract local search technique
TW200422878A (en) * 2002-08-05 2004-11-01 Yahoo Inc Method and apparatus for search ranking using human input and automated ranking
US7287012B2 (en) * 2004-01-09 2007-10-23 Microsoft Corporation Machine-learned approach to determining document relevance for search over large electronic collections of documents
US7689615B2 (en) * 2005-02-25 2010-03-30 Microsoft Corporation Ranking results using multiple nested ranking
US20070214131A1 (en) * 2006-03-13 2007-09-13 Microsoft Corporation Re-ranking search results based on query log
US7664744B2 (en) * 2006-07-14 2010-02-16 Yahoo! Inc. Query categorizer
TW200943106A (en) * 2008-03-12 2009-10-16 Yahoo Inc System, method, and/or apparatus for reordering search results

Also Published As

Publication number Publication date
US20130191381A1 (en) 2013-07-25
WO2012047593A2 (en) 2012-04-12
US20130325857A1 (en) 2013-12-05
EP2622514A4 (en) 2015-04-22
JP5864586B2 (ja) 2016-02-17
TW201214168A (en) 2012-04-01
WO2012047593A3 (en) 2013-10-10
US20150039604A1 (en) 2015-02-05
US9372899B2 (en) 2016-06-21
US8538975B2 (en) 2013-09-17
CN102419755B (zh) 2013-04-24
EP2622514A2 (en) 2013-08-07
JP2014500534A (ja) 2014-01-09
CN102419755A (zh) 2012-04-18
HK1166162A1 (en) 2012-10-19
US8862604B2 (en) 2014-10-14

Similar Documents

Publication Publication Date Title
TWI512506B (zh) Sorting method and device for search results
US11775501B2 (en) Trace and span sampling and analysis for instrumented software
JP5575902B2 (ja) クエリのセマンティックパターンに基づく情報検索
US10169449B2 (en) Method, apparatus, and server for acquiring recommended topic
US9448999B2 (en) Method and device to detect similar documents
US8356035B1 (en) Association of terms with images using image similarity
US8209317B2 (en) Method and apparatus for reconstructing a search query
JP5540079B2 (ja) 知識ベース構築の方法および装置
EP2812815B1 (en) Web page retrieval method and device
US20090259651A1 (en) Search results ranking using editing distance and document information
WO2021082123A1 (zh) 信息推荐方法及装置、电子设备
US10346496B2 (en) Information category obtaining method and apparatus
US10896229B2 (en) Computing features of structured data
US11494395B2 (en) Creating dashboards for viewing data in a data storage system based on natural language requests
US20090187516A1 (en) Search summary result evaluation model methods and systems
CN106682049B (zh) 议题显示系统和议题显示方法
US10901811B2 (en) Creating alerts associated with a data storage system based on natural language requests
WO2013015696A1 (en) Clustering of feedback reports
WO2015128707A1 (en) Method and system for searching images
CN113360517A (zh) 数据处理方法、装置、电子设备及存储介质
CN108536716B (zh) 搜索结果处理方法、装置及服务器
US20190034555A1 (en) Translating a natural language request to a domain specific language request based on multiple interpretation algorithms
US8161065B2 (en) Facilitating advertisement selection using advertisable units
TWI647578B (zh) Search engine based document indexing method, data query method and server
WO2017014744A1 (en) Processing time-varying data using a graph data structure

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees