TW201543238A - 使用者會話之使用者滿意度評估方法與系統 - Google Patents

Abstract

呈現使用者會話之使用者滿意度評估方法、系統與程式。在一範例中，自一使用者接收於一使用者會話中的一或多個查詢。獲得關於一或多個使用者活動的資訊。每一使用者活動都與該一或多個查詢之一所關聯的內容項目的操作有關。至少部分根據該一或多個使用者活動計算與該使用者會話關聯的分數。根據該分數決定關於該使用者會話的使用者滿意度。

Description

使用者會話之使用者滿意度評估方法與系統

本發明與使用者滿意度評估的方法、系統與程式有關。特別是，本發明涉及使用者會話之使用者滿意度的評估方法、系統與程式。

線上內容搜尋為一種透過在像是在電腦或行動裝置上的局部使用者裝置上所執行的搜尋應用程式，從多數線上資料庫進行互動式資訊搜尋及取得請求資訊的程序。線上搜尋係透過搜尋系統所建構，該系統包含多數引擎，該等引擎為在遠端伺服器處執行的多數程式，並根據使用者所提交的特定查詢或關鍵字行內容搜尋。線上搜尋的搜尋結果可以包含提供給該使用者的該等文件或某些內容項目的清單。為了改進使用者對一搜尋系統的搜尋體驗，關鍵是評估該使用者對於該搜尋系統效能的滿意度。

然而，現有的技術僅限於評估對於每一單一查詢的使用者滿意度，雖然更希望的是評估一使用者關於包括連續查詢群集之使用者會話的滿意度，特別是當該使用者會話中的該等查詢係與能夠反映該使用者資訊需求的主題有關。此外，傳統的搜尋系統並不根據與多數內容項目操作有關的多數使用者活動進行評估。例如，在一使用者輸入查詢並在觸控螢幕接收與該查詢有關的內容項目時，該使用者執行與該內容項目操作有關 的某些活動，包含下壓該內容項目、揮動該內容項目以及放大或縮小該內容項目，但不限制於此。雖然可以利用與這些活動有關的資訊自動化的決定或預測使用者滿意度，但傳統的方法只根據來自該使用者對該內容項目進行的標籤或書籤動作估計使用者滿意度。

因此，需要對於評估使用者滿意度提供一改善的解決方式，以避免以上提到的缺點。

本發明與使用者滿意度評價的方法、系統與程式有關。特別是，本發明涉及使用者會話之使用者滿意度的評估方法、系統與程式。

在一範例中，所呈現的一方法係於至少一機器上實作，該每一個機器都具有至少一處理器、儲存器以及連接至一網路之一通訊平臺，該方法用以評估一使用者會話之使用者滿意度。自一使用者接收於一使用者會話中的一或多個查詢。獲得關於一或多個使用者活動的資訊。每一使用者活動都與該一或多個查詢之一所關聯的一內容項目的操作有關。至少部分根據該一或多個使用者活動計算與該使用者會話關聯之一分數。根據該分數決定關於該使用者會話的使用者滿意度。

在一不同範例中，所呈現的一系統具有至少一處理器、儲存器以及一通訊平臺，用以評估一使用者會話的使用者滿意度，該系統包含一查詢分析單元、一使用者活動偵測單元、一使用者滿意度決定單元與一使用者滿意度報告產生單元。該查詢分析單元實作於該至少一處理器上，並經配置以自一使用者接收於一使用者會話中的一或多個查詢。該使用者活動偵測單元實作於該至少一處理器上，並經配置以獲得關於一或多個使 用者活動的資訊，每一使用者活動都與該一或多個查詢之一所關聯的一內容項目的操作有關。該使用者滿意度決定單元實作於該至少一處理器上，並經配置以至少部分根據該一或多個使用者活動計算與該使用者會話關聯之一分數。該使用者滿意度報告產生單元實作於該至少一處理器上，並經配置以根據該分數決定關於該使用者會話的使用者滿意度。

其他的概念則與提供查詢建議的軟體有關。與此概念一致之一軟體產品係包含至少一非暫態機器可讀媒介，以及由該媒介所攜載的資訊。由該媒介所攜載的資訊係為可執行程式編碼資料，其與一請求的關聯的多數參數或操作參數相關，像是與一使用者、一請求或一社交群集等等有關的資訊。

在一範例中，所呈現的一非暫態機器可讀媒介具有記錄於其上的資訊，以評估關於一使用者會話的使用者滿意度。當由該機器讀取該記錄的資訊時，使該機器執行以下動作。自一使用者接收於一使用者會話中的一或多個查詢。獲得關於一或多個使用者活動的資訊，每一使用者活動都與該一或多個查詢之一所關聯的一內容項目的操作有關。至少部分根據該一或多個使用者活動計算與該使用者會話關聯之一分數。根據該分數決定關於該使用者會話的使用者滿意度。

100‧‧‧網路環境

110‧‧‧使用者

110-1‧‧‧桌上型電腦

110-2‧‧‧膝上電腦

110-3‧‧‧汽車內建裝置

110-4‧‧‧行動裝置

120‧‧‧網路

120-1‧‧‧基站/網際網路交換點

120-2‧‧‧基站/網際網路交換點

130‧‧‧搜尋引擎系統

140‧‧‧使用者滿意度評估系統

160‧‧‧內容來源

160-1‧‧‧內容來源

160-2‧‧‧內容來源

160-3‧‧‧內容來源

200‧‧‧網路環境

310‧‧‧使用者

320‧‧‧使用者活動偵測單元

330‧‧‧使用者參與評估單元

340‧‧‧使用者會話決定單元

350‧‧‧使用者滿意度分數決定器

360‧‧‧使用者滿意度報告產生單元

402‧‧‧步驟

404‧‧‧步驟

406‧‧‧步驟

408‧‧‧步驟

410‧‧‧步驟

411‧‧‧步驟

412‧‧‧步驟

414‧‧‧步驟

416‧‧‧步驟

418‧‧‧步驟

419‧‧‧步驟

420‧‧‧步驟

422‧‧‧步驟

502‧‧‧按壓動作偵測單元

504‧‧‧旋轉動作偵測單元

506‧‧‧點擊動作偵測單元

508‧‧‧揮動動作偵測單元

510‧‧‧縮放動作偵測單元

512‧‧‧捲動動作偵測單元

520‧‧‧使用者

522‧‧‧偵測期間

524‧‧‧使用者會話資訊

602‧‧‧步驟

604‧‧‧步驟

606‧‧‧步驟

608‧‧‧步驟

610‧‧‧步驟

702‧‧‧查詢分析單元

704‧‧‧會話終止偵測單元

705‧‧‧使用者會話資料庫

706‧‧‧分離模式產生器/更新器

708‧‧‧會話分離模式

710‧‧‧使用者會話記錄單元

802‧‧‧步驟

804‧‧‧步驟

806‧‧‧步驟

808‧‧‧步驟

809‧‧‧步驟

810‧‧‧步驟

812‧‧‧步驟

814‧‧‧步驟

816‧‧‧步驟

818‧‧‧步驟

819‧‧‧步驟

820‧‧‧步驟

902‧‧‧使用者參與分析器

904‧‧‧使用者會話關聯單元

906‧‧‧會話基礎滿意度分析器

908‧‧‧使用者滿意度分數產生器

909‧‧‧分數資料庫

910‧‧‧評估模型產生器/更新器

912‧‧‧使用者滿意度度量

914‧‧‧滿意度評估模型

1002‧‧‧步驟

1004‧‧‧步驟

1006‧‧‧步驟

1008‧‧‧步驟

1010‧‧‧步驟

1012‧‧‧步驟

1014‧‧‧步驟

1015‧‧‧步驟

1016‧‧‧步驟

1020‧‧‧步驟

1022‧‧‧步驟

1024‧‧‧步驟

1025‧‧‧步驟

1110‧‧‧閒置期間

1210‧‧‧主題

1220‧‧‧主題

1230‧‧‧主題

1310‧‧‧主題

1320‧‧‧閒置期間

1410‧‧‧使用者會話

1420‧‧‧使用者會話

1510‧‧‧使用者介面

1520‧‧‧行動裝置

1530‧‧‧查詢輸入區域

1540-1‧‧‧資訊卡片

1540-1‧‧‧資訊卡片

1540-2‧‧‧資訊卡片

1540-2‧‧‧資訊卡片

1540-n‧‧‧資訊卡片

1540-n‧‧‧資訊卡片

2000‧‧‧行動裝置

2002‧‧‧中央處理單元

2004‧‧‧圖形處理單元

2006‧‧‧顯示器

2008‧‧‧記憶體

2010‧‧‧通訊平臺

2012‧‧‧儲存器

2014‧‧‧輸入/輸出裝置

2016‧‧‧行動操作系統

2018‧‧‧應用程式

2100‧‧‧電腦

2102‧‧‧通訊埠口

2104‧‧‧中央處理單元

2106‧‧‧內部通訊匯流排

2108‧‧‧碟片裝置

2110‧‧‧唯讀記憶體

2112‧‧‧隨機存取記憶體

2114‧‧‧輸入/輸出元件

2116‧‧‧使用者介面元件

在此敘述之該等方法、系統及/或程式係進一步以示例具體實施例的方式敘述。這些具體實施例則參考該等圖式詳細敘述。這些具體實施例為非限制性示例具體實施例，其中在該等圖式的許多觀點中，相同的參考符號代表類似的結構，其中： 第一圖為根據本發明之一具體實施例一示例網路環境的高階描繪，用以評估關於一使用者會話的使用者滿意度；第二圖為根據本發明之另一具體實施例一示例網路環境的高階描繪，用以評估關於一使用者會話的使用者滿意度；第三圖描繪根據本發明之一具體實施例一使用者滿意度評估系統的示例圖式，用以評估關於一使用者會話的使用者滿意度；第四圖為根據本發明之一具體實施例的示例程序流程圖，用以評估關於一使用者會話的使用者滿意度；第五圖描繪根據本發明之一具體實施例，於一使用者滿意度評估系統中一使用者活動偵測單元的示例圖示；第六圖為根據本發明之一具體實施例，由一使用者活動偵測單元所執行之一示例程序的流程圖；第七圖描繪根據本發明之一具體實施例，於一使用者滿意度評估系統中一使用者會話決定單元的示例圖示；第八圖為根據本發明之一具體實施例，由一使用者會話決定單元所執行之一示例程序的流程圖；第九圖描繪根據本發明之一具體實施例，於一使用者滿意度評估系統中一使用者滿意度分數決定器的示例圖示；第十圖為根據本發明之一具體實施例，由一使用者滿意度分數決定器所執行之一示例程序的流程圖；第十一圖至第十四圖描繪根據本發明多數不同具體實施例的示例使用者會話； 第十五圖描繪根據本發明之一具體實施例，於一使用者介面上的多數內容項目；第十六圖至第十九圖描繪根據本發明多數不同具體實施例，與多數內容項目有關的示例使用者活動；第二十圖描繪一般的行動裝置架構，於該行動裝置上可以實作本發明；以及第二十一圖描繪一般的電腦架構，於該電腦上可以實作本發明。

在下述詳細敘述中，以範例方式設定許多特定細節，以提供對於相關教導的完整瞭解。然而，對於該領域技術人員而言應該明確的是，本發明可以不以所述細節實作。在其他情況中，被熟知之方法、步驟、系統、元件及/或電路係以經以相對高階方式敘述，而不進行詳細描述，以避免對本發明態樣造成不必要的干擾。

本發明揭示內容敘述有效率及有效之使用者滿意度評估的方法、系統與程式態樣。在此揭示之該方法與系統目標為藉由提供一精確與立即的使用者滿意度評價，改善終端使用者對於搜尋體驗的滿意度。

在行動或其他類似環境的背景中，搜尋結果鏈結的清單可能並不實用。當使用不同於傳統搜尋結果鏈結清單的其他方法，以讓多數使用存取與一查詢有關的多數內容項目時，單獨根據點擊測量可能不足以評估使用者滿意度。例如，搜尋結果可以呈現為裝載具備與一使用者查詢關聯之內容的「卡片」，減少一使用者點擊/敲擊一鏈結而存取包括該相同內容 之一外部或第三方站點的需求。因此，重要的是不在所述策略中單獨依靠點擊活動，並根據其他使用者活動評價使用者滿意度，像是垂直捲動通過資訊、水平揮動通過資訊旋轉帶、指尖捏縮、放大縮小、旋轉、退出、收摺、與該等資訊卡有關的外部應用程式選擇動作等等。

此外，當一使用者具有與一主題有關的資訊需求時，該使用者可能在一時間期間之中連續輸入與該主題有關的多數查詢。該等查詢形成一使用者會話，於該使用者會話期間以上提及的該等使用者活動可被偵測並使用以決定該使用者是否對於該完整使用者會話滿意，或該使用者對該使用者會話有多滿意。

其他的新穎特徵，將部分闡述於以下的敘述之中，且在檢驗下述與該等伴隨圖式，或藉由製造或操作該等範例的學習之後，對於該領域技術人員而言這些部分將變得明確。本發明之該等新穎特徵可以藉由實作或使用於以下討論的該等詳細範例中所闡述的方法、工具與組合方式的各種態樣，而獲得實現與達成。

第一圖為根據本發明之一具體實施例一示例網路環境100的高階描繪，用以評估關於一使用者會話的使用者滿意度。在第一圖中，該示例網路環境100包含一搜尋引擎系統130、一使用者滿意度評估系統140、一或多個使用者110、一網路120與多數內容來源160。該網路可為一單一網路或不同網路的組合。例如，該網路可為區域網路(LAN)、廣域網路(WAN)、公共網路、私有網路、專用網絡、公共電話交換網路(PSTN)、網際網路、無線網絡、虛擬網絡，或其任意組合。在網際網路廣告的範例中，該網路120可為一線上廣告網路或廣告網路，其為將多數廣告商連接至 希望主持多數廣告之多數網點的聯合。廣告網路的主要功能為將來自多數發佈商的廣告空間加以集合，並將廣告空間與廣告商的需求匹配。該網路120也可以包含各種網路存取點，例如像是基站或是網際網路交換點120-1、120-2的有線或無線存取點，透過這些存取點一資料來源便可以連接至該網路120，以透過該網路120傳輸資訊。

使用者110可為多種不同形式，像是透過桌上型電腦110-1、膝上電腦110-2、汽車內建裝置110-3或行動裝置110-4連接至該網路120的多數使用者。一使用者110可以透過該網路120傳送一查詢至該搜尋引擎系統130，並接收來自該搜尋引擎系統130對該查詢的回應。該回應可以包含與該查詢有關的多數搜尋結果及/或內容項目。

該使用者滿意度評估系統140可以根據來自該使用者與一使用者介面上一搜尋結果或內容項目之處理有關的多數使用者活動，評估該使用者110是否滿意由該搜尋引擎系統130所提供的搜尋服務。在此具體實施例中，該使用者滿意度評估系統140直接連接至該網路120，並可以直接透過該網路120與該等使用者110通訊。

該等內容來源160包含多數內容來源160-1、160-2、...、160-3，像是多數垂直內容來源。一內容來源160可以對應於由一實體所主持的網站，不管是個人、商業或像是USPTO.gov的組織、像是cnn.com與Yahoo.com的內容提供者、像是Facebook.com的社交網路網站，或像是推特或部落格的內容饋入來源。該搜尋引擎系統130可以存取來自該等任意內容來源160-1、160-2、...、160-3的資訊。例如，該搜尋引擎系統130可以透過其網頁爬取器取得內容，例如取得網站，以建構一搜尋索引。

第二圖為根據本發明之另一具體實施例一示例網路環境200的高階描繪，用以評估關於一使用者會話的使用者滿意度。此具體實施例中的示例網路環境200與第一圖中該示例網路環境100相同，除了在此具體實施例中之該使用者滿意度評估系統140係透過該搜尋引擎系統130連接至該網路120以外。例如，該使用者滿意度評估系統140可以做為該搜尋引擎系統130的後端，以評估使該搜尋引擎系統130通訊之該等使用者的使用者滿意度。

第三圖描繪根據本發明之一具體實施例一使用者滿意度評估系統140的示例圖式，用以評估一關於使用者會話的使用者滿意度。該使用者滿意度評估系統140可處於一示例網路環境中，例如第一圖之該網路環境100或第二圖之該網路環境200。此範例中之該使用者滿意度評估系統140包含一使用者活動偵測單元320、一使用者參與評估單元330、一使用者會話決定單元340、一使用者滿意度分數決定器350與一使用者滿意度報告產生單元360。為了參考，第三圖中也顯示一搜尋引擎系統130。根據該使用者310所輸入的查詢，該搜尋引擎系統130可以傳送多數內容項目給該使用者310。該等內容項目可透過一使用者介面呈現給該使用者310。在某些具體實施例中，一內容項目為與一使用者查詢有關的資訊卡片，在該卡片上則呈現與該資訊卡片有關的內容。

例如，第十五圖描繪在一使用者於一查詢輸入區域1530中提交多數查詢條件之後，於一行動裝置1520上的一使用者介面1510。為了回應該等查詢條件的提交，係於該使用者介面1510上對該使用者呈現具有多數內容項目或資訊卡片1540-1、...、1540-n的堆疊。如同所示，在某些具體 實施例中，該等資訊卡片的呈現，係在接收該查詢之後，並於該等資訊卡片呈現之前，以不提供與該查詢有關的中間結果集合的情況下，提供給該使用者。該等資訊卡片的呈現則例如在不先對該使用者呈現多數搜尋結果鏈結的清單，並要求該使用者選擇(例如，利用點擊、敲擊等等)該等呈現搜尋結果鏈結之一的情況，提供給該使用者，該等呈現搜尋結果鏈結則具備有該等內容項目的呈現。如同所描繪，該資訊卡片1540-1係呈現於多數其他資訊卡片1540上方，因此該資訊卡片1540-1的內容(例如，位於該資訊卡片1540-1的多數部分之中)則在該使用者介面1510上的畫面之中。在某些具體實施例中，該使用者可以藉由揮開該資訊卡片1540-1的方式、拖曳該資訊卡片1540-1至該資訊卡片1540堆疊中的另一位置方式、選擇該等資訊卡片1540的另一卡片方式等等，檢視或是存取該等其他資訊卡片的內容。在某些具體實施例中，該等資訊卡片1540的每一個都對應於一各別的領域(例如，天氣、餐廳、電影、音樂、導航、日曆等等)。其他資訊卡片內容的檢視或存取，以因此允許一使用者檢視或是存取屬於多數其他領域的資訊內容。

該使用者會話決定單元340可以決定來自一使用者的查詢是否屬於一新的使用者會話或一目前的使用者會話。使用者會話可為一使用者與一伺服器之間互動資訊交換的期間。在一範例中，該使用者可為該使用者110，而該伺服器可為該搜尋引擎系統130及/或該使用者滿意度評估系統140。因為在此範例中該使用者滿意度評估系統140係經配置以評估有關於由該搜尋引擎系統130提供給該使用者之多數服務的使用者滿意度，因此有關於該使用者310之使用者會話的定義對於該搜尋引擎系統130與該使用 者滿意度評估系統140便可相同。因此，該使用者會話決定單元340可以如此範例位於該使用者滿意度評估系統140之中，或是在另一範例位於該搜尋引擎系統130中。在任一範例中，與該使用者會話有關的資訊可以在該搜尋引擎系統130與該使用者滿意度評估系統140之間共享。

在一具體實施例中，該使用者會話決定單元340甚至可位於該使用者310的客戶端裝置處，因此該使用者310可以人為定義一使用者會話，或在該使用者側設定定義使用者會話的配置。在該使用者側的使用者會話定義可被傳送至該搜尋引擎系統130及/或該使用者滿意度評估系統140，以評估一使用者會話的使用者滿意度。

可以根據特定使用者、開始時間、結束時間與會話區分模式定義一使用者會話。會話區分模式可用於決定一特定使用者之使用者會話的開始時間與結束時間。根據各種具體實施例，可以使用多種不同的會話分離模式。

第十一圖描繪根據本發明一具體實施例的示例使用者會話。根據第十一圖中所描述的會話分離模式，該等使用者會話可根據兩連續查詢之間的閒置期間分離。實際上，在接收一目前的搜尋查詢之後，於該使用者會話決定單元340處，進行該目前搜尋查詢與來自該相同使用者所接收的前一個查詢之間的閒置時間及一預定門檻數值的比較，以決定該兩連續查詢是否屬於該相同使用者會話。如果該閒置時間並未超過該門檻數值，便將該目前查詢記錄於該目前使用者會話中。否則，建立一新的使用者會話，並將該目前查詢記錄為該新使用者會話的首個查詢。例如在第十一圖中，多數查詢1-1、1-2、1-3、1-4屬於一使用者會話1，而多數查詢2-1、 2-2屬於另一使用者會話2，因為該連續查詢1-4與2-1之間的閒置期間1110超過一預定門檻數值。

第十二圖描繪根據本發明另一具體實施例的示例使用者會話。根據第十二圖中所描述的會話分離模式，該等使用者會話可根據兩連續查詢之相關主題的相似度分離。每一查詢可經分析並經決定係與一相關主題關聯，例如天氣、運動、新聞、購物等等。在接收一目前的搜尋查詢之後，於該使用者會話決定單元340處，進行該目前搜尋查詢與來自該相同使用者所接收的前一個查詢之間的彼此比較，以決定一相似度。如果該相似度大於一預定門檻數值，便將該目前查詢記錄於該目前使用者會話中。否則，建立一新的使用者會話，並將該目前查詢記錄為該新使用者會話的首個查詢。例如在第十二圖中，多數查詢1-1、1-2、1-3、1-4屬於一使用者會話1，而多數查詢2-1、2-2、2-3屬於另一使用者會話2，因為在該使用者會話1中該等查詢與一主題「天氣」1210有關，但在該使用者會話2中該等查詢與另一主題「運動」1220有關。

第十三圖描繪根據本發明另一具體實施例的示例使用者會話。根據第十三圖中所描述的會話分離模式，該等使用者會話可根據兩連續查詢之間的閒置期間以及兩連續查詢之相關主題的相似度兩者分離。例如，如第十三圖所示，雖然在該使用者會話1與該使用者會話2中的所有查詢都與該相同主題「運動」1310有關，但多數查詢1-1、1-2、1-3、1-4屬於一使用者會話1，而多數查詢2-1、2-2屬於另一使用者會話2。這是因為該連續查詢1-4與2-1之間的閒置期間1320超過一預定門檻數值。

第十四圖描繪根據本發明另一具體實施例的示例使用者會 話。根據第十四圖中所描述的會話分離模式，一使用者會話可以具有多數共同相關主題的多數交錯查詢。例如，如第十四圖所示，雖然查詢2-1與2-2係在查詢1-2及查詢1-3之間提交，但多數查詢1-1、1-2、1-3、1-4屬於一使用者會話1，1410，而多數查詢2-1、2-2、2-3、2-4屬於另一使用者會話2，1420。這是因為該等查詢1-1、1-2、1-3、1-4可能與一共同主題或該使用者所需的資訊有關，而該等查詢2-1、2-2、2-3、2-4可能與另一共同主題或該使用者所需的資訊有關。例如，一使用者可能在查詢1-1、1-2中尋找電影票券或表演資訊，而在查詢2-1、2-2中尋找該使用者對一感興趣電影中的某些電影明星；接著該使用者在查詢1-3、1-4中再次尋找更多的電影票券或表演資訊，以及在查詢2-3、2-4中尋找某些其他的電影明星。在此範例中，該等查詢1-1、1-2、1-3、1-4都與某特定電影的票券/表演資訊有關，而該等查詢2-1、2-2、2-3、2-4都與不限定於一特定電影的多數電影明星資訊有關。這在像是桌上、膝上、平板或智慧型手機的瀏覽器上可能時常發生，該瀏覽器具有多頁籤設定，而一使用者可以同時透過多數個瀏覽器頁籤搜尋不同資訊。

要瞭解在多數其他範例中，取代使用閒置時間或多數相關主題相似度以定義一使用者會話的方式，使用者會話可以以多種其他方式定義，例如，利用一預定時間窗定義。該預定時間窗可例如為10分鐘或30分鐘。也就是說，在該使用者存取該搜尋應用程式之後於該預定時間窗之中所輸入的任何查詢，都被視做為在該相同的使用者會話中，而該使用者會話在該預定時間窗結束時結束。

回到第三圖，在該使用者310提交一查詢之後，該使用者會 話決定單元340可以如在該環境100中透過該網路120直接接收該查詢，或如在該環境200中接收由該搜尋引擎系統130所遞交的查詢。在此範例中，該使用者會話決定單元340可以根據第十一圖至第十三圖描繪之該等會話分離模式的任一個，決定該查詢是否屬於新的使用者會話或為目前的使用者會話。在決定該查詢的使用者會話之後，該使用者會話決定單元340可以傳送使用者會話資訊至該使用者活動偵測單元320及/或該使用者滿意度分數決定器350兩者，該使用者活動偵測單元320監測多數使用者活動，而該使用者滿意度分數決定器350決定一使用者滿意度分數。

在一具體實施例中，該使用者會話決定單元340可以傳送一偵測期間至該使用者活動偵測單元320，因此該使用者活動偵測單元320可以監測於該偵測期間之中來自該使用者310的多數使用者活動。偵測期間可根據使用者會話資訊決定，因此該使用者活動偵測單元320可以在使用者最為活躍時監測多數使用者活動，並在使用者相對不活躍時停止監測。

在此範例中之該使用者活動偵測單元320可以監測來自多數不同使用者的多數使用者活動。該等使用者活動可以包含來自一使用者的一動作或不動作。來自使用者的動作可以包含按壓、揮動、點擊、旋轉、縮放、捲動等等。來自使用者的不動作範例可為一種停留時間，其中該使用者不提供任何輸入。除了與提供至一使用者之多數結果鏈結有關的傳統使用者活動以外，像是滑鼠點擊或鍵盤輸入，也可以偵測並使用更多種與提供至一使用者內容項目操作有關的使用者活動，以評估使用者滿意度。例如，第十六圖至第十九圖描繪根據本發明多數不同具體實施例，對於多數內容項目的多種示例使用者活動。

第十六圖描繪對於該資訊卡片1540-1部分1中的內容所進行的旋轉動作。在一具體實施例中，所描繪的旋轉動作為觸發該資訊卡片1540-1(或該部分1的內容)修改的動作，因此該資訊卡片1540-1(或該部分1的內容)的實例係被修改並接著儲存，以做為該資訊卡片1540-1的後續呈現。例如，在一種使用情況中，回應一後續的使用者查詢，將該資訊卡片1540-1的修改版本(或該經旋轉部分1的內容)呈現給該使用者(取代呈現該資訊卡片1540-1的原始版本)。在另一具體實施例中，所描繪的旋轉動作為觸發該資訊卡片1540-1(或該部分1的內容)修改的動作，因此該資訊卡片1540-1的後續呈現包括該資訊卡片1540-1的原始版本(或未經旋轉部分1的內容)。

第十七圖描繪對於該資訊卡片1540-1部分2中的內容所進行的移除動作。在一具體實施例中，所描繪的移除動作為觸發該資訊卡片1540-1(或該部分2的內容)修改的動作，因此該資訊卡片1540-1(或該部分2的內容)的實例係被修改並接著儲存，以做為該資訊卡片1540-1的後續呈現。例如，在一種策略中，回應一後續的使用者查詢，將該資訊卡片1540-1的修改版本(例如，該資訊卡片1540-1但不具備該部分2的內容)呈現給該使用者(取代呈現該資訊卡片1540-1的原始版本)。在另一具體實施例中，所描繪的移除動作為觸發該資訊卡片1540-1(或該部分2的內容)修改的動作，因此該資訊卡片1540-1的後續呈現包括該資訊卡片1540-1的原始版本(例如，該資訊卡片1540-1且具備該部分2的內容)。

第十八圖描繪從該等資訊卡片1540的堆疊呈現，移除該資訊卡片1540-1的移除動作。例如，該移除動作可以包括揮動動作、拖曳丟棄動 作，或是其他觸發自該等資訊卡片1540的堆疊呈現移除該資訊卡片1540-1的動作。在對該資訊卡片1540執行第十八圖中的移除動作之後，該資訊卡片1540-2便於該資訊卡片1540-2堆疊的頂部對該使用者呈現，因此該資訊卡片1540-2的該等內容(例如，位於該資訊卡片1540-2的多數部分中)便於該使用者介面1510上的畫面中。

第十九圖描繪關於該資訊卡片1540-2執行的捲動動作。如同所示，該使用者於該資訊卡片1540-2上執行該捲動動作，因此該資訊卡片1540-2的多數部分2、3及4的內容便於該使用者介面1510上的畫面中(相對於該資訊卡片1540-2的部分1及2的內容)。要瞭解的是雖然在此敘述多種示例使用者活動(例如，關於第十五圖至第十九圖敘述)，但這些僅做為範例而不用於限制。在本發明的範圍中，可以執行、監測、偵測及/或使用任何其他適宜的使用者活動，以提供與使用者參與多數內容項目有關的資訊。其他範例包括將一內容項目的一部分從該內容項目的一位置移動至該內容項目的另一位置、增加內容至該內容項目等等。在某些具體實施例中，關於第十五圖至第十九圖敘述的該每一個使用者活動都受監測，因此可以根據這些使用者活動分析該使用者對該資訊卡片1540的參與程度。

回到第三圖，在此範例中根據使用者會話資訊自該使用者會話決定單元340接收一偵測期間。在另一範例中，可以決定偵測期間為一延長時間期間，例如一個月，該延長的時間期間可以涵蓋來自許多使用者的大量使用者活動。而在另一範例中，可自該使用者參與評估單元330接收並根據先前的使用者參與之測量決定一偵測期間。

在偵測來自一使用者的使用者活動之後，該使用者活動偵測 單元320可以決定與該使用者有關的使用者會話資訊，例如該使用者活動相關聯的使用者會話辨識(ID)。該使用者活動偵測單元320可以傳送與該使用者活動及該使用者會話有關的資訊至該使用者參與評估單元330，以評估使用者參與度。

在此範例中，該使用者參與評估單元330根據自該使用者活動偵測單元320接收之與該使用者活動及該使用者會話有關的資訊，測量使用者參與度。使用者參與的程度指示一使用者對於一內容項目所參與或感興趣的程度，例如，回應該使用者提交之查詢所提供至該使用者的內容項目。雖然一使用者會話可能包含多數查詢，但指示一使用者對於該使用者會話中一查詢感到興趣的使用者參與分數可能無法反應該使用者對於該完整使用者會話的滿意度，特別是在存在許多來自該使用者的資訊需求，以及當該使用者在該使用者會話期間具有複雜且豐富的互動活動時。雖然對於一查詢的使用者滿意度可以根據本發明各種具體實施例評估，但是實際上可能更想要對於完整會話的使用者滿意度。在一具體實施例中，一使用者可能滿意一使用者會話中對於一查詢的搜尋結果，但可能因為對於該使用者會話中大多數其他查詢的結果感到失望，而不滿意該整體使用者會話以及因此不滿意搜尋服務。在另一具體實施例中，一使用者是否滿意一查詢的情況，可由該使用者對於該相同會話中關於多數其他查詢的使用者活動所反映。例如，當回應自一使用者接收到的查詢「Clinton」而提供有關「Hillary Clinton」的搜尋結果給該使用者時，該使用者是否滿意該搜尋結果可以由該使用者在接收該搜尋結果後立即送出的次一查詢輸入所指示。如果該次一查詢為「Bill Clinton」，該使用者可能不十分滿意關於「Hillary Clinton」的搜尋結果。但是如果該次一查詢為「first female president(首位女性總統)」或是「election 2016(2016年選舉)」時，該使用者可能滿意關於「Hillary Clinton」的搜尋結果。因此，時常是更想要知道一使用者對於包含一或多個相關查詢的使用者會話是否滿意。在此範例中，該使用者參與評估單元330傳送使用者參與資訊至該使用者滿意度分數決定器350，以評估一完整使用者會話的使用者滿意度。

在此範例中，該使用者滿意度分數決定器350接收來自該使用者參與評估單元330的使用者參與資訊以及來自該使用者會話決定單元340的使用者會話資訊，並產生或更新與一使用者會話關聯的使用者滿意度分數。該使用者滿意度分數決定器350可以分析該使用者參與資訊，以獲得與該使用者參與資訊關聯的使用者會話辨識。該使用者滿意度分數決定器350接著可以根據該使用者會話辨識，自該使用者會話決定單元340取得使用者會話資訊。該使用者參與資訊可以包含與多數使用者活動有關的資訊，該等使用者活動則與一內容項目或一搜尋結果相關，並可以由該使用者滿意度分數決定器350使用以藉由根據一滿意度評估模式產生一使用者滿意度分數的方式，估計使用者滿意度。該滿意度評估模式可以根據一或多個使用者滿意度度量所決定，例如點擊率(CTR)、停留時間、首次點擊時間、分享數、推特數、最愛數等等。該滿意度評估模式可以根據例如該目前使用者會話的主題、該使用者在該目前使用者會話中資訊需求、在該目前使用者會話期間的使用者活動、在與該目前使用者會話類似的先前使用者會話中的歷史使用者活動，及/或該使用者的個人資訊，利用多數不同權重使用多數不同度量。

在一範例中，由該使用者滿意度分數決定器350所產生與一使用者會話有關的分數可為二元值「1」或「0」，以指示該使用者是否滿意該使用者會話。在另一範例中，由該使用者滿意度分數決定器350所產生與一使用者會話有關的分數可為0及1之間的機率，以指示該使用者多麼滿意該使用者會話，例如80%的滿意度。而在另一範例中，由該使用者滿意度分數決定器350所產生與一使用者會話有關的分數可為一實數分數，其指示對於該使用者會話的使用者滿意級數。

在一具體實施例中，該使用者滿意度分數決定器350也可以產生與該使用者滿意度分數關聯的信賴水準。該信賴水準指示利用該使用者滿意度分數預測該使用者的真實滿意度時是多有信心。在一範例中，當所偵測到的多數使用者活動包含指示該使用者分享該使用者會話中的結果，或將該使用者會話中一內容項目標記為最愛等的許多使用者動作時，該信賴水準可能相對的高，因為該等使用者活動反映該使用者的明顯意圖。在另一範例中，當所偵測到的多數使用者活動包含在該使用者會話中極少的使用者動作，不具有任何來自該使用者的明顯輸入時，該信賴水準可能相對的低，因為其難以利用來自該使用者的極少資訊預測該使用者滿意程度。該信賴水準也可以與來自一使用者的多數不同資訊需求有關。例如，對於有關於需要「天氣」資訊的查詢而言，小量的使用者活動(例如，只有某些捲動動作)可能已經提供該使用者會話決定單元340該使用者是否滿意的足夠信賴度，同時對於此資訊需求會話形式而言，過多的查詢再形成並非為關於使用者滿意度良好指示。

該使用者滿意度分數決定器350可以傳送該一或多個分數至 該使用者滿意度報告產生單元360，以產生一使用者滿意度報告。在此範例中，該使用者滿意度報告產生單元360自該使用者滿意度分數決定器350接收與一使用者會話關聯的分數，並根據該分數產生使用者滿意度資訊。在一範例中，可以每天從該使用者滿意度報告產生單元360傳送一報告至該搜尋引擎系統130，以指示每一使用者對於每一使用者會話的使用者滿意程度。該搜尋引擎系統130可以使用該報告以改善其搜尋服務、分析多數使用者的意圖，及/或提出吸引更多使用者的新產品。該報告也可以傳送至一使用者，以由該使用者利用給予回饋的方式驗證或確認該滿意程度。在另一範例中，對於一相同使用者而言，當該使用者對於某些會話滿意，但對於其他會話不滿意時，可以為了該使用者不同類型的資訊需求產生不同的使用者滿意度報告。

第四圖為根據本發明之一具體實施例的示例程序流程圖，用以評估關於一使用者會話的使用者滿意度。在一範例中，第四圖中的示例程序可由第三圖所示之該搜尋引擎系統130及該使用者滿意度評價系統140執行。在402處開始，例如由該搜尋引擎系統130自一使用者接收一查詢。在404處，例如由該搜尋引擎系統130提供與該查詢相關之一內容項目予該使用者。移動至406，例如由該使用者滿意度評估系統140中該使用者活動偵測單元320決定並獲得與操作該內容項目有關的一使用者活動。在408處，例如由該使用者滿意度評估系統140中該使用者參與評估單元330根據該使用者活動產生使用者參與資訊。在410處，例如根據一使用者會話分離模式於該使用者會話決定單元340處決定該查詢是否屬於新的使用者會話。410的結果於411處檢查。如果該查詢屬於新的會話，接著在412處建立 新的使用者會話，並在414處產生與該新使用者會話關聯的使用者會話分數，而該程序移動至419。如果該查詢並不屬於一新的會話而屬於該目前使用者會話時，接著至少部分根據該使用者活動，於416處產生或更新與該目前使用者會話關聯的使用者滿意度分數，於418處將該分數儲存至一分數資料庫，而該程序移動至419。該分數資料庫可位於該使用者滿意度評估系統140中，例如，於該使用者滿意度評估系統140的使用者滿意度分數決定器350中。

在409處，例如根據於一使用者活動或一預定時間門檻檢查該目前會話是否已經結束。如果已經結束，在420處，可以決定並完成與該目前使用者會話關聯之該使用者滿意度分數，例如一起決定與該分數關聯的信賴水準。否則，該程序回到402。在422處，根據該分數產生一使用者滿意度報告。

要瞭解到根據各種具體實施例，至少在上述第四圖中所提及的某些步驟可以不依循第四圖所示的順序進行。在一具體實施例中，某些步驟可以在自一使用者接收所有查詢之後及/或在完整偵測多數使用者活動之後進行。例如，於410處決定一特定查詢或查詢集合是否屬於一新的使用者會話可以離線、在來自此使用者的所有查詢已經輸入之後進行。同樣的，於410處決定一查詢是否屬於與一先前查詢相同的使用者會話，可以涉及回顧來自該使用者於特定時間期間所接收的所有查詢，包含在被考量之查詢之後所接收的多數查詢。

第五圖描繪根據本發明之一具體實施例，於一使用者滿意度評估系統，例如第三圖中該使用者滿意度評估系統140中一使用者活動偵測 單元320的示例圖示。在此範例中，該使用者活動偵測單元320包含一按壓動作偵測單元502、一旋轉動作偵測單元504、一點擊動作偵測單元506、一揮動動作偵測單元508、一縮放動作偵測單元510與一捲動動作偵測單元512。該按壓動作偵測單元502可經配置以偵測一觸控螢幕上由一使用者520所執行的按壓動作。例如，當該使用者520於該觸控螢幕上下壓，於該使用者520釋放該壓力之前，係比一預定門檻為長的時間期間，可以偵測為一按壓動作。該旋轉動作偵測單元504可經配置以偵測一觸控螢幕上由一使用者520所執行的旋轉動作。例如，當該使用者按壓並旋轉該觸控螢幕上一內容項目，於該使用者釋放該壓力之前，可以偵測為一旋轉動作，如第十六圖所描繪。該點擊動作偵測單元506可經配置以偵測一觸控螢幕上由一使用者520所執行的點擊動作。例如，當該使用者520於該觸控螢幕上下壓，於該使用者釋放壓力之前，係比一預定門檻為短的時間期間時，可以偵測為一點擊動作。該揮動動作偵測單元508可經配置以偵測一觸控螢幕上由一使用者520所執行的揮動動作。例如，當該使用者520以一指尖於該觸控螢幕上下壓，並在該觸控螢幕表面上移動該指尖時，可以偵測為一揮動動作。該縮放動作偵測單元510可經配置以偵測一觸控螢幕上由一使用者520所執行的縮放動作。例如，當該使用者520以多於一指尖同時於該觸控螢幕上下壓，並以至少一指尖揮動時，可以偵測為一縮放動作。該捲動動作偵測單元512可經配置以偵測一觸控螢幕上由一使用者520所執行的捲動動作。例如，當該使用者520移動或捲動電腦滑鼠上的滾輪、膝上電腦或智慧型手機上的可捲動按鈕或是觸控螢幕上的虛擬可捲動圖示時，可以偵測為一捲動動作。

要瞭解可以根據以上敘述之該等使用者動作決定其他的使用者活動。例如，當該使用者520點擊該觸控螢幕上一對應範圍時，可以偵測為在該觸控螢幕上鍵字。例如，當在該使用者活動偵測單元320中一時間期間內沒有任何偵測單元偵測到來自該使用者520的任何輸入時，可以偵測為該使用者520的停留時間。

也可以瞭解可以在該使用者活動偵測單元320中可以包含與多數使用者動作相關的更多單元，例如，當該使用者使用桌上或膝上電腦時，用於偵測鍵盤輸入及/或滑鼠輸入的單元。

在該使用者活動偵測單元320中的每一個偵測單元都可以偵測一預定或接收偵測期間522之中的使用者活動，並決定與該經偵測使用者活動關聯的使用者會話資訊524。該使用者活動偵測單元320可以傳送使用者活動資訊至該使用者參與評估單元330，該使用者活動資訊包含與多數偵測的使用者活動的資訊及相關聯的使用者會話資訊。

第六圖為根據本發明之一具體實施例，由一使用者活動偵測單元，例如第五圖中該使用者活動偵測單元320所執行之一示例程序的流程圖。在602處，於一偵測期間偵測使用者活動。在604處，接收使用者會話資訊。移動至606，決定與該使用者活動相關的使用者會話資訊。在608處，分析該使用者活動以獲得活動相關資訊。在610處，將該活動相關資訊與該相關使用者會話資訊傳送至該使用者參與評估單元330。

第七圖描繪根據本發明之一具體實施例，於一使用者滿意度評估系統，例如該使用者滿意度評估單元140中一使用者會話決定單元340的示例圖示。在此範例中，該使用者會話決定單元340包含一查詢分析單元 702、一會話終止偵測單元704、一分離模式產生器/更新器706與一使用者會話記錄單元710。該查詢分析單元702可以接收並分析來自一使用者的查詢，以獲得查詢相關資訊。該查詢相關資訊可以包含與該查詢有關的主題、該使用者的使用者資訊及/或指示何時接收該查詢的時間戳記。在此範例中，該會話終止偵測單元704根據該查詢相關資訊決定在該查詢分析單元702處所接收的一查詢是否屬於一新的使用者會話。該會話終止偵測單元704可以選擇在該使用者會話決定單元340中所儲存之多數會話分離模式708之一，其中該等會話分離模式708的每一個都指示一種將一查詢指定至一使用者會話的依據方法。根據不同的會話分離模式，如果一或多個查詢係與相似的主題關聯、如果一或多個查詢之任意兩連續查詢之間的使用者閒置期間小於一預定門檻，及/或如果從該使用者會話開始的一預定時間期間之內接收到一或多個查詢時，便可決定該一或多個查詢係於一使用者會話中。在一具體實施例中，多數使用者會話可能具有如第十四圖所示之多數交織查詢。可以根據來自該會話終止偵測單元704的指令，由該分離模式產生器/更新器706產生或更新一會話分離模式。該指令可由該會話終止偵測單元704在例如與兩連續查詢之間相似度有關的門檻應該被降低時傳送，因為該門檻過高，使其非常難以超越該等相似度門檻，而產生過多的使用者會話。

根據所選擇的會話分離模式，該會話終止偵測單元704可以根據從該使用者會話決定單元340中一使用者會話資料庫705所取得的某些使用者會話資訊，決定一查詢所屬的使用者會話。該使用者會話資料庫705可以儲存與使用者會話有關的資訊，包含與該使用者會話中該等查詢與該 等對應使用者有關的資訊。

在該會話終止偵測單元704決定該查詢所屬的一使用者會話之後，該使用者會話記錄單元710便可將該查詢記錄於該使用者會話中。在一範例中，該當查詢屬於一新的使用者會話時，該使用者會話記錄單元710建立該新使用者會話、將該查詢記錄為該新使用者會話中的首次查詢，並將該新使用者會話儲存於該使用者會話資料庫705中。在另一範例中，當該查詢屬於該目前使用者會話時，該使用者會話記錄單元710自該使用者會話資料庫705取得該目前使用者會話、將該查詢記錄於該目前使用者會話中，並將該目前使用者查詢儲存於該使用者會話資料庫705中。對於每一個接收查詢而言，該使用者會話記錄單元710都可以決定並傳送與該查詢有關的使用者會話資訊至該使用者活動偵測單元320及/或該使用者滿意度分數決定器350。在一範例中，該使用者會話記錄單元710也可以決定並傳送與該查詢有關的一偵測週期至該使用者活動偵測單元320。

第八圖為根據本發明之一具體實施例，由一使用者會話決定單元，例如使用者會話決定單元340所執行之一示例程序的流程圖。在802處開始，接收一查詢。在804處，分析該查詢以獲得查詢相關資訊。在806處，決定一會話分離模式。在808處，根據該會話分離模式決定該查詢是否屬於一新的使用者會話。808的結果將於809處檢查。如果該查詢屬於一新的會話，接著在810處建立一新的使用者會話，於812處將該查詢記錄於該新的使用者會話中，而該程序移動至816。如果該查詢不屬於一新的會話，而屬於該目前使用者會話，接著在814處將該查詢記錄於該目前使用者會話中，而該程序移動至816。

移動至816，決定與該查詢相關的使用者會話資訊，並將其傳送例如至該使用者活動偵測單元320及/或該使用者滿意度分數決定器350。選擇性的在818處，可以決定與一偵測期間有關的資訊，並將其傳送至該使用者活動偵測單元320。在819處，檢查是否需要產生或更新一會話分離模式。如果需要，便於820處產生或更新該分離模式及程序回到802。否則，該程序直接回到802。

可瞭解到根據各種具體實施例，至少在上述第八圖中所提及的某些步驟可以不依循第八圖所示的順序進行。在一具體實施例中某些步驟可以在自一使用者接收所有查詢之後及/或在完整偵測多數使用者活動之後進行。例如，於808處決定一特定查詢或查詢集合是否屬於一新的使用者會話可以離線、在來自此使用者的所有查詢已經輸入之後進行。同樣的，於808處決定一查詢是否屬於與一先前查詢相同的使用者會話，可以涉及回顧來自該使用者於定時間期間所接收的所有查詢，包含在被考量之查詢之後所接收的多數查詢。

第九圖描繪根據本發明之一具體實施例，於一使用者滿意度評估系統，例如該使用者滿意度評估系統140中一使用者滿意度分數決定器350的示例圖示。在此範例中，該使用者滿意度分數決定器350包含一使用者參與分析器902、一使用者會話關聯單元904、一會話基礎滿意度分析器906、一使用者滿意度分數產生器908，與一評估模型產生器/更新器910。在此範例中，該使用者參與分析器902係配置以接收並分析使用者參與資訊，以獲得例如與使用者會話有關的資訊。該使用者會話關聯單元904可以根據該經分析使用者參與資訊決定與該使用者參與資訊關聯的使用者會話辨 識，該經分析使用者參與資訊則包含與使用者會話有關的資訊。該會話基礎滿意度分析器906可以根據該使用者會話辨識接收或取得使用者會話資訊，例如自該使用者會話決定單元340取得，並分析該使用者會話資訊以獲得例如該使用者會話的主題、在該使用者會話中該使用者的資訊需求及/或該使用者的個人資訊。該會話基礎滿意度分析器906可以傳送與該使用者參與資訊關聯之該經分析使用者會話資訊至該使用者滿意度分數產生器908，以產生一使用者滿意度分數。

如果對於該目前使用者會話而言不存在分數時，該使用者滿意度分數產生器908可以至少部分根據來自該會話基礎滿意度分析器906之該經分析使用者會話資訊及/或來自該使用者參與分析器902之該使用者參與資訊，產生一使用者滿意度分數或是更新與該目前使用者會話關聯之一現存使用者滿意度分數。該使用者滿意度分數指示該使用者對於該使用者會話的滿意程度。可以在該使用者滿意度分數決定器350中的一滿意度評估模型914，產生該使用者滿意度分數。該滿意度評估模型914可根據一或多個使用者滿意度度量912，由該評估模型產生器/更新器910，產生或更新該滿意度評估模型914。該一或多個使用者滿意度度量912可以包含例如點擊率、停留時間、首次點擊時間、縮放動作次數、點擊動作次數、分享數、推特數、最愛數等等。該評估模型產生器/更新器910可以利用多數不同權重使用多數不同度量，以產生該滿意度評估模型914。該滿意度評估模型914可以由該評估模型產生器/更新器910根據來自該使用者滿意度分數產生器908的指令所更新。該指令可以包含例如與該目前使用者會話的主題、該使用者在該目前使用者會話中的資訊需求、在該目前使用者會話期間的使用 者活動、在與該目前使用者會話類似的先前使用者會話中的歷史使用者活動，及/或該使用者的個人資訊。該指令可以在當根據該滿意度評估模型914所產生之該等分數總是位於該使用者滿意度分數可能範圍的最低端時，由該使用者滿意度分數產生器908進行傳送。例如，當分數的可能範圍係從0%至100%，但所產生與多數不同使用者會話有關的大多數分數都介於1%至2%之間時。在此情況中，將難以區分在多數不同使用者會話之間的使用者滿意度，因此必須據此更新該模型，以避免此情形。

一旦產生與該目前使用者會話的使用者滿意度分數之後，可由該使用者滿意度分數產生器908將該分數儲存於該使用者滿意度分數決定器350中的一分數資料庫909之中。該使用者滿意度分數產生器908例如可以根據來自該會話基礎滿意度分析器906的使用者會話資訊，決定該目前使用者會話是否已經終止。如果該目前使用者會話已經終止，可以決定該目前使用者會話的使用者滿意度分數，並將其傳送至該使用者滿意度報告產生單元360，以產生一使用者滿意度報告。例如，當該使用者可能對某些會話滿意，但對其他會話不滿意時，可以根據與一相同使用者關聯之多數不同使用者會話的使用者滿意度分數，產生多數不同的使用者滿意度報告。如果該目前使用者會話尚未終止，該使用者滿意度分數產生器908可以等待更多的使用者參與資訊及/或使用者會話資訊，以在可以完成該使用者滿意度分數之前更新該使用者滿意度分數。

在一具體實施例中，該使用者滿意度分數產生器908也可以產生與該使用者滿意度分數關聯的信賴水準，並將該信賴水準與該相關使用者滿意度分數一起傳送至該使用者滿意度報告產生單元360。該信賴水準 指示利用該使用者滿意度分數預測該使用者的真實滿意度時是多有信心。在一範例中，當所偵測到的多數使用者活動包含指示該使用者分享該使用者會話中的結果，或將該使用者會話中一內容項目標記為最愛等的許多使用者動作時，該信賴水準可能相對的高，因為該等使用者活動反映該使用者的明顯意圖。在另一範例中，當所偵測到的多數使用者活動包含在該使用者會話中極少的使用者動作，不具有任何來自該使用者的明顯輸入時，該信賴水準可能相對的低，因為其難以利用來自該使用者的極少資訊預測該使用者滿意程度。該信賴水準也可以與來自一使用者的多數不同資訊需求有關。例如，對於關於「天氣」的使用者會談而言，可能以小量的使用者活動便能獲得高度的信賴水準，然而對於關於「內戰歷史」的使用者會話而言，可能只能以大量的使用者活動獲得高度的信賴水準。

第十圖為根據本發明之一具體實施例，由一使用者滿意度分數決定器，例如該使用者滿意度分數決定器350所執行之一示例程序的流程圖。於1002處開始，接收並分析使用者參與資訊。移動至1004，根據該使用者參與資訊決定一使用者會話辨識。在1006處，根據該使用者會話辨識取得並分析使用者會話資訊。

在1020處，選擇一或多個使用者滿意度度量。在1022處，根據該經選擇之一或多個使用者滿意度度量，產生或更新一使用者滿意度評估模型。在1024處，保存該使用者滿意度評估模型以供未來取得。

在1008處，取得該使用者滿意度評估模型。移動至1010，根據該使用者滿意度評估模型產生或更新該使用者會話之一使用者滿意度分數。選擇性在1012處，可以根據該使用者滿意度評估模型產生或更新與該 使用者滿意度分數關聯之一信賴水準。在1014處，將該使用者滿意度分數儲存於一分數資料庫之中，因此當獲得該相同使用者會話的更多使用者參與資訊及/或使用者活動時，可以取得並更新該分數。

在1015處，檢查該目前使用者會話是否已經終止。如果已經終止，在1016處，完成該使用者滿意度分數，並將其傳送至該使用者滿意度報告產生單元360，以產生一使用者滿意度報告，而該程序移動至1025。否則，該程序回到1002，繼續接收與該目前使用者會話有關的使用者參與資訊。

在1025處，決定是否要更新該使用者滿意度評估模型。如果要更新，該程序回到1020以選擇多數度量並更新該模型。否則，該程序回到1002以接收與另一使用者會話有關的使用者參與資訊。

可瞭解到根據各種具體實施例，至少在上述第十圖中所提及的某些步驟可以不依循第十圖所示的順序進行。

第二十圖描繪一般的行動裝置架構，於該行動裝置上可以實作本發明。在此範例中，該使用者裝置110為一行動裝置2000，包含智慧手機、平板、音樂播放器、手持遊戲控制器、全球定位系統接收器，但不限制於此。在此範例中，該行動裝置2000包含一或多個中央處理單元(CPU)2002、一或多個圖形處理單元(GPU)2004、一顯示器206、一記憶體2008、像是無線通訊模組的一通訊平臺2010、儲存器2012與一或多個輸入/輸出(I/O)裝置2014。任何其他適宜的元件都可以包含於該行動裝置2000中，像是一系統匯流排或一控制器(未圖示)，但不限制於此。如第二十圖中所示，一行動操作系統2016，例如iOS、Android、Windows Phone等等，以及 一或多個應用程式2018可從該儲存器2012載入至該記憶體2008之中，以由該中央處理單元2002執行。該等應用程式2018可以包含一網頁瀏覽器或任何適宜的行動搜尋程式。該等應用程式2018的執行可以造成該行動裝置2000執行某些先前敘述的處理。例如，多數內容項目與搜尋結果的顯示，係由該圖形處理單元2004結合該顯示器2006完成。搜尋查詢的使用者輸入則透過該輸入/輸出裝置2014接收，並透過該通訊平臺2010傳送至該搜尋引擎系統130。

為了實作本發明，可以使用多數電腦硬體平臺做為用於在此敘述之一或多個該等元件的硬體平臺。該等硬體元件、操作系統與所述電腦的程式語言本質上為常規，並假設該領域技術人員充分熟悉並適應這些技術，以實作基本上於此敘述的處理。雖然在適宜編程下，電腦也可做為伺服器，但可以使用具有多數使用者介面元件的電腦，以實作個人電腦(PC)或其他工作站或終端裝置的形式。相信該領域技術人員熟悉所述電腦設備的結構、編程與一般操作，而因此該等圖式應該具有本身解釋性。

第二十一圖描繪一般的電腦架構，於該電腦上可以實作本發明，並具有描繪包含多數使用者介面元件之一電腦硬體平臺的功能區塊圖式。該電腦可為通用電腦或專用電腦。此電腦2100可用於實作如此處敘述之該使用者滿意度評估架構的任何元件。例如在第一圖與第二圖中描繪之該系統的多數不同元件全部可透過該電腦2100的硬體、軟體程式、韌體或其組合，實作於像是該電腦2100的一或多個電腦上。雖然為了方便只圖示單一所述電腦，但與使用者滿意度評估有關之該等電腦功能可以分散方式實作於許多類似平臺上，以分散處理負載。

該電腦2100例如包含與一網路相互連接之多數通訊埠口2102，以促成資料通訊。該電腦2100也包含具有一或多個處理器形式的中央處理單元2104，以執行多數程式指令。該示例電腦平臺包含一內部通訊匯流排2106、多種不同形式的程式儲存器與資料儲存器，像是用於各種資料檔案以及可能程式指令的碟片裝置2108、唯讀記憶體(ROM)2110或隨機存取記憶體(RAM)2112，該等資料檔案係由該電腦所處理及/或通訊，該等程式指令則由該中央處理單元2104執行。該電腦2100也包含一輸入/輸出元件2114，支援該電腦與於此其他元件之間的輸入/輸出流，像是多數使用者介面元件2116。該電腦2100也可以透過多數網路通訊接收程式與資料。

因此，如以上描繪該使用者滿意度評估方法的各種態樣可體現於程式之中。該技術的各種程式態樣可被視為「產品」或「製造物品」，其一般具有可執行編碼及/或相關資料的形式，並在一機器可讀媒介形式中攜載或體現。有形的非暫態「儲存」形式媒體包含該記憶體或用於該電腦、處理器等等之其他儲存器的任何或所有形式也包含其相關模組，像是各種半導體記憶體、磁帶裝置、磁碟驅動器等等，其可以在任何時間為該軟體程式提供儲存功能。

該軟體所有或部分可以透過網路即時通訊，像是透過網際網路或各種其他電信網路。此種通訊例如可以從一電腦或處理器將該軟體載入至另一之中。因此，另一種可以承載該等軟體元件的媒體則包含光、電與電磁波，像是用於多數局部裝置之間，透過有線與光纖地面網路及各種空氣鏈結的跨實體介面接口。該等實體元件可以攜載此種波、像是有線或無線鏈結、光學鏈結等等，也可以視為能承載該軟體的媒體。當在此使用 時，除非限制為有形「儲存」媒介，像是電腦或機器「可讀媒介」係意指參與將多數指令提供至一處理器進行執行的任何媒介。

因此，機器可讀媒介可採用許多形式，包含有形儲存媒介、載波媒介或實體傳輸媒介，但不限制於此。非揮發性儲存媒體例如包含光碟或磁碟，像是在任何電腦等等中的任何儲存裝置，其可用於實作如在該等圖式中所示之該系統或其任何組件。揮發性儲存媒體包含動態記憶體，像是此種電腦平臺的主要記憶體。有線傳輸媒介包含同軸電纜；銅線與光纖，包含形成電腦系統中一匯流排的導線。載波傳輸媒介可採用電或電磁訊號形式，獲採用聲波或光波，像是在射頻(RF)和紅外線(IR)資料通訊所產生的那些形式。電腦可讀媒體的一般形式係因此例如包含：軟碟、彈性碟、硬碟、磁帶任何其他磁性媒介、光碟、多功能數位碟片或多功能數位碟片唯讀記憶體、任何其他光學媒介、打孔卡片紙帶、任何其他具有孔洞圖案的實體儲存媒介、隨機存取記憶體、可編程隨機存取記體、電子式可編程隨機存取記體、快閃電子式可編程隨機存取記體、任何其他記憶晶片或記憶匣、傳輸資料或指令的載波、傳輸所述載波的電纜或鏈結，或是可由電腦自其讀取程式編碼及/或資料的任何其他媒介。許多這些形式的電腦可讀媒體牽涉到攜載一或多個指令的一或多個序列至一處理器以供執行。

該領域技術人員將可理解本發明適用於各種修改及/或強化。例如，雖然以上敘述之各種元件的實作可體現於一硬體裝置中，但其也可以只以實作為軟體做為解決方式，例如設置在一現有伺服器上。此外，如此揭示之該主機與該等客戶端節點的單元可實作為韌體、韌體/軟體組 合、韌體/硬體組合或是硬體/韌體/軟體組合。

雖然前面已經敘述被視為是最佳解決方案及/或其他範例，但應該瞭解可於其中進行各種修改，且在此揭示之該主題內容可以各種形式與範例實作，而該教導可被應用於許多應用之中。預期由以下申請專利範圍主張或於本發明實際範圍之中的任何及所有應用、修改及變化。

100‧‧‧網路環境

110‧‧‧使用者

110-1‧‧‧桌上型電腦

110-2‧‧‧膝上電腦

110-3‧‧‧汽車內建裝置

110-4‧‧‧行動裝置

120‧‧‧網路

120-1‧‧‧基站/網際網路交換點

120-2‧‧‧基站/網際網路交換點

130‧‧‧搜尋引擎系統

140‧‧‧使用者滿意度評估系統

160‧‧‧內容來源

160-1‧‧‧內容來源

160-2‧‧‧內容來源

160-3‧‧‧內容來源

Claims (20)

1. 一方法，該方法於一機器上實作，該機器具有至少一處理器、儲存器以及連接至一網路之一通訊平臺，該方法用以估計關於一使用者會話之使用者滿意度，該方法包括：自一使用者接收於一使用者會話中的一或多個查詢；獲得關於一或多個使用者活動的資訊，每一使用者活動都與該一或多個查詢之一所關聯的一內容項目的操作有關；至少部分根據該一或多個使用者活動計算與該使用者會話關聯之一分數；以及根據該分數決定關於該使用者會話的使用者滿意度。
2. 如申請專利範圍第1項之方法，進一步包含根據該分數自動產生與該使用者會話關聯的一標籤，其中該標籤指示該使用者是否滿意該使用者會話。
3. 如申請專利範圍第1項之方法，進一步包含根據與該使用者會話關聯之該分數，在一新的使用者會話中偵測到一使用者活動之前，預測與該使用者的該新使用者會話關聯之一分數。
4. 如申請專利範圍第1項之方法，其中該一或多個使用者活動包含該使用者的一動作及/或不動作。
5. 如申請專利範圍第1項之方法，其中該一或多個查詢係於該使用者會話中根據以下至少一項，被決定為：該一或多個查詢係與多數相同主題關聯；該使用者於該一或多個查詢之任意兩個連續查詢之間的一閒置期 間，係小於一預定門檻值；以及該一或多個查詢係於自該使用者會話開始的一預定時間期間之中所接收。
6. 如申請專利範圍第1項之方法，其中該分數係根據以下至少之一所計算：該使用者的個人資訊以及與該一或多個查詢有關之一主題。
7. 如申請專利範圍第1項之方法，其中：該分數係根據一模型計算；以及該模型係由一機器學習方法產生，並利用與以下至少一項有關的資料進行訓練：來自由該使用者所建立之一或多個標籤的資訊、與該使用者之一使用者活動有關的使用者參與資訊，以及與該使用者參與資訊有關的一或多項度量。
8. 如申請專利範圍第1項之方法，進一步包含決定與該分數關聯之一信賴水準，其中該使用者滿意度則根據該信賴水準所決定。
9. 一系統，該系統具有至少一處理器、儲存器以及一通訊平臺，用以評估關於一使用者會話的使用者滿意度，該系統包括：一查詢分析單元，該查詢分析單元經配置以自一使用者於一使用者會話中接收的一或多個查詢；一使用者活動偵測單元，該使用者活動偵測單元經配置以獲得關於一或多個使用者活動的資訊，每一使用者活動都與該一或多個查詢之一所關聯的一內容項目的操作有關；一使用者滿意度決定單元，該使用者滿意度決定單元經配置以至少部分根據該一或多個使用者活動計算與該使用者會話關聯之一分數； 以及一使用者滿意度報告產生單元，該使用者滿意度報告產生單元經配置以根據該分數決定關於該使用者會話的使用者滿意度。
10. 如申請專利範圍第9項之系統，其中：該使用者滿意度報告產生單元係經進一步配置以根據該分數自動產生與該使用者會話關聯的一標籤；以及該標籤指示該使用者是否滿意該使用者會話。
11. 如申請專利範圍第9項之系統，其中該使用者滿意度報告產生單元係經進一步配置以根據與該使用者會話關聯之該分數，在一新的使用者會話中偵測到一使用者活動之前，預測與該使用者的該新使用者會話關聯之一分數。
12. 如申請專利範圍第9項之系統，其中該一或多個使用者活動包含該使用者的一動作及/或不動作。
13. 如申請專利範圍第9項之系統，其中該一或多個查詢係於一使用者會話中根據以下至少一項，被決定為：該一或多個查詢係與多數相同主題關聯；該使用者於該一或多個查詢之任意兩個連續查詢之間的一閒置期間，係小於一預定門檻值；以及該一或多個查詢係於自該使用者會話開始的一預定時間期間之中所接收。
14. 如申請專利範圍第9項之系統，其中該分數係根據以下至少之一所計算：該使用者的個人資訊以及與該一或多個查詢有關之一主題。
15. 如申請專利範圍第9項之系統，其中該分數係根據一模型計算；以及該模型係由一機器學習方法產生，並利用與以下至少一項有關的資料進行訓練：來自由該使用者所建立之一或多個標籤的資訊、與該使用者之一使用者活動有關的使用者參與資訊，以及與該使用者參與資訊有關的一或多項度量。
16. 如申請專利範圍第9項之系統，其中：該使用者滿意度決定單元經進一步配置以決定與該分數關聯之一信賴水準；以及該使用者滿意度報告產生單元係經進一步配置以根據該信賴水準決定該使用者滿意度。
17. 一非暫態機器可讀媒介，於該媒介上具有記錄資訊，以評估關於一使用者會話的使用者滿意度，其中當由該機器讀取該資訊時，使該機器執行以下動作：自一使用者接收於一使用者會話中的一或多個查詢；獲得關於一或多個使用者活動的資訊，每一使用者活動都與該一或多個查詢之一所關聯的一內容項目的操作有關；至少部分根據該一或多個使用者活動計算與該使用者會話關聯之一分數；以及根據該分數決定關於該使用者會話的使用者滿意度。
18. 如申請專利範圍第17項之媒介，當由該機器讀取該資訊時，進一步使該機器執行以下動作：根據該分數自動產生與該使用者會話關聯的一 標籤，其中該標籤指示該使用者是否滿意該使用者會話。
19. 如申請專利範圍第17項之媒介，當由該機器讀取該資訊時，進一步使該機器執行以下動作：根據與該使用者會話關聯之該分數，在一新的使用者會話中偵測到一使用者活動之前，預測與該使用者的該新使用者會話關聯之一分數。
20. 如申請專利範圍第17項之媒介，其中該一或多個使用者活動包含該使用者的一動作及/或不動作。