TWI581115B - 主動偏好學習方法與系統 - Google Patents

Description

主動偏好學習方法與系統

本申請案係有關學習使用者偏好，特別是關於利用一互動過程來蒐集指出相對項目偏好之使用者項目標記輸入，以及從標記輸入之一或多個迭代來學習一偏好評分函數。

一般用於找出使用者偏好的方法包含問卷與評分量表。問卷提供使用者若干項目，而使用者指出其是否喜歡或不喜歡每一項目。此方法需要使用者付出極大的耐心，且限制使用者只能對每一項目進行簡單的二元回應，即是或否、喜歡或不喜歡等。可使用量表評分法要求使用者對一項目進行評估，基於一評分量表，例如，從1到10分，明確地為該項目評分來指出其偏好。此方法會讓使用者感到困惑，因為使用者可能難以量化評分量表中每一數值對其代表的意義。例如，使用者可能在1到10的評分量表中，難以決定數值7與8的差異。此外，評分量表和問卷方法一樣都需要使用者付出極大的耐心。

本發明尋求解決所屬技術領域中的缺點，並提供一種有效確定使用者偏好的方法。本發明之具體實施例使用一相對標記方法來辨識一項目排序(或次序)函數，在此也稱為一偏好評分函數，以此方式為使用者排 序項目，該函數能基於複數個項目中每一項目之特徵及所學得、與每一特徵相關聯之權重，為該複數個項目之每一項目產生一分數。

根據一或多個具體實施例，可以使用一種迭代過程，在一互動式使用者介面向一使用者呈現含k個項目的項目集合。要求該使用者辨識該集合中相較於其他項目而言較偏好的一項目。作為一些非限制性示例，可要求該使用者在呈現於該使用者介面之該項目集合中選擇最愛，或最偏好的項目。接收自該使用者的輸入可視為向該使用者呈現之該集合中該等項目的「標記」，其中所選擇的項目可標記為相較於該集合中其他項目而言較偏好的，而其他項目可標記為相對於所選擇的項目而言較不偏好的。

該使用者可以繼續標記，直到想要終止該過程為止。每次該使用者提供標記輸入時，便可利用到目前為止接收自該使用者之標記輸入產生一排序函數。該排序函數包含每一項目特徵之權重，且係基於該使用者的標記輸入學得。基於從將一項目包含於該項目集合中可獲取之知識之判斷，可從一項目群組選擇向該使用者呈現之該項目集合。作為一非限制性示例，可相對於該集合群組中其他項目，對該項目群組中每一項目指定一分數；一項目之分數可稱為一知識獲取分數，且若該項目包含於該項目集合中，其可表示所獲取之知識量。可基於一項目相對於其他項目之知識獲取分數，將該項目選入該項目集合。根據一或多個具體實施例，該項目選擇也可基於一項目是否已被標記，例如，已包含在向該使用者呈現之一先前項目集合中。

利用該使用者提供之標記輸入所辨識之排序函數，可用來排序「未標記」項目。作為一非限制性示例，該排序函數可利用所學得的該 等項目特徵之權重來產生一偏好分數。為編排項目次序及/或用以辨識相對於一項目群組中其他項目該使用者較為偏好之一或多個項目，可將一項目的偏好分數與其他項目的偏好分數進行比較，為該項目群組決定該排序函數。一使用者的偏好項目辨識可適用於各種應用，包含但不限於對一使用者進行項目推薦、個人化使用者經驗、進行目標廣告等。

根據一或多個具體實施例，提供一方法，該方法包含：回應呈現於該使用者介面中之一第一複數個項目，藉由一計算裝置並透過一使用者介面接收使用者項目標記輸入，並指出相對於該第一複數個項目中其他項目使用者對一選取項目的偏好；藉由該至少一計算裝置學習包含一權重向量之一偏好評分函數，該權重向量包含與一項目群組相關聯之複數個特徵中每一特徵之一權重，該群組包含向該使用者呈現之該第一複數個項目；以及藉由該至少一計算裝置選擇要呈現在該使用者介面之一第二複數個項目，相對於該項目群組中那些未經辨識之項目而言，該第二複數個項目經辨識為提供較多從使用者項目標記輸入獲取的知識。

根據一或多個具體實施例，提供一系統，該系統包含至少一計算裝置，該至少一計算裝置包含用於儲存和執行指令之記憶體與一或多個處理器，該等指令係用以：回應呈現於該使用者介面之一第一複數個項目，透過一使用者介面接收使用者項目標記輸入，並指出相對於該第一複數個項目中其他項目使用者對一選取項目的偏好；學習包含一權重向量之一偏好評分函數，該權重向量包含與一項目群組相關聯之複數個特徵中每一特徵之一權重，該群組包含向該使用者呈現之該第一複數個項目；以及選擇要呈現於該使用者介面之一第二複數個項目，相對於該項目群組中那 些未經辨識之項目而言，該第二複數個項目經辨識為提供較多從使用者項目標記輸入獲取的知識。

根據本發明之另一態樣，提供一電腦可讀非暫態儲存媒介，其係用於有形地儲存電腦可讀指令於其上。執行該等指令時，會使至少一處理器：回應呈現於該使用者介面之一第一複數個項目，透過一使用者介面接收使用者項目標記輸入，並指出相對於該第一複數個項目中其他項目使用者對一選取項目的偏好；學習包含一權重向量之一偏好評分函數，該權重向量包含與一項目群組相關聯之複數個特徵中每一特徵之一權重，該群組包含向該使用者呈現之該第一複數個項目；以及選擇要呈現於該使用者介面之一第二複數個項目，相對於該項目群組中那些未經辨識之項目而言，該第二複數個項目經辨識為提供較多從使用者項目標記輸入獲取的知識。

根據一或多個具體實施例，提供一系統，該系統包含一或多個計算裝置，該一或多個計算裝置係用以提供該等具體實施例之功能。根據一或多個具體實施例，功能係具體化為由至少一計算裝置所執行之一方法的步驟。根據一或多個具體實施例，用於實施該等具體實施例之功能的程式碼係具體化為一電腦可讀媒介、由一電腦可讀媒介具體化及/或具體化於一電腦可讀媒介上。

102‧‧‧步驟

104‧‧‧步驟

106‧‧‧步驟

108‧‧‧步驟

110‧‧‧步驟

112‧‧‧步驟

200‧‧‧使用者介面

201‧‧‧項目

202‧‧‧項目

203‧‧‧項目

204‧‧‧結束按鈕

206‧‧‧游標

210‧‧‧訓練對

212‧‧‧訓練對

300‧‧‧特徵向量

302‧‧‧特徵向量

401‧‧‧向量

402‧‧‧向量

411‧‧‧項目

412‧‧‧項目

413‧‧‧項目

414‧‧‧項目

602‧‧‧伺服器

604‧‧‧使用者計算裝置

606‧‧‧網路

608‧‧‧資料儲存所

700‧‧‧內部架構

702‧‧‧電腦匯流排

704‧‧‧記憶體

706‧‧‧儲存媒介

708‧‧‧介質盤介面

710‧‧‧顯示介面

712‧‧‧處理單元

714‧‧‧網路介面

716‧‧‧鍵盤介面

718‧‧‧指向裝置介面

720‧‧‧介質磁碟機介面

722‧‧‧其他介面

以下將參照隨附圖示進行說明，使本發明之上述特徵與目標更加清楚，其中相同的元件編號代表相同的元件，其中：第一圖提供本發明一或多個具體實施例之一種確定評分函數之迭代 過程之概觀。

第二圖提供本發明一或多個具體實施例之呈現用於比較註記的項目之使用者介面的示例。

第三圖提供本發明一或多個具體實施例之可為項目辨識之特徵的示例。

第四圖繪示一或多個具體實施例之在一特徵空間中可用於確定項目次序的權重向量。

第五圖提供本發明一或多個具體實施例的一些項目實例與對應的次序及偏好分數。

第六圖繪示可用於本發明一或多個具體實施例的一些相關組件。

第七圖為繪示本發明一或多個具體實施例之一計算裝置內部架構之詳細方塊圖。

以下將參照所附圖式更完整地說明本發明標的，所附圖式構成本說明書之一部分，並以圖解方式顯示特定示例具體實施例。然而，標的可以各種不同形式具體化，因此所涵蓋或所主張之標的應理解為並不受限於此處列出之任何示例具體實施例；示例具體實施例係僅作為說明之用。同樣地，所涵蓋或所主張之標的應理解為具有一合理廣泛的範圍。此外，例如，本發明標的可具體化為方法、裝置、組件或系統。據此，具體實施例可採取例如硬體、軟體、韌體或其任意組合(除了軟體本身)的形式。因此，不應以限制的意義來理解以下之詳細說明。

在說明書與申請專利範圍中，用詞除明示意義之外，可能具 有暗含或隱含於文脈中的細微意義。同樣地，在此使用之用語「在一具體實施例中」並不必然指相同具體實施例，而在此使用之用語「在另一具體實施例中」並不必然指一不同具體實施例。例如，應理解為所主張之標的係包括示例具體實施例的組合之全部或部分。

一般而言，可從上下文的使用至少部分瞭解用語。例如，此處使用之「及」、「或」，或者「及/或」等用語，可至少部分根據使用上述用語的文脈而包含各種意義。一般而言，「或」若是用來聯結列舉的項目，例如A、B或C，在包含意義下使用時，意指A、B及C，而在排他意義下使用時，意指A、B或C。此外，在此使用之用語「一或多個」至少部分根據文脈可用於敘述作單數用的任何特徵、結構或特性，或用於用於敘述作複數用的特徵、結構或特性的組合。同樣地，可以了解「一(a,an)」或「該」等用語至少部分根據文脈可作單數使用或複數使用。此外，應該瞭解用語「基於」並不必然意指一組排他性因素，而是至少部分根據文脈可允許未明確說明之其他因素存在。

在此提供之詳細說明並非用以作為對習知概念的廣泛或詳細討論，因此，可能省略或簡述相關領域中具有通常技術者一般所知之細節。

一般而言，本發明包括一偏好學習系統、方法與架構。現在將參照前述圖示討論本發明特定具體實施例，其中相同的編號係指相同的組件。

根據一或多個該等具體實施例，利用一使用者提供的輸入，學習在一種迭代過程中向該使用者呈現之一或多個項目集合的使用者項目 偏好，每一個集合都包含k個項目。要求該使用者提供一相對偏好，例如，要求該使用者辨識含k個項目的一集合中相對於其他項目而言較為偏好的一個項目。接著，可使用相對標記輸入來產生項目訓練對，該等項目訓練對可用來確定一偏好評分函數，該評分函數可用以根據項目的相對分數為該等項目排出順序或次序。第一圖提供本發明一或多個具體實施例之一種確定評分函數之迭代過程之概觀。

在步驟102，選擇k個項目以進行一k比較註記。作為一非限制性示例，利用一互動式使用者介面，向該使用者呈現k個項目，並要求該使用者辨識(例如選擇)在一項目集合中相對於其他項目而言較為偏好的一個項目。作為一些進一步非限制性示例，可要求該使用者在呈現於該使用者介面之該項目集合中選擇其最愛，或最偏好的項目。在步驟104，向該使用者呈現該k個項目以進行註記。

第二圖提供本發明一或多個具體實施例之呈現用於比較註記之使用者介面的示例。在第二圖提供的非限制性示例中，使用者介面200包括三個項目(即k等於3)201、202及203。在示例中，要求該使用者選擇三個項目中相對於另外兩個較為偏好的一個項目。如示例所示，該使用者藉由選擇結束鈕204可隨時離開該過程。如第二圖示例中游標206所指出，該使用者選擇項目202，其至少表示相對於項目201及203，即智慧型手機與膝上型電腦，該使用者較偏好數位相機。換句話說，相對於項目201與203而言，該使用者較偏好項目202。

與使用者必須指出喜歡/不喜歡若干項目中每一者，或是使用者必須從一評分量表為若干項目中每一者指出一數字的方法相比，本發 明之具體實施例使用比較註記，藉此方式使用者能夠從一項目集合中選擇一項目，該選擇可以用於學習有關於該集合中每一項目相對於彼此的使用者偏好。這排除了使用者必須為每一項目提供個別輸入的需要，其中每一輸入為簡單二元輸入(例如喜歡/不喜歡)，或是較為複雜的多數值評分量表。根據一或多個具體實施例，該使用者所提供的該項目標記輸入，基於該使用者選擇該項目集合中一項目，提供該集合中所有項目的相關資訊。此外，一或多個具體實施例之從接收自該使用者之標記輸入學習，可基於相對項目偏好而非明確的二元或多數值評分量表。

根據本發明之一或多個具體實施例，該使用者選擇該項目集合中單一項目之比較註記顯示，相較於該項目集合中未被選擇之其他項目，經選擇之項目為一較偏好的項目。可使用「<」符號來表示所得比較註記，表示相較於「<」符號右側的項目而言「<」符號左側的項目係較為偏好。選擇項目202所得之比較註記為，相較於智慧型手機，該使用者較偏好相機，且相較於膝上型電腦，該使用者較偏好相機。接收自該使用者之輸入可用於產生訓練對，每一訓練對都包含一對項目，例如第二圖之訓練對210及212。由一使用者標記(或註記)輸入產生之訓練對210及212可用於為該使用者學習一偏好評分函數，該函數係用於為該使用者產生一項目偏好分數。

一k比較註記中所包括之項目的數量k顯然可為任意數值。數值越大，便可從每一次迭代或接收自該使用者的每個輸入產生越多的訓練對；然而，較大的k值可能導致一使用者的相對偏好之間差異性較小，或較不清楚。k值過大可能令使用者難以檢視並選擇相對於所呈現的其他項目較 偏好的一項目。K值越小，可能需要越多的回台次數以為該使用者精確辨識一偏好評分函數。

再次參照第一圖，在步驟106確定是否從該使用者處接收標記輸入(例如，決定是否從該使用者處接收項目選擇輸入)。若確定已接收項目選擇輸入，繼續進行步驟110以利用該使用者的標記輸入為該使用者確定或學習一偏好評分函數。若所接收的項目選擇輸入為收到的第一個此種輸入，可利用該單一項目選擇輸入確定該偏好評分函數。然而，若已透過一次以上迭代，從該使用者處接收多個項目選擇輸入(例如，該使用者已從多個項目集合選擇一輸入)，可利用到目前為止所接收之項目選擇輸入來確定該使用者的偏好評分函數。

在第一圖之步驟112，選擇含k個項目之一新集合以進行另一k比較註記，接著繼續進行步驟104，以呈現含k個項目的新集合。若該使用者選擇此新項目集合中之一項目，則可確定該使用者的偏好評分函數。回應該使用者最後一個項目選擇輸入以及任何先前項目選擇輸入，為該使用者確定之該偏好評分函數變成該使用者所學得的項目偏好評分函數。

該使用者可以繼續標記，直到想終止該過程為止。每次該使用者提供標記輸入時，可利用到目前為止從該使用者處接收之標記輸入產生一偏好評分函數。該使用者可以終止比較註記過程。在第二圖的示例中，該使用者可以點擊結束鈕204。

根據一或多個具體實施例，為項目確定一特徵集合。第三圖提供本發明一或多個具體實施例之可為項目辨識之特徵的示例。在第三圖的非限制性示例中，顯示六個特徵與兩個項目。當然，應該瞭解可以有任 何數量的特徵與任何數量的項目。在第三圖的示例中，基於一項目是否具有一特徵，給予該特定特徵及項目0或1的數值，例如，數值「1」表示該項目具有該特徵，而數值「0」表示該項目缺少該特徵。可串接項目之特徵數值，以形成一特徵向量，例如對應第三圖中所示兩項目之向量300及302。根據一或多個具體實施例，該偏好評分(或排序)函數包含每一項目特徵之權重，該權重係基於該使用者的標記輸入而學得。指定給一特徵之權重可以代表該特徵對該使用者的重要性，該重要性則基於從該使用者處所接收之項目選擇輸入而確定。

在k比較註記過程中，例如在第一圖步驟102為k比較註記選擇之第一項目集合可經隨機選擇，而對於接下來每一個k比較註記迭代而言，例如在第一圖步驟112欲包含入用於註記之該項目集合中之每一項目可基於經確定、將該項目包含入該集合所能獲取之知識的度量進行選擇。

根據一或多個具體實施例，所獲取的知識可為為每一項目所確定的數值，或為尚未包括於一k比較註記迭代中之每一項目所確定的數值。作為一非限制性示例，為呈現予該使用者之一項目集合所選擇的k個項目可從一項目群組選擇。該群組中每一項目都可被指定一知識獲取分數，該知識獲取分數可與為該群組中其他項目確定的分數進行比較，因此，相對於與未被選擇之項目相關聯之知識獲取分數，包含在要向該使用者呈現之該項目集合中的k個項目具有最高的知識獲取分數。一項目的知識獲取分數可說是表示該項目若包含於該項目集合時可獲取之知識程度或量。根據一或多個具體實施例，也可基於一項目是否已被標記(例如該項目已經包含在一先前項目集合中，針對該先前項目集合接收使用者輸入)來進行項目選 擇。從一先前已標記項目所能獲取的知識可能微乎其微。因此，從中選出該項目集合之項目群組，可為那些尚未由該使用者於一k比較註記迭代中「標記」的那些項目。

利用該使用者提供之該標記輸入所學得的偏好評分函數可用於排序「未標記」項目。作為一非限制性示例，該偏好評分函數可基於任何項目的特徵與該函數的權重向量，為該項目產生一偏好分數，該權重向量包含該項目之特徵中每一者的一對應權重。一項目的偏好分數可與其他項目的偏好分數比較。使用者的偏好項目辨識可於各種應用中使用，包含但不限於向使用者進行項目推薦、個人化使用者之使用者介面、進行目標廣告等。

本發明之具體實施例可使用目前已知或未來發展之用於學習一使用者的偏好評分函數之任何技術。根據一或多個具體實施例，一偏好學習器學習該使用者的已知個人偏好，可利用該使用者的已知偏好推測該使用者的未知偏好。根據一或多個該等具體實施例，回應呈現予該使用者之一或多個含k個項目之集合，利用該使用者的標記輸入提供該使用者的已知偏好。根據一或多個具體實施例，該偏好學習器利用該使用者的標記輸入產生一偏好評分函數。作為一非限制性示例，一偏好評分函數可表示為：

其中，Φ(m _i )為利用該項目的特徵，將該項目映射至一特徵空間item_x，該項目的特徵可由特徵向量m _i 表示，而為一權重向量，該權重向量包含特徵向量m _i 中每一特徵的一對應權重。根據一或多個具體實施例， 一項目item_x的偏好分數PF(item_x)係利用為該使用者所學得之該偏好評分函數所產生。作為一非限制性示例，該偏好分數可為該偏好評分函數的權重向量與該項目的特徵向量m _i 的乘積。根據一或多個具體實施例，該項目的偏好分數可利用一正規化因子，如，進行正規化。

第四圖繪示一或多個具體實施例之一特徵空間中可用於確定項目次序的權重向量。在示例中，項目411-414係利用每一項目的特徵映射至一特徵空間，而向量401及402代表兩權重向量。向量401可代表該使用者的實際偏好項目次序，例如411、412、413及414。上述次序可基於每一項目在向量401上的投射，或等效地基於每一項目至具備法向量或向量401之一超平面的符號距離。與向量402相關聯之項目次序為412、413、411及414，該次序可利用與用於確定和向量401相關之項目次序類似的方式來確定。

本發明之具體實施例可利用接收自該使用者之標記輸入來學習更加對齊向量401之一權重向量。如以下所討論的內容，本發明之具體實施例利用接收自該使用者之標記輸入，來確定一項目次序，該項目次序使得與該使用者的實際、偏好次序有關的協和項目對數量最大化，因此所得的特徵權重向量可代表該使用者的實際偏好特徵權重。

根據一或多個具體實施例，可為一使用者決定一權重向量，使一項目群組中的項目(例如，每一項目具有一特徵向量之若干項目)，都可根據該使用者之偏好排出順序或次序。根據一或多個該等具體實施例，一學得之權重向量為將協和配對的數量最大化，或是將肯特爾相關係數(Kendall’s Tau)最大化的權重向量。以下非限制性示例描述協和配對與肯 特爾相關係數，並假設下述兩項目次序或排序示例：項目₁<項目₂<項目₃<項目₄<項目₅次序或排序(1)

項目₃<項目₂<項目₁<項目₄<項目₅次序或排序(2)

項目排序(1)係利用一第一權重來確定，而項目排序(2)則利用一第二權重來確定。在上述示例中，假設項目排序(1)最能反映該使用者的實際或目標項目次序，而排序(2)可能為一學得的次序。

將項目排序(1)與項目排序(2)分成項目對，該兩排序可說與以下所辨識的七個項目對的次序一致或協和(其中，「<」表示「偏好更勝於」)：項目₁<項目₄、項目₁<項目₅、項目₂<項目₄、項目₂<項目₅、項目₃<項目₄、項目₃<項目₅及項目₄<項目₅。

上述項目對可稱為協和配對，其數量可以P表示。相反地，項目排序(1)與(2)可說與三個項目對的次序不一致或不協和。排序(1)具有項目₁<項目₂、項目₂<項目₃與項目₁<項目₃，而排序(2)具有反向的偏好，即項目₂<項目₁、項目₃<項目₂以及項目₃<項目₁。這三個在排序(1)與(2)之間缺乏協和性的項目對可稱為非協和配對，其數量可以Q表示。肯特爾相關係數可由下式確定：

使用方程式(2)，排序(1)與(2)的肯特爾相關係數為0.04，或是(7-3)/(7+3)。

根據一或多個具體實施例，可確定一權重，使可辨識出之一偏好評分函數將一預期的肯特爾相關係數最大化，而這可藉由使協和配對的數量最大化達成。換句話說，由於一學得之偏好評分函數所確定之一項 目次序與一使用者的偏好/實際項目次序之間的差異最小化，可達到一預期的肯特爾相關係數。根據一或多個該等具體實施例，可使用一排序支援向量機(SVM)學習方法來確定一學得之偏好評分函數。根據一或多個具體實施例，上述最大化可表示為：

在下列條件下：

在方程式(3)中，f _i 與f _j 為項目，與為排序或項目次序，為一權重向量，該等權重包含一項目之特徵向量m中每一特徵之一對應權重，ζ為一惰變數，而C為一參數，提供邊界尺寸與訓練誤差之間的權衡折衷，其中邊界尺寸可為相對於目標排序之最接近兩投射之間的距離。作為一些非限制性示例，第四圖顯示之δ ₁與δ ₂代表兩個邊界尺寸。根據一或多個具體實施例，方程式(3)代表一最佳化問題，可視為等同於將成對差異向量Φ(m _i )-Φ(m _j )分類的問題。根據至少一具體實施例，該最佳化問題可利用在http：//en.wikipedia.org/wiki/Ranking_SVM所敘述之一排序支援向量機(RankSVM)方法以及在http：//www.cs.cornell.edu/people/tj/svm_light/svm_rank.html所敘述的執行方式來解決，兩者皆參照併入於此。當然，應理解也可使用RankSVM以外的方法解決該最佳化問題及/或在不背離本發明之具體實施例範圍下可執行任何此種方法。

根據一或多個具體實施例，一使用者的偏好評分函數可利用迭代方式，在每次迭代之後確定。在每次迭代中，由一使用者提供標記輸入，例如回應第一圖步驟104處向該使用者呈現k個不同項目以進行比較和註記所接收的標記輸入。根據一或多個該等具體實施例，在利用到目前為止所接收之使用者標記輸入確定該使用者的偏好評分函數之後，可選擇要向該使用者呈現之下一個含k個項目之項目集合，以從該使用者處取得額外的標記輸入，例如，第一圖的步驟112。

根據一或多個具體實施例，為下一回合或迭代選擇一含k個項目之集合。根據一或多個該等具體實施例，該k個項目可經選擇，以提供統計上蒐集資料(例如使用者偏好資料)的最佳方式，該資料係用於學習一使用者的偏好評分函數。作為一非限制性示例，可基於針對要被選擇之k個項目中每一者所確定的不確定性與代表性度量來選擇該k個項目。根據一或多個具體實施例，可為已標記與未標記之項目確定不確定性與代表性度量。根據一或多個具體實施例，可為未標記之項目，或者與為k合作註記所選擇之一項目集合有關、尚未由該使用者標記的那些項目決定度量。

根據至少一具體實施例，與一項目相關聯的不確定性程度可由一不確定性度量表示，該不確定性度量可以是針對一項目從該使用者處接收標記輸入時，該項目(例如一未標記項目)可以提供偏好學習多少資訊的估計。換句話說，若一使用者對於一項目偏好的不確定性高或缺乏可信度，將該項目包含於一用於k合作註記之項目集合，提供接收該使用者針對該項目的標記輸入及藉由學習該使用者關於該項目的偏好降低不確定性的機會。作為一非限制性示例，可利用一項目item _x 的偏好評分函數來確定該項 目的不確定性度量U _ct ，利用該使用者有關已標記項目的輸入來學習該偏好評分函數，如以下所示：U _ct (item _x )=-PF(item _x )log PF(item _x ) -(1-PF(item _x ))log(1-PF(item _x )) 方程式(4)

根據至少一具體實施例，一項目的代表性度量可表示該項目在特徵空間之位置的概率密度。換句話說，選擇可能提供最多關於該使用者偏好資訊的項目係為有利的。為了示例的目的，假設分析兩個未標記項目以確定該兩個項目中何者應該包含在一含k個項目之集合中，而第一個項目位於特徵空間一稠密區域，第二個項目位特徵空間一稀疏，或至少較不稠密的區域，那麼相較於第二項目，將第一個項目包含於由該使用者標記的k個項目中，可能比第二個項目提供偏好學習器更多資訊量。在此例子中，相較於與第二個項目有關的使用者標記輸入，與第一個項目有關的使用者標記輸入可說較具代表性，或較能表示該使用者的偏好。在此假設，可利用一項目在特徵空間之位置的概率密度確定該項目的代表性。作為一非限制性示例，基於概率密度之一項目的代表性度量可定義為該項目(例如，一未標記項目)與其鄰近項目間的平均相似性，其中可利用該項目之特徵與其鄰近項目之特徵來確定相似性，例如，利用一距離函數。作為一進一步非限制性示例，一項目item _x 的代表性度量Rep(item _x )可以下式確定：

其中|C _i |為在一鄰近項目群組C _i 中項目數量之計數，Dist( )為一距離函數，其決定item _x 與該鄰近項目群組中一鄰近項目item _y 間的相似性分數。根據一或多個具體實施例，可由代表item _x 之特徵與item _y 之特徵間相似性的 Dist( )確定相似性分數，而可為該群組中每一item _y 確定相對於item _x 的相似性分數。

根據一或多個具體實施例，從該使用者對一經分析欲包含入接下來所選的k個項目中之項目的標記輸入所獲取的知識度量或估計可藉由結合該項目的不確定性與代表性度量來確定，例如，可分別利用方程式(4)及(5)確定該不確定與代表性度量。作為一非限制性示例，一項目的不確定與代表性度量可結合如下：KG(item _x )=v _kg U _ct (item _x )+(1-v _kg )Rep(item _x ) 方程式(6)

在上述示例中，使用一選擇性準確性度量v _kg 。

根據至少一具體實施例，利用方程式(6)可為一項目資料庫(例如已定義出一特徵集合之所有項目)中每一項目確定一知識獲取度量KG，接著利用每一項目的知識獲取度量可將該等項目相對彼此排序，而相對於其他項目之知識獲取度量，具有最高知識獲取度量但尚未由使用者標記或註記之k個項目，便可被選為下一批k個項目以進行k比較註記或標記。再參照第一圖，選擇k個項目進行k比較註記可與步驟112以及步驟102有關。或者，在步驟102選擇的k個項目可以是隨機選取。當然，在步驟102及/或步驟112可使用任何技術來選擇一項目集合，包括隨機選取項目。

根據一或多個具體實施例，向該使用者呈現一含k個項目的集合以進行註記之迭代過程可以繼續進行，以蒐集有關該使用者相對偏好的資訊(例如，項目及/或特徵偏好)，藉此在該使用者繼續提供標記輸入時，修訂該使用者的偏好評分函數。

第五圖提供本發明一或多個具體實施例的一些項目示例與 對應的次序及偏好分數。在第五圖的示例中，該等項目包含商品，例如服飾與裝置。應該明白的是，特徵可被辨識的任何項目或項目種類均可與本發明之具體實施例一起使用，包含但不限於任何種類的內容，例如音訊、視訊、多媒體、音訊及/或視訊串流、影像、歌曲、專輯、藝人、文件、文章等，也包括產品、商品等。

在第五圖所示之示例中，根據及/或按照利用一使用者的偏好評分函數及每一項目的相關聯特徵為每一項目確定的偏好分數，為該等項目排出次序。因此，經確定具有偏好分數1.00的鞋子係具有最高排名，例如排名第1，而具有偏好分數0.92的計算裝置則為排名第二高的項目，例如排名第2等。

根據一或多個具體實施例，可利用該項目的特徵向量與特徵權重(例如權重向量)，以及利用接收自該使用者之標記輸入所學得之偏好評分函數來確定第五圖所示每一項目的偏好分數。因此，作為一非限制性示例，假設已經具有由該使用者輸入的四個k比較註記，例如，由該使用者進行四回合項目標記輸入，權重向量與每一項目的偏好分數可由之產生之偏好評分函數可基於接收自該使用者的四組項目標記輸入。若該使用者例如在第五、第六等回合提供額外的項目標記輸入，便可以利用該額外的標記輸入更新權重向量與每一項目的偏好分數可由之產生的偏好評分函數。

根據一或多個具體實施例，可將項目分組為類別及/或類別下的子類別。根據一使用者已經標記之項目，可以在一階層的任何層級推論該使用者的偏好，該階層可包含一項目層級、一或多個子類別層級以及一或多個類別層級。

第六圖繪示可用於本發明一或多個具體實施例的一些相關組件。根據本發明之一或多個具體實施例，一或多個計算裝置(例如一或多個伺服器、使用者裝置或其他計算裝置)係用以包含在此敘述之功能。例如，一計算裝置602可用以執行程式碼、指令等，以提供本發明一或多個具體實施例的功能。

計算裝置602可以利用一瀏覽器應用程式透過一網路606提供內容至使用者計算裝置604。可使用資料儲存所608來儲存一項目資料庫，該項目資料庫可包含特徵資料等項目資料及/或項目標記資料、權重向量及/或一或多個使用者的項目偏好分數等使用者資料。資料儲存所608也可儲存程式碼以根據本發明一或多個具體實施例配置一伺服器602。

使用者計算裝置604可為任何計算裝置，包含但不限於個人電腦、個人數位助理(PDA)、無線裝置、行動電話、網際網路家電、媒體播放器、家庭劇院系統與媒體中心或其他類似裝置。為了本發明的目的，一計算裝置包括記憶體與一處理器，用於儲存及執行程式碼、資料及軟體，該計算裝置也可設有能執行軟體應用程式以操控資料之作業系統。伺服器602與使用者計算裝置604等計算裝置可包括例如一或多個處理器、記憶體、一可移除式媒體讀取器、網路介面、顯示器與介面以及鍵盤、小鍵盤、滑鼠等一或多個輸入裝置，以及輸入裝置介面。所屬領域技術人員了解伺服器602與使用者計算裝置604可以許多不同方法配置並利用硬體、軟體或韌體的許多不同組合執行。

根據一或多個具體實施例，一計算裝置602可透過網路606向一使用者計算裝置604提供一使用者介面。向使用者計算裝置604提供之 該使用者介面可包括根據本發明一或多個具體實施例為該使用者介面所選擇之內容項目或識別符(例如，全球資源定址器(URLs))。根據一或多個具體實施例，計算裝置602藉由將一使用者介面之定義透過網路606傳輸至一使用者計算裝置604的方式，向使用者計算裝置604提供該使用者介面。該使用者介面定義可以若干語言中任一者具體指明，該等語言包含但不限於超文件標記語言等標記語言、腳本、小程式及其他類似語言。該使用者介面定義可由使用者計算裝置604上執行之一應用程式(例如一瀏覽器應用程式)處理，以在聯結(如直接或間接連接)至使用者計算裝置604之一顯示器上輸出該使用者介面。

在一具體實施例中，網路606可為網際網路、內部網路(網際網路的私有版本)或任何其他類型的網路。內部網路為一種電腦網路，允許資料在該網路上的計算裝置間傳輸。此種網路可包含個人電腦、主機、伺服器、網路使能硬碟以及透過內部網路能連接至其他計算裝置之任何其他計算裝置。內部網路使用與網際網路相同的網際網路協定組。該協定組中兩個最重要的要素為傳輸控制協定(TCP)與網際網路協定(IP)。

如同上述所討論的內容，網路可聯結數個裝置，使得例如一伺服器計算裝置與一用戶端計算裝置或其他類型的裝置間，包含例如透過無線網路聯結的無線裝置間，可交換通訊。網路也可包括大量儲存器，例如網路附接儲存器(NAS)、儲存區域網路(SAN)或其他形式的電腦或機器可讀媒介等。網路可包括網際網路、一或多個區域網路(LAN)、一或多個廣域網路(WANs)、有線形式連線、無線形式連線或其任何組合。同樣地，可運用不同架構或可適應或相容於不同協定等子網路，也可在一較大 網路中交互操作。例如可利用各種類型的裝置，為不同架構或協定提供交互操作能力。作為一說明示例，路由器可提供分離與獨立LAN之間的鏈結。通訊鏈結或通道可包含類比電話線(例如絞線對)、同軸纜線、包括T1、T2、T3或T4類型線路的完全或部分的數位線、整合服務數位網路(ISDN)、數位用戶迴線(DSL)、包括衛星鏈結的無線鏈結，或是所屬領域技術人員所已知之其他通訊鏈結或通道等。此外，一計算裝置或其他相關電子裝置可透過電話線或鏈結等方式遠端聯結至網路。

無線網路可將用戶端裝置聯結至網路。無線網路可以運用單獨無線隨意網路、網狀網路、無線區域網路(WLAN)、蜂巢式網路或類似網路。無線網路可以進一步包括含有由無線射頻鏈結或類似方式聯結之終端機、閘道、路由器或類似裝置的系統，上述系統組成裝置可自由、隨機移動，或是任意組織，因此網路拓撲便可改變，有時甚至是快速改變。無線網路可進一步運用複數種網路存取技術，包括長期演進技術(LTE)、WLAN、無線路由器(WR)網路，或是第二代、第三代、第四代(2G、3G或4G)蜂巢式網路技術，或類似技術。網路存取技術可以使裝置(例如具有不同移動程度的用戶端裝置)具有大範圍覆蓋的能力。例如，網路可透過全球行動通訊系統(GSM)、通用行動通訊系統(UMTS)、通用封包無線服務技術(GPRS)、增強型數據GSM環境(EDGE)、3GPP LTE、LTE昇級版、寬頻多重分碼存取(WCDMA)、藍芽、802.11b/g/n，或類似技術等一或多種網路存取技術，進行射頻或無線形式的通訊。無線網路幾乎可包括任何類型的無線通訊機制，藉由該機制便可在用戶端裝置或計算裝置等裝置間在網路或類似設備之間或之中傳輸訊號。

透過例如參與數位通訊網路中一網路傳輸的訊號封包可相容或適應於一或多種協定。所使用的發送訊號格式或協定可包括例如TCP/IP、UDP、DECnet、NetBEUI、IPX、Appletalk或類似協定。網際網路協定(IP)的版本可包括IPv4或IPv6。網際網路是指網路的一種分散式全球網路。網際網路包括LAN、WANs、無線網路、或長程公眾網路，例如允許訊號封包在LANs之間傳輸。訊號封包可於網路之節點間傳輸，例如傳輸至使用區域網路位址的一或多個網點。訊號封包可例如透過聯結至網際網路之一存取節點，自一前端透過網際網路傳輸。同樣地，例如可透過網路節點將訊號封包傳遞至透過一網路存取節點聯結至網路的一目標網點。透過網際網路傳輸之訊號封包可例如透過閘道、伺服器的路徑發送，這些裝置可根據一目標位址與一網路路徑的可用性發送該訊號封包至該目標位址。

本發明之具體實施例顯然可在如第六圖所示之主從環境執行。或者，本發明之具體實施例可在其他環境執行。作為一非限制性示例，例如與使用專屬伺服器等專屬裝置的網路相比，點對點(P2P)網路可使用網路參與者的計算能力或頻寬；然而，有些網路可使用上述兩種方式以及其他方法。P2P網路一般用於透過隨意安排或配置的方式聯結節點。P2P網路可使用一些能同時作為「用戶端」及「伺服器端」的節點。

第七圖為繪示本發明一或多個具體實施例之一計算裝置(例如伺服器602或使用者計算裝置604)內部架構之詳細方塊圖。如第七圖所示，內部架構700包含一或多個處理單元、處理器或處理核心(在此也稱為CPU)712，其與至少一電腦匯流排702介接。與電腦匯流排702介接的還有電腦可讀媒介或媒體706、網路介面714、記憶體704、介質磁碟機介面720、 顯示介面710、鍵盤介面716、指向裝置介面718與未個別顯示之其他介面722(例如平行與序列埠介面、USB介面與類似介面)。記憶體704為例如隨機存取記憶體(RAM)、執行期暫態記憶體、唯讀記憶體(ROM)等；介質磁碟機介面720為可讀取及/或寫入媒體(包括磁碟片、CD-ROM、DVD等可移除式媒體)的磁碟之介面；顯示介面710為顯視器或其他顯示裝置的介面；鍵盤介面716為鍵盤之介面；指向裝置介面718為滑鼠或其他指向裝置的介面。

記憶體704與電腦匯流排702介接以在軟體程式執行期間將儲存於記憶體704中的資訊提供至CPU 712，軟體程式為作業系統、應用程式、裝置驅動程式，以及包含程式碼及/或結合此處敘述之功能(例如，此處敘述之一或多個方法流程)之電腦可執行方法步驟的軟體模組。CPU 712首先從儲存器(例如記憶體704)、電腦可讀儲存媒介/媒體706、可移除式媒體驅動器及/或其他儲存裝置載入電腦可執行方法步驟。接著CPU 712可執行所儲存之方法步驟，以執行經載入之電腦可執行方法步驟。儲存的資料(例如，一儲存裝置所儲存的資料)在電腦可執行方法步驟執行期間可為CPU 712存取。

持續性儲存器(例如媒介/媒體706)可用於儲存作業系統與一或多個應用程式。持續性儲存器也可用來儲存裝置驅動程式(例如數位相機驅動程式、顯示器驅動程式、印表機驅動程式、掃描器驅動程式或其他裝置驅動程式之一或多者)、網頁、內容檔、播放清單及其他檔案。持續性儲存器可進一步包括用以執行本發明一或多個具體實施例之程式模組與資料檔案，例如，列表選擇模組、目標資訊蒐集模組以及列表通知模組，該等 模組和資料檔案的功能與執行本發明之用法在此會有詳細的討論。

為了本發明的目的，一電腦可讀媒介儲存電腦資料，該資料可包括採機械可讀形式、可由電腦執行之電腦程式碼。作為非限制性示例，一電腦可讀媒介可包含用於有形或固定地儲存資料之電腦可讀儲存媒體，或用於瞬時判讀含碼訊號的通訊媒體。此處使用之電腦可讀儲存媒體是指(相對於訊號而言)實體或有形的儲存器，並包括但不限於以任何方法或技術執行以有形地儲存電腦可讀指令、資料結構、程式模組或其他資料等資訊之揮發性與非揮發性、可移除式與不可移除式媒體。電腦可讀儲存媒體包括但不限於隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可消除程式化唯讀記憶體(EPROM)、電子式可消除程式化唯讀記憶體(EEPROM)、快閃記憶體或其他固態記憶體技術、CD-ROM、DVD或其他光學儲存器、磁匣、磁帶、磁碟儲存器或其他磁性儲存裝置，或是可用於有形地儲存所需要之資訊或資料或指令，並可由電腦或處理器存取之任何其他實體或材料媒介。

所屬領域技術人員可理解本發明之方法與系統可以許多方式執行，並不限於前述例示具體實施例及示例。換句話說，由單一或多個組件，以硬體及軟體或韌體的各種組合方式執行的功能元件及個別功能，可散佈於用戶端或伺服器端或兩者的軟體應用中。就此而言，此處敘述之不同具體實施例之任何數量的特徵可併入單一或多個具體實施例中，而具有的特徵比此處敘述之所有特徵少或多的替代具體實施例也是可行的。整體或部分功能也可利用目前已知或將知的方法散佈於多個組件之中。因此，可能存在各種軟體/硬體/韌體組合以達成此處敘述之功能、特徵、介面 與偏好。此外，本發明之範圍涵蓋用於實行所敘述之特徵、功能及介面的習知方法，以及所屬領域技術人員目前或以後所了解，對於此處敘述之硬體或軟體或韌體組件所進行的各種變化與修改。

雖然已利用一或多個具體實施例的方式說明本發明之系統與方法，但要瞭解本發明並不受限於所揭示之具體實施例。本發明欲涵蓋請求項之精神與範圍內的各種修改與類似配置，該等請求項之範圍應與最廣之解讀一致，以涵蓋所有上述修改與類似結構。本發明包括以下請求項的任何及所有具體實施例。

102~112‧‧‧步驟

Claims (27)

1. 一方法，其包含：由一計算裝置並透過該使用者的一計算裝置的該使用者介面，接收與一第一複數個項目相關的使用者項目標記輸入，該接收的使用者項目標記輸入指出相對於該第一複數個項目中其他項目，一使用者對一選取項目的偏好，該接收的使用者項目標記輸入指出該使用者偏好該選取項目超過呈現在該使用者介面的該第一複數個項目的其他項目的每一個；由該至少一計算裝置學習包含一權重向量之一偏好評分函數，該權重向量包含與一項目群組相關聯之複數個特徵中每一個特徵的一權重，該群組包括向該使用者呈現之該第一複數個項目，利用該接收的使用者項目標記輸入用以學習該每一個特徵的該權重；由該至少一計算裝置選擇要呈現於該使用者介面之一第二複數個項目，該第二複數個項目經辨識為相對於該項目群組中那些未經辨識之項目而言提供較多從使用者項目標記輸入獲取的知識；以及由該至少一計算裝置辨識一數量的項目以呈現該使用者透過該使用者的一電腦裝置使用學習後的該偏好評分函數。
2. 如申請專利範圍第1項之方法，所述選擇要呈現於該使用者介面之一第二複數個項目，進一步包含：利用為該項目群組中至少一項目子集合的每一項目確定之一偏好分數來確定該項目之一知識獲取度量，該偏好分數是利用該使用者學得之偏好評分函數與該項目的複數個特徵所確定。
3. 如申請專利範圍第2項之方法，所述確定一知識獲取度量進一步包含：為該項目群組中該至少一項目子集合的每一項目：確定該項目之一不確定性度量，該不確定性度量包含有關該使用者對該項目之偏好的一可信度度量；確定該項目之一代表性度量，該代表性度量包含該項目與該群組中其他項目的特徵相似性之一度量；以及利用該項目經確定之不確定性與代表性度量，確定該項目的知識獲取度量。
4. 如申請專利範圍第3項之方法，所述確定該項目之一不確定性度量進一步包含：利用該使用者之偏好評分函數來確定該項目之一偏好分數，該偏好評分函數是利用與該第一複數個項目有關的該使用者輸入所學得；以及利用該項目的偏好分數來確定該項目的不確定性度量。
5. 如申請專利範圍第4項之方法，所述利用該項目的偏好分數來確定該項目的不確定性度量進一步包含：確定該項目item _x 之該不確定度量U _ct ，如下式：U _ct (item _x )=-PF(item _x )log PF(item _x )-(1-PF(item _x ))log(1-PF(item _x ))其中PF(item _x )為利用該使用者之偏好評分函數所確定之該項目的偏好分數。
6. 如申請專利範圍第3項之方法，所述確定該項目之一代表性度量進一步包含： 確定該項目之一相似性分數供該項目使用該項目的一特徵向量；以及利用該項目的相似性分數來確定該項目的代表性度量。
7. 如申請專利範圍第6項之方法，所述利用該項目的偏好分數來確定該項目的代表性度量進一步包含：確定該項目item _x 之該代表性度量Rep(item _x )，如下式： 其中|C _i |為在複數個鄰近項目C _i 中項目之計數，item _y 代表該複數個鄰近項目中一鄰近項目，而Dist(item _y )代表item _x 與item _y 之間的相似性，該相似性是利用一距離函數與每一項目之特徵所確定。
8. 如申請專利範圍第2項之方法，其中該至少一項目子集合包含該項目群組中，尚未接收到使用者項目標記輸入的那些項目。
9. 如申請專利範圍第2項之方法，進一步包含：由該至少一計算裝置基於每一項目的知識獲取度量排序該至少一項目子集合，該第二複數個項目包含數量為k的項目，其相關於其他經排序之項目而言具有最高的知識獲取度量。
10. 一系統，其包含：至少一計算裝置，該至少一計算裝置包含用於儲存與執行指令之記憶體與一或多個處理器，該等指令係用以：透過該使用者的一計算裝置的該使用者介面，接收與一第一複數個項目相關的使用者項目標記輸入，該接收的使用者項目標記輸 入指出相對於該第一複數個項目中其他項目一使用者對一選取項目的偏好，該接收的使用者項目標記輸入指出該使用者偏好該選取項目超過呈現在該使用者介面的該第一複數個項目的其他項目的每一個；學習包含一權重向量之一偏好評分函數，該權重向量包含與一項目群組相關聯之複數個特徵中每一個特徵的一權重，該群組包括向該使用者呈現之該第一複數個項目，利用該接收的使用者項目標記輸入用以學習該每一個特徵的該權重；選擇要呈現於該使用者介面之一第二複數個項目，該第二複數個項目經辨識為相對於該項目群組中那些未經辨識之項目而言提供較多從使用者項目標記輸入獲取的知識；以及辨識一數量的該等項目以呈現該使用者透過該使用者的一電腦裝置使用學習後的該偏好評分函數。
11. 如申請專利範圍第10項之系統，用於選擇要呈現於該使用者介面之一第二複數個項目的該等指令，進一步包含以下指令，用以：利用為該項目群組中至少一項目子集合的每一項目確定之一偏好分數來確定該項目之一知識獲取度量，該偏好分數是利用該使用者學得之偏好評分函數與該項目的複數個特徵所確定。
12. 如申請專利範圍第11項之系統，用於確定一知識獲取度量的該等指令，進一步包含以下指令，用以：為該項目群組中該至少一項目子集合的每一項目：確定該項目之一不確定性度量，該不確定性度量包含有關該使 用者對該項目之偏好的一可信度度量；確定該項目之一代表性度量，該代表性度量包含該項目與該群組中其他項目的特徵相似性之一度量；以及利用該項目經確定之不確定性與代表性度量來確定該項目的知識獲取度量。
13. 如申請專利範圍第12項之系統，用於確定該項目之一不確定性度量的該等指令，進一步包含以下指令，用以：利用該使用者之偏好評分函數來確定該項目之一偏好分數，該偏好評分函數是利用與該第一複數個項目有關的該使用者輸入所學得；以及利用該項目的偏好分數來確定該項目的不確定性度量。
14. 如申請專利範圍第13項之系統，用於利用該項目的偏好分數來確定該項目之不確定性度量的該等指令，進一步包含以下指令，用以：確定該項目item _x 之該不確定度量U _ct ，如下式：U _ct (item _x )=-PF(item _x )log PF(item _x )-(1-PF(item _x ))log(1-PF(item _x ))其中PF(item _x )為利用該使用者之偏好評分函數所確定之該項目的偏好分數。
15. 如申請專利範圍第12項之系統，用於確定該項目之一代表性度量的該等指令，進一步包含以下指令，用以：確定該項目之一相似性分數供該項目使用該項目的一特徵向量，該偏好評分函數是利用與該第一複數個項目有關的該使用者輸入所學得；以及 利用該項目的相似性分數來確定該項目的代表性度量。
16. 如申請專利範圍第15項之系統，用於利用該項目的偏好分數來確定該項目之代表性度量的該等指令，進一步包含以下指令，用以：確定該項目item _x 之該代表性度量Rep(item _x )，如下式： 其中|C _i |為在複數個鄰近項目C _i 中項目的計數，item _y 代表該複數個鄰近項目中一鄰近項目，而Dist(item _y )代表item _x 與item _y 之間的相似性，該相似性是利用一距離函數與每一項目之特徵所確定。
17. 如申請專利範圍第11項之系統，其中該至少一項目子集合包含該項目群組中，尚未接收到使用者項目標記輸入的那些項目。
18. 如申請專利範圍第11項之系統，該等指令進一步包含以下指令，用以：基於每一項目的知識獲取度量排序該至少一項目子集合，該第二複數個項目包含數量為k的項目，其相關於其他經排序的項目而言具有最高的知識獲取度量。
19. 一電腦可讀非暫態儲存媒介，用以於其上有形地儲存電腦可讀指令，當執行該等指令時，使至少一處理器：透過該使用者的一計算裝置的該使用者介面，接收與一第一複數個項目相關的使用者項目標記輸入，該接收的使用者項目標記輸入指出相對於該第一複數個項目中其他項目一使用者對一選取項目的偏好，該接收的使用者項目標記輸入指出該使用者偏好該選取項目超過呈現在該使用者介面的該第一複數個項目的其他項目的每一個； 學習包含一權重向量之一偏好評分函數，該權重向量包含與一項目群組相關聯之複數個特徵中每一個特徵的一權重，該群組包括向該使用者呈現之該第一複數個項目，利用該接收的使用者項目標記輸入用以學習該每一個特徵的該權重；選擇要呈現於該使用者介面之一第二複數個項目，該第二複數個項目經辨識為相對於該項目群組中那些未經辨識之項目而言提供更多從使用者項目標記輸入獲取的知識；以及辨識一數量的該等項目以呈現該使用者透過該使用者的一電腦裝置使用學習後的該偏好評分函數。
20. 如申請專利範圍第19項之電腦可讀非暫態儲存媒介，用於選擇要呈現於該使用者介面之一第二複數個項目的該等指令，進一步包含以下指令，用以：利用為該項目群組中至少一項目子集合的每一項目確定之一偏好分數來確定該項目之一知識獲取度量，該偏好分數是利用該使用者學得之偏好評分函數與該項目的複數個特徵所確定。
21. 如申請專利範圍第20項之電腦可讀非暫態儲存媒介，用於確定一知識獲取度量的該等指令，進一步包含以下指令，用以：為該項目群組中該至少一項目子集合的每一項目：確定該項目之一不確定性度量，該不確定性度量包含有關該使用者對該項目之偏好的一可信度度量；確定該項目之一代表性度量，該代表性度量包含該項目與該群組中其他項目的特徵相似性之一度量；以及 利用該項目經確定之不確定性與代表性度量來確定該項目的知識獲取度量。
22. 如申請專利範圍第21項之電腦可讀非暫態儲存媒介，用於確定該項目之一不確定性度量的該等指令，進一步包含以下指令，用以：為該項目群組中該至少一項目子集合的每一項目：利用該使用者之偏好評分函數來確定該項目之一偏好分數，該偏好評分函數是利用與該第一複數個項目有關之該使用者輸入所學得；以及利用該項目的偏好分數來確定該項目的不確定性度量。
23. 如申請專利範圍第22項之電腦可讀非暫態儲存媒介，用於利用該項目的偏好分數來確定該項目之不確定性度量的該等指令，進一步包含以下指令，用以：確定該項目item _x 之該不確定度量U _ct ，如下式：U _ct (item _x )=-PF(item _x )log PF(item _x )-(1-PF(item _x ))log(1-PF(item _x ))其中PF(item _x )為利用該使用者之偏好評分函數所確定之該項目的偏好分數。
24. 如申請專利範圍第21項之電腦可讀非暫態儲存媒介，用於確定該項目之一代表性度量的該等指令，進一步包含以下指令，用以：確定該項目之一相似性分數供該項目使用該項目的一特徵向量；以及利用該項目的相似性分數來確定該項目的代表性度量。
25. 如申請專利範圍第24項之電腦可讀非暫態儲存媒介，用於利用該項目 的偏好分數來確定該項目之代表性度量的該等指令，進一步包含以下指令，用以：確該項目item _x 之該代表性度量Rep(item _x )，如下式： 其中|C _i |為在複數個鄰近項目C _i 中項目的計數，item _y 代表該複數個鄰近項目中一鄰近項目，而Dist(item _y )代表item _x 與item _y 之間的相似性，該相似性是利用一距離函數與每一項目之特徵所確定。
26. 如申請專利範圍第20項之電腦可讀非暫態儲存媒介，其中該至少一項目子集合包含該項目群組中，尚未接收到使用者項目標記輸入的那些項目。
27. 如申請專利範圍第20項之電腦可讀非暫態儲存媒介，該等指令進一步包含以下指令，用以：基於每一項目的知識獲取度量排序該至少一項目子集合，該第二複數個項目包含數量為k的項目，其相關於其他經排序的項目而言具有最高的知識獲取度量。