TW201626310A - 用戶興趣資料分析和收集系統及其方法 - Google Patents

Abstract

本申請公開了一種用戶興趣資料分析和收集系統，所述系統包括：會話識別模組，用於從web伺服器抽取日誌資料以及與所述日誌資料對應的商品購買歷史記錄，並對所述日誌資料進行處理，從而生成頁面流覽序列參照集合；推薦服務控制器，用於即時收集用戶的流覽記錄；日誌資料預處理模組，用於在滿足預定條件下，從所述推薦服務控制器接收所述用戶在本次會話中的流覽日誌資料，並對該日誌資料進行預處理；以及匹配分析模組，用於將經過預處理的日誌資料與所生成的頁面流覽序列參照集合進行匹配，並根據匹配結果來確定所述用戶潛在感興趣的商品集合。本申請還公開了一種用戶興趣資料分析和收集方法。

Description

用戶興趣資料分析和收集系統及其方法 發明領域

本發明涉及電子資訊技術領域，具體來說，涉及一種用戶興趣資料分析和收集系統以及其方法。

發明背景

隨著互聯網的迅猛發展，中國網路購物的用戶規模不斷上升。2010年中國網路購物市場交易規模接近5000億，達4980.0億元，占到社會消費品零售總額的3.2%；同時，網路購物用戶規模達到1.48億，在線民中的滲透率達30.8%。對於一些傳統企業而言，通過一些傳統的行銷手段已經很難對現今的市場形成什麼重大的改變了。如果想將企業的銷售管道完全打開，企業就必需引進新的思維和新的方法。而網路購物正好為現今的傳統企業提供了一個很好的機會與平臺，傳統企業通過借助第三方平臺和建立自有平臺紛紛試水網路購物，構建合理的網路購物平臺、整合管道、完善產業佈局成為傳統企業未來發展重心和出路。

隨著網路購物平臺的蜂擁崛起，如何基於大資料來分析和收集用戶興趣資料，以便更好地向該用戶提供推薦從而提升用戶體驗成為了研究重點。

在申請號為201310717507.4的中國專利(發明名稱為“一種基於Web日誌資料的資訊個性化推薦方法”)中介紹了一種通過分析日誌的Web推薦技術。在該專利中，通過對伺服器中Web日誌檔的資料進行分析和預處理，提取出乾淨、規則、準確的資料源；使用協同過濾技術建立用戶興趣矩陣，計算各用戶間的相似度，選較大相似度的用戶作為相似用戶；對相似用戶的興趣愛好建立推薦資源池；伺服器選推薦資源池中推薦值大於閾值的頁面推薦給用戶。

但是，在該專利中，度量用戶興趣方法為用戶流覽某一資源類別的時間。而分析獲得的興趣粒度很大程度上取決於資源分類的粗細粒度。如果粒度較粗，較難精確判斷興趣細微傾向。另外，用戶流覽過的頁面通常會涵蓋多個類別主題。多個主題的頁面資料源會導致最後分析結果的不精確。

發明概要

為了解決上述問題，本申請提供了一種基於用戶頁面流覽序列的商品推薦方法。當新的用戶訪問電商網站時，通過將用戶當前會話中的流覽記錄序列拆分為多個流覽子序列，分析和匹配子序列和Web日誌中其他用戶的流覽記錄，找到類似頁面流覽記錄的歷史會話，最後根據類似會話的最終實際購買商品，實施相關的商品推薦。

根據本申請的一個方面，提供了一種用戶興趣資料分 析和收集系統。該系統包括會話識別模組、推薦服務控制器、日誌資料預處理模組以及匹配分析模組。其中，會話識別模組用於線上下從web伺服器抽取日誌資料以及與所述日誌資料對應的商品購買歷史記錄，並對所述日誌資料進行處理，從而生成頁面流覽序列參照集合。推薦服務控制器用於即時收集用戶的流覽記錄。日誌資料預處理模組用於在滿足預定條件下，從所述推薦服務控制器接收所述用戶在本次會話中的流覽日誌資料，並對該日誌資料進行預處理。匹配分析模組用於將經過預處理的日誌資料與所生成的頁面流覽序列參照集合進行匹配，並根據匹配結果來確定所述用戶潛在感興趣的商品集合。

上述系統還可包括：候選結果過濾排序模組，用於從所述匹配分析模組接收所確定的商品集合，並根據預設定的推薦規則，對所述商品集合中的商品進行排序，並將排序的結果發送給所述推薦服務控制器。

在上述系統中，所述推薦服務控制器還配置成根據所述候選結果過濾排序模組所發送的排序結果，選擇出最終的推薦商品併發送給所述用戶。

在上述系統中，所述會話識別模組配置成執行如下步驟：通過核對請求資源URI的尾碼名，剔除請求資源為非頁面的日誌條目；剔除狀態回應碼為錯誤的日誌條目；匯總同一個會話識別字的所有日誌記錄，形成屬於該會話識別字的會話日誌記錄集合；以及判斷會話中是否包含購買頁面和支付頁面，以便篩選出最終完成購物的會話。

在上述系統中，當用戶訪問的頁面數量超過預先設定的數目N時，所述推薦服務控制器從所述web伺服器的日誌中抽取該用戶的當前會話中所有的日誌條目序列，從而啟動推薦服務。

在上述系統中，所述日誌資料預處理模組配置成執行如下步驟：從所述日誌條目序列中剔除非頁面的以及回應碼為錯誤的日誌條目，以便形成精化日誌條目序列Lp；根據所述精化日誌條目序列Lp，產生多個預定長度的連續日誌條目子序列；以及通過如下公式將所述連續日誌條目子序列中的每條子序列轉換為m維的權重向量：

其中，w_l,i表示某一子序列l的第i維權重，f(l,i)表示第i維日誌條目的URL出現在子序列l的次數，Count(i)表示第i維URL在所述頁面流覽序列參照集合中出現的次數，t(l,i)表示本次用戶端流覽該頁面的時間長度，λ是Count函數的權重因數。

在上述系統中，所述匹配分析模組通過如下公式計算匹配度：

其中l₁和l₂表示兩個給定序列，w_1i是序列l₁中的第i維的權重，w_2i是序列l₂中的第i維的權重，函數min返回兩個數值 中的較小值。

在上述系統中，所述匹配分析模組進一步配置成：根據經過預處理的日誌資料與所生成的頁面流覽序列參照集合的匹配結果，對於所述頁面流覽序列參照集合中的每個參照流覽序列，選取其與經過預處理的日誌資料中每個子序列的匹配度最大值來作為該參照流覽序列的權重；挑選權重最大的前n個參照流覽序列，從而生成參照序列集合SeC；以及對於所述參照序列集合SeC中每條候選參照流覽序列，找出與序列相關的購買商品集合來作為所述用戶潛在感興趣的商品集合。

在上述系統中，所述候選結果過濾排序模組配置成：根據所述匹配分析模組所確定的商品集合，累加所述商品集合中每個商品對應的候選參照序列的權重來作為該商品的權重，根據所述商品的權重來對所述商品集合中的商品排序，以及將權重較大的一定數量的商品作為最終推薦商品告知所述推薦服務控制器。

根據本申請的另一個方面，提供了一種用戶興趣資料分析和收集方法。該方法包括步驟A：從web伺服器抽取日誌資料以及與所述日誌資料對應的商品購買歷史記錄，並對所述日誌資料進行處理，從而生成頁面流覽序列參照集合；步驟B：即時收集用戶的日誌資料；步驟C：在滿足預定條件下，對該用戶的日誌資料進行預處理；以及步驟D：將經過預處理的日誌資料與所生成的頁面流覽序列參照集合進行匹配，並根據匹配結果來確定所述用戶潛在感興趣 的商品集合。

本申請技術方案的分析資料源為當前會話的頁面流覽記錄，資料依賴性低、方便採集，操作流程直接明瞭。同時，會話頁面流覽記錄隱含用戶潛在的興趣傾向和購物習慣，有助於提升推薦服務的準確性和個性化。

在參照附圖閱讀了本發明的具體實施方式以後，本領域技術人員將會更清楚地瞭解本發明的各個方面。本領域技術人員應當理解的是：這些附圖僅僅用於配合具體實施方式說明本發明的技術方案，而並非意在對本發明的保護範圍構成限制。

圖1是根據本申請的一個實施例、基於頁面流覽序列來對用戶興趣資料進行分析、收集以及商品推薦的流程圖。

較佳實施例之詳細說明

下面介紹的是本發明的多個可能實施例中的一些，旨在提供對本發明的基本瞭解，並不旨在確認本發明的關鍵或決定性的要素或限定所要保護的範圍。容易理解，根據本發明的技術方案，在不變更本發明的實質精神下，本領域的一般技術人員可以提出可相互替換的其他實現方式。因此，以下具體實施方式以及附圖僅是對本發明的技術方案的示例性說明，而不應當視為本發明的全部或者視為對本發明技術方案的限定或限制。

在日誌檔中，每條記錄被稱為日誌項或是條目，表示 用戶端對伺服器的一次資源請求。目前，許多主流的日誌格式(例如公共日誌格式(CLF)和擴展公共日誌格式(ECLF))一般都會包括用戶端請求的IP位址、請求時間、請求資源的路徑名稱、狀態回應碼、用戶作業系統、流覽器類型這幾個重要欄位，以標示用戶端對Web伺服器請求的情況。用戶流覽網站會話是指用戶在連續一段時間內訪問網站歷史記錄集合。通常來說，在一個用戶會話，代表了一次用戶的完整流覽記錄。

整個回饋互動式的用戶興趣資料分析收集方案總體流程由“用戶頁面流覽序列參照資料集生成”和“商品推薦服務實施”兩部分組成，如圖1所示，整個過程如下：1)系統從web伺服器中，抽取部分日誌，以及對應的商品購買歷史記錄(見方框a1)；2)對日誌資料做預處理，識別會話，篩選出用戶最後形成購買的會話記錄，生成頁面流覽序列參照集合(見方框a2)；3)當用戶登錄網站，推薦服務控制器即時收集用戶的流覽記錄(見方框b1)，並在符合特定條件情況下，啟動推薦服務，並將用戶本會話中的流覽日誌資料發送至日誌資料預處理模組(見方框b2)；4)對用戶的流覽資料做預處理，發送至匹配分析模組(見方框b3)；5)匹配分析模組分析和匹配子序列和Web日誌中其他用戶的歷史流覽記錄，找到類似頁面流覽記錄的歷史會 話，生成候選推薦商品集合，發送至“候選結果過濾排序”模組(見方框b4)；6)根據預設定的推薦規則，結合相似度，對推薦商品進行排序，並發送至推薦服務控制器(見方框b5)，隨後發送給用戶(見方框b6)。

其中第1、2步負責生成用戶頁面流覽序列參照資料集，後續步驟負責實施推薦服務。以下內容將詳細介紹本方案工作步驟：

1、生成用戶頁面流覽序列的參照資料集

在進行Web伺服器日誌分析前，需要抽取出對分析有價值的日誌條目，並匯總形成會話。為了識別用戶會話，網站的伺服器使用並保存會話ID(Session ID)，伺服器日誌中日誌條目保留Session ID欄位，以保存該次請求的Session ID值。一般來說，Session ID是一種唯一標識當前訪問伺服器的客戶的唯讀值。

具體的步驟如下：1)通過核對請求資源URI的尾碼名，剔除請求資源為圖片、視頻、腳本等非頁面的日誌條目；2)剔除狀態回應碼為錯誤(例如400、404、505)的日誌條目；3)通過核實日誌條目中Session ID方式，判斷為同一個會話的請求操作。Session ID相同並且服務請求時間差小於伺服器設置值的日誌條目，判斷屬於同一個會話；4)匯總同一個SessionID的所有日誌記錄，形成屬於該 SessionID的會話日誌記錄集合；5)如果用戶端的流覽器不支援cookie存儲，會採用URL複寫的方式保存SessionID。這時，需要在日誌條目中URL項中，刪除URL中SessionID參數；6)判斷會話中是否包含購買頁面和支付頁面，篩選出最終完成購物的會話，作為協同過濾的參照記錄。

在一個實施例中，一條參照的用戶會話日誌記錄包括：用戶在會話中流覽頁面序列L，以及最終購買的商品列表P。

2、商品推薦服務實施

線上下完成參照用戶頁面流覽序列資料集生成後，線上上，推薦系統即時跟蹤用戶在電商網站的訪問記錄，根據這些記錄實施推薦服務。具體的步驟如下：

1)推薦系統通過訪問電商網站的web伺服器日誌(或是其他方法)，跟蹤用戶在當前會話中訪問頁面記錄。當訪問的頁面數量超過固定數目N時(N為預先設定的)，推薦服務控制器從web伺服器日誌中抽取該用戶的當前會話中所有的日誌條目序列Lr，啟動推薦服務。

2)採用於第一章相類似的方法，從用戶當前會話日誌條目序列Lr中，剔除非頁面的、以及回應碼為錯誤的日誌條目。如果URL中包含SessionID項，並修剪URL中SessionID項。最後，形成屬於本次會話的精化日誌條目序列Lp。

3)根據精化日誌條目序列Lp，產生多個長度為w的連續日誌條目子序列l₁,l₂…l_n。n為子序列的個數，子序列的集 合表示為Sub(Lp)。例如，日誌條目序列Lp={a₁,a₂,a₃,a₄,a₅}，生成的長度為3的連續日誌條目子序列有l₁={a₁,a₂,a₃}、l₂={a₂,a₃,a₄}和l₃={a₃,a₄,a₅}。w的數值為預先設定。如果Lp的長度小於等於w，則Sub(Lp)={Lp}。

4)將每條子序列l={a₁,a₂,…,a_n}表示為m維的權重向量w(l)={w₁,w₂,…,w_m}。其中w_i為對應日誌條目在第i維的權重，m是參照集中所有日誌條目中出現的URL的總數。w_i的計算方式如下：

其中，f(l,i)表示第i維日誌條目的URL出現在子序列l的次數。如果l中不存在第i維URL，f(l,i)等於0。Count(i)表示第i維URL在參照集中出現的次數。t(l,i)表示本次用戶端流覽該頁面的時間長度，通過該日誌條目與下一條日誌條目的時間差計算而得，單位為秒。參數λ是Count函數權重因數，λ數值越大，Count函數的影響越小，反之亦然。

5)逐一計算Sub(Lp)中子序列與參照集中各個會話流覽頁面序列的相似度，給定序列l₁和l₂，兩者之間相似度計算公式Sim(l₁,l₂)計算方式如下：

其中，w_1i是序列l₁中的第i維的權重。函數min返回兩個數值中的較小值。

6)根據Sub(Lp)中子序列與參照資料中各個流覽序列的相似度的結果。對於每個參照流覽序列來說，選取參照序列與Sub(Lp)中子序列的相似度最大的值，作為該參照序列的權重w_l。挑選出權重最大的前n個參照序列，生成參照序列集合SeC={l₁,l₂…l_n}。

7)對於集合SeC中每條候選參照流覽頁面序列，找出與序列相關的購買商品集合作為候選推薦商品。對於每個候選推薦商品，累加商品對應的候選參照序列的權重w_l，作為候選推薦商品的權重w_p。

8)挑選出權重w_p最大的前m個候選推薦商品作為最終推薦商品，推薦控制伺服器將推薦商品傳送給用戶。

綜上，本申請的技術方案具有以下優點：首先，本方案過比較會話頁面流覽記錄，找到相關購買商品。方法流程直接明瞭，避免了內容分析不完全或不精確問題。其次，相比其他通過商品購買，商品打分等資料分析的推薦方法，本方案分析的資料源為用戶當前會話的頁面流覽記錄，資料依賴性低、方便採集、服務物件門檻低。最後，會話頁面流覽記錄隱含用戶潛在的興趣傾向和購物習慣，有助於提升推薦服務的準確性和個性化。

上文中，參照附圖描述了本發明的具體實施方式。但是，本領域中的普通技術人員能夠理解，在不偏離本發明的精神和範圍的情況下，還可以對本發明的具體實施方式作各種變更和替換。這些變更和替換都落在本發明申請專利範圍所限定的範圍內。

Claims (18)

1. 一種用戶興趣資料分析和收集系統，其特徵在於，所述系統包括：會話識別模組，用於從web伺服器抽取日誌資料以及與所述日誌資料對應的商品購買歷史記錄，並對所述日誌資料進行處理，從而生成頁面流覽序列參照集合；推薦服務控制器，用於即時收集用戶的流覽記錄；日誌資料預處理模組，用於在滿足預定條件下，從所述推薦服務控制器接收所述用戶在本次會話中的流覽日誌資料，並對該日誌資料進行預處理；以及匹配分析模組，用於將經過預處理的日誌資料與所生成的頁面流覽序列參照集合進行匹配，並根據匹配結果來確定所述用戶潛在感興趣的商品集合。
2. 如請求項1所述的系統，還包括：候選結果過濾排序模組，用於從所述匹配分析模組接收所確定的商品集合，並根據預設定的推薦規則，對所述商品集合中的商品進行排序，並將排序的結果發送給所述推薦服務控制器。
3. 如請求項2所述的系統，其中，所述推薦服務控制器還配置成根據所述候選結果過濾排序模組所發送的排序結果，選擇出最終的推薦商品併發送給所述用戶。
4. 如請求項1所述的系統，其中，所述會話識別模組配置成執行如下步驟： 通過核對請求資源URI的尾碼名，剔除請求資源為非頁面的日誌條目；剔除狀態回應碼為錯誤的日誌條目；匯總同一個會話識別字的所有日誌記錄，形成屬於該會話識別字的會話日誌記錄集合；以及判斷會話中是否包含購買頁面和支付頁面，以便篩選出最終完成購物的會話。
5. 如請求項1所述的系統，其中，當用戶訪問的頁面數量超過預先設定的數目N時，所述推薦服務控制器從所述web伺服器的日誌中抽取該用戶的當前會話中所有的日誌條目序列，從而啟動推薦服務。
6. 如請求項5所述的系統，其中，所述日誌資料預處理模組配置成執行如下步驟：從所述日誌條目序列中剔除非頁面的以及回應碼為錯誤的日誌條目，以便形成精化日誌條目序列Lp；根據所述精化日誌條目序列Lp，產生多個預定長度的連續日誌條目子序列；以及通過如下公式將所述連續日誌條目子序列中的每條子序列轉換為m維的權重向量： 其中，w_l,i表示某一子序列l的第i維權重，f(l,i)表示第i維日誌條目的URL出現在子序列l的次數，Count(i)表示第i維URL在所述頁面流覽序列參照集合中出現的次 數，t(l,i)表示本次用戶端流覽該頁面的時間長度，λ是Count函數的權重因數。
7. 如請求項1或6所述的系統，其中，所述匹配分析模組通過如下公式計算匹配度： 其中l₁和l₂表示兩個給定序列，w_1i是序列l₁中的第i維的權重，w_2i是序列l₂中的第i維的權重，函數min返回兩個數值中的較小值。
8. 如請求項1所述的系統，其中，所述匹配分析模組進一步配置成：根據經過預處理的日誌資料與所生成的頁面流覽序列參照集合的匹配結果，對於所述頁面流覽序列參照集合中的每個參照流覽序列，選取其與經過預處理的日誌資料中每個子序列的匹配度最大值來作為該參照流覽序列的權重；挑選權重最大的前n個參照流覽序列，從而生成參照序列集合SeC；以及對於所述參照序列集合SeC中每條候選參照流覽序列，找出與序列相關的購買商品集合來作為所述用戶潛在感興趣的商品集合。
9. 如請求項2所述的系統，其中，所述候選結果過濾排序模組配置成： 根據所述匹配分析模組所確定的商品集合，累加所述商品集合中每個商品對應的候選參照序列的權重來作為該商品的權重，根據所述商品的權重來對所述商品集合中的商品排序，以及將權重較大的一定數量的商品作為最終推薦商品告知所述推薦服務控制器。
10. 一種用戶興趣資料分析和收集方法，其特徵在於，所述方法包括：步驟A：從web伺服器抽取日誌資料以及與所述日誌資料對應的商品購買歷史記錄，並對所述日誌資料進行處理，從而生成頁面流覽序列參照集合；步驟B：即時收集用戶的日誌資料；步驟C：在滿足預定條件下，對該用戶的日誌資料進行預處理；以及步驟D：將經過預處理的日誌資料與所生成的頁面流覽序列參照集合進行匹配，並根據匹配結果來確定所述用戶潛在感興趣的商品集合。
11. 如請求項10所述的方法，還包括：步驟E：根據預設定的推薦規則，對所述商品集合中的商品進行排序。
12. 如請求項11所述的方法，還包括：步驟F：根據所述排序結果，選擇出最終的推薦商品併發送給所述用戶。
13. 如請求項10所述的方法，其中，步驟A進一步包括：通過核對請求資源URI的尾碼名，剔除請求資源為非頁面的日誌條目；剔除狀態回應碼為錯誤的日誌條目；匯總同一個會話識別字的所有日誌記錄，形成屬於該會話識別字的會話日誌記錄集合；以及判斷會話中是否包含購買頁面和支付頁面，以便篩選出最終完成購物的會話。
14. 如請求項10所述的方法，其中，步驟C進一步包括：當用戶訪問的頁面數量超過預先設定的數目N時，從所述web伺服器的日誌中抽取該用戶的當前會話中所有的日誌條目序列，從而啟動推薦服務。
15. 如請求項14所述的方法，其中，步驟C進一步包括：從所述日誌條目序列中剔除非頁面的以及回應碼為錯誤的日誌條目，以便形成精化日誌條目序列Lp；根據所述精化日誌條目序列Lp，產生多個預定長度的連續日誌條目子序列；以及通過如下公式將所述連續日誌條目子序列中的每條子序列轉換為m維的權重向量： 其中，w_l,i表示某一子序列l的第i維權重，f(l,i)表示第i維日誌條目的URL出現在子序列1的次數，Count(i)表示第i維URL在所述頁面流覽序列參照集合中出現的 次數，t(l,i)表示本次用戶端流覽該頁面的時間長度，λ是Count函數的權重因數。
16. 如請求項10或15所述的方法，其中，步驟D通過如下公式計算匹配度： 其中l₁和l₂表示兩個給定序列，w_1i是序列l₁中的第i維的權重，w_2i是序列l₂中的第i維的權重，函數min返回兩個數值中的較小值。
17. 如請求項10所述的方法，其中，步驟D進一步包括：根據經過預處理的日誌資料與所生成的頁面流覽序列參照集合的匹配結果，對於所述頁面流覽序列參照集合中的每個參照流覽序列，選取其與經過預處理的日誌資料中每個子序列的匹配度最大值來作為該參照流覽序列的權重；挑選權重最大的前n個參照流覽序列，從而生成參照序列集合SeC；以及對於所述參照序列集合SeC中每條候選參照流覽序列，找出與序列相關的購買商品集合來作為所述用戶潛在感興趣的商品集合。
18. 如請求項11所述的方法，其中，步驟E進一步包括：根據所述匹配分析模組所確定的商品集合，累加所述商品集合中每個商品對應的候選參照序列的權重來 作為該商品的權重，根據所述商品的權重來對所述商品集合中的商品排序，以及將權重較大的一定數量的商品作為最終推薦商品告知所述推薦服務控制器。