TWI626549B

TWI626549B - Method of analyzing a URL to generate a user profile

Info

Publication number: TWI626549B
Application number: TW106112719A
Authority: TW
Inventors: Chieh Hsin Liao; Chih Cheng Chien
Original assignee: Chunghwa Telecom Co Ltd
Priority date: 2017-04-17
Filing date: 2017-04-17
Publication date: 2018-06-11
Also published as: TW201839633A

Abstract

本發明有關於一種分析URL以產生用戶輪廓之方法，其主要係依據一應用類別於URL瀏覽日誌中選出複數用戶，並根據該等用戶的瀏覽次數、時間或週期等使用資訊獲取對應該應用類別的一權重值，以依據該權重值對該用戶記錄計算分數並排序來找出用量高的用戶群，並對關於用戶群的若干屬性進行卡方檢定和變異數分析的輪廓分析，以找出其中的顯著屬性以描繪該應用類別的用戶輪廓。

Description

分析URL以產生用戶輪廓之方法

本發明有關於一種產生用戶輪廓之方法，由為一種選擇應用類別以分析連結或瀏覽某種特定URL(Uniform Resource Locator)位址用戶之輪廓的方法。

隨著行動設備和寬頻網路的普及化，人們對網路便利性所產生的依賴亦漸漸加重，而在人們透過網路取得月來多元化的各種服務的同時，也同時產生了大量的使用紀錄。從服務提供商的角度觀之，為了因應各種潛在的企業競爭和客戶喜好的變化所造成的業務挑戰，需要有更佳的方法使公司能夠提供更符合客戶需求的產品及服務，亦即為須將行銷方法已從過去的大量行銷及產品差異化行銷轉向為針對目標的行銷，為了達成此種針對性的行銷，需要蒐集相當程度針對某種客戶的資料，而在這個網路時代中，客戶使用網路所留下的紀錄無疑成為了一個有相當高價值的分析標的。

先前技術中已經存在著若干方法有效運用這些資料，例如有關鍵字導向方法，其可以準確的追蹤特定客戶裝置上的行為並分析客戶所瀏覽網路資源內的內容，以擷取客戶在多個網站瀏覽的內容關鍵字、來源與建立時間等等資訊，進一步建立欲行銷之活動與網路關鍵字的配對關係。

先前技術中亦有其他類似方法，係可透過分析使用者特性，例如瀏覽網站次數、花費的時間和網頁內容等，透過排列演算法將使用者特性之組合加權平均，以決定根據何種使用者特性的排列組合來回應客戶不同的結果。

然而，目前的技術中仍缺少可以針對某特定類別或屬性自資料中挖掘能代表客戶的顯著屬性以對客戶做較全面的側寫之技術。

為了補足先前技術之不足，本發明提供了一種結合了巨量資料與統計分析的用戶輪廓描述方法，其主要目的係為提供一個讓使用者可以透過定義好的URLs(Uniform Resource Locators)，分析以建立特定領域用戶的輪廓(profiling)以及描述該輪廓的特徵之流程方法。

本發明次要目的，係用以識別特定用戶領域中，用量較高的用戶與其餘用戶是否於統計上具有顯著差異之屬性，此種分析結果可用於建構出用戶族群的顯著屬性，例如用戶基本屬性、使用狀況、興趣喜好、服務申請等等顯著屬性資訊描繪的具體輪廓樣貌，而這種具體輪廓樣貌可進一步作為商業行銷規劃之依據，亦可協助業務單位瞭解目標用戶之特性，使得其於接觸客戶時能更有效地傳達合適的行銷方案，並規劃更適宜的活動內容。

基於上述目的，本發明提出了一種分析URL以產生用戶輪廓之方法，其可透過能夠取得用戶的原始瀏覽日誌的一輪廓分析伺服器，來執行至少包含以下步驟：

選定一應用類別，於包含複數用戶的一原始瀏覽日誌中根據該應用類別選取出一用戶組。其中，該輪廓分析伺服器可與網路連線以取得該原始瀏覽日誌，其中，該應用類別係為一種預定義之內容同質或近似的URL(Uniform Resource Locator)位址類別，該應用類別內包含有內容同質或近似的至少一代表性URL位址，其中，若該等用戶於該原始瀏覽日誌中被紀錄有曾瀏覽該應用類別之URL位址，該等用戶將被選入該用戶組中。另外，該原始瀏覽日誌可為儲存於巨量資料運算技術如Hadoop Hive分散式資料庫中的結構化資料，而該原始瀏覽日誌係依一定格式以分散式架構儲存，例如選擇依據(「用戶識別碼」，「瀏覽日期時間」，「瀏覽網址」)此等格式來儲存，如此可以大幅降低所需分析的資料量，以使本方法可以透過具備統計運算能力的單機進行處理。

分析該用戶組中的該等用戶各自連結至或瀏覽該應用類別中的URL位址之使用資訊以產生一用戶記錄。其中，使用資訊包含該等用戶對該應用類別中的URL位址的持續瀏覽日期(Start Date & End Date or Date Duration)、瀏覽時間(Days Count)、瀏覽時間(Hours Count)、瀏覽次數(Access Count)、瀏覽周期(Access Frequency)、各日期類別瀏覽次數等，其中，日期類別係指日期所可能代表之意義，例如一個日期可能屬於假日、工作日或連假等等類別。

以影視應用類別中已知的URL位址作為訓練資料對該應用類別進行變量分析之機器訓練，以獲取對應於該應用類別的一權重值。其中，變量分析的訓練係以上述用以產生該用戶記錄的使用資訊(如持續瀏覽日期、瀏覽周期、各日期類別瀏覽次數等)作為輸入變量，透過神經元網路(Neural Network)或邏輯分析(Logistic Regression)模型等對輸入變量進行分析訓練以產生該權重值。

根據該權重值對該用戶記錄進行分數計算，並對計算後之分數排序，進而根據排序之分數自該用戶組中獲取用量高的至少一用戶，其中，該至少一用戶係選擇自該用戶記錄所得分數由高分至低分遞減排序後分數較高的若干百分比率(Top N)之用戶。

對該至少一用戶進行輪廓分析以產生對應該應用類別的一用戶輪廓，其中，輪廓分析係根據預先賦予該應用類別的屬性經統計分析以產生該至少一用戶的至少一顯著屬性，更判斷該至少一顯著屬性相對於該至少一用戶的相關性，以根據該至少一顯著屬性描述該用戶輪廓。其中，預先賦予該應用類別的屬性可包括一般用戶屬性，例如用戶的性別、年齡、教育程度...等，此外，使用者亦可自行定義欲探詢的屬性，也就是用以描述高用量用戶有哪些值得被注意的代表性行為等的屬性，例如，若使用本發明的目的係為找出潛在的高用量影視用戶，可以依據此目的定義用戶是否為付費用戶、申辦速率別、近期帳單平均金額、使用數據流量、傳輸時段、漫遊基地台數..等等之屬性。

其中，前述輪廓分析所採用的統計分析方法可包含一卡方檢定(Chi-square Test)流程，該卡方檢定流程係用以進行交叉分析中的類別變數分析，以將χ²(Chi-square)值顯著較大者輸出為該至少一顯著屬性。其中，輪廓分析所採用的統計分析方法可包含一變異數分析(Analysis of variance,ANOVA)流程，該變異數分析流程係用以進行交叉分析中的連續變數分析，以將F檢定(F-test)值顯著較大者輸出為該至少一顯著屬性。

其中，前述輪廓分析可透過邏輯迴歸(Logistic Regression)模型判斷該至少一顯著屬性與該至少一用戶的相關性係屬於正相關或負相關，以找出該顯著屬性對於高用量用戶變數之影響關係，例如：若找出申請服務的用戶年齡和高用量用戶族群之間的正或負相關關係，即可描述高用量用戶係屬於壯年或是年輕族群的輪廓。此外，進行正負相關判斷的模型可以為任一種現行的或可用的模型，並不限於邏輯迴歸模型。

另外，本發明亦可透過選取其他的應用類別再次執行上述步驟以產生針對其他應用類別的用戶輪廓。

通過本發明之方法，可讓使用者透過該輪廓分析伺服器選擇預定義的URLs(Uniform Resource Locators)之應用類別，進而分析原始瀏覽日誌以建立特定用戶的輪廓，更可以分辨用量較高的用戶與其他用戶於特定屬性上是否有統計的顯著差異。

S100~S300‧‧‧步驟流程

110‧‧‧原始瀏覽日誌的數據庫

120‧‧‧影視應用類別的用戶記錄

210‧‧‧訓練資料

S220~S230‧‧‧步驟流程

240‧‧‧高用量用戶名單

S310~S340‧‧‧步驟流程

350‧‧‧顯著屬性

360‧‧‧用戶輪廓

圖1為本發明的主要步驟流程示意圖；圖2為本發明瀏覽日誌網址分析的細部步驟示意圖；圖3為本發明分數計算排序的細部步驟示意圖；圖4為本發明的第一範例示意圖；圖5本發明為輪廓分析的細部步驟示意圖；圖6為本發明的第二範例示意圖；圖7為本發明的第三範例示意圖；圖8為本發明的第四範例示意圖；以及圖9為本發明的第五範例示意圖。

以下將以實施例結合圖式對本發明進行進一步說明。

首先，請參照圖1，係為本發明的主要步驟流程示意圖，其包含三個步驟，依序為S100瀏覽日誌網址分析、S200分數計算排序以及S300描述用戶輪廓，其中，如同發明內容中所述，本發明係先透過步驟S100自原始瀏覽日誌中選取出符合特定應用類別的用戶組以及該用戶組的使用資訊，例如持續瀏覽日期、瀏覽時間、瀏覽周期等，再透過步驟S200依據該些使用資訊的權重值對該用戶組內的用戶計算分數並排序，以找出高用量的用戶，進而透過步驟S300進行輪廓分析以描述符合該特定應用類別的用戶輪廓，而這種用戶輪廓可被用於進行針對特定應用類別用戶的行銷或活動規劃。

在本實施例中，作為被分析資料的原始瀏覽日誌中包含複數用戶網路的連線記錄資料，原始瀏覽日誌的時間區間為西元2015年的一月至二月，周數共八周。

而本發明方法的輪廓分析伺服器可藉由Hadoop Hive於原始瀏覽日誌中根據預定義的一影視應用類別以過濾出一用戶組，於本實施例中，該影視應用類別係包含使用者預定義的一種關於影視內容的URL網址，本發明方法即用以比對原始瀏覽日誌中符合該第一應用類別的連線記錄，在本實施例中，每日收集的原始資料量約為500GB。

請參閱圖2，其係為步驟S100瀏覽日誌網址分析的細部步驟示意圖，基於上述的實施例，根據使用者的選擇，提取已預定義的該影視應用類別之影視應用的代表性 URL網址，例如土豆網的api.3g.tudou.com、千尋的kankan.1kxun.com...等URL位址，本發明的伺服器自原始瀏覽日誌的數據庫110中篩選出曾瀏覽該等網址的用戶，並將該等用戶的持續瀏覽日期(Start Date & End Date or Date Duration)、瀏覽時間(Days Count)、瀏覽時間(Hours Count)、瀏覽次數(Access Count)、瀏覽周期(Access Frequency)及各日期類別瀏覽次數等使用資訊作為輸入變量進行分析，以產生符合該影視應用類別的用戶記錄120。

再請參考圖3，其係為步驟S200分數計算排序的細部步驟示意圖，值得注意的是，在進行此步驟之前，本發明之伺服器已預先針對複數種應用類別(包含該影視應用類別)執行步驟S220權重分析以對該等應用類別各自產生一權重值(weight)，其中，針對該影視應用類別的權重分析，係為將影視類別所對應的訓練資料210，輸入神經元網路(Neural Network)模型以進行單層模型訓練，產出的模型中將包含前述各輸入變量的權重，而此權重即為該影視應用類別的權重值。

接著，本發明之伺服器將該影視應用類別的用戶記錄120結合該影視應用類別之輸入變量所對應的權重值，執行步驟S230用戶分數計算。經計算後，將獲得曾瀏覽該等網址的該等用戶在該影視應用類別的得分，再依據分數由高至低進行遞減排序，更依據本發明的使用者決定的N值選取出使用量位於前百分之N的高用量用戶名單240。請再參閱圖4的第一範例示意圖，在本實施例中，用戶係透過行動網路或是寬頻網路閱覽影視內容，因此，使用者可分別針對行動網路用戶與寬頻網路用戶分別取其總得分排名前20%(13 分以上)及前15%(32分以上)的用戶作為正例樣本。此外，亦可參考使用量分布的平均數與中位數等統計量，對於行動網路用戶而言，其平均數為9.0分，中位數為3分，而寬頻用戶的平均數為14.4分，中位數為10分。

請參閱圖5所示，其係為步驟S300輪廓分析的細部步驟示意圖，該輪廓分析步驟係將高用量用戶名單240作為輸入，並進行步驟S310設定欲針對該影視應用類別分析之複數屬性，該等屬性包含一般用戶屬性，例如用戶的性別、年齡、教育程度...等，另外，使用者更可依據需求設定屬性，例如：若使用者之目的係為找出潛在的高用量影視用戶，可設定例如用戶是否為付費用戶、申辦速率別、近期帳單平均金額、下載上傳數據流量、主要傳輸時段、漫遊使用的基地台數等屬性。

高用量用戶名單240經步驟S310設定欲分析之複數屬性後，本發明之伺服器將執行交叉分析，其一為步驟S320的卡方檢定，用以分析類別屬性變數，經卡方檢定後χ2值明顯較大者，即可選為用戶的一種顯著屬性350；例如，於本實施例中，請參考圖6的第二範例圖所示，經常觀看熱門影視的高用量用戶中以女性居多，數量為男性的1.24倍，而在其他的用戶中，女性之於男性的比例則僅為0.87倍。同樣地，在步驟S320卡方檢定中，第二個被選為顯著屬性350的屬性係有關於用戶的地域分布，根據影視應用程式高用量用戶居住縣市之分佈進行觀察，居住於北部都會區與中南部直轄市的行動用戶中，有較高的比例係為影視應用程式的付費高用量用戶，其中在臺北、新北、桃園、新竹、台中、台南的付費用戶比例皆高於平均數。

另外，本發明之伺服器亦將執行步驟S330的變異數分析(ANOVA)以分析連續屬性變數，選取出F檢定值明顯較大的用戶屬性，作為顯著屬性350。例如：於本實施例中，使用者欲找出用戶的年齡屬性對於用戶是否是行動高用量之用戶有顯著之影響，在步驟S340分析顯著屬性與用戶的正負相關關係中，本發明透過邏輯迴歸演算法觀察到其迴歸係數為-0.006774，係為一負值，其表示用戶年齡此屬性與高用量用戶族群的分布呈現負關係，進一步觀察用戶的年齡分佈，如圖7的第三範例圖所示，可發現影視應用類別的高用量用戶平均年齡(37.9歲)比其他用量的用戶(45.1歲)年輕，並且，高用量用戶於18至24歲之區間內呈現最高比例，此為產生的第三種顯著屬性350。

同樣地，於步驟S330的變異數分析更可分析出第四種顯著屬性350，其係關於用戶的移動屬性，根據圖8的第四範例圖所示，由用戶的移動距離與發話型態等統計數據進行觀察，高用量用戶多為喜歡四處移動，交友圈、生活圈較大的用戶。在平日時段，高用量用戶的移動距離比其他用量的用戶多出151公里，在週末時段，高用量用戶的移動距離比其他用戶多出55公里。由該現象可推測，高用量用戶可能為通勤族居多，其可能於搭乘火車、地鐵或公車時觀看影視打發時間。另一方面，亦可觀察到，高用量用戶在發話縣市數、發話使用基地台數、總發話分鐘數、總發話對象數、網外發話對象都佔較高之比率，高用量用戶明顯為社交活動較多的族群。

於本實施例中，根據步驟S330的變異數分析，更可找出第五種顯著屬性350，其係關於付費程度之屬性，其顯示高用量用戶願意花費較高的購機金額在手機上，其比率為其他用量用戶平均數的1.5倍，且其平均購機週期較短，為其他用量用戶平均數的0.8倍。另外，就用戶申辦電信業務的方案而言，吃到飽方案用戶的高用量用戶比例為13.83%，較非吃到飽用戶的高用量用戶比例5.74%高出許多。並且，若觀察近三個月內的帳單平均金額，高用量用戶的帳單平均金額為其他用量用戶的1.7倍，其請求資料服務與加值服務的金額亦佔其帳單金額的比例較高。

於本實施例中，根據步驟S320的卡方檢定，更可找出第六種顯著屬性350，其係關於用戶行動業務方案之屬性，即為在高用量的寬頻用戶中，觀察高用量用戶購買本公司業務組合情形。即可將已申租某一通信公司的行動門號之用戶特別標記起來，以使該通信公司的客服可以在接洽時快速發現客戶的這項屬性，以嘗試推薦用戶在購機或立新約時搭配該通信公司的特惠影視行銷方案等，更或著是對於未申租該通信公司行動門號的用戶，可為其規劃攜碼服務加上影視方案，藉此吸引高用量用戶購買更多該通信公司的服務及產品。

於本實施例中，根據步驟S320的卡方檢定，也可以找出關於用戶上網速率之第七種顯著屬性350，如圖9的第五範例圖所示，觀察可發現申請高速上網的用戶有較高的比例為高用量用戶，而且用戶的下行資料量也明顯較高，是其他用量用戶的1.5倍。另外，影視高用量付費用戶每次連線的平均資料量較影視高用量免費用戶來的高，其中，下行量高出104%，上行量高出68%。另外，影視高用量付費用戶的平均的連線時間也較長、連線次數較少。

最後，根據步驟S330的變異數分析，可找出第八種顯著屬性350，係為寬頻影視用戶數的地理分佈區域，例如，影視高用量用戶較密集集中於台灣的北部區域，包含基隆、臺北、新北、桃園、新竹等地區，該等區域的用戶人數佔全體用戶44.59%，其中，可歸納出每五位觀看影視的高用量用戶中，就有一位是付費的用戶(佔該地區用戶數21%~26.97%)。

承前，於本實施例中，藉由本發明之方法，針對該影視應用類別的高用量用戶，最後可以找出八種顯著屬性350，該八種顯著屬性可用以描述該影視應用類別的高用量用戶之用戶輪廓360。

由此可見，本發明係為一種令使用者可以將用戶瀏覽的URL網址記錄依照其欲分析的應用類別進行一系列關聯分析，進而描繪出用戶輪廓的方法，根據本發明之方法，可以有效率地挖掘出潛在客戶，以達到精準行銷之效益。

本發明與先前技術相比，有著以下的優點：

1.提供一種可透過使用者定義的URL網址，來尋找特定族群的用戶輪廓之方法。

2.提出一個用戶分數計算的方法，包含一權重值分析方法，該權重值分析方法可透過神經元網路對各個應用類別進行單層模型訓練，以產出包含各輸入變量的權重，可提供分數計算方法較佳的權重設定，使用戶分數的計算方法可應用於多個應用領域，並維持較佳的用戶識別性，而該權重值分析方法亦可使用邏輯迴歸或其他演算法來取代。

3.提供找出特定族群用戶輪廓的方法，可設定預定義好的數百項用戶屬性或使用者自行定義的屬性，透過卡方檢定與變異數分析進行交叉分析，以找出高用量用戶與其他用量用戶在統計上有顯著差異的屬性，以藉由這樣的輪廓樣貌以設計適合的行銷方案。

4.透過邏輯迴歸演算法分析顯著屬性相對於高用量用戶係呈現正相關或負相關。

5.結合現行巨量資料運算技術與本發明之方法，可解決傳統單機難以處理大量用戶或長期累積資料的問題，提供較先前技術更佳的用戶輪廓分析方法。

綜上所述，本發明於技術思想上實屬創新，也具備先前技術不及的多種功效，已充分符合新穎性及進步性之法定發明專利要件，爰依法提出專利申請，懇請貴局核准本件發明專利申請案以勵發明，至感德便。

Claims

一種分析URL以產生用戶輪廓之方法，其步驟至少包含：於一原始瀏覽日誌中根據一應用類別選取一用戶組，其中，該應用類別係為一種預定義之內容的代表性URL(Uniform Resource Locator)位址類別；分析該用戶組連結或瀏覽該應用類別中的URL位址之次數、時間或週期等使用資訊以產生一用戶記錄；以已知的URL位址作為訓練資料對應前述使用資訊做機器訓練，以獲取對應該應用類別的一權重值；根據該權重值對該用戶記錄計算分數並排序，以根據排序之分數自該用戶組中獲取用量高的至少一用戶，其中，該至少一用戶係選擇自該用戶記錄所得分數遞減排序後分數較高的若干百分比率之用戶；以及對該至少一用戶進行輪廓分析以產生對應該應用類別的一用戶輪廓，其中，輪廓分析係對該應用類別設定欲分析的複數屬性，將該等屬性經統計分析以產生該至少一用戶的至少一顯著屬性，更可判斷該至少一顯著屬性相對於該至少一用戶的相關性，以根據該至少一顯著屬性描述該用戶輪廓。
如申請專利範圍第1項所述之方法，其中，該權重值係透過神經元網路(Neural Network)或邏輯分析(Logistic Regression)模型對前述使用資訊進行變量分析訓練而產生。
如申請專利範圍第1項所述之方法，其中，輪廓分析所採用的統計分析方法至少包含一卡方檢定(Chi-square Test)流程，該卡方檢定流程係用以進行交叉分析中的類別變數分析，以將χ²值顯著較大者輸出為該至少一顯著屬性。
如申請專利範圍第1項所述之方法，其中，輪廓分析所採用的統計分析方法至少包含一變異數分析(Analysis of variance,ANOVA)流程，該變異數分析流程係用以進行交叉分析中的連續變數分析，以將F檢定值顯著較大者輸出為該至少一顯著屬性。
如申請專利範圍第1項所述之方法，其中，輪廓分析可透過邏輯迴歸(Logistic Regression)模型判斷該至少一顯著屬性與該至少一用戶的相關性係屬於正相關或負相關。