TW201822082A - 智慧型影像辨識動態規劃之系統及方法 - Google Patents

Abstract

本發明係揭露一種攝影鏡頭節取影像作影像辨識且結合客戶消費行為分析之購物路線規劃方法，在大型商場之商品區與商品走道架設數台攝影機，依各攝影機影像辨識蒐集之數據，計算出商品區與走道人流負載程度作動線規畫和建議，以無線網路即時發送至客戶行動裝置，提供客戶有順暢的購物路線，提升場地空間總體運用的效率並避開擁擠的情況，以提升客戶購物品質為目的。

Description

智慧型影像辨識動態規劃之系統及方法

本發明屬於一種利用智慧型影像辨識之動態路線規劃系統及方法，以攝影鏡頭取像來進行即時各區人流負載程度計算，然後以無線網路發送至行動裝置建議顧客可依照規劃路線避開壅塞區域。

現代社會中越來越多人喜歡在大型賣場或百貨購物，但時常發生特定商品區因客戶太多造成擁塞現象，嚴重影響到客戶購物動線及消費體驗；是故，為解決前述令人頭痛之問題，便有「智慧型人流影像動線規劃之系統及方法」等案之創作；這些創作的目的皆為了讓降低場地擁擠的情況之問題，但前述創作皆為提供訊息讓使用者決定是否在原設施繼續排隊等候或者移動到另一個設施，單純將客戶從壅塞區域移動到空曠區域，並沒有為客戶全盤規劃購物的路線，無法使場地空間總體運用的效率更加提升。客戶可能避開了一個壅塞區，卻花上更多移動時間，以整體購物路線的角度而言，可能浪費了更多時間。而本創作之目的是以客戶欲購物清單，即時規劃出購物路線，不但避開壅塞之商品區，也能即時因突發人潮更改路線。可讓客戶購物路線順暢，便利性與省時性更勝以往。除此之外，本發明在客戶購物分析和商場安全方面與影像監 控有所結合。藉由電子影像辨識技術，分析客戶購買當下之行為，結合智慧型商品推薦功能運算後，開發客戶潛在需求商品。加上人臉辨識技術，影像監控系統一旦辨識到可疑人物可立即告警，有效提升商場安全管理效益。

本案發明人鑑於上述習用方式所衍生的各項缺點，乃亟思加以改良創新，並經多年苦心孤詣潛心研究後，終於成功研發完成本智慧型影像辨識動態規劃之系統及方法。

為達上述目的，本發明提出提供一種智慧型影像辨識動態規劃之系統及方法，在於商場客戶流量逐年成長，避免賣場因人潮眾多造成客戶購物路線常有停滯或不順暢之現象，嚴重破壞消費體驗與賣場人流動線管理不便。設法讓客戶擁有流暢購買路線及開發客戶潛在需求商品，對場地空間總體運用、人流動線監控也有所助益。

本發明包含各支攝影機、影像擷取及鏡頭控制模組、動態路線規劃模組、客戶歷史消費資訊模組、客戶選購商品行為資訊模組、智慧商品推薦模組、無線網路模組、可疑人物告警模組及行動裝置顯示模組，當客戶進入賣場時，以歷史紀錄模組、智慧推薦商品模組和客戶手動選擇之商品組成客戶購物清單。透過攝影機對不同商品區和走道作即時計算區域人流負載程度，動態規劃滿足客戶清單之購物路線，以無線網路發送至客戶行動裝置。當特定商品區出現難以消化的人數之突發狀況，改變購物路線，即時發送訊息之客戶行動裝置，使消費者有效避開壅塞的商品區，能有更舒適的空間可選購商品。

此外，智慧推薦商品模組可以收集透過攝影機獲得之客戶選擇商品的相關行為和動作資訊，推薦客戶可能需要之商品，開發客戶潛在需求商品。另一方面，可疑人物告警模組結合影像監控系統，搭配偷竊前科嫌犯之資料庫，一旦辨識到可疑人物立即告警，大幅提升商場安全管理效果。

本發明可應用在大型商場及百貨公司等，有效給予客戶適當的路線及商品建議，當特定商品區壅塞時，可優先前進到順暢之商品區，提升客戶在賣場內的消費體驗，商場空間的使用效率、商場安全管理和商品購買率等方面能有效強化。

因此本發明一種智慧型影像辨識動態規劃之系統，包括攝影鏡頭，是擷取影像以進行即時購物路線規劃；路線規劃及資訊收集單位，是負責資料收集與資訊整合，並依擷取影像中各商品區人數、人流負載程度以及客戶購物清單等資訊，規劃出最佳購物路線，其中另包含：影像擷取及鏡頭控制模組，是為一影像攝取裝置，並提供客戶選購商品行為資訊模組及動態路線規劃模組進行人流影像分析辨識、客戶消費行為辨識與相關資訊之收集；客戶歷史消費資訊模組，是蒐集客戶以往消費商品資訊與消費習慣等相關資訊，提供智慧商品推薦模組作進一步分析及提醒客戶可能遺漏之日常使用商品和搭配優惠活動；客戶選購商品行為資訊模組，是為客戶選購商品時之行為蒐集及分析系統，並依客戶選購之物品，執行相關行為模式；智慧推薦商品模組，是依照客戶歷史消費資訊模組及客戶選購商品行為資訊模組收集之資訊，並經由分析，推薦給客戶最適合之商品，並另依照客戶習慣購買之商品推薦分數區間，進行推薦此區間之商品；動態路線規劃模組，是以商品 區當作節點，並將兩商品區之間走道當作線，將整個賣場轉化成點線圖，再以一數學模型計算，以得出順暢購物路線；行動裝置顯示模組，是為動態路線規劃模組之操作平台；無線網路模組，是為傳送動態路線規劃模組之計算結果。

其中相關行為模式，是為駐足時間、商品在手上黏著度、拿起相關商品次數，而智慧推薦商品模組，包含一計算方式以計算商品推薦分數，其計算方式為：S=(c+t)* b *(1+0.1 * g)/商品平均分數* 100%

其中S為商品推薦分數、c為客戶拿起商品考慮時間、t為客戶拿起商品次數、b為客戶購買商品次數、g為客戶購買相似商品次數。

其動態路線規劃模組之數學模型，係為：

其中y ⁱ 為各商品區人流負載分數、x ⁱ 為商品區內商品之分數、θ _i 各x ⁱ 之權重、h(x)為函數、W _i 為商品區人流負載權重、C(θ)為成本函數，其中，商品分數x ⁱ 和各商品區人流負載分數y ⁱ 作監督式學習，再以成本函數C(θ)對每個商品權重θ作訓練，最後推導出函數h，各商品區人流負載權重W _i 以客戶對此商品區之各商品分數x ⁱ 帶入h所獲得。

推算出各商品區權重W _i 和走道權重L[a][b]，每個節點和線各自權重為W _i 和L[a][b]，以商場入口為出發節點，結帳櫃台為最終節點。D為客戶購物路線之分數，以最短路徑 演算法讓客戶購物路線分數D最低為目的，以達到客戶避開壅塞區域和順暢路線購物。

客戶選定完需求商品和推薦商品後，模組立即計算完客戶需經過節點與線之權重，以Dijkstra's最短路徑演算法，計算入口(出發節點)到結帳櫃台(最終節點)最短路徑D。Dijkstra's最短路徑演算法公式如下：D _t+1 =D _t +W _b +L[a][b]

其中D為客戶購物路線分數、W _b 為商品區人流負載分數、L[a][b]為商品區a到商品區b之走道人流負載分數，客戶購買途中，若突然出現有商品區或走道權重高於門檻值之狀況發生，模組立即更新購物路線且透過無線網路發送新路線至顧客行動裝置。

一種智慧型影像辨識動態規劃之方法步驟1. 以攝影鏡頭取像來進行即時購物路線規劃；步驟2. 依照各商品區人數及人流負載程度以及客戶購物清單等資訊，規劃出最佳購物路線；步驟3. 若有商品區人流負載程度大於密度門檻值時，動態修正路線並將路線發送至當事人之行動裝置；步驟4. 收集客戶選擇商品時的行為動作與反應之相關數據；步驟5. 經過分析統計，推薦客戶潛在需求之商品。

此外，在商場安全方面，配合商場偷竊前科嫌犯之資料庫，一旦辨識到可疑人物立即告警，大幅提升商場安全管理效果，減少商場物品失竊事件率。

本發明所提供一種智慧型影像辨識動態規劃之系統及方法，與其他習用技術相互比較時，更具備下列優點：

1.本發明可利用影像辨識技術，針對各商品區與走道 計算出人流負載程度，作購物路線建議。

2.本發明可利用影像辨識技術，對客戶選購商品時之行為蒐集資訊及分析提供客戶潛在需求商品。

3.本發明可依人流變動狀況，動態更改購物路線參考。

4.本發明包含行動裝置介面，客戶可即時接收更新後之購物路線與即時優惠資訊。

5.本發明可利用人臉辨識技術，偵測商場內是否有可疑人物，並具有立即告警功能。

110‧‧‧攝影鏡頭

120‧‧‧路線規劃及資訊收集單位

121‧‧‧影像擷取及鏡頭控制模組

122‧‧‧客戶歷史消費資訊模組

123‧‧‧客戶選購商品行為資訊模組

124‧‧‧智慧商品推薦模組

125‧‧‧動態路線規劃模組

130‧‧‧行動裝置顯示模組

140‧‧‧無線網路模組

150‧‧‧可疑人物告警系統

S210~S250‧‧‧流程

請參閱有關本發明之詳細說明及其附圖，將可進一步瞭解本發明之技術內容及其目的功效；有關附圖為：圖1為本發明智慧型影像辨識動態規劃之系統及方法之架構圖；圖2為本發明智慧型影像辨識動態規劃之系統及方法之流程圖。

為了使本發明的目的、技術方案及優點更加清楚明白，下面結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，但並不用於限定本發明。

以下，結合附圖對本發明進一步說明：請參閱圖1所示，為本發明智慧型影像辨識動態規劃之系統及方法之架構圖，包括攝影鏡頭110，是擷取影像以進行即時購物路線規劃；路線規劃及資訊收集單位120，是負責資料收集與資訊整合，並依擷取影像中各商品區人數、人 流負載程度以及客戶購物清單等資訊，規劃出最佳購物路線，其中另包含：影像擷取及鏡頭控制模組121，是為一影像攝取裝置，並提供客戶選購商品行為資訊模組123及動態路線規劃模組125進行人流影像分析辨識、客戶消費行為辨識與相關資訊之收集；客戶歷史消費資訊模組122，是蒐集客戶以往消費商品資訊與消費習慣等相關資訊，提供智慧商品推薦模組124作進一步分析及提醒客戶可能遺漏之日常使用商品和搭配優惠活動；客戶選購商品行為資訊模組123，是為客戶選購商品時之行為蒐集及分析系統，並依客戶選購之物品，執行相關行為模式；智慧推薦商品模組124，是依照客戶歷史消費資訊模組122及客戶選購商品行為資訊模組123收集之資訊，並經由分析，推薦給客戶最適合之商品，並另依照客戶習慣購買之商品推薦分數區間，進行推薦此區間之商品；動態路線規劃模組125，是以商品區當作節點，並將兩商品區之間走道當作線，將整個賣場轉化成點線圖，再以一數學模型計算，以得出順暢購物路線；行動裝置顯示模組130，是為動態路線規劃模組之操作平台；無線網路模組140，是為傳送動態路線規劃模組125之計算結果；此外，在商場安全方面，設有一可疑人物告警系統150，並配合商場偷竊前科嫌犯之資料庫，一旦辨識到可疑人物立即告警，大幅提升商場安全管理效果，減少商場物品失竊事件率。其相關行為模式，是為駐足時間、商品在手上黏著度、拿起相關商品次數。

其中路線規劃及資訊收集單位120為資料收發及運算中心，包括運算核心、控制器及記憶體等，配合行動裝置顯示模組130、無線網路模組140及可疑人物告警模組150等周邊模組，讓此單位能以取得的影像及相關數據，作內部程式 運算及整體系統控制中心。影像擷取及鏡頭控制模組121為客戶購物之動態路線規劃模組125的影像攝取裝置，其攝取之影像主要供客戶選購商品行為資訊模組123和動態路線規劃模組125做人流影像分析辨識、客戶消費行為辨識與相關資訊收集。行動裝置顯示模組130為客戶購物之動態路線規劃模組125之客戶操作平台，以提供客戶輸入需求商品、客戶選購智慧商品推薦模組124推薦之商品及透過無線網路模組140即時接收動態路線規劃模組125之規劃路線。其無線網路模組140為現有及未來的各式電信無線通信網路介面，藉由電信無線通信網路，傳送動態路線規劃模組125計算結果，讓網路另一端客戶藉由行動裝置接收規劃後之路線，此外透過行動網路介面傳送客戶潛在消費商品之優惠訊息。

而客戶歷史消費資訊模組122為蒐集客戶以往消費商品資訊與消費習慣等相關資訊，提供智慧商品推薦模組124作進一步分析及提醒客戶可能遺漏之日常使用商品和搭配優惠活動。客戶選購商品行為資訊模組123為客戶選購商品時之行為蒐集及分析。當客戶選購物品時，會有相關行為模式，例如駐足時間、商品在手上黏著度、拿起相關商品次數等，再加上基本的客戶資訊，如年齡、性別、收入等。上述相關資訊可透過影像擷取及鏡頭控制模組121作蒐集以便相關模組分析。智慧推薦商品模組124為綜合客戶歷史消費資訊模組122和客戶選購商品行為資訊模組123收集之資訊經由分析後，推薦給客戶最適合之商品。而智慧推薦商品模組，包含一計算方式以計算商品推薦分數，其計算方式為：S=(c+t)* b *(1+0.1 * g)/商品平均分數* 100%

其中S為商品推薦分數、c為客戶拿起商品考慮時 間、t為客戶拿起商品次數、b為客戶購買商品次數、g為客戶購買相似商品次數。

動態路線規劃模組124主要是以商品區本身當作節點，兩商品區之間走道當作線，將整個賣場轉化成點線圖。先建立一個數學模型，拿以往的商品分數x _i 和各商品區人流負載分數y _i 作監督式學習，再以成本函數C(θ)對每個商品權重θ作訓練，最後推導出函數h。各商品區人流負載權重W _i 以客戶對此商品區之各商品分數X _i 帶入h所獲得，走道權重L[a][b]為走道內推車數量和走道內客戶黏著度加總組成。其動態路線規劃模組之數學模型，係為：

其中y ⁱ 為各商品區人流負載分數、x ⁱ 為商品區內商品之分數、θ _i 各x ⁱ 之權重、h(x)為函數、W _i 為商品區人流負載權重、C(θ)為成本函數，其中，商品分數x ⁱ 和各商品區人流負載分數y ⁱ 作監督式學習，再以成本函數C(θ)對每個商品權重θ作訓練，最後推導出函數h，各商品區人流負載權重W _i 以客戶對此商品區之各商品分數x ⁱ 帶入h所獲得。

推算出各商品區權重W _i 和走道權重L[a][b]，每個節點和線各自權重為W _i 和L[a][b]，以商場入口為出發節點，結帳櫃台為最終節點。D為客戶購物路線之分數，以最短路徑演算法讓客戶購物路線分數D最低為目的，以達到客戶避開壅塞區域和順暢路線購物。

客戶選定完需求商品和推薦商品後，模組立即計算完客戶需經過節點與線之權重，以Dijkstra's最短路徑演算法，計算入口(出發節點)到結帳櫃台(最終節點)最短路徑D。Dijkstra's最短路徑演算法公式如下：D _t+1 =D _t +W _b +L[a][b]

其中D為客戶購物路線分數、W _b 為商品區人流負載分數、L[a][b]為商品區a到商品區b之走道人流負載分數，客戶購買途中，若突然出現有商品區或走道權重高於門檻值之狀況發生，模組立即更新購物路線且透過無線網路發送新路線至顧客行動裝置。

請參閱圖2所示，為本發明智慧型影像辨識動態規劃之系統及方法之流程圖，其流程如下：步驟1. S210以攝影鏡頭取像來進行即時購物路線規劃；步驟2. S220依照各商品區人數及人流負載程度以及客戶購物清單等資訊，規劃出最佳購物路線；步驟3. S230若有商品區人流負載程度大於密度門檻值時，動態修正路線並將路線發送至當事人之行動裝置；步驟4. S240收集客戶選擇商品時的行為動作與反應之相關數據；步驟5. S250經過分析統計，推薦客戶潛在需求之商品。

此外，在商場安全方面，配合商場偷竊前科嫌犯之資料庫，一旦辨識到可疑人物立即告警，大幅提升商場安全管理效果，減少商場物品失竊事件率。

上列詳細說明乃針對本發明之一可行實施例進行具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本 案之專利範圍中。

綜上所述，本案不僅於技術思想上確屬創新，並具備習用之傳統方法所不及之上述多項功效，已充分符合新穎性及進步性之法定發明專利要件，爰依法提出申請，懇請 貴局核准本件發明專利申請案，以勵發明，至感德便。

Claims (5)

1. 一種智慧型影像辨識動態規劃之系統，包括：攝影鏡頭，係擷取影像以進行即時購物路線規劃；路線規劃及資訊收集單位，係負責資料收集與資訊整合，並依該擷取影像中各商品區人數、人流負載程度以及客戶購物清單等資訊，規劃出最佳購物路線，其中另包含：影像擷取及鏡頭控制模組，係為一影像攝取裝置，並提供客戶選購商品行為資訊模組及動態路線規劃模組進行人流影像分析辨識、客戶消費行為辨識與相關資訊之收集；客戶歷史消費資訊模組，係蒐集客戶以往消費商品資訊與消費習慣等相關資訊，提供智慧商品推薦模組作進一步分析及提醒客戶可能遺漏之日常使用商品和搭配優惠活動；客戶選購商品行為資訊模組，係為客戶選購商品時之行為蒐集及分析系統，並依客戶選購之物品，執行相關行為模式；智慧推薦商品模組，係依照該客戶歷史消費資訊模組及該客戶選購商品行為資訊模組收集之資訊，並經由分析，推薦給客戶最適合之商品，並另依照客戶習慣購買之商品推薦分數區間，進行推薦此區間之商品；動態路線規劃模組，係以商品區當作節點，並將兩商品區之間走道當作線，將整個賣場轉化成點線圖，再以一數學模型計算，以得出順暢購物路線；行動裝置顯示模組，係為該動態路線規劃模組之操作平台； 無線網路模組，係為傳送該動態路線規劃模組之計算結果。
2. 如申請專利範圍第1項所述之智慧型影像辨識動態規劃之系統，其中該相關行為模式，係為駐足時間、商品在手上黏著度、拿起相關商品次數。
3. 如申請專利範圍第1項所述之智慧型影像辨識動態規劃之系統，其中該智慧推薦商品模組，係包含一計算方式以計算商品推薦分數，其計算方式為 S= (c+ t)* b * (1+ 0.1 * g)/商品平均分數* 100%，其中 S為商品推薦分數、 c為客戶拿起商品考慮時間、 t為客戶拿起商品次數、 b為客戶購買商品次數、 g為客戶購買相似商品次數。
4. 如申請專利範圍第1項所述之智慧型影像辨識動態規劃之系統，其中該數學模型，係為： 其中 y ⁱ 為各商品區人流負載分數、 x ⁱ 為商品區內商品之分數、 θ _i 各 x ⁱ 之權重、 h(x)為函數、 W _i 為商品區人流負載權重、 C( θ)為成本函數，其中，商品分數 x ⁱ 和各商品區人流負載分數 y ⁱ 作監督式學習，再以成本函數 C( θ)對每個商品權重 θ作訓練，最後推導出函數 h，各商品區人流負載權重 W _i 以客戶對此商品區之各商品分數 x ⁱ 帶入 h所獲得。
5. 一種智慧型影像辨識動態規劃之方法，包括：步驟1. 以攝影鏡頭取像來進行即時購物路線規劃；步驟2. 依照各商品區人數及人流負載程度以及客戶購物清 單等資訊，規劃出最佳購物路線；步驟3. 若有商品區人流負載程度大於密度門檻值時，動態修正路線並將路線發送至當事人之行動裝置；步驟4. 收集客戶選擇商品時的行為動作與反應之相關數據步驟5. 經過分析統計，推薦客戶潛在需求之商品。