TWI578272B - Shelf detection system and method - Google Patents

Description

貨架取物偵測系統及方法

本發明有關於一種偵測系統及方法，特別是一種按照影像深度和變化追蹤判斷置貨架上之貨品是否被取用之系統及方法。

隨著大數據分析之技術及應用愈趨熱門，消費者行為與商品熱銷程度的關連分析利用大數據的研究方法亦越來越受到重視，商品曝光程度、周邊商品、甚至是陳列位置均可能影響商品之銷售，故如何蒐集商品受消費者關注程度之量化數據，並提供商家進行貨架存取次數與商品熱銷程度關連之有效分析係為一種有高度需求之技術。

在先前技術中，需透過人工盤點再作事後統計方式才能取得商品銷售資訊，然而此種作法耗工且耗時極其不符合經濟效益，而在近代之技術中，則若干方式可透過無線射頻技術等方式附加電子標籤於商品上，並根據電子標籤來判斷商品離開貨架與否，或是再配合一維條碼與POS(Point of Sale)機等等設備進行整體的倉儲物流管理，然而，此種技術中，無線射頻電子標籤需部署於每個商品上，這個設置過程亦耗費人工且電力因素造成之訊號問題可能造成電子標籤無法被正確偵測與接收，另外，使用POS(Point of Sale)機進行 倉儲物流管理所取得之資訊則僅能得知商品銷售程度，並未考慮商品的受關注程度，例如消費者可能先將商品拿起觀看或丟入推車，但最終仍因某些因素沒有進行購買，這些資訊對於銷售亦有極大幫助。

由此可見，上述先前技術仍存在若干思考不周之處，亟需進行改良。

本發明提出一種貨架取物偵測系統及方法，係根據場景中之深度感測以計算外部貨品在置貨架邊的感測範圍被拿取或歸位之次數，且可進一步分析置貨架被存取的熱區以作為後續物流管理及銷售之參考。

本發明之系統包含一深度感測裝置，設置於外部置貨架的相對上方且以包含部分外部置貨架與外部置貨架外側部分環境之範圍為感測範圍的感測裝置，該深度感測裝置主要是透過影像攝錄方式進行感測。

本發明更包含一偵測子系統，該偵測子系統係與該深度感測裝置連結並接收來自該深度感測裝置所偵測感測範圍內的感測影像，該偵測子系統可將感測影像按照深度分離出前景與背景，並利用於判斷是否有外部物件進入或離開感測範圍以及外部物件在感測範圍內的影像變化，其中，該偵測子系統更包含一影像取像模組，用以接收來自該深度感測裝置所偵測感測範圍內包含色彩或深度的感測影像，以及一前後景分離模組，係用以將該影像取像模組接收之感測影像依據深度以分離出前景以及背景，該偵測子系統更包含一物件偵測模組，在感測範圍內追蹤並判斷是否有一或複數外 部物件進入或離開感測範圍之前景。

本發明更有一分析子系統，用以圖量化深度以透過邊緣偵測演算法在感測範圍內劃分出複數虛擬邊界，該分析子系統係追蹤且紀錄外部物件在感測範圍內的各該虛擬邊界之進出位置、進出深度、進出次數以及進出前後之影像變化以判斷外部置貨架上之貨物進出之相關資訊。

其中，該分析子系統細分更包含一場景分析模組，係用以根據該深度感測裝置所偵測感測範圍內的感測影像來解析外部置貨架之部署情形，並再根據外部置貨架之部署情形透過一種邊緣偵測演算法以在感測範圍內距外部置貨架之取物側外的一定距離處以規劃出複數虛擬邊界，各該虛擬邊界即可被簡單理解為用以判斷是否取物行為之邊界線。

該分析子系統更包含一物件追蹤模組，用以追蹤外部物件(即消費者或是推車等物件)在感測範圍內之移動並賦予外部物件各自之識別碼(給予識別碼之目標可包含外部貨品等)。

該分析子系統透過一越線取物分析模組以前述各該虛擬邊界為基準，判斷外部物件與外部置貨架間的相互關係以及是否越過各該虛擬邊界並據以記錄外部置貨架上之各種外部貨品是否被消費者存取，以及記錄外部貨品被存取之次數。

該分析子系統包含一數據分析模組，該數據分析模組依據該越線取物分析模組得出貨品是否被存取及被存取之次數等資訊作為材料分析，其目的在找出外部置貨架被存取的區間以及被存取最頻繁的熱區等，即可大略推估在外部置貨架的部署上，是否有哪些區間或貨架受關注之價值較高。

該分析子系統更包含一物件相似度比對模組，用以依該越線取物分析模組判斷外部物件進出各該虛擬邊界前後所顯示影像之間的變化，並解析其相似度以判斷被取或放回之貨品的種類，以提升辨識準確率。

而本發明之貨架取物偵測系統具有一資料庫子系統，用以儲存該分析子系統所追蹤前述的外部物件以及外部貨品在感測範圍內的各該虛擬邊界進出之位置、深度、次數以及進出前後之影像變化所產生之相關資訊，更詳細來說，該資料庫子系統儲存外部貨品在感測範圍內的各該虛擬邊界進出之取物次數、歸物次數、取物區間、歸物區間，或是外部物件進入各該虛擬邊界之次數、外部物件離開各該虛擬邊界之次數、外部物件停留在感測範圍內的關注時間等。

而本發明之貨架取物偵測系統及方法，即係應用於量販賣場、零售店、書店、精品店等案場，利用深度感測裝置取得場景之俯視場景深度資訊，即時偵測置貨架被存取之確切位置或階層，並藉由深度、色彩、形狀、紋理或區域性特徵等多種圖像特徵組合判斷消費者是否有取物行為並記錄商品受關注時間，且可藉由預先設定或透過影像辨識方式得知消費者拿取之物品的品項，或更可將相關資訊推播至貨架附近之電子顯示器，讓消費者可獲得產品成分、使用等相關訊息，抑或是可以推薦周邊/關聯/相似產品給消費者之系統及其使用方法。

100‧‧‧商品置貨架

200‧‧‧深度感測器

300‧‧‧偵測子系統

310‧‧‧影像取像模組

320‧‧‧前後景分離模組

330‧‧‧物件偵測模組

400‧‧‧分析子系統

410‧‧‧場景分析模組

420‧‧‧物件追蹤模組

430‧‧‧越線取物分析模組

440‧‧‧數據分析模組

450‧‧‧物件相似度比對模組

500‧‧‧資料庫子系統

510‧‧‧越線次數資料

520‧‧‧取物次數資料

530‧‧‧取物位置資料

540‧‧‧貨架區間資料

550‧‧‧關注時間資料

S301~S308‧‧‧步驟流程

圖1為本發明之貨架取物偵測系統架構實施圖； 圖2為本發明之貨架部署影像實施例示意圖；圖3為本發明之貨架取物偵測方法步驟流程圖；圖4本發明之背景深度影像示意圖；圖5本發明之貨架部署前感測線之規劃示意圖；圖6本發明之追蹤並付予識別碼示意圖；圖7本發明之物件相似度比對示意圖；圖8本發明之置貨架存取熱門區域之分佈示意圖。

以下將以實施例結合圖式對本發明進行進一步說明，首先請參照圖1，係為本發明之系統架構實施圖，各子系統以及外部元件將分述如下：商品置貨架100，用以陳列商品用，商品置貨架其取物端之動靜係為深度感測器偵測之主要標的。

深度感測器200，用以自上方獲取彩色影像或場景深度等資訊，其可設置於貨架上方或採吸頂方式安裝於案場，之天花板。

偵測子系統300，其係用於根據深度感測器200截取之影像，以透過影像深度在感測範圍內建立前景背景之差異，並據此對在前景活動之物件進行偵測。

分析子系統400，係用於將偵測子系統300偵測之影像進行場景分析、前景物件追蹤、取物分析判斷或置貨架存取熱區分析等運算。

資料庫子系統500，係用於較長時間儲存前述分析子系統300得來之偵測及運算數據資料，當資料達定量時即可開始提供分析子系統進行熱區分析等運算。

總的來說，本發明之深度感測器200安裝於商品置貨架100上方或是當商品置貨架100上方無支架固定時可採用吸頂式安裝於案場的天花板上，深度感測器200是採俯視角度向下拍攝畫面，深度感測器200則連結至後端的偵測子系統300，偵測子系統300透過影像取像模組310從深度感測器200取得彩色影像與場景深度資訊且將深度資訊轉換為深度影像，並交由前後景分離模組320區分前景影像與背景影像，再由物件偵測模組330對前景影像進行物件偵測以取得各物件資訊。

分析子系統400將對偵測子系統300取得之相關資訊進一步處理，在系統啟動時，場景分析模組410會先透過深度影像資訊自動分析置貨架部署的場景，且利用深度圖量化(Quantization)方式、邊緣偵測演算法等估計出置貨架與背景環境之走道間的區隔線，以複數虛擬邊界規劃出感測線以及感測區，將可計算出如圖2所示之貨架部署影像，而其中灰色區域係規劃為感測區，而圖中虛線就是感測線。

當完成場景部署分析後，物件追蹤模組420將對物件偵測模組330偵測出之外部物件進行軌跡追蹤與識別碼標註，而越線取物分析模組430則是持續對被追蹤之外部物件運行碰觸點偵測，當一外部物件之端點碰觸跨越線進入置貨架區域時立即記錄當時之物件影像與形狀，並將該存取點運算轉換至真實世界的立體座標，然後將越線次數資料510與存取位置資料530記錄寫入資料庫子系統500中，當該外部物件端點離開置貨架區域時，越線取物分析模組430會即時再截取外部物件之影像與形狀，再將該物件進入或離開貨架區域時之影像傳輸至物件相似度比對模組450。

承上，物件相似度比對模組450透過多種影像特徵作為條件計算外部物件進入或離開置貨架區域時的影像差異，所述影像差異包含物件深度影像面積差異比例、物件彩色影像分佈直方圖差異與BOV(Bag-of-Visual-Words)方式抽取之區域性特徵點分佈直方圖差異等等，而透過不同權重值進行各特徵差異值加總計算平均差異值，並由越線取物分析模組430根據平均差異值判斷外部物件(多數時候即為使用者)是否有取物行為，若有，則更新資料庫子系統500中之取物次數資料520，此種相似度比對方式可有效避免因商品顏色與膚色差異小、商品形狀或尺寸不同所造成的取物偵測準確度下降，而當取物行為確實發生時，若消費者取出外部貨品之影像尚處於感測區域內時，系統將會持續追蹤該外部貨品，若發現消費者將拿取之外部貨品放回置貨架時，越線取物分析模組430亦紀錄此筆返還行為，並將取物及返還間的商品受關注時間資料550存入資料庫子系統500。

而數據分析模組540會定時計算資料庫子系統500中之數據資料量，當資料量達一定程度時數據分析模組540會以統計方式主動分析越線次數資料510、取物次數資料520、取物位置資料530與關注時間資料550等資訊，將這些資料用於計算貨架熱門存取區域，或是透過分群演算法自動估算貨架欄位數與階層數，數據分析模組540並將貨架區間資料540儲存到資料庫子系統500中

另外，更可以各流程步驟方式說明本發明之運作機制，即本發明之方法步驟流程圖可如圖3所示，詳細說明如下：另可一齊參閱圖1本發明系統架構圖，步驟S301 係為前後景分離偵測，係於商品置貨架100上方架設一深度感測器200以俯視角度向下拍攝，完成後藉由影像取像模組310取得場景俯視感測影像，再透過前後景分離模組320建立如圖4所示之背景深度影像。

再來則為步驟S302確認是否完成場景部署偵測，其係將背景深度影像輸入場景分析模組410，若無，進入步驟S303進行場景部署分析，則利用邊緣偵測演算法計算出貨架與走道之區隔線，並藉由深度影像之深度值判斷各區塊分別為置貨架或走道，再由置貨架取物端前緣向走道延伸一段距離作為感測區域，並於感測區域中點繪製出如圖5示意圖中的感測線。

而完成步驟S302貨架部署場景分析後，進行步驟S304前景物件偵測追蹤，此步驟係由物件偵測模組330於感測區域內對深度影像前景進行物件偵測，並將偵測到之外部物件交由物件追蹤模組420進行追蹤並付予識別碼，如圖6所示。

接著是步驟S305物件越線或取物判斷，越線取物分析模組430持續對追蹤中的物件進行感測線碰觸偵測，當物件邊緣端點碰觸感測線進入貨架區域時，越線取物分析模組430進行存取次數與真實世界立體坐標記錄並截取和保存外部物件穿越感測線進入置貨架部署區域時之彩色與深度影像。當外部物件邊緣端點離開置貨架區域與感測線時，越線取物分析模組430再次截取外部物件之彩色與深度影像(此時若有取物外部物件與外部貨品之影像應結合為一體，若無，外部物件之影像雖可能稍有手勢之變化亦應使差異在一範圍內)，並將該影像與外部物件進入貨架區時之彩色與深度 影像輸入至物件相似度比對模組450以進行相似度計算，在於判斷消費者是否取物或是提取何種貨品，如圖7所示，物件相似度比對模組450對輸入之彩色影像建立色彩分佈直方圖、抽區域性特徵點及採用BOV(Bag-of-Visual-Words)方式建立特徵點分佈直方圖並計算外部物件進入或離開貨架區域之深度影像大小與形狀相似度，色彩分佈與區域性特徵點分佈採用巴氏(Bhattacharyya)距離計算直方圖差異值，深度影像大小差異值則利用將外部物件影像二值化後計算面積差異比例，形狀差異值則計算進入或離開之深度影像重疊區域比例以求得，物件相似度比對模組450再依據權重將前述各特徵求得之差異值進行加總，算出平均差異值。

若有越線取物行為，則進入步驟S306紀錄存取行為與位置，越線取物分析模組430根據物件相似度比對模組450輸出之平均差異值判斷使用者是否有取物行為，若平均差異值確高於一先前設定的臨界值則判斷為消費者有取物行為並將其資訊寫入資料庫子系統500，若取物後，消費者持續處於感測區中，則系統將持續以識別碼追蹤該消費者，若偵測到消費者將所取之物品返還置貨架，則亦記錄該返還行為並記錄商品的關注時間資料550(自取物到返還之時間)。

若無越線或取物行為，則回到步驟S301前後景分離偵測，其係為數據分析模組440截取資料庫子系統500內之數據資料並判斷其數量是否高於一臨界值，若高於臨界值(資料數量已足夠)則將越線次數資料510、取物次數資料520、取物位置資料530與關注時間資料550等資訊提取，再利用前述各項資料採取階層式分群法以計算置貨架應具有之欄位數與階層數，並應用前述各項資料以統計各欄位和階層 之存取次數計算置貨架存取熱門區域之分佈，即如圖8所示。

而隨著長時間的感測與分析，數據資料亦隨著增加，故接著為步驟S307判斷數據是否足夠，若足夠，即進入步驟S308置貨架熱區分析及更新，此步驟為數據分析模組440將可持續依據累積資料之變動再次進行分析以更新置貨架熱區資訊，或提供量化數據資料有效地給與案場之商家進行置貨架存取次數與商品熱銷程度關連等分析，接著，系統可選擇性地再次自步驟S301開始再次執行流程，而若數據不足，系統會回到步驟S301前後景分離偵測以重複流程。

綜上所述，可知本發明確為一種應用於多種案場，可自動取得貨物被存取次數以及置貨架之熱門區塊的銷售及物流輔助系統及其應用方法，本發明在技術思想上實屬創新，也具備先前技術不及的多種功效，已充分符合新穎性及進步性之法定發明專利要件，爰依法提出專利申請，懇請貴局核准本件發明專利申請案以勵發明，至感德便。

100‧‧‧商品置貨架

200‧‧‧深度感測器

300‧‧‧偵測子系統

310‧‧‧影像取像模組

320‧‧‧前後景分離模組

330‧‧‧物件偵測模組

400‧‧‧分析子系統

410‧‧‧場景分析模組

420‧‧‧物件追蹤模組

430‧‧‧越線取物分析模組

440‧‧‧數據分析模組

450‧‧‧物件相似度比對模組

500‧‧‧資料庫子系統

510‧‧‧越線次數資料

520‧‧‧取物次數資料

530‧‧‧取物位置資料

540‧‧‧貨架區間資料

550‧‧‧關注時間資料

Claims (7)

1. 一種貨架取物偵測系統，其包含：一深度感測裝置，該深度感測裝置係設置於外部置貨架的相對上方且以包含部分外部置貨架與外部置貨架外側部分環境之範圍為感測範圍的感測裝置；一偵測子系統，該偵測子系統係與該深度感測裝置連結並接收來自該深度感測裝置所偵測感測範圍內的感測影像，該偵測子系統將感測影像依據深度分離出前景與背景，並利用於判斷是否有外部物件進入或離開感測範圍以及外部物件在感測範圍內的影像變化；一分析子系統，係用以圖量化深度以透過邊緣偵測演算法以在感測範圍內劃分出複數虛擬邊界，該分析子系統係追蹤且紀錄外部物件在感測範圍內的各該虛擬邊界之進出位置、進出深度、進出次數以及進出前後之影像變化以判斷外部置貨架上之貨物進出之相關資訊；以及一資料庫子系統，係用以儲存該分析子系統所追蹤前述的外部物件在感測範圍內的各該虛擬邊界進出之位置、深度、次數以及進出前後之影像變化所產生之相關資訊。
2. 如申請專利範圍第1項所述之貨架取物偵測系統，其中該偵測子系統更包含：一影像取像模組，用以接收來自該深度感測裝置所偵測感測範圍內包含色彩或深度的感測影像；一前後景分離模組，用以將該影像取像模組接收之感測影像依據深度以分離出前景以及背景；以及一物件偵測模組，在感測範圍內追蹤並判斷是否有一或複 數外部物件進入或離開感測範圍之前景。
3. 如申請專利範圍第1項所述之貨架取物偵測系統，其中該分析子系統更包含：一場景分析模組，用以根據該深度感測裝置所偵測感測範圍內的感測影像以分析外部置貨架之部署，並根據外部置貨架之部署和邊緣偵測演算法在感測範圍內劃分出複數虛擬邊界；一物件追蹤模組，用以追蹤外部物件在感測範圍內之移動並賦予外部物件各自之識別碼；一越線取物分析模組，根據該場景分析模組規劃之各該虛擬邊界為基準之進出行程以判斷外部置貨架上之貨品是否被存取及被存取之次數；一數據分析模組，依據該越線取物分析模組得出貨品是否被存取及被存取之次數等資訊以解析出外部置貨架被存取的區間以及被存取頻繁的熱區；以及一物件相似度比對模組，依該越線取物分析模組所解析之各貨品顯示影像變化之間的相似度為基準以比對判斷貨品種類。
4. 如申請專利範圍第1項所述之貨架取物偵測系統，其中該資料庫子系統係用以儲存該分析子系統所追蹤的外部貨品在感測範圍內的各該虛擬邊界進出之取物次數、歸物次數、取物區間、歸物區間，或是外部物件進入各該虛擬邊界之次數、外部物件離開各該虛擬邊界之次數、外部物件停留在感測範圍內的關注時間等。
5. 一種貨架取物偵測方法，其包含下列步驟：貨架部署場景偵測步驟，此步驟係設置一深度感測裝置使 其得以自上方俯視偵測包含外部置貨架供消費者拿取物品側以及外部置貨架外側部分環境之感測範圍以取得感測影像，並以一偵測子系統對取得之感測影像根據深度值進行邊緣偵測以區分前景與背景，再以一分析子系統將感測影像中外部置貨架之部署位置劃分複數虛擬邊界以定義越線感測區域；置貨架存取分析步驟，該分析子系統利用感測影像中依據深度取得的前景以對進入前景之外部物件進行追蹤，該分析子系統於外部物件穿越各該虛擬邊界進入外部置貨架部署位置時將記錄該外部物件穿越位置的深度與色彩影像，並將穿越位置轉換為座標位置，該分析子系統於外部物件離開外部置貨架部署位置與各該虛擬邊界時將再紀錄穿越位置的深度與色彩影像，並與外部物件進入時記錄之影像的深度與色彩進行相似度比對，以判斷外部貨品被存取與否；以及置貨架熱區分析步驟，一資料庫子系統將儲存前述該分析子系統所紀錄之外部物件、穿越位置的深度與色彩影像、座標位置、外部貨品存取與否等資料，該分析子系統在資料累積後將依據轉換為座標位置的穿越位置之深度值進行分群以計算出外部置貨架被存取頻繁的熱門區域。
6. 如申請專利範圍第5項所述之貨架取物偵測方法，其中，置貨架存取分析步驟中更包含以下步驟：該分析子系統在比對外部貨品時，為避免肇因於外部貨品色彩與膚色接近或外部貨品形狀、角度、尺寸之差異的偵測準確度誤差，係透過一物件相似度比對模組對外部物件之深度或色彩影像進行特徵抽取，其對可量化之特徵直接 進行差異比對；該物件相似度比對模組對難以量化之特徵係採統計或BOV(Bag of Visterm)方法以建立特徵直方圖並利用巴氏距離計算特徵直方圖的量化差異值；該物件相似度比對模組將特徵之差異值依據特徵權重加權計算出平均差異值；若差異超過一臨界值，該物件相似度比對模組判斷取物動作為真；若差異低於該臨界值，該物件相似度比對模組僅記錄該次動作並未取物；該分析子系統持續追蹤被取物之外部貨品在感測範圍內之動向；以及若該分析子系統追蹤被取物之外部貨品被放回外部置貨架，則記錄該種外部貨品被關注時間，被關注時間可回饋在置貨架熱區分析步驟中作為權重使用。
7. 如申請專利範圍第5項所述之貨架取物偵測方法，其中，置貨架熱區分析步驟中更包含以下步驟：該分析子系統在資料累積後將依據轉換為座標位置的穿越位置之深度值進行階層式分群，找出群聚密度高的深度並記錄群聚數以藉此估算外部置貨架之縱向階層數；該分析子系統亦會依據存取的座標位置橫軸值進行階層式分群，找出群聚密度高的深度並記錄群聚數以藉此估算外部置貨架之橫向欄位數；以及該分析子系統將依據外部置貨架的縱向階層數與橫向欄位數以及各欄位及階層之外部貨物存取數量以計算外部置貨架被存取頻繁的熱門區域。