TWI773863B - 自助結帳系統、方法與裝置 - Google Patents

Abstract

一種自助結帳系統、方法與裝置，包括商品辨識以及判斷顧客異常行為的功能。自助結帳系統包括商品辨識裝置以及顧客異常行為偵測裝置。商品辨識裝置用以對商品進行辨識，其中包括用以偵測商品在平台上的擺放方式是否正確，並且確認是否可以完成辨識。顧客異常行為偵測裝置用以針對顧客是否有異常結帳行為進行偵測。

Description

自助結帳系統、方法與裝置

本揭露內容提出一種自助結帳系統、方法與裝置。

目前自助結帳系統主要有兩種，分別是人工刷條碼自助結帳系統以及電腦視覺自助結帳系統。人工刷條碼自助結帳系統透過判斷商品重量是否異常，錄影事後分析，以及派人定期巡視降低顧客偷竊的發生率。電腦視覺自助結帳系統僅能辨識檯面上的商品，無法偵測顧客是否將商品放到平台上如實結帳，當商品辨識狀況不佳時，僅能透過店員手動排除。

本揭露提供一種自助結帳系統、方法與裝置。

在本揭露的多個實施範例其中之一的自助結帳系統，包括一平台、一商品辨識裝置以及一顧客異常行為偵測裝置。此平台配置用以放置至少一個商品。此商品辨識裝置經配置用以對放置在平台上的至少一個商品進行商品辨識。此顧客異常行為偵測裝置配置用以根據在平台前取得的顧客影像進行異常結帳行為偵 測，以取得一異常行為偵測結果，其中，當異常行為偵測結果確認為一異常行為時，發出一異常行為通知，據以調整此異常行為。

在本揭露的多個實施範例其中之一的自助結帳方法，包括對放置在一平台上的至少一個商品進行商品辨識。取得顧客一影像。根據此顧客影像進行異常結帳行為偵測，並根據此顧客影像取得一異常行為偵測結果。當判斷異常行為偵測結果為一異常行為時，發出一異常行為通知，據以調整此異常行為。

在本揭露的多個實施範例其中之一的自助結帳裝置，包括一平台，一影像擷取裝置、以及一處理器。此平台配置用以放置至少一個商品。此影像擷取裝置用以取得一平台影像與一顧客影像。此處理器配置用以對放置在平台上的商品進行商品辨識流程及/或異常結帳行為偵測流程。此商品辨識流程包括根據該影像取得一辨識結果，其中當無法取得辨識結果時，發出一提示通知，以調整此商品在平台的放置方式。此異常結帳行為偵測流程根據在顧客影像進行異常結帳行為偵測，以取得一異常行為偵測結果。當異常行為偵測結果確認為一異常行為時，發出一異常行為通知，據以調整此異常行為。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100:自助結帳系統

110:顧客異常行為偵測裝置

112:處理器

114:儲存裝置

116:影像擷取裝置

120:商品辨識裝置

122:處理器

124:儲存裝置

126:影像擷取裝置

128:顯示裝置

130:平台

132:結帳區

S01~S08:電腦視覺協同自助結帳服務流程

210:顧客異常行為偵測裝置

212、214:影像擷取裝置

216:處理器

220:商品辨識裝置

222:影像擷取裝置

224:投影設備

230:平台

232:結帳區

240:顯示裝置

242:顯示內容

250:伺服器主機

S310~S360:顧客異常行為偵測裝置的操作流程

S332~S336:顧客姿態辨識流程

410:顧客影像

411:姿態辨識結果

412:肩膀、手肘和手腕關鍵點線條

414:候選區域

416:YOLO演算法

431~435:商品與手掌可能出現的區域及關鍵點線條

610、620:取得的影像

630~660:商品特徵

S710~S730:商品的分類流程

722、724:方形飲料包裝上方與底部影像

726:瓶裝飲料蓋面

732:飲料瓶影像

734:飲料瓶與其他商品影像

740:平台

742:第一顏色區域

744:第二顏色區域

圖1A繪示本揭露多個實施例之一的自助結帳系統的架構示意圖。

圖1B是說明在一個電腦視覺協同自助結帳服務流程架構示意圖。

圖2是繪示本揭露多個實施例之一的自助結帳系統的架構示意圖。

圖3A為說明本揭露實施範例的顧客異常行為偵測流程示意圖。

圖3B~3D分別為說明本揭露實施範例中，根據顧客影像進行顧客姿態辨識流程示意圖。

圖4A以及圖4B為說明本揭露實施範例的行為/姿勢辨識流程與手持物品辨識流程示意圖。

圖5為說明本揭露內容實施例所提出電腦視覺商品辨識流程示意圖。

圖6A與6B為分別說明本揭露內容實施例所提出的商品物件切割流程示意圖。

圖6C為說明本揭露內容實施例所提出的商品特徵辨識示意圖。

圖7A為說明本揭露內容實施例所提出的商品的分類流程示意圖。

圖7B為說明本揭露內容實施例所建立分類結果信心值表的示意圖。

圖7C為說明本揭露內容實施例所提出的商品面向判斷流程判斷商品的面向的示意圖。

圖7D為說明本揭露內容實施例所提出的商品相連檢測的示意圖。

圖7E為說明本揭露內容實施例所提出的提示顧客調整商品擺設方式的示意圖。

本揭露的多個實施範例其中之一的自助結帳系統，包括商品辨識裝置以及顧客異常行為偵測裝置。商品辨識裝置用以對商品進行辨識，其中包括用以偵測商品在平台上的擺放方式是否正確，並且確認是否可以完成辨識。偵測商品種類可以利用重量及/或深度偵測輔助辨別商品。顧客異常行為偵測裝置用以針對顧客是否有異常結帳行為進行偵測。基於上述，本揭露還可辨識異常結帳行為，進行骨架、行為模式辨識與持有商品偵測，可排除如皮包、手機等個人物品後，判斷顧客是否手上仍持有商品。除此之外，在另一選擇實施例中，此自助結帳系統及其方法可自動辨識顧客購買商品之品項與數量，尤其是辨識商品擺放方式是否能在攝影機視角內顯示足夠的商品特徵，並提示顧客將商品翻面或分離後以完成商品的辨識。

底下將以不同實施範例說明本揭露內容所提出的自助結帳系統及其方法，但不以此為限制。

請參照圖1A，主要是繪示本揭露多個實施例之一的自助結帳系統的架構示意圖。在此實施例中，自助結帳系統100包括顧客異常行為偵測裝置110、商品辨識裝置120以及平台130。在平台130上包括一個明顯可見的結帳區132，用以讓顧客可以放置商品。

顧客異常行為偵測裝置110以及商品辨識裝置120可互相連接或是以分離的方式獨立運作，在一實施例中，顧客異常行為偵測裝置110以及商品辨識裝置120中的各元件可共用。在本揭露的一實施例中，顧客異常行為偵測裝置110可以優先於商品辨識裝置120進行運作，此方式可在顧客將所有物品放置到結帳的平台130上之後，在進行結帳計算之前可以確認顧客是否手上仍持有商品。除此之外，顧客異常行為偵測裝置110以及商品辨識裝置120也可視需求同時運作。

在一個實施範例中，上述的顧客異常行為偵測裝置110可以包括處理器112、儲存裝置114、以及影像擷取裝置116。上述的處理器(Processor)112可以是通用架構的電腦中央處理器(CPU)，可以通過讀取並執行存儲在儲存裝置的程式或是指令，而提供各種功能。此處理器112的功能的一部分或全部也可由專用積體電路(Application Specific Integrated Circuit，ASIC)等專用電路代替。上述的儲存裝置114可以是非揮發性記憶體(Nonvolatile Memory)，例如硬碟、固態硬碟或是快閃記憶體等等，可用以儲存取得的影像。儲存裝置114也可以用來儲存用以提供 給顧客異常行為偵測裝置110進行顧客異常行為偵測運作所需要的程式軟體或是指令集等等。上述的影像擷取裝置116，例如照相機或是攝影機，用以拍照以取得顧客結帳時的影像。

顧客異常行為偵測運作所需要的程式軟體例如包括即時骨架定位程式、行為辨識程式、手持品辨識程式等等。在一個選擇實施例中，上述儲存裝置也可儲存多個資料庫，而這些資料庫用以儲存多個結帳行為資料以及深度學習資料。在另外一個選擇實施例中，上述的多個或是部分資料庫，可儲存在遠端的主機伺服器或是雲端資料庫中，而顧客異常行為偵測裝置110可包括網路存取裝置，可根據需要線上存取或是從遠端的主機伺服器或是雲端資料庫中下載來使用。

在一個實施範例中，上述的商品辨識裝置120可以包括處理器122、儲存裝置124、影像擷取裝置126、及/或顯示裝置128。上述的處理器(Processor)122可以是通用架構的電腦中央處理器(CPU)，可以通過讀取並執行存儲在儲存裝置的程式或是指令，而提供各種功能。而此處理器122的功能的一部分或全部也可由專用積體電路(ASIC)等專用電路代替。儲存裝置124可以包括非揮發性記憶體，例如是硬碟、固態硬碟、快閃記憶體等等。上述儲存裝置124用以儲存商品辨識裝置120運作所需程式，包含例如商品物件切割程式、商品特徵辨識程式、商品放置判斷程式、商品面向判斷程式、以及商品相連檢測程式部分或全部等等。影像擷取裝置126例如照相機或是攝影機，用以對結帳區進行拍照 以產生平台130上的結帳區132內的影像。

在一個選擇實施例中，上述儲存裝置124也可儲存多個資料庫，而這些資料庫用以儲存多個結帳行為資料以及深度學習資料。在另外一個選擇實施例中，上述的多個或是部分資料庫，可儲存在遠端的主機伺服器或是雲端資料庫中，而商品辨識裝置120可包括網路存取裝置，可根據需要線上存取或是從遠端的主機伺服器或是雲端資料庫中下載來使用。上述儲存裝置用以也可包括一個資料庫，用以儲存多個商品資料以及深度學習資料。

除此之外，商品辨識裝置120也可配置顯示裝置128如螢幕或投影機等等，用以顯示顧客介面或是顯示提示訊息等等。此顯示裝置128可以為觸控式螢幕，用以提供顧客介面以利與顧客互動，在另一實施例中，顯示裝置128也可以是獨立商品辨識裝置120之外的不同裝置，或是其他裝置的顯示器等等，並非受此實施例所限制。商品辨識裝置120也可配置聲音播放裝置如揚聲器等等，用以發出音樂、提示聲音或其他的說明等聲音。上述兩者可同時使用或擇一使用。

本揭露所提出的自助結帳系統，在一實際應用實施範例，可參照圖1B所示。圖1B是說明在一個電腦視覺協同自助結帳服務流程。在此電腦視覺協同自助結帳服務流程中，根據底下的流程搭配自助結帳系統100及/或其他的周邊設備完成整個自助結帳流程。

請參照圖1B，在步驟S01的待機時，自助結帳系統100 的顯示裝置進行待機狀態，例如顯示使用步驟的說明。顧客接近時，如步驟S02，自助結帳系統100被喚醒。接著步驟S03，顧客將多個商品放置於平台上，自助結帳系統100利用商品辨識裝置120的影像擷取裝置126辨識商品，在一實施例中，也可利用重量及/或深度偵測輔助辨別商品。接著步驟S04，在顯示裝置上顯示對應的資訊(可同時顯現多個商品資訊)。而後，步驟S05，顯示支付金額，然後如步驟S07，讓顧客進行付款。並且如步驟S08取得收據。

上述的電腦視覺協同自助結帳服務流程中，使用的電腦視覺商品辨識技術，可以是透過電腦視覺、深度學習技術偵測檯面商品的影像特徵，基於商品之形狀、顏色、文字、商標、條碼等特徵共同決策，即時辨識顧客購買品項、數量，結合行動支付實現自助結帳。如果影像擷取裝置126的視角內的商品未顯示出足夠的商品特徵，例如商品未平放、商品互相堆疊屏蔽，商品辨識裝置120可自動偵測並且透過螢幕或投影機投射「請將商品翻面、分離」的提示。顧客將商品翻面、分離後即可完成此商品的辨識。此提示可以採用顏色、文字等等任何可以引起注意的提示內容提醒顧客。

而在上述的電腦視覺協同自助結帳服務流程中，使用的電腦視覺商品辨識技術特性，可以跟顧客進行互動，以使結帳順利完成。在顧客擺放商品後，在一實施範例中可以透過攝影機辨識顧客的手勢以開始偵測商品，或是透過如紅外線、超音波、微 波感測器判斷顧客是否靠近結帳台。辨識商品時，可將各商品編號投影於商品上，並於顯示裝置128中顯示商品編號及名稱，使顧客得知辨識出的商品。若商品未正確擺放，提示顧客正確擺放商品，並辨識顧客的手勢以再開始偵測商品。若自助結帳系統100偵測顧客手中仍有商品未擺放，提醒顧客擺放商品。

而在上述的電腦視覺協同自助結帳服務流程中，使用的異常結帳行為判斷技術，包括異常行為判斷與提醒、顧客手中所持物品未全部置入結帳區、商品重量與辨識結果不符及/或顧客操作失誤主動判斷並提示店員主動協助等等。而運用到異常結帳行為判斷的技術，可以包括即時骨架定位技術模組、行為/姿態辨識技術模組、手持物品辨識技術模組等等，底下將詳細說明。

請參照圖2，是繪示本揭露多個實施例之一的自助結帳系統的架構示意圖。在此實施例中，自助結帳系統100包括顧客異常行為偵測裝置210、商品辨識裝置220以及平台230。在平台230上包括一個明顯可見的結帳區232，用以讓顧客可以放置商品。顧客異常行為偵測裝置210與商品辨識裝置220的位置只是示意圖，可以在自助結帳系統100的任何位置。

而在一個實際運用例子中，因為要取得顧客的影像，顧客異常行為偵測裝置210可包括位於兩側的影像擷取裝置212與214，而這兩個影像擷取裝置212與214的位置可以根據需要而調整，並非受限於圖示中的位置。影像擷取裝置212與214用以擷取在在平台230前取得的一顧客影像。顧客異常行為偵測裝置210 經配置用以根據此顧客影像進行異常結帳行為偵測，以取得一異常行為偵測結果。當判斷此異常行為偵測結果為一異常行為時，發出一異常行為通知，據以調整異常行為。

商品辨識裝置220則是在一實施範例中可以包括影像擷取裝置222以及投影設備224。此投影設備224可以例如將各商品編號投影於商品上，並於顯示裝置中顯示商品編號及名稱，使顧客得知辨識出的商品。另外，若商品未正確擺放，也可藉由投射而提示顧客正確擺放商品，並辨識顧客的手勢以再開始偵測商品。上述的影像擷取裝置212與214、影像擷取裝置222、或是投影設備224的位置都可以根據需要調整，而且也可以共享共用，因此例如顧客異常行為偵測裝置210或是商品辨識裝置220都可以共同驅動使用這些設備，以達到操作上必須進行的運作。

在一個實施例中，自助結帳系統100可以包括顯示裝置240，可以經由顯示內容242與顧客互動，也可經由顯示裝置240的觸控面板等裝置與顧客進行交流。在一個實施例中，自助結帳系統100可以透過網路存取裝置與外部的伺服器主機250進行通聯。在上述實施例中，顧客異常行為偵測裝置210或是商品辨識裝置220的多個或是部分資料庫可儲存在遠端的伺服器主機250或是雲端資料庫(未顯示)中。

在另外一個實施範例中，如圖2所示，自助結帳系統100可以包括至少一處理器216、多個影像擷取裝置212、214、222、一投影設備224、儲存裝置(未顯示)以及顯示裝置240。而此處理 器216用以執行顧客異常行為偵測模組以及商品辨識模組。此顧客異常行為偵測模組以及商品辨識模組為儲存於儲存裝置內的程式集或軟體。

在一個實施範例中，上述的顧客異常行為偵測模組的功能包括異常行為判斷與提醒、顧客手中所持物品未全部置入結帳區、商品重量與辨識結果不符及/或顧客操作失誤主動判斷並提示店員主動協助等等，也就是上述幾個功能模組可根據不同的需求調整不同的組合。而運用到異常結帳行為判斷的技術，可以包括即時骨架定位技術模組、行為/姿態辨識技術模組及/或手持物品辨識技術模組等等其中部分或是全部。

在一個實施範例中，上述的商品辨識模組功能包括透過電腦視覺、深度學習技術偵測檯面商品的影像特徵，基於商品之形狀、顏色、文字、商標、條碼等特徵共同決策，即時辨識顧客購買品項、數量，結合行動支付實現自助結帳。如果攝影機視角內的商品未顯示除足夠的商品特徵，例如商品未平放、商品互相堆疊屏蔽，辨識系統可自動偵測並且透過投影機投射「請將商品翻面、分離」的提示。顧客將商品翻面、分離後即可完成此商品的辨識。此提示可以採用顏色、文字等等任何可以引起注意的提示內容提醒顧客。

底下將對本揭露所提出的自助結帳系統中，顧客異常行為偵測裝置210的操作流程進行說明。請參照圖3A，為說明本揭露實施範例的顧客異常行為偵測流程示意圖。在商品辨識完成或 是正在進行商品辨識的步驟S310之後，進行步驟S320，取得結帳區域的顧客影像。接著步驟S330，根據取得的顧客影像進行顧客姿態辨識流程並取得一姿態辨識結果。而後根據此姿態辨識結果判斷此顧客是否有異常結帳行為，如步驟S340。若是步驟S340判斷此顧客有異常結帳行為時，則進行步驟S350，發出異常結帳行為通知。若是步驟S340判斷此顧客沒有異常結帳行為時，則進行步驟S360，可以進行結帳。

請參照圖3B與圖3C，分別為說明本揭露實施範例的顧客異常行為偵測裝置210的操作流程中的步驟S330，根據顧客影像進行顧客姿態辨識流程的範例示意圖。上述根據顧客影像進行顧客姿態辨識流程，可採用如圖3B所示的流程，包括進行行為/姿態辨識流程S334以及手持物品辨識流程S336以取得上述的姿態辨識結果。在另一實施例中，如圖3C所示，可以包括先進行即時骨架定位流程S332，而後再進行行為/姿態辨識流程S334以及手持物品辨識流程S336，以取得上述的姿態辨識結果。

上述的即時骨架定位流程S332，請參照圖3D，在一個實施例中，包括執行一即時骨架定位模組(Realtime Human 2D Pose Estimation)。即時骨架定位流程S332包括將取得的顧客影像361作為2分支(Branch)卷積神經網絡(Convolutional Neural Network，CNN)的輸入。如圖3D，將顧客影像361輸入第一分支與第二分支。經過兩階段的運算之後，以聯合預測身體部分偵測(Body Part Detection)和部分親和區域(Part Affinity Field)的可信度映射表 (Confidence Map)，其用於取得部分關聯。部分親和區域(Part Affinity Field)是一組2D向量區域，用於對圖像域上胺體的位置和方向進行編碼。透過Body Part以及Part Affinity Field的圖像標記訓練出兩分支的模型。在2分支多階段CNN架構中，第一個分支中的階段t預測信度映射表St，第二個分支中的階段t預測PAFs Lt。在每個階段之後，來自兩個分支的預測以及圖像特徵則在下一階段連接在一起，再進行下一階段的預測。根據上述流程取得即時骨架定位資訊。

而上述的行為/姿態辨識流程與手持物品辨識流程，請參照圖4A以及圖4B，並對照圖3B或3C說明。請參照圖4A，在此實施例中執行一行為/姿態辨識(Human Pose Identification)模組，圖4B例示五種常見的結賬姿勢。首先，根據取得的顧客影像410，在檢測到身體的關鍵點後(如步驟S332)，以肩膀、手肘和手腕的關鍵點為模式以識別監測之人的行為(如步驟S334)，如圖4A中的肩膀、手肘和手腕關鍵點線條412。而人體姿勢識別後，提取圖像中的候選區域414以檢測手持物體。並且根據這樣的架構，在此範圍內，使用例如步驟416的YOLO演算法作為物體檢測器定位物體並識別物體類型的方法，以進行手掌/手持商品偵測以及辨識(如步驟S336)。YOLO指的是“You Only Look Once”，可用於辨識物體，在一實施例中，使用YOLO模型對圖片作一次CNN便能夠判斷裡面的物體類別跟位置，可大幅提升辨識速度。在此實施範例中，透過YOLO演算法作為定位物體並識別物體類型的方 法，取得五種常見的結賬行為的信心指數以及邊界框的資訊，而得到了行為/姿態辨識結果411。在YOLO演算法中，將顧客影像410分割為多個邊界框(bounding-box)，而每個邊界框在顧客影像410的位置分別由兩個座標點(x1,y1)與(x2,y2)所界定，並且針對每一個邊界框來計算是哪一種物體的機率。每個邊界框都有五個預測參數，包括x,y,w,h，信心指數(Confidence)。(x,y)表示box中心的位移，而w,h為邊界框長寬，可用座標點(x1,y1)與(x2,y2)所界定。而信心指數(Confidence)含有對預測物體的信心程度以及此邊界框中的物體的精準度。此步驟的可檢測人們在使用自動結賬系統時是否仍然持有商品。所識別的五種物體類型包括例如辨識結果R1的手機、R2的錢包、R3的手提包、R4的瓶子或是R5的罐裝飲料，以便識別手持物品是否為商品。

在此實施例中，檢測身體的關鍵點而取得人體姿態類別可以參照如圖4B所示，以識別監測之人的結賬行為並進行手持商品偵測以及辨識。以顧客的影像420或是422為例，手持物體的邊界框可以經由上述的行為/姿態辨識模組加以標註。骨架定位、行為/姿態辨識後，界定一範圍(例如手部、手臂與身體交界處)為商品及/或手掌可能出現的區域，而根據肩膀、手肘和手腕關鍵點線條412以及圖像中的候選區域414(虛線所標示區域)可以判斷不同的姿態類別的手持商品偵測。例如431到435可以分辨出人體姿態的類別，如姿態431的肩膀、手肘和手腕關鍵點線條412可以判斷為一手持有物品的姿態，而在圖像中的候選區域414(虛線 所標示區域)可以判斷是否持有物品，因此，姿態431就可以歸類為「一手持有物品」之人體姿態類別。另外，姿態432則可歸類為「兩手持有物品」之人體姿態類別。姿態433的肩膀、手肘和手腕關鍵點線條412可以判斷為一手持有物品而且夾另一物品在肩膀下的姿態，因此可歸類為「一手持有物品且夾另一物品在一手的肩膀下」之人體姿態類別。姿態434的肩膀、手肘和手腕關鍵點線條412可以判斷兩隻手都往下垂，因此可以歸類為「兩手放下」之人體姿態類別。或是姿態435的「其他姿勢」等等五種不同的姿態類別。識別監測之人的姿態類別後，可進行手持商品的偵測以及辨識。

在本揭露的一實施例中，透過手掌追蹤與持有商品偵測，排除如皮包、手機等個人物品，以便識別手持物品是否為商品。詳細來說，在身體骨架偵測後，取得身體骨架線條，辨識該身體骨架線條之中肩膀、手肘和手腕的多個節點，也就是手部、手臂與身體交界處，然後將身體骨架線條跟預設模型比對，取得手持物姿勢類別，例如，請參考圖4B的顧客的影像420中，影像420中的人物依照其身體骨架線條以及線條節點，跟一手持有並夾另一物品在一手的肩膀下的預設模型最為類似，因此判斷顧客可能一手持有商品並夾另一物品在一手的肩膀下，再進行手持物品候選區域劃定步驟，可使用行為與姿態辨識技術進行辨識，例如判斷身體骨架線條的末端節點(代表手的位置)，進而劃定右手候選區域的範圍包括身體骨架線條的末端節點以及肩膀和手肘等會夾 物的節點，左手區域的範圍包括身體骨架線條的末端節點以及手腕節點。劃定手持物品候選區域後，可在辨識是否有物品在手持物品候選區域中，在一實施例中，若判斷有物品在手持物品候選區域中，可辨識在手持物品候選區域中的物品是否為商品。

請參照圖5，是說明本揭露內容實施例所提出電腦視覺商品辨識流程示意圖。在此電腦視覺商品辨識流程至少包括商品影像特徵辨識流程以及商品影像特徵分析。而本實施例的商品辨識裝置220，可以儲存不同的應用程式或是可以透過網路存取裝置與外部的伺服器主機250或是雲端資料庫(未顯示)進行通聯存取所需要的資料或是軟體程式。本實施例的商品辨識裝置220運作所需的程式，包含例如商品物件切割程式、商品特徵辨識程式、商品放置判斷程式、商品面向判斷程式、及/或商品相連檢測程式部分或全部等等。

在步驟S510中，商品辨識裝置開始運作，透過影像擷取裝置222取得平台230上的影像。在步驟S520中，進行商品影像特徵辨識流程。在一實施例中，處理器216將儲存於儲存裝置的商品物件切割程式載入至記憶體裝置，並執行商品物件切割程式以對商品影像進行切割，辨識、擷取商品影像特徵，例如形狀、顏色分布、文字、商標的位置或是內容。在一實施例中，平台230上置有複數個商品，因此擷取的影像中包含複數個商品的影像，影像特徵辨識流程可包括將複數個商品的影像進行切割；處理器216將儲存於儲存裝置的商品物件切割程式載入至記憶體裝置，並 執行商品物件切割程式以對取得的影像進行切割，找出各商品的影像。在一實施例中，商品物件切割流程例如從影像中以邊緣偵測方式切割出多個商品區域，以取得各商品影像。商品物件切割流程將於後述，並將配合圖6A與6B進行說明。取得商品影像之後，根據此商品影像辨識商品影像特徵，以進行後續比對分析。

辨識商品影像特徵之後，根據這些特徵進行商品影像特徵分析流程，如步驟S530所示。在步驟S530中，將取得的商品影像特徵，例如形狀、顏色分布、文字、商標、條碼的位置或是內容等，與一特徵資料庫進行分析，以進行商品影像辨識，例如參照已經建立的特徵資料庫來分析顧客購買的商品之品項與數量。

在步驟S540中，進行商品辨識結果確認。在一實施例中，判斷商品影像的商品與資料庫的商品是否一致，例如，判斷商品影像特徵與特徵資料庫的商品的影像特徵是否一致，若是一致，則判斷商品影像的商品為特徵資料庫的商品，並進行到步驟S560，完成商品的辨識。在一實施例中，若是判斷商品影像特徵與特徵資料庫的商品的影像特徵不一致，或是無法由商品影像特徵判斷是否為特徵資料庫中的商品，則進行到步驟S550，通知顧客調整平台上商品的位置，再回到步驟S510，擷取平台上調整後的商品影像。在一實施例中，在步驟S540中，若是辨識出的商品有複數個，而其中一個商品無法由商品影像特徵判斷是否為特徵資料庫中的商品，則會進行到步驟S550。

以下以實施例詳細說明步驟S520的商品影像特徵辨識流程，在一實施例中，先對影像進行處理，例如對取得的商品物件影像進行切割，再擷取出商品影像的特徵。請參照圖6A與6B，為分別說明本揭露內容實施例所提出的商品物件影像切割流程示意圖。圖6A中，商品物件切割程式根據取得的影像610，以邊緣偵測方式切割出商品區域，根據調整影像中明度特徵來增加背景與商品的對比，並且利用例如Sobel邊緣檢測(Sobel Edge Detection)方法找出商品邊界，再以運行長度(Run Length)演算法補強邊界與抑制雜訊，判斷邊界後，將商品區域分割出來。而參照圖6B，透過將取得影像620的商品區域加以標示，則可計算商品區域的座標，以取得存在商品影像的區域，進而根據商品影像的區域找出商品影像的特徵。接著根據這些特徵再進行步驟S530的商品影像特徵分析流程。

而在步驟S530中，可以將取得的商品影像特徵，參照已經建立的特徵資料庫來分析顧客購買的商品之品項與數量。圖6C說明本揭露實施例所提出的商品特徵辨識示意圖。在一實施例中，可以執行例如上述物件切割程式，取得商品影像特徵。而後處理器216將儲存於儲存裝置的商品特徵辨識程式載入至記憶體裝置，並執行商品特徵辨識程式，以使用深度學習或其他演算法於該些商品區域之中偵測多個特徵，並根據該些特徵，進行辨識取得多個商品辨識結果。在一實施例中，透過偵測商品區域的特徵，利用深度學習技術，執行商品旋轉和影像視角辨識，從中擷 取高解析度影像的整體(例如形狀和顏色分布)，與細部特徵(例如文字和商標)，以辨識顧客購買的商品。如圖6C所表示的不同商品630到660。

在本揭露的一實施例中，可在執行步驟S530的商品影像特徵分析流程中，進行商品分類。處理器216將儲存於儲存裝置的商品分類程式載入至記憶體裝置並執行商品的分類流程。請參照圖7A，為說明本揭露內容實施例所提出的商品的分類流程示意圖。此分類流程包括步驟S710的分類結果信心值的設定步驟、步驟S720的辨識商品面向的步驟、以及步驟S730的商品相連檢測步驟。

首先，在步驟S710中，先建立分類結果信心值，請參照圖7B，為說明本揭露內容實施例所建立分類結果信心值表的示意圖。商品分類程式根據商品影像特徵計算商品分類的分類結果信心值，例如根據商品影像特徵，計算出可能為商品1的最高的3個分類結果信心值為0.956、0.022、0.017，可能為商品2的最高的3個分類結果信心值為0.672、0.256、0.043，以建立如圖7B所示的分類結果信心值表，並以分類結果信心值判定是否具有可信度，例如判斷分類結果信心值(Confidence Value)是否大於閥值，若大於閥值，則具有可信度，以圖7B為例，若是閥值為0.7，則由於可能為商品1的最高的分類結果信心值為0.956，則判斷商品影像特徵為商品1。在一實施例中，當分類結果信心值具有可信度或可根據分類結果信心值判斷出商品時，則不需再進行步驟 S720。若分類結果信心值是小於閥值，則進行步驟S720。

步驟S720中，進行辨識商品面向，在本揭露的一實施例中，可在執行完商品特徵辨識程式後，處理器將儲存於儲存裝置的商品放置判斷程式載入至記憶體裝置並執行。商品放置判斷程式用以判斷放在平台的物件是否為商品、放在平台的商品的朝上的面是否為特徵較少的面或是商品是否以能被平台的影像擷取單元拍攝到清楚特徵的方式放置。

請參照圖7C，為說明本揭露內容實施例所提出的商品面向判斷流程判斷商品的面向的示意圖。請參照圖7A的步驟S720與圖7C，商品面向判斷程式可判斷放在平台的商品的面向，例如利用深度學習技術進行影像辨識，判別擷取的商品影像是否為特徵較少的面，例如利樂包正上方722、利樂包底部724或是寶特瓶瓶蓋面726等。若是判斷商品影像的朝上面的特徵數目不足或是太少時，即判斷為特徵較少面，難以辨識出是何商品。在一實施例中，當判斷為特徵較少面時，也就是特徵數目不足，可通知顧客調整商品擺放的面向，而不一定需要執行步驟S730。

請參照圖7D，為說明本揭露內容實施例所提出的商品相連檢測的示意圖。請同時參照圖7A及圖7D，以圖7D飲料瓶732為例，可在執行完商品面向判斷程式後，若判斷商品朝上面的特徵數目足以辨識，則可判斷商品是平躺在平台上。接著處理器將儲存於儲存裝置的商品相連檢測程式載入至記憶體裝置並執行，以進行步驟S730的商品相連檢測步驟。商品相連檢測程式用以透 過商品長寬比檢測是否數個商品相連或相疊的情形，例如，若是正常(或資料庫)的罐裝飲料的長寬比為2：1，當辨識出是平躺的罐裝飲料，並檢測出該罐裝飲料的長寬比為1：1時，則可判斷罐裝飲料與另一商品相連，在一實施例中，可發出提示訊息，告知顧客需調整商品位置。

請參照圖7E，為說明本揭露內容在一實施例中所提出的提示顧客調整商品擺設方式的示意圖。在此實施例中，可以透過投影機投射「請將商品放置於平台」的提示，也可用語音、螢幕文字等提示，要求顧客將商品放置於平台，再重新執行商品辨識程序。提示訊息可以採用聲音、圖形、顏色、文字、條碼等提示內容提醒顧客。

在另一實施範例中，提示顧客調整商品擺設方式的提示訊息，利用投影機對平台740投射不同顏色的標示，例如針對商品734投射有別於平台740其他區域的第一種顏色的光線而產生第一顏色區域742。也可同時對另外一個商品722與726投射由別於平台740其他區域以及第一種顏色的第二種顏色的光線而產生第二顏色區域744。如此將可讓顧客清楚的知道哪些商品擺設需要調整。除此實施例之外，提示顧客需調整商品擺放位置的訊息也可以透過例如投影機投射「請將商品翻面、分離」的提示，也可用語音、螢幕文字等提示，要求顧客將商品翻面或分離，之後再重新執行商品辨識程序。而提示訊息可以採用聲音、圖形、顏色、文字等提示內容提醒顧客。

綜上所述，本揭露內容提出一種透過電腦視覺與深度學習偵測商品區域特徵，辨識顧客購買商品之品項與數量。若攝影機視角內的商品未顯示足夠的商品特徵，可藉由聲音、圖形、顏色、文字等提示提醒顧客將商品翻面、分離。在異常結帳行為偵測上，透過即時骨架定位，以肩膀，手肘和手腕的節點為模式以識別監測之人的結賬行為，並進行手持物檢測，並藉由聲音、圖形、顏色、文字等提示提醒顧客將商品放置於平台後再重複進行商品辨識步驟。

本揭露內容提出一種自助結帳系統及其方法，包括商品辨識以及判斷顧客異常行為的功能。自助結帳系統包括商品辨識功能以及顧客異常行為偵測功能。商品辨識功能用以對商品進行辨識，其中包括用以偵測商品在平台上的擺放方式是否正確，並且確認是否可以完成辨識。顧客異常行為偵測功能用以針對顧客是否有異常結帳行為進行偵測。

本揭露內容提出的自助結帳系統及其方法，可以即時辨識顧客購買品項、數量，結合行動支付實現自助結帳，並可降低偷竊率。基於上述，此自助結帳系統與方法能辨識顧客購買商品之品項與數量，尤其是辨識商品擺放方式是否能在攝影機視角內顯示足夠的商品特徵，並提示顧客將商品翻面或分離後以完成商品的辨識。除此之外，本揭露還可辨識異常結帳行為，進行骨架、行為模式辨識與持有商品偵測，可排除如皮包、手機等個人物品後，判斷顧客是否手上仍持有商品。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100‧‧‧自助結帳系統

110‧‧‧顧客異常行為偵測裝置

112‧‧‧處理器

114‧‧‧儲存裝置

116‧‧‧影像擷取裝置

120‧‧‧商品辨識裝置

122‧‧‧處理器

124‧‧‧儲存裝置

126‧‧‧影像擷取裝置

128‧‧‧顯示裝置

130‧‧‧平台

132‧‧‧結帳區

Claims (36)

1. 一種自助結帳系統，包括：一平台，經配置用以放置至少一個商品；一商品辨識裝置，經配置用以對放置在該平台上的該至少一個商品進行商品辨識；以及一顧客異常行為偵測裝置，經配置用以根據在該平台前取得的一顧客影像進行異常結帳行為偵測，以取得一異常行為偵測結果，其中，該異常行為偵測結果包括根據該顧客影像的人體姿勢識別一結賬姿勢，在該結帳姿勢之手持物品候選區域中判斷是否具有物品，以判斷顧客是否仍持有該至少一個商品，其中，當判斷該異常行為偵測結果為一異常行為時，發出一異常行為通知，據以調整該異常行為。
2. 如申請專利範圍第1項所述之自助結帳系統，其中該顧客異常行為偵測裝置包括至少一個影像擷取單元，用以取得該顧客影像；以及一處理器，經配置用以對該顧客影像進行該異常結帳行為偵測，以取得該異常行為偵測結果，其中該異常結帳行為偵測包括進行一姿態辨識流程，以確認該顧客影像中的該結賬姿勢，而後根據該結賬姿勢，對該手持物品候選區域進行一手持物品辨識流程以取得該異常行為偵測結果。
3. 如申請專利範圍第2項所述之自助結帳系統，其中該顧客異常行為偵測裝置的該處理器經配置用以進行該姿態辨識流程之前，先對該顧客影像進行一即時骨架定位流程，以取得該顧客影像中的該顧客的骨架定位資訊，以進行該姿態辨識流程。
4. 如申請專利範圍第3項所述之自助結帳系統，其中該處理器經配置用以從該顧客影像取得該顧客的身體骨架線條，將該身體骨架線條與預設模型比對，以取得該骨架定位資訊。
5. 如申請專利範圍第2項所述之自助結帳系統，其中該顧客異常行為偵測裝置的該處理器經配置用以根據取得該顧客影像中的多個關鍵點，以及將該些關鍵點所形成的關鍵點線條與該預設模型進行比對，以取得對應該顧客的該結賬姿勢。
6. 如申請專利範圍第5項所述之自助結帳系統，其中該顧客異常行為偵測裝置的該處理器更根據該結賬姿勢取得人體姿態類別，並用以判斷該手持物品候選區域的位置和範圍，以進行該手持物品辨識流程。
7. 如申請專利範圍第1項所述之自助結帳系統，其中該商品辨識裝置對放置在該平台上的該至少一個商品進行該商品辨識以取得一辨識結果，其中當無法取得該辨識結果時，發出一提示通知，以調整該至少一個商品在該平台的放置方式。
8. 如申請專利範圍第1項所述之自助結帳系統，其中該商品辨識裝置透過攝影機辨識該顧客影像的顧客手勢以開始進行該商 品辨識，或透過紅外線、超音波或微波感測判斷顧客是否靠近該平台以開始進行該商品辨識。
9. 如申請專利範圍第1項所述之自助結帳系統，其中該商品辨識裝置經配置用以投影編號於該至少一個商品上。
10. 如申請專利範圍第7項所述之自助結帳系統，其中該商品辨識裝置包括：一影像擷取單元，取得放置在該平台上的該至少一個商品的一平台影像；一處理器，對該平台影像進行該商品辨識，取得對應於該至少一個商品的多個特徵，並根據該些特徵與一商品特徵資料庫進行比對取得該辨識結果。
11. 如申請專利範圍第10項所述之自助結帳系統，其中該商品辨識裝置的該處理器經配置用以對於該平台影像進行該商品辨識，取得對應於該至少一個商品的該些特徵以進行比對取得該辨識結果時，若該些特徵數量不足以進行判斷，則發出該提示通知以調整該至少一個商品在該平台的放置方式。
12. 如申請專利範圍第11項所述之自助結帳系統，其中該商品辨識裝置的該處理器經配置用以對該平台影像中以邊緣偵測切割出多個商品區域，並且於該些商品區域之中偵測該至少一個商品的該些特徵，並辨識該至少一個商品的該些特徵。
13. 如申請專利範圍第12項所述之自助結帳系統，其中該商品辨識裝置的該處理器經配置用以對於該平台影像進行該商品 辨識，是根據在該商品區域中的影像與該商品特徵資料庫進行比對，而得到對應的一分類結果信心度，判斷是否該分類結果信心度大於一閥值而認定是否取得該辨識結果。
14. 一種自助結帳方法，包括：對放置在一平台上的至少一個商品進行商品辨識；取得一顧客影像；以及根據該顧客影像進行異常結帳行為偵測，並根據該顧客影像取得一異常行為偵測結果，其中，該異常行為偵測結果包括根據該顧客影像的人體姿勢識別一結賬姿勢，在該結帳姿勢之手持物品候選區域中判斷是否具有物品，以判斷顧客是否仍持有該至少一個商品，其中當判斷該異常行為偵測結果為一異常行為時，發出一異常行為通知，據以調整該異常行為。
15. 如申請專利範圍第14項所述之自助結帳方法，其中該異常結帳行為偵測包括進行一姿態辨識流程，以確認該顧客影像中的該結賬姿勢，而後根據該結賬姿勢對該手持物品候選區域進行一手持物品辨識流程，以取得該異常行為偵測結果。
16. 如申請專利範圍第15項所述之自助結帳方法，其中該姿態辨識流程之前，先對該顧客影像進行一即時骨架定位流程，以取得該顧客影像中的該顧客的骨架定位資訊，以便據以進行該姿態辨識流程。
17. 如申請專利範圍第16項所述之自助結帳方法，其中該即時骨架定位流程從該顧客影像取得該顧客的身體骨架線條，將該身體骨架線條與預設模型比對，以取得該骨架定位資訊。
18. 如申請專利範圍第15項所述之自助結帳方法，其中該手持物品辨識流程包括根據取得該顧客影像中的多個關鍵點，以及將該些關鍵點所形成的關鍵點線條與該預設模型進行比對，以取得對應該顧客的該結賬姿勢。
19. 如申請專利範圍第18項所述之自助結帳方法，其中更根據該結賬姿勢判斷該手持物品候選區域的位置和範圍，以進行該手持物品辨識流程。
20. 如申請專利範圍第14項所述之自助結帳方法，更包括取得在該平台上的該至少一個商品的一平台影像，根據該平台影像取得一辨識結果，當無法取得該辨識結果時，發出一提示通知，以調整該至少一個商品的放置方式。
21. 如申請專利範圍第14項所述之自助結帳方法，其中更包括透過辨識該顧客影像的顧客手勢以啟動開始進行該商品辨識或透過紅外線、超音波或微波感測判斷顧客是否靠近該平台以開始進行該商品辨識。
22. 如申請專利範圍第14項所述之自助結帳方法，其中更包括投影編號於該至少一個商品上。
23. 如申請專利範圍第20項所述之自助結帳方法，其中該商品辨識包括根據該平台影像取得對應於該至少一個商品的多個 特徵，並根據該些特徵與一商品特徵資料庫進行比對取得該辨識結果。
24. 如申請專利範圍第23項所述之自助結帳方法，其中對該平台影像進行該商品辨識，取得對應於該至少一個商品的該些特徵，以進行比對取得該辨識結果時，若該些特徵數量不足以進行判斷，則發出該提示通知以調整該至少一個商品在該平台的放置方式。
25. 如申請專利範圍第24項所述之自助結帳方法，其中對該平台影像進行該商品辨識而取得對應於該至少一個商品的該些特徵包括對該平台影像中以邊緣偵測切割出多個商品區域，並且於該些商品區域之中偵測該至少一個商品的該些特徵，並辨識該至少一個商品的該些特徵。
26. 如申請專利範圍第25項所述之自助結帳方法，其中對該平台影像進行該商品辨識時，取得該些特徵的數量是根據該平台影像切割出來的該些商品區域的影像與該商品特徵資料庫進行比對，而得到對應的一分類結果信心度，判斷是否大於一閥值而認定是否取得該辨識結果。
27. 一種自助結帳裝置，包括：一平台，經配置用以放置至少一個商品；一影像擷取裝置，用以取得一平台影像及一顧客影像；以及一處理器，經配置用以對放置在該平台上的該至少一個商品進行商品辨識流程或異常結帳行為偵測流程， 其中該商品辨識流程包括根據該平台影像取得一辨識結果，其中當無法取得該辨識結果時，發出一提示通知，以調整該至少一個商品在該平台的放置方式，其中該異常結帳行為偵測流程根據在該顧客影像進行異常結帳行為偵測，以取得一異常行為偵測結果，其中，該異常行為偵測結果包括根據該顧客影像的人體姿勢識別一結賬姿勢，在該結帳姿勢之手持物品候選區域中判斷是否具有物品，以判斷顧客是否仍持有該至少一個商品，其中，當該異常行為偵測結果確認為一異常行為時，發出一異常行為通知，據以調整該異常行為。
28. 如申請專利範圍第27項所述之自助結帳裝置，其中該處理器經配置用以對該平台影像進行該商品辨識，取得對應於該至少一個商品的多個特徵，並根據該些特徵與一商品特徵資料庫進行比對取得該辨識結果。
29. 如申請專利範圍第28項所述之自助結帳裝置，其中該處理器經配置用以對該平台影像進行該商品辨識，取得對應於該至少一個商品的該些特徵數量進行比對取得該辨識結果時，若該些特徵數量不足以進行判斷，則發出該提示通知以調整該至少一個商品在該平台的放置方式。
30. 如申請專利範圍第29項所述之自助結帳裝置，其中該理器經配置用以對該平台影像進行該商品辨識而取得對應於該至少一個商品的該些特徵包括對該平台影像中以邊緣偵測切割出多 個商品區域，並且於該些商品區域之中偵測該至少一個商品的該些特徵，並進行辨識取得該至少一個商品的該些特徵。
31. 如申請專利範圍第30項所述之自助結帳裝置，其中該處理器經配置用以對該平台影像進行該商品辨識時，取得該些特徵的數量是根據切割出來的該些商品區域的影像與該商品特徵資料庫進行比對，而得到對應的一分類結果信心度，判斷是否大於一閥值而認定是否取得該辨識結果。
32. 如申請專利範圍第27項所述之自助結帳裝置，其中該處理器經配置用以對該顧客影像進行該異常結帳行為偵測，以取得該異常行為偵測結果，其中該異常結帳行為偵測包括進行一姿態辨識流程，以確認該顧客影像中的該結賬姿勢，而後根據該結賬姿勢對該手持物品候選區域進行一手持物品辨識流程，以取得該異常行為偵測結果。
33. 如申請專利範圍第32項所述之自助結帳裝置，其中該處理器經配置用以進行該姿態辨識流程之前，先對該顧客影像進行一即時骨架定位流程，以取得該顧客影像中的該顧客的骨架定位資訊，以便據以進行該姿態辨識流程。
34. 如申請專利範圍第33項所述之自助結帳裝置，其中該處理器經配置用以從該顧客影像取得該顧客的身體骨架線條，將該身體骨架線條與預設模型比對，以取得該骨架定位資訊。
35. 如申請專利範圍第34項所述之自助結帳裝置，其中該處理器經配置用以根據取得該顧客影像中的多個關鍵點，以及將 該些關鍵點所形成的關鍵點線條與該預設模型進行比對，以取得對應該顧客的該結賬姿勢。
36. 如申請專利範圍第35項所述之自助結帳裝置，其中該處理器經配置用以進行該手持物品辨識流程還包括根據該結賬姿勢取得人體姿態類別，並用以判斷該手持物品候選區域的位置和範圍，以進行該手持物品辨識流程。

Images