TWI723411B

TWI723411B - 無人結算場景中異常檢測方法、裝置及設備

Info

Publication number: TWI723411B
Application number: TW108119153A
Authority: TW
Inventors: 侯章軍; 楊旭東; 張曉博
Original assignee: 開曼群島商創新先進技術有限公司
Priority date: 2018-08-01
Filing date: 2019-06-03
Publication date: 2021-04-01
Also published as: EP3779776A4; SG11202010377RA; US20210049370A1; CN109271847B; US11132559B2; TW202008320A; WO2020024691A1; EP3779776B1; CN109271847A; EP3779776A1

Abstract

本說明書實施例提供一種無人結算場景中異常檢測方法、裝置及設備，本說明書實施例透過在無人結算場景中設置拍攝區域至少包括檢測區域的深度攝影設備，可以利用從深度攝影設備中獲取的圖像資料，對進入檢測區域的人體物件進行檢測，由於圖像資料包括深度圖像和RGB圖像，檢測區域是結算前對待結算商品進行檢測的區域，從而可以實現至少利用深度圖像和RGB圖像判斷檢測區域的人數是否異常或人體手勢是否異常，進而决定是否通知中控系統停止商品檢測以及觸發警告操作，避免異常情况給顧客或商家造成的損失。

Description

無人結算場景中異常檢測方法、裝置及設備

本說明書涉及資料處理領域，尤其涉及無人結算場景中異常檢測方法、裝置及設備。

隨著科技的發展，無人結算場景越來越多的應用到日常生活中，例如無人商店、無人商場等。在顧客選購商品後，可以進入指定的檢測區域進行自動檢測和結算。在檢測區域內，中控系統可以自動檢測顧客所購商品，並將商品資訊傳送至支付平臺，完成自動結算操作。然而，在檢測區域內，可能發生異常事件而給商家或顧客造成損失等。因此，需要在無人結算場景中提供一種有效的異常檢測方案。

為克服相關技術中存在的問題，本說明書提供了無人結算場景中異常檢測方法、裝置及設備。根據本說明書實施例的第一態樣，提供一種無人結算場景中異常檢測方法，在無人結算場景中設有拍攝區域至少包括檢測區域的深度攝影設備，所述檢測區域是結算前對待結算商品進行檢測的區域，所述方法包括：獲取深度攝影設備中的圖像資料，所述圖像資料包括深度圖像和RGB圖像；利用所述圖像資料對進入檢測區域的人體物件進行檢測，所述檢測包括人數檢測、手勢檢測中的一種或多種，基於檢測結果確定預設異常條件滿足時，通知中控系統停止商品檢測，並觸發警告操作，所述異常條件包括：進入檢測區域的人體物件的人數大於預設人數臨界值、進入檢測區域的人體物件的手勢為預設異常手勢中的一種或多種。在一個實施例中，所述人數檢測的步驟包括：根據背景模型和當前獲取的深度圖像，從所述深度圖像中獲取用於表示運動物件的前景圖像，所述背景模型基於利用在沒有運動物件經過檢測區域時獲得的深度圖像進行背景模組化獲得；若利用所述前景圖像判定運動物件為人體物件，結合深度圖像中的深度值對所述前景圖像進行連通區域分析，並根據分析結果獲得所述檢測區域內的人數。在一個實施例中，所述深度圖像和RGB圖像是深度攝影設備在同一時刻採集同一場景獲得，所述手勢檢測的步驟包括：根據背景模型和當前獲取的深度圖像，從所述深度圖像中獲取用於表示運動物件的前景圖像，所述背景模型基於利用在沒有運動物件經過檢測區域時獲得的深度圖像進行背景模組化獲得；若利用所述前景圖像判定運動物件為人體物件，結合深度圖像中的深度值對所述前景圖像進行連通區域分析，並根據分析結果將所述前景圖像中的人體區域進行分割，獲得表徵獨立人體的連通區域；結合深度圖像中的連通區域、以及RGB圖像中與連通區域相應的區域，確定人體物件的手勢。在一個實施例中，所述結合深度圖像中的連通區域、以及RGB圖像中與連通區域相應的區域，確定人體物件的手勢，包括：對深度圖像中表徵獨立人體的連通區域進行人體手部定位；若獲得手部區域，則對RGB圖像中與所述手部區域對應的區域進行手部骨架檢測，並根據檢測結果確定人體物件的手勢；若未獲得手部區域，則根據深度圖像中表徵獨立人體的連通區域，獲取對應RGB圖像的獨立人體區域，對RGB圖像中獨立人體區域進行手部骨架檢測，並根據檢測結果確定人體物件的手勢。在一個實施例中，所述方法還包括以下一種或多種方式：利用深度圖像檢測到有人體物件進入無人體物件的檢測區域時，通知中控系統開始商品檢測；利用深度圖像檢測到當前人體物件離開、且未存在其他人體物件進入檢測區域時，通知中控系統停止商品檢測。根據本說明書實施例的第二態樣，提供一種無人結算場景中異常檢測裝置，在無人結算場景中設有拍攝區域至少包括檢測區域的深度攝影設備，所述檢測區域是結算前對待結算商品進行檢測的區域，所述裝置包括：資料獲取模組，用於：獲取深度攝影設備中的圖像資料，所述圖像資料包括深度圖像和RGB圖像；異常檢測模組，用於：利用所述圖像資料對進入檢測區域的人體物件進行檢測，所述檢測包括人數檢測、手勢檢測中的一種或多種，異常處理模組，用於：基於檢測結果確定預設異常條件滿足時，通知中控系統停止商品檢測，並觸發警告操作，所述異常條件包括：進入檢測區域的人體物件的人數大於預設人數臨界值、進入檢測區域的人體物件的手勢為預設異常手勢中的一種或多種。在一個實施例中，所述異常檢測模組用於：根據背景模型和當前獲取的深度圖像，從所述深度圖像中獲取用於表示運動物件的前景圖像，所述背景模型基於利用在沒有運動物件經過檢測區域時獲得的深度圖像進行背景模組化獲得；若利用所述前景圖像判定運動物件為人體物件，結合深度圖像中的深度值對所述前景圖像進行連通區域分析，並根據分析結果獲得所述檢測區域內的人數。在一個實施例中，所述深度圖像和RGB圖像是深度攝影設備在同一時刻採集同一場景獲得，所述異常檢測模組用於：根據背景模型和當前獲取的深度圖像，從所述深度圖像中獲取用於表示運動物件的前景圖像，所述背景模型基於利用在沒有運動物件經過檢測區域時獲得的深度圖像進行背景模組化獲得；若利用所述前景圖像判定運動物件為人體物件，結合深度圖像中的深度值對所述前景圖像進行連通區域分析，並根據分析結果將所述前景圖像中的人體區域進行分割，獲得表徵獨立人體的連通區域；結合深度圖像中的連通區域、以及RGB圖像中與連通區域相應的區域，確定人體物件的手勢。在一個實施例中，所述異常檢測模組具體用於：對深度圖像中表徵獨立人體的連通區域進行人體手部定位；若獲得手部區域，則對RGB圖像中與所述手部區域對應的區域進行手部骨架檢測，並根據檢測結果確定人體物件的手勢；若未獲得手部區域，則根據深度圖像中表徵獨立人體的連通區域，獲取對應RGB圖像的獨立人體區域，對RGB圖像中獨立人體區域進行手部骨架檢測，並根據檢測結果確定人體物件的手勢。根據本說明書實施例的第三態樣，提供一種電腦設備，包括儲存器、處理器及儲存在儲存器上並可在處理器上運行的電腦程式，在無人結算場景中設有拍攝區域至少包括檢測區域的深度攝影設備，所述檢測區域是結算前對待結算商品進行檢測的區域，其中，所述處理器執行所述程式時實現如下方法：獲取深度攝影設備中的圖像資料，所述圖像資料包括深度圖像和RGB圖像；利用所述圖像資料對進入檢測區域的人體物件進行檢測，所述檢測包括人數檢測、手勢檢測中的一種或多種，基於檢測結果確定預設異常條件滿足時，通知中控系統停止商品檢測，並觸發警告操作，所述異常條件包括：進入檢測區域的人體物件的人數大於預設人數臨界值、進入檢測區域的人體物件的手勢為預設異常手勢中的一種或多種。本說明書的實施例提供的技術方案可以包括以下有益效果：本說明書實施例透過在無人結算場景中設置拍攝區域至少包括檢測區域的深度攝影設備，可以利用從深度攝影設備中獲取的圖像資料，對進入檢測區域的人體物件進行檢測，由於圖像資料包括深度圖像和RGB圖像，檢測區域是結算前對待結算商品進行檢測的區域，從而可以實現利用深度圖像和RGB圖像判斷檢測區域的人數是否異常或人體手勢是否異常，進而决定是否通知中控系統停止商品檢測以及觸發警告操作，避免異常情况給顧客或商家造成的損失。應當理解的是，以上的一般描述和後文的細節描述僅是範例性和解釋性的，並不能限制本說明書。

這裡將詳細地對範例性實施例進行說明，其範例表示在圖式中。下面的描述涉及圖式時，除非另有表示，不同圖式中的相同數位表示相同或相似的要素。以下範例性實施例中所描述的實施方式並不代表與本說明書相一致的所有實施方式。相反，它們僅是與如所附申請專利範圍中所詳述的、本說明書的一些態樣相一致的裝置和方法的例子。在本說明書使用的術語是僅僅出於描述特定實施例的目的，而非意於限制本說明書。在本說明書和所附申請專利範圍中所使用的單數形式的“一種”、“所述”和“該”也意於包括多數形式，除非上下文清楚地表示其他含義。還應當理解，本文中使用的術語“和/或”是指並包含一個或多個相關聯的列出項目的任何或所有可能組合。應當理解，儘管在本說明書可能採用術語第一、第二、第三等來描述各種資訊，但這些資訊不應限於這些術語。這些術語僅用來將同一類型的資訊彼此區分開。例如，在不脫離本說明書範圍的情况下，第一資訊也可以被稱為第二資訊，類似地，第二資訊也可以被稱為第一資訊。取决於語境，如在此所使用的詞語“如果”可以被解釋成為“在……時”或“當……時”或“響應於確定”。隨著行動支付技術的不斷深化，當無人超市的出現，則由於其具有“無人看管”以及顧客完全自主結算的特點，徹底顛覆了傳統的零售模式。在顧客選購商品後，可以進入檢測區域進行商品檢測，進而實現自動結算，例如，進入“支付門”進行結算。然而正由於“無人看管”的特點，在檢測區域內，可能出現顧客將商品舉起以避免商品被檢測到的情况，又或者，可能出現將其他顧客所購商品識別為當前顧客所購商品等異常情况。鑒於此，本說明書實施例提供一種無人結算場景中異常檢測方案，透過在無人結算場景中設置拍攝區域至少包括檢測區域的深度攝影設備，可以利用從深度攝影設備中獲取的圖像資料，對進入檢測區域的人體物件進行檢測，由於圖像資料包括深度圖像和RGB圖像，檢測區域是結算前對待結算商品進行檢測的區域，從而可以實現利用深度圖像和RGB圖像判斷檢測區域的人數是否異常或人體手勢是否異常，進而决定是否通知中控系統停止商品檢測以及觸發警告操作，避免異常情况給顧客或商家造成的損失。以下結合圖式對本說明書實施例進行範例說明。如圖1所示，是本說明書根據一範例性實施例顯示的一種無人結算場景中異常檢測方法的流程圖，在無人結算場景中設有拍攝區域至少包括檢測區域的深度攝影設備，所述檢測區域是結算前對待結算商品進行檢測的區域，所述方法可以包括：在步驟102中，獲取深度攝影設備中的圖像資料，所述圖像資料包括深度圖像和RGB圖像；在步驟104中，利用所述圖像資料對進入檢測區域的人體物件進行檢測，所述檢測包括人數檢測、手勢檢測中的一種或多種，在步驟106中，基於檢測結果確定預設異常條件滿足時，通知中控系統停止商品檢測，並觸發警告操作，所述異常條件包括：進入檢測區域的人體物件的人數大於預設人數臨界值、進入檢測區域的人體物件的手勢為預設異常手勢中的一種或多種。在該實施例中，無人結算場景可以是沒有人工進行商品結算的場景，例如，無人超市、無人商店、無人商場等場景。在一個實施例中，顧客可以到檢測區域內完成商品檢測操作，中控系統可以將檢測結果發送至支付平臺，由支付平臺完成結算操作。例如，進入支付門所指示的檢測區域完成商品檢測，進而完成商品結算操作。在一個實施例中，支付門可以是擁有至少一道門的支付通道，商品檢測可以在該通道內完成，而商品結算操作可以在該通道內完成，也可以不在該通道內完成。例如，一種實現方式中，在結算完成後，才控制門打開，對顧客進行放行。另一種實現方式中，由於預先對顧客的支付帳戶進行關聯，因此在對商品檢測完成後即可控制門打開，後續執行結算操作，而無需等到結算流程結束。因此，支付通道又可以稱為檢測通道。在一個例子中，支付通道可以是封閉式的。而在另一個例子中，為了提高用戶體驗，支付通道也可以不是封閉式的。本說明書實施例方法可以應用在無人結算場景中。在一個實施例中，所述方法可以應用於設置在支付通道的嵌入式開發板中，嵌入式開發板可以具有GPU運算功能，實現異常檢測和商品檢測的一體化。進一步的，還可以採用模型壓縮的方式，减少嵌入式開發板的計算量。在本實施例的無人結算場景中，設有拍攝區域至少包括檢測區域的深度攝影設備。深度攝影設備可以是能採集深度圖像和RGB圖像的攝影設備。深度圖像的每個像素點值可用於表徵場景中某一點距離攝影設備的距離，該像素值又可以稱為該像素點的深度值或深度資訊。不同的深度攝影設備可以採用不同的深度圖像獲取方法。例如，可以利用由雙RGB攝影鏡頭組成的深度攝影設備，採用雙眼匹配法獲得深度圖像。又如，可以利用由一個RGB攝影鏡頭+結構光頭投射器(紅外)+結構光深度感應器構成的深度攝影設備，採用結構光檢測法獲得深度圖像。應當理解的是，還可以採用其他深度攝影設備以及其他獲取深度圖像的方法，在此不一一贅述。深度攝影設備的拍攝區域至少包括檢測區域，可以基於該目的將深度攝影設備設置在與支付通道關聯的位置處。在一個實施例中，可以將深度攝影設備設置在支付通道的末端、並以能拍攝到檢測區域為標準而設置深度攝影設備，以實現顧客從支付通道首端走向末端時，深度圖像中用於指示顧客的深度值越來越小。為了能利用圖像資料對進入檢測區域的人體物件進行檢測，可以預先對檢測區域進行標定，以確定實際場景中檢測區域與圖像的關係。在一個實施例中，可以根據檢測設置在檢測區域邊界的指定物件，標定檢測區域對應在圖像中的區域。例如，將指定物件設置在實際場景中檢測區域的邊界處，以界定檢測區域的邊界。從深度攝影設備中獲取深度圖像和RGB圖像，利用RGB圖像進行圖像識別以檢測指定物件在圖像中的區域，利用深度圖像獲取指定物件的深度值，從而完成檢測區域的自動標定。在一個實施例中，指定物件可以是方形板，以降低檢測難度。在本說明書實施例中，可以利用圖像資料對進入檢測區域的人體物件進行檢測，以判斷是否發生異常事件，並在發生異常事件時進行警告以及停止商品檢測。異常事件可以據具體應用場景而定，基於不同的異常事件，配置不同的預設異常條件。在一個實施例中，為了避免誤將其他顧客的商品識別為當前顧客的商品，可以限制進入檢測區域的人數。異常條件可以包括：進入檢測區域的人體物件的人數大於預設人數臨界值。相應的，在進入檢測區域的人體物件的人數大於預設人數臨界值時，判定發生異常事件。預設人數臨界值根據應用場景所配置的設備而定。在一個例子中，預設人數臨界值可以為1，從而實現限制進入檢測區域的人數為1，在人數大於1時，停止商品檢測，並進行警告。關於人數檢測，人數檢測可以基於對從深度攝影設備獲取的深度圖像進行檢測獲得。例如，基於深度圖像，進行運動行人檢測、行人分割，以獲得檢測區域內的人數。以下以一種具體實現手段進行範例說明，人數檢測的步驟可以包括：根據背景模型和當前獲取的深度圖像，從所述深度圖像中獲取用於表示運動物件的前景圖像，所述背景模型基於利用在沒有運動物件經過檢測區域時獲得的深度圖像進行背景模組化獲得；若利用所述前景圖像判定運動物件為人體物件，結合深度圖像中的深度值對所述前景圖像進行連通區域分析，並根據分析結果獲得所述檢測區域內的人數。其中，背景模組化可以是動態不斷更新的過程，可以不斷的讀取資料並重新進行背景模組化。例如，採用上一次更新獲得的背景模型判斷檢測區域是否有人，定時獲取無人圖像、並利用高斯背景模組化的方式對上一次更新的背景模型進行更新。其中，初始背景模型基於採集的無人圖像初始化獲得。將當前獲取的深度圖像(當前訊框的深度圖像)與背景模型進行比較，可以從當前訊框深度圖像中獲取用於表示運動物件的前景圖像。例如，對比當前訊框的深度圖像和背景圖像，計算二者在每個相對應的像素點的差，並找出差值滿足一定條件的各個像素點的位置座標，從而獲得前景圖像。在該實施例中，可以透過深度視頻完成背景模組化的過程，當有物體進入檢測區域，可以將有變化的運動物件視為運動前景，再透過圖像識別技術判斷運動物件是否為人體。由於同一個人的深度值往往比較接近，而同一個個體又具有連通性，因此，可以結合深度圖像中的深度值對所述前景圖像進行連通區域分析，並根據分析結果獲得檢測區域內的人數。連通區域(Connected Component)可以是指圖像中具有相近像素值且位置相鄰的前景像素點組成的圖像區域(Region，Blob)。連通區域分析可以是指將圖像中的各個連通區域找出並標記。在一個例子中，可以採用領域判斷來對前景圖像進行連通區域分析。判斷一個像素點的領域位置上各個像素點是否與該像素點的性質相似，並把這些性質相似的像素點歸為同一整體。本實施例中，性質相似可以是指深度值相近。由上述實施例可見，本實施例透過背景模組化的方式提取前景圖像，在判定前景圖像中運動物件為人體物件時，結合深度圖像中的深度值對前景圖像進行連通區域分析，實現人體分割，相對於用RGB圖像進行人體分割而言，能快速獲得檢測區域內的人數，减少運算量。在另一個實施例中，顧客可能為了逃單而執行某些異常行為，特別是異常手勢，因此可以檢測進入檢測區域內人體的手勢，在進入檢測區域的人體物件的手勢為預設異常手勢時，判定發生異常事件。預設異常手勢可以視商品檢測裝置可檢測範圍而定，例如，可以將能避開檢測裝置可檢測範圍的手勢確定為預設異常手勢。如，預設異常手勢可以是舉手手勢或將手抬高手勢等，以實現在顧客執行異常手勢時可以避免商品被監測。在某些場景中，異常手勢還可以按左右手進行區分，以實現不同手執行相同手勢時判定結果不同。其中，左右手的異常手勢可以視具體場景而定。關於手勢檢測，手勢檢測可以基於對從深度攝影設備獲取的深度圖像和RGB圖像進行檢測獲得。其中，所述深度圖像和RGB圖像是深度攝影設備在同一時刻採集同一場景獲得。深度圖像和RGB圖像是以不同資料反應同一場景的圖像，深度圖像採用深度值反應場景中某一點距離攝影設備的距離。在一個例子中，基於深度圖像和RGB圖像，進行運動行人檢測、行人分割、人體手部定位和截取以及手勢識別，以獲得檢測區域內行人的手勢。以下以一種具體實現手段進行範例說明，手勢檢測的步驟可以包括：根據背景模型和當前獲取的深度圖像，從所述深度圖像中獲取用於表示運動物件的前景圖像，所述背景模型基於利用在沒有運動物件經過檢測區域時獲得的深度圖像進行背景模組化獲得；若利用所述前景圖像判定運動物件為人體物件，結合深度圖像中的深度值對所述前景圖像進行連通區域分析，並根據分析結果將所述前景圖像中的人體區域進行分割，獲得表徵獨立人體的連通區域；結合深度圖像中的連通區域、以及RGB圖像中與連通區域相應的區域，確定人體物件的手勢。其中，前景圖像獲取、人體物件判斷以及連通區域分析等與人數檢測中相關技術相同，在此不一一贅述。該實施例採用深度圖像獲得表徵獨立人體的連通區域，相較於採用RGB圖像獲得表徵獨立人體的連通區域，可以節約運算量。本實施例在透過深度圖像獲得表徵獨立人體的連通區域後，可以結合深度圖像中的連通區域、以及RGB圖像中與連通區域相應的區域，確定人體物件的手勢。在獲得連通區域後，可以結合RGB圖像和深度圖像進行手勢識別。例如，利用深度圖像確定手部區域的可信度，若可信度大於預設臨界值，則將深度圖像中手部區域映射到RGB圖像中，對RGB圖像中與手部區域相對應區域進行手勢判斷。若無法透過深度圖像判斷出手部區域，則將深度圖像中連通區域映射到RGB圖像上，透過RGB圖像判斷手部區域以及手勢。具體的，所述結合深度圖像中的連通區域、以及RGB圖像中與連通區域相應的區域，確定人體物件的手勢，可以包括：對深度圖像中表徵獨立人體的連通區域進行人體手部定位；若獲得手部區域，則對RGB圖像中與所述手部區域對應的區域進行手部骨架檢測，並根據檢測結果確定人體物件的手勢；若未獲得手部區域，則根據深度圖像中表徵獨立人體的連通區域，獲取對應RGB圖像的獨立人體區域，對RGB圖像中獨立人體區域進行手部骨架檢測，並根據檢測結果確定人體物件的手勢。在該實施例中，可以透過人體分割的資訊獲取每個人體單獨的深度連通區域，並且透過單獨人體的深度資訊獲取相對於人體前端的手部區域，最後透過前端區域與身體區域的相對位置進行左右手的判斷和截取，從而獲得手部區域。使用在深度圖像中獲取的手部區域的位置，在RGB圖像中的相應區域進行手部截取，獲得手部圖像。對手部圖像進行手部骨骼形態識別，獲取手部骨骼的形態，並在此基礎上進行手勢識別。例如，可以透過手部骨骼檢測方法獲取手部的骨架，接著透過手部骨架中五個手指骨架的形狀判別，實現手部動作的識別。由上述實施例可見，先利用深度圖像獲得手部區域，再對RGB圖像中與手部區域對應的區域進行手部骨架檢測，並根據檢測結果確定人體物件的手勢，可以减少計算量。應當理解的是，異常條件還可以包括其他條件，例如，進入檢測區域的人體物件的人體姿態為預設異常姿態，因此，所述檢測還可以包括人體姿態檢測，針對其他情况在此不一一贅述。在預設異常條件滿足時，可以通知中控系統停止商品檢測，並觸發警告操作。商品檢測是結算操作的前序工作，因此，在商品檢測中斷時，結算操作也中斷。其中，中控系統可以是結算前對商品進行檢測的系統。對商品進行檢測，可以包括識別商品，獲得商品數量、價格等用於結算所需的商品資訊。例如，可以採用射頻識別Radio Frequency Identification，RFID)技術讀取商品上的電子標籤，以獲得用於結算所需的商品資訊。當然，也可以採用其他手段對商品進行檢測，以獲得用於結算所需的商品資訊，在此不做限制。警告操作可以由本執行端透過中控系統進行觸發，也可以由本執行端直接通知警告模組進行警告操作。由上述實施例可見，本實施例透過在無人結算場景中設置拍攝區域至少包括檢測區域的深度攝影設備，可以利用從深度攝影設備中獲取的圖像資料，對進入檢測區域的人體物件進行檢測，由於圖像資料包括深度圖像和RGB圖像，檢測區域是結算前對待結算商品進行檢測的區域，從而可以實現利用深度圖像判斷檢測區域的人數是否異常，或，利用深度圖像和RGB圖像判斷檢測區域內人體手勢是否異常，進而决定是否通知中控系統停止商品檢測以及觸發警告操作，避免異常情况給顧客或商家造成的損失。為了避免中控系統即時檢測導致資源浪費，在一個實施例中，可以利用深度圖像檢測到有人體物件進入無人體物件的檢測區域時，通知中控系統開始商品檢測。在該實施例中，當檢測區域從無人體物件到有人體物件時，可以開啓商品檢測功能。可見，在有人體物件進入無人體物件的檢測區域時才觸發商品檢測操作，可以實現自動開啓商品檢測功能。在另一個實施例中，可以利用深度圖像檢測到當前人體物件離開、且未存在其他人體物件進入檢測區域時，通知中控系統停止商品檢測。在該實施例中，當人體物件離開檢測區域、且沒有其他人進入檢測區域時，可以關閉商品檢測功能。進一步的，若當前人體物件離開檢測區域後的預設時間段內，若未存在其他人體物件進入檢測區域時，則可以通知中控系統停止商品檢測。可見，透過深度圖像可以自動關閉商品檢測功能，避免中控系統即時檢測導致資源浪費。以上實施方式中的各種技術特徵可以任意進行組合，只要特徵之間的組合不存在衝突或矛盾，但是限於篇幅，未進行一一描述，因此上述實施方式中的各種技術特徵的任意進行組合也屬本說明書公開的範圍。以下以其中一種組合進行範例說明。如圖2所示，是本說明書根據一範例性實施例顯示的另一種無人結算場景中異常檢測方法的流程圖，在無人結算場景中設有拍攝區域至少包括檢測區域的深度攝影設備，所述檢測區域是結算前對待結算商品進行檢測的區域，所述方法包括：在步驟202中，獲取深度攝影設備在同一時刻採集同一場景的深度圖像和RGB圖像。其中，深度攝影設備可以處於常開狀態，或在指定工作時間段處於常開狀態。例如，指定工作時間可以是無人商店的營業時間。在步驟204中，利用所述深度圖像進行運動行人檢測，若檢測到有人體物件進入無人體物件的檢測區域時，通知中控系統開始商品檢測；若檢測到當前人體物件離開、且未存在其他人體物件進入檢測區域時，通知中控系統停止商品檢測。在一個例子中，可以根據背景模型和當前獲取的深度圖像，從深度圖像中獲取用於表示運動物件的前景圖像，利用所述前景圖像判斷運動物件是否為人體物件。在步驟206中，對運動行人檢測結果進行行人分割，獲得表徵獨立人體的連通區域以及進入檢測區域的人體物件的人數，並結合深度圖像中的連通區域、以及RGB圖像中與連通區域相應的區域，確定人體物件的手勢。其中，可以結合深度圖像中的深度值對所述前景圖像進行連通區域分析，以進行行人分割。在步驟208中，若進入檢測區域的人體物件的人數大於預設人數臨界值，則通知中控系統停止商品檢測，並觸發警告操作。在步驟210中，若進入檢測區域的人體物件的手勢為預設異常手勢，則通知中控系統停止商品檢測，並觸發警告操作。其中，圖2與圖1中相關技術相同，在此不一一贅述。在該實施例中，透過深度圖像實現運動行人檢測、行人分割，結合深度圖像中的連通區域、以及RGB圖像中與連通區域相應的區域，確定人體物件的手勢，可以减少計算量；並且可以自動控制商品檢測功能的開啓和關閉，避免商品檢測功能處於常開狀態導致的資源浪費，而且可以在檢測區域內人數異常以及人體手勢異常時，通知中控系統停止商品檢測以及觸發警告操作，避免異常情况給顧客或商家造成的損失。本說明書實施例還以一種具體應用場景為例對無人結算場景中異常檢測方案進行範例說明。如圖3所示，是本說明書根據一範例性實施例顯示的一種異常檢測方法的應用場景示意圖。在該實施例中，支付通道可以是非封閉式的，深度攝影設備可以是設置在支付通道末端的RGBD攝影鏡頭。支付通道所在區域為檢測區域。由於可以即時從RGBD攝影鏡頭中獲取深度圖像和RGB圖像，因此，可以利用深度圖像判斷是否有顧客走入檢測區域，若是，則可以通知中控系統開啓商品檢測功能。利用深度圖像和RGB圖像判斷是否發生異常事件，在發生異常事件時，阻止中控系統檢測顧客所持商品，並觸發警告操作，避免異常事件導致的利益衝突。若未發生異常事件，中控系統可以繼續進行商品檢測，並將獲得的商品資訊傳送至支付平臺，利用支付平臺完成結算操作。例如，在檢測區域記憶體在多個顧客時，可以控制中控系統停止檢測顧客所持商品，並觸發警告操作。顧客在檢測區域內執行異常手勢時，可以控制中控系統停止檢測顧客所持商品，並觸發警告操作。支付通道末端還可以設置閥門，在檢測完成，或者結算完成時，打開閥門，對顧客進行放行。與前述無人結算場景中異常檢測方法的實施例相對應，本說明書還提供了無人結算場景中異常檢測裝置及其所應用的電子設備的實施例。本說明書無人結算場景中異常檢測裝置的實施例可以應用在電腦設備，電腦設備可以具有GPU運算功能。裝置實施例可以透過軟體實現，也可以透過硬體或者軟硬體結合的方式實現。以軟體實現為例，作為一個邏輯意義上的裝置，是透過其所在電腦設備的處理器將非揮發性儲存器中對應的電腦程式指令讀取到記憶體中運行形成的。從硬體層面而言，如圖4所示，為本說明書無人結算場景中異常檢測裝置所在電腦設備的一種硬體結構圖，除了圖4所示的處理器410、網路介面420、記憶體430、以及非揮發性儲存器440之外，實施例中無人結算場景中異常檢測裝置431所在的電腦設備通常根據該設備的實際功能，還可以包括其他硬體，對此不再贅述。如圖5所示，是本說明書根據一範例性實施例顯示的一種無人結算場景中異常檢測裝置的方塊圖，在無人結算場景中設有拍攝區域至少包括檢測區域的深度攝影設備，所述檢測區域是結算前對待結算商品進行檢測的區域，所述裝置包括：資料獲取模組52，用於：獲取深度攝影設備中的圖像資料，所述圖像資料可以包括深度圖像和RGB圖像；異常檢測模組54，用於：利用所述圖像資料對進入檢測區域的人體物件進行檢測，所述檢測包括人數檢測、手勢檢測中的一種或多種，異常處理模組56，用於：基於檢測結果確定預設異常條件滿足時，通知中控系統停止商品檢測，並觸發警告操作，所述異常條件包括：進入檢測區域的人體物件的人數大於預設人數臨界值、進入檢測區域的人體物件的手勢為預設異常手勢中的一種或多種。在一個實施例中，所述異常檢測模組54用於：根據背景模型和當前獲取的深度圖像，從所述深度圖像中獲取用於表示運動物件的前景圖像，所述背景模型基於利用在沒有運動物件經過檢測區域時獲得的深度圖像進行背景模組化獲得；若利用所述前景圖像判定運動物件為人體物件，結合深度圖像中的深度值對所述前景圖像進行連通區域分析，並根據分析結果獲得所述檢測區域內的人數。在一個實施例中，所述深度圖像和RGB圖像是深度攝影設備在同一時刻採集同一場景獲得，所述異常檢測模組54用於：根據背景模型和當前獲取的深度圖像，從所述深度圖像中獲取用於表示運動物件的前景圖像，所述背景模型基於利用在沒有運動物件經過檢測區域時獲得的深度圖像進行背景模組化獲得；若利用所述前景圖像判定運動物件為人體物件，結合深度圖像中的深度值對所述前景圖像進行連通區域分析，並根據分析結果將所述前景圖像中的人體區域進行分割，獲得表徵獨立人體的連通區域；結合深度圖像中的連通區域、以及RGB圖像中與連通區域相應的區域，確定人體物件的手勢。在一個實施例中，所述異常檢測模組54具體用於：對深度圖像中表徵獨立人體的連通區域進行人體手部定位；若獲得手部區域，則對RGB圖像中與所述手部區域對應的區域進行手部骨架檢測，並根據檢測結果確定人體物件的手勢；若未獲得手部區域，則根據深度圖像中表徵獨立人體的連通區域，獲取對應RGB圖像的獨立人體區域，對RGB圖像中獨立人體區域進行手部骨架檢測，並根據檢測結果確定人體物件的手勢。在一個實施例中，所述異常處理模組56，還用於執行以下一種或多種處理：利用深度圖像檢測到有人體物件進入無人體物件的檢測區域時，通知中控系統開始商品檢測；利用深度圖像檢測到當前人體物件離開、且未存在其他人體物件進入檢測區域時，通知中控系統停止商品檢測。對於裝置實施例而言，由於其基本對應於方法實施例，所以相關之處參見方法實施例的部分說明即可。以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的模組可以是或者也可以不是實體上分開的，作為模組顯示的部件可以是或者也可以不是實體模組，即可以位於一個地方，或者也可以分布到多個網路模組上。可以根據實際的需要選擇其中的部分或者全部模組來實現本說明書方案的目的。本領域普通技術人員在不付出創造性勞動的情况下，即可以理解並實施。相應的，本說明書實施例還提供一種電腦設備，包括儲存器、處理器及儲存在儲存器上並可在處理器上運行的電腦程式，在無人結算場景中設有拍攝區域至少包括檢測區域的深度攝影設備，所述檢測區域是結算前對待結算商品進行檢測的區域，其中，所述處理器執行所述程式時實現如下方法：獲取深度攝影設備中的圖像資料，所述圖像資料包括深度圖像和RGB圖像；利用所述圖像資料對進入檢測區域的人體物件進行檢測，所述檢測包括人數檢測、手勢檢測中的一種或多種，基於檢測結果確定預設異常條件滿足時，通知中控系統停止商品檢測，並觸發警告操作，所述異常條件包括：進入檢測區域的人體物件的人數大於預設人數臨界值、進入檢測區域的人體物件的手勢為預設異常手勢中的一種或多種。本說明書中的各個實施例均採用遞進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於設備實施例而言，由於其基本相似於方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。一種電腦儲存媒體，所述儲存媒體中儲存有程式指令，所述程式指令包括：獲取深度攝影設備中的圖像資料，所述圖像資料包括深度圖像和RGB圖像；利用所述圖像資料對進入檢測區域的人體物件進行檢測，所述檢測包括人數檢測、手勢檢測中的一種或多種，基於檢測結果確定預設異常條件滿足時，通知中控系統停止商品檢測，並觸發警告操作，所述異常條件包括：進入檢測區域的人體物件的人數大於預設人數臨界值、進入檢測區域的人體物件的手勢為預設異常手勢中的一種或多種。本說明書實施例可採用在一個或多個其中包含有程式代碼的儲存媒體(包括但不限於磁碟儲存器、CD-ROM、光學儲存器等)上實施的電腦程式産品的形式。電腦可用儲存媒體包括永久性和非永久性、可移動和非可移動媒體，可以由任何方法或技術來實現資訊儲存。資訊可以是電腦可讀指令、資料結構、程式的模組或其他資料。電腦的儲存媒體的例子包括但不限於：相變記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、磁盒式磁帶，磁帶磁磁碟儲存或其他磁性儲存設備或任何其他非傳輸媒體，可用於儲存可以被計算設備存取的資訊。本領域技術人員在考慮說明書及實踐這裡申請的發明後，將容易想到本說明書的其它實施方案。本說明書意於涵蓋本說明書的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本說明書的一般性原理並包括本說明書未申請的本技術領域中的眾所皆知常識或慣用技術手段。說明書和實施例僅被視為範例性的，本說明書的真正範圍和精神由下面的申請專利範圍指出。應當理解的是，本說明書並不局限於上面已經描述並在圖式中顯示的精確結構，並且可以在不脫離其範圍進行各種修改和改變。本說明書的範圍僅由所附的申請專利範圍來限制。以上所述僅為本說明書的較佳實施例而已，並不用以限制本說明書，凡在本說明書的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本說明書保護的範圍之內。

102-106‧‧‧步驟 202-210‧‧‧步驟 410‧‧‧處理器 420‧‧‧網路介面 430‧‧‧記憶體 431‧‧‧無人結算場景中異常檢測裝置 440‧‧‧非揮發性儲存器 52‧‧‧資料獲取模組 54‧‧‧異常檢測模組 56‧‧‧異常處理模組

此處的圖式被並入說明書中並構成本說明書的一部分，顯示了符合本說明書的實施例，並與說明書一起用於解釋本說明書的原理。圖1是本說明書根據一範例性實施例顯示的一種無人結算場景中異常檢測方法的流程圖。圖2是本說明書根據一範例性實施例顯示的另一種無人結算場景中異常檢測方法的流程圖。圖3是本說明書根據一範例性實施例顯示的一種異常檢測方法的應用場景示意圖。圖4是本說明書根據一範例性實施例顯示的一種無人結算場景中異常檢測裝置所在電腦設備的一種硬體結構圖。圖5是本說明書根據一範例性實施例顯示的一種無人結算場景中異常檢測裝置的方塊圖。

Claims

一種無人結算場景中異常檢測方法，在無人結算場景中設有拍攝區域至少包括檢測區域的深度攝影設備，所述檢測區域是結算前對待結算商品進行檢測的區域，所述方法包括：獲取深度攝影設備中的圖像資料，所述圖像資料包括深度圖像和RGB圖像；利用所述圖像資料對進入檢測區域的人體物件進行檢測，所述檢測包括手勢檢測，所述手勢檢測包括：對深度圖像進行連通區域分析獲得手部區域，對RGB圖像中與手部區域對應的區域進行手部骨架檢測，並根據檢測結果進行手勢識別；基於檢測結果確定預設異常條件滿足時，通知中控系統停止商品檢測，並觸發警告操作，所述異常條件包括：進入檢測區域的人體物件的手勢為預設異常手勢。
根據申請專利範圍第1項所述的方法，所述檢測還包括人數檢測，所述異常條件還包括：進入檢測區域的人體物件的人數大於預設人數臨界值。
根據申請專利範圍第2項所述的方法，所述人數檢測的步驟包括：根據背景模型和當前獲取的深度圖像，從所述深度圖像中獲取用於表示運動物件的前景圖像，所述背景模型基於利用在沒有運動物件經過檢測區域時獲得的深度圖像進行背景模組化獲得；若利用所述前景圖像判定運動物件為人體物件，結合深度圖像中的深度值對所述前景圖像進行連通區域分析，並根據分析結果獲得所述檢測區域內的人數。
根據申請專利範圍第1項所述的方法，所述深度圖像和RGB圖像是深度攝影設備在同一時刻採集同一場景獲得，所述手勢檢測的步驟包括：根據背景模型和當前獲取的深度圖像，從所述深度圖像中獲取用於表示運動物件的前景圖像，所述背景模型基於利用在沒有運動物件經過檢測區域時獲得的深度圖像進行背景模組化獲得；若利用所述前景圖像判定運動物件為人體物件，結合深度圖像中的深度值對所述前景圖像進行連通區域分析，並根據分析結果將所述前景圖像中的人體區域進行分割，獲得表徵獨立人體的連通區域；結合深度圖像中的連通區域、以及RGB圖像中與連通區域相應的區域，確定人體物件的手勢。
根據申請專利範圍第4項所述的方法，所述結合深度圖像中的連通區域、以及RGB圖像中與連通區域相應的區域，確定人體物件的手勢，包括：對深度圖像中表徵獨立人體的連通區域進行人體手部定位；若獲得手部區域，則對RGB圖像中與所述手部區域對應的區域進行手部骨架檢測，並根據檢測結果確定人體物件的手勢；若未獲得手部區域，則根據深度圖像中表徵獨立人體的連通區域，獲取對應RGB圖像的獨立人體區域，對RGB圖像中獨立人體區域進行手部骨架檢測，並根據檢測結果確定人體物件的手勢。
根據申請專利範圍第1至5項中任一項所述的方法，所述方法還包括以下一種或多種方式：利用深度圖像檢測到有人體物件進入無人體物件的檢測區域時，通知中控系統開始商品檢測；利用深度圖像檢測到當前人體物件離開、且未存在其他人體物件進入檢測區域時，通知中控系統停止商品檢測。
一種無人結算場景中異常檢測裝置，在無人結算場景中設有拍攝區域至少包括檢測區域的深度攝影設備，所述檢測區域是結算前對待結算商品進行檢測的區域，所述裝置包括：資料獲取模組，用於：獲取深度攝影設備中的圖像資料，所述圖像資料包括深度圖像和RGB圖像；異常檢測模組，用於：利用所述圖像資料對進入檢測區域的人體物件進行檢測，所述檢測包括手勢檢測，所述手勢檢測包括：對深度圖像進行連通區域分析獲得手部區域，對RGB圖像中與手部區域對應的區域進行手部骨架檢測，並根據檢測結果進行手勢識別；異常處理模組，用於：基於檢測結果確定預設異常條件滿足時，通知中控系統停止商品檢測，並觸發警告操作，所述異常條件包括：進入檢測區域的人體物件的手勢為預設異常手勢。
根據申請專利範圍第7項所述的方法，所述檢測還包括人數檢測，所述異常條件還包括：進入檢測區域的人體物件的人數大於預設人數臨界值。
根據申請專利範圍第8項所述的裝置，所述異常檢測模組用於：根據背景模型和當前獲取的深度圖像，從所述深度圖像中獲取用於表示運動物件的前景圖像，所述背景模型基於利用在沒有運動物件經過檢測區域時獲得的深度圖像進行背景模組化獲得；若利用所述前景圖像判定運動物件為人體物件，結合深度圖像中的深度值對所述前景圖像進行連通區域分析，並根據分析結果獲得所述檢測區域內的人數。
根據申請專利範圍第7項所述的裝置，所述深度圖像和RGB圖像是深度攝影設備在同一時刻採集同一場景獲得，所述異常檢測模組用於：根據背景模型和當前獲取的深度圖像，從所述深度圖像中獲取用於表示運動物件的前景圖像，所述背景模型基於利用在沒有運動物件經過檢測區域時獲得的深度圖像進行背景模組化獲得；若利用所述前景圖像判定運動物件為人體物件，結合深度圖像中的深度值對所述前景圖像進行連通區域分析，並根據分析結果將所述前景圖像中的人體區域進行分割，獲得表徵獨立人體的連通區域；結合深度圖像中的連通區域、以及RGB圖像中與連通區域相應的區域，確定人體物件的手勢。
根據申請專利範圍第10項所述的裝置，所述異常檢測模組具體用於：對深度圖像中表徵獨立人體的連通區域進行人體手部定位；若獲得手部區域，則對RGB圖像中與所述手部區域對應的區域進行手部骨架檢測，並根據檢測結果確定人體物件的手勢；若未獲得手部區域，則根據深度圖像中表徵獨立人體的連通區域，獲取對應RGB圖像的獨立人體區域，對RGB圖像中獨立人體區域進行手部骨架檢測，並根據檢測結果確定人體物件的手勢。
根據申請專利範圍第7至11項中任一項所述的裝置，所述異常處理模組，還用於執行以下一種或多種處理：利用深度圖像檢測到有人體物件進入無人體物件的檢測區域時，通知中控系統開始商品檢測；利用深度圖像檢測到當前人體物件離開、且未存在其他人體物件進入檢測區域時，通知中控系統停止商品檢測。
一種電腦設備，包括儲存器、處理器及儲存在儲存器上並可在處理器上運行的電腦程式，在無人結算場景中設有拍攝區域至少包括檢測區域的深度攝影設備，所述檢測區域是結算前對待結算商品進行檢測的區域，其中，所述處理器執行所述程式時實現如下方法：獲取深度攝影設備中的圖像資料，所述圖像資料包括深度圖像和RGB圖像；利用所述圖像資料對進入檢測區域的人體物件進行檢測，所述檢測包括手勢檢測，所述手勢檢測包括：對深度圖像進行連通區域分析獲得手部區域，對RGB圖像中與手部區域對應的區域進行手部骨架檢測，並根據檢測結果進行手勢識別；基於檢測結果確定預設異常條件滿足時，通知中控系統停止商品檢測，並觸發警告操作，所述異常條件包括：進入檢測區域的人體物件的手勢為預設異常手勢。