互動行為檢測方法、裝置、系統及設備
本說明書有關檢測技術領域,尤其有關互動行為檢測方法、裝置、系統及設備。
隨著社會經濟的快速發展,各種各樣的貨物(又可以稱為物品、商品等)琳琅滿目。展示貨物的方式有很多種,在線上場所可以透過貨物圖片等方式實現展示貨物;在超市、商場等線下場所,可以透過在貨架上擺放貨物以實現展示貨物。線上下場所中,移動物件與貨物接觸時,不僅可以體現出移動物件對貨物感興趣,還可以提示商家該貨物可能被移動物件拿走,以便商家決定是否需要進行貨物補充或改進物品擺放等。移動物件可以是顧客,也可以是受顧客控制的機器人等物件。鑒於此,提供一種可靠地確定移動物件是否與貨物接觸的方案顯得尤為重要。
為克服相關技術中存在的問題,本說明書提供了互動行為檢測方法、裝置、系統及設備。
一種互動行為檢測系統,所述系統包括深度攝像設備和處理設備,所述深度攝像設備設於貨架上方、且所述深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域;
所述深度攝像設備用於:以指定角度拍攝包括貨架和指定通道區域的待檢測深度影像,所述深度影像中包括像素點所對應實際物件相對於深度攝像設備所在平面的深度資訊;
所述處理設備用於:從深度攝像設備中獲取所述待檢測深度影像;從所述待檢測深度影像中提取用於表示移動物件的前景影像,並基於所述前景影像獲得移動物件的空間座標資訊;將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物;其中,所述貨層的空間座標資訊基於背景深度影像獲得,所述背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。
在一個可選的實作中,所述處理設備還用於預先確定貨架中貨層的空間座標資訊,包括:
獲取深度攝像設備以指定角度拍攝的、且不存在前景影像的第一背景深度影像集合;
確定第一背景深度影像集合中貨層邊緣線;
基於所述深度攝像設備的相機標定法,將所述貨層邊緣線的像素點座標進行轉換,獲得貨層實際空間座標資訊中的其中兩軸空間座標資訊;
針對同層貨層邊緣線,將所述貨層邊緣線各像素點的深度資訊進行聚類,獲得所述貨層實際空間座標資訊中第三軸空間座標資訊。
在一個可選的實作中,所述處理設備確定第一背景深度影像集合中貨層邊緣線,包括:
對所述第一背景深度影像集合進行預處理,預處理至少包括影像平均和影像消除雜訊;
將預處理後的影像進行邊緣檢測;
以預設角度對邊緣檢測獲得的影像進行直線檢測,並過濾低於預設長度閾值的直線,獲得第一背景深度影像集合中貨層邊緣線,所述預設角度基於深度攝像設備與貨架的相對位置關係確定。
在一個可選的實作中,所述處理設備從所述待檢測深度影像中提取用於表示移動物件的前景影像,包括:
獲取背景影像,所述背景影像基於第二背景深度影像集合進行背景建模獲得,所述第二背景深度影像集合是深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像集合;
將所述待檢測深度影像與所述背景影像進行對比,從所述待檢測深度影像中抽取用於表示移動物件的前景影像。
在一個可選的實作中,所述移動物件的空間座標資訊包括移動物件中與貨架距離最近的部分的空間座標資訊,所述處理設備基於所述前景影像獲得移動物件的空間座標資訊,包括:
基於所述深度攝像設備的相機標定法,對所述前景影像中與貨架距離最近的部分的像素點座標進行座標轉換,獲得移動物件中與貨架距離最近的部分的其中兩軸空間座標資訊;
根據所述前景影像中與貨架距離最近的部分的像素點的深度資訊,確定移動物件中與貨架距離最近的部分的第三軸空間座標資訊。
在一個可選的實作中,所述貨架中同一層貨層所擺放的貨物相同,所述處理設備用於將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物,包括:
基於所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊,利用空間座標資訊中由像素點座標轉換獲得的兩軸空間座標資訊確定移動物件是否伸入貨架,利用空間座標資訊中由深度資訊轉換獲得的第三軸空間座標資訊確定移動物件伸入貨架的貨層;
根據預設的貨層與貨物的對應關係,將所確定貨層對應的貨物確定為所述移動對象所接觸的貨物。
一種互動行為檢測方法,所述方法包括:
從深度攝像設備中獲取所述待檢測深度影像;所述深度攝像設備設於貨架上方、且所述深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域;
從所述待檢測深度影像中提取用於表示移動物件的前景影像,並基於所述前景影像獲得移動物件的空間座標資訊;
將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物;所述貨層的空間座標資訊基於背景深度影像獲得,所述背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。
在一個可選的實作中,所述貨架中貨層的空間座標資訊的預確定過程,包括:
獲取深度攝像設備以指定角度拍攝的、且不存在前景影像的第一背景深度影像集合;
確定第一背景深度影像集合中貨層邊緣線;
基於所述深度攝像設備的相機標定法,將所述貨層邊緣線的像素點座標進行轉換,獲得貨層實際空間座標資訊中的其中兩軸空間座標資訊;
針對同層貨層邊緣線,將所述貨層邊緣線各像素點的深度資訊進行聚類,獲得所述貨層實際空間座標資訊中第三軸空間座標資訊。
在一個可選的實作中,所述確定第一背景深度影像集合中貨層邊緣線,包括:
對所述第一背景深度影像集合進行預處理,預處理至少包括影像平均和影像消除雜訊;
將預處理後的影像進行邊緣檢測;
以預設角度對邊緣檢測獲得的影像進行直線檢測,並過濾低於預設長度閾值的直線,獲得第一背景深度影像集合中貨層邊緣線,所述預設角度基於深度攝像設備與貨架的相對位置關係確定。
在一個可選的實作中,所述從所述待檢測深度影像中提取用於表示移動物件的前景影像,包括:
獲取背景影像,所述背景影像基於第二背景深度影像集合進行背景建模獲得,所述第二背景深度影像集合是深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像集合;
將所述待檢測深度影像與所述背景影像進行對比,從所述待檢測深度影像中抽取用於表示移動物件的前景影像。
在一個可選的實作中,所述方法還包括:
將從相鄰待檢測深度影像中提取出的前景影像進行前景位置比較,所述相鄰待檢測深度影像是深度攝像設備在相鄰時間拍攝的待檢測深度影像;
將相鄰待檢測深度影像中距離最近的一組前景確定為相同前景,並獲得該前景所對應移動對象的移動軌跡。
在一個可選的實作中,所述移動物件的空間座標資訊包括移動物件中與貨架距離最近的部分的空間座標資訊,所述基於所述前景影像獲得移動物件的空間座標資訊,包括:
基於所述深度攝像設備的相機標定法,對所述前景影像中與貨架距離最近的部分的像素點座標進行座標轉換,獲得移動物件中與貨架距離最近的部分的其中兩軸空間座標資訊;
根據所述前景影像中與貨架距離最近的部分的像素點的深度資訊,確定移動物件中與貨架距離最近的部分的第三軸空間座標資訊。
在一個可選的實作中,所述貨架中同一層貨層所擺放的貨物相同,所述將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物,包括:
基於所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊,利用空間座標資訊中由像素點座標轉換獲得的兩軸空間座標資訊確定移動物件是否伸入貨架,利用空間座標資訊中由深度資訊轉換獲得的第三軸空間座標資訊確定移動物件伸入貨架的貨層;
根據預設的貨層與貨物的對應關係,將所確定貨層對應的貨物確定為所述移動對象所接觸的貨物。
一種互動行為檢測裝置,所述裝置包括:
影像獲取模組,用於從深度攝像設備中獲取所述待檢測深度影像;所述深度攝像設備設於貨架上方、且所述深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域;
前景提取模組,用於從所述待檢測深度影像中提取用於表示移動物件的前景影像;
座標確定模組,用於基於所述前景影像獲得移動物件的空間座標資訊;
互動貨物確定模組,用於將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物;
其中,所述貨層的空間座標資訊基於背景深度影像獲得,所述背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。
一種電腦設備,包括:
處理器;
用於儲存處理器可執行指令的記憶體;
其中,所述處理器被配置為:
從深度攝像設備中獲取所述待檢測深度影像;所述深度攝像設備設於貨架上方、且所述深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域;
從所述待檢測深度影像中提取用於表示移動物件的前景影像,並基於所述前景影像獲得移動物件的空間座標資訊;
將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物;所述貨層的空間座標資訊基於背景深度影像獲得,所述背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。
本說明書的實施例提供的技術方案可以包括以下有益效果:
本說明書實施例透過獲取由深度攝像設備拍攝的待檢測深度影像,從待檢測深度影像中提取用於表示移動物件的前景影像,並基於前景影像獲得移動物件的空間座標資訊,將移動物件的空間座標資訊與貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定移動物件所接觸的貨物,無需在每個貨層的每個位置設置壓力感測器即可知道移動對象接觸的貨物,節約了維護成本。
應當理解的是,以上的一般描述和後文的細節描述僅是示例性和解釋性的,並不能限制本說明書。
這裡將詳細地對示例性實施例進行說明,其示例表示在圖式中。下面的描述涉及圖式時,除非另有表示,不同圖式中的相同數字表示相同或相似的要素。以下示例性實施例中所描述的實施方式並不代表與本說明書相一致的所有實施方式。相反地,它們僅是與如所附申請專利範圍中所詳述的、本說明書的一些態樣相一致的裝置和方法的例子。
在本說明書使用的術語是僅僅出於描述特定實施例的目的,而非旨在限制本說明書。在本說明書和所附申請專利範圍中所使用的單數形式的“一種”、“所述”和“該”也旨在包括多數形式,除非上下文清楚地表示其他含義。還應當理解,本文中使用的術語“和/或”是指並包含一個或多個相關聯的列出專案的任何或所有可能組合。
應當理解,儘管在本說明書可能採用術語第一、第二、第三等來描述各種資訊,但這些資訊不應限於這些術語。這些術語僅用來將同一類型的資訊彼此區分開。例如,在不脫離本說明書範圍的情況下,第一資訊也可以被稱為第二資訊,類似地,第二資訊也可以被稱為第一資訊。取決於語境,如在此所使用的詞語“如果”可以被解釋成為“在……時”或“當……時”或“回應於確定”。
線上下場所往往透過在貨架上擺放貨物以實現展示貨物,而線上下場所中,移動物件與貨物接觸時,不僅可以體現出移動物件對貨物感興趣,還可以提示商家該貨物可能被移動物件拿走,以便商家決定是否需要進行貨物補充或改進物品擺放等。
鑒於此,本說明書提供一種互動行為檢測系統,透過搭建的包括深度攝像設備和處理設備的互動行為檢測系統,可以確定移動物件所接觸的貨物。以下結合圖式對本說明書實施例進行示例說明。
如圖1A所示,圖1A為本說明書根據一示例性實施例顯示的一種互動行為檢測系統的結構示意圖。在該示意圖中,互動行為檢測系統包括深度攝像設備110和處理設備120。所述深度攝像設備110設於貨架上方、且所述深度攝像設備110的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域。
其中,指定通道區域可以是移動物件為獲取貨架上貨物所需的通道。貨層外邊緣又可以稱為貨層外邊沿,是貨層邊緣中面向通道的邊緣。移動物件站在通道上並面向貨架時可見以及可接觸該貨層外邊緣。貨層外邊緣的邊緣線可以為直線或近似直線。
在其中一種情況中,某些貨架只有一面面向移動物件/通道、並在該面將貨物面向通道進行展示,其他幾面可能靠牆或連接其他貨架而導致隱藏。如圖1B所示,圖1B為本說明書根據一示例性實施例顯示的一種貨層外邊緣示意圖。該示意圖以貨架只有一面面向通道為例,對貨層外邊緣進行示例說明。深度攝像設備的拍攝範圍至少包括貨架外邊緣以及通道所在區域(指定通道區域)。
在另一些情況中,某些貨架至少有兩面可以面向通道、並在該面將貨物面向通道進行展示,因此,移動物件可以從貨架的不同面獲取貨物。在一個例子中,為了更好地滿足深度攝像設備的拍攝範圍要求,可以針對不同通道設置對應的深度攝像設備,以實現深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域。例如,貨架A面上的貨層外邊緣A面向通道A,貨架B面上的貨層外邊緣B面向通道B。在貨架上方可以設置深度攝像設備A和深度攝像設備B,深度攝像設備A的拍攝範圍至少包括貨層外邊緣A和通道A,深度攝像設備B的拍攝範圍至少包括貨層外邊緣B和通道B。
關於同一深度攝像設備拍攝的貨架的數量,可以是一個,也可以是多個,貨架個數可以基於深度攝像設備的拍攝範圍以及貨架尺寸而定,以達到深度攝像設備至少可以拍攝到貨架每層貨層外邊緣以及與該貨架對應的通道。進一步地,深度攝像設備還可以拍攝到貨架頂面,進而便於獲得從上向下俯視貨架的貨架平面圖。
在一個例子中,深度攝像設備與貨架的相對位置關係可以是:深度攝像設備與貨層外邊緣所在平面的垂直距離的範圍可以為30cm~50cm,深度攝像設備與地面的垂直距離的範圍可以為2.6m~3m。透過深度攝像設備,自上而下可以觀察到移動物件的頭部、肩部以及手臂等。
移動物件可以是可能與貨物互動的物件,例如,移動物件可以是顧客,也可以是受顧客控制的機器人,還可以是商家等物件。
深度攝像設備是可以探測深度的攝像設備,以便獲得深度影像中包括像素點所對應實際物件相對於深度攝像設備所在平面的深度資訊(距離資訊)。例如,深度攝像設備可以是結構光攝像設備,以便實現利用結構光攝像設備測距。在深度影像中,可以利用每個像素點的灰度值表示該像素點所對應實際物件相對於深度攝像設備所在平面的深度資訊。關於像素點所對應實際物件,可以是深度影像中每個像素點對應實景的部分。其中,深度影像是利用深度攝像設備拍攝實景獲得的影像。
該檢測系統中,深度攝像設備可以用於以指定角度拍攝包括貨架和指定通道區域的待檢測深度影像。深度攝像設備可以在檢測條件滿足時按一定頻率進行檢測,獲得待檢測深度影像。檢測條件可以是深度攝像設備啟動、設定檢測時間達到、接收到檢測指令等條件。所述處理設備可以用於:從深度攝像設備中獲取所述待檢測深度影像;從所述待檢測深度影像中提取用於表示移動物件的前景影像,並基於所述前景影像獲得移動物件的空間座標資訊;將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物;其中,所述貨層的空間座標資訊基於背景深度影像獲得,所述背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。
其中,由於前景影像從待檢測深度影像中提取,因此,前景影像中也包括像素點所對應實際物件相對於深度攝像設備所在平面的深度資訊,即移動物件的深度資訊。又由於深度影像中像素點座標可以表示被拍攝物件(實景)另外兩軸的位置關係,因此,可以基於前景影像獲得移動物件的空間座標資訊。貨架中貨層的空間座標資訊往往不會變動,因此可以預先確定並儲存。在獲得移動物件的深度資訊後,可以將移動物件的空間座標資訊與貨架中貨層的空間座標資訊進行座標比較,進而可以確定移動物件接觸的貨層以及接觸該貨層的相對位置,又由於可以獲取貨層與貨物的對應關係,因此可以獲得移動物件所接觸的貨物。
由上述實施例可見,透過從按一定策略設置的深度攝像設備中獲取待檢測深度影像,進行相應處理後,可以確定移動物件所接觸的貨物,無需在每個貨層的每個位置設置壓力感測器即可知道移動對象接觸的貨物,節約了維護成本,同時明確移動物件與所接觸貨物的對應關係,便於後續的預測處理。
在一個例子中,可以基於移動物件所接觸的貨物預測移動物件的偏好,以實現對該移動物件進行分析。例如,可以根據分析結果為該移動物件進行定制化服務。例如,基於所述偏好向該移動物件推薦相關資訊。
在另一個例子中,可以基於移動物件所接觸的貨物預測所述貨物是否被移動對象取走,以提醒商家進行補貨或者自動補貨。進一步的,可以在貨架中設置壓力感測器,透過壓力感測器檢測移動物件接觸貨物前和接觸貨物後貨架的重量變化,從而進一步判斷移動物件是否取走貨物。由於無需在每種貨物下設置壓力感測器,既可以節約硬體成本和維護成本,同時還可以提高判斷的準確性。
在另一個例子中,還可以基於接觸貨物的移動物件的數量重新規劃貨物的擺放位置,以實現將更受歡迎的貨物擺放在更顯眼的位置,達到更好的展示效果,便於移動物件快速獲得期望的貨物。
可以理解的是,還可以將獲得移動物件所接觸貨物應用在其他應用情況中,在此不再一一贅述。
接下來對如何利用待檢測深度影像確定移動物件所接觸貨物進行示例說明。
貨架中貨層的空間座標資訊可以預先確定。在一個可選的實作中,可以基於設定攝像設備拍攝的背景影像,將背景影像中表示貨層部分的像素點進行轉換,獲得貨層的空間座標資訊。例如,預先確定貨架中貨層的空間座標資訊,包括:
獲取深度攝像設備以指定角度拍攝的、且不存在前景影像的第一背景深度影像集合;
確定第一背景深度影像集合中貨層邊緣線;
基於所述深度攝像設備的相機標定法,將所述貨層邊緣線的像素點座標進行轉換,獲得貨層實際空間座標資訊中的其中兩軸空間座標資訊;
針對同層貨層邊緣線,將所述貨層邊緣線各像素點的深度資訊進行聚類,獲得所述貨層實際空間座標資訊中第三軸空間座標資訊。
其中,第一背景深度影像集合包括至少一張背景深度影像。背景深度影像是深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。不存在前景影像表示指定通道區域內沒有移動物件。例如,在指定通道區域內沒有移動物件的情況下,將從深度攝像設備中獲取的深度影像構成第一背景深度影像集合。在一個例子中,如果背景固定不變,第一背景深度影像集合可以不進行更新。在另一個例子中,如果背景可能變更,則第一背景深度影像可以在更新條件滿足時進行更新。
由於深度攝像設備的拍攝範圍至少包括貨架每層貨層外邊緣以及指定通道區域,因此,可以確定第一背景深度影像集合中貨層邊緣線,特別是貨層外邊緣線。另外,為了具有可比性,深度攝像設備拍攝獲得背景深度影像的拍攝角度與拍攝獲得待檢測深度影像的拍攝角度相同。
作為其中一種確定第一背景深度影像集合中貨層邊緣線的方式,可以包括:
對所述第一背景深度影像集合進行預處理,預處理至少包括影像平均和影像消除雜訊;
將預處理後的影像進行邊緣檢測;
以預設角度對邊緣檢測獲得的影像進行直線檢測,並過濾低於預設長度閾值的直線,獲得第一背景深度影像集合中貨層邊緣線,所述預設角度基於深度攝像設備與貨架的相對位置關係確定。其中,預處理可以包括影像平均和影像消除雜訊等影像處理。影像平均可以是將集合中影像序列做平均,獲得平均影像。影像消除雜訊可以是減少影像中雜訊的過程。例如,影像消除雜訊可以是中值濾波。中值濾波是一種非線性數位濾波器技術,用於去除影像或者其它信號中的雜訊。中值濾波可以去除斑點雜訊和椒鹽雜訊等,並保存邊緣的特性,便於後續執行邊緣檢測。鑒於此,在一個例子中,可以將背景深度影像集合中的影像序列進行影像平均處理,將獲得的平均影像進行影像消除雜訊,獲得預處理後的影像。
邊緣檢測的目的可以是標識數位影像中亮度變化明顯的點。邊緣檢測可以大幅度地減少資料量,並且剔除認為不相關的資訊,保留影像重要的結構屬性。
在邊緣中可以進行預設角度的直線檢測,並過濾掉低於預設長度閾值的直線,從而獲得第一背景深度影像集合中貨層邊緣線。為了能提高直線檢測的準確性,根據深度攝像設備與貨架的相對位置關係,確定預設角度,以便進行固定角度的直線檢測。在一個例子中,預設長度閾值可以基於貨層邊緣實際長度以及深度攝像設備與貨架的相對位置關係確定,以便過濾一些明顯不是貨層邊緣線的直線。
可見,本實施例透過對集合中的影像進行影像平均處理、影像消除雜訊處理、邊緣檢測、直線檢測,可以提高獲得貨層邊緣線的準確性。
在獲得貨層邊緣線後,由於深度影像中像素點座標是二維座標,因此需要基於深度影像中貨層邊緣線的像素點座標資訊,轉換獲得貨層邊緣的實際空間座標資訊。空間座標資訊中的其中兩軸(X軸和Y軸)座標可以基於貨層邊緣線的像素點座標確定,空間座標資訊中的第三軸(Z軸)座標可以基於貨層邊緣線像素點的深度資訊確定。
實際應用中,在影像測量過程以及機器視覺應用中,為確定空間物體表面某點的三維幾何位置與其在影像中對應點之間的相互關係,可以建立相機成像的幾何模型,幾何模型參數即相機參數。在大多數條件下這些參數可以透過實驗與計算獲得,求解參數的過程就稱之為相機標定(或攝像機標定)。
本揭示實施例可以獲取深度攝像設備從不同視角拍攝的深度影像集合,利用深度影像集合進行相機標定,根據獲得的相機參數(包括相機內參)可以對貨層邊緣線的像素點座標進行轉換,獲得貨層實際空間座標資訊中的其中兩軸空間座標資訊。例如,X軸的空間座標資訊和Y軸的空間座標資訊。該過程可以稱為自動標定過程。可以理解的是,具體的相機標定法可以採用相關技術中的標定法,在此不做限定。
又由於每層貨層的高度往往相同,而貨層邊緣線像素點的深度資訊又可以體現貨層的高度,鑒於此,針對同層貨層邊緣線,將所述貨層邊緣線各像素點的深度資訊進行聚類,獲得所述貨層實際空間座標資訊中第三軸空間座標資訊。
可見,本實施例通過將背景深度影像中貨層邊緣線進行轉換,可以快速獲得貨層實際空間座標。
為了能獲得移動物件的空間座標資訊,可以從深度攝像設備中獲取待檢測深度影像,並從待檢測深度影像中提取用於表示移動物件的前景影像。作為其中一種提取前景影像的方式,可以透過將不包括移動物件的背景影像與包括移動物件的待檢測深度影像進行比較,從而獲得前景影像。採用這種方式,可以快速提取前景影像。鑒於此,在一個例子中,所述從所述待檢測深度影像中提取用於表示移動物件的前景影像,包括:
獲取背景影像,所述背景影像基於第二背景深度影像集合進行背景建模獲得,所述第二背景深度影像集合是深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像集合;
將待檢測深度影像與背景影像進行對比,從待檢測深度影像中抽取用於表示移動物件的前景影像。
其中,為了保證背景影像中的背景與待檢測深度影像中的背景相同,拍攝兩類影像的拍攝角度相同,即第二背景深度影像集合中深度影像以及待檢測深度影像均是深度攝像設備以指定角度拍攝獲得。第二背景深度影像集合中深度影像不包括移動物件,待檢測深度影像可能包括移動物件。
第二背景深度影像集合與第一背景深度影像集合可以為相同集合,也可以為不同集合。在背景建模相對於自動標定,往往需要更多的樣本,鑒於此,第一背景深度影像集合可以是第二背景深度影像集合的子集。例如將第二背景深度影像集合中指定數量的背景深度影像作為第一背景深度影像。
背景影像可以預先基於第二背景深度影像集合進行背景建模獲得,例如,獲取深度攝像設備以指定角度拍攝的、且不存在前景影像的第二背景深度影像集合;利用所述第二背景深度影像集合進行背景建模,獲得背景影像。
在某些應用情況中,背景保持不變,因此,建模獲得背景影像後,可以進行儲存,便於後續提取前景影像使用。
而在某些應用情況中,背景可能存在變更的情況,鑒於此,所述背景影像在更新條件滿足時進行更新。例如,透過更新背景模型實現更新背景影像。更新條件可以是更新時間達到,更新頻次達到,檢測到有移動物件離開拍攝區域、且拍攝區域內沒有移動物件的持續時間達到預設時間等觸發條件。例如,在首次背景建模獲得背景影像後,若檢測到有移動物件離開拍攝區域、且拍攝區域內沒有移動物件的持續時間達到預設時間,從深度攝像設備中獲取此時刻以後拍攝的背景深度影像,獲得第二背景深度影像集合,並利用該第二背景深度影像集合更新背景影像。
如圖1C所示,圖1C為本說明書根據一示例性實施例顯示的一種背景影像更新示意圖。首次進行背景建模獲得背景影像後,可以進行互動檢測。在達到更新條件時,可以對背景影像進行更新。例如,在沒有移動目標或行人的情況下,從深度攝像設備中獲取指定數量(如300幀)的深度影像(將該集合作為第二背景深度影像集合),用來訓練背景模型,獲得背景影像。一段時間後,如果深度攝像設備所拍攝區域在指定時間段(如60s內)去背景雜訊後無移動對象,則用該指定時間段後深度攝像設備拍攝的指定數量的深度影像重新更新背景模型,獲得更新後的背景影像。
可以理解的是,還可以採用其他方式從待檢測深度影像中提取用於表示移動物件的前景影像,在此不一一列舉。
在獲得前景影像後,可以基於前景影像獲得移動物件的空間座標資訊。由於前景影像中的座標是像素點座標,為了獲得移動物件的空間座標資訊,可以將前景影像中的像素點座標進行轉換,獲得移動物件的空間座標資訊。將移動物件的空間座標資訊與貨架中貨層的空間座標資訊進行座標比較,目的是為了判斷移動物件所接觸的貨物,鑒於此,可以僅基於前景影像獲得移動物件中與貨架距離最近的部分的空間座標資訊。例如,移動物件往往利用手部去接觸貨物,因此,移動物件中與貨架距離最近的部分可以是手部部分。鑒於此,無需獲得移動物件整體的空間座標資訊,僅獲得移動物件中與貨架距離最近的部分的空間座標資訊,可以提高空間座標資訊的獲得效率。例如,所述移動物件的空間座標資訊包括移動物件中與貨架距離最近的部分的空間座標資訊,所述處理設備基於所述前景影像獲得移動物件的空間座標資訊,包括:
基於所述深度攝像設備的相機標定法,對所述前景影像中與貨架距離最近的部分的像素點座標進行座標轉換,獲得移動物件中與貨架距離最近的部分的其中兩軸空間座標資訊;
根據所述前景影像中與貨架距離最近的部分的像素點的深度資訊,確定移動物件中與貨架距離最近的部分的第三軸空間座標資訊。
其中,其中兩軸空間座標資訊可以是X軸空間座標資訊和Y軸空間座標資訊,第三種空間座標資訊可以是Z軸空間座標資訊。
在獲得移動物件的空間座標資訊與貨架中貨層的空間座標資訊後,可以將移動物件的空間座標資訊與貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物。
在其中一種應用情況中,所述貨架中同一層貨層所擺放的貨物相同,所述處理設備用於將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物,可以包括:
基於所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊,利用空間座標資訊中由像素點座標轉換獲得的兩軸空間座標資訊確定移動物件是否伸入貨架,利用空間座標資訊中由深度資訊轉換獲得的第三軸空間座標資訊確定移動物件伸入貨架的貨層;
根據預設的貨層與貨物的對應關係,將所確定貨層對應的貨物確定為所述移動對象所接觸的貨物。
由於每層貨物相同,因此,只要確定移動物件是否伸入貨架、以及所伸入貨架的貨層,即可確定移動物件所接觸的貨物,從而可以提高判斷準確性。
檢測移動對象最靠近貨架方向的點,例如,手部指尖區域上的點。根據該點的空間座標資訊以及貨層的空間座標資訊,確定指尖是否穿過貨架平面。如圖1D所示,圖1D為本說明書根據一示例性實施例顯示的一種移動物件與貨架互動檢測示意圖。若在自動標定過程中,貨架平面y=Y0,再根據指尖的座標F=(xf, yf, zf),假如yf>=Y0,則判定移動對象已經接觸到貨架。通過深度攝像設備獲取指尖的深度資訊,比較指尖F=(xf,yf,zf)和貨層高度的關係從而確定互動的貨層。再根據貨品在貨層的擺放關係,最後確定移動物件取走的商品。H0為貨架底部的深度,則zf-H0<=S0,判定為第一層,S0<zf-H0<=S1,判定為第二層,S1<zf-H0<=S2,則判定為第三層,依此類推。
在另一個應用情況中,所述貨架中同一層貨層所擺放的貨物不同。不同貨物擺放在一起,獲得貨物擺放位置範圍以及擺放貨層的對應關係,因此在確定移動物件的空間座標資訊與貨架中貨層的空間座標資訊後,可以基於移動物件的空間座標資訊與貨架中貨層的空間座標資訊,利用空間座標資訊中由像素點座標轉換獲得的兩軸空間座標資訊(X軸空間座標資訊和Y軸空間座標資訊)確定移動物件是否伸入貨架以及伸入貨架的具體區域,利用空間座標資訊中由深度資訊轉換獲得的第三軸空間座標資訊(Z軸空間座標資訊)確定移動物件伸入貨架的貨層,並根據貨物名稱、貨物擺放位置範圍以及擺放貨層的對應關係,確定移動物件所接觸的貨物。
在實際應用中,在指定區域可能不止一個移動物件,為了能統計同一個移動物件在整個過程中所接觸的貨物,可以確定移動物件的移動軌跡。在一個可選的實作中,可以將從相鄰待檢測深度影像中提取出的前景影像進行前景位置比較,所述相鄰待檢測深度影像是深度攝像設備在相鄰時間拍攝的待檢測深度影像;將相鄰待檢測深度影像中距離最近的一組前景確定為相同前景,並獲得該前景所對應移動對象的移動軌跡。
其中,針對相鄰待檢測深度影像,由於兩張待檢測深度影像採集的間隔時間較短,移動物件的移動距離較短,因此,將兩張相鄰待檢測深度影像進行比較,相同前景的距離較近,可以將相鄰待檢測深度影像中距離最近的一組前景確定為相同前景,即判定該組前景是同一個移動物件在不同時刻被拍攝後的前景。
進一步地,在提取前景影像後,還可以過濾小於指定區域的聯通區域,從而獲得僅包括移動物件的前景影像。如圖1E所示,圖1E為本說明書根據一示例性實施例顯示的一種移動物件檢測示意圖。如圖1F所示,圖1F為本說明書根據一示例性實施例顯示的一種移動物件匹配追蹤示意圖。獲得背景影像後,可以將背景影像與即時影像(待檢查深度影像)進行比較,從即時影像中進行前景抽取,獲得前景影像。移動物件的匹配追蹤可以通過比較每一幀聯通區域中心的最小距離來實現。例如1、2是第一幀影像中的聯通區域,3、4是第二幀影像中的聯通區域。分別比較1,3和2,3距離,可以確定1是3的上一幀位置。同理2是4上一幀的位置。因此,可以獲得不同移動物件的移動軌跡。
以上實施方式中的各種技術特徵可以任意進行組合,只要特徵之間的組合不存在衝突或矛盾,但是限於篇幅,未進行一一描述,因此上述實施方式中的各種技術特徵的任意進行組合也屬於本說明書揭示的範圍。
與前述互動行為檢測系統的實施例相對應,本說明書還提供了互動行為檢測方法的實施例。
如圖2所示,圖2為本說明書互動行為檢測方法的一個實施例流程圖,該方法可以包括以下步驟201至步驟204:
在步驟201中,從深度攝像設備中獲取所述待檢測深度影像;所述深度攝像設備設於貨架上方、且所述深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域;
在步驟202中,從所述待檢測深度影像中提取用於表示移動物件的前景影像;
在步驟203中,基於所述前景影像獲得移動物件的空間座標資訊;
在步驟204中,將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物;所述貨層的空間座標資訊基於背景深度影像獲得,所述背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。
由上述實施例可見,透過獲取有深度攝像設備拍攝的待檢測深度影像,從待檢測深度影像中提取用於表示移動物件的前景影像,並基於前景影像獲得移動物件的空間座標資訊,將移動物件的空間座標資訊與貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定移動物件所接觸的貨物,無需在每個貨層的每個位置設置壓力感測器即可知道移動對象接觸的貨物,節約了維護成本,同時明確移動物件與所接觸貨物的對應關係,便於後續的預測處理。
在一個可選的實作中,所述貨架中貨層的空間座標資訊的預確定過程,包括:
獲取深度攝像設備以指定角度拍攝的、且不存在前景影像的第一背景深度影像集合;
確定第一背景深度影像集合中貨層邊緣線;
基於所述深度攝像設備的相機標定法,將所述貨層邊緣線的像素點座標進行轉換,獲得貨層實際空間座標資訊中的其中兩軸空間座標資訊;
針對同層貨層邊緣線,將所述貨層邊緣線各像素點的深度資訊進行聚類,獲得所述貨層實際空間座標資訊中第三軸空間座標資訊。
在一個可選的實作中,所述確定第一背景深度影像集合中貨層邊緣線,包括:
對所述第一背景深度影像集合進行預處理,預處理至少包括影像平均和影像消除雜訊;
將預處理後的影像進行邊緣檢測;
以預設角度對邊緣檢測獲得的影像進行直線檢測,並過濾低於預設長度閾值的直線,獲得第一背景深度影像集合中貨層邊緣線,所述預設角度基於深度攝像設備與貨架的相對位置關係確定。
在一個可選的實作中,所述從所述待檢測深度影像中提取用於表示移動物件的前景影像,包括:
獲取背景影像,所述背景影像基於第二背景深度影像集合進行背景建模獲得,所述第二背景深度影像集合是深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像集合;
將所述待檢測深度影像與所述背景影像進行對比,從所述待檢測深度影像中抽取用於表示移動物件的前景影像。
在一個可選的實作中,所述方法還包括:
將從相鄰待檢測深度影像中提取出的前景影像進行前景位置比較,所述相鄰待檢測深度影像是深度攝像設備在相鄰時間拍攝的待檢測深度影像;
將相鄰待檢測深度影像中距離最近的一組前景確定為相同前景,並獲得該前景所對應移動對象的移動軌跡。
在一個可選的實作中,所述移動物件的空間座標資訊包括移動物件中與貨架距離最近的部分的空間座標資訊,所述基於所述前景影像獲得移動物件的空間座標資訊,包括:
基於所述深度攝像設備的相機標定法,對所述前景影像中與貨架距離最近的部分的像素點座標進行座標轉換,獲得移動物件中與貨架距離最近的部分的其中兩軸空間座標資訊;
根據所述前景影像中與貨架距離最近的部分的像素點的深度資訊,確定移動物件中與貨架距離最近的部分的第三軸空間座標資訊。
在一個可選的實作中,所述貨架中同一層貨層所擺放的貨物相同,所述將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物,包括:
基於所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊,利用空間座標資訊中由像素點座標轉換獲得的兩軸空間座標資訊確定移動物件是否伸入貨架,利用空間座標資訊中由深度資訊轉換獲得的第三軸空間座標資訊確定移動物件伸入貨架的貨層;
根據預設的貨層與貨物的對應關係,將所確定貨層對應的貨物確定為所述移動對象所接觸的貨物。
可以理解的是,本說明書實施例的互動行為檢測方法與前述互動行為檢測系統中處理設備的處理方法,相關技術相同,為了節約篇幅,在此不一一贅述。同時,以上實施方式中的各種技術特徵可以任意進行組合,只要特徵之間的組合不存在衝突或矛盾即可。
以下以其中一種組合進行示例說明。如圖3所示,圖3為本說明書互動行為檢測方法的另一個實施例流程圖,該方法可以應用於電子設備,包括以下步驟301至步驟306:
在步驟301中,從深度攝像設備中獲取所述待檢測深度影像;所述深度攝像設備設於貨架上方、且所述深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域。
在步驟302中,獲取背景影像。
其中,所述背景影像基於第二背景深度影像集合進行背景建模獲得,所述第二背景深度影像集合是深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像集合。
在步驟303中,將所述待檢測深度影像與所述背景影像進行對比,從所述待檢測深度影像中抽取用於表示移動物件的前景影像。
在步驟304中,基於前景影像中的像素點座標和深度資訊,確定移動物件中與貨架距離最近的部分的空間座標資訊。
其中,可以基於所述深度攝像設備的相機標定法,對所述前景影像中與貨架距離最近的部分的像素點座標進行座標轉換,獲得移動物件中與貨架距離最近的部分的其中兩軸空間座標資訊;根據所述前景影像中與貨架距離最近的部分的像素點的深度資訊,確定移動物件中與貨架距離最近的部分的第三軸空間座標資訊。
在步驟305中,根據移動物件中與貨架距離最近的部分的空間座標資訊、以及貨架中貨層的空間座標資訊,確定移動物件是否伸入貨架以及移動物件伸入貨架的貨層。
其中,基於所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊,利用空間座標資訊中由像素點座標轉換獲得的兩軸空間座標資訊確定移動物件是否伸入貨架,利用空間座標資訊中由深度資訊轉換獲得的第三軸空間座標資訊確定移動物件伸入貨架的貨層。
在步驟306中,根據預設的貨層與貨物的對應關係,將所確定貨層對應的貨物確定為所述移動對象所接觸的貨物。
其中,所述移動物件的空間座標資訊包括移動物件中與貨架距離最近的部分的空間座標資訊,所述貨架中同一層貨層所擺放的貨物相同,所述貨層的空間座標資訊基於背景深度影像獲得,所述背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。
與前述互動行為檢測方法的實施例相對應,本說明書還提供了互動行為檢測裝置及其所應用的電子設備的實施例。
本說明書互動行為檢測裝置的實施例可以應用在電腦設備。裝置實施例可以透過軟體來實現,也可以透過硬體或者軟硬體結合的方式來實現。以軟體實現為例,作為一個邏輯意義上的裝置,是透過其所在電腦設備的處理器將非易失性記憶體中對應的電腦程式指令讀取到記憶體中運行形成的。從硬體層面而言,如圖4所示,為本說明書互動行為檢測裝置所在電腦設備的一種硬體結構圖,除了圖4所示的處理器410、記憶體430、網路介面420、以及非易失性記憶體440之外,實施例中裝置431所在的電腦設備通常根據該設備的實際功能,還可以包括其他硬體,對此不再贅述。
如圖5所示,是本說明書根據一示例性實施例顯示的一種互動行為檢測裝置的方塊圖,所述裝置包括:
影像獲取模組510,用於從深度攝像設備中獲取所述待檢測深度影像;所述深度攝像設備設於貨架上方、且所述深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域;
前景提取模組520,用於從所述待檢測深度影像中提取用於表示移動物件的前景影像;
座標確定模組530,用於基於所述前景影像獲得移動物件的空間座標資訊;
互動貨物確定模組540,用於將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物;
其中,所述貨層的空間座標資訊基於背景深度影像獲得,所述背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。
在一個可選的實作中,所述裝置還包括資訊預確定模組(圖5未顯示),具體配置為:
獲取深度攝像設備以指定角度拍攝的、且不存在前景影像的第一背景深度影像集合;
確定第一背景深度影像集合中貨層邊緣線;
基於所述深度攝像設備的相機標定法,將所述貨層邊緣線的像素點座標進行轉換,獲得貨層實際空間座標資訊中的其中兩軸空間座標資訊;
針對同層貨層邊緣線,將所述貨層邊緣線各像素點的深度資訊進行聚類,獲得所述貨層實際空間座標資訊中第三軸空間座標資訊。
在一個可選的實作中,所述資訊預確定模組確定第一背景深度影像集合中貨層邊緣線,包括:
對所述第一背景深度影像集合進行預處理,預處理至少包括影像平均和影像消除雜訊;
將預處理後的影像進行邊緣檢測;
以預設角度對邊緣檢測獲得的影像進行直線檢測,並過濾低於預設長度閾值的直線,獲得第一背景深度影像集合中貨層邊緣線,所述預設角度基於深度攝像設備與貨架的相對位置關係確定。
在一個可選的實作中,所述前景提取模組520具體配置為:
獲取背景影像,所述背景影像基於第二背景深度影像集合進行背景建模獲得,所述第二背景深度影像集合是深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像集合;
將所述待檢測深度影像與所述背景影像進行對比,從所述待檢測深度影像中抽取用於表示移動物件的前景影像。
在一個可選的實作中,所述裝置還包括軌跡確定模組(圖5未顯示),用於:
將從相鄰待檢測深度影像中提取出的前景影像進行前景位置比較,所述相鄰待檢測深度影像是深度攝像設備在相鄰時間拍攝的待檢測深度影像;
將相鄰待檢測深度影像中距離最近的一組前景確定為相同前景,並獲得該前景所對應移動對象的移動軌跡。
在一個可選的實作中,所述移動物件的空間座標資訊包括移動物件中與貨架距離最近的部分的空間座標資訊,所述座標確定模組530具體用於:
基於所述深度攝像設備的相機標定法,對所述前景影像中與貨架距離最近的部分的像素點座標進行座標轉換,獲得移動物件中與貨架距離最近的部分的其中兩軸空間座標資訊;
根據所述前景影像中與貨架距離最近的部分的像素點的深度資訊,確定移動物件中與貨架距離最近的部分的第三軸空間座標資訊。
在一個可選的實作中,所述貨架中同一層貨層所擺放的貨物相同,所述互動貨物確定模組540具體用於:
基於所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊,利用空間座標資訊中由像素點座標轉換獲得的兩軸空間座標資訊確定移動物件是否伸入貨架,利用空間座標資訊中由深度資訊轉換獲得的第三軸空間座標資訊確定移動物件伸入貨架的貨層;
根據預設的貨層與貨物的對應關係,將所確定貨層對應的貨物確定為所述移動對象所接觸的貨物。
對於裝置實施例而言,由於其基本對應於方法實施例,所以相關之處參見方法實施例的部分說明即可。以上所描述的裝置實施例僅僅是示意性的,其中所述作為分離部件說明的模組可以是或者也可以不是物理上分開的,作為模組顯示的部件可以是或者也可以不是物理模組,即可以位於一個地方,或者也可以分佈到多個網路模組上。可以根據實際的需要選擇其中的部分或者全部模組來實現本說明書方案的目的。本領域普通技術人員在不付出創造性勞動的情況下,即可以理解並實施。
相應地,本說明書實施例還提供一種電腦設備,包括:處理器;用於儲存處理器可執行指令的記憶體;其中,所述處理器被配置為:
從深度攝像設備中獲取所述待檢測深度影像;所述深度攝像設備設於貨架上方、且所述深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域;
從所述待檢測深度影像中提取用於表示移動物件的前景影像,並基於所述前景影像獲得移動物件的空間座標資訊;
將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物;所述貨層的空間座標資訊基於背景深度影像獲得,所述背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。
本說明書中的各個實施例均採用漸進的方式描述,各個實施例之間相同相似的部分互相參見即可,每個實施例重點說明的都是與其他實施例的不同之處。尤其,對於設備實施例而言,由於其基本相似於方法實施例,所以描述得比較簡單,相關之處參見方法實施例的部分說明即可。
一種電腦儲存媒體,所述媒體儲存中儲存有程式指令,所述程式指令包括:
從深度攝像設備中獲取所述待檢測深度影像;所述深度攝像設備設於貨架上方、且所述深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域;
從所述待檢測深度影像中提取用於表示移動物件的前景影像,並基於所述前景影像獲得移動物件的空間座標資訊;
將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物;所述貨層的空間座標資訊基於背景深度影像獲得,所述背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。
本說明書實施例可採用在一個或多個其中包含有程式碼的儲存媒體(包括但不限於磁碟記憶體、CD-ROM、光學記憶體等)上實施的電腦程式產品的形式。電腦可用儲存媒體包括永久性和非永久性、可移動和非可移動媒體,可以由任何方法或技術來實現資訊儲存。資訊可以是電腦可讀指令、資料結構、程式的模組或其他資料。電腦的儲存媒體的例子包括但不限於:相變記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可擦除可程式設計唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、磁盒式磁帶,磁帶磁片儲存或其他磁性儲存設備或任何其他非傳輸介質,可用於儲存可以被計算設備訪問的資訊。
本領域技術人員在考慮說明書及實踐這裡申請的發明後,將容易想到本說明書的其它實施方案。本說明書旨在涵蓋本說明書的任何變型、用途或者適應性變化,這些變型、用途或者適應性變化遵循本說明書的一般性原理並包括本說明書未申請的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的,本說明書的真正範圍和精神由下面的申請專利範圍指出。
應當理解的是,本說明書並不侷限於上面已經描述並在圖式中顯示的精確結構,並且可以在不脫離其範圍進行各種修改和改變。本說明書的範圍僅由所附的申請專利範圍來限制。
以上所述僅為本說明書的較佳實施例而已,並不用以限制本說明書,凡在本說明書的精神和原則之內,所做的任何修改、等同替換、改進等,均應包含在本說明書保護的範圍之內。
110‧‧‧深度攝像設備
120‧‧‧處理設備
201‧‧‧方法步驟
202‧‧‧方法步驟
203‧‧‧方法步驟
204‧‧‧方法步驟
301‧‧‧方法步驟
302‧‧‧方法步驟
303‧‧‧方法步驟
304‧‧‧方法步驟
305‧‧‧方法步驟
306‧‧‧方法步驟
410‧‧‧處理器
420‧‧‧網路介面
430‧‧‧記憶體
431‧‧‧互動行為檢測裝置
440‧‧‧非易失性記憶體
510‧‧‧影像獲取模組
520‧‧‧前景提取模組
530‧‧‧座標確定模組
540‧‧‧互動貨物確定模組
此處的圖式被併入說明書中並構成本說明書的一部分,顯示了符合本說明書的實施例,並與說明書一起用於解釋本說明書的原理。
圖1A為本說明書根據一示例性實施例顯示的一種互動行為檢測系統的結構示意圖。
圖1B為本說明書根據一示例性實施例顯示的一種貨層外邊緣示意圖。
圖1C為本說明書根據一示例性實施例顯示的一種背景影像更新示意圖。
圖1D為本說明書根據一示例性實施例顯示的一種移動物件與貨架互動檢測示意圖。
圖1E為本說明書根據一示例性實施例顯示的一種移動物件檢測示意圖。
圖1F為本說明書根據一示例性實施例顯示的一種移動物件匹配追蹤示意圖。
圖2為本說明書互動行為檢測方法的一個實施例流程圖。
圖3為本說明書互動行為檢測方法的另一個實施例流程圖。
圖4為本說明書互動行為檢測裝置所在電腦設備的一種硬體結構圖。
圖5為本說明書根據一示例性實施例顯示的一種互動行為檢測裝置的方塊圖。