TWI694352B - 互動行為檢測方法、裝置、系統及設備 - Google Patents

互動行為檢測方法、裝置、系統及設備 Download PDF

Info

Publication number
TWI694352B
TWI694352B TW107145002A TW107145002A TWI694352B TW I694352 B TWI694352 B TW I694352B TW 107145002 A TW107145002 A TW 107145002A TW 107145002 A TW107145002 A TW 107145002A TW I694352 B TWI694352 B TW I694352B
Authority
TW
Taiwan
Prior art keywords
depth
image
coordinate information
shelf
moving object
Prior art date
Application number
TW107145002A
Other languages
English (en)
Other versions
TW201933048A (zh
Inventor
黃凱明
張曉博
傅春霖
蔡鴻博
陳力
周樂
曾曉東
林鋒
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201933048A publication Critical patent/TW201933048A/zh
Application granted granted Critical
Publication of TWI694352B publication Critical patent/TWI694352B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本說明書實施例提供一種互動行為檢測方法、裝置、系統及設備,所述方法包括:通過獲取有深度攝像設備拍攝的待檢測深度影像,從待檢測深度影像中提取用於表示移動物件的前景影像,並基於前景影像獲得移動物件的空間座標資訊,將移動物件的空間座標資訊與貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定移動物件所接觸的貨物。

Description

互動行為檢測方法、裝置、系統及設備
本說明書有關檢測技術領域,尤其有關互動行為檢測方法、裝置、系統及設備。
隨著社會經濟的快速發展,各種各樣的貨物(又可以稱為物品、商品等)琳琅滿目。展示貨物的方式有很多種,在線上場所可以透過貨物圖片等方式實現展示貨物;在超市、商場等線下場所,可以透過在貨架上擺放貨物以實現展示貨物。線上下場所中,移動物件與貨物接觸時,不僅可以體現出移動物件對貨物感興趣,還可以提示商家該貨物可能被移動物件拿走,以便商家決定是否需要進行貨物補充或改進物品擺放等。移動物件可以是顧客,也可以是受顧客控制的機器人等物件。鑒於此,提供一種可靠地確定移動物件是否與貨物接觸的方案顯得尤為重要。
為克服相關技術中存在的問題,本說明書提供了互動行為檢測方法、裝置、系統及設備。 一種互動行為檢測系統,所述系統包括深度攝像設備和處理設備,所述深度攝像設備設於貨架上方、且所述深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域; 所述深度攝像設備用於:以指定角度拍攝包括貨架和指定通道區域的待檢測深度影像,所述深度影像中包括像素點所對應實際物件相對於深度攝像設備所在平面的深度資訊; 所述處理設備用於:從深度攝像設備中獲取所述待檢測深度影像;從所述待檢測深度影像中提取用於表示移動物件的前景影像,並基於所述前景影像獲得移動物件的空間座標資訊;將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物;其中,所述貨層的空間座標資訊基於背景深度影像獲得,所述背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。 在一個可選的實作中,所述處理設備還用於預先確定貨架中貨層的空間座標資訊,包括: 獲取深度攝像設備以指定角度拍攝的、且不存在前景影像的第一背景深度影像集合; 確定第一背景深度影像集合中貨層邊緣線; 基於所述深度攝像設備的相機標定法,將所述貨層邊緣線的像素點座標進行轉換,獲得貨層實際空間座標資訊中的其中兩軸空間座標資訊; 針對同層貨層邊緣線,將所述貨層邊緣線各像素點的深度資訊進行聚類,獲得所述貨層實際空間座標資訊中第三軸空間座標資訊。 在一個可選的實作中,所述處理設備確定第一背景深度影像集合中貨層邊緣線,包括: 對所述第一背景深度影像集合進行預處理,預處理至少包括影像平均和影像消除雜訊; 將預處理後的影像進行邊緣檢測; 以預設角度對邊緣檢測獲得的影像進行直線檢測,並過濾低於預設長度閾值的直線,獲得第一背景深度影像集合中貨層邊緣線,所述預設角度基於深度攝像設備與貨架的相對位置關係確定。 在一個可選的實作中,所述處理設備從所述待檢測深度影像中提取用於表示移動物件的前景影像,包括: 獲取背景影像,所述背景影像基於第二背景深度影像集合進行背景建模獲得,所述第二背景深度影像集合是深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像集合; 將所述待檢測深度影像與所述背景影像進行對比,從所述待檢測深度影像中抽取用於表示移動物件的前景影像。 在一個可選的實作中,所述移動物件的空間座標資訊包括移動物件中與貨架距離最近的部分的空間座標資訊,所述處理設備基於所述前景影像獲得移動物件的空間座標資訊,包括: 基於所述深度攝像設備的相機標定法,對所述前景影像中與貨架距離最近的部分的像素點座標進行座標轉換,獲得移動物件中與貨架距離最近的部分的其中兩軸空間座標資訊; 根據所述前景影像中與貨架距離最近的部分的像素點的深度資訊,確定移動物件中與貨架距離最近的部分的第三軸空間座標資訊。 在一個可選的實作中,所述貨架中同一層貨層所擺放的貨物相同,所述處理設備用於將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物,包括: 基於所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊,利用空間座標資訊中由像素點座標轉換獲得的兩軸空間座標資訊確定移動物件是否伸入貨架,利用空間座標資訊中由深度資訊轉換獲得的第三軸空間座標資訊確定移動物件伸入貨架的貨層; 根據預設的貨層與貨物的對應關係,將所確定貨層對應的貨物確定為所述移動對象所接觸的貨物。 一種互動行為檢測方法,所述方法包括: 從深度攝像設備中獲取所述待檢測深度影像;所述深度攝像設備設於貨架上方、且所述深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域; 從所述待檢測深度影像中提取用於表示移動物件的前景影像,並基於所述前景影像獲得移動物件的空間座標資訊; 將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物;所述貨層的空間座標資訊基於背景深度影像獲得,所述背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。 在一個可選的實作中,所述貨架中貨層的空間座標資訊的預確定過程,包括: 獲取深度攝像設備以指定角度拍攝的、且不存在前景影像的第一背景深度影像集合; 確定第一背景深度影像集合中貨層邊緣線; 基於所述深度攝像設備的相機標定法,將所述貨層邊緣線的像素點座標進行轉換,獲得貨層實際空間座標資訊中的其中兩軸空間座標資訊; 針對同層貨層邊緣線,將所述貨層邊緣線各像素點的深度資訊進行聚類,獲得所述貨層實際空間座標資訊中第三軸空間座標資訊。 在一個可選的實作中,所述確定第一背景深度影像集合中貨層邊緣線,包括: 對所述第一背景深度影像集合進行預處理,預處理至少包括影像平均和影像消除雜訊; 將預處理後的影像進行邊緣檢測; 以預設角度對邊緣檢測獲得的影像進行直線檢測,並過濾低於預設長度閾值的直線,獲得第一背景深度影像集合中貨層邊緣線,所述預設角度基於深度攝像設備與貨架的相對位置關係確定。 在一個可選的實作中,所述從所述待檢測深度影像中提取用於表示移動物件的前景影像,包括: 獲取背景影像,所述背景影像基於第二背景深度影像集合進行背景建模獲得,所述第二背景深度影像集合是深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像集合; 將所述待檢測深度影像與所述背景影像進行對比,從所述待檢測深度影像中抽取用於表示移動物件的前景影像。 在一個可選的實作中,所述方法還包括: 將從相鄰待檢測深度影像中提取出的前景影像進行前景位置比較,所述相鄰待檢測深度影像是深度攝像設備在相鄰時間拍攝的待檢測深度影像; 將相鄰待檢測深度影像中距離最近的一組前景確定為相同前景,並獲得該前景所對應移動對象的移動軌跡。 在一個可選的實作中,所述移動物件的空間座標資訊包括移動物件中與貨架距離最近的部分的空間座標資訊,所述基於所述前景影像獲得移動物件的空間座標資訊,包括: 基於所述深度攝像設備的相機標定法,對所述前景影像中與貨架距離最近的部分的像素點座標進行座標轉換,獲得移動物件中與貨架距離最近的部分的其中兩軸空間座標資訊; 根據所述前景影像中與貨架距離最近的部分的像素點的深度資訊,確定移動物件中與貨架距離最近的部分的第三軸空間座標資訊。 在一個可選的實作中,所述貨架中同一層貨層所擺放的貨物相同,所述將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物,包括: 基於所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊,利用空間座標資訊中由像素點座標轉換獲得的兩軸空間座標資訊確定移動物件是否伸入貨架,利用空間座標資訊中由深度資訊轉換獲得的第三軸空間座標資訊確定移動物件伸入貨架的貨層; 根據預設的貨層與貨物的對應關係,將所確定貨層對應的貨物確定為所述移動對象所接觸的貨物。 一種互動行為檢測裝置,所述裝置包括: 影像獲取模組,用於從深度攝像設備中獲取所述待檢測深度影像;所述深度攝像設備設於貨架上方、且所述深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域; 前景提取模組,用於從所述待檢測深度影像中提取用於表示移動物件的前景影像; 座標確定模組,用於基於所述前景影像獲得移動物件的空間座標資訊; 互動貨物確定模組,用於將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物; 其中,所述貨層的空間座標資訊基於背景深度影像獲得,所述背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。 一種電腦設備,包括: 處理器; 用於儲存處理器可執行指令的記憶體; 其中,所述處理器被配置為: 從深度攝像設備中獲取所述待檢測深度影像;所述深度攝像設備設於貨架上方、且所述深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域; 從所述待檢測深度影像中提取用於表示移動物件的前景影像,並基於所述前景影像獲得移動物件的空間座標資訊; 將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物;所述貨層的空間座標資訊基於背景深度影像獲得,所述背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。 本說明書的實施例提供的技術方案可以包括以下有益效果: 本說明書實施例透過獲取由深度攝像設備拍攝的待檢測深度影像,從待檢測深度影像中提取用於表示移動物件的前景影像,並基於前景影像獲得移動物件的空間座標資訊,將移動物件的空間座標資訊與貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定移動物件所接觸的貨物,無需在每個貨層的每個位置設置壓力感測器即可知道移動對象接觸的貨物,節約了維護成本。 應當理解的是,以上的一般描述和後文的細節描述僅是示例性和解釋性的,並不能限制本說明書。
這裡將詳細地對示例性實施例進行說明,其示例表示在圖式中。下面的描述涉及圖式時,除非另有表示,不同圖式中的相同數字表示相同或相似的要素。以下示例性實施例中所描述的實施方式並不代表與本說明書相一致的所有實施方式。相反地,它們僅是與如所附申請專利範圍中所詳述的、本說明書的一些態樣相一致的裝置和方法的例子。 在本說明書使用的術語是僅僅出於描述特定實施例的目的,而非旨在限制本說明書。在本說明書和所附申請專利範圍中所使用的單數形式的“一種”、“所述”和“該”也旨在包括多數形式,除非上下文清楚地表示其他含義。還應當理解,本文中使用的術語“和/或”是指並包含一個或多個相關聯的列出專案的任何或所有可能組合。 應當理解,儘管在本說明書可能採用術語第一、第二、第三等來描述各種資訊,但這些資訊不應限於這些術語。這些術語僅用來將同一類型的資訊彼此區分開。例如,在不脫離本說明書範圍的情況下,第一資訊也可以被稱為第二資訊,類似地,第二資訊也可以被稱為第一資訊。取決於語境,如在此所使用的詞語“如果”可以被解釋成為“在……時”或“當……時”或“回應於確定”。 線上下場所往往透過在貨架上擺放貨物以實現展示貨物,而線上下場所中,移動物件與貨物接觸時,不僅可以體現出移動物件對貨物感興趣,還可以提示商家該貨物可能被移動物件拿走,以便商家決定是否需要進行貨物補充或改進物品擺放等。 鑒於此,本說明書提供一種互動行為檢測系統,透過搭建的包括深度攝像設備和處理設備的互動行為檢測系統,可以確定移動物件所接觸的貨物。以下結合圖式對本說明書實施例進行示例說明。 如圖1A所示,圖1A為本說明書根據一示例性實施例顯示的一種互動行為檢測系統的結構示意圖。在該示意圖中,互動行為檢測系統包括深度攝像設備110和處理設備120。所述深度攝像設備110設於貨架上方、且所述深度攝像設備110的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域。 其中,指定通道區域可以是移動物件為獲取貨架上貨物所需的通道。貨層外邊緣又可以稱為貨層外邊沿,是貨層邊緣中面向通道的邊緣。移動物件站在通道上並面向貨架時可見以及可接觸該貨層外邊緣。貨層外邊緣的邊緣線可以為直線或近似直線。 在其中一種情況中,某些貨架只有一面面向移動物件/通道、並在該面將貨物面向通道進行展示,其他幾面可能靠牆或連接其他貨架而導致隱藏。如圖1B所示,圖1B為本說明書根據一示例性實施例顯示的一種貨層外邊緣示意圖。該示意圖以貨架只有一面面向通道為例,對貨層外邊緣進行示例說明。深度攝像設備的拍攝範圍至少包括貨架外邊緣以及通道所在區域(指定通道區域)。 在另一些情況中,某些貨架至少有兩面可以面向通道、並在該面將貨物面向通道進行展示,因此,移動物件可以從貨架的不同面獲取貨物。在一個例子中,為了更好地滿足深度攝像設備的拍攝範圍要求,可以針對不同通道設置對應的深度攝像設備,以實現深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域。例如,貨架A面上的貨層外邊緣A面向通道A,貨架B面上的貨層外邊緣B面向通道B。在貨架上方可以設置深度攝像設備A和深度攝像設備B,深度攝像設備A的拍攝範圍至少包括貨層外邊緣A和通道A,深度攝像設備B的拍攝範圍至少包括貨層外邊緣B和通道B。 關於同一深度攝像設備拍攝的貨架的數量,可以是一個,也可以是多個,貨架個數可以基於深度攝像設備的拍攝範圍以及貨架尺寸而定,以達到深度攝像設備至少可以拍攝到貨架每層貨層外邊緣以及與該貨架對應的通道。進一步地,深度攝像設備還可以拍攝到貨架頂面,進而便於獲得從上向下俯視貨架的貨架平面圖。 在一個例子中,深度攝像設備與貨架的相對位置關係可以是:深度攝像設備與貨層外邊緣所在平面的垂直距離的範圍可以為30cm~50cm,深度攝像設備與地面的垂直距離的範圍可以為2.6m~3m。透過深度攝像設備,自上而下可以觀察到移動物件的頭部、肩部以及手臂等。 移動物件可以是可能與貨物互動的物件,例如,移動物件可以是顧客,也可以是受顧客控制的機器人,還可以是商家等物件。 深度攝像設備是可以探測深度的攝像設備,以便獲得深度影像中包括像素點所對應實際物件相對於深度攝像設備所在平面的深度資訊(距離資訊)。例如,深度攝像設備可以是結構光攝像設備,以便實現利用結構光攝像設備測距。在深度影像中,可以利用每個像素點的灰度值表示該像素點所對應實際物件相對於深度攝像設備所在平面的深度資訊。關於像素點所對應實際物件,可以是深度影像中每個像素點對應實景的部分。其中,深度影像是利用深度攝像設備拍攝實景獲得的影像。 該檢測系統中,深度攝像設備可以用於以指定角度拍攝包括貨架和指定通道區域的待檢測深度影像。深度攝像設備可以在檢測條件滿足時按一定頻率進行檢測,獲得待檢測深度影像。檢測條件可以是深度攝像設備啟動、設定檢測時間達到、接收到檢測指令等條件。所述處理設備可以用於:從深度攝像設備中獲取所述待檢測深度影像;從所述待檢測深度影像中提取用於表示移動物件的前景影像,並基於所述前景影像獲得移動物件的空間座標資訊;將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物;其中,所述貨層的空間座標資訊基於背景深度影像獲得,所述背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。 其中,由於前景影像從待檢測深度影像中提取,因此,前景影像中也包括像素點所對應實際物件相對於深度攝像設備所在平面的深度資訊,即移動物件的深度資訊。又由於深度影像中像素點座標可以表示被拍攝物件(實景)另外兩軸的位置關係,因此,可以基於前景影像獲得移動物件的空間座標資訊。貨架中貨層的空間座標資訊往往不會變動,因此可以預先確定並儲存。在獲得移動物件的深度資訊後,可以將移動物件的空間座標資訊與貨架中貨層的空間座標資訊進行座標比較,進而可以確定移動物件接觸的貨層以及接觸該貨層的相對位置,又由於可以獲取貨層與貨物的對應關係,因此可以獲得移動物件所接觸的貨物。 由上述實施例可見,透過從按一定策略設置的深度攝像設備中獲取待檢測深度影像,進行相應處理後,可以確定移動物件所接觸的貨物,無需在每個貨層的每個位置設置壓力感測器即可知道移動對象接觸的貨物,節約了維護成本,同時明確移動物件與所接觸貨物的對應關係,便於後續的預測處理。 在一個例子中,可以基於移動物件所接觸的貨物預測移動物件的偏好,以實現對該移動物件進行分析。例如,可以根據分析結果為該移動物件進行定制化服務。例如,基於所述偏好向該移動物件推薦相關資訊。 在另一個例子中,可以基於移動物件所接觸的貨物預測所述貨物是否被移動對象取走,以提醒商家進行補貨或者自動補貨。進一步的,可以在貨架中設置壓力感測器,透過壓力感測器檢測移動物件接觸貨物前和接觸貨物後貨架的重量變化,從而進一步判斷移動物件是否取走貨物。由於無需在每種貨物下設置壓力感測器,既可以節約硬體成本和維護成本,同時還可以提高判斷的準確性。 在另一個例子中,還可以基於接觸貨物的移動物件的數量重新規劃貨物的擺放位置,以實現將更受歡迎的貨物擺放在更顯眼的位置,達到更好的展示效果,便於移動物件快速獲得期望的貨物。 可以理解的是,還可以將獲得移動物件所接觸貨物應用在其他應用情況中,在此不再一一贅述。 接下來對如何利用待檢測深度影像確定移動物件所接觸貨物進行示例說明。 貨架中貨層的空間座標資訊可以預先確定。在一個可選的實作中,可以基於設定攝像設備拍攝的背景影像,將背景影像中表示貨層部分的像素點進行轉換,獲得貨層的空間座標資訊。例如,預先確定貨架中貨層的空間座標資訊,包括: 獲取深度攝像設備以指定角度拍攝的、且不存在前景影像的第一背景深度影像集合; 確定第一背景深度影像集合中貨層邊緣線; 基於所述深度攝像設備的相機標定法,將所述貨層邊緣線的像素點座標進行轉換,獲得貨層實際空間座標資訊中的其中兩軸空間座標資訊; 針對同層貨層邊緣線,將所述貨層邊緣線各像素點的深度資訊進行聚類,獲得所述貨層實際空間座標資訊中第三軸空間座標資訊。 其中,第一背景深度影像集合包括至少一張背景深度影像。背景深度影像是深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。不存在前景影像表示指定通道區域內沒有移動物件。例如,在指定通道區域內沒有移動物件的情況下,將從深度攝像設備中獲取的深度影像構成第一背景深度影像集合。在一個例子中,如果背景固定不變,第一背景深度影像集合可以不進行更新。在另一個例子中,如果背景可能變更,則第一背景深度影像可以在更新條件滿足時進行更新。 由於深度攝像設備的拍攝範圍至少包括貨架每層貨層外邊緣以及指定通道區域,因此,可以確定第一背景深度影像集合中貨層邊緣線,特別是貨層外邊緣線。另外,為了具有可比性,深度攝像設備拍攝獲得背景深度影像的拍攝角度與拍攝獲得待檢測深度影像的拍攝角度相同。 作為其中一種確定第一背景深度影像集合中貨層邊緣線的方式,可以包括: 對所述第一背景深度影像集合進行預處理,預處理至少包括影像平均和影像消除雜訊; 將預處理後的影像進行邊緣檢測; 以預設角度對邊緣檢測獲得的影像進行直線檢測,並過濾低於預設長度閾值的直線,獲得第一背景深度影像集合中貨層邊緣線,所述預設角度基於深度攝像設備與貨架的相對位置關係確定。其中,預處理可以包括影像平均和影像消除雜訊等影像處理。影像平均可以是將集合中影像序列做平均,獲得平均影像。影像消除雜訊可以是減少影像中雜訊的過程。例如,影像消除雜訊可以是中值濾波。中值濾波是一種非線性數位濾波器技術,用於去除影像或者其它信號中的雜訊。中值濾波可以去除斑點雜訊和椒鹽雜訊等,並保存邊緣的特性,便於後續執行邊緣檢測。鑒於此,在一個例子中,可以將背景深度影像集合中的影像序列進行影像平均處理,將獲得的平均影像進行影像消除雜訊,獲得預處理後的影像。 邊緣檢測的目的可以是標識數位影像中亮度變化明顯的點。邊緣檢測可以大幅度地減少資料量,並且剔除認為不相關的資訊,保留影像重要的結構屬性。 在邊緣中可以進行預設角度的直線檢測,並過濾掉低於預設長度閾值的直線,從而獲得第一背景深度影像集合中貨層邊緣線。為了能提高直線檢測的準確性,根據深度攝像設備與貨架的相對位置關係,確定預設角度,以便進行固定角度的直線檢測。在一個例子中,預設長度閾值可以基於貨層邊緣實際長度以及深度攝像設備與貨架的相對位置關係確定,以便過濾一些明顯不是貨層邊緣線的直線。 可見,本實施例透過對集合中的影像進行影像平均處理、影像消除雜訊處理、邊緣檢測、直線檢測,可以提高獲得貨層邊緣線的準確性。 在獲得貨層邊緣線後,由於深度影像中像素點座標是二維座標,因此需要基於深度影像中貨層邊緣線的像素點座標資訊,轉換獲得貨層邊緣的實際空間座標資訊。空間座標資訊中的其中兩軸(X軸和Y軸)座標可以基於貨層邊緣線的像素點座標確定,空間座標資訊中的第三軸(Z軸)座標可以基於貨層邊緣線像素點的深度資訊確定。 實際應用中,在影像測量過程以及機器視覺應用中,為確定空間物體表面某點的三維幾何位置與其在影像中對應點之間的相互關係,可以建立相機成像的幾何模型,幾何模型參數即相機參數。在大多數條件下這些參數可以透過實驗與計算獲得,求解參數的過程就稱之為相機標定(或攝像機標定)。 本揭示實施例可以獲取深度攝像設備從不同視角拍攝的深度影像集合,利用深度影像集合進行相機標定,根據獲得的相機參數(包括相機內參)可以對貨層邊緣線的像素點座標進行轉換,獲得貨層實際空間座標資訊中的其中兩軸空間座標資訊。例如,X軸的空間座標資訊和Y軸的空間座標資訊。該過程可以稱為自動標定過程。可以理解的是,具體的相機標定法可以採用相關技術中的標定法,在此不做限定。 又由於每層貨層的高度往往相同,而貨層邊緣線像素點的深度資訊又可以體現貨層的高度,鑒於此,針對同層貨層邊緣線,將所述貨層邊緣線各像素點的深度資訊進行聚類,獲得所述貨層實際空間座標資訊中第三軸空間座標資訊。 可見,本實施例通過將背景深度影像中貨層邊緣線進行轉換,可以快速獲得貨層實際空間座標。 為了能獲得移動物件的空間座標資訊,可以從深度攝像設備中獲取待檢測深度影像,並從待檢測深度影像中提取用於表示移動物件的前景影像。作為其中一種提取前景影像的方式,可以透過將不包括移動物件的背景影像與包括移動物件的待檢測深度影像進行比較,從而獲得前景影像。採用這種方式,可以快速提取前景影像。鑒於此,在一個例子中,所述從所述待檢測深度影像中提取用於表示移動物件的前景影像,包括: 獲取背景影像,所述背景影像基於第二背景深度影像集合進行背景建模獲得,所述第二背景深度影像集合是深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像集合; 將待檢測深度影像與背景影像進行對比,從待檢測深度影像中抽取用於表示移動物件的前景影像。 其中,為了保證背景影像中的背景與待檢測深度影像中的背景相同,拍攝兩類影像的拍攝角度相同,即第二背景深度影像集合中深度影像以及待檢測深度影像均是深度攝像設備以指定角度拍攝獲得。第二背景深度影像集合中深度影像不包括移動物件,待檢測深度影像可能包括移動物件。 第二背景深度影像集合與第一背景深度影像集合可以為相同集合,也可以為不同集合。在背景建模相對於自動標定,往往需要更多的樣本,鑒於此,第一背景深度影像集合可以是第二背景深度影像集合的子集。例如將第二背景深度影像集合中指定數量的背景深度影像作為第一背景深度影像。 背景影像可以預先基於第二背景深度影像集合進行背景建模獲得,例如,獲取深度攝像設備以指定角度拍攝的、且不存在前景影像的第二背景深度影像集合;利用所述第二背景深度影像集合進行背景建模,獲得背景影像。 在某些應用情況中,背景保持不變,因此,建模獲得背景影像後,可以進行儲存,便於後續提取前景影像使用。 而在某些應用情況中,背景可能存在變更的情況,鑒於此,所述背景影像在更新條件滿足時進行更新。例如,透過更新背景模型實現更新背景影像。更新條件可以是更新時間達到,更新頻次達到,檢測到有移動物件離開拍攝區域、且拍攝區域內沒有移動物件的持續時間達到預設時間等觸發條件。例如,在首次背景建模獲得背景影像後,若檢測到有移動物件離開拍攝區域、且拍攝區域內沒有移動物件的持續時間達到預設時間,從深度攝像設備中獲取此時刻以後拍攝的背景深度影像,獲得第二背景深度影像集合,並利用該第二背景深度影像集合更新背景影像。 如圖1C所示,圖1C為本說明書根據一示例性實施例顯示的一種背景影像更新示意圖。首次進行背景建模獲得背景影像後,可以進行互動檢測。在達到更新條件時,可以對背景影像進行更新。例如,在沒有移動目標或行人的情況下,從深度攝像設備中獲取指定數量(如300幀)的深度影像(將該集合作為第二背景深度影像集合),用來訓練背景模型,獲得背景影像。一段時間後,如果深度攝像設備所拍攝區域在指定時間段(如60s內)去背景雜訊後無移動對象,則用該指定時間段後深度攝像設備拍攝的指定數量的深度影像重新更新背景模型,獲得更新後的背景影像。 可以理解的是,還可以採用其他方式從待檢測深度影像中提取用於表示移動物件的前景影像,在此不一一列舉。 在獲得前景影像後,可以基於前景影像獲得移動物件的空間座標資訊。由於前景影像中的座標是像素點座標,為了獲得移動物件的空間座標資訊,可以將前景影像中的像素點座標進行轉換,獲得移動物件的空間座標資訊。將移動物件的空間座標資訊與貨架中貨層的空間座標資訊進行座標比較,目的是為了判斷移動物件所接觸的貨物,鑒於此,可以僅基於前景影像獲得移動物件中與貨架距離最近的部分的空間座標資訊。例如,移動物件往往利用手部去接觸貨物,因此,移動物件中與貨架距離最近的部分可以是手部部分。鑒於此,無需獲得移動物件整體的空間座標資訊,僅獲得移動物件中與貨架距離最近的部分的空間座標資訊,可以提高空間座標資訊的獲得效率。例如,所述移動物件的空間座標資訊包括移動物件中與貨架距離最近的部分的空間座標資訊,所述處理設備基於所述前景影像獲得移動物件的空間座標資訊,包括: 基於所述深度攝像設備的相機標定法,對所述前景影像中與貨架距離最近的部分的像素點座標進行座標轉換,獲得移動物件中與貨架距離最近的部分的其中兩軸空間座標資訊; 根據所述前景影像中與貨架距離最近的部分的像素點的深度資訊,確定移動物件中與貨架距離最近的部分的第三軸空間座標資訊。 其中,其中兩軸空間座標資訊可以是X軸空間座標資訊和Y軸空間座標資訊,第三種空間座標資訊可以是Z軸空間座標資訊。 在獲得移動物件的空間座標資訊與貨架中貨層的空間座標資訊後,可以將移動物件的空間座標資訊與貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物。 在其中一種應用情況中,所述貨架中同一層貨層所擺放的貨物相同,所述處理設備用於將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物,可以包括: 基於所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊,利用空間座標資訊中由像素點座標轉換獲得的兩軸空間座標資訊確定移動物件是否伸入貨架,利用空間座標資訊中由深度資訊轉換獲得的第三軸空間座標資訊確定移動物件伸入貨架的貨層; 根據預設的貨層與貨物的對應關係,將所確定貨層對應的貨物確定為所述移動對象所接觸的貨物。 由於每層貨物相同,因此,只要確定移動物件是否伸入貨架、以及所伸入貨架的貨層,即可確定移動物件所接觸的貨物,從而可以提高判斷準確性。 檢測移動對象最靠近貨架方向的點,例如,手部指尖區域上的點。根據該點的空間座標資訊以及貨層的空間座標資訊,確定指尖是否穿過貨架平面。如圖1D所示,圖1D為本說明書根據一示例性實施例顯示的一種移動物件與貨架互動檢測示意圖。若在自動標定過程中,貨架平面y=Y0,再根據指尖的座標F=(xf, yf, zf),假如yf>=Y0,則判定移動對象已經接觸到貨架。通過深度攝像設備獲取指尖的深度資訊,比較指尖F=(xf,yf,zf)和貨層高度的關係從而確定互動的貨層。再根據貨品在貨層的擺放關係,最後確定移動物件取走的商品。H0為貨架底部的深度,則zf-H0<=S0,判定為第一層,S0<zf-H0<=S1,判定為第二層,S1<zf-H0<=S2,則判定為第三層,依此類推。 在另一個應用情況中,所述貨架中同一層貨層所擺放的貨物不同。不同貨物擺放在一起,獲得貨物擺放位置範圍以及擺放貨層的對應關係,因此在確定移動物件的空間座標資訊與貨架中貨層的空間座標資訊後,可以基於移動物件的空間座標資訊與貨架中貨層的空間座標資訊,利用空間座標資訊中由像素點座標轉換獲得的兩軸空間座標資訊(X軸空間座標資訊和Y軸空間座標資訊)確定移動物件是否伸入貨架以及伸入貨架的具體區域,利用空間座標資訊中由深度資訊轉換獲得的第三軸空間座標資訊(Z軸空間座標資訊)確定移動物件伸入貨架的貨層,並根據貨物名稱、貨物擺放位置範圍以及擺放貨層的對應關係,確定移動物件所接觸的貨物。 在實際應用中,在指定區域可能不止一個移動物件,為了能統計同一個移動物件在整個過程中所接觸的貨物,可以確定移動物件的移動軌跡。在一個可選的實作中,可以將從相鄰待檢測深度影像中提取出的前景影像進行前景位置比較,所述相鄰待檢測深度影像是深度攝像設備在相鄰時間拍攝的待檢測深度影像;將相鄰待檢測深度影像中距離最近的一組前景確定為相同前景,並獲得該前景所對應移動對象的移動軌跡。 其中,針對相鄰待檢測深度影像,由於兩張待檢測深度影像採集的間隔時間較短,移動物件的移動距離較短,因此,將兩張相鄰待檢測深度影像進行比較,相同前景的距離較近,可以將相鄰待檢測深度影像中距離最近的一組前景確定為相同前景,即判定該組前景是同一個移動物件在不同時刻被拍攝後的前景。 進一步地,在提取前景影像後,還可以過濾小於指定區域的聯通區域,從而獲得僅包括移動物件的前景影像。如圖1E所示,圖1E為本說明書根據一示例性實施例顯示的一種移動物件檢測示意圖。如圖1F所示,圖1F為本說明書根據一示例性實施例顯示的一種移動物件匹配追蹤示意圖。獲得背景影像後,可以將背景影像與即時影像(待檢查深度影像)進行比較,從即時影像中進行前景抽取,獲得前景影像。移動物件的匹配追蹤可以通過比較每一幀聯通區域中心的最小距離來實現。例如1、2是第一幀影像中的聯通區域,3、4是第二幀影像中的聯通區域。分別比較1,3和2,3距離,可以確定1是3的上一幀位置。同理2是4上一幀的位置。因此,可以獲得不同移動物件的移動軌跡。 以上實施方式中的各種技術特徵可以任意進行組合,只要特徵之間的組合不存在衝突或矛盾,但是限於篇幅,未進行一一描述,因此上述實施方式中的各種技術特徵的任意進行組合也屬於本說明書揭示的範圍。 與前述互動行為檢測系統的實施例相對應,本說明書還提供了互動行為檢測方法的實施例。 如圖2所示,圖2為本說明書互動行為檢測方法的一個實施例流程圖,該方法可以包括以下步驟201至步驟204: 在步驟201中,從深度攝像設備中獲取所述待檢測深度影像;所述深度攝像設備設於貨架上方、且所述深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域; 在步驟202中,從所述待檢測深度影像中提取用於表示移動物件的前景影像; 在步驟203中,基於所述前景影像獲得移動物件的空間座標資訊; 在步驟204中,將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物;所述貨層的空間座標資訊基於背景深度影像獲得,所述背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。 由上述實施例可見,透過獲取有深度攝像設備拍攝的待檢測深度影像,從待檢測深度影像中提取用於表示移動物件的前景影像,並基於前景影像獲得移動物件的空間座標資訊,將移動物件的空間座標資訊與貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定移動物件所接觸的貨物,無需在每個貨層的每個位置設置壓力感測器即可知道移動對象接觸的貨物,節約了維護成本,同時明確移動物件與所接觸貨物的對應關係,便於後續的預測處理。 在一個可選的實作中,所述貨架中貨層的空間座標資訊的預確定過程,包括: 獲取深度攝像設備以指定角度拍攝的、且不存在前景影像的第一背景深度影像集合; 確定第一背景深度影像集合中貨層邊緣線; 基於所述深度攝像設備的相機標定法,將所述貨層邊緣線的像素點座標進行轉換,獲得貨層實際空間座標資訊中的其中兩軸空間座標資訊; 針對同層貨層邊緣線,將所述貨層邊緣線各像素點的深度資訊進行聚類,獲得所述貨層實際空間座標資訊中第三軸空間座標資訊。 在一個可選的實作中,所述確定第一背景深度影像集合中貨層邊緣線,包括: 對所述第一背景深度影像集合進行預處理,預處理至少包括影像平均和影像消除雜訊; 將預處理後的影像進行邊緣檢測; 以預設角度對邊緣檢測獲得的影像進行直線檢測,並過濾低於預設長度閾值的直線,獲得第一背景深度影像集合中貨層邊緣線,所述預設角度基於深度攝像設備與貨架的相對位置關係確定。 在一個可選的實作中,所述從所述待檢測深度影像中提取用於表示移動物件的前景影像,包括: 獲取背景影像,所述背景影像基於第二背景深度影像集合進行背景建模獲得,所述第二背景深度影像集合是深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像集合; 將所述待檢測深度影像與所述背景影像進行對比,從所述待檢測深度影像中抽取用於表示移動物件的前景影像。 在一個可選的實作中,所述方法還包括: 將從相鄰待檢測深度影像中提取出的前景影像進行前景位置比較,所述相鄰待檢測深度影像是深度攝像設備在相鄰時間拍攝的待檢測深度影像; 將相鄰待檢測深度影像中距離最近的一組前景確定為相同前景,並獲得該前景所對應移動對象的移動軌跡。 在一個可選的實作中,所述移動物件的空間座標資訊包括移動物件中與貨架距離最近的部分的空間座標資訊,所述基於所述前景影像獲得移動物件的空間座標資訊,包括: 基於所述深度攝像設備的相機標定法,對所述前景影像中與貨架距離最近的部分的像素點座標進行座標轉換,獲得移動物件中與貨架距離最近的部分的其中兩軸空間座標資訊; 根據所述前景影像中與貨架距離最近的部分的像素點的深度資訊,確定移動物件中與貨架距離最近的部分的第三軸空間座標資訊。 在一個可選的實作中,所述貨架中同一層貨層所擺放的貨物相同,所述將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物,包括: 基於所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊,利用空間座標資訊中由像素點座標轉換獲得的兩軸空間座標資訊確定移動物件是否伸入貨架,利用空間座標資訊中由深度資訊轉換獲得的第三軸空間座標資訊確定移動物件伸入貨架的貨層; 根據預設的貨層與貨物的對應關係,將所確定貨層對應的貨物確定為所述移動對象所接觸的貨物。 可以理解的是,本說明書實施例的互動行為檢測方法與前述互動行為檢測系統中處理設備的處理方法,相關技術相同,為了節約篇幅,在此不一一贅述。同時,以上實施方式中的各種技術特徵可以任意進行組合,只要特徵之間的組合不存在衝突或矛盾即可。 以下以其中一種組合進行示例說明。如圖3所示,圖3為本說明書互動行為檢測方法的另一個實施例流程圖,該方法可以應用於電子設備,包括以下步驟301至步驟306: 在步驟301中,從深度攝像設備中獲取所述待檢測深度影像;所述深度攝像設備設於貨架上方、且所述深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域。 在步驟302中,獲取背景影像。 其中,所述背景影像基於第二背景深度影像集合進行背景建模獲得,所述第二背景深度影像集合是深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像集合。 在步驟303中,將所述待檢測深度影像與所述背景影像進行對比,從所述待檢測深度影像中抽取用於表示移動物件的前景影像。 在步驟304中,基於前景影像中的像素點座標和深度資訊,確定移動物件中與貨架距離最近的部分的空間座標資訊。 其中,可以基於所述深度攝像設備的相機標定法,對所述前景影像中與貨架距離最近的部分的像素點座標進行座標轉換,獲得移動物件中與貨架距離最近的部分的其中兩軸空間座標資訊;根據所述前景影像中與貨架距離最近的部分的像素點的深度資訊,確定移動物件中與貨架距離最近的部分的第三軸空間座標資訊。 在步驟305中,根據移動物件中與貨架距離最近的部分的空間座標資訊、以及貨架中貨層的空間座標資訊,確定移動物件是否伸入貨架以及移動物件伸入貨架的貨層。 其中,基於所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊,利用空間座標資訊中由像素點座標轉換獲得的兩軸空間座標資訊確定移動物件是否伸入貨架,利用空間座標資訊中由深度資訊轉換獲得的第三軸空間座標資訊確定移動物件伸入貨架的貨層。 在步驟306中,根據預設的貨層與貨物的對應關係,將所確定貨層對應的貨物確定為所述移動對象所接觸的貨物。 其中,所述移動物件的空間座標資訊包括移動物件中與貨架距離最近的部分的空間座標資訊,所述貨架中同一層貨層所擺放的貨物相同,所述貨層的空間座標資訊基於背景深度影像獲得,所述背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。 與前述互動行為檢測方法的實施例相對應,本說明書還提供了互動行為檢測裝置及其所應用的電子設備的實施例。 本說明書互動行為檢測裝置的實施例可以應用在電腦設備。裝置實施例可以透過軟體來實現,也可以透過硬體或者軟硬體結合的方式來實現。以軟體實現為例,作為一個邏輯意義上的裝置,是透過其所在電腦設備的處理器將非易失性記憶體中對應的電腦程式指令讀取到記憶體中運行形成的。從硬體層面而言,如圖4所示,為本說明書互動行為檢測裝置所在電腦設備的一種硬體結構圖,除了圖4所示的處理器410、記憶體430、網路介面420、以及非易失性記憶體440之外,實施例中裝置431所在的電腦設備通常根據該設備的實際功能,還可以包括其他硬體,對此不再贅述。 如圖5所示,是本說明書根據一示例性實施例顯示的一種互動行為檢測裝置的方塊圖,所述裝置包括: 影像獲取模組510,用於從深度攝像設備中獲取所述待檢測深度影像;所述深度攝像設備設於貨架上方、且所述深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域; 前景提取模組520,用於從所述待檢測深度影像中提取用於表示移動物件的前景影像; 座標確定模組530,用於基於所述前景影像獲得移動物件的空間座標資訊; 互動貨物確定模組540,用於將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物; 其中,所述貨層的空間座標資訊基於背景深度影像獲得,所述背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。 在一個可選的實作中,所述裝置還包括資訊預確定模組(圖5未顯示),具體配置為: 獲取深度攝像設備以指定角度拍攝的、且不存在前景影像的第一背景深度影像集合; 確定第一背景深度影像集合中貨層邊緣線; 基於所述深度攝像設備的相機標定法,將所述貨層邊緣線的像素點座標進行轉換,獲得貨層實際空間座標資訊中的其中兩軸空間座標資訊; 針對同層貨層邊緣線,將所述貨層邊緣線各像素點的深度資訊進行聚類,獲得所述貨層實際空間座標資訊中第三軸空間座標資訊。 在一個可選的實作中,所述資訊預確定模組確定第一背景深度影像集合中貨層邊緣線,包括: 對所述第一背景深度影像集合進行預處理,預處理至少包括影像平均和影像消除雜訊; 將預處理後的影像進行邊緣檢測; 以預設角度對邊緣檢測獲得的影像進行直線檢測,並過濾低於預設長度閾值的直線,獲得第一背景深度影像集合中貨層邊緣線,所述預設角度基於深度攝像設備與貨架的相對位置關係確定。 在一個可選的實作中,所述前景提取模組520具體配置為: 獲取背景影像,所述背景影像基於第二背景深度影像集合進行背景建模獲得,所述第二背景深度影像集合是深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像集合; 將所述待檢測深度影像與所述背景影像進行對比,從所述待檢測深度影像中抽取用於表示移動物件的前景影像。 在一個可選的實作中,所述裝置還包括軌跡確定模組(圖5未顯示),用於: 將從相鄰待檢測深度影像中提取出的前景影像進行前景位置比較,所述相鄰待檢測深度影像是深度攝像設備在相鄰時間拍攝的待檢測深度影像; 將相鄰待檢測深度影像中距離最近的一組前景確定為相同前景,並獲得該前景所對應移動對象的移動軌跡。 在一個可選的實作中,所述移動物件的空間座標資訊包括移動物件中與貨架距離最近的部分的空間座標資訊,所述座標確定模組530具體用於: 基於所述深度攝像設備的相機標定法,對所述前景影像中與貨架距離最近的部分的像素點座標進行座標轉換,獲得移動物件中與貨架距離最近的部分的其中兩軸空間座標資訊; 根據所述前景影像中與貨架距離最近的部分的像素點的深度資訊,確定移動物件中與貨架距離最近的部分的第三軸空間座標資訊。 在一個可選的實作中,所述貨架中同一層貨層所擺放的貨物相同,所述互動貨物確定模組540具體用於: 基於所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊,利用空間座標資訊中由像素點座標轉換獲得的兩軸空間座標資訊確定移動物件是否伸入貨架,利用空間座標資訊中由深度資訊轉換獲得的第三軸空間座標資訊確定移動物件伸入貨架的貨層; 根據預設的貨層與貨物的對應關係,將所確定貨層對應的貨物確定為所述移動對象所接觸的貨物。 對於裝置實施例而言,由於其基本對應於方法實施例,所以相關之處參見方法實施例的部分說明即可。以上所描述的裝置實施例僅僅是示意性的,其中所述作為分離部件說明的模組可以是或者也可以不是物理上分開的,作為模組顯示的部件可以是或者也可以不是物理模組,即可以位於一個地方,或者也可以分佈到多個網路模組上。可以根據實際的需要選擇其中的部分或者全部模組來實現本說明書方案的目的。本領域普通技術人員在不付出創造性勞動的情況下,即可以理解並實施。 相應地,本說明書實施例還提供一種電腦設備,包括:處理器;用於儲存處理器可執行指令的記憶體;其中,所述處理器被配置為: 從深度攝像設備中獲取所述待檢測深度影像;所述深度攝像設備設於貨架上方、且所述深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域; 從所述待檢測深度影像中提取用於表示移動物件的前景影像,並基於所述前景影像獲得移動物件的空間座標資訊; 將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物;所述貨層的空間座標資訊基於背景深度影像獲得,所述背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。 本說明書中的各個實施例均採用漸進的方式描述,各個實施例之間相同相似的部分互相參見即可,每個實施例重點說明的都是與其他實施例的不同之處。尤其,對於設備實施例而言,由於其基本相似於方法實施例,所以描述得比較簡單,相關之處參見方法實施例的部分說明即可。 一種電腦儲存媒體,所述媒體儲存中儲存有程式指令,所述程式指令包括: 從深度攝像設備中獲取所述待檢測深度影像;所述深度攝像設備設於貨架上方、且所述深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域; 從所述待檢測深度影像中提取用於表示移動物件的前景影像,並基於所述前景影像獲得移動物件的空間座標資訊; 將所述移動物件的空間座標資訊與所述貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定所述移動物件所接觸的貨物;所述貨層的空間座標資訊基於背景深度影像獲得,所述背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像。 本說明書實施例可採用在一個或多個其中包含有程式碼的儲存媒體(包括但不限於磁碟記憶體、CD-ROM、光學記憶體等)上實施的電腦程式產品的形式。電腦可用儲存媒體包括永久性和非永久性、可移動和非可移動媒體,可以由任何方法或技術來實現資訊儲存。資訊可以是電腦可讀指令、資料結構、程式的模組或其他資料。電腦的儲存媒體的例子包括但不限於:相變記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可擦除可程式設計唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、磁盒式磁帶,磁帶磁片儲存或其他磁性儲存設備或任何其他非傳輸介質,可用於儲存可以被計算設備訪問的資訊。 本領域技術人員在考慮說明書及實踐這裡申請的發明後,將容易想到本說明書的其它實施方案。本說明書旨在涵蓋本說明書的任何變型、用途或者適應性變化,這些變型、用途或者適應性變化遵循本說明書的一般性原理並包括本說明書未申請的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的,本說明書的真正範圍和精神由下面的申請專利範圍指出。 應當理解的是,本說明書並不侷限於上面已經描述並在圖式中顯示的精確結構,並且可以在不脫離其範圍進行各種修改和改變。本說明書的範圍僅由所附的申請專利範圍來限制。 以上所述僅為本說明書的較佳實施例而已,並不用以限制本說明書,凡在本說明書的精神和原則之內,所做的任何修改、等同替換、改進等,均應包含在本說明書保護的範圍之內。
110‧‧‧深度攝像設備 120‧‧‧處理設備 201‧‧‧方法步驟 202‧‧‧方法步驟 203‧‧‧方法步驟 204‧‧‧方法步驟 301‧‧‧方法步驟 302‧‧‧方法步驟 303‧‧‧方法步驟 304‧‧‧方法步驟 305‧‧‧方法步驟 306‧‧‧方法步驟 410‧‧‧處理器 420‧‧‧網路介面 430‧‧‧記憶體 431‧‧‧互動行為檢測裝置 440‧‧‧非易失性記憶體 510‧‧‧影像獲取模組 520‧‧‧前景提取模組 530‧‧‧座標確定模組 540‧‧‧互動貨物確定模組
此處的圖式被併入說明書中並構成本說明書的一部分,顯示了符合本說明書的實施例,並與說明書一起用於解釋本說明書的原理。 圖1A為本說明書根據一示例性實施例顯示的一種互動行為檢測系統的結構示意圖。 圖1B為本說明書根據一示例性實施例顯示的一種貨層外邊緣示意圖。 圖1C為本說明書根據一示例性實施例顯示的一種背景影像更新示意圖。 圖1D為本說明書根據一示例性實施例顯示的一種移動物件與貨架互動檢測示意圖。 圖1E為本說明書根據一示例性實施例顯示的一種移動物件檢測示意圖。 圖1F為本說明書根據一示例性實施例顯示的一種移動物件匹配追蹤示意圖。 圖2為本說明書互動行為檢測方法的一個實施例流程圖。 圖3為本說明書互動行為檢測方法的另一個實施例流程圖。 圖4為本說明書互動行為檢測裝置所在電腦設備的一種硬體結構圖。 圖5為本說明書根據一示例性實施例顯示的一種互動行為檢測裝置的方塊圖。

Claims (13)

  1. 一種互動行為檢測系統,該系統包括深度攝像設備和處理設備,該深度攝像設備設於貨架上方、且該深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域;該深度攝像設備用於:以指定角度拍攝包括貨架和指定通道區域的待檢測深度影像,該深度影像中包括像素點所對應實際物件相對於深度攝像設備所在平面的深度資訊;以及該處理設備用於:從深度攝像設備中獲取該待檢測深度影像;從該待檢測深度影像中提取用於表示移動物件的前景影像,並基於該前景影像獲得移動物件的空間座標資訊;將該移動物件的空間座標資訊與該貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定該移動物件所接觸的貨物,其中,該貨層的空間座標資訊基於背景深度影像獲得,該背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像,且該處理設備還用於預先確定貨架中貨層的空間座標資訊,包括:獲取深度攝像設備以指定角度拍攝的、且不存在前景影像的第一背景深度影像集合; 確定第一背景深度影像集合中貨層邊緣線;基於該深度攝像設備的相機標定法,將該貨層邊緣線的像素點座標進行轉換,獲得貨層實際空間座標資訊中的其中兩軸空間座標資訊;以及針對同層貨層邊緣線,將該貨層邊緣線各像素點的深度資訊進行聚類,獲得該貨層實際空間座標資訊中第三軸空間座標資訊。
  2. 根據申請專利範圍第1項所述的系統,該處理設備確定第一背景深度影像集合中貨層邊緣線,包括:對該第一背景深度影像集合進行預處理,預處理至少包括影像平均和影像消除雜訊;將預處理後的影像進行邊緣檢測;以及以預設角度對邊緣檢測獲得的影像進行直線檢測,並過濾低於預設長度閾值的直線,獲得第一背景深度影像集合中貨層邊緣線,該預設角度基於深度攝像設備與貨架的相對位置關係確定。
  3. 一種互動行為檢測系統,該系統包括深度攝像設備和處理設備,該深度攝像設備設於貨架上方、且該深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域;該深度攝像設備用於:以指定角度拍攝包括貨架和指定通道區域的待檢測深 度影像,該深度影像中包括像素點所對應實際物件相對於深度攝像設備所在平面的深度資訊;以及該處理設備用於:從深度攝像設備中獲取該待檢測深度影像;從該待檢測深度影像中提取用於表示移動物件的前景影像,並基於該前景影像獲得移動物件的空間座標資訊;將該移動物件的空間座標資訊與該貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定該移動物件所接觸的貨物,其中,該貨層的空間座標資訊基於背景深度影像獲得,該背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像,且該處理設備從該待檢測深度影像中提取用於表示移動物件的前景影像,包括:獲取背景影像,該背景影像基於第二背景深度影像集合進行背景建模獲得,該第二背景深度影像集合是深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像集合;以及將該待檢測深度影像與該背景影像進行對比,從該待檢測深度影像中抽取用於表示移動物件的前景影像。
  4. 一種互動行為檢測系統,該系統包括深度攝像設備和處理設備,該深度攝像設備設於貨架上方、且該深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區 域;該深度攝像設備用於:以指定角度拍攝包括貨架和指定通道區域的待檢測深度影像,該深度影像中包括像素點所對應實際物件相對於深度攝像設備所在平面的深度資訊;以及該處理設備用於:從深度攝像設備中獲取該待檢測深度影像;從該待檢測深度影像中提取用於表示移動物件的前景影像,並基於該前景影像獲得移動物件的空間座標資訊;將該移動物件的空間座標資訊與該貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定該移動物件所接觸的貨物,其中,該貨層的空間座標資訊基於背景深度影像獲得,該背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像,且該移動物件的空間座標資訊包括移動物件中與貨架距離最近的部分的空間座標資訊,該處理設備基於該前景影像獲得移動物件的空間座標資訊,包括:基於該深度攝像設備的相機標定法,對該前景影像中與貨架距離最近的部分的像素點座標進行座標轉換,獲得移動物件中與貨架距離最近的部分的其中兩軸空間座標資訊;以及根據該前景影像中與貨架距離最近的部分的像素點的深度資訊,確定移動物件中與貨架距離最近的部分的第三 軸空間座標資訊。
  5. 根據申請專利範圍第1至4項中任一項所述的系統,該貨架中同一層貨層所擺放的貨物相同,該處理設備用於將該移動物件的空間座標資訊與該貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定該移動物件所接觸的貨物,包括:基於該移動物件的空間座標資訊與該貨架中貨層的空間座標資訊,利用空間座標資訊中由像素點座標轉換獲得的兩軸空間座標資訊確定移動物件是否伸入貨架,利用空間座標資訊中由深度資訊轉換獲得的第三軸空間座標資訊確定移動物件伸入貨架的貨層;以及根據預設的貨層與貨物的對應關係,將所確定貨層對應的貨物確定為該移動對象所接觸的貨物。
  6. 一種互動行為檢測方法,該方法包括:從深度攝像設備中獲取該待檢測深度影像,該深度攝像設備設於貨架上方、且該深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域;從該待檢測深度影像中提取用於表示移動物件的前景影像,並基於該前景影像獲得移動物件的空間座標資訊;以及將該移動物件的空間座標資訊與該貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物 確定該移動物件所接觸的貨物,該貨層的空間座標資訊基於背景深度影像獲得,該背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像,其中,該貨架中貨層的空間座標資訊的預確定過程,包括:獲取深度攝像設備以指定角度拍攝的、且不存在前景影像的第一背景深度影像集合;確定第一背景深度影像集合中貨層邊緣線;基於該深度攝像設備的相機標定法,將該貨層邊緣線的像素點座標進行轉換,獲得貨層實際空間座標資訊中的其中兩軸空間座標資訊;以及針對同層貨層邊緣線,將該貨層邊緣線各像素點的深度資訊進行聚類,獲得該貨層實際空間座標資訊中第三軸空間座標資訊。
  7. 根據申請專利範圍第6項所述的方法,該確定第一背景深度影像集合中貨層邊緣線,包括:對該第一背景深度影像集合進行預處理,預處理至少包括影像平均和影像消除雜訊;將預處理後的影像進行邊緣檢測;以及以預設角度對邊緣檢測獲得的影像進行直線檢測,並過濾低於預設長度閾值的直線,獲得第一背景深度影像集合中貨層邊緣線,該預設角度基於深度攝像設備與貨架的相對位置關係確定。
  8. 一種互動行為檢測方法,該方法包括:從深度攝像設備中獲取該待檢測深度影像;該深度攝像設備設於貨架上方、且該深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域;從該待檢測深度影像中提取用於表示移動物件的前景影像,並基於該前景影像獲得移動物件的空間座標資訊;以及將該移動物件的空間座標資訊與該貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定該移動物件所接觸的貨物,該貨層的空間座標資訊基於背景深度影像獲得,該背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影,其中,該從該待檢測深度影像中提取用於表示移動物件的前景影像,包括:獲取背景影像,該背景影像基於第二背景深度影像集合進行背景建模獲得,該第二背景深度影像集合是深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像集合;以及將該待檢測深度影像與該背景影像進行對比,從該待檢測深度影像中抽取用於表示移動物件的前景影像。
  9. 根據申請專利範圍第8項所述的方法,該方法還包 括:將從相鄰待檢測深度影像中提取出的前景影像進行前景位置比較,該相鄰待檢測深度影像是深度攝像設備在相鄰時間拍攝的待檢測深度影像;以及將相鄰待檢測深度影像中距離最近的一組前景確定為相同前景,並獲得該前景所對應移動對象的移動軌跡。
  10. 一種互動行為檢測方法,該方法包括:從深度攝像設備中獲取該待檢測深度影像;該深度攝像設備設於貨架上方、且該深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域;從該待檢測深度影像中提取用於表示移動物件的前景影像,並基於該前景影像獲得移動物件的空間座標資訊;以及將該移動物件的空間座標資訊與該貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定該移動物件所接觸的貨物,該貨層的空間座標資訊基於背景深度影像獲得,該背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影,其中,該移動物件的空間座標資訊包括移動物件中與貨架距離最近的部分的空間座標資訊,該基於該前景影像獲得移動物件的空間座標資訊,包括:基於該深度攝像設備的相機標定法,對該前景影像中 與貨架距離最近的部分的像素點座標進行座標轉換,獲得移動物件中與貨架距離最近的部分的其中兩軸空間座標資訊;以及根據該前景影像中與貨架距離最近的部分的像素點的深度資訊,確定移動物件中與貨架距離最近的部分的第三軸空間座標資訊。
  11. 根據申請專利範圍第6至10項中任一項所述的方法,該貨架中同一層貨層所擺放的貨物相同,該將該移動物件的空間座標資訊與該貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定該移動物件所接觸的貨物,包括:基於該移動物件的空間座標資訊與該貨架中貨層的空間座標資訊,利用空間座標資訊中由像素點座標轉換獲得的兩軸空間座標資訊確定移動物件是否伸入貨架,利用空間座標資訊中由深度資訊轉換獲得的第三軸空間座標資訊確定移動物件伸入貨架的貨層;以及根據預設的貨層與貨物的對應關係,將所確定貨層對應的貨物確定為該移動對象所接觸的貨物。
  12. 一種互動行為檢測裝置,該裝置包括:影像獲取模組,用於從深度攝像設備中獲取該待檢測深度影像,該深度攝像設備設於貨架上方、且該深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區 域;前景提取模組,用於從該待檢測深度影像中提取用於表示移動物件的前景影像;座標確定模組,用於基於該前景影像獲得移動物件的空間座標資訊;以及互動貨物確定模組,用於將該移動物件的空間座標資訊與該貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定該移動物件所接觸的貨物,其中,該貨層的空間座標資訊基於背景深度影像獲得,該背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像,且該貨架中貨層的空間座標資訊的預確定過程,包括:獲取深度攝像設備以指定角度拍攝的、且不存在前景影像的第一背景深度影像集合;確定第一背景深度影像集合中貨層邊緣線;基於該深度攝像設備的相機標定法,將該貨層邊緣線的像素點座標進行轉換,獲得貨層實際空間座標資訊中的其中兩軸空間座標資訊;以及針對同層貨層邊緣線,將該貨層邊緣線各像素點的深度資訊進行聚類,獲得該貨層實際空間座標資訊中第三軸空間座標資訊。
  13. 一種電腦設備,包括: 處理器;用於儲存處理器可執行指令的記憶體;其中,該處理器被配置為:從深度攝像設備中獲取該待檢測深度影像,該深度攝像設備設於貨架上方、且該深度攝像設備的拍攝範圍包括貨架每層貨層外邊緣以及指定通道區域;從該待檢測深度影像中提取用於表示移動物件的前景影像,並基於該前景影像獲得移動物件的空間座標資訊;以及將該移動物件的空間座標資訊與該貨架中貨層的空間座標資訊進行座標比較,根據比較結果以及貨層中的貨物確定該移動物件所接觸的貨物,其中,該貨層的空間座標資訊基於背景深度影像獲得,該背景深度影像是基於深度攝像設備以指定角度拍攝的、且不存在前景影像的深度影像,且該貨架中貨層的空間座標資訊的預確定過程,包括:獲取深度攝像設備以指定角度拍攝的、且不存在前景影像的第一背景深度影像集合;確定第一背景深度影像集合中貨層邊緣線;基於該深度攝像設備的相機標定法,將該貨層邊緣線的像素點座標進行轉換,獲得貨層實際空間座標資訊中的其中兩軸空間座標資訊;以及針對同層貨層邊緣線,將該貨層邊緣線各像素點的深度資訊進行聚類,獲得該貨層實際空間座標資訊中第三軸 空間座標資訊。
TW107145002A 2018-01-26 2018-12-13 互動行為檢測方法、裝置、系統及設備 TWI694352B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810077811.X 2018-01-26
??201810077811.X 2018-01-26
CN201810077811.XA CN108364316A (zh) 2018-01-26 2018-01-26 交互行为检测方法、装置、系统及设备

Publications (2)

Publication Number Publication Date
TW201933048A TW201933048A (zh) 2019-08-16
TWI694352B true TWI694352B (zh) 2020-05-21

Family

ID=63007344

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107145002A TWI694352B (zh) 2018-01-26 2018-12-13 互動行為檢測方法、裝置、系統及設備

Country Status (5)

Country Link
US (1) US10984228B2 (zh)
CN (1) CN108364316A (zh)
SG (1) SG11202005900VA (zh)
TW (1) TWI694352B (zh)
WO (1) WO2019144772A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364316A (zh) * 2018-01-26 2018-08-03 阿里巴巴集团控股有限公司 交互行为检测方法、装置、系统及设备
CN109086724B (zh) * 2018-08-09 2019-12-24 北京华捷艾米科技有限公司 一种加速的人脸检测方法及存储介质
US11132550B2 (en) * 2019-10-25 2021-09-28 7-Eleven, Inc. Detecting shelf interactions using a sensor array
JP7250588B2 (ja) * 2019-03-28 2023-04-03 キヤノン株式会社 画像処理装置、送信方法、及びプログラム
CN110135331A (zh) * 2019-05-13 2019-08-16 人加智能机器人技术(北京)有限公司 交互行为检测方法、装置、系统、设备和存储介质
US11151743B2 (en) * 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105912999A (zh) * 2016-04-05 2016-08-31 中国民航大学 基于深度信息的人体行为识别方法
TWI578272B (zh) * 2016-05-18 2017-04-11 Chunghwa Telecom Co Ltd Shelf detection system and method
US9727838B2 (en) * 2011-03-17 2017-08-08 Triangle Strategy Group, LLC On-shelf tracking system

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080181507A1 (en) * 2007-01-29 2008-07-31 Intellivision Technologies Corp. Image manipulation for videos and still images
JP4989611B2 (ja) * 2008-11-07 2012-08-01 セイコーインスツル株式会社 情報表示パネル及び棚札
US8570343B2 (en) * 2010-04-20 2013-10-29 Dassault Systemes Automatic generation of 3D models from packaged goods product images
TW201222288A (en) * 2010-11-22 2012-06-01 Inst Information Industry Image retrieving system and method and computer program product thereof
JP5645079B2 (ja) * 2011-03-31 2014-12-24 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US8929592B2 (en) * 2012-03-13 2015-01-06 Mitsubishi Electric Research Laboratories, Inc. Camera-based 3D climate control
JP6699547B2 (ja) * 2014-03-12 2020-05-27 日本電気株式会社 陳列状況解析装置、陳列状況解析方法およびプログラム
US9483704B2 (en) * 2014-12-10 2016-11-01 Ricoh Co., Ltd. Realogram scene analysis of images: superpixel scene analysis
JP6602009B2 (ja) * 2014-12-16 2019-11-06 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN104463899B (zh) * 2014-12-31 2017-09-22 北京格灵深瞳信息技术有限公司 一种目标对象检测、监控方法及其装置
US9524445B2 (en) * 2015-02-27 2016-12-20 Sharp Laboratories Of America, Inc. Methods and systems for suppressing non-document-boundary contours in an image
CN105519102B (zh) * 2015-03-26 2018-12-28 北京旷视科技有限公司 视频监控方法和视频监控系统
US10592854B2 (en) * 2015-12-18 2020-03-17 Ricoh Co., Ltd. Planogram matching
JP6558579B2 (ja) * 2015-12-24 2019-08-14 パナソニックIpマネジメント株式会社 動線分析システム及び動線分析方法
CN105607635B (zh) * 2016-01-05 2018-12-14 东莞市松迪智能机器人科技有限公司 自动导引车全景光学视觉导航控制系统及全向自动导引车
CN106347919A (zh) * 2016-11-10 2017-01-25 杭州南江机器人股份有限公司 一种自动仓储系统
CN107045641B (zh) * 2017-04-26 2020-07-28 广州图匠数据科技有限公司 一种基于图像识别技术的货架识别方法
CN108364316A (zh) * 2018-01-26 2018-08-03 阿里巴巴集团控股有限公司 交互行为检测方法、装置、系统及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9727838B2 (en) * 2011-03-17 2017-08-08 Triangle Strategy Group, LLC On-shelf tracking system
CN105912999A (zh) * 2016-04-05 2016-08-31 中国民航大学 基于深度信息的人体行为识别方法
TWI578272B (zh) * 2016-05-18 2017-04-11 Chunghwa Telecom Co Ltd Shelf detection system and method

Also Published As

Publication number Publication date
US10984228B2 (en) 2021-04-20
WO2019144772A1 (zh) 2019-08-01
US20200293766A1 (en) 2020-09-17
TW201933048A (zh) 2019-08-16
SG11202005900VA (en) 2020-07-29
CN108364316A (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
TWI694352B (zh) 互動行為檢測方法、裝置、系統及設備
CN111415461B (zh) 物品识别方法及系统、电子设备
CN109271847B (zh) 无人结算场景中异常检测方法、装置及设备
WO2021012644A1 (zh) 货架商品检测方法及系统
US8254633B1 (en) Method and system for finding correspondence between face camera views and behavior camera views
US10163256B2 (en) Method and system for generating a three-dimensional model
CN109671115A (zh) 使用深度值估计的图像处理方法和装置
CN105760846B (zh) 基于深度数据的目标检测与定位方法及系统
US11783443B2 (en) Extraction of standardized images from a single view or multi-view capture
JP2019075156A (ja) 多因子画像特徴登録及び追尾のための方法、回路、装置、システム、及び、関連するコンピュータで実行可能なコード
CN108921098B (zh) 人体运动分析方法、装置、设备及存储介质
CN108475433A (zh) 用于大规模确定rgbd相机姿势的方法和系统
CN101344965A (zh) 基于双目摄像的跟踪系统
CN109035330A (zh) 箱体拟合方法、设备和计算机可读存储介质
Yang et al. A new hybrid synthetic aperture imaging model for tracking and seeing people through occlusion
Gómez et al. Intelligent surveillance of indoor environments based on computer vision and 3D point cloud fusion
CN106558069A (zh) 一种基于视频监控下的目标跟踪方法及系统
EP2257924B1 (fr) Procede pour generer une image de densite d'une zone d'observation
TW201246089A (en) Method for setting dynamic environmental image borders and method for instantly determining the content of staff member activities
CN106504274A (zh) 一种基于红外摄像头下的视觉跟踪方法及系统
CN115249356B (zh) 识别方法、装置、设备及存储介质
CN111627049A (zh) 高空抛物的确定方法、装置、存储介质及处理器
WO2022127181A1 (zh) 客流的监测方法、装置、电子设备及存储介质
CN106845378B (zh) 一种自对向图像中识别人体目标的方法
Yin et al. Removing dynamic 3D objects from point clouds of a moving RGB-D camera