WO2021259209A1 - 确定货架展位状态的方法和装置、货架和非瞬态计算机可读存储介质 - Google Patents

确定货架展位状态的方法和装置、货架和非瞬态计算机可读存储介质 Download PDF

Info

Publication number
WO2021259209A1
WO2021259209A1 PCT/CN2021/101296 CN2021101296W WO2021259209A1 WO 2021259209 A1 WO2021259209 A1 WO 2021259209A1 CN 2021101296 W CN2021101296 W CN 2021101296W WO 2021259209 A1 WO2021259209 A1 WO 2021259209A1
Authority
WO
WIPO (PCT)
Prior art keywords
booth
data
current
state
current detection
Prior art date
Application number
PCT/CN2021/101296
Other languages
English (en)
French (fr)
Other versions
WO2021259209A9 (zh
Inventor
刘童
Original Assignee
京东方科技集团股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京东方科技集团股份有限公司 filed Critical 京东方科技集团股份有限公司
Priority to US17/792,482 priority Critical patent/US20230104061A1/en
Publication of WO2021259209A1 publication Critical patent/WO2021259209A1/zh
Publication of WO2021259209A9 publication Critical patent/WO2021259209A9/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F11/00—Arrangements in shop windows, shop floors or show cases
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F5/00—Show stands, hangers, or shelves characterised by their constructional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本公开涉及一种确定货架展位状态的方法和装置、货架和非瞬态计算机可读存储介质。该方法包括：获取货架在当前检测周期的当前检测数据；当确定所述当前检测数据满足预设条件时，确定所述当前检测数据中各展位的第一状态信息；当所述当前检测数据指示存在第一状态信息为第一状态的目标展位时，获取前一检测周期的前一检测数据中目标展位的第一状态信息；基于目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定目标展位的第二状态信息；第二状态信息表示物品被放回的第三状态。

Description

确定货架展位状态的方法和装置、货架和非瞬态计算机可读存储介质
相关申请的交叉引用
本公开要求于2020年6月24日提交的、申请号为202010589051.8、发明名称为“确定货架展位状态的方法和装置、货架”的中国专利申请的优先权，该中国专利申请公开的全部内容通过引用的方式被包含于此。
技术领域
本公开涉及数据处理技术领域，尤其涉及一种确定货架展位状态的方法和装置、货架和非瞬态计算机可读存储介质。
背景技术
目前，新零售、展陈、银行贵金属展示等场景下已经越来越多的使用新型货架，通过在货架上的多个展位上放置物品，可以方便用户自助取放。为了方便用户了解货架的存货情况，当物品离开展位时，货架会显示该展位空置，当用户将物品放回展位时，货架会显示该展位有物品，从而保证交互效果。
发明内容
本公开提供一种确定货架展位状态的方法和装置、货架和非瞬态计算机可读存储介质。
第一方面，本公开实施例提供一种确定货架展位状态的方法，所述展位用于放置物品，所述方法包括：
获取货架在当前检测周期的当前检测数据；所述当前检测数据包括货架中至少一个展位的数据；
当确定所述当前检测数据满足预设条件时，确定所述当前检测数据中各展位的第一状态信息；所述第一状态信息表示展位有物品的第一状态或展位没有物品的第二状态；
当所述当前检测数据指示存在第一状态信息为第一状态的目标展位时，获取前一检测周期的前一检测数据中所述目标展位的第一状态信息；
基于所述目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定所 述目标展位的第二状态信息；所述第二状态信息表示物品被放回的第三状态。
可选地，确定所述当前检测数据满足预设条件，包括：
确定所述当前检测数据是否包括运动数据；
当确定所述当前检测数据中未包括运动数据时，获取所述当前检测周期的时间和包含运动数据的最近一个检测周期的时间之间的第一时间间隔；
当所述第一时间间隔超过第一预设时间间隔时，确定所述当前检测数据满足预设条件。
可选地，所述当前检测数据包括摄像头采集的当前帧图像；确定所述当前检测数据是否包括运动数据，包括：
获取所述当前帧图像与前一帧图像中同一像素的灰度差值；
统计灰度差值超过预设灰度阈值的像素的个数；
当所述个数与所述当前帧图像中像素的总个数的比例超过预设比例阈值时，确定所述当前帧图像包括表示相对于前一帧图像出现运动的运动数据；否则，确定所述当前帧图像不包括运动数据。
可选地，基于所述目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定所述目标展位的第二状态信息，包括：
当所述目标展位在前一检测数据中的第一状态信息为第二状态时，确定所述目标展位的第二状态信息为第三状态。
第二方面，本公开实施例提供一种确定货架展位状态的装置，所述展位用于放置物品，所述装置包括：
当前数据获取模块，用于获取货架在当前检测周期的当前检测数据；所述当前检测数据包括货架中至少一个展位的数据；
第一状态确定模块，用于当确定所述当前检测数据满足预设条件时，确定所述当前检测数据中各展位的第一状态信息；所述第一状态信息表示展位有物品的第一状态或展位没有物品的第二状态；
第一状态获取模块，用于当所述当前检测数据指示存在第一状态信息为第一状态的目标展位时，获取前一检测周期的前一检测数据中所述目标展位的第一状态信息；
第二状态确定模块，用于基于所述目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定所述目标展位的第二状态信息；所述第二状态信息表示物品被放回的第三状态。
可选地，所述第一状态确定模块包括：
运动数据确定单元，用于确定所述当前检测数据是否包括运动数据；
第一间隔获取单元，用于当确定所述当前检测数据中未包括运动数据时，获取所述当前检测周期的时间和包含运动数据的最近一个检测周期的时间之间的第一时间间隔；
条件满足确定单元，用于当所述第一时间间隔超过第一预设时间间隔时，确定所述当前检测数据满足预设条件。
可选地，所述当前检测数据包括摄像头采集的当前帧图像；所述运动数据确定单元包括：
灰度差值获取子单元，用于获取所述当前帧图像与前一帧图像中同一像素的灰度差值；
像素个数统计子单元，用于统计灰度差值超过预设灰度阈值的像素的个数；
运动数据确定子单元，用于当所述个数与所述当前帧图像中像素的总个数的比例超过预设比例阈值时，确定所述当前帧图像包括表示相对于前一帧图像出现运动的运动数据；否则，确定所述当前帧图像不包括运动数据。
可选地，所述第二状态确定模块包括：
第三状态确定单元，用于当所述目标展位在前一检测数据中的第一状态信息为第二状态时，确定所述目标展位的第二状态信息为第三状态。
第三方面，本公开实施例提供一种货架，包括：
货架本体，所述货架本体上设置有多层，每一层设置有用于放置物品的多个展位；
数据采集器，用于采集所述货架在当前检测周期的当前检测数据；所述当前检测数据包括所述货架中至少一个展位的数据；和
处理器，所述处理器与所述数据采集器连接，被配置为：
获取所述当前检测数据；
当确定所述当前检测数据满足预设条件时，确定所述当前检测数据中各展位的第一 状态信息；所述第一状态信息表示展位有物品的第一状态或展位没有物品的第二状态；
当所述当前检测数据指示存在第一状态信息为第一状态的目标展位时，获取前一检测周期的前一检测数据中所述目标展位的第一状态信息；
基于所述目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定所述目标展位的第二状态信息；所述第二状态信息表示物品被放回的第三状态。
可选地，确定所述当前检测数据满足预设条件，包括：
确定所述当前检测数据是否包括运动数据；
当确定所述当前检测数据中未包括运动数据时，获取所述当前检测周期的时间和包含运动数据的最近一个检测周期的时间之间的第一时间间隔；
当所述第一时间间隔超过第一预设时间间隔时，确定所述当前检测数据满足预设条件。
可选地，所述数据采集器包括摄像头，所述当前检测数据包括所述摄像头采集的当前帧图像；确定所述当前检测数据是否包括运动数据，包括：
获取所述当前帧图像与前一帧图像中同一像素的灰度差值；
统计灰度差值超过预设灰度阈值的像素的个数；
当所述个数与所述当前帧图像中像素的总个数的比例超过预设比例阈值时，确定所述当前帧图像包括表示相对于前一帧图像出现运动的运动数据；否则，确定所述当前帧图像不包括运动数据。
可选地，基于所述目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定所述目标展位的第二状态信息，包括：
当所述目标展位在前一检测数据中的第一状态信息为第二状态时，确定所述目标展位的第二状态信息为第三状态。
可选地，所述数据采集器包括多个压力传感器，所述多个压力传感器分别设置在各展位的底部，所述当前检测数据包括所述多个压力传感器采集的当前压力数据。
可选地，所述货架还包括显示器，所述显示器设置在货架本体的预设位置，用于显示各展位的第一状态信息或第二状态信息。
第四方面，本公开实施例提供一种货架，包括：货架本体、摄像头和处理器；
所述货架本体上设置有多层，每一层设置有用于放置物品的多个展位；
所述摄像头设置在所述货架本体的顶部，其视场角覆盖所述货架本体上的全部展位，用于拍摄至少一个展位的当前帧图像；
所述处理器与所述摄像头连接，用于根据当前帧图像获取各个展位的第一状态信息或第二状态信息。
第五方面，本公开实施例提供一种货架，包括：货架本体、多个压力传感器和处理器；
所述货架本体上设置有多层，每一层设置有用于放置物品的多个展位；
所述多个压力传感器分别设置在各展位的底部，用于获取各展位的当前压力数据；
所述处理器与所述多个压力传感器连接，用于根据当前压力数据获取各个展位的第一状态信息或第二状态信息。
可选地，所述货架还包括显示器，所述显示器设置在货架本体的预设位置，用于显示各展位的第一状态信息或第二状态信息。
第六方面，本公开实施例提供一种非瞬态计算机可读存储介质，其上存储有计算机可执行程序，该计算机可执行程序被处理器执行时使所述处理器实现上述方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开实施例示出的一种货架的示意图。
图2是本公开实施例示出的一种摄像头安装位置的示意图。
图3是本公开实施例示出的另一种摄像头安装位置的示意图。
图4是本公开实施例示出的另一种货架的示意图。
图5是本公开实施例示出的一种确定货架展位状态的方法的流程图。
图6是本公开实施例示出的确定当前检测数据是否满足预设条件的流程图。
图7是本公开实施例示出的确定当前检测数据中是否包括运动数据的流程图。
图8是本公开实施例示出的一种显示展位状态信息的效果示意图。
图9是本公开实施例示出的一种应用场景图。
图10是本公开实施例示出的一种确定货架展位状态的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
相关技术中，展位上有物品可能是物品一直都在，也可能是用户刚放回的物品。考虑到用户可能返回重新观察刚放回的物品，若仅显示展位上有物品，则无法准确地指示用户，导致用户无法找到刚放回的物品，尤其是在展位上物品差异较小的场景。
鉴于此，本公开实施例提供了一种货架。参见图1，货架1包括货架本体10、摄像头20和处理器30。
货架本体10上设置有多层，每一层设置有用于放置物品的多个展位，诸如图1中的展位11、12和13、展位21、22和23、……、展位51、52和53。其中，展位的第一位表示展位所在层数，第二位表示展位的序数，如展位11表示第1层的第1个展位。
摄像头20设置在货架本体10的顶部，其视场角(图1中的四条虚线围成的空间范围)覆盖货架本体10上的全部展位，用于拍摄至少一个展位的当前帧图像。
处理器30与摄像头20连接，用于根据当前帧图像获取各个展位的第一状态信息或第二状态信息。第一状态信息表示展位有物品的第一状态或展位没有物品的第二状态，第二状态信息表示物品被放回的第三状态。
在一实施例中，货架1还包括显示器40，该显示器40采用LCD显示屏、LED显示屏、或者OLED显示屏。该显示器40可以设置在货架本体10的使位于货架1前方的用户能够观看到其显示内容的预设位置，该显示器40用于显示各展位的第一状态信息或第二状态信息。例如，上述预设位置的中心点可以在用户站立时与用户视线平齐。考虑到用户的身高大约在120～200cm之间，上述预设位置的高度可以设置在130-170cm之 间。
需要说明的是，摄像头20和处理器30采用虚线框表示，表示其位置是设置在显示器40的后方，用户在观看显示内容时无法直接看到上述摄像头20和处理器30。具体实现时，摄像头20还可以设置在货架1底部的一层上，并使其视场角覆盖各个展位。
需要说明的是，具体实现时，摄像头20可以自动调整焦距，从而使视场角覆盖要拍摄的至少一个展位，这样，当前检测数据可以包括至少一个展位的数据。或者，摄像头可以拍摄包含全部展位的图像，处理器30对该图像进行分割，得到至少一个展位的图像。本领域技术人员可以根据具体场景选择合适的方式，在能够得到至少一个展位的当前检测数据的情况下，各方案均落入本公开的保护范围。或者，可以在货架本体10上的各层均设置一个摄像头20，如图2和图3所示，图2中的摄像头20均设置在各层的顶部，图3中的摄像头20均设置在各层的底部。
本公开实施例还提供了另一种货架。参见图4，货架1’包括货架本体10、多个压力传感器20’和处理器30。该货架1’与图1所示货架1的区别在于，在各个展位设置有用于获取各展位的当前压力数据的压力传感器20’，处理器30与所述压力传感器20’连接，用于根据当前压力数据获取各个展位的第一状态信息或第二状态信息。当物品放置到展位时，压力传感器20’可以检测到超过压力阈值的压力数据；当展位没有物品时，压力传感器20’可以检测到小于压力阈值的压力数据。其他相同部件可以参考图1所示实施例的内容，在此不再赘述。
基于图1和图4所示货架，本公开实施例还提供了一种确定货架展位状态的方法，图5是本公开实施例示出的一种确定货架展位状态的方法的流程图。参见图5，一种确定货架展位状态的方法包括步骤51～步骤54。
在步骤51中，获取货架在当前检测周期的当前检测数据；所述当前检测数据包括货架中至少一个展位的数据。
本示例中，处理器30可以实时地或者周期性地获取货架在当前检测周期的当前检测数据。其中，处理器30可以采用服务器或嵌入式系统实现，在此不作限定。
具体实现时，采集当前检测数据的设备可以是诸如摄像头或者压力传感器的数据采集器。例如，在图1所示货架中，摄像头20实时地或者周期性地获取至少一个展位的当前帧图像，该当前帧图像即是当前检测数据。又如，在图2所示货架中，压力传感器20’实时地或者周期性地获取至少一个展位的压力数据，得到当前检测周期的当前压力 数据，该当前压力数据即是当前检测数据。
在步骤52中，当确定所述当前检测数据满足预设条件时，确定所述当前检测数据中各展位的第一状态信息；所述第一状态信息表示展位有物品的第一状态或展位没有物品的第二状态。
本示例中，处理器30可以确定步骤51获取的当前检测数据是否满足预设条件，该过程包括如图6所示的步骤61～步骤63。
在步骤61中，处理器30可以确定当前检测数据是否包括运动数据。其中，在当前检测数据与前一检测周期的前一检测数据中同一展位的数据变化超过阈值时，确定当前检测数据中该展位的数据为运动数据。
本示例中，以当前检测数据是当前帧图像为例来确定当前检测数据是否包括运动数据，该过程包括如图7所示的步骤71～步骤73。
在步骤71中，处理器30可以获取当前帧图像与前一帧图像中同一像素的灰度差值。在步骤72中，处理器30可以统计灰度差值超过预设灰度阈值的像素的个数。具体实现时，上述预设灰度阈值可以设置为50。在步骤73中，当上述个数与当前帧图像中像素的总个数的比例超过预设比例阈值时，处理器30可以确定当前帧图像包括表示相对于前一帧图像出现运动的运动数据；否则，处理器30可以确定当前帧图像不包括运动数据。具体实现时，上述预设比例阈值可以设置为30％。
需要说明的是，步骤71～步骤73中，处理器30可以对整帧图像进行运动检测。当然，处理器30可以从当前帧图像中获取到各个展位的子图像，然后针对各个子图像执行步骤71～步骤73。由于展位的子图像去除了背景的区域，面积更小，因此处理速度较快。本领域技术人员可以根据具体场景选用合适的方案，在此不作限定。
在步骤62中，当确定当前检测数据中未包括运动数据时，处理器30可以获取当前检测周期的时间和包含运动数据的最近一个检测周期的时间之间的第一时间间隔。其中，最近一个检测周期是指当前检测周期的前一个检测周期。由于各检测周期内所获得的检测数据可能包括运动数据，也可能未包括运动数据，因此，包含运动数据的最近一个检测周期是指与当前检测周期的检测时间之间间隔最短的一个包含运动数据的检测数据所对应的检测周期。即当前检测周期与包含运动数据的最近一个检测周期之间的检测数据均未包含运动数据。
在步骤63中，当第一时间间隔超过第一预设时间间隔时，处理器30可以确定当前 检测数据满足预设条件。
图6所示实施例指出，预设条件是指，在当前检测数据为当前帧图像的情况下，当前检测数据中未包含运动数据且当前检测周期之前的第一预设时间间隔内的检测数据也不包含运动数据。
可理解的是，当当前检测数据是由货架中的压力传感器采集的压力数据时，考虑到物品被放回也就是一瞬间的动作，因此，此场景下可以不对当前检测数据进行运动检测。换言之，预设条件是指，在当前检测数据为当前压力数据的情况下，无需进行运动检测。
本示例中，货架1中可以预先存储一个状态判别器。该状态判别器可以采用神经网络模型实现，也可以采用模板相差的模型或者模板匹配的模型实现，可以根据具体场景进行设置。处理器30可以将当前检测数据输入到状态判别器，并获取到状态判别器输出的各展位的第一状态信息，例如，第一状态信息可以表示展位有物品的第一状态，又如，第一状态信息可以表示展位没有物品的第二状态。
以模板相差的模型为例，该状态判别器可以包括一个标准模板，该标准模板包含所有展位上均未放置物品时所采集的检测数据。以检测数据包括图像为例，标准模板中各展位是空的，状态判别器将当前帧图像减去标准模板即可得到差值图像；如果差值图像中一个展位上的像素灰度差值均比较大(例如超过预设的10个灰度)，则说明该展位上放置有物品；如果差值图像中一个展位上的像素灰度差值均比较小(例如小于10个灰度)，则说明该展位上没有放置物品，即该展位是空的。上述设置10个灰度是为了匹配不同光线下所拍摄图像的偏差。以检测数据包括压力数据为例，标准模板中各展位是空的，状态判别器将当前压力数据减去标准模板即可得到差值压力；如果一个展位上的差值压力比较大(例如超过预设的10克)，则说明该展位上放置有物品；如果一个展位上的差值压力比较小(例如小于10克)，则说明该展位上没有放置物品，即该展位是空的。
以神经网络模型为例，可以获取一定数量的训练样本，各训练样本中每个展位均标注了第一状态信息(如有物品或者无物品)。然后，利用上述训练样本对神经网络模型进行训练，在损失函数计算出的损失值小于或等于损失阈值后停止训练。这样，可以将当前检测数据输入到神经网络模型，由神经网络模型确定出各展位的第一状态信息。
以模板匹配的模型为例，该状态判别器可以包括一个标准模板，该标准模板包 含所有展位上均未放置物品时所采集的检测数据。以检测数据包括图像为例，状态判别器可以获取当前帧图像中各个展位和标准模板中对应展位的相似度，相似度计算可以采用相关技术中的余弦公式。之后，状态判别器可以对比计算出的相似度和预设的相似度阈值(如0.9)，当相似度大于或等于相似度阈值时，确定当前帧图像中各展位和标准模板中对应展位相似，否则不相似。即，在展位相似时，处理器30可以确定展位没有物品；在展位不相似时，处理器30可以确定展位有物品，从而得到第一状态信息。
需要说明的是，当货架上设置摄像头或者压力传感器，即当前检测数据是图像数据或者压力数据时，均可以采用上述状态判别器来获得第一状态信息。当货架上同时设置摄像头和压力传感器时，该压力传感器可以用于辅助检测。例如，确定出第一状态信息表示展位没有物品的第二状态，可能包括展位上物品与背景的颜色非常相似(如均是白色的)的情况，此时得到的第一状态信息可能会不准确，为此，处理器30可以获取第二状态的各展位的压力数据，如果压力数据小于或等于预设的压力阈值，则说明展位上没有物品，确定第二状态是准确且可信的；如果压力数据大于预设的压力阈值，则说明展位上有物品，确定第二状态是不准确，此时处理器30可以将该展位的第一状态信息调整为第一状态。也就是说，处理器30可以利用压力数据对各个第二状态的展位进行辅助校验，从而解决物品与背景颜色相同或者相近时引起的第一状态信息不准确的问题，有利于提升检测的准确度。
实际应用中，处理器30可以对其中的满足要求的一部分展位采用压力辅助校验。以模板匹配的模型为例，该状态判别器在确定出第一状态信息时，会提供计算出的相似度。此时，只有在相似度小于相似度阈值，且相似度阈值与相似度的差值小于差值阈值时，如相似度阈值是0.9，差值阈值是0.05，那么只有当相似度在0.9-0.85之间时，才进行压力辅助校验，从而减少计算量。
在步骤53中，当所述当前检测数据指示存在第一状态信息为第一状态的目标展位时，获取前一检测周期的前一检测数据中目标展位的第一状态信息。
本示例中，处理器30可以获取当前检测数据中第一状态信息为第一状态的展位，后称之为目标展位。然后，处理器30可以获取当前检测周期的前一检测周期的检测数据，即前一检测数据，并获取该前一检测数据中各目标展位的第一状态信息。
在步骤54中，基于所述目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定所述目标展位的第二状态信息；第二状态信息表示物品被放回的第三状态。
本示例中，处理器30可以基于目标展位在当前检测数据和前一检测数据中的第一状态信息，确定目标展位的第二状态信息。即当目标展位在前一检测数据中的第一状态信息为第二状态时，处理器30可以确定目标展位的第二状态信息为第三状态，即展位上的物品刚被放回。当目标展位在前一检测数据中的第一状态信息为第一状态时，说明物品一直在展位上。
本示例中，处理器30还可以控制显示器40显示各展位的第一状态信息或第二状态信息，如图8所示。
至此，本实施例中，可以获取货架在当前检测周期的当前检测数据；然后，当确定所述当前检测数据满足预设条件时，可以确定当前检测数据中各展位的第一状态信息；所述第一状态信息表示展位有物品的第一状态或展位没有物品的第二状态；之后，当所述当前检测数据指示存在第一状态信息为第一状态的目标展位时，获取前一检测周期的前一检测数据中目标展位的第一状态信息；最后，基于各目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定各目标展位的第二状态信息；第二状态信息表示物品被放回的第三状态。这样，本实施例中可以确定出展位包括第一状态、第二状态和第三状态共三个状态，即本实施例可以确定出货架上刚被放回的物品，从而准确的反映出展位的状态，有利于提升交互体验。
下面结合货架上设置摄像头的场景，来描述一种确定货架展位状态的方法。参见图9，该方法包括：
一、准备阶段：
1、在货架前方安装摄像头，摄像头向货架内拍摄，处理器可以实时提取摄像头拍摄的图像。
2、将图像划分为包括不同的物品区域的子图像，分别处理。
3、提取标准模板，即标准模板是空货架的图像，并得到每个物品区域的背景图像数据。
4、训练状态判别器，以判断每个展位为空还是有物品。
二、运行阶段
1、处理器从摄像头读取一帧图像作为当前帧图像。
2、处理器对当前帧图像进行运动检测。
3、处理器在确定当前帧图像包括运动数据时，更新“最后运动时间”，结束当前帧图像的处理，返回运行阶段的步骤1。
4、处理器在确定当前帧图像不包括运动数据时，计算当前检测时间和“最后运动时间”的时间间隔，即第一时间间隔。
5、如果第一时间间隔小于或等于第一预设时间间隔(如0.3秒)，结束当前帧图像的处理，返回运行阶段的步骤1。
6、如果第一时间间隔大于第一预设时间间隔，处理器确定当前帧图像中各展位的第一状态信息，即展位上放置物品(第一状态)或者空置(第二状态)。
7、如果步骤6的判断结果是空置，处理器可以更新展位的状态信息为第二状态，并结束当前帧图像的处理，返回运行阶段的步骤1。
8、如果步骤6的判断结果不是空置，处理器可以判断该展位在前一状态数据中是否为空置。
9、如果步骤8的判断结果是空置，确定第二状态信息为第三状态(即物品被放回)，并结束当前帧图像的处理，返回运行阶段的步骤1。
10、如果步骤8的判断结果不是空置，结束当前帧图像的处理，返回运行阶段的步骤1。
需要说明的是，上述第一预设时间间隔可以根据不同场景进行设置。例如对及时性要求较高的场景，第一预设时间间隔可以设得较短，比如10秒钟；反之则可以设得较长，比如五分钟甚至一小时。
在上述一种确定货架展位状态的方法的基础上，本公开实施例还提供了一种确定货架展位状态的装置。参见图10，该装置包括当前数据获取模块101、第一状态确定模块102、第一状态获取模块103和第二状态确定模块104。
当前数据获取模块101，用于获取货架在当前检测周期的当前检测数据；所述当前检测数据包括货架中至少一个展位的数据。
第一状态确定模块102，用于当确定所述当前检测数据满足预设条件时，确定所述当前检测数据中各展位的第一状态信息；所述第一状态信息表示展位有物品的第一状态或展位没有物品的第二状态。
第一状态获取模块103，用于当所述当前检测数据指示存在第一状态信息为第一 状态的目标展位时，获取前一检测周期的前一检测数据中目标展位的第一状态信息。
第二状态确定模块104，用于基于所述目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定所述目标展位的第二状态信息；第二状态信息表示物品被放回的第三状态。
在一实施例中，所述第一状态确定模块102包括：
运动数据确定单元，用于确定所述当前检测数据是否包括运动数据；
第一间隔获取单元，用于当确定所述当前检测数据中未包括运动数据时，获取所述当前检测周期的时间和包含运动数据的最近一个检测周期的时间之间的第一时间间隔；
条件满足确定单元，用于当所述第一时间间隔超过第一预设时间间隔时，确定所述当前检测数据满足预设条件。
在一实施例中，所述当前检测数据包括摄像头采集的当前帧图像；所述运动数据确定单元包括：
灰度差值获取子单元，用于获取所述当前帧图像与前一帧图像中同一像素的灰度差值；
像素个数统计子单元，用于统计灰度差值超过预设灰度阈值的像素的个数；
运动数据确定子单元，用于当所述个数与所述当前帧图像中像素的总个数的比例超过预设比例阈值时，确定所述当前帧图像包括表示相对于前一帧图像出现运动的运动数据；否则，确定所述当前帧图像不包括运动数据。
在一实施例中，所述第二状态确定模块104包括：
第三状态确定单元，用于当所述目标展位在前一检测数据中的第一状态信息为第二状态时，确定所述目标展位的第二状态信息为第三状态。
需要说明的是，本实施例提供的一种确定货架展位状态的装置与上述一种确定货架展位状态的方法相对应，其详细内容请参考各方法实施例的内容，在此不再赘述。
本公开实施例还提供了一种非瞬态计算机可读存储介质，其上存储有计算机可执行程序，该计算机可执行程序被处理器执行时使所述处理器实现上述确定货架展位状态的方法。
在本公开中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。在本公开中，虚线连接的两个部件是存在电连接或者接触关系的，采用虚线仅是为了使附图更清楚，更易理解本公开的方案。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (18)

  1. 一种确定货架展位状态的方法，所述展位用于放置物品，所述方法包括：
    获取货架在当前检测周期的当前检测数据；所述当前检测数据包括货架中至少一个展位的数据；
    当确定所述当前检测数据满足预设条件时，确定所述当前检测数据中各展位的第一状态信息；所述第一状态信息表示展位有物品的第一状态或展位没有物品的第二状态；
    当所述当前检测数据指示存在第一状态信息为第一状态的目标展位时，获取前一检测周期的前一检测数据中所述目标展位的第一状态信息；
    基于所述目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定所述目标展位的第二状态信息；所述第二状态信息表示物品被放回的第三状态。
  2. 根据权利要求1所述的方法，其中，确定所述当前检测数据满足预设条件，包括：
    确定所述当前检测数据是否包括运动数据；
    当确定所述当前检测数据中未包括运动数据时，获取所述当前检测周期的时间和包含运动数据的最近一个检测周期的时间之间的第一时间间隔；
    当所述第一时间间隔超过第一预设时间间隔时，确定所述当前检测数据满足预设条件。
  3. 根据权利要求2所述的方法，其中，所述当前检测数据包括摄像头采集的当前帧图像；
    确定所述当前检测数据是否包括运动数据，包括：
    获取所述当前帧图像与前一帧图像中同一像素的灰度差值；
    统计灰度差值超过预设灰度阈值的像素的个数；
    当所述个数与所述当前帧图像中像素的总个数的比例超过预设比例阈值时，确定所述当前帧图像包括表示相对于前一帧图像出现运动的运动数据；否则，确定所述当前帧图像不包括运动数据。
  4. 根据权利要求1所述的方法，其中，基于所述目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定所述目标展位的第二状态信息，包括：
    当所述目标展位在前一检测数据中的第一状态信息为第二状态时，确定所述目标展位的第二状态信息为第三状态。
  5. 一种确定货架展位状态的装置，所述展位用于放置物品，所述装置包括：
    当前数据获取模块，用于获取货架在当前检测周期的当前检测数据；所述当前检测 数据包括货架中至少一个展位的数据；
    第一状态确定模块，用于当确定所述当前检测数据满足预设条件时，确定所述当前检测数据中各展位的第一状态信息；所述第一状态信息表示展位有物品的第一状态或展位没有物品的第二状态；
    第一状态获取模块，用于当所述当前检测数据指示存在第一状态信息为第一状态的目标展位时，获取前一检测周期的前一检测数据中所述目标展位的第一状态信息；
    第二状态确定模块，用于基于所述目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定所述目标展位的第二状态信息；所述第二状态信息表示物品被放回的第三状态。
  6. 根据权利要求5所述的装置，其中，所述第一状态确定模块包括：
    运动数据确定单元，用于确定所述当前检测数据是否包括运动数据；
    第一间隔获取单元，用于当确定所述当前检测数据中未包括运动数据时，获取所述当前检测周期的时间和包含运动数据的最近一个检测周期的时间之间的第一时间间隔；
    条件满足确定单元，用于当所述第一时间间隔超过第一预设时间间隔时，确定所述当前检测数据满足预设条件。
  7. 根据权利要求6所述的装置，其中，所述当前检测数据包括摄像头采集的当前帧图像；所述运动数据确定单元包括：
    灰度差值获取子单元，用于获取所述当前帧图像与前一帧图像中同一像素的灰度差值；
    像素个数统计子单元，用于统计灰度差值超过预设灰度阈值的像素的个数；
    运动数据确定子单元，用于当所述个数与所述当前帧图像中像素的总个数的比例超过预设比例阈值时，确定所述当前帧图像包括表示相对于前一帧图像出现运动的运动数据；否则，确定所述当前帧图像不包括运动数据。
  8. 根据权利要求5所述的装置，其中，所述第二状态确定模块包括：
    第三状态确定单元，用于当所述目标展位在前一检测数据中的第一状态信息为第二状态时，确定所述目标展位的第二状态信息为第三状态。
  9. 一种货架，包括：
    货架本体，所述货架本体上设置有多层，每一层设置有用于放置物品的多个展位；
    数据采集器，用于采集所述货架在当前检测周期的当前检测数据；所述当前检测数据包括所述货架中至少一个展位的数据；和
    处理器，所述处理器与所述数据采集器连接，被配置为：
    获取所述当前检测数据；
    当确定所述当前检测数据满足预设条件时，确定所述当前检测数据中各展位的第一状态信息；所述第一状态信息表示展位有物品的第一状态或展位没有物品的第二状态；
    当所述当前检测数据指示存在第一状态信息为第一状态的目标展位时，获取前一检测周期的前一检测数据中所述目标展位的第一状态信息；
    基于所述目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定所述目标展位的第二状态信息；所述第二状态信息表示物品被放回的第三状态。
  10. 根据权利要求9所述的货架，其中，确定所述当前检测数据满足预设条件，包括：
    确定所述当前检测数据是否包括运动数据；
    当确定所述当前检测数据中未包括运动数据时，获取所述当前检测周期的时间和包含运动数据的最近一个检测周期的时间之间的第一时间间隔；
    当所述第一时间间隔超过第一预设时间间隔时，确定所述当前检测数据满足预设条件。
  11. 根据权利要求10所述的货架，其中，所述数据采集器包括摄像头，所述当前检测数据包括所述摄像头采集的当前帧图像；确定所述当前检测数据是否包括运动数据，包括：
    获取所述当前帧图像与前一帧图像中同一像素的灰度差值；
    统计灰度差值超过预设灰度阈值的像素的个数；
    当所述个数与所述当前帧图像中像素的总个数的比例超过预设比例阈值时，确定所述当前帧图像包括表示相对于前一帧图像出现运动的运动数据；否则，确定所述当前帧图像不包括运动数据。
  12. 根据权利要求9所述的货架，其中，基于所述目标展位分别在当前检测数据和前一检测数据中的第一状态信息，确定所述目标展位的第二状态信息，包括：
    当所述目标展位在前一检测数据中的第一状态信息为第二状态时，确定所述目标展位的第二状态信息为第三状态。
  13. 根据权利要求9所述的货架，其中，所述数据采集器包括多个压力传感器，所述多个压力传感器分别设置在各展位的底部，所述当前检测数据包括所述多个压力传感器采集的当前压力数据。
  14. 根据权利要求9所述的货架，还包括显示器，所述显示器设置在货架本体的预设位置，用于显示各展位的第一状态信息或第二状态信息。
  15. 一种货架，包括：货架本体、摄像头和处理器；
    所述货架本体上设置有多层，每一层设置有用于放置物品的多个展位；
    所述摄像头设置在所述货架本体的顶部，其视场角覆盖所述货架本体上的全部展位，用于拍摄至少一个展位的当前帧图像；
    所述处理器与所述摄像头连接，用于根据当前帧图像获取各个展位的第一状态信息或第二状态信息。
  16. 一种货架，包括：货架本体、多个压力传感器和处理器；
    所述货架本体上设置有多层，每一层设置有用于放置物品的多个展位；
    所述多个压力传感器分别设置在各展位的底部，用于获取各展位的当前压力数据；
    所述处理器与所述多个压力传感器连接，用于根据当前压力数据获取各个展位的第一状态信息或第二状态信息。
  17. 根据权利要求15或16所述的货架，还包括显示器，所述显示器设置在货架本体的预设位置，用于显示各展位的第一状态信息或第二状态信息。
  18. 一种非瞬态计算机可读存储介质，其上存储有计算机可执行程序，其中，该计算机可执行程序被处理器执行时使所述处理器实现权利要求1～4任一项所述的方法。
PCT/CN2021/101296 2020-06-24 2021-06-21 确定货架展位状态的方法和装置、货架和非瞬态计算机可读存储介质 WO2021259209A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/792,482 US20230104061A1 (en) 2020-06-24 2021-06-21 Methods and apparatuses for determining statuses of positions on shelves, shelves and non-transitory computer-readable storage media

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010589051.8 2020-06-24
CN202010589051.8A CN111753728A (zh) 2020-06-24 2020-06-24 确定货架展位状态的方法和装置、货架

Publications (2)

Publication Number Publication Date
WO2021259209A1 true WO2021259209A1 (zh) 2021-12-30
WO2021259209A9 WO2021259209A9 (zh) 2023-05-19

Family

ID=72677181

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/101296 WO2021259209A1 (zh) 2020-06-24 2021-06-21 确定货架展位状态的方法和装置、货架和非瞬态计算机可读存储介质

Country Status (3)

Country Link
US (1) US20230104061A1 (zh)
CN (1) CN111753728A (zh)
WO (1) WO2021259209A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753728A (zh) * 2020-06-24 2020-10-09 京东方科技集团股份有限公司 确定货架展位状态的方法和装置、货架

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105531715A (zh) * 2013-06-26 2016-04-27 亚马逊科技公司 检测物品交互和移动
CN108320379A (zh) * 2018-02-28 2018-07-24 成都果小美网络科技有限公司 基于图像比对的售货方法、装置和无人售货机
CN108460933A (zh) * 2018-02-01 2018-08-28 王曼卿 一种基于图像处理的管理系统及方法
CN108831019A (zh) * 2018-05-25 2018-11-16 杭州纳戒科技有限公司 自助超市售货系统及自助售货系统
CN111753728A (zh) * 2020-06-24 2020-10-09 京东方科技集团股份有限公司 确定货架展位状态的方法和装置、货架

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105531715A (zh) * 2013-06-26 2016-04-27 亚马逊科技公司 检测物品交互和移动
CN108460933A (zh) * 2018-02-01 2018-08-28 王曼卿 一种基于图像处理的管理系统及方法
CN108320379A (zh) * 2018-02-28 2018-07-24 成都果小美网络科技有限公司 基于图像比对的售货方法、装置和无人售货机
CN108831019A (zh) * 2018-05-25 2018-11-16 杭州纳戒科技有限公司 自助超市售货系统及自助售货系统
CN111753728A (zh) * 2020-06-24 2020-10-09 京东方科技集团股份有限公司 确定货架展位状态的方法和装置、货架

Also Published As

Publication number Publication date
CN111753728A (zh) 2020-10-09
US20230104061A1 (en) 2023-04-06
WO2021259209A9 (zh) 2023-05-19

Similar Documents

Publication Publication Date Title
JP6077655B2 (ja) 撮影システム
CN112040834A (zh) 眼球跟踪方法及系统
KR20110098988A (ko) 정보 표시 장치 및 정보 표시 방법
CN113850248B (zh) 运动姿态评估方法、装置、边缘计算服务器及存储介质
US11534063B2 (en) Interpupillary distance measuring method, wearable ophthalmic device and storage medium
JP2007286995A (ja) 注目度計測装置及び注目度計測システム
CN103501688A (zh) 注视点映射的方法和装置
WO2021259209A1 (zh) 确定货架展位状态的方法和装置、货架和非瞬态计算机可读存储介质
US20150010206A1 (en) Gaze position estimation system, control method for gaze position estimation system, gaze position estimation device, control method for gaze position estimation device, program, and information storage medium
US20170300971A1 (en) Information Processing System, Information Processing Apparatus, and Information Processing Method
JPWO2017203769A1 (ja) 視線検出方法
JP2015088801A5 (zh)
JP6950644B2 (ja) 注意対象推定装置及び注意対象推定方法
JP2011017883A (ja) 訴求対象特定システム、訴求対象特定方法、広告出力システム及び広告出力方法
US11748702B2 (en) Methods of determining status of position in shelf, shelves and non-transitory computer-readable storage media
US9924865B2 (en) Apparatus and method for estimating gaze from un-calibrated eye measurement points
US11227157B1 (en) System and method for gaze direction detection
US11144755B2 (en) Support glint for remote eye tracking
JP2008243058A (ja) 嗜好調査システム及び嗜好調査方法
JP2021018575A5 (ja) 画像配信システムおよび画像配信方法
CN110275608B (zh) 人眼视线追踪方法
TW201926018A (zh) 影像資訊顯示方法、影像資訊顯示系統與顯示器
TWI704473B (zh) 視線向量偵測方向與裝置
JP7471030B1 (ja) 表示制御装置および方法並びにプログラム
KR20210040495A (ko) 영상 기반 열량 측정방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21828017

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21828017

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 25.09.2023)

122 Ep: pct application non-entry in european phase

Ref document number: 21828017

Country of ref document: EP

Kind code of ref document: A1