JP7165884B2 - 棚札検出装置、棚札検出方法、及び、棚札検出プログラム - Google Patents

棚札検出装置、棚札検出方法、及び、棚札検出プログラム Download PDF

Info

Publication number
JP7165884B2
JP7165884B2 JP2019551064A JP2019551064A JP7165884B2 JP 7165884 B2 JP7165884 B2 JP 7165884B2 JP 2019551064 A JP2019551064 A JP 2019551064A JP 2019551064 A JP2019551064 A JP 2019551064A JP 7165884 B2 JP7165884 B2 JP 7165884B2
Authority
JP
Japan
Prior art keywords
shelf label
shelf
image
camera image
label position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019551064A
Other languages
English (en)
Other versions
JPWO2019087792A1 (ja
Inventor
一寛 柳
武士 若子
哲郎 柿沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2019087792A1 publication Critical patent/JPWO2019087792A1/ja
Application granted granted Critical
Publication of JP7165884B2 publication Critical patent/JP7165884B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1371—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed with data records
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10366—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Toxicology (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Display Racks (AREA)

Description

本開示は、棚札検出装置、棚札検出方法、及び、棚札検出プログラムに関する。
リテール業界において、例えば、商品の在庫及び／又は売り上げの管理をシステム化することによって、業務の効率化が進んでいる。在庫管理については、例えば、商品の陳列エリア（例えば、陳列棚）を監視カメラで撮影した映像に基づいて、商品の在庫を監視するシステムが利用されることがある。
特開２０１５－１０３１５３号公報 特許第６１１２４３６号公報
しかし、例えば、陳列棚が含まれる映像に対して、監視対象に含める棚段（別言すると、監視エリア又は監視範囲）を適切に設定しないと、商品の在庫数（例えば、商品の不足又は欠品）を的確に監視することが困難になる場合がある。
そのため、結局、人の目視によって個々の商品の在庫を確認せざるを得ないことがある。人の目視による確認では、陳列エリアに実際に陳列されている個々の商品数（実在庫数）と、例えば在庫管理システムによって管理されている個々の商品の在庫数（理論在庫数）と、が一致しないことがある。
実在庫数と理論在庫数とが一致しない場合、例えば、目視によって確認した実在庫数に合わせて理論在庫数を修正するといった、在庫管理データの人手による修正作業が生じ、修正に時間がかかる。
そのような修正作業を毎日及び／又は毎時間に行なうことは在庫管理者にとって負担であるため、例えば、特定の商品が欠品した状態で放置されるケースが生じ得る。欠品したままの状態が放置されてしまうと、商品販売の機会が失われ、場合によっては、顧客に対するイメージダウンにつながる。
そのため、商品の在庫数を自動的に監視する在庫監視システムが求められている。しかし、当該システムを実現するためには、カメラ映像に含まれる棚札位置を的確に検出する必要がある。
本開示の非限定的な実施例は、陳列棚が撮影されたカメラ映像から棚札位置を的確に検出可能な棚札検出装置、棚札検出方法、及び、棚札検出プログラムの提供に資する。
本開示の一態様に係る棚札検出装置は、陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得する取得部と、前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成する補正部と、前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定する特定部と、所定期間以上、前記第１の棚札位置セットと前記第２の棚札位置セットとが不整合である場合、所定の第１の通知を行う第１通知部と、を備える。
また、本開示の一態様に係る棚札検出装置は、陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得する取得部と、前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成する補正部と、前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定する特定部と、前記陳列棚における棚札の配置位置に関する情報である棚割情報と、前記補正棚札位置セットとが不整合である場合、所定の第２の通知を行う第２通知部と、を備える。
また、本開示の一態様に係る棚札検出装置は、陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得する取得部と、前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成する補正部と、前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定する特定部と、前記陳列棚における棚札の配置位置に関する情報である棚割情報と、前記第１の棚札位置セットとが不整合である場合、所定の第２の通知を行う第２通知部と、を備える。
また、本開示の一態様に係る棚札検出装置は、陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得する取得部と、前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成する補正部と、前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定する特定部と、所定期間以上、前記補正棚札位置セットと前記第２の棚札位置セットとの何れか一方に存在し他方に存在しない棚札位置が検出された場合、前記第２の棚札位置セットを用いて、前記第１の棚札位置セットを修正する修正部と、を備える。
また、本開示の一態様に係る棚札検出方法は、陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定し、所定期間以上、前記第１の棚札位置セットと前記第２の棚札位置セットとが不整合である場合、所定の第１の通知を行う。
また、本開示の一態様に係る棚札検出方法は、陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定し、前記陳列棚における棚札の配置位置に関する情報である棚割情報と、前記補正棚札位置セットとが不整合である場合、所定の第２の通知を行う。
また、本開示の一態様に係る棚札検出方法は、陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定し、前記陳列棚における棚札の配置位置に関する情報である棚割情報と、前記第１の棚札位置セットとが不整合である場合、所定の第２の通知を行う。
また、本開示の一態様に係る棚札検出方法は、陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定し、所定期間以上、前記補正棚札位置セットと前記第２の棚札位置セットとの何れか一方に存在し他方に存在しない棚札位置が検出された場合、前記第２の棚札位置セットを用いて、前記第１の棚札位置セットを修正する。
本開示の一態様に係る棚札検出プログラムは、陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定し、所定期間以上、前記第１の棚札位置セットと前記第２の棚札位置セットとが不整合である場合、所定の第１の通知を行う、処理を、コンピュータに実行させる。
また、本開示の一態様に係る棚札検出プログラムは、陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定し、前記陳列棚における棚札の配置位置に関する情報である棚割情報と、前記補正棚札位置セットとが不整合である場合、所定の第２の通知を行う、処理を、コンピュータに実行させる。
また、本開示の一態様に係る棚札検出プログラムは、陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定し、前記陳列棚における棚札の配置位置に関する情報である棚割情報と、前記第１の棚札位置セットとが不整合である場合、所定の第２の通知を行う、処理を、コンピュータに実行させる。
また、本開示の一態様に係る棚札検出プログラムは、陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、所定期間以上、前記補正棚札位置セットと前記第２の棚札位置セットとの何れか一方に存在し他方に存在しない棚札位置が検出された場合、前記第２の棚札位置セットを用いて、前記第１の棚札位置セットを修正する、処理を、コンピュータに実行させる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示の一態様によれば、カメラ映像に含まれる棚札位置を的確に検出できる。
本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
一実施の形態に係る在庫管理システムの構成例を示す図 一実施の形態に係る、棚札が付された陳列棚の模式的な正面図 図２に示された陳列棚の正面図を部分的に拡大して示す図 一実施の形態に係る棚割情報の一例を示す図 図１に例示したコンピュータの構成例を示すブロック図 図１及び図５に例示したコンピュータ（在庫監視装置）の動作例を示すフローチャート 図１及び図５に例示した在庫監視装置において映像認識によって棚札が検出される例を示す図 図１及び図５に例示した在庫監視装置によって監視エリアが設定される例を示す図 図１及び図５に例示した在庫監視装置による棚札関連付け処理の流れの一例を示す図 図１及び図５に例示した在庫監視装置による棚札関連付け処理の流れの一例を示す図 図１及び図５に例示した在庫監視装置による棚札関連付け処理の流れの一例を示す図 図１及び図５に例示した在庫監視装置による棚札関連付け処理の流れの一例を示す図 図１及び図５に例示した在庫監視装置による棚札関連付け処理の流れの一例を示す図 図１及び図５に例示した在庫監視装置による監視エリアの設定例を示す図 （Ａ）及び（Ｂ）は、図１及び図５に例示した在庫監視装置による棚札検出処理での探索順序の一例を示す図 図１及び図５に例示した在庫監視装置による、棚割情報を用いた監視エリアの設定例を示す図 図１及び図５に例示した在庫監視装置による棚札検出結果の補正例を示す図 図１及び図５に例示した在庫監視装置による棚札検出結果の補正例を示す図 図１及び図５に例示した在庫監視装置による棚札検出結果の補正例を示す図 図１に例示したカメラにＰＴＺ（パン、チルト、及び、ズーム）カメラを適用した例を説明する図 図２０において、映像認識のパターンマッチングに用いる認識モデルが撮影方向毎に異なる例を示す図 （Ａ）～（Ｃ）は、図１及び図５に例示した在庫監視装置による段階的な在庫レベルの設定例を示す図 図１及び図５に例示した在庫監視装置において棚段の奥行き方向についての在庫レベルが検出される例を示す図 図１及び図５に例示した在庫監視装置において棚段の奥行き方向についての在庫レベルが検出される例を示す図 （Ａ）及び（Ｂ）は、図１及び図５に例示した在庫監視装置による動体除去処理の一例を示す図 実施の形態２に関し、既知の映像認識技術のみで棚札位置を特定する場合の課題を説明するための図 実施の形態２に関し、手動で棚札位置を入力する場合の課題を説明するための図 実施の形態２に係る棚札位置の特定方法の概要を説明するための図 実施の形態２に係る棚札検出装置の構成例を示すブロック図 実施の形態２に係る棚札検出装置の動作例を示すフローチャート 実施の形態２に係る棚札検出装置の動作例を示すフローチャート 棚札位置補正部の処理例を示すフローチャート 移動量（オフセット量）の算出例を説明するための図 実施の形態３に係る棚札検出装置の構成例を示すブロック図 第１の更新要求アラートの通知処理の具体例を説明するための図 第１の更新要求アラートの通知処理の一例を示すフローチャート 第２の更新要求アラートの通知処理の具体例を説明するための図 第２の更新要求アラートの通知処理の一例を示すフローチャート 手動棚札位置セットの自動修正処理の具体例を説明するための図 手動棚札位置セットの自動修正処理の一例を示すフローチャート
以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
（実施の形態１）
図１は、一実施の形態に係る在庫管理システムの構成例を示す図である。図１に示す在庫管理システム１は、例えば、カメラ１０と、コンピュータ２０と、を備えてよい。なお、「在庫管理システム」は、「在庫監視システム」と言い換えられてもよい。
カメラ１０は、例えば、商品を販売する店舗内に設置されて、商品が陳列されるエリア、例えば、商品の陳列棚５０が設置されたエリアを含む映像を撮影する。陳列棚５０が設置される店舗の業種又は業態、及び、店舗が扱う商品の種類は限定されない。
例えば、陳列棚５０は、スーパーマーケット、コンビニエンスストア、百貨店、量販店、ディスカウントストア、あるいは、各種施設に設置された売店や販売ブース（又は販売コーナー）に設けられてよい。また、陳列棚５０は、屋内に限らず屋外に設けられてもよい。
カメラ１０は、陳列棚５０が含まれるエリアを撮影する専用のカメラであってもよいし、防犯カメラのように他の目的あるいは用途で利用されるカメラと兼用であってもよい。また、カメラ１０は、在庫管理システム１に、複数台設けられてもよい。
カメラ１０による撮影対象（「監視対象」と言い換えてもよい）と陳列棚５０とは、１対１に対応付けられてもよいし、１対多あるいは多対１に対応付けられてもよい。例えば、１つのカメラ１０で１つの陳列棚５０を撮影対象としてもよいし、１つのカメラ１０で複数の陳列棚５０を撮影対象としてもよい。
例えば、カメラ１０に、ＰＴＺカメラのような、撮影方向及び／又は画角が可変のカメラを用いることで、１台のＰＴＺカメラ１０で、異なる複数の陳列棚５０を撮影対象に含めることができる。あるいは、１台のＰＴＺカメラ１０で、１つの陳列棚５０の異なる領域又は空間を撮影対象に含めることができる。
例えば、１つの陳列棚５０の幅方向又は高さ方向を１台のカメラ１０ではカメラ映像に収めることが困難な場合、１台以上のＰＴＺカメラ１０の撮影方向を可変制御することで、幅方向又は高さ方向の異なる複数の領域又は空間をカメラ映像に収めることができる。
このように、カメラ１０にＰＴＺカメラを用いることで、陳列棚５０毎に、あるいは、陳列棚５０の異なる領域又は空間毎に、カメラ１０を設置しなくてよいため、在庫管理システム１におけるカメラ１０の設置台数を削減できる。
図１に例示したコンピュータ２０は、情報処理装置の一例であって、パーソナルコンピュータ（ＰＣ）でもよいし、サーバでもよい。サーバには、クラウドサーバが含まれてよい。コンピュータ２０とカメラ１０とは、例えば、有線又は無線によって接続されて、互いに通信する。また、コンピュータ２０とカメラ１０とは、ネットワークを介して接続されてもよい。
「ネットワーク」は、有線ネットワークでもよいし、無線ネットワークでもよい。有線ネットワークの一例としては、イントラネット、インターネット、及び、有線ＬＡＮ（Local Area Network）が挙げられる。無線ネットワークの一例としては、無線ＬＡＮが挙げられる。
コンピュータ２０は、例えば、カメラ１０で撮影された映像データ（以下「カメラ映像」と略称することがある）を受信し、受信したカメラ映像を解析する。例えば、コンピュータ２０は、陳列棚５０のカメラ映像を映像認識することによって、陳列棚５０における商品の在庫を監視し、商品の不足あるいは欠品を検知する。
なお、「映像認識」は、「画像認識」と言い換えられてもよい。また、商品の不足あるいは欠品を検知することを、便宜的に、「欠品検知」と総称することがある。「検知」は、「検出」に言い換えられてもよい。また、カメラ映像の受信元は、カメラ１０でもよいし、例えば、カメラ１０で撮影された映像データを録画する録画装置でもよい。
商品の在庫を監視することには、陳列棚５０に付された棚札の位置を検知することが含まれてよい。棚札には、例えば、商品名及び／又は価格といった、商品に関する情報（以下「商品情報」と称する）が示されてよい。棚札は、紙棚札であってもよいし、電子棚札であってもよい。電子棚札は、液晶ディスプレイ等で構成されていてもよいし、電子ペーパー等で構成されていてもよい。また、電子棚札は、無線通信機能等を備えており、提示する情報を遠隔で書き換えられるものであってもよい。なお、「棚札」は、棚タグ、棚カード、又は、棚ラベルといった別の呼称で呼ばれてもよい。
コンピュータ２０は、例えば、カメラ映像の映像認識によって、陳列棚５０に付された棚札の位置を検知し、検知した棚札位置に基づいて、陳列棚５０において在庫を監視する対象の領域又は空間を設定してよい。
以下において、商品の在庫を監視する対象の領域又は空間を、「監視エリア」又は「監視範囲」と総称することがある。映像認識によって検知された棚札５１の位置に基づいた、陳列棚５０における監視エリアの設定例については、後述する。
図２に、棚札５１が付された陳列棚５０の模式的な正面図を示す。図３には、図２に示された陳列棚５０の正面図が部分的に拡大されて示されている。非限定的な一例として、図２及び図３には、陳列棚５０の陳列スペースが、３つの棚板５２によって、陳列棚５０の高さ方向に４つの空間に区分された態様が示されている。また、図２及び図３において、点線枠で囲んだ領域は、商品７０の欠品が生じた状況を表している。
また、図３には、陳列棚５０をカメラ１０で撮影した映像データをコンピュータ２０において映像認識し、検出された棚札５１の位置に基づいて設定された監視エリアにおいて商品の不足又は欠品を検出した場合に、その情報を出力する例が併記されている。
陳列棚５０において高さ方向に区分された陳列スペースは、「棚段」と称されてもよい。図２には、２つの棚段に着目した例が示されている。なお、１つの陳列棚５０における陳列スペースの区分の仕方は限定されない。陳列棚５０の高さ方向に限らず、陳列棚５０の幅方向に陳列スペースが区分されてもよい。
棚札５１は、陳列される商品７０との対応関係を視認可能な、陳列棚５０のいずれかの位置に付されてよい。例えば、棚札５１は、棚板５２に付されてよい。商品７０は、例えば、陳列スペースのそれぞれにおいて、対応する棚札５１の位置に対応した領域又は空間（図２及び図３の例では、棚札５１の上部空間）に陳列される。
監視エリアの設定、及び／又は、在庫の監視には、検知された棚札５１の位置情報に加えて、棚割に関する情報（以下「棚割情報」と称する）が用いられてよい。「棚割」とは、例えば、陳列棚５０のどの陳列スペースに、どのような商品を幾つ陳列するか（又は、割り当てる）かを計画することを表す。
図４に、棚割情報４００の一例を示す。図４に示すように、棚割情報４００には、例えば、商品７０が陳列される位置を示す情報と、その位置に陳列される商品７０に関する情報と、が含まれてよい。なお、以下において、商品７０が陳列される位置を示す情報を「陳列位置情報」と称することがあり、商品７０に関する情報を「商品情報」と称することがある。
非限定的な一例として、陳列位置情報には、店舗番号、階数、通路番号、棚番号、棚段番号、及び、棚段における陳列位置のいずれか１つ以上を示す情報が含まれてよい。
商品情報には、例えば、商品７０の種類又は内容といった個々の商品７０を特定又は識別可能な情報が含まれてよい。商品７０を特定又は識別可能な情報の非限定的な一例としては、「ＸＸＸパスタ」又は「ＹＹＹカレー」といった商品名、あるいは、商品コードが挙げられる。
なお、商品情報には、例えば、商品７０のサイズ（幅、高さ、及び、奥行きの少なくとも１つ）を示す情報が含まれてもよいし、陳列する商品７０の個数を示す情報、別言すると、陳列数を示す情報が含まれてもよい。また、商品情報には、商品７０の価格を示す情報が含まれてもよい。
「陳列数」は、例えば、棚段の幅方向、高さ方向、及び、奥行き方向の１つ以上についての、商品７０の陳列数を示してよい。商品７０のサイズを示す情報と、商品７０の陳列数を示す情報と、の一方又は双方を基に、例えば、棚段において複数の商品７０が占める空間又は領域を特定する精度を向上することが可能である。
したがって、コンピュータ２０は、棚割情報４００を参照することで、棚札位置に基づく監視エリアの設定精度を向上でき、その結果、商品７０の欠品検知精度を向上できる。
また、コンピュータ２０は、陳列棚５０に付された棚札５１の、映像認識に基づく検知結果（例えば、棚札位置）を、棚割情報４００に基づいて補正してもよい。棚札位置を補正することには、例えば映像認識による棚札５１の検知漏れを、棚割情報４００に基づいて訂正することが含まれてよい。
棚割情報４００を用いた監視エリアの設定例及び棚札位置の補正例については、後述する。
なお、棚割情報４００を用いない場合、監視エリアにおいて不足又は欠品した商品７０がどのような商品７０なのかといった具体的な情報は特定されないが、棚札位置に基づいて設定された監視エリアを画像認識した結果（例えば、監視エリアに現れる背景画像の割合）から、何れの棚段の何れの位置において商品７０の不足又は欠品が生じているかは検知できる。このような検知処理において棚割情報４００を併用することで、欠品検知に係る商品７０がどのような商品７０であるのかという具体的な情報を特定することが可能になる。例えば、「ＸＸＸパスタが欠品」あるいは「〇段△列のＸＸＸパスタが欠品」といった情報の提示が可能になる。
（コンピュータ２０の構成例）
次に、図５を参照して、コンピュータ２０の構成例について説明する。図５に示すように、コンピュータ２０は、例示的に、プロセッサ２０１、入力装置２０２、出力装置２０３、メモリ２０４、ストレージ２０５、及び、通信部２０６を備えてよい。
プロセッサ２０１は、コンピュータ２０の動作を制御する。プロセッサ２０１は、演算能力を備えた回路又はデバイスの一例である。プロセッサ２０１には、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、及び、ＧＰＵ（Graphics Processing Unit）の少なくとも１つが用いられてよい。
入力装置２０２は、例えば、キーボードや、マウス、操作ボタン、及び、マイクロフォンの少なくとも１つを含んでよい。入力装置２０２を通じて、プロセッサ２０１にデータ又は情報が入力されてよい。
出力装置２０３は、例えば、ディスプレイ（又はモニタ）、プリンタ、及び、スピーカの少なくも１つを含んでよい。ディスプレイは、例示的に、タッチパネル式のディスプレイであってもよい。タッチパネル式のディスプレイは、入力装置２０２及び出力装置２０３の双方に該当すると捉えてよい。
メモリ２０４は、例えば、プロセッサ２０１によって実行されるプログラム、及び、プログラムの実行に応じて処理されるデータ又は情報を記憶する。メモリ２０４には、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）が含まれてよい。ＲＡＭは、プロセッサ２０１のワークメモリに用いられてよい。「プログラム」は、「ソフトウェア」あるいは「アプリケーション」と称されてもよい。
ストレージ２０５は、プロセッサ２０１によって実行されるプログラム、及び、プログラムの実行に応じて処理されるデータ又は情報を記憶する。ストレージ２０５に、既述の棚割情報４００が記憶されてよい。なお、棚割情報４００は、予めストレージ２０５に記憶されてもよいし、例えば、棚割情報４００を管理する棚割システム（不図示）から提供されてストレージ２０５に記憶されてもよい。
ストレージ２０５は、ハードディスクドライブ（ＨＤＤ）、又は、ソリッドステートドライブ（ＳＳＤ）といった半導体ドライブ装置を含んでよい。半導体ドライブ装置の追加で又は代替で、フラッシュメモリのような不揮発性メモリが、ストレージ２０５に含まれてもよい。
プログラムには、上述したように映像認識によって商品７０の在庫を監視する在庫監視プログラムが含まれてよい。在庫監視プログラムを成すプログラムコードの全部又は一部は、メモリ２０４及び／又はストレージ２０５に記憶されてもよいし、オペレーティングシステム（ＯＳ）の一部に組み込まれてよい。
プログラム及び／又はデータは、コンピュータ２０が読取可能な記録媒体に記録された形態で提供されてよい。記録媒体の一例としては、フレキシブルディスク、ＣＤ－ＲＯＭ，ＣＤ－Ｒ，ＣＤ－ＲＷ，ＭＯ，ＤＶＤ、ブルーレイディスク、ポータブルハードディスク等が上げられる。また、ＵＳＢ（Universal Serial Bus）メモリ等の半導体メモリも記録媒体の一例である。
また、プログラム及び／又はデータは、例えば、サーバ（不図示）から通信回線を介してコンピュータ２０に提供（ダウンロード）されてもよい。例えば、通信部２０６を通じてプログラム及び／又はデータがコンピュータ２０に提供されて、メモリ２０４及び／又はストレージ２０５に記憶されてよい。また、プログラム及び／又はデータは、入力装置２０２を通じてコンピュータ２０に提供されて、メモリ２０４及び／又はストレージ２０５に記憶されてもよい。
通信部２０６は、例えば、カメラ１０と通信するための通信インタフェース（ＩＦ）２６１を備える。通信ＩＦ２６１は、有線インタフェース及び無線インタフェースのいずれであってもよい。
例えば、通信ＩＦ２６１は、カメラ１０で撮影された映像データを受信する。受信した映像データは、例えば、プロセッサ２０１を介して、メモリ２０４及び／又はストレージ２０５に記憶される。カメラ１０がＰＴＺカメラである場合、通信部２０６は、例えば、プロセッサ２０１からの指示に応じてＰＴＺカメラ１０と通信することで、ＰＴＺカメラ１０の撮影方向及び／又は画角を制御してよい。
また、通信部２０６は、コンピュータ２０とは異なる「他のコンピュータ」（不図示）と通信するための通信ＩＦ２６２を備えてもよい。「他のコンピュータ」は、例えば、有線又は無線のネットワークに接続されたサーバでもよいし、有線又は無線のネットワークに接続されたユーザ端末でもよい。「他のコンピュータ」が、既述の棚割システムにおけるコンピュータに該当してもよい。
ユーザ端末は、例えば、商品７０の在庫管理者に所持されてよい。ユーザ端末の非限定的な一例としては、ＰＣ、携帯電話（スマートフォンを含む）、及び、タブレット端末が挙げられる。ユーザ端末に、商品の在庫管理又は在庫監視に係る情報が提供されてよい。
プロセッサ２０１が、例えば、メモリ２０４及び／又はストレージ２０５に記憶された在庫監視プログラムを読み出して実行することにより、コンピュータ２０を、映像認識によって商品７０の在庫を監視する在庫監視装置として機能させることができる。
例えば、プロセッサ２０１が在庫監視プログラムを実行することによって、図５に例示する、棚札検出部２１１、監視エリア設定部２１２、欠品検出部２１３、及び、出力部２１４を含む在庫監視装置２０が具現される。オプションとして、在庫監視装置２０において、棚札関連付け部２１５、及び、検出棚札補正部２１６の一方又は双方が、在庫監視プログラムの実行に応じて具現されてもよい。
棚札検出部２１１は、例えば、陳列棚５０の全部又は一部が含まれるカメラ映像の映像認識によって、カメラ映像に含まれる棚札５１を検出する。例えば、棚札検出部２１１は、棚札５１の形状及び／又は色に対応したテンプレート画像を用いて、カメラ映像に対してパターンマッチングを行うことにより、棚札５１を検出してよい。
監視エリア設定部２１２は、例えば、棚札検出部２１１によって検出された棚札５１の位置に基づいて、陳列棚５０における監視エリアを設定する。
欠品検出部２１３は、監視部の一例であって、例えば、監視エリア設定部２１２によって設定された監視エリアにおける商品の有無に対応した映像変化に基づいて、陳列棚５０における商品７０の在庫（又は「陳列状況」と称してもよい）を監視する。
例えば、欠品検出部２１３は、商品７０が不足又は欠品した場合に監視エリアに現れる背景映像をテンプレート画像に用いて、監視エリアのカメラ映像に対してパターンマッチングを行うことにより、商品７０の不足又は欠品を検出してよい。
なお、カメラ１０の設置位置及び／又は撮影方向によって、カメラ映像において棚札５１の形状が変わり得る。例えば、陳列棚５０を正面から捉えたカメラ映像と、陳列棚５０を正面からずれた斜め方向から捉えたカメラ映像とでは、棚札５１の形状が異なる。
また、カメラ１０の設置位置及び／又は撮影方向（以下、便宜的に「カメラ位置」と総称することがある）によって、商品７０が不足又は欠品した場合にカメラ映像に現れる背景映像も変わり得る。
例えば、陳列棚５０を正面から捉えたカメラ映像では、陳列棚５０の背面に位置する背板の正面方向の画像が背景映像に相当し得る。また、陳列棚５０を斜め上方から捉えたカメラ映像では、例えば、棚板５２の商品７０が陳列される面が背景映像に相当し得る。陳列棚５０を斜め側方から捉えたカメラ映像では、例えば、棚段を左右方向に仕切る仕切り板（図示せず）の表面が背景映像に相当し得る。
このように、カメラ位置によって棚札５１の形状及び／又は背景映像が変わるため、映像認識のパターンマッチングに用いるテンプレート画像（「認識モデル」と言い換えてもよい）は、カメラ位置に対応して用意されてよい。なお、本実施の形態では、認識モデルはテンプレート画像であり、パターンマッチングによって棚札の形状及び／又は背景映像を認識するものとして説明するが、他の実装方法も可能である。例えば、棚札及び／又は背景映像それぞれについて機械学習を行うことにより生成した学習済モデルを認識モデルとして用いて、棚札及び／又は背景映像を認識してもよい。
例えば、カメラ１０が複数の場所に設置されている場合、及び／又は、ＰＴＺカメラ１０のように撮影方向が可変である場合には、複数のテンプレート画像が用意されてよい。テンプレート画像は、例えば、ストレージ２０５に記憶され、プロセッサ２０１によって適時に読み出される。
出力部２１４は、例えば在庫管理者に提示（例えば、通知）する情報を生成して出力する通知情報生成部の一例である。出力部２１４は、例えば、欠品検出部２１３による検出結果、及び／又は、検出結果に基づく情報を含む通知情報を生成して出力装置２０３及び／又は通信部２０６へ出力する。
非限定的な一例として、商品７０の欠品検知を通知する情報（「通知情報」、「欠品情報」、又は、「アラート情報」と称されてもよい）が、出力装置２０３の一例であるディスプレイ及び／又はプリンタへ出力されてよい。
なお、出力部２１４は、欠品検出部２１３による検出結果及び棚札検出部２１１による検出結果のいずれか一方又は双方と、棚割情報４００と、が関連付けられた情報に基づいて、通知情報を生成してもよい。
例えば、欠品検出部２１３による検出結果と棚割情報４００とが関連付けられた情報を基に、出力部２１４は、商品７０の欠品検知に係る場所（欠品エリア）、及び／又は、欠品検知した商品７０の商品名を含む通知情報を生成できる。
なお、通知情報は、例えば、通信部２０６を介して「他のコンピュータ」へ送信されてもよい。通信部２０６を介した通知情報の送信には、電子メールが利用されてもよい。
棚札関連付け部２１５は、例えば、棚札検出部２１１によって検出された棚札５１のそれぞれに対して、棚割情報４００（例えば、商品情報）を関連付ける。
検出棚札補正部２１６は、例えば、棚割情報４００に商品情報の一例として商品７０のサイズ及び陳列数に関する情報が含まれる場合に、棚札検出部２１１によって検出された棚札位置を商品情報に基づいて補正してよい。
なお、図５に例示したコンピュータ（在庫監視装置）２０の構成は、あくまでも例示である。在庫監視装置２０においてハードウェア及び／又は機能ブロックの増減が適宜に行なわれてよい。例えば、ハードウェア及び／又は機能ブロックの追加、削除、分割、又は、統合が、在庫監視装置２０において、適宜に行なわれてよい。
（動作例）
次に、在庫監視装置２０の動作例について説明する。
図６に示すように、在庫監視装置２０は、例えば、カメラ映像を取得し（Ｓ１１）、取得したカメラ映像を例えば棚札検出部２１１において解析することによって、カメラ映像に含まれる棚札５１を検出する（Ｓ１２）。例えば図７において太枠５００を付して示すように、映像認識によって８個の棚札５１が検出される。
図７の例では、下からｍ段目の棚板５２において２つの棚札５１が検出され、その上段に位置する（下からｍ＋１段目の）棚板５２、及び、更に上段に位置する（下からｍ＋２段目）の棚板５２において、それぞれ、３つの棚札５１が検出されている。なお、ｍは１以上の整数である。
下からｍ段目の棚板５２において検出された２つの棚札５１の位置は、例えば左から順に、ｎ番目及びｎ＋１番目（ｎは１以上の整数）の位置である。同様に、下からｍ＋１番目の棚板５２において検出された３つの棚札５１の位置は、例えば左から順に、ｎ番目、ｎ＋１番目、及び、ｎ＋２番目の位置である。下からｍ＋２番目の棚板５２において検出された３つの棚札５１の位置は、例えば左から順に、ｎ番目、ｎ＋１番目、及び、ｎ＋２番目の位置である。なお、「ｍ段目及びｎ番目」の位置を、「ｍ段ｎ番」又は「ｍ段ｎ列」の位置と表記することがある。
在庫管理システム１に複数台のカメラ１０が備えられている場合、あるいは、カメラ１０にＰＴＺカメラが用いられる場合、在庫監視装置２０は、例えば、カメラ位置を示す情報を取得して棚札検出部２１１に与えてよい（図６のＳ１１ａ）。
カメラ位置を示す情報は、例えば、棚割情報４００と予め関連付けられていてよい。棚札検出部２１１は、例えば、カメラ位置を示す情報と棚割情報４００に基づいて、何れのカメラ１０の何れの撮影方向のカメラ映像であるかを識別して、映像認識による棚札５１の検出に適した認識モデルを設定してよい。なお、カメラ位置を示す情報と棚割情報４００との関連付けの一例については後述する。
棚札５１の検出（図６のＳ１２）に応じて、在庫監視装置２０は、例えば監視エリア設定部２１２によって、商品７０の在庫を監視する監視エリアを設定する（図６のＳ１３）。例えば、監視エリア設定部２１２は、検出された棚札５１のうちの１つを基準棚札５１に設定する。非限定的な一例として、図７には、左下（１段１番）の棚札５１が基準棚札５１に設定される態様が示されている。
基準棚札５１は、在庫監視装置２０（例えば、監視エリア設定部２１２）が自律的に設定してもよいし、在庫監視装置２０のユーザ（例えば、在庫管理者）によって指定（マニュアル指定）されてもよい。
例えば、基準棚札５１の色（例えば、フレームカラー）及び／又は形状といった外観を他の棚札５１の外観とは異ならせておくことで、映像認識によって基準棚札５１を自律的に設定可能である。
あるいは、「○段△番」の棚札５１といった情報が、基準棚札５１を指定する情報として入力装置２０２を通じて監視エリア設定部２１２に入力されてもよい。また、マニュアル指定は、自律的な設定の補完に用いられてもよい。
基準棚札５１の設定に応じて、監視エリア設定部２１２は、例えば、図４に例示した棚割情報４００（例えば、陳列位置情報）を基に、基準棚札５１に対して上下方向及び／又は左右方向に隣り合う棚札５１を検出してよい。
なお、上下方向及び／又は左右方向に隣り合う棚札５１を、便宜的に、「隣接棚札５１」と称することがある。隣接棚札５１の「検出」は、隣接棚札５１の「検索」又は「探索」と言い換えられてもよい。
監視エリア設定部２１２は、検出した棚札５１間の距離に基づいて、監視エリアを設定してよい。監視エリアの設定例を図８に示す。
図８において、例えば、ｍ（＝１）段ｎ（＝１）番の棚札５１を基準棚札に設定した場合、監視エリア設定部２１２は、基準棚札５１と隣接棚札５１との間の距離を求める。
例えば、ｍ段ｎ番の基準棚札５１と、右方向のｍ段ｎ＋１番の棚札５１と、の間の距離Ｒｘが検出され、また、基準棚札５１と、上方向のｍ＋１段ｎ番の棚札５１と、の間の距離Ｒｙが検出される。
監視エリア設定部２１２は、例えば、距離Ｒｘ及びＲｘによって定まるサイズ及び形状の監視エリアＭＡ（点線枠参照）を、１段１番の棚札５１についての監視エリアに設定する。監視エリア設定部２１２は、他の棚札５１についても、隣接棚札５１との間の距離Ｒｘ及びＲｙを検出することで、映像認識によって検出された棚札５１のそれぞれについて監視エリアＭＡを設定する。
以上のように、監視エリア設定部２１２は、映像認識によって検出した棚札５１それぞれについて、当該棚札５１と隣り合う棚札である隣接棚札との間の距離を算出し、算出した距離に基づいて棚札５１それぞれに対応する監視エリアＭＡを設定する。したがって、棚札５１に対応して陳列される商品７０についての監視エリアＭＡを的確に設定できる。
なお、監視エリアＭＡの形状は、矩形でもよいし楕円形のような円形でもよい。また、棚札５１は、商品７０が陳列されるスペースそれぞれに対して所定の規則（ルール）に従って配置されてよい。例えば、商品７０の左下に棚札５１を設置するといった一定のルールに従って棚札５１が設置されてよい。一定のルールが定められていれば、各棚札５１の位置又は棚札５１間の距離と、一定のルールと、に基づいて、正確な監視エリアＭＡを設定することができる。例えば、商品７０の左下に棚札５１が配置されるのであれば、監視エリアは当該棚札５１の右側に存在することが分かる。
また、棚札５１が設置されない棚段（例えば、最上段の棚段）が存在する場合、ダミーの棚札５１を設置することで、ダミーの棚札５１を含む棚札５１間の距離が求められてよい。なお、ダミーの棚札５１を使って最上段の棚段より上の距離Ｒｙを求める場合には、例えば棚に設置する「ＰＯＰ」にダミーの棚段５１を設置するなどとしてもよい。「ＰＯＰ」とは、商品名、商品の価格、キャッチコピー、説明文、及び／又は、イラストを例えば紙に記した広告媒体である。あるいは、棚札５１が設置されない棚段における距離Ｒｙについては、他の棚段（例えば、下段の棚段）との距離に基づいて、棚札５１間の距離が求められてもよい。例えば、隣接棚札５１の存在しない棚札５１については、他の棚札５１について算出された距離Ｒｙが再利用されてもよい。例えば、パースの歪みの少ない直下の棚段のＲｙを再利用したり、あるいは、カメラのパラメータを踏まえて他の棚段のＲｙを変換してＲｙを推定したりしてもよい。あるいは、棚札５１が設置されない棚段については、手動で棚札５１間の距離が設定されてもよい。
また、棚段の右端に位置する棚札５１については、隣り合う別の陳列棚５０が存在すれば、その陳列棚５０に付された棚札５１との間の距離として棚札５１間の距離が求められてよい。あるいは、棚段の右端に位置する棚札５１については、カメラ映像の画像端との距離が棚札５１間の距離として設定されてもよい。
なお、棚割情報４００には、例えば、監視対象である商品７０の幅、高さ、奥行き、及び、陳列数の１つ以上に関する情報が含まれてよい。この場合、当該情報を基に、検出棚札補正部２１６において、棚札検出部２１１によって検出された棚札位置が補正されてよい（図６のＳ１２ａ）。
別言すると、棚割情報４００は、映像認識による棚札５１の検出結果の精度確認及び／又は補正に用いられてよい。棚札５１棚札位置の補正によって、監視対象である商品７０の欠品検出精度を高めることができる。棚札位置の補正例については図１７～図１９を用いて後述する。
監視エリアＭＡの設定後、在庫監視装置２０は、欠品検出部２１３にて、例えば、個々の監視エリアＭＡのカメラ映像と背景映像とのパターンマッチングによって、監視エリアＭＡにおいて商品７０が不足又は欠品している領域を検出する（図６のＳ１４）。
例えば図８において、ｍ段ｎ列の棚札５１に対しては、３つの商品７０を陳列できるスペースに、２つの商品７０しか陳列されていない。そのため、監視エリアＭＡのカメラ映像において、商品７０の１つ分に相当する背景映像が現れる。
欠品検出部２１３は、監視エリアＭＡに現れた背景映像とテンプレート画像とがパターンマッチングにおいて一致することによって、背景映像の現れた領域に商品７０が陳列されていないことを検出する。別言すると、棚札５１に対応する商品７０の不足又は欠品が検出される。
商品７０の不足又は欠品の検出に応じて、在庫監視装置２０は、例えば出力部２１４によって、商品７０の欠品検知を通知する情報を生成して出力する（図６のＳ１５）。商品７０の欠品検知を通知する情報には、文字情報及び／又は音声情報が含まれてもよいし、例えばカメラ映像が表示されるディスプレイにおいて、欠品検知に係る領域を強調表示するための情報が含まれてもよい。
強調表示の非限定的な態様の一例としては、以下が挙げられる。以下の強調表示態様は、適宜に、組み合わされてもよい。
・カメラ映像において、欠品検知に係る領域（以下、便宜的に「欠品エリア」と総称することがある）の色を、他の領域の色よりも目立つ色（強調色）に変更する。
・欠品エリアを点滅表示する。
・欠品エリアを、実線枠又は点線枠を付して表示する。実線枠又は点線枠には、色（強調色）が付されてもよい。
・欠品エリアに付した実線枠又は点線枠を点滅表示する。
以上のように、上述した在庫監視装置２０によれば、陳列棚５０が含まれるカメラ映像の映像認識によって検出した棚札５１の位置に基づいて、カメラ映像における陳列棚５０に対して監視エリアを設定するので、例えばマニュアル操作によらずに、陳列棚５０が含まれるカメラ映像に対して監視エリアを適切に設定できる。なお、基準棚札をマニュアル指定する場合は、監視エリアの設定にあたってマニュアル操作を完全に排除することはできないが、監視エリアの設定の大部分を自動化でき、また、正確な基準棚札を設定できるため、従来と比べて精度よく、かつ、素早く監視エリアを設定することができる。
別言すると、陳列棚５０において監視対象とする陳列スペースの設定を自動化できる。したがって、例えば、陳列棚５０とカメラ１０との相対的な位置関係が、振動などの外的要因で変動しても、映像認識による棚札５１の検出によって、適切な監視エリアの再設定が可能である。
そして、在庫監視装置２０は、設定した監視エリアにおける商品７０の有無に対応した映像変化に基づいて、陳列棚５０における商品７０の在庫を監視し、監視結果を例えば在庫管理者に通知するので、特定の商品が欠品した状態で放置されるケースを抑制できる。したがって、商品販売の機会が喪失することを抑制でき、顧客に対するイメージアップにもつながる。
（棚札関連付け処理）
なお、図６に点線で示すように、欠品検出（Ｓ１４）と情報出力（Ｓ１５）との間において、棚札関連付け処理（Ｓ１４ａ）が棚札関連付け部２１５によって行われてもよい。
図６にＳ１４ａで示す棚札関連付け処理は、例えば、以下のように行われてよい。まず、棚札関連付け部２１５は、例えば図９に示すように、映像認識によって検出された棚札５１のうちの１つ（例えば、左上の「３段１番」）を基準棚札に設定する。
次いで、棚札関連付け部２１５は、棚割情報４００を基に、基準棚札５１に対して、例えば図１０に示すように、「ｙ座標が近い棚札５１の中でｘ座標が最も近い棚札５１」を隣接棚札５１として検出する。図１０の例では、「３段２番」の棚札５１が検出される。
棚札関連付け部２１５は、図１０に例示した隣接棚札５１の検出処理を、基準棚札５１が属する棚段の最後に位置する棚札５１、例えば「３段３番」の棚札５１が検出されるまで繰り返す。
基準棚札５１が属する棚段の最後に位置する棚札５１が検出された場合、棚札関連付け部２１５は、基準棚札５１が属する棚段の最後に位置する棚札５１に対して「ｙ座標が最も近い」棚札５１を検出する。例えば図１１に示すように、「２段３番」の棚札５１が検出される。
なお、基準棚札５１が属する棚段の最後に位置する棚札５１が検出された場合、図１２に示すように、棚札関連付け部２１５は、探索基準を基準棚札５１に戻して「ｙ座標が最も近い」棚札５１を検出してもよい。この場合、「２段１番」の棚札５１が検出される。
棚札関連付け部２１５は、図１０及び図１１、又は、図１０及び図１２に例示した棚札検出処理を全ての棚札５１が検出されるまで繰り返す。図１５（Ａ）は、図１０及び図１１に例示した棚札検出処理での探索順序の一例を示し、図１５（Ｂ）は、図１０及び図１２に例示した棚札検出処理での探索順序の一例を示す。なお、棚札５１の探索順序は、図１５（Ａ）及び図１５（Ｂ）に例示した順序に限られない。
全ての棚札５１の検出が終了した場合、棚札関連付け部２１５は、「ｍ段ｎ番」の棚札５１（図１３参照）と、棚割情報４００（例えば、商品情報）と、を関連付ける。
棚札関連付け処理によって、映像認識によって検出された棚札５１のそれぞれに、商品情報を含む棚割情報４００が関連付けられる。したがって、既述のように棚札５１間の距離に基づいて監視エリアＭＡが設定されても（図１４参照）、監視エリアＭＡのそれぞれにおける監視対象の商品情報を特定できる。なお、最上段の監視エリアＭＡの高さは、例えば、下段の棚段の高さに基づいて設定されてよい。
なお、基準棚札５１の設定は、例えばストレージ２０５に記憶されてよい。２回目以降の棚札関連付け処理においては、記憶された基準棚札５１の設定に従えばよい。そのため、基準棚札５１を再設定することは不要でもよい。
また、棚札関連付け部２１５は、例えば、欠品検出部２１３によって検出された欠品エリアを示す情報と、映像認識によって検出された棚札５１の情報と、の一方又は双方を、棚割情報４００と関連付けてもよい。
（棚割情報に基づいた通知情報の生成）
図６のＳ１５において、出力部２１４は、棚割情報４００に基づいて通知情報を生成してよい。例えば、出力部２１４は、欠品エリアを示す情報と検出棚札５１の情報との関連付け情報を基に、商品７０の欠品検知に係る場所（欠品エリア）、及び／又は、欠品検知した商品７０の商品名及び／又は商品コードを含む通知情報を生成してよい。生成した通知情報は、例えば、出力装置２０３及び／又は通信部２０６へ出力される。
このように、在庫監視装置２０は、棚割情報４００を用いることで、欠品検知に係る個々の商品７０の商品名及び／又は商品コードを含む情報を例えば在庫管理者へ通知できる。
したがって、カメラ映像の映像解析によっては個々の商品名などを特定することが難しい場合であっても、例えば、何れの棚段において何れの商品７０が欠品しているかを在庫管理者に的確に把握させることができる。よって、在庫管理者は、例えば、個々の棚段に対する商品７０の補充を的確かつ円滑に行うことができる。
（棚割情報を用いた監視エリアの設定例)
次に、棚割情報４００に、例えば、商品７０のサイズを示す情報及び商品７０の陳列数を示す情報が含まれる場合に、これらの情報を用いた監視エリアＭＡの設定例について説明する。
例えば、「ｍ段ｎ番の棚札５１に対して幅Ｘ及び高さＹの商品７０を３つ陳列する」という情報が棚割情報４００に含まれる。この場合、監視エリア設定部２１２は、図１６に示すように、３つの商品７０が含まれるサイズ（幅Ｘ及び高さＹ）の監視エリアＭＡを設定してよい。なお、図１６の例において、商品７０の奥行き方向のサイズは任意でよい。
図１６において設定される監視エリアＭＡと、図８において設定される監視エリアとは、結果的に同じサイズであるが、図１６の例において、商品７０のサイズ及び／又は陳列数が異なれば、設定される監視エリアＭＡのサイズも図８の例とは異なる結果になる。
例えば、図１６の例において、商品７０のサイズが図８の例よりも小さい場合、あるいは、商品７０の陳列数が図８の例よりも少ない場合、図１６の例において設定される監視エリアＭＡのサイズは、図８の例よりも小さくなる。
なお、監視エリアＭＡを設定するにあたって、商品７０の幅、高さ、及び、陳列数の情報のすべてがそろう必要はない。監視エリアＭＡを設定するにあたって、既述のように映像認識によって棚札５１間の距離が検出されるため、監視エリア設定部２１２は、商品７０の幅、高さ、及び、陳列数の情報のうちの一部の情報が不足していても、検出された距離によって補完できる。また、商品７０の幅及び／又は高さは、映像認識によって検出された棚札５１のサイズに基づいて補完されてもよい。棚札５１のサイズは、既知でもよいし、棚札５１の映像認識によって検出されてもよい。
また、陳列棚の最上段に位置する棚段のように、ｙ軸方向の棚札５１間の距離を求める基準となる棚札５１が設置されない場合であっても、監視エリア設定部２１２は、商品７０の高さを示す情報を基に、ｙ軸方向の監視エリアＭＡのサイズを適切に設定できる。
また、監視エリアＭＡにおける監視対象の商品７０の個数を把握できるため、例えば、欠品検出部２１３において、段階的な欠品検知の精度を高めることができる。段階的な欠品検知の例については後述する。
（棚割情報を用いた棚札検出結果の補正例）
次に、棚割情報４００に、例えば、商品７０の種類を示す情報及び商品７０の陳列数を示す情報が含まれる場合に、棚割情報４００を用いた棚札検出結果の補正例について説明する。
例えば、棚割情報４００に「ｍ＋１段の棚板５２に幅（Ｘ）の異なる３種類の商品７０を陳列する。」という情報が含まれる場合、検出棚札補正部２１６（図５参照）は、その情報を基に、映像認識による棚札５１の検知漏れを検出して訂正することができる。
図１７に、棚札５１の検知漏れが生じ得るケースを示す。図１７の例においては、ｍ＋１（＝２）段の棚板５２について、本来、３つの棚札５１が検出されるはずである。なお、棚割情報４００には、３つの棚札５１のそれぞれに対して、図１８においてＣ１、Ｃ２及びＣ３で表され、異なる幅（Ｘ１、Ｘ２及びＸ３）の商品７０が陳列される情報が含まれる。
しかし、２段２番の棚札５１に、例えば、「ＳＡＬＥ！」という別の札（障害物）が部分的に重なっているため、２段２番の棚札５１は、映像認識によっては検知に失敗することがある。
検知が失敗した場合に、検出棚札補正部２１６は、例えば図１９に示すように、商品７０毎の幅（Ｘ１，Ｘ２及びＸ３）及び陳列数を、ｍ＋１（＝２）段の棚板５２にあてはめることで、２段２番の位置に棚札５１が存在することを推測できる。検出棚札補正部２１６は、推測した棚札５１を、映像認識によって検出された棚札５１に含めることで検出漏れを訂正してよい。
このように、例えば、障害物に起因して映像認識によっては検知に失敗する棚札５１が存在しても、棚割情報４００を基に、画像認識による検出漏れを訂正できるため、棚札５１の位置に基づいた監視エリアＭＡの設定精度を高めることができる。
（ＰＴＺカメラの適用）
カメラ１０に例えばＰＴＺカメラを適用し、ＰＴＺカメラ１０の撮影方向を変更制御することで、複数の陳列棚５０あるいは１つの陳列棚５０の異なる複数の陳列スペースを監視対象に収めることができる。
図２０に、ＰＴＺカメラ１０の適用例を示す。図２０には、奥行き方向に隣り合う２つの陳列棚５０の一方の例えば天井部分に、２台のＰＴＺカメラ１０が設置された例が示されている。
したがって、ＰＴＺカメラ１０のそれぞれは、例えば２つの陳列棚５０のうちの他方の正面を斜め上方から撮影する。なお、ＰＴＺカメラ１０は、例えば、陳列棚５０が設置された店舗の天井部分に設置されて、陳列棚５０の正面を斜め上方から撮影してもよい。
ＰＴＺカメラ１０のそれぞれは、例えば、陳列棚５０の幅方向に複数の方向（例えば、Ｎ＝３方向）に撮影方向が変更されてよい。なお、「Ｎ」は、撮影方向の数を表す２以上の整数である。撮影方向の変更は、例えば在庫監視装置２０が通信ＩＦ２６１（図５参照）を介してＰＴＺカメラ１０と通信することによって制御されてよい。
撮影方向の変更制御は、事前に設定された周期で定期的に行われてもよいし、特定のタイミングで不定期に行われてもよい。また、ユーザの指示によって撮影方向を変更してもよい。例えば、１日、１週間、あるいは１ヶ月といった所定の単位期間のうち、特定の商品７０が欠品し易い時間帯が事前に把握できる場合、少なくとも、その時間帯には欠品し易い商品７０が監視対象に含まれるように撮影方向が制御されてよい。特定の商品７０が欠品し易い時間帯の非限定的な一例としては、特定の商品７０について定期的又は不定期に開催される販促時間帯（セール時間帯）が挙げられる。
ＰＴＺカメラ１０の撮影方向を示す情報（例えば、角度情報）は、既述の棚割情報４００と関連付けられてよい。例えば、ＰＴＺカメラ１０及びＮ個（Ｎは２以上の整数）の角度情報にＩＤを割り当て、当該ＩＤと棚割情報４００におけるＩＤ（図４参照）とを関連付けてよい。
このようなＩＤの関連付けによって、例えば、何れの陳列棚５０の何れの棚段が、何れのＰＴＺカメラ１０の何れの撮影方向によって監視されるかを識別できる。なお、ＩＤの関連付けは、例えば、棚札関連付け部２１５（図５参照）によって行われてよい。
また、既述のように、撮影方向によって映像認識に適した認識モデルが変わるため、異なる撮影方向毎に、認識モデルが事前に用意されてよい。
また、陳列棚５０の正面に例えばガラス扉が取り付けられているか否かによっても、映像認識に適した認識モデルは変わり得る。そのため、例えば、撮影方向、及び／又は、ガラス扉の有無の別に、映像認識に適した認識モデルが事前に用意されてもよい。
図２１には、３つの撮影方向＃Ａ、＃Ｂ及び＃Ｃに対して、それぞれ、認識モデル＃１、＃２及び＃３が設定される例が示されている。あるいは、例えば、複数の認識モデルを切り替えて、検出される棚札５１の数が棚割情報に最も適合する認識モデルが選択されてもよい。
以上のように、カメラ１０にＰＴＺカメラ１０を用いることで、１台のＰＴＺカメラ１０で複数地点の在庫を監視して把握することが可能なため、在庫管理システム１においてトータルのカメラ設置台数を削減できる。したがって、在庫管理システム１のトータルコストを削減できる。
（段階的な欠品検知）
商品７０の欠品エリアが検出されてから欠品情報が出力されても、商品７０の補充が間に合わない場合がある。
そこで、例えば、在庫監視装置２０は、監視エリア設定部２１２によって設定された監視エリアに現れる背景映像の面積割合に応じて、商品７０の在庫レベル（「欠品レベル」と言い換えてもよい）を段階的に在庫管理者に提示してよい。図２２（Ａ）～図２２（Ｃ）に、段階的な欠品レベルの一例を示す。
図２２（Ａ）には、「ｍ段ｎ番」から「ｍ段ｎ＋２番」の位置に３つの商品７０が陳列された状況（欠品レベル０）が示されている。図２２（Ｂ）には、３つの商品７０のうちの１つが欠品した状況（欠品レベル１）が示され、図２２（Ｃ）には、３つの商品７０が欠品した状況（欠品レベル３）が示されている。
在庫監視装置２０（例えば、欠品検出部２１３）は、例えば、欠品レベルと、欠品レベルにおいて監視エリアに現れる背景映像の面積割合と、を関連付けて設定しておくことで、監視エリアに現れた背景映像の面積割合に対する欠品レベルを決定する。決定した欠品レベルを示す情報は、例えば出力部２１４に出力される。
出力部２１４は、欠品レベルを示す情報を含む通知情報を生成して、出力装置２０３及び／又は通信部２０６へ出力する。これにより、段階的な欠品レベルを示す情報が例えば在庫管理者に提示される。
なお、段階的な欠品レベルのうち、何れの欠品レベルで通知を行うか（別言すると、通知の閾値レベル）は、事前に所定のレベルに設定されてもよいし、例えば在庫管理者によって適応的に設定されてもよい。図２２（Ａ）～図２２（Ｃ）の例では、例えば「欠品レベル１」が通知の閾値レベルに設定されてよい。なお、全ての欠品レベルで通知を行う設定であってもよい。
このように、監視エリアに複数の商品７０が陳列される場合、在庫監視装置２０は、段階的な欠品レベルを在庫管理者に提示することが可能である。したがって、商品７０が完全に欠品してしまう前の段階で、在庫管理者に注意喚起を促すことができ、適時の商品補充が可能になる。
なお、カメラ１０が棚段を斜め上方から撮影する位置に設置されている場合、在庫監視装置２０は、例えば図２３及び図２４に示すように、棚段の奥行き方向（ｚ軸方向）の欠品レベルを在庫管理者に提示してもよい。例えば、最前列の商品７０だけが欠品している旨を提示することなどができる。
棚割情報４００に、棚段正面から奥行き方向への商品７０の陳列数を示す情報が含まれる場合、監視エリアの映像認識結果と、棚割情報４００と、を基に、棚段の奥行き方向の欠品レベルが例えば欠品検出部２１３において設定されてよい。
（動体除去処理）
陳列棚５０の正面を人物（例えば、顧客）が通り過ぎたり、陳列棚５０の正面に人物が一時的に立ち止まったりすることにより、例えば図２５（Ａ）に示すように、カメラ映像において棚札５１の一部又は全部が人物に隠れてしまうことがある。
このような場合、カメラ映像に映った人物は、映像認識による棚札検出及び欠品検知に対する一時的な障害物となる。一時的な障害物の存在によって棚札検出及び欠品検知の精度が低下し得る。
そのため、在庫監視装置２０（例えば、棚札検出部２１２及び／又は欠品検出部２１３）は、映像認識の前処理の一例として、図２５（Ｂ）に示すように、カメラ映像から人物のような動体を除去してよい。
カメラ１０が動体除去モードをサポートしている場合、在庫監視装置２０は、例えば通信ＩＦ２６１（図５参照）を介してカメラ１０と通信することによって、動体除去モードをＯＮに設定してよい。なお、動体除去の具体的な手順については、前掲の非特許文献２などが知られているので、説明を省略する。
動体が含まれる数フレームのカメラ映像に対して動体除去処理が施されることで、映像認識による棚札検出及び欠品検知の精度を向上できる。
（実施の形態１の効果）
以上説明したように、上述した実施形態によれば、陳列棚５０が含まれるカメラ映像の映像認識によって検出した棚札５１の位置に基づいて、カメラ映像における陳列棚５０に対して監視エリアを設定するので、例えばマニュアル操作によらずに、陳列棚５０が含まれるカメラ映像に対して監視エリアを適切に設定できる。
別言すると、陳列棚５０において監視対象とする陳列スペースの設定を自動化できる。したがって、例えば、陳列棚５０とカメラ１０との相対的な位置関係が、振動などの外的要因で変動しても、映像認識による棚札５１の検出によって、適切な監視エリアの再設定が可能である。なお、上述した実施形態の効果は、監視対象とする陳列スペースの設定をすべて自動化できるものには限られない。基準棚札をマニュアルで指定する場合など、一部をマニュアル化することで精度を向上させることもできる。
そして、在庫監視装置２０は、設定した監視エリアにおける商品７０の有無に対応した映像変化に基づいて、陳列棚５０における商品７０の在庫を監視し、監視結果を例えば在庫管理者に通知するので、特定の商品が欠品した状態で放置されるケースを抑制できる。したがって、商品販売の機会が喪失することを抑制でき、顧客に対するイメージアップにもつながる。
また、在庫監視装置２０は、棚割情報４００を用いることで、欠品検知に係る個々の商品７０の商品情報を例えば在庫管理者へ通知できるため、例えば、何れの棚段において何れの商品７０が欠品しているかを在庫管理者に的確に把握させることができる。したがって、カメラ映像の映像解析によっては個々の商品名などを特定することが難しい場合であっても、在庫管理者は、例えば、個々の棚段に対する商品７０の補充を的確かつ円滑に行うことができる。
また、在庫監視装置２０は、例えば、障害物に起因して映像認識によっては検知に失敗する棚札５１が存在しても、棚割情報４００を基に、画像認識による検出漏れを訂正できるため、棚札５１の位置に基づいた監視エリアＭＡの設定精度を高めることができる。
また、在庫監視装置２０は、棚割情報４００を基に、例えば、棚段において複数の商品７０が占める空間又は領域を特定する精度を向上できるため、棚札位置に基づく監視エリアの設定精度を向上でき、その結果、商品７０の欠品検知精度を向上できる。
また、カメラ１０に、例えばＰＴＺカメラを用いることで、陳列棚５０毎に、あるいは、陳列棚５０の異なる領域又は空間毎に、カメラ１０を設置しなくてよいため、在庫管理システム１におけるカメラ１０の設置台数を削減できる。
なお、本実施の形態では、ＰＴＺカメラをカメラ１０の例として説明したが、撮影方向を変更できるカメラであればズーム機能のないカメラを用いることも可能である。また、陳列棚５０の配置方向に制約がある場合、カメラ１０はパン機能とチルト機能の両方を備えている必要はない。
例えば、陳列棚５０が略水平方向にしか配置されないのであれば、チルト機能しかないカメラ１０であっても複数の陳列棚５０を撮影することができる。また、カメラ１０は、全方位カメラであっても構わない。
カメラ１０に全方位カメラを使用する場合、撮像される画像は、カメラ１０の周囲に存在する複数の陳列棚５０の映像が含まれた全方位画像となる。この場合、撮影方向の変更制御は、撮像した全方位画像から切り出す部分を変更制御する処理に相当する。
在庫監視装置２０は、全方位画像から切り出した部分に対応する仮想的な撮影方向それぞれに適した認識モデルを用いて棚札検出及び／又は欠品検知を実施することで、ＰＴＺカメラを使用した場合と同様の制御を実現することができる。
なお、全方位画像には複数の陳列棚５０の映像を含むことが可能であるため、複数の陳列棚５０それぞれに対応する部分を同時に切り出し、それぞれに適した認識モデルを用いて棚札検出及び／又は欠品検知を実施することで、複数の陳列棚５０を同時に監視することもできる。
また、在庫監視装置２０は、例えば、陳列棚５０の撮影方向、及び／又は、ガラス扉の有無の別に、映像認識に適した認識モデルを用いることで、棚札検出及び／又は欠品検出の精度を向上できる。
また、監視エリアに複数の商品７０が陳列される場合、在庫監視装置２０は、段階的な欠品レベルを在庫管理者に提示することができる。したがって、商品７０が完全に欠品してしまう前の段階で、在庫管理者に注意喚起を促すことができ、適時の商品補充が可能になる。
また、動体が含まれる数フレームのカメラ映像に対して動体除去処理が施されることで、在庫監視装置２０において、映像認識による棚札検出及び欠品検知の精度を向上できる。
（その他）
上述した実施の形態においては、コンピュータ２０による監視対象が、陳列棚５０において陳列される商品７０である例について説明したが、コンピュータ２０による監視対象は、商取引に係る商品７０に限られない。例えば、コンピュータ２０による監視対象は、ショーケースに陳列される展示品などの「物品」であってもよい。この場合、例えば、ショーケースにおける「物品」の喪失をコンピュータ２０によって検知して管理者などに通知できる。
「物品」の在庫又は陳列状況を監視するコンピュータ２０は、例えば、「棚監視装置」、「物品監視装置」、又は、「物品陳列状況監視装置」などと称されてよい。また、コンピュータ２０を、「物品」の在庫又は陳列状況を監視する装置として機能させるプログラムは、「棚監視プログラム」、「物品監視プログラム」、又は、「物品陳列状況監視プログラム」などと称されてよい。
（実施の形態２）
実施の形態２では、棚札位置の精度を高める棚札検出装置について説明する。なお、実施の形態２では、実施の形態１と異なる部分について説明し、実施の形態１と共通する部分についての説明を省略する。
（概要）
図２６は、既知の映像認識技術のみで棚札位置を特定する場合の課題を説明するための図である。
既知の映像認識技術によって棚札位置を特定する場合、典型的には、陳列棚５０を撮影したカメラ映像の中からパターンマッチングによって棚札映像を認識し、棚札位置を特定する。
しかし、映像認識技術による棚札映像の認識は、例えば次の（Ａ１）～（Ａ３）のような場合、誤検出及び／又は検出漏れが発生し得る。
（Ａ１）図２６の（Ａ）に示すように、棚札映像３０１の解像度が低い場合。
（Ａ２）図２６の（Ｂ）に示すように、棚札映像３０２が陳列商品等の障害物に覆われている場合。
（Ａ３）図２６の（Ｃ）に示すように、棚札映像３０３に類似する物体映像３０４が存在する場合。
例えば、図２６の（Ｄ）に示すように、カメラ映像に上記（Ａ１）及び（Ａ２）の棚札映像３０１，３０２が存在する場合、映像認識技術のみでは、４つの棚札映像３０１，３０２，３０５，３０６が存在するにも関わらず、２つの棚札映像３０５、３０６しか検出されず、残り２つの棚札映像３０１、３０２が検出から漏れてしまうことがある。
図２７は、手動で棚札位置を入力する場合の課題を説明するための図である。
例えば、図２７の（Ａ）に示すように、ユーザがカメラ映像の中から棚札映像の位置を入力することにより、映像認識技術のように棚札映像の誤検出又は検出漏れが発生することを防止できる。
しかし、手動による棚札位置の特定は、例えば次の（Ｂ１）、（Ｂ２）のような場合、図２７の（Ｂ）に示すように、ユーザが入力した棚札位置とカメラ映像内の棚札映像の位置とがずれてしまう。
（Ｂ１）パン又はチルトによってカメラ映像が変化した場合。
（Ｂ２）カメラ１０が衝撃等を受けて、カメラ映像が変化した場合。
このようにカメラ映像が変化する度に、ユーザに棚札映像の位置を再入力させることは、ユーザに非常に大きな作業負荷を課すことになる。なお、（Ｂ１）の場合、パン又はチルトの角度を変化させる前のものに戻すことで、ずれを解消することは難しい。なぜなら、物理的に完全に同一の角度を再現することは難しく、また、カメラと被写体との距離が離れていると僅かなずれが映像の大きなずれとなるからである。そのため、（Ｂ１）の場合にパン又はチルトの角度を元に戻したとしても、棚札映像の位置ずれを何らかの手段で修正する必要がある。
図２８は、本実施の形態に係る棚札位置の特定方法の概要を説明するための図である。次に、図２８を参照しながら、上記の課題を解決するための、本実施の形態に係る棚札位置の特定方法について説明する。
図２８に示すように、本実施の形態に係る棚札位置の特定方法は、基準カメラ映像５０１に対してユーザによって予め入力された棚札位置を含む手動棚札位置セット５０３を、監視カメラ映像５０２から映像認識技術により検出された棚札位置を含む自動棚札位置セット５０４を用いて補正し、補正棚札位置セット５０５を生成する。そして、当該補正棚札位置セット５０５を用いて、監視カメラ映像５０２における棚札位置を特定する。
棚札位置は、カメラ映像における棚札映像の位置を示す情報（例えばＸＹ座標点）であってよい。そして、補正棚札位置セット５０５は、手動棚札位置セット５０３に含まれるできるだけ多くの棚札位置が、監視カメラ映像５０２に係る自動棚札位置セット５０４に含まれるできるだけ多くの棚札位置に近づくように、手動棚札位置セット５０３の位置が移動されたものであってよい。
なお、棚札位置は、棚札映像の位置を示す情報に加えて、棚札映像の領域（以下「棚札領域」という）を示す情報を含んでもよい。そして、補正棚札位置セット５０５は、手動棚札位置セット５０３に含まれる棚札領域と、自動棚札位置セット５０４に含まれる棚札領域とが最も重複するように、手動棚札位置セット５０３の位置が移動されたものであってよい。
これにより、カメラ映像が多少変化した場合であっても、ユーザが棚札映像の位置を手動で再入力することなく、高い精度で、カメラ映像から棚札位置を特定できる。
以下、本実施の形態について詳細に説明する。なお、本実施の形態に係る棚札位置の特定方法は、実施の形態１で説明した在庫監視装置２０に組み込まれてもよい。
（棚札検出装置の構成）
図２９は、本実施の形態に係る棚札検出装置２の構成例を示すブロック図である。図２９に示すように、棚札検出装置２は、映像取得部４０１、手動棚札設定部４０２、自動棚札検出部４０３、棚札位置補正部４０４、棚札位置特定部４０５を備える。
映像取得部４０１は、所定のタイミング（例えば所定の周期）で、カメラ１０からカメラ映像を取得し、メモリ２０４及び／又はストレージ２０５（以下「メモリ等」と表現する）にカメラ映像を格納する。ここで、手動棚札設定部４０２によって使用されるカメラ映像を基準カメラ映像５０１、自動棚札検出部４０３によって使用されるカメラ映像を監視カメラ映像５０２と呼ぶ。
手動棚札設定部４０２は、メモリ等から基準カメラ映像５０１を取得して、出力装置２０３（例えばディスプレイ装置）に表示し、入力装置２０２を通じてユーザから、基準カメラ映像５０１における棚札映像の位置（棚札位置）の入力を受け付ける。そして、手動棚札設定部４０２は、入力された各棚札位置の情報を含む手動棚札位置セット５０３を生成し、メモリ等に格納する。
自動棚札検出部４０３は、メモリ等から監視カメラ映像５０２を取得し、映像認識技術によって、監視カメラ映像５０２の中から各棚札映像を検出し、各棚札位置を特定する。そして、自動棚札検出部４０３は、特定された各棚札位置の情報を含む自動棚札位置セット５０４を生成し、メモリ等に格納する。
棚札位置補正部４０４は、自動棚札位置セット５０４を用いて、手動棚札位置セット５０３を監視カメラ映像５０２に適合するように補正し、補正棚札位置セット５０５を生成する。そして、棚札位置補正部４０４は、生成された補正棚札位置セット５０５をメモリ等に格納する。例えば、棚札位置補正部４０４は、手動棚札位置セット５０３に含まれる複数の棚札領域と、自動棚札位置セット５０４に含まれる複数の棚札領域との重複面積が最大となる、手動棚札位置セット５０３のオフセット量（移動量）を算出する。そして、棚札位置補正部４０４は、その算出されたオフセット量の分、手動棚札位置セット５０３を移動させて、補正棚札位置セット５０５を生成する。なお、棚札位置補正部４０４の処理の詳細については後述する。
棚札位置特定部４０５は、補正棚札位置セット５０５を用いて、監視カメラ映像５０２における各棚札位置を特定する。棚札位置特定部４０５によって特定された棚札位置は、例えば図５における在庫監視装置２０の棚札検出部２１１で用いられてよい。
なお、図３０のフローチャートのＳ１３ａに示すように、棚札位置特定部４０５によって特定された各棚札位置は、図６に示したフローチャートのＳ１４の陳列状況検出処理に入力されて用いられてよい。これにより、棚札位置の精度が高くなり、陳列状況検出の精度も高くなる。
＜手動棚札設定部の詳細＞
次に、図３１のフローチャートを参照しながら、手動棚札設定部４０２の詳細について説明する。
手動棚札設定部４０２は、基準カメラ映像５０１を表示し（Ｓ１０１）、ユーザから棚札位置の入力を受け付ける（Ｓ１０２）。
ユーザは、例えば入力装置２０２を介して、表示された基準カメラ映像５０１に含まれる各棚札映像の位置を入力する（Ｓ１０３）。
手動棚札設定部４０２は、Ｓ１０３で入力された各棚札映像の位置から、各棚札映像に対応する棚札位置の情報を生成する。そして、手動棚札設定部４０２は、それら生成された棚札位置から、手動棚札位置セット５０３を生成し、メモリ等に格納する（Ｓ１０４）。
以上の処理により、手動棚札設定部４０２は、手動棚札位置セット５０３を生成し、当該手動棚札位置セット５０３をメモリ等に格納する。
（棚札位置補正部の詳細）
次に、図３２のフローチャートを参照しながら、棚札位置補正部４０４の詳細について説明する。なお、本処理は、監視カメラ映像５０２が更新される毎に実行されてよい。
棚札位置補正部４０４は、手動棚札位置セット５０３に基づいて、複数の互いに異なるオフセット量を設定する（Ｓ２０１）。なお、複数のオフセット量の設定の詳細については後述する。
次に、棚札位置補正部４０４は、Ｓ２０１で設定された複数のオフセット量の数の分、オフセットループ処理（Ｓ２０２～Ｓ２０５）を繰り返す（Ｓ２０２）。このとき、棚札位置補正部４０４は、オフセットループ処理毎に、Ｓ２０１で設定された複数のオフセット量の中から、異なるオフセット量を選択する。オフセットループ処理の説明において、この選択されたオフセット量を、「選択オフセット量」と呼ぶ。
次に、棚札位置補正部４０４は、選択オフセット量の分、手動棚札位置セット５０３の位置を移動させる。そして、棚札位置補正部４０４は、この移動させた手動棚札位置セット５０３の棚札領域と、監視カメラ映像５０２に対する自動棚札位置セット５０４の棚札領域との重複面積を算出する（Ｓ２０３）。
次に、棚札位置補正部４０４は、選択オフセット量と、Ｓ２０３で算出された重複面積とを対応付けて、メモリ等に格納する（Ｓ２０４）。
棚札位置補正部４０４は、オフセットループ処理の完了後（Ｓ２０５）、メモリ等を参照し、最も大きい重複面積に対応付けられているオフセット量を特定する（Ｓ２０６）。
次に、棚札位置補正部４０４は、Ｓ２０６で特定されたオフセット量の分、手動棚札位置セット５０３を移動させ、監視カメラ映像５０２に適合する補正棚札位置セット５０５を生成し、メモリ等に格納する（Ｓ２０７）。
次に、図３３を参照しながら、図３２のＳ２０１の処理の詳細について説明する。
まず、棚札位置補正部４０４は、手動棚札位置セット５０３に含まれる各棚札領域のサイズ及び形状から、棚札領域の平均のサイズ及び形状（以下「平均棚札領域」という）を算出する。平均棚札領域の形状は、図３３の斜線領域６０１に示すように、長方形であってよい。
次に、棚札位置補正部４０４は、図３３に示すように、平均棚札領域のＸ軸方向の長さの半分の長さであるΔｘと、平均棚札領域のＹ軸方向の長さの半分の長さであるΔｙと、をオフセット量の単位量とし、複数の互いに異なるオフセット量を設定する。例えば、図３３は、Ｘ軸方向に－２Δｘ，－Δｘ，０、＋Δｘ，＋２Δｘ、Ｙ軸方向に－２Δｙ，－Δｙ，０，＋Δｙ，＋２Δｙの合計２５個のオフセット量を設定した場合を示している。このように２５個のオフセット量を設定した場合、図３２のオフセットループ処理（Ｓ２０２）の繰り返し回数は、２５回となる。
また、例えば、オフセットループ処理における選択オフセット量が、図３３の網掛領域６０２に相当する（－Δｘ，＋Δｙ）である場合、棚札位置補正部４０４は、Ｓ２０３において、手動棚札位置セット５０３の各棚札領域を、オフセット量（－Δｘ，＋Δｙ）の分、移動させて、重複面積を算出する。なお、図３３における点６０３は、棚札領域６０１を、オフセット量の分、移動させたときの棚札位置（座標点）を示す。棚札位置は、棚札領域の中心（又は重心）の座標であってよい。
以上の処理により、棚札位置補正部４０４は、手動棚札位置セット５０３と自動棚札位置セット５０４とが最も重複するオフセット量を算出し、その算出されたオフセット量を用いて、補正棚札位置セット５０５を生成する。
なお、図３３に示す平均棚札領域の形状は一例であり、例えば図２６に示すように、カメラ映像内の各棚札映像の形状が遠近関係により歪んでいる場合、平均棚札領域の形状は、その歪んでいる棚札映像の形状の相似形であってもよい。
また、上記の「重複面積」は、手動棚札位置セット５０３の棚札領域と、自動棚札位置セット５０４の棚札領域との重複の割合を示す「重複率」に置換可能である。
また、棚札位置補正部４０４は、重複面積が所定の閾値未満の場合、重複面積が極端に小さい旨のアラートを通知してもよい。この状態は、典型的には、カメラ１０の設置環境が大きく変化した場合に生じる。この通知により、ユーザは、カメラ１０の設置環境の大きな変化に素早く気づくことができる。
また、本実施の形態では、オフセットループ処理（Ｓ２０２）の繰り返し回数は２５回としたが、より多い回数またはより少ない回数であってもよい。例えば、回数を増やす場合はオフセット量の変化をより細かくし、回数を減らす場合はオフセット量の変化をより荒くすればよい。ここで、オフセット量の変化の程度と処理に要する時間はトレードオフの関係にある。すなわち、オフセット量の変化をより細かく設定すると精度が向上し、より荒く設定すると処理に要する時間が短くなる。
また、本実施の形態では、棚札位置を補正する処理の一部をユーザの入力等で行ってもよい。ユーザからの入力の例としては、オフセットの最大値の設定、オフセットの変化量の設定、一部の棚札（例えば左上の棚札）の位置の指定など、オフセットループ処理（Ｓ２０２）の処理を補助する入力が考えられる。また、例えば、複数のオフセット量とそれぞれの場合における手動棚札位置セット５０３と自動棚札位置セット５０４の重複量とを出力し、最終的に採用すべきオフセット量の決定をユーザの判断で決定するとしてもよい。
また、本実施の形態における補正棚札位置セット５０５の生成は、カメラに対するパン・チルトなどの動作が発生した場合に行うものとしてもよいし、定められた周期で行うものとしてもよい。前者の場合は補正を行う回数を低減できる。後者の場合はカメラが意図しない衝撃等で動いた場合にも比較的速やかに補正を行うことができる。
（実施の形態２の効果）
本実施の形態では、棚札検出装置２は、基準カメラ映像５０１に対して生成された手動棚札位置セット５０３を、監視カメラ映像５０２に対して生成された自動棚札位置セット５０４を用いて補正し、監視カメラ映像５０２に適合する補正棚札位置セット５０５を生成する。補正棚札位置セット５０５は、高い精度を有する手動棚札位置セット５０３を監視カメラ映像５０２に適用するよう補正したものであるため、監視カメラ映像５０２内の棚札位置を高い精度で検出できる。
（実施の形態３）
実施の形態３に係る棚札検出装置２は、実施の形態２に係る棚札検出装置２に対して、各種通知機能を備える点において相違する。なお、実施の形態３では、実施の形態２と異なる部分について説明し、実施の形態２と共通する部分についての説明を省略する。
図３４は、本実施の形態に係る棚札検出装置２の構成例を示すブロック図である。図３４に示すように、棚札検出装置２は、図２９に示す棚札検出装置２の構成に加えて、変更検出部４０６と、修正部４０７とを備える。
変更検出部４０６は、陳列棚５０における棚札５１の配置の変更を検出する。また、変更検出部４０６は、検出内容に応じたアラートを通知する。なお、変更検出部４０６は、「通知部」を呼ばれてもよい。
変更検出部４０６は、例えば、手動棚札位置セット５０３と自動棚札位置セット５０４との間の不整合を所定期間以上検出した場合、手動棚札位置セット５０３に係る第１の更新要求アラートを通知する。当該不整合は、典型的には、陳列棚５０の棚札５１の配置が変更され、手動棚札位置セット５０３が変更されていない場合に生じる。ここで、「所定期間以上」という条件を設けることにより、棚札５１の配置が変更されていないにも関わらず、映像認識技術の誤認識等によって一時的に不整合が検知された場合に、誤ってアラートが通知されることを防止している。なお、第１の更新要求アラートの通知処理の詳細については後述する。
また、変更検出部４０６は、例えば、棚割情報４００と補正棚札位置セット５０５との間の不整合を検出した場合、手動棚札位置セット５０３に係る第２の更新要求アラートを通知する。当該不整合は、典型的には、陳列棚５０の棚札５１の配置が変更された後、棚割情報４００が更新されたが、手動棚札位置セット５０３が更新されていない場合、或いは、手動棚札位置セット５０３が更新されたが、棚割情報４００が更新されていない場合に生じる。なお、第２の更新要求アラートの通知処理の詳細については後述する。
修正部４０７は、手動棚札位置セット５０３と自動棚札位置セット５０４との間の不整合を所定期間以上検出した場合、手動棚札位置セット５０３を自動的に修正する。当該不整合は、典型的には、陳列棚５０の棚札５１の配置が変更された後、手動棚札位置セット５０３が変更されていない場合に生じる。例えば、修正部４０７は、補正棚札位置セット５０５に存在するが自動棚札位置セット５０４に存在しない棚札位置を、手動棚札位置セット５０３から削除し、自動棚札位置セット５０４に存在するが補正棚札位置セット５０５に存在しない棚札位置を、手動棚札位置セット５０３に追加して、手動棚札位置セット５０３を修正する。なお、修正部４０７の処理の詳細については後述する。
（第１の更新要求アラートの通知の詳細）
次に、図３５を参照しながら、第１の更新要求アラートの通知処理の具体例について説明する。
図３５の場合、変更検出部４０６は、１回目の処理で自動棚札位置セット５０４と未重複である手動棚札位置（以下「未重複手動棚札」という）７０１、７０２、７０３を検出し、２回目の処理で未重複手動棚札７０２、７０３を検出し、３回目の処理で未重複手動棚札７０３を検出する。なお、この「未重複」は、手動棚札位置セット５０３の棚札領域と、自動棚札位置セット５０４の棚札領域とが全く重複していない場合に限られない。例えば、変更検出部４０６は、未重複であるか否かを判定するため、重複率の閾値を予め設け、重複率が当該閾値未満の場合、未重複と判定してもよい。図３５の場合、３回目の時点において、未重複手動棚札７０３の検出回数が「３」となる。ここで、通知を行う検出回数の閾値が「３」である場合、未重複手動棚札７０３は３回連続（つまり所定期間以上）で検出されたので、変更検出部４０６は、第１の更新要求アラートを通知する。
次に、図３６のフローチャートを参照しながら、第１の更新要求アラートの通知処理の詳細について説明する。なお、当該処理は、図３０のＳ１３ａの後に実行されてよい。
変更検出部４０６は、手動棚札位置セット５０３と、自動棚札位置セット５０４とを対比し、自動棚札位置セット５０４と未重複である手動棚札位置（つまり「未重複手動棚札」）の検出処理を行う（Ｓ３０１）。
次に、変更検知部は、Ｓ３０１において未重複手動棚札が検出されたか否かを判定する（Ｓ３０２）。
未重複手動棚札が検出されなかった場合（Ｓ３０２：ＮＯ）、変更検出部４０６は、本処理を終了する。
未重複手動棚札が検出された場合（Ｓ３０２：ＹＥＳ）、変更検出部４０６は、検出された未重複手動棚札の数の分、変更検出ループ処理（Ｓ３０３～Ｓ３１０）を繰り返す。このとき、変更検出部４０６は、変更検出ループ処理毎に、互いに異なる未重複手動棚札を選択する。図３６の説明において、当該選択された未重複手動棚札を、「選択未重複手動棚札」という。
変更検出部４０６は、選択未重複手動棚札が例外棚札テーブル（図示せず）に登録されているか否かを判定する（Ｓ３０４）。ここで、例外棚札テーブルには、例えば遮蔽物等によって映像認識技術では認識できない棚札５１に対応する手動棚札位置が登録されている。
選択未重複手動棚札が例外棚札テーブルに登録されている場合（Ｓ３０４：ＹＥＳ）、変更検出部４０６は、次回の変更検出ループ処理に移行する（Ｓ３１０）。
選択未重複棚札が例外棚札テーブルに登録されていない場合（Ｓ３０４：ＮＯ）、変更検出部４０６は、選択未重複手動棚札が、注目棚札テーブルに登録されているか否かを判定する（Ｓ３０５）。ここで、注目棚札テーブルには、前回のＳ３０１において検出された未重複手動棚札が登録されている。
選択未重複手動棚札が注目棚札テーブル（図示せず）に登録されていない場合（Ｓ３０５：ＮＯ）、変更検出部４０６は、選択未重複手動棚札を注目棚札テーブルに登録し（Ｓ３０６）、Ｓ３０７に移行する。
選択未重複手動棚札が注目棚札テーブルに登録されている場合（Ｓ３０５：ＹＥＳ）、変更検出部４０６は、Ｓ３０７に移行する。
Ｓ３０７において、変更検出部４０６は、選択未重複手動棚札の検出回数に「１」を加算する（Ｓ３０７）。
次に、変更検出部４０６は、選択未重複手動棚札の検出回数が所定の閾値以上であるか否かを判定する（Ｓ３０８）。
選択未重複手動棚札の検出回数が所定の閾値未満である場合（Ｓ３０８：ＮＯ）、変更検出部４０６は、次回の変更検出ループ処理に移行する（Ｓ３１０）。
選択未重複手動棚札の検出回数が所定の閾値以上である場合（Ｓ３０８：ＹＥＳ）、変更検出部４０６は、第１の更新要求アラートを通知し（Ｓ３０９）、次回の変更検出ループ処理に移行する（Ｓ３１０）。このとき、変更検出部４０６は、不整合の対象が選択未重複手動棚札であることを合わせて通知してもよい。
変更検出部４０６は、変更検出ループ処理の完了後（Ｓ３１０）、注目棚札テーブルから今回のＳ３０１で検出されなかった未重複手動棚札を削除する（Ｓ３１１）。これにより、注目棚札テーブルには、連続して検出された未重複手動棚札が残る。そして、変更検出部４０６は、本処理を終了する。
以上の処理により、変更検出部４０６は、未重複手動棚札を所定回数以上連続して（つまり所定期間以上）検出した場合に、第１の更新要求アラートを通知する。この通知により、ユーザは、手動棚札位置セット５０３の更新が必要であることを知ることができる。
なお、第１の更新要求アラートを通知する条件は、上記のように同じ未重複手動棚札が連続して検出されるという条件に限られない。例えば、第１の更新要求アラートを通知する条件は、同じ未重複手動棚札が所定の閾値以上の頻度で検出されるという条件であってもよい。
（第２の更新要求アラートの通知の詳細）
次に、図３７を参照しながら、第２の更新要求アラートの通知処理の具体例について説明する。
図３７は、棚割情報４００において、１段目の棚板５２に配置されている棚札５１の数が「６」から「５」に、３段目の棚板５２に配置されている棚札５１の数が「６」から「７」に変更されたが、手動棚札位置セット５０３が未変更（何れの棚板５２の棚札５１の数も「６」のまま）であることを示す。この場合、変更検出部４０６は、１段目の棚板５２と３段目の棚板５２において、棚割情報４００と手動棚札位置セット５０３との間に不整合が生じているので、第２の更新要求アラートを通知する。このとき、変更検出部４０６は、不整合が生じている棚板５２の段数を合わせて通知してもよい。
次に、図３８のフローチャートを参照しながら、第２の更新要求アラートの通知処理の詳細について説明する。なお、当該処理は、図３０のＳ１３ａの後に実行されてよい。
変更検出部４０６は、棚割情報４００から監視対象の陳列棚５０の棚板５２の段数を特定する（Ｓ４０１）。
変更検出部４０６は、棚段ループ処理（Ｓ４０２～Ｓ４０５）を、Ｓ４０１で特定した棚板５２の段数、繰り返す（Ｓ４０２）。ここで、変更検出部４０６は、棚段ループ処理毎に、異なる棚板５２を選択する。棚段ループ処理の説明において、当該選択された棚板５２を、「選択棚」という。
変更検出部４０６は、棚割情報４００の選択棚における棚札５１の数と、手動棚札位置セット５０３の選択棚における棚札５１の数とを対比し、２つの棚札数が不一致であるか否かを判定する（Ｓ４０３）。
２つの棚札数が不一致でない場合（Ｓ４０３：ＮＯ）、変更検出部４０６は、次回の棚段ループ処理に移行する（Ｓ４０５）。
２つの棚札数が不一致である場合（Ｓ４０３：ＹＥＳ）、変更検出部４０６は、第２の更新要求アラートを通知し（Ｓ４０４）、次回の棚段ループ処理に移行する（Ｓ４０５）。
変更検出部４０６は、棚段ループ処理の完了後（Ｓ４０５）、本処理を終了する。
以上の処理により、変更検出部４０６は、棚割情報４００と手動棚札位置セット５０３との間に不整合が生じている場合に、第２の更新要求アラートを通知する。この通知により、ユーザは、手動棚札位置セット５０３の更新又は棚割情報４００の更新が必要であることを知ることができる。
なお、上記では、第２の更新要求アラートの通知の条件を棚割情報４００と手動棚札位置セット５０３との間の不整合としたが、当該通知の条件を棚割情報４００と補正棚札位置セット５０５との間の不整合としてもよい。この場合、補正棚札位置セット５０５は、手動棚札位置セット５０３を自動棚札位置セット５０４の情報を用いて補正したものであるので、映像にずれがあっても棚板５２に配置されている棚札５１の数を正確に確認できる。
また、上記では、各棚板５２に配置されている棚札５１の数から不整合の有無を確認していたが、他の条件に基づいて不整合の有無を確認してもよい。例えば、棚の各列における棚札の数が棚割情報４００と整合しているか否かを確認したり、棚割情報４００に棚札５１の間隔等の情報が含まれていれば棚札５１の間隔が棚割情報４００と整合しているか否かを確認したりすることなどが考えられる。
（手動棚札位置セットの自動修正の詳細）
次に、図３９を参照しながら、手動棚札位置セット５０３の自動修正処理の具体例について説明する。
図３９では、或る棚板５２の変更において、左から２番目の棚札８０１が取り外され、左から５番目と６番目との間に棚札８０２が取り付けられている。この場合、手動棚札位置セット５０３が未変更であると、図３９の１～３回目に示すように、補正棚札位置セット５０５と棚札映像との間に不整合が生じてしまう。
そこで、修正部４０７は、１～３回目の処理において、補正棚札位置セット５０５に存在するが自動棚札位置セット５０４に存在しない不明棚札８０３と、自動棚札位置セット５０４に存在するが補正棚札位置セット５０５に存在しない不明棚札８０４とを検出する。ここで、自動修正を行う検出回数の閾値が「３」である場合、不明棚札８０３、８０４は３回連続して検出されたので、修正部４０７は、手動棚札位置セット５０３から不明棚札８０３（８０５）を削除し、手動棚札位置セット５０３に不明棚札８０４（８０６）を追加する。この処理により、図３９の４回目に示すように、補正棚札位置セット５０５と棚札映像との間の不整合が解消される。
図４０のフローチャートを参照しながら、手動棚札位置セット５０３の自動修正処理について説明する。なお、当該処理は、図３０のＳ１３ａの後に実行されてよい。
修正部４０７は、補正手動棚札位置セット５０３と、自動棚札位置セット５０４とを対比し、何れか一方に存在し他方に存在しない棚札位置（つまり不明棚札）の検出処理を行う（Ｓ５０１）。
次に、修正部４０７は、Ｓ５０１において不明棚札が検出されたか否かを判定する（Ｓ５０２）。
不明棚札が検出されなかった場合（Ｓ５０２：ＮＯ）、修正部４０７は、本処理を終了する。
不明棚札が検出された場合（Ｓ５０２：ＹＥＳ）、修正部４０７は、検出された不明棚札が全て不明棚札テーブル（図示せず）に登録されているか否かを判定する（Ｓ５０３）。ここで、不明棚札テーブルには、前回のＳ５０１において検出された不明棚札が登録されている。
検出された不明棚札の少なくとも１つが不明棚札テーブルに未登録である場合（Ｓ５０３：ＮＯ）、修正部４０７は、未登録の不明棚札を、不明棚札テーブルに登録し（Ｓ５０４）、Ｓ５０５に移行する。
検出された不明棚札が全て不明棚札テーブルに登録されている場合（Ｓ５０３：ＹＥＳ）、修正部４０７は、Ｓ５０５に移行する。
Ｓ５０５において、修正部４０７は、不明棚札テーブルに登録されている各不明棚札の検出回数に「１」を加算する（Ｓ５０５）。
次に、修正部４０７は、不明棚札テーブルに、検出回数が所定の閾値以上である不明棚札が存在するか否かを判定する（Ｓ５０６）。
不明棚札テーブルに、検出回数が所定の閾値以上である不明棚札が存在しない場合（Ｓ５０６：ＮＯ）、修正部４０７は、Ｓ５０８に移行する。
不明棚札テーブルに、検出回数が所定の閾値以上である不明棚札が存在する場合（Ｓ５０６：ＹＥＳ）、修正部４０７は、当該閾値以上の不明棚札を用いて手動棚札位置セット５０３を修正し（Ｓ５０７）、Ｓ５０８へ進む。具体的には、修正部４０７は、補正棚札位置セット５０５に存在するが自動棚札位置セット５０４に存在しない、検出回数が当該閾値以上の不明棚札を、手動棚札位置セット５０３から削除する。また、修正部４０７は、自動棚札位置セット５０４に存在するが補正棚札位置セット５０５に存在しない、検出回数が当該値以上の不明棚札を、手動棚札位置セット５０３に追加する。このとき、修正部４０７は、手動棚札位置セット５０３を修正する旨のアラートを通知し、ユーザが許可した場合にのみ手動棚札位置セット５０３を修正してもよい。
次に、修正部４０７は、Ｓ５０１で検出されなかった不明棚札を、当該不明棚札テーブルから削除する（Ｓ５０８）。これにより、不明棚札テーブルには、連続して検出された不明棚札が残る。そして、修正部４０７は、本処理を終了する。
以上の処理により、修正部４０７は、不明棚札を所定回数以上連続して（つまり所定期間以上）検出した場合に、手動棚札位置セット５０３を自動的に修正する。この自動修正により、棚札の配置を変更した後、ユーザが手動棚札位置セット５０３を手動で更新する作業が軽減される。
なお、第２の更新要求アラートを通知する条件は、上記のように同じ不明棚札が連続して検出されるという条件に限られない。例えば、第２の更新要求アラートを通知する条件は、同じ不明棚札が所定の閾値以上の頻度で検出されるという条件であってもよい。
また、本実施の形態において、不明棚札８０４を手動棚札位置セット５０３に自動的に追加する条件の閾値と、不明棚札８０３を手動棚札位置セット５０３から自動的に削除する条件の閾値とを、異なる値に設定してもよい。例えば、自動的に追加する条件の閾値を、自動的に削除する条件の閾値よりも高く設定してよい。自動棚札位置セット５０４は、画像認識の精度上の限界により、存在しない棚札を誤検出し易いためである。
また、修正部４０７によって削除された不明棚札８０３の数が所定の数を上回ったり、全棚札のうちの削除された不明棚札８０３の数の比率が所定の比率を上回ったりした場合等に、更なるアラートを通知してもよい。多くの棚札が自動的に修正された場合、手動棚札位置セット５０３の情報が既に古くなっている可能性が高いためである。このようなアラートを通知することによって、ユーザに手動棚札位置セット５０３自体の見直しを促すことができる。
（実施の形態３の効果）
本実施の形態では、棚札検出装置２は、手動棚札位置セット５０３と自動棚札位置セット５０４との間の不整合を所定期間以上検出した場合、手動棚札位置セット５０３に係る第１の更新要求アラートを通知する。また、棚札検出装置２は、棚割情報４００と補正棚札位置セット５０５との間の不整合を検出した場合、手動棚札位置セット５０３の第２の更新要求アラートを通知してもよい。これらの通知により、棚札５１の配置を変更した後、ユーザが手動棚札位置セット５０３を更新し忘れることを防止できる。
また、棚札検出装置２は、手動棚札位置セット５０３と自動棚札位置セット５０４との間の不整合を所定期間以上検出した場合、手動棚札位置セット５０３を自動的に修正する。この自動修正により、棚札５１の配置を変更した後、ユーザが手動棚札位置セット５０３を手動で更新する作業を軽減できる。
以上、本開示に係る幾つかの実施の形態について説明した。
上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
（本開示のまとめ）
本開示における棚札検出装置は、陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得する取得部と、前記第１のカメラ映像に対して予め設定された棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成する補正部と、前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定する特定部と、を備える。
また、本開示における棚札検出装置において、前記補正部は、前記第１の棚札位置セットに含まれる棚札位置の領域と、前記第２の棚札位置セットに含まれる棚札位置の領域との重複量の大きさに基づいて、前記第１の棚札位置セットの移動量を算出し、前記移動量を用いて、前記補正棚札位置セットを生成してよい。
また、本開示における棚札検出装置は、所定期間以上、前記第１の棚札位置セットと前記第２の棚札位置セットとが不整合である場合、所定の第１の通知を行う第１通知部、をさらに備えてよい。
また、本開示における棚札検出装置は、前記陳列棚における棚札の配置位置に関する情報である棚割情報と、前記補正棚札位置セットとが不整合である場合、所定の第２の通知を行う第２通知部、をさらに備えてよい。
また、本開示における棚札検出装置は、所定期間以上、前記補正棚札位置セットと前記第２の棚札位置セットとの何れか一方に存在する棚札位置が検出された場合、前記第２の棚札位置セットを用いて、前記第１の棚札位置セットを修正する修正部、をさらに備えてよい。
また、本開示における棚札検出方法では、陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、前記第１のカメラ映像に対して予め設定された棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定する。
また、本開示における棚札検出プログラムは、陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、前記第１のカメラ映像に対して予め設定された棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定する、処理を、コンピュータに実行させる。
本特許出願は２０１７年１０月３０日に出願した日本国特許出願第２０１７－２０９４４７号に基づきその優先権を主張するものであり、日本国特許出願第２０１７－２０９４４７号の全内容を本願に援用する。
本開示は、陳列棚の棚札を検出するシステムに好適である。
１ 在庫管理システム
２ 棚札検出装置
１０ カメラ
２０ コンピュータ（在庫監視装置）
５０ 陳列棚
５１ 棚札
５２ 棚板
７０ 商品
２０１ プロセッサ
２０２ 入力装置
２０３ 出力装置
２０４ メモリ
２０５ ストレージ
２０６ 通信部
２１１ 棚札検出部
２１２ 監視エリア設定部
２１３ 欠品検出部
２１４ 出力部
２１５ 棚札関連付け部
２１６ 検出棚札補正部
２６１，２６２ 通信インタフェース（ＩＦ）
４００ 棚割情報
ＭＡ 監視エリア
４０１ 映像取得部
４０２ 手動棚札設定部
４０３ 自動棚札検出部
４０４ 棚札位置補正部
４０５ 棚札位置特定部
４０６ 変更検出部
４０７ 修正部

Claims (16)

  1. 陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得する取得部と、
    前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成する補正部と、
    前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定する特定部と、
    所定期間以上、前記第１の棚札位置セットと前記第２の棚札位置セットとが不整合である場合、所定の第１の通知を行う第１通知部と、
    を備える棚札検出装置。
  2. 前記補正部は、
    前記第１の棚札位置セットに含まれる棚札位置の領域と、前記第２の棚札位置セットに含まれる棚札位置の領域との重複量の大きさに基づいて、前記第１の棚札位置セットの移動量を算出し、
    前記移動量を用いて、前記補正棚札位置セットを生成する、
    請求項１に記載の棚札検出装置。
  3. 前記第１通知部は、
    前記不整合の対象が予め設定された例外棚札である場合、前記第１の通知を行わない、
    請求項１に記載の棚札検出装置。
  4. 陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得する取得部と、
    前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成する補正部と、
    前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定する特定部と、
    前記陳列棚における棚札の配置位置に関する情報である棚割情報と、前記補正棚札位置セットとが不整合である場合、所定の第２の通知を行う第２通知部と、
    を備 える棚札検出装置。
  5. 陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得する取得部と、
    前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成する補正部と、
    前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定する特定部と、
    前記陳列棚における棚札の配置位置に関する情報である棚割情報と、前記第１の棚札位置セットとが不整合である場合、所定の第２の通知を行う第２通知部と、
    を備 える棚札検出装置。
  6. 陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得する取得部と、
    前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成する補正部と、
    前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定する特定部と、
    所定期間以上、前記補正棚札位置セットと前記第２の棚札位置セットとの何れか一方に存在し他方に存在しない棚札位置が検出された場合、前記第２の棚札位置セットを用いて、前記第１の棚札位置セットを修正する修正部と、
    を備える棚札検出装置。
  7. 前記修正部は、
    前記所定期間以上、前記補正棚札位置セットに存在し、前記第２の棚札位置セットに存在しない棚札位置が検出された場合、前記第１の棚札位置セットから当該検出された棚札位置を削除する、
    請求項６に記載の棚札検出装置。
  8. 前記修正部は、
    前記所定期間以上、前記補正棚札位置セットに存在せず、前記第２の棚札位置セットに存在する棚札位置が検出された場合、前記第１の棚札位置セットに当該検出された棚札位置を追加する、
    請求項６に記載の棚札検出装置。
  9. 陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、
    前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、
    前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定し、
    所定期間以上、前記第１の棚札位置セットと前記第２の棚札位置セットとが不整合である場合、所定の第１の通知を行う、
    棚札検出方法。
  10. 陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、
    前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、
    前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定し、
    前記陳列棚における棚札の配置位置に関する情報である棚割情報と、前記補正棚札位置セットとが不整合である場合、所定の第２の通知を行う、
    棚札検出方法。
  11. 陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、
    前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、
    前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定し、
    前記陳列棚における棚札の配置位置に関する情報である棚割情報と、前記第１の棚札位置セットとが不整合である場合、所定の第２の通知を行う、
    棚札検出方法。
  12. 陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、
    前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、
    前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定し、
    所定期間以上、前記補正棚札位置セットと前記第２の棚札位置セットとの何れか一方に存在し他方に存在しない棚札位置が検出された場合、前記第２の棚札位置セットを用いて、前記第１の棚札位置セットを修正する、
    棚札検出方法。
  13. 陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、
    前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、
    前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定し、
    所定期間以上、前記第１の棚札位置セットと前記第２の棚札位置セットとが不整合である場合、所定の第１の通知を行う、
    処理を、コンピュータに実行させる、
    棚札検出プログラム。
  14. 陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、
    前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、
    前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定し、
    前記陳列棚における棚札の配置位置に関する情報である棚割情報と、前記補正棚札位置セットとが不整合である場合、所定の第２の通知を行う、
    処理を、コンピュータに実行させる、
    棚札検出プログラム。
  15. 陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、
    前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、
    前記補正棚札位置セットを用いて、前記第２のカメラ映像に対する棚札位置を特定し、
    前記陳列棚における棚札の配置位置に関する情報である棚割情報と、前記第１の棚札位置セットとが不整合である場合、所定の第２の通知を行う、
    処理を、コンピュータに実行させる、
    棚札検出プログラム。
  16. 陳列棚に配置されている棚札の映像を含む第１のカメラ映像及び第２のカメラ映像を取得し、
    前記第１のカメラ映像に対してユーザが予め設定した棚札位置を含む第１の棚札位置セットを、前記第２のカメラ映像から映像認識により検出された棚札の映像に対する棚札位置を含む第２の棚札位置セットを用いて補正し、補正棚札位置セットを生成し、
    所定期間以上、前記補正棚札位置セットと前記第２の棚札位置セットとの何れか一方に存在し他方に存在しない棚札位置が検出された場合、前記第２の棚札位置セットを用いて、前記第１の棚札位置セットを修正する、
    処理を、コンピュータに実行させる、
    棚札検出プログラム。
JP2019551064A 2017-10-30 2018-10-18 棚札検出装置、棚札検出方法、及び、棚札検出プログラム Active JP7165884B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017209447 2017-10-30
JP2017209447 2017-10-30
PCT/JP2018/038772 WO2019087792A1 (ja) 2017-10-30 2018-10-18 棚札検出装置、棚札検出方法、及び、棚札検出プログラム

Publications (2)

Publication Number Publication Date
JPWO2019087792A1 JPWO2019087792A1 (ja) 2020-12-10
JP7165884B2 true JP7165884B2 (ja) 2022-11-07

Family

ID=66332869

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019551064A Active JP7165884B2 (ja) 2017-10-30 2018-10-18 棚札検出装置、棚札検出方法、及び、棚札検出プログラム

Country Status (5)

Country Link
US (2) US11380098B2 (ja)
EP (1) EP3705423A4 (ja)
JP (1) JP7165884B2 (ja)
CN (1) CN111315670B (ja)
WO (1) WO2019087792A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019108146A1 (en) * 2017-12-01 2019-06-06 Vispera Bilgi Teknolojileri Sanayi Ic Ve Dis Ticaret A.S. Electronic detection of products, poses of products, and arrangement of products in a display structure, electronic scoring of the detected product poses and product arrangement, and electronic generation of a reference image of a product in its canonical pose
US11126861B1 (en) * 2018-12-14 2021-09-21 Digimarc Corporation Ambient inventorying arrangements
US11341663B2 (en) * 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11151743B2 (en) * 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
CN112052919A (zh) * 2019-06-05 2020-12-08 联咏科技股份有限公司 具有货物信息的操作方法和其非暂时性计算机可读介质
US11508149B2 (en) 2019-06-05 2022-11-22 Novatek Microelectronics Corp. Operating method with goods information and non-transitory computer readable medium thereof
US20220261957A1 (en) * 2019-07-09 2022-08-18 Pricer Ab Stitch images
JP6803089B1 (ja) * 2019-07-16 2020-12-23 Ｒｆルーカス株式会社 位置検出システム
JP7404038B2 (ja) * 2019-11-21 2023-12-25 株式会社Retail AI 情報処理システムと情報処理装置と情報処理プログラムと情報処理方法
US11599746B2 (en) * 2020-06-30 2023-03-07 Microsoft Technology Licensing, Llc Label shift detection and adjustment in predictive modeling
US20230306744A1 (en) * 2020-07-31 2023-09-28 Nec Corporation Learning model generation device, learning model generation method, and recording medium
JP6796787B1 (ja) * 2020-08-05 2020-12-09 パナソニックＩｐマネジメント株式会社 業務支援システム、業務支援装置、端末、業務支援方法、業務方法、及び、コンピュータプログラム
WO2023148928A1 (ja) * 2022-02-04 2023-08-10 日本電気株式会社 棚札管理システム、棚札管理方法、および記録媒体
WO2023148927A1 (ja) * 2022-02-04 2023-08-10 日本電気株式会社 棚札管理システム、棚札管理方法、および記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002232875A (ja) 2001-02-06 2002-08-16 Matsushita Electric Ind Co Ltd 監視用カメラの画角ずれを調整する方法と装置、及びその装置を制御するための媒体
US20150088703A1 (en) 2013-09-25 2015-03-26 Sap Ag Graphic Representations of Planograms
JP6143297B2 (ja) 2010-06-04 2017-06-07 チウムバイオ・カンパニー・リミテッドＴｉｕｍＢｉｏ Ｃｏ．， Ｌｔｄ． 第ｖｉｉ因子活性を有する融合タンパク質

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5294721A (en) 1976-02-04 1977-08-09 Victor Co Of Japan Ltd Information processing system using tv communication system
JPH06143297A (ja) 1992-10-30 1994-05-24 Rhythm Watch Co Ltd 金型監視装置およびその方法
JP3792832B2 (ja) * 1997-05-07 2006-07-05 富士重工業株式会社 ステレオカメラの調整装置
JP2004159039A (ja) * 2002-11-06 2004-06-03 Etou Denki Kk 監視装置，該監視装置を用いたズレ補正方法及びズレ補正を用いた監視方法
JP2008214098A (ja) * 2007-02-06 2008-09-18 Sanden Corp 在庫管理システム
KR20140011697A (ko) * 2012-07-18 2014-01-29 삼성전기주식회사 전자 선반 라벨 시스템
JP2014048752A (ja) * 2012-08-29 2014-03-17 Teraoka Seiko Co Ltd 表示札処理システム
JP6048741B2 (ja) * 2013-03-04 2016-12-21 日本電気株式会社 物品管理システム、物品管理方法、情報処理装置およびその制御方法と制御プログラム
JP5728654B1 (ja) * 2013-11-27 2015-06-03 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
US20170293959A1 (en) * 2014-09-30 2017-10-12 Nec Corporation Information processing apparatus, shelf label management system, control method, and program
US10445821B2 (en) * 2015-12-18 2019-10-15 Ricoh Co., Ltd. Planogram and realogram alignment
JP2017209447A (ja) 2016-05-27 2017-11-30 株式会社平和 遊技機
JP6112436B1 (ja) 2016-06-20 2017-04-12 パナソニックＩｐマネジメント株式会社 モニタリングシステム、映像表示方法及びコンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002232875A (ja) 2001-02-06 2002-08-16 Matsushita Electric Ind Co Ltd 監視用カメラの画角ずれを調整する方法と装置、及びその装置を制御するための媒体
JP6143297B2 (ja) 2010-06-04 2017-06-07 チウムバイオ・カンパニー・リミテッドＴｉｕｍＢｉｏ Ｃｏ．， Ｌｔｄ． 第ｖｉｉ因子活性を有する融合タンパク質
US20150088703A1 (en) 2013-09-25 2015-03-26 Sap Ag Graphic Representations of Planograms

Also Published As

Publication number Publication date
EP3705423A4 (en) 2020-12-30
CN111315670A (zh) 2020-06-19
US20220277563A1 (en) 2022-09-01
JPWO2019087792A1 (ja) 2020-12-10
US11380098B2 (en) 2022-07-05
EP3705423A1 (en) 2020-09-09
WO2019087792A1 (ja) 2019-05-09
US20200279113A1 (en) 2020-09-03
US11823126B2 (en) 2023-11-21
CN111315670B (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
JP7165884B2 (ja) 棚札検出装置、棚札検出方法、及び、棚札検出プログラム
JP7236665B2 (ja) 棚監視装置、棚監視方法、及び、棚監視プログラム
US11403843B2 (en) Image processing apparatus, display control apparatus, image processing method and recording medium
WO2020048492A1 (zh) 商品状态识别
JP7228670B2 (ja) 深層学習を使用したリアルタイム在庫追跡
JP7228671B2 (ja) 深層学習に基づく店舗リアログラム
US10592855B2 (en) Method, system, and computer program product for planogram generation
US20170295953A1 (en) Monitoring device, monitoring system, and monitoring method
JP2020518044A (ja) 商品配置適合結果の判定
EP2662831A2 (en) Comparing virtual and real images of a shopping planogram
JP2016071782A (ja) 商品陳列情報集計システム
JP2019094191A (ja) 棚割生成プログラム、棚割生成方法及び棚割生成装置
JP2016194833A (ja) 商品陳列位置の判定処理方法、商品陳列位置の判定処理プログラム、及び商品陳列位置の判定処理装置
US11640709B2 (en) Merchandise specification systems and programs
US20180260767A1 (en) Planogram Generation
US20210173603A1 (en) Systems, methods, and apparatus for updating an electronic shelf label display
JP6635140B2 (ja) リアログラムからプラノグラムのユーザー・インターフェース
WO2019064926A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230092638A1 (en) Delivery management device, delivery management method, and storage medium
US10891574B2 (en) Planogram resetting using augmented reality in a retail environment
JP2021080087A (ja) 情報処理システムと情報処理装置と情報処理プログラムと情報処理方法
JP2021044663A (ja) 処理装置、監視システム、及び、監視方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200413

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221011

R151 Written notification of patent or utility model registration

Ref document number: 7165884

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151