JP7236665B2 - 棚監視装置、棚監視方法、及び、棚監視プログラム - Google Patents

棚監視装置、棚監視方法、及び、棚監視プログラム Download PDF

Info

Publication number
JP7236665B2
JP7236665B2 JP2019549874A JP2019549874A JP7236665B2 JP 7236665 B2 JP7236665 B2 JP 7236665B2 JP 2019549874 A JP2019549874 A JP 2019549874A JP 2019549874 A JP2019549874 A JP 2019549874A JP 7236665 B2 JP7236665 B2 JP 7236665B2
Authority
JP
Japan
Prior art keywords
shelf
monitoring
display
shelf label
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019549874A
Other languages
English (en)
Other versions
JPWO2019087519A1 (ja
Inventor
一寛 柳
武士 若子
哲郎 柿沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2019087519A1 publication Critical patent/JPWO2019087519A1/ja
Priority to JP2023020721A priority Critical patent/JP2023057118A/ja
Application granted granted Critical
Publication of JP7236665B2 publication Critical patent/JP7236665B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Description

本開示は、棚監視装置、棚監視方法、及び、棚監視プログラムに関する。
リテール業界において、例えば、商品の在庫及び／又は売り上げの管理をシステム化することによって、業務の効率化が進んでいる。在庫管理については、例えば、商品の陳列エリア（例えば、陳列棚）を監視カメラで撮影した映像に基づいて、商品の在庫を監視するシステムが利用されることがある。
特開２０１５－１０３１５３号公報 特許第６１１２４３６号公報
しかし、例えば、陳列棚が含まれる映像に対して、監視対象に含める棚段（別言すると、監視エリア又は監視範囲）を適切に設定しないと、商品の在庫数（例えば、商品の不足又は欠品）を的確に監視することが困難になる場合がある。
そのため、結局、人の目視によって個々の商品の在庫を確認せざるを得ないことがある。人の目視による確認では、陳列エリアに実際に陳列されている個々の商品数（実在庫数）と、例えば在庫管理システムによって管理されている個々の商品の在庫数（理論在庫数）と、が一致しないことがある。
実在庫数と理論在庫数とが一致しない場合、例えば、目視によって確認した実在庫数に合わせて理論在庫数を修正するといった、在庫管理データの人手による修正作業が生じ、修正に時間がかかる。
そのような修正作業を毎日及び／又は毎時間に行なうことは在庫管理者にとって負担であるため、例えば、特定の商品が欠品した状態で放置されるケースが生じ得る。欠品したままの状態が放置されてしまうと、商品販売の機会が失われ、場合によっては、顧客に対するイメージダウンにつながる。
本開示の非限定的な実施例は、陳列棚が含まれる映像に対して監視エリアを適切に設定することで、物品の陳列状況を的確に監視可能な棚監視装置、棚監視方法、及び、棚監視プログラムの提供に資する。
本開示の一態様に係る棚監視装置は、陳列棚が含まれる映像データの映像認識によって、前記陳列棚に陳列される物品に対応して前記陳列棚に付された棚札を検出する検出部と、検出された前記棚札の位置に基づいて、前記映像データにおける前記陳列棚に対して前記物品が陳列されるべき監視エリアを設定する設定部と、前記監視エリアにおける前記物品の有無に対応した映像変化に基づいて、前記陳列棚における前記物品の陳列状況を監視する監視部と、前記監視部による監視結果を出力する出力部と、を備える。
また、本開示の一態様に係る棚監視方法は、コンピュータが、陳列棚が含まれる映像データの映像認識によって、前記陳列棚に陳列される物品に対応して前記陳列棚に付された棚札を検出し、コンピュータが、検出された前記棚札の位置に基づいて、前記映像データにおける前記陳列棚に対して前記物品が陳列されるべき監視エリアを設定し、コンピュータが、前記監視エリアにおける前記物品の有無に対応した映像変化に基づいて、前記陳列棚における前記物品の陳列状況を監視し、コンピュータが、前記監視の結果を出力する。
また、本開示の一態様に係る棚監視プログラムは、陳列棚が含まれる映像データの映像認識によって、前記陳列棚に陳列される物品に対応して前記陳列棚に付された棚札を検出し、検出された前記棚札の位置に基づいて、前記映像データにおける前記陳列棚に対して前記物品が陳列されるべき監視エリアを設定し、前記監視エリアにおける前記物品の有無に対応した映像変化に基づいて、前記陳列棚における前記物品の陳列状況を監視し、前記監視の結果を出力する、処理を、コンピュータに実行させる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示の一態様によれば、陳列棚が含まれる映像に対して監視エリアを適切に設定できるため、物品の陳列状況を的確に監視することが可能である。
本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
一実施の形態に係る在庫管理システムの構成例を示すブロック図 一実施の形態に係る、棚札が付された陳列棚の模式的な正面図 図２に示された陳列棚の正面図を部分的に拡大して示す図 一実施の形態に係る棚割情報の一例を示す図 図１に例示したコンピュータの構成例を示すブロック図 図１及び図５に例示したコンピュータ（在庫監視装置）の動作例を示すフローチャート 図１及び図５に例示した在庫監視装置において映像認識によって棚札が検出される例を示す図 図１及び図５に例示した在庫監視装置によって監視エリアが設定される例を示す図 図１及び図５に例示した在庫監視装置による棚札関連付け処理の流れの一例を示す図 図１及び図５に例示した在庫監視装置による棚札関連付け処理の流れの一例を示す図 図１及び図５に例示した在庫監視装置による棚札関連付け処理の流れの一例を示す図 図１及び図５に例示した在庫監視装置による棚札関連付け処理の流れの一例を示す図 図１及び図５に例示した在庫監視装置による棚札関連付け処理の流れの一例を示す図 図１及び図５に例示した在庫監視装置による監視エリアの設定例を示す図 図１及び図５に例示した在庫監視装置による棚札検出処理での探索順序の一例を示す図 図１及び図５に例示した在庫監視装置による棚札検出処理での探索順序の一例を示す図 図１及び図５に例示した在庫監視装置による、棚割情報を用いた監視エリアの設定例を示す図 図１及び図５に例示した在庫監視装置による棚札検出結果の補正例を示す図 図１及び図５に例示した在庫監視装置による棚札検出結果の補正例を示す図 図１及び図５に例示した在庫監視装置による棚札検出結果の補正例を示す図 図１に例示したカメラにＰＴＺ（パン、チルト、及び、ズーム）カメラを適用した例を説明する図 図２０において、映像認識のパターンマッチングに用いる認識モデルが撮影方向毎に異なる例を示す図 図１及び図５に例示した在庫監視装置による段階的な在庫レベルの設定例を示す図 図１及び図５に例示した在庫監視装置による段階的な在庫レベルの設定例を示す図 図１及び図５に例示した在庫監視装置による段階的な在庫レベルの設定例を示す図 図１及び図５に例示した在庫監視装置において棚段の奥行き方向についての在庫レベルが検出される例を示す図 図１及び図５に例示した在庫監視装置において棚段の奥行き方向についての在庫レベルが検出される例を示す図 図１及び図５に例示した在庫監視装置による動体除去処理の一例を示す図 図１及び図５に例示した在庫監視装置による動体除去処理の一例を示す図
以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
（システム構成例）
図１は、一実施の形態に係る在庫管理システムの構成例を示すブロック図である。図１に示す在庫管理システム１は、例えば、カメラ１０と、コンピュータ２０と、を備えてよい。なお、「在庫管理システム」は、「在庫監視システム」と言い換えられてもよい。
カメラ１０は、例えば、商品を販売する店舗内に設置されて、商品が陳列されるエリア、例えば、商品の陳列棚５０が設置されたエリアを含む映像を撮影する。陳列棚５０が設置される店舗の業種又は業態、及び、店舗が扱う商品の種類は限定されない。
例えば、陳列棚５０は、スーパーマーケット、コンビニエンスストア、百貨店、量販店、ディスカウントストア、あるいは、各種施設に設置された売店や販売ブース（又は販売コーナー）に設けられてよい。また、陳列棚５０は、屋内に限らず屋外に設けられてもよい。
カメラ１０は、陳列棚５０が含まれるエリアを撮影する専用のカメラであってもよいし、防犯カメラのように他の目的あるいは用途で利用されるカメラと兼用であってもよい。また、カメラ１０は、在庫管理システム１に、複数台設けられてもよい。
カメラ１０による撮影対象（「監視対象」と言い換えてもよい）と陳列棚５０とは、１対１に対応付けられてもよいし、１対多あるいは多対１に対応付けられてもよい。例えば、１つのカメラ１０で１つの陳列棚５０を撮影対象としてもよいし、１つのカメラ１０で複数の陳列棚５０を撮影対象としてもよい。
例えば、カメラ１０に、ＰＴＺカメラのような、撮影方向及び／又は画角が可変のカメラを用いることで、１台のＰＴＺカメラ１０で、異なる複数の陳列棚５０を撮影対象に含めることができる。あるいは、１台のＰＴＺカメラ１０で、１つの陳列棚５０の異なる領域又は空間を撮影対象に含めることができる。
例えば、１つの陳列棚５０の幅方向又は高さ方向を１台のカメラ１０ではカメラ映像に収めることが困難な場合、１台以上のＰＴＺカメラ１０の撮影方向を可変制御することで、幅方向又は高さ方向の異なる複数の領域又は空間をカメラ映像に収めることができる。
このように、カメラ１０にＰＴＺカメラを用いることで、陳列棚５０毎に、あるいは、陳列棚５０の異なる領域又は空間毎に、カメラ１０を設置しなくてよいため、在庫管理システム１におけるカメラ１０の設置台数を削減できる。
図１に例示したコンピュータ２０は、情報処理装置の一例であって、パーソナルコンピュータ（ＰＣ）でもよいし、サーバでもよい。サーバには、クラウドサーバが含まれてよい。コンピュータ２０とカメラ１０とは、例えば、有線又は無線によって接続されて、互いに通信する。また、コンピュータ２０とカメラ１０とは、ネットワークを介して接続されてもよい。
「ネットワーク」は、有線ネットワークでもよいし、無線ネットワークでもよい。有線ネットワークの一例としては、イントラネット、インターネット、及び、有線ＬＡＮ（Local Area Network）が挙げられる。無線ネットワークの一例としては、無線ＬＡＮが挙げられる。
コンピュータ２０は、例えば、カメラ１０で撮影された映像データ（以下「カメラ映像」と略称することがある）を受信し、受信したカメラ映像を解析する。例えば、コンピュータ２０は、陳列棚５０のカメラ映像を映像認識することによって、陳列棚５０における商品の在庫を監視し、商品の不足あるいは欠品を検知する。
なお、「映像認識」は、「画像認識」と言い換えられてもよい。また、商品の不足あるいは欠品を検知することを、便宜的に、「欠品検知」と総称することがある。「検知」は、「検出」に言い換えられてもよい。また、カメラ映像の受信元は、カメラ１０でもよいし、例えば、カメラ１０で撮影された映像データを録画する録画装置でもよい。
商品の在庫を監視することには、陳列棚５０に付された棚札の位置を検知することが含まれてよい。棚札には、例えば、商品名及び／又は価格といった、商品に関する情報（以下「商品情報」と称する）が示されてよい。棚札は、紙棚札であってもよいし、電子棚札であってもよい。電子棚札は、液晶ディスプレイ等で構成されていてもよいし、電子ペーパー等で構成されていてもよい。また、電子棚札は、無線通信機能等を備えており、提示する情報を遠隔で書き換えられるものであってもよい。なお、「棚札」は、棚タグ、棚カード、又は、棚ラベルといった別の呼称で呼ばれてもよい。
コンピュータ２０は、例えば、カメラ映像の映像認識によって、陳列棚５０に付された棚札の位置を検知し、検知した棚札位置に基づいて、陳列棚５０において在庫を監視する対象の領域又は空間を設定してよい。
以下において、商品の在庫を監視する対象の領域又は空間を、「監視エリア」又は「監視範囲」と総称することがある。映像認識によって検知された棚札５１の位置に基づいた、陳列棚５０における監視エリアの設定例については、後述する。
図２に、棚札５１が付された陳列棚５０の模式的な正面図を示す。図３には、図２に示された陳列棚５０の正面図が部分的に拡大されて示されている。非限定的な一例として、図２及び図３には、陳列棚５０の陳列スペースが、３つの棚板５２によって、陳列棚５０の高さ方向に４つの空間に区分された態様が示されている。また、図２及び図３において、点線枠で囲んだ領域は、商品７０の欠品が生じた状況を表している。
また、図３には、陳列棚５０をカメラ１０で撮影した映像データをコンピュータ２０において映像認識し、検出された棚札５１の位置に基づいて設定された監視エリアにおいて商品の不足又は欠品を検出した場合に、その情報を出力する例が併記されている。
陳列棚５０において高さ方向に区分された陳列スペースは、「棚段」と称されてもよい。図２には、２つの棚段に着目した例が示されている。なお、１つの陳列棚５０における陳列スペースの区分の仕方は限定されない。陳列棚５０の高さ方向に限らず、陳列棚５０の幅方向に陳列スペースが区分されてもよい。
棚札５１は、陳列される商品７０との対応関係を視認可能な、陳列棚５０のいずれかの位置に付されてよい。例えば、棚札５１は、棚板５２に付されてよい。商品７０は、例えば、陳列スペースのそれぞれにおいて、対応する棚札５１の位置に対応した領域又は空間（図２及び図３の例では、棚札５１の上部空間）に陳列される。
監視エリアの設定、及び／又は、在庫の監視には、検知された棚札５１の位置情報に加えて、棚割に関する情報（以下「棚割情報」と称する）が用いられてよい。「棚割」とは、例えば、陳列棚５０のどの陳列スペースに、どのような商品を幾つ陳列するか（又は、割り当てる）かを計画することを表す。
図４に、棚割情報４００の一例を示す。図４に示すように、棚割情報４００には、例えば、商品７０が陳列される位置を示す情報と、その位置に陳列される商品７０に関する情報と、が含まれてよい。なお、以下において、商品７０が陳列される位置を示す情報を「陳列位置情報」と称することがあり、商品７０に関する情報を「商品情報」と称することがある。
非限定的な一例として、陳列位置情報には、店舗番号、階数、通路番号、棚番号、棚段番号、及び、棚段における陳列位置のいずれか１つ以上を示す情報が含まれてよい。
商品情報には、例えば、商品７０の種類又は内容といった個々の商品７０を特定又は識別可能な情報が含まれてよい。商品７０を特定又は識別可能な情報の非限定的な一例としては、「ＸＸＸパスタ」又は「ＹＹＹカレー」といった商品名、あるいは、商品コードが挙げられる。
なお、商品情報には、例えば、商品７０のサイズ（幅、高さ、及び、奥行きの少なくとも１つ）を示す情報が含まれてもよいし、陳列する商品７０の個数を示す情報、別言すると、陳列数を示す情報が含まれてもよい。また、商品情報には、商品７０の価格を示す情報が含まれてもよい。
「陳列数」は、例えば、棚段の幅方向、高さ方向、及び、奥行き方向の１つ以上についての、商品７０の陳列数を示してよい。商品７０のサイズを示す情報と、商品７０の陳列数を示す情報と、の一方又は双方を基に、例えば、棚段において複数の商品７０が占める空間又は領域を特定する精度を向上することが可能である。
したがって、コンピュータ２０は、棚割情報４００を参照することで、棚札位置に基づく監視エリアの設定精度を向上でき、その結果、商品７０の欠品検知精度を向上できる。
また、コンピュータ２０は、陳列棚５０に付された棚札５１の、映像認識に基づく検知結果（例えば、棚札位置）を、棚割情報４００に基づいて補正してもよい。棚札位置を補正することには、例えば映像認識による棚札５１の検知漏れを、棚割情報４００に基づいて訂正することが含まれてよい。
棚割情報４００を用いた監視エリアの設定例及び棚札位置の補正例については、後述する。
なお、棚割情報４００を用いない場合、監視エリアにおいて不足又は欠品した商品７０がどのような商品７０なのかといった具体的な情報は特定されないが、棚札位置に基づいて設定された監視エリアを画像認識した結果（例えば、監視エリアに現れる背景画像の割合）から、何れの棚段の何れの位置において商品７０の不足又は欠品が生じているかは検知できる。このような検知処理において棚割情報４００を併用することで、欠品検知に係る商品７０がどのような商品７０であるのかという具体的な情報を特定することが可能になる。例えば、「ＸＸＸパスタが欠品」あるいは「〇段△列のＸＸＸパスタが欠品」といった情報の提示が可能になる。
（コンピュータ２０の構成例）
次に、図５を参照して、コンピュータ２０の構成例について説明する。図５に示すように、コンピュータ２０は、例示的に、プロセッサ２０１、入力装置２０２、出力装置２０３、メモリ２０４、ストレージ２０５、及び、通信部２０６を備えてよい。
プロセッサ２０１は、コンピュータ２０の動作を制御する。プロセッサ２０１は、演算能力を備えた回路又はデバイスの一例である。プロセッサ２０１には、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、及び、ＧＰＵ（Graphics Processing Unit）の少なくとも１つが用いられてよい。
入力装置２０２は、例えば、キーボードや、マウス、操作ボタン、及び、マイクロフォンの少なくとも１つを含んでよい。入力装置２０２を通じて、プロセッサ２０１にデータ又は情報が入力されてよい。
出力装置２０３は、例えば、ディスプレイ（又はモニタ）、プリンタ、及び、スピーカの少なくも１つを含んでよい。ディスプレイは、例示的に、タッチパネル式のディスプレイであってもよい。タッチパネル式のディスプレイは、入力装置２０２及び出力装置２０３の双方に該当すると捉えてよい。
メモリ２０４は、例えば、プロセッサ２０１によって実行されるプログラム、及び、プログラムの実行に応じて処理されるデータ又は情報を記憶する。メモリ２０４には、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）が含まれてよい。ＲＡＭは、プロセッサ２０１のワークメモリに用いられてよい。「プログラム」は、「ソフトウェア」あるいは「アプリケーション」と称されてもよい。
ストレージ２０５は、プロセッサ２０１によって実行されるプログラム、及び、プログラムの実行に応じて処理されるデータ又は情報を記憶する。ストレージ２０５に、既述の棚割情報４００が記憶されてよい。なお、棚割情報４００は、予めストレージ２０５に記憶されてもよいし、例えば、棚割情報４００を管理する棚割システム（不図示）から提供されてストレージ２０５に記憶されてもよい。
ストレージ２０５は、ハードディスクドライブ（ＨＤＤ）、又は、ソリッドステートドライブ（ＳＳＤ）といった半導体ドライブ装置を含んでよい。半導体ドライブ装置の追加で又は代替で、フラッシュメモリのような不揮発性メモリが、ストレージ２０５に含まれてもよい。
プログラムには、上述したように映像認識によって商品７０の在庫を監視する在庫監視プログラムが含まれてよい。在庫監視プログラムを成すプログラムコードの全部又は一部は、メモリ２０４及び／又はストレージ２０５に記憶されてもよいし、オペレーティングシステム（ＯＳ）の一部に組み込まれてよい。
プログラム及び／又はデータは、コンピュータ２０が読取可能な記録媒体に記録された形態で提供されてよい。記録媒体の一例としては、フレキシブルディスク、ＣＤ－ＲＯＭ，ＣＤ－Ｒ，ＣＤ－ＲＷ，ＭＯ，ＤＶＤ、ブルーレイディスク、ポータブルハードディスク等が上げられる。また、ＵＳＢ（Universal Serial Bus）メモリ等の半導体メモリも記録媒体の一例である。
また、プログラム及び／又はデータは、例えば、サーバ（不図示）から通信回線を介してコンピュータ２０に提供（ダウンロード）されてもよい。例えば、通信部２０６を通じてプログラム及び／又はデータがコンピュータ２０に提供されて、メモリ２０４及び／又はストレージ２０５に記憶されてよい。また、プログラム及び／又はデータは、入力装置２０２を通じてコンピュータ２０に提供されて、メモリ２０４及び／又はストレージ２０５に記憶されてもよい。
通信部２０６は、例えば、カメラ１０と通信するための通信インタフェース（ＩＦ）２６１を備える。通信ＩＦ２６１は、有線インタフェース及び無線インタフェースのいずれであってもよい。
例えば、通信ＩＦ２６１は、カメラ１０で撮影された映像データを受信する。受信した映像データは、例えば、プロセッサ２０１を介して、メモリ２０４及び／又はストレージ２０５に記憶される。カメラ１０がＰＴＺカメラである場合、通信部２０６は、例えば、プロセッサ２０１からの指示に応じてＰＴＺカメラ１０と通信することで、ＰＴＺカメラ１０の撮影方向及び／又は画角を制御してよい。
また、通信部２０６は、コンピュータ２０とは異なる「他のコンピュータ」（不図示）と通信するための通信ＩＦ２６２を備えてもよい。「他のコンピュータ」は、例えば、有線又は無線のネットワークに接続されたサーバでもよいし、有線又は無線のネットワークに接続されたユーザ端末でもよい。「他のコンピュータ」が、既述の棚割システムにおけるコンピュータに該当してもよい。
ユーザ端末は、例えば、商品７０の在庫管理者に所持されてよい。ユーザ端末の非限定的な一例としては、ＰＣ、携帯電話（スマートフォンを含む）、及び、タブレット端末が挙げられる。ユーザ端末に、商品の在庫管理又は在庫監視に係る情報が提供されてよい。
プロセッサ２０１が、例えば、メモリ２０４及び／又はストレージ２０５に記憶された在庫監視プログラムを読み出して実行することにより、コンピュータ２０を、映像認識によって商品７０の在庫を監視する在庫監視装置として機能させることができる。
例えば、プロセッサ２０１が在庫監視プログラムを実行することによって、図５に例示する、棚札検出部２１１、監視エリア設定部２１２、欠品検出部２１３、及び、出力部２１４を含む在庫監視装置２０が具現される。オプションとして、在庫監視装置２０において、棚札関連付け部２１５、及び、検出棚札補正部２１６の一方又は双方が、在庫監視プログラムの実行に応じて具現されてもよい。
棚札検出部２１１は、例えば、陳列棚５０の全部又は一部が含まれるカメラ映像の映像認識によって、カメラ映像に含まれる棚札５１を検出する。例えば、棚札検出部２１１は、棚札５１の形状及び／又は色に対応したテンプレート画像を用いて、カメラ映像に対してパターンマッチングを行うことにより、棚札５１を検出してよい。
監視エリア設定部２１２は、例えば、棚札検出部２１１によって検出された棚札５１の位置に基づいて、陳列棚５０における監視エリアを設定する。
欠品検出部２１３は、監視部の一例であって、例えば、監視エリア設定部２１２によって設定された監視エリアにおける商品の有無に対応した映像変化に基づいて、陳列棚５０における商品７０の在庫（又は「陳列状況」と称してもよい）を監視する。
例えば、欠品検出部２１３は、商品７０が不足又は欠品した場合に監視エリアに現れる背景映像をテンプレート画像に用いて、監視エリアのカメラ映像に対してパターンマッチングを行うことにより、商品７０の不足又は欠品を検出してよい。
なお、カメラ１０の設置位置及び／又は撮影方向によって、カメラ映像において棚札５１の形状が変わり得る。例えば、陳列棚５０を正面から捉えたカメラ映像と、陳列棚５０を正面からずれた斜め方向から捉えたカメラ映像とでは、棚札５１の形状が異なる。
また、カメラ１０の設置位置及び／又は撮影方向（以下、便宜的に「カメラ位置」と総称することがある）によって、商品７０が不足又は欠品した場合にカメラ映像に現れる背景映像も変わり得る。
例えば、陳列棚５０を正面から捉えたカメラ映像では、陳列棚５０の背面に位置する背板の正面方向の画像が背景映像に相当し得る。また、陳列棚５０を斜め上方から捉えたカメラ映像では、例えば、棚板５２の商品７０が陳列される面が背景映像に相当し得る。陳列棚５０を斜め側方から捉えたカメラ映像では、例えば、棚段を左右方向に仕切る仕切り板（図示せず）の表面が背景映像に相当し得る。
このように、カメラ位置によって棚札５１の形状及び／又は背景映像が変わるため、映像認識のパターンマッチングに用いるテンプレート画像（「認識モデル」と言い換えてもよい）は、カメラ位置に対応して用意されてよい。なお、本実施の形態では、認識モデルはテンプレート画像であり、パターンマッチングによって棚札の形状及び／又は背景映像を認識するものとして説明するが、他の実装方法も可能である。例えば、棚札及び／又は背景映像それぞれについて機械学習を行うことにより生成した学習済モデルを認識モデルとして用いて、棚札及び／又は背景映像を認識してもよい。
例えば、カメラ１０が複数の場所に設置されている場合、及び／又は、ＰＴＺカメラ１０のように撮影方向が可変である場合には、複数のテンプレート画像が用意されてよい。テンプレート画像は、例えば、ストレージ２０５に記憶され、プロセッサ２０１によって適時に読み出される。
出力部２１４は、例えば在庫管理者に提示（例えば、通知）する情報を生成して出力する通知情報生成部の一例である。出力部２１４は、例えば、欠品検出部２１３による検出結果、及び／又は、検出結果に基づく情報を含む通知情報を生成して出力装置２０３及び／又は通信部２０６へ出力する。
非限定的な一例として、商品７０の欠品検知を通知する情報（「通知情報」、「欠品情報」、又は、「アラート情報」と称されてもよい）が、出力装置２０３の一例であるディスプレイ及び／又はプリンタへ出力されてよい。
なお、出力部２１４は、欠品検出部２１３による検出結果及び棚札検出部２１１による検出結果のいずれか一方又は双方と、棚割情報４００と、が関連付けられた情報に基づいて、通知情報を生成してもよい。
例えば、欠品検出部２１３による検出結果と棚割情報４００とが関連付けられた情報を基に、出力部２１４は、商品７０の欠品検知に係る場所（欠品エリア）、及び／又は、欠品検知した商品７０の商品名を含む通知情報を生成できる。
なお、通知情報は、例えば、通信部２０６を介して「他のコンピュータ」へ送信されてもよい。通信部２０６を介した通知情報の送信には、電子メールが利用されてもよい。
棚札関連付け部２１５は、例えば、棚札検出部２１１によって検出された棚札５１のそれぞれに対して、棚割情報４００（例えば、商品情報）を関連付ける。
検出棚札補正部２１６は、例えば、棚割情報４００に商品情報の一例として商品７０のサイズ及び陳列数に関する情報が含まれる場合に、棚札検出部２１１によって検出された棚札位置を商品情報に基づいて補正してよい。
なお、図５に例示したコンピュータ（在庫監視装置）２０の構成は、あくまでも例示である。在庫監視装置２０においてハードウェア及び／又は機能ブロックの増減が適宜に行なわれてよい。例えば、ハードウェア及び／又は機能ブロックの追加、削除、分割、又は、統合が、在庫監視装置２０において、適宜に行なわれてよい。
（動作例）
次に、在庫監視装置２０の動作例について説明する。
図６に示すように、在庫監視装置２０は、例えば、カメラ映像を取得し（Ｓ１１）、取得したカメラ映像を例えば棚札検出部２１１において解析することによって、カメラ映像に含まれる棚札５１を検出する（Ｓ１２）。例えば図７において太枠５００を付して示すように、映像認識によって８個の棚札５１が検出される。
図７の例では、下からｍ段目の棚板５２において２つの棚札５１が検出され、その上段に位置する（下からｍ＋１段目の）棚板５２、及び、更に上段に位置する（下からｍ＋２段目）の棚板５２において、それぞれ、３つの棚札５１が検出されている。なお、ｍは１以上の整数である。
下からｍ段目の棚板５２において検出された２つの棚札５１の位置は、例えば左から順に、ｎ番目及びｎ＋１番目（ｎは１以上の整数）の位置である。同様に、下からｍ＋１番目の棚板５２において検出された３つの棚札５１の位置は、例えば左から順に、ｎ番目、ｎ＋１番目、及び、ｎ＋２番目の位置である。下からｍ＋２番目の棚板５２において検出された３つの棚札５１の位置は、例えば左から順に、ｎ番目、ｎ＋１番目、及び、ｎ＋２番目の位置である。なお、「ｍ段目及びｎ番目」の位置を、「ｍ段ｎ番」又は「ｍ段ｎ列」の位置と表記することがある。
在庫管理システム１に複数台のカメラ１０が備えられている場合、あるいは、カメラ１０にＰＴＺカメラが用いられる場合、在庫監視装置２０は、例えば、カメラ位置を示す情報を取得して棚札検出部２１１に与えてよい（図６のＳ１１ａ）。
カメラ位置を示す情報は、例えば、棚割情報４００と予め関連付けられていてよい。棚札検出部２１１は、例えば、カメラ位置を示す情報と棚割情報４００に基づいて、何れのカメラ１０の何れの撮影方向のカメラ映像であるかを識別して、映像認識による棚札５１の検出に適した認識モデルを設定してよい。なお、カメラ位置を示す情報と棚割情報４００との関連付けの一例については後述する。
棚札５１の検出（図６のＳ１２）に応じて、在庫監視装置２０は、例えば監視エリア設定部２１２によって、商品７０の在庫を監視する監視エリアを設定する（図６のＳ１３）。例えば、監視エリア設定部２１２は、検出された棚札５１のうちの１つを基準棚札５１に設定する。非限定的な一例として、図７には、左下（１段１番）の棚札５１が基準棚札５１に設定される態様が示されている。
基準棚札５１は、在庫監視装置２０（例えば、監視エリア設定部２１２）が自律的に設定してもよいし、在庫監視装置２０のユーザ（例えば、在庫管理者）によって指定（マニュアル指定）されてもよい。
例えば、基準棚札５１の色（例えば、フレームカラー）及び／又は形状といった外観を他の棚札５１の外観とは異ならせておくことで、映像認識によって基準棚札５１を自律的に設定可能である。
あるいは、「○段△番」の棚札５１といった情報が、基準棚札５１を指定する情報として入力装置２０２を通じて監視エリア設定部２１２に入力されてもよい。また、マニュアル指定は、自律的な設定の補完に用いられてもよい。
基準棚札５１の設定に応じて、監視エリア設定部２１２は、例えば、図４に例示した棚割情報４００（例えば、陳列位置情報）を基に、基準棚札５１に対して上下方向及び／又は左右方向に隣り合う棚札５１を検出してよい。
なお、上下方向及び／又は左右方向に隣り合う棚札５１を、便宜的に、「隣接棚札５１」と称することがある。隣接棚札５１の「検出」は、隣接棚札５１の「検索」又は「探索」と言い換えられてもよい。
監視エリア設定部２１２は、検出した棚札５１間の距離に基づいて、監視エリアを設定してよい。監視エリアの設定例を図８に示す。
図８において、例えば、ｍ（＝１）段ｎ（＝１）番の棚札５１を基準棚札に設定した場合、監視エリア設定部２１３は、基準棚札５１と隣接棚札５１との間の距離を求める。
例えば、ｍ段ｎ番の基準棚札５１と、右方向のｍ段ｎ＋１番の棚札５１と、の間の距離Ｒｘが検出され、また、基準棚札５１と、上方向のｍ＋１段ｎ番の棚札５１と、の間の距離Ｒｙが検出される。
監視エリア設定部２１２は、例えば、距離Ｒｘ及びＲｘによって定まるサイズ及び形状の監視エリアＭＡ（点線枠参照）を、１段１番の棚札５１についての監視エリアに設定する。監視エリア設定部２１２は、他の棚札５１についても、隣接棚札５１との間の距離Ｒｘ及びＲｙを検出することで、映像認識によって検出された棚札５１のそれぞれについて監視エリアＭＡを設定する。
以上のように、監視エリア設定部２１２は、映像認識によって検出した棚札５１それぞれについて、当該棚札５１と隣り合う棚札である隣接棚札との間の距離を算出し、算出した距離に基づいて棚札５１それぞれに対応する監視エリアＭＡを設定する。したがって、棚札５１に対応して陳列される商品７０についての監視エリアＭＡを的確に設定できる。
なお、監視エリアＭＡの形状は、矩形でもよいし楕円形のような円形でもよい。また、棚札５１は、商品７０が陳列されるスペースそれぞれに対して所定の規則（ルール）に従って配置されてよい。例えば、商品７０の左下に棚札５１を設置するといった一定のルールに従って棚札５１が設置されてよい。一定のルールが定められていれば、各棚札５１の位置又は棚札５１間の距離と、一定のルールと、に基づいて、正確な監視エリアＭＡを設定することができる。例えば、商品７０の左下に棚札５１が配置されるのであれば、監視エリアは当該棚札５１の右側に存在することが分かる。
また、棚札５１が設置されない棚段（例えば、最上段の棚段）が存在する場合、ダミーの棚札５１を設置することで、ダミーの棚札５１を含む棚札５１間の距離が求められてよい。なお、ダミーの棚札５１を使って最上段の棚段より上の距離Ｒｙを求める場合には、例えば棚に設置する「ＰＯＰ」にダミーの棚段５１を設置するなどとしてもよい。
「ＰＯＰ」とは、商品名、商品の価格、キャッチコピー、説明文、及び／又は、イラストを例えば紙に記した広告媒体である。あるいは、棚札５１が設置されない棚段における距離Ｒｙについては、他の棚段（例えば、下段の棚段）との距離に基づいて、棚札５１間の距離が求められてもよい。
例えば、隣接棚札５１の存在しない棚札５１については、他の棚札５１について算出された距離Ｒｙが再利用されてもよい。例えば、パースの歪みの少ない直下の棚段のＲｙを再利用したり、あるいは、カメラのパラメータを踏まえて他の棚段のＲｙを変換してＲｙを推定したりしてもよい。あるいは、棚札５１が設置されない棚段については、手動で棚札５１間の距離が設定されてもよい。
また、棚段の右端に位置する棚札５１については、隣り合う別の陳列棚５０が存在すれば、その陳列棚５０に付された棚札５１との間の距離として棚札５１間の距離が求められてよい。あるいは、棚段の右端に位置する棚札５１については、カメラ映像の画像端との距離が棚札５１間の距離として設定されてもよい。
なお、棚割情報４００には、例えば、監視対象である商品７０の幅、高さ、奥行き、及び、陳列数の１つ以上に関する情報が含まれてよい。この場合、当該情報を基に、検出棚札補正部２１６において、棚札検出部２１１によって検出された棚札位置が補正されてよい（図６のＳ１２ａ）。
別言すると、棚割情報４００は、映像認識による棚札５１の検出結果の精度確認及び／又は補正に用いられてよい。棚札位置の補正によって、監視対象である商品７０の欠品検出精度を高めることができる。棚札位置の補正例については図１７～図１９を用いて後述する。
監視エリアＭＡの設定後、在庫監視装置２０は、欠品検出部２１３にて、例えば、個々の監視エリアＭＡのカメラ映像と背景映像とのパターンマッチングによって、監視エリアＭＡにおいて商品７０が不足又は欠品している領域を検出する（図６のＳ１４）。
例えば図８において、ｍ段ｎ列の棚札５１に対しては、３つの商品７０を陳列できるスペースに、２つの商品７０しか陳列されていない。そのため、監視エリアＭＡのカメラ映像において、商品７０の１つ分に相当する背景映像が現れる。
欠品検出部２１３は、監視エリアＭＡに現れた背景映像とテンプレート画像とがパターンマッチングにおいて一致することによって、背景映像の現れた領域に商品７０が陳列されていないことを検出する。別言すると、棚札５１に対応する商品７０の不足又は欠品が検出される。
商品７０の不足又は欠品の検出に応じて、在庫監視装置２０は、例えば出力部２１４によって、商品７０の欠品検知を通知する情報を生成して出力する（図６のＳ１５）。商品７０の欠品検知を通知する情報には、文字情報及び／又は音声情報が含まれてもよいし、例えばカメラ映像が表示されるディスプレイにおいて、欠品検知に係る領域を強調表示するための情報が含まれてもよい。
強調表示の非限定的な態様の一例としては、以下が挙げられる。以下の強調表示態様は、適宜に、組み合わされてもよい。
・カメラ映像において、欠品検知に係る領域（以下、便宜的に「欠品エリア」と総称することがある）の色を、他の領域の色よりも目立つ色（強調色）に変更する。
・欠品エリアを点滅表示する。
・欠品エリアを、実線枠又は点線枠を付して表示する。実線枠又は点線枠には、色（強調色）が付されてもよい。
・欠品エリアに付した実線枠又は点線枠を点滅表示する。
以上のように、上述した在庫監視装置２０によれば、陳列棚５０が含まれるカメラ映像の映像認識によって検出した棚札５１の位置に基づいて、カメラ映像における陳列棚５０に対して監視エリアを設定するので、例えばマニュアル操作によらずに、陳列棚５０が含まれるカメラ映像に対して監視エリアを適切に設定できる。
なお、基準棚札をマニュアル指定する場合は、監視エリアの設定にあたってマニュアル操作を完全に排除することはできないが、監視エリアの設定の大部分を自動化でき、また、正確な基準棚札を設定できるため、従来と比べて精度よく、かつ、素早く監視エリアを設定することができる。
別言すると、陳列棚５０において監視対象とする陳列スペースの設定を自動化できる。したがって、例えば、陳列棚５０とカメラ１０との相対的な位置関係が、振動などの外的要因で変動しても、映像認識による棚札５１の検出によって、適切な監視エリアの再設定が可能である。
そして、在庫監視装置２０は、設定した監視エリアにおける商品７０の有無に対応した映像変化に基づいて、陳列棚５０における商品７０の在庫を監視し、監視結果を例えば在庫管理者に通知するので、特定の商品が欠品した状態で放置されるケースを抑制できる。したがって、商品販売の機会が喪失することを抑制でき、顧客に対するイメージアップにもつながる。
（棚札関連付け処理）
なお、図６に点線で示すように、欠品検出（Ｓ１４）と情報出力（Ｓ１５）との間において、棚札関連付け処理（Ｓ１４ａ）が棚札関連付け部２１５によって行われてもよい。
図６にＳ１４ａで示す棚札関連付け処理は、例えば、以下のように行われてよい。まず、棚札関連付け部２１５は、例えば図９に示すように、映像認識によって検出された棚札５１のうちの１つ（例えば、左上の「３段１番」）を基準棚札に設定する。
次いで、棚札関連付け部２１５は、棚割情報４００を基に、基準棚札５１に対して、例えば図１０に示すように、「ｙ座標が近い棚札５１の中でｘ座標が最も近い棚札５１」を隣接棚札５１として検出する。図１０の例では、「３段２番」の棚札５１が検出される。
棚札関連付け部２１５は、図１０に例示した隣接棚札５１の検出処理を、基準棚札５１が属する棚段の最後に位置する棚札５１、例えば「３段３番」の棚札５１が検出されるまで繰り返す。
基準棚札５１が属する棚段の最後に位置する棚札５１が検出された場合、棚札関連付け部２１５は、基準棚札５１が属する棚段の最後に位置する棚札５１に対して「ｙ座標が最も近い」棚札５１を検出する。例えば図１１に示すように、「２段３番」の棚札５１が検出される。
なお、基準棚札５１が属する棚段の最後に位置する棚札５１が検出された場合、図１２に示すように、棚札関連付け部２１５は、探索基準を基準棚札５１に戻して「ｙ座標が最も近い」棚札５１を検出してもよい。この場合、「２段１番」の棚札５１が検出される。
棚札関連付け部２１５は、図１０及び図１１、又は、図１０及び図１２に例示した棚札検出処理を全ての棚札５１が検出されるまで繰り返す。図１５Ａは、図１０及び図１１に例示した棚札検出処理での探索順序の一例を示し、図１５Ｂは、図１０及び図１２に例示した棚札検出処理での探索順序の一例を示す。なお、棚札５１の探索順序は、図１５Ａ及び図１５Ｂに例示した順序に限られない。
全ての棚札５１の検出が終了した場合、棚札関連付け部２１５は、「ｍ段ｎ番」の棚札５１（図１３参照）と、棚割情報４００（例えば、商品情報）と、を関連付ける。
棚札関連付け処理によって、映像認識によって検出された棚札５１のそれぞれに、商品情報を含む棚割情報４００が関連付けられる。したがって、既述のように棚札５１間の距離に基づいて監視エリアＭＡが設定されても（図１４参照）、監視エリアＭＡのそれぞれにおける監視対象の商品情報を特定できる。なお、最上段の監視エリアＭＡの高さは、例えば、下段の棚段の高さに基づいて設定されてよい。
なお、基準棚札５１の設定は、例えばストレージ２０５に記憶されてよい。２回目以降の棚札関連付け処理においては、記憶された基準棚札５１の設定に従えばよい。そのため、基準棚札５１を再設定することは不要でもよい。
また、棚札関連付け部２１５は、例えば、欠品検出部２１３によって検出された欠品エリアを示す情報と、映像認識によって検出された棚札５１の情報と、の一方又は双方を、棚割情報４００と関連付けてもよい。
（棚割情報に基づいた通知情報の生成）
図６のＳ１５において、出力部２１４は、棚割情報４００に基づいて通知情報を生成してよい。例えば、出力部２１４は、欠品エリアを示す情報と検出棚札５１の情報との関連付け情報を基に、商品７０の欠品検知に係る場所（欠品エリア）、及び／又は、欠品検知した商品７０の商品名及び／又は商品コードを含む通知情報を生成してよい。生成した通知情報は、例えば、出力装置２０３及び／又は通信部２０６へ出力される。
このように、在庫監視装置２０は、棚割情報４００を用いることで、欠品検知に係る個々の商品７０の商品名及び／又は商品コードを含む情報を例えば在庫管理者へ通知できる。
したがって、カメラ映像の映像解析によっては個々の商品名などを特定することが難しい場合であっても、例えば、何れの棚段において何れの商品７０が欠品しているかを在庫管理者に的確に把握させることができる。よって、在庫管理者は、例えば、個々の棚段に対する商品７０の補充を的確かつ円滑に行うことができる。
（棚割情報を用いた監視エリアの設定例)
次に、棚割情報４００に、例えば、商品７０のサイズを示す情報及び商品７０の陳列数を示す情報が含まれる場合に、これらの情報を用いた監視エリアＭＡの設定例について説明する。
例えば、「ｍ段ｎ番の棚札５１に対して幅Ｘ及び高さＹの商品７０を３つ陳列する」という情報が棚割情報４００に含まれる。この場合、監視エリア設定部２１２は、図１６に示すように、３つの商品７０が含まれるサイズ（幅Ｘ及び高さＹ）の監視エリアＭＡを設定してよい。なお、図１６の例において、商品７０の奥行き方向のサイズは任意でよい。
図１６において設定される監視エリアＭＡと、図８において設定される監視エリアとは、結果的に同じサイズであるが、図１６の例において、商品７０のサイズ及び／又は陳列数が異なれば、設定される監視エリアＭＡのサイズも図８の例とは異なる結果になる。
例えば、図１６の例において、商品７０のサイズが図８の例よりも小さい場合、あるいは、商品７０の陳列数が図８の例よりも少ない場合、図１６の例において設定される監視エリアＭＡのサイズは、図８の例よりも小さくなる。
なお、監視エリアＭＡを設定するにあたって、商品７０の幅、高さ、及び、陳列数の情報のすべてがそろう必要はない。監視エリアＭＡを設定するにあたって、既述のように映像認識によって棚札５１間の距離が検出されるため、監視エリア設定部２０２は、商品７０の幅、高さ、及び、陳列数の情報のうちの一部の情報が不足していても、検出された距離によって補完できる。また、商品７０の幅及び／又は高さは、映像認識によって検出された棚札５１のサイズに基づいて補完されてもよい。棚札５１のサイズは、既知でもよいし、棚札５１の映像認識によって検出されてもよい。
また、陳列棚の最上段に位置する棚段のように、ｙ軸方向の棚札５１間の距離を求める基準となる棚札５１が設置されない場合であっても、監視エリア設定部２１２は、商品７０の高さを示す情報を基に、ｙ軸方向の監視エリアＭＡのサイズを適切に設定できる。
また、監視エリアＭＡにおける監視対象の商品７０の個数を把握できるため、例えば、欠品検出部２１３において、段階的な欠品検知の精度を高めることができる。段階的な欠品検知の例については後述する。
（棚割情報を用いた棚札検出結果の補正例）
次に、棚割情報４００に、例えば、商品７０の種類を示す情報及び商品７０の陳列数を示す情報が含まれる場合に、棚割情報４００を用いた棚札検出結果の補正例について説明する。
例えば、棚割情報４００に「ｍ＋１段の棚板５２に幅（Ｘ）の異なる３種類の商品７０を陳列する。」という情報が含まれる場合、検出棚札補正部２１６（図５参照）は、その情報を基に、映像認識による棚札５１の検知漏れを検出して訂正することができる。
図１７に、棚札５１の検知漏れが生じ得るケースを示す。図１７の例においては、ｍ＋１（＝２）段の棚板５２について、本来、３つの棚札５１が検出されるはずである。なお、棚割情報４００には、３つの棚札５１のそれぞれに対して、図１８においてＣ１、Ｃ２及びＣ３で表され、異なる幅（Ｘ１、Ｘ２及びＸ３）の商品７０が陳列される情報が含まれる。
しかし、２段２番の棚札５１に、例えば、「ＳＡＬＥ！」という別の札（障害物）が部分的に重なっているため、２段２番の棚札５１は、映像認識によっては検知に失敗することがある。
検知が失敗した場合に、検出棚札補正部２１６は、例えば図１９に示すように、商品７０毎の幅（Ｘ１，Ｘ２及びＸ３）及び陳列数を、ｍ＋１（＝２）段の棚板５２にあてはめることで、２段２番の位置に棚札５１が存在することを推測できる。検出棚札補正部２１６は、推測した棚札５１を、映像認識によって検出された棚札５１に含めることで検出漏れを訂正してよい。
このように、例えば、障害物に起因して映像認識によっては検知に失敗する棚札５１が存在しても、棚割情報４００を基に、画像認識による検出漏れを訂正できるため、棚札５１の位置に基づいた監視エリアＭＡの設定精度を高めることができる。
（ＰＴＺカメラの適用）
カメラ１０に例えばＰＴＺカメラを適用し、ＰＴＺカメラ１０の撮影方向を変更制御することで、複数の陳列棚５０あるいは１つの陳列棚５０の異なる複数の陳列スペースを監視対象に収めることができる。
図２０に、ＰＴＺカメラ１０の適用例を示す。図２０には、奥行き方向に隣り合う２つの陳列棚５０の一方の例えば天井部分に、２台のＰＴＺカメラ１０が設置された例が示されている。
したがって、ＰＴＺカメラ１０のそれぞれは、例えば２つの陳列棚５０のうちの他方の正面を斜め上方から撮影する。なお、ＰＴＺカメラ１０は、例えば、陳列棚５０が設置された店舗の天井部分に設置されて、陳列棚５０の正面を斜め上方から撮影してもよい。
ＰＴＺカメラ１０のそれぞれは、例えば、陳列棚５０の幅方向に複数の方向（例えば、Ｎ＝３方向）に撮影方向が変更されてよい。なお、「Ｎ」は、撮影方向の数を表す２以上の整数である。撮影方向の変更は、例えば在庫監視装置２０が通信ＩＦ２６１（図５参照）を介してＰＴＺカメラ１０と通信することによって制御されてよい。
撮影方向の変更制御は、事前に設定された周期で定期的に行われてもよいし、特定のタイミングで不定期に行われてもよい。また、ユーザの指示によって撮影方向を変更してもよい。例えば、１日、１週間、あるいは１ヶ月といった所定の単位期間のうち、特定の商品７０が欠品し易い時間帯が事前に把握できる場合、少なくとも、その時間帯には欠品し易い商品７０が監視対象に含まれるように撮影方向が制御されてよい。特定の商品７０が欠品し易い時間帯の非限定的な一例としては、特定の商品７０について定期的又は不定期に開催される販促時間帯（セール時間帯）が挙げられる。
ＰＴＺカメラ１０の撮影方向を示す情報（例えば、角度情報）は、既述の棚割情報４００と関連付けられてよい。例えば、ＰＴＺカメラ１０及びＮ個（Ｎは２以上の整数）の角度情報にＩＤを割り当て、当該ＩＤと棚割情報４００におけるＩＤ（図４参照）とを関連付けてよい。
このようなＩＤの関連付けによって、例えば、何れの陳列棚５０の何れの棚段が、何れのＰＴＺカメラ１０の何れの撮影方向によって監視されるかを識別できる。なお、ＩＤの関連付けは、例えば、棚札関連付け部２１５（図５参照）によって行われてよい。
また、既述のように、撮影方向によって映像認識に適した認識モデルが変わるため、異なる撮影方向毎に、認識モデルが事前に用意されてよい。
また、陳列棚５０の正面に例えばガラス扉が取り付けられているか否かによっても、映像認識に適した認識モデルは変わり得る。そのため、例えば、撮影方向、及び／又は、ガラス扉の有無の別に、映像認識に適した認識モデルが事前に用意されてもよい。
図２１には、３つの撮影方向＃Ａ、＃Ｂ及び＃Ｃに対して、それぞれ、認識モデル＃１、＃２及び＃３が設定される例が示されている。あるいは、例えば、複数の認識モデルを切り替えて、検出される棚札５１の数が棚割情報に最も適合する認識モデルが選択されてもよい。
以上のように、カメラ１０にＰＴＺカメラ１０を用いることで、１台のＰＴＺカメラ１０で複数地点の在庫を監視して把握することが可能なため、在庫管理システム１においてトータルのカメラ設置台数を削減できる。したがって、在庫管理システム１のトータルコストを削減できる。
（段階的な欠品検知）
商品７０の欠品エリアが検出されてから欠品情報が出力されても、商品７０の補充が間に合わない場合がある。
そこで、例えば、在庫監視装置２０は、監視エリア設定部２１２によって設定された監視エリアに現れる背景映像の面積割合に応じて、商品７０の在庫レベル（「欠品レベル」と言い換えてもよい）を段階的に在庫管理者に提示してよい。図２２Ａ～図２２Ｃに、段階的な欠品レベルの一例を示す。
図２２Ａには、「ｍ段ｎ番」から「ｍ段ｎ＋２番」の位置に３つの商品７０が陳列された状況（欠品レベル０）が示されている。図２２Ｂには、３つの商品７０のうちの１つが欠品した状況（欠品レベル１）が示され、図２２Ｃには、３つの商品７０が欠品した状況（欠品レベル３）が示されている。
在庫監視装置２０（例えば、欠品検出部２１３）は、例えば、欠品レベルと、欠品レベルにおいて監視エリアに現れる背景映像の面積割合と、を関連付けて設定しておくことで、監視エリアに現れた背景映像の面積割合に対する欠品レベルを決定する。決定した欠品レベルを示す情報は、例えば出力部２１４に出力される。
出力部２１４は、欠品レベルを示す情報を含む通知情報を生成して、出力装置２０３及び／又は通信部２０６へ出力する。これにより、段階的な欠品レベルを示す情報が例えば在庫管理者に提示される。
なお、段階的な欠品レベルのうち、何れの欠品レベルで通知を行うか（別言すると、通知の閾値レベル）は、事前に所定のレベルに設定されてもよいし、例えば在庫管理者によって適応的に設定されてもよい。図２２Ａ～図２２Ｃの例では、例えば「欠品レベル１」が通知の閾値レベルに設定されてよい。なお、全ての欠品レベルで通知を行う設定であってもよい。
このように、監視エリアに複数の商品７０が陳列される場合、在庫監視装置２０は、段階的な欠品レベルを在庫管理者に提示することが可能である。したがって、商品７０が完全に欠品してしまう前の段階で、在庫管理者に注意喚起を促すことができ、適時の商品補充が可能になる。
なお、カメラ１０が棚段を斜め上方から撮影する位置に設置されている場合、在庫監視装置２０は、例えば図２３及び図２４に示すように、棚段の奥行き方向（ｚ軸方向）の欠品レベルを在庫管理者に提示してもよい。例えば、最前列の商品７０だけが欠品している旨を提示することなどができる。
棚割情報４００に、棚段正面から奥行き方向への商品７０の陳列数を示す情報が含まれる場合、監視エリアの映像認識結果と、棚割情報４００と、を基に、棚段の奥行き方向の欠品レベルが例えば欠品検出部２１３において設定されてよい。
（動体除去処理）
陳列棚５０の正面を人物（例えば、顧客）が通り過ぎたり、陳列棚５０の正面に人物が一時的に立ち止まったりすることにより、例えば図２５Ａに示すように、カメラ映像において棚札５１の一部又は全部が人物に隠れてしまうことがある。
このような場合、カメラ映像に映った人物は、映像認識による棚札検出及び欠品検知に対する一時的な障害物となる。一時的な障害物の存在によって棚札検出及び欠品検知の精度が低下し得る。
そのため、在庫監視装置２０（例えば、棚札検出部２１１及び／又は欠品検出部２１３）は、映像認識の前処理の一例として、図２５Ｂに示すように、カメラ映像から人物のような動体を除去してよい。
カメラ１０が動体除去モードをサポートしている場合、在庫監視装置２０は、例えば通信ＩＦ２６１（図５参照）を介してカメラ１０と通信することによって、動体除去モードをＯＮに設定してよい。なお、動体除去の具体的な手順については、前掲の非特許文献２などが知られているので、説明を省略する。
動体が含まれる数フレームのカメラ映像に対して動体除去処理が施されることで、映像認識による棚札検出及び欠品検知の精度を向上できる。
（実施形態の効果）
以上説明したように、上述した実施形態によれば、陳列棚５０が含まれるカメラ映像の映像認識によって検出した棚札５１の位置に基づいて、カメラ映像における陳列棚５０に対して監視エリアを設定するので、例えばマニュアル操作によらずに、陳列棚５０が含まれるカメラ映像に対して監視エリアを適切に設定できる。
別言すると、陳列棚５０において監視対象とする陳列スペースの設定を自動化できる。したがって、例えば、陳列棚５０とカメラ１０との相対的な位置関係が、振動などの外的要因で変動しても、映像認識による棚札５１の検出によって、適切な監視エリアの再設定が可能である。なお、上述した実施形態の効果は、監視対象とする陳列スペースの設定をすべて自動化できるものには限られない。基準棚札をマニュアルで指定する場合など、一部をマニュアル化することで精度を向上させることもできる。
そして、在庫監視装置２０は、設定した監視エリアにおける商品７０の有無に対応した映像変化に基づいて、陳列棚５０における商品７０の在庫を監視し、監視結果を例えば在庫管理者に通知するので、特定の商品が欠品した状態で放置されるケースを抑制できる。したがって、商品販売の機会が喪失することを抑制でき、顧客に対するイメージアップにもつながる。
また、在庫監視装置２０は、棚割情報４００を用いることで、欠品検知に係る個々の商品７０の商品情報を例えば在庫管理者へ通知できるため、例えば、何れの棚段において何れの商品７０が欠品しているかを在庫管理者に的確に把握させることができる。したがって、カメラ映像の映像解析によっては個々の商品名などを特定することが難しい場合であっても、在庫管理者は、例えば、個々の棚段に対する商品７０の補充を的確かつ円滑に行うことができる。
また、在庫監視装置２０は、例えば、障害物に起因して映像認識によっては検知に失敗する棚札５１が存在しても、棚割情報４００を基に、画像認識による検出漏れを訂正できるため、棚札５１の位置に基づいた監視エリアＭＡの設定精度を高めることができる。
また、在庫監視装置２０は、棚割情報４００を基に、例えば、棚段において複数の商品７０が占める空間又は領域を特定する精度を向上できるため、棚札位置に基づく監視エリアの設定精度を向上でき、その結果、商品７０の欠品検知精度を向上できる。
また、カメラ１０に、例えばＰＴＺカメラを用いることで、陳列棚５０毎に、あるいは、陳列棚５０の異なる領域又は空間毎に、カメラ１０を設置しなくてよいため、在庫管理システム１におけるカメラ１０の設置台数を削減できる。
なお、本実施の形態では、ＰＴＺカメラをカメラ１０の例として説明したが、撮影方向を変更できるカメラであればズーム機能のないカメラを用いることも可能である。また、陳列棚５０の配置方向に制約がある場合、カメラ１０はパン機能とチルト機能の両方を備えている必要はない。
例えば、陳列棚５０が略水平方向にしか配置されないのであれば、チルト機能しかないカメラ１０であっても複数の陳列棚５０を撮影することができる。また、カメラ１０は、全方位カメラであっても構わない。
カメラ１０に全方位カメラを使用する場合、撮像される画像は、カメラ１０の周囲に存在する複数の陳列棚５０の映像が含まれた全方位画像となる。この場合、撮影方向の変更制御は、撮像した全方位画像から切り出す部分を変更制御する処理に相当する。
在庫監視装置２０は、全方位画像から切り出した部分に対応する仮想的な撮影方向それぞれに適した認識モデルを用いて棚札検出及び／又は欠品検知を実施することで、ＰＴＺカメラを使用した場合と同様の制御を実現することができる。
なお、全方位画像には複数の陳列棚５０の映像を含むことが可能であるため、複数の陳列棚５０それぞれに対応する部分を同時に切り出し、それぞれに適した認識モデルを用いて棚札検出及び／又は欠品検知を実施することで、複数の陳列棚５０を同時に監視することもできる。
また、在庫監視装置２０は、例えば、陳列棚５０の撮影方向、及び／又は、ガラス扉の有無の別に、映像認識に適した認識モデルを用いることで、棚札検出及び／又は欠品検出の精度を向上できる。
また、監視エリアに複数の商品７０が陳列される場合、在庫監視装置２０は、段階的な欠品レベルを在庫管理者に提示することができる。したがって、商品７０が完全に欠品してしまう前の段階で、在庫管理者に注意喚起を促すことができ、適時の商品補充が可能になる。
また、動体が含まれる数フレームのカメラ映像に対して動体除去処理が施されることで、在庫監視装置２０において、映像認識による棚札検出及び欠品検知の精度を向上できる。
（その他）
上述した実施の形態においては、コンピュータ２０による監視対象が、陳列棚５０において陳列される商品７０である例について説明したが、コンピュータ２０による監視対象は、商取引に係る商品７０に限られない。例えば、コンピュータ２０による監視対象は、ショーケースに陳列される展示品などの「物品」であってもよい。この場合、例えば、ショーケースにおける「物品」の喪失をコンピュータ２０によって検知して管理者などに通知できる。
「物品」の在庫又は陳列状況を監視するコンピュータ２０は、例えば、「棚監視装置」、「物品監視装置」、又は、「物品陳列状況監視装置」などと称されてよい。また、コンピュータ２０を、「物品」の在庫又は陳列状況を監視する装置として機能させるプログラムは、「棚監視プログラム」、「物品監視プログラム」、又は、「物品陳列状況監視プログラム」などと称されてよい。
また、上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
（本開示のまとめ）
本開示における棚監視装置は、陳列棚が含まれる映像データの映像認識によって、前記陳列棚に陳列される物品に対応して前記陳列棚に付された棚札を検出する検出部と、検出された前記棚札の位置に基づいて、前記映像データにおける前記陳列棚に対して前記物品が陳列されるべき監視エリアを設定する設定部と、前記監視エリアにおける前記物品の有無に対応した映像変化に基づいて、前記陳列棚における前記物品の陳列状況を監視する監視部と、前記監視部による監視結果を出力する出力部と、を備えてよい。
また、本開示における棚監視装置は、少なくとも前記監視エリアそれぞれに陳列されるべき物品に関する情報を含む棚割情報を受信する通信部と、前記検出部によって検出された棚札に、前記棚割情報に含まれる前記物品に関する情報を関連付ける関連付け部と、を備えてよい。前記出力部は、前記監視エリアの前記監視結果が前記物品の不足又は欠品を示す場合に、前記監視結果と、前記監視エリアに対応する前記棚札に関連付けられた前記物品に関する情報と、を出力してよい。
また、本開示における棚監視装置は、前記監視エリアそれぞれに陳列されるべき物品のサイズ及び陳列数の少なくとも１つを含む棚割情報を受信する通信部と、前記棚割情報に含まれる前記物品のサイズ及び陳列数の少なくとも１つに基づいて、前記検出部によって検出された前記棚札の位置を補正する補正部と、を備えてよい。
また、本開示における棚監視装置は、前記監視エリアそれぞれに陳列されるべき物品のサイズ及び陳列数の少なくとも１つを含む棚割情報を受信する通信部を備えてよく、前記設定部は、前記棚割情報に含まれる前記物品のサイズ及び陳列数の少なくとも１つに基づいて、前記監視エリアのサイズを決定してよい。
また、本開示における棚監視装置において、前記映像データは、少なくとも撮影方向が可変のカメラによって異なる複数の撮影方向において撮影された複数の映像データを含んでよい。前記検出部は、前記撮影方向に対応した認識モデルを用いた映像認識によって、前記棚札を検出してよい。
また、本開示における棚監視装置において、前記監視部は、前記監視エリアに現れる背景映像の面積割合に基づいて、前記物品の在庫レベルを段階的に検出し、前記出力部は、前記物品が欠品する前の段階で、前記在庫レベルを示す情報を出力してよい。
また、本開示における棚監視装置は、前記監視エリアそれぞれに陳列されるべき物品の陳列数の情報を含む棚割情報を受信する通信部を備えてよく、前記監視部は、前記監視エリアに現れる背景映像の面積割合と、前記棚割情報に含まれる物品の陳列数と、に基づいて、前記物品の在庫レベルを段階的に検出してよい。
また、本開示における棚監視装置において、前記設定部は、検出した棚札それぞれについて、当該棚札と隣り合う棚札である隣接棚札との間の距離を算出し、前記距離に基づいて前記棚札それぞれに対応する監視エリアを設定してよい。
また、本開示における棚監視装置において、前記棚札は、前記物品が陳列されるエリアそれぞれに対して所定の規則に従って配置されてよく、前記設定部は、前記棚札それぞれと前記隣接棚札との間の距離と前記所定の規則とに基づいて、前記監視エリアを設定してよい。
また、本開示における棚監視装置において、前記設定部は、前記隣接棚札が存在しない棚札については、他の棚札について算出された距離に基づいて、前記隣接棚札が存在しない棚札に対応する監視エリアを設定してよい。
また、本開示における棚監視方法では、陳列棚が含まれる映像データの映像認識によって、前記陳列棚に陳列される物品に対応して前記陳列棚に付された棚札を検出し、検出された前記棚札の位置に基づいて、前記映像データにおける前記陳列棚に対して前記物品が陳列されるべき監視エリアを設定し、前記監視エリアにおける前記物品の有無に対応した映像変化に基づいて、前記陳列棚における前記物品の陳列状況を監視し、前記監視の結果を出力する。
また、本開示における棚監視プログラムは、陳列棚が含まれる映像データの映像認識によって、前記陳列棚に陳列される物品に対応して前記陳列棚に付された棚札を検出し、検出された前記棚札の位置に基づいて、前記映像データにおける前記陳列棚に対して前記物品が陳列されるべき監視エリアを設定し、前記監視エリアにおける前記物品の有無に対応した映像変化に基づいて、前記陳列棚における前記物品の陳列状況を監視し、前記監視の結果を出力する、処理を、コンピュータに実行させる。
２０１７年１０月３０日出願の特願２０１７－２０９４４０の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本開示は、物品の陳列状況を監視又は管理するシステムに好適である。
１ 在庫管理システム
１０ カメラ
２０ コンピュータ（在庫監視装置）
５０ 陳列棚
５１ 棚札
５２ 棚板
７０ 商品
２０１ プロセッサ
２０２ 入力装置
２０３ 出力装置
２０４ メモリ
２０５ ストレージ
２０６ 通信部
２１１ 棚札検出部
２１２ 監視エリア設定部
２１３ 欠品検出部
２１４ 出力部
２１５ 棚札関連付け部
２１６ 検出棚札補正部
２６１，２６２ 通信インタフェース（ＩＦ）
４００ 棚割情報
ＭＡ 監視エリア

Claims (12)

  1. 陳列棚が含まれる映像データの映像認識によって、前記陳列棚に陳列される物品に対応して前記陳列棚に付された棚札を検出する検出部と、
    検出された前記棚札の位置に基づいて、前記映像データにおける前記陳列棚に対して前記物品が陳列されるべき監視エリアを設定する設定部と、
    前記監視エリアにおける前記物品の有無に対応した映像変化に基づいて、前記陳列棚における前記物品の陳列状況を監視する監視部と、
    前記監視部による監視結果を出力する出力部と、
    を備えた、棚監視装置。
  2. 少なくとも前記監視エリアそれぞれに陳列されるべき物品に関する情報を含む棚割情報を受信する通信部と、
    前記検出部によって検出された棚札に、前記棚割情報に含まれる前記物品に関する情報を関連付ける関連付け部と、を備え、
    前記出力部は、前記監視エリアの前記監視結果が前記物品の不足又は欠品を示す場合に、前記監視結果と、前記監視エリアに対応する前記棚札に関連付けられた前記物品に関する情報と、を出力する、
    請求項１に記載の棚監視装置。
  3. 前記監視エリアそれぞれに陳列されるべき物品のサイズ及び陳列数の少なくとも１つを含む棚割情報を受信する通信部と、
    前記棚割情報に含まれる前記物品のサイズ及び陳列数の少なくとも１つに基づいて、前記検出部によって検出された前記棚札の位置を補正する補正部と、を備えた、
    請求項１に記載の棚監視装置。
  4. 前記監視エリアそれぞれに陳列されるべき物品のサイズ及び陳列数の少なくとも１つを含む棚割情報を受信する通信部を備え、
    前記設定部は、前記棚割情報に含まれる前記物品のサイズ及び陳列数の少なくとも１つに基づいて、前記監視エリアのサイズを決定する、
    請求項１に記載の棚監視装置。
  5. 前記映像データは、少なくとも撮影方向が可変のカメラによって異なる複数の撮影方向において撮影された複数の映像データを含み、
    前記検出部は、前記撮影方向に対応した認識モデルを用いた映像認識によって、前記棚札を検出する、
    請求項１に記載の棚監視装置。
  6. 前記監視部は、前記監視エリアに現れる背景映像の面積割合に基づいて、前記物品の在庫レベルを段階的に検出し、
    前記出力部は、前記物品が欠品する前の段階で、前記在庫レベルを示す情報を出力する、
    請求項１に記載の棚監視装置。
  7. 前記監視エリアそれぞれに陳列されるべき物品の陳列数の情報を含む棚割情報を受信する通信部を備え、
    前記監視部は、前記監視エリアに現れる背景映像の面積割合と、前記棚割情報に含まれる物品の陳列数とに基づいて、前記物品の在庫レベルを段階的に検出する、
    請求項６に記載の棚監視装置。
  8. 前記設定部は、検出した棚札それぞれについて、当該棚札と隣り合う棚札である隣接棚札との間の距離を算出し、前記距離に基づいて前記棚札それぞれに対応する監視エリアを設定する、
    請求項１記載の棚監視装置。
  9. 前記棚札は、前記物品が陳列されるスペースそれぞれに対して所定の規則に従って配置されており、
    前記設定部は、前記棚札それぞれと前記隣接棚札との間の距離と前記所定の規則とに基づいて、前記監視エリアを設定する、
    請求項８に記載の棚監視装置。
  10. 前記設定部は、前記隣接棚札が存在しない棚札については、他の棚札について算出された距離に基づいて、前記隣接棚札が存在しない棚札に対応する監視エリアを設定する、
    請求項８に記載の棚監視装置。
  11. コンピュータが、陳列棚が含まれる映像データの映像認識によって、前記陳列棚に陳列される物品に対応して前記陳列棚に付された棚札を検出し、
    コンピュータが、検出された前記棚札の位置に基づいて、前記映像データにおける前記陳列棚に対して前記物品が陳列されるべき監視エリアを設定し、
    コンピュータが、前記監視エリアにおける前記物品の有無に対応した映像変化に基づいて、前記陳列棚における前記物品の陳列状況を監視し、
    コンピュータが、前記監視の結果を出力する、
    棚監視方法。
  12. 陳列棚が含まれる映像データの映像認識によって、前記陳列棚に陳列される物品に対応して前記陳列棚に付された棚札を検出し、
    検出された前記棚札の位置に基づいて、前記映像データにおける前記陳列棚に対して前記物品が陳列されるべき監視エリアを設定し、
    前記監視エリアにおける前記物品の有無に対応した映像変化に基づいて、前記陳列棚における前記物品の陳列状況を監視し、
    前記監視の結果を出力する、
    処理を、コンピュータに実行させる、
    棚監視プログラム。
JP2019549874A 2017-10-30 2018-08-14 棚監視装置、棚監視方法、及び、棚監視プログラム Active JP7236665B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023020721A JP2023057118A (ja) 2017-10-30 2023-02-14 棚監視装置、棚監視方法、及び、棚監視プログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017209440 2017-10-30
JP2017209440 2017-10-30
PCT/JP2018/030293 WO2019087519A1 (ja) 2017-10-30 2018-08-14 棚監視装置、棚監視方法、及び、棚監視プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023020721A Division JP2023057118A (ja) 2017-10-30 2023-02-14 棚監視装置、棚監視方法、及び、棚監視プログラム

Publications (2)

Publication Number Publication Date
JPWO2019087519A1 JPWO2019087519A1 (ja) 2020-11-26
JP7236665B2 true JP7236665B2 (ja) 2023-03-10

Family

ID=66332284

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019549874A Active JP7236665B2 (ja) 2017-10-30 2018-08-14 棚監視装置、棚監視方法、及び、棚監視プログラム
JP2023020721A Pending JP2023057118A (ja) 2017-10-30 2023-02-14 棚監視装置、棚監視方法、及び、棚監視プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023020721A Pending JP2023057118A (ja) 2017-10-30 2023-02-14 棚監視装置、棚監視方法、及び、棚監視プログラム

Country Status (5)

Country Link
US (1) US11640576B2 (ja)
EP (1) EP3706056A1 (ja)
JP (2) JP7236665B2 (ja)
CN (1) CN111295684A (ja)
WO (1) WO2019087519A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11176686B2 (en) * 2019-10-25 2021-11-16 7-Eleven, Inc. Image-based action detection using contour dilation
US11126861B1 (en) * 2018-12-14 2021-09-21 Digimarc Corporation Ambient inventorying arrangements
CN109754209B (zh) * 2019-01-02 2022-06-17 京东方科技集团股份有限公司 货品摆放区域确定方法及装置
WO2020186520A1 (zh) * 2019-03-21 2020-09-24 京东方科技集团股份有限公司 价签信息显示方法、装置及货架系统
US11494821B2 (en) * 2019-04-01 2022-11-08 Walmart Apollo, Llc Methods and systems for an electronic shelf label system
US11151743B2 (en) * 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
JP7404038B2 (ja) * 2019-11-21 2023-12-25 株式会社Retail AI 情報処理システムと情報処理装置と情報処理プログラムと情報処理方法
CN113011933A (zh) * 2019-12-19 2021-06-22 京东方智慧物联科技有限公司 一种商品陈列管理方法及系统
US11599742B2 (en) * 2020-04-22 2023-03-07 Dell Products L.P. Dynamic image recognition and training using data center resources and data
CN111985302A (zh) * 2020-07-02 2020-11-24 广东易理铺智能科技有限公司 一种基于单芯片多镜头货架检测方法
JP7464129B2 (ja) 2020-07-31 2024-04-09 日本電気株式会社 商品検知装置、商品検知システム、商品検知方法および商品検知プログラム
JP6796787B1 (ja) * 2020-08-05 2020-12-09 パナソニックＩｐマネジメント株式会社 業務支援システム、業務支援装置、端末、業務支援方法、業務方法、及び、コンピュータプログラム
JP7336708B2 (ja) * 2020-08-05 2023-09-01 パナソニックＩｐマネジメント株式会社 業務支援システム、業務支援装置、端末、業務支援方法、業務方法、及び、コンピュータプログラム
CN111860462B (zh) * 2020-08-07 2024-02-20 多点(深圳)数字科技有限公司 货架陈列反馈方法和装置
US11380090B2 (en) * 2020-09-10 2022-07-05 Flytech Technology Co., Ltd. Fast multi-modal object recognition system
US20220083767A1 (en) * 2020-09-11 2022-03-17 Sensormatic Electronics, LLC Method and system to provide real time interior analytics using machine learning and computer vision
CN114640797A (zh) * 2021-11-03 2022-06-17 深圳友朋智能商业科技有限公司 同步优化商品轨迹的订单生成方法、装置及智能售货机
JP7386446B2 (ja) 2022-04-13 2023-11-27 株式会社マーケットヴィジョン 情報処理システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090204512A1 (en) 2008-02-11 2009-08-13 Connell Ii Jonathan H Method and system for determining a restocking state of a product
JP2014193218A (ja) 2013-03-28 2014-10-09 Toppan Printing Co Ltd 電子棚札、電子棚札システム、表示データ生成装置、商品陳列棚及び電子棚札表示方法
US20150262116A1 (en) 2014-03-16 2015-09-17 International Business Machines Corporation Machine vision technology for shelf inventory management
JP2016099923A (ja) 2014-11-26 2016-05-30 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP2017182653A (ja) 2016-03-31 2017-10-05 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5294721A (en) 1976-02-04 1977-08-09 Victor Co Of Japan Ltd Information processing system using tv communication system
JPH0581552A (ja) * 1991-07-12 1993-04-02 Omron Corp 商品監視システム
US7134103B2 (en) * 2003-12-17 2006-11-07 International Business Machines Corporation Method, system, and product for verifying voltage drop across an entire integrated circuit package
US7693757B2 (en) 2006-09-21 2010-04-06 International Business Machines Corporation System and method for performing inventory using a mobile inventory robot
US20090094140A1 (en) 2007-10-03 2009-04-09 Ncr Corporation Methods and Apparatus for Inventory and Price Information Management
WO2013151553A1 (en) * 2012-04-05 2013-10-10 Intel Corporation Method and apparatus for managing product placement on store shelf
CN102930264B (zh) * 2012-09-29 2015-10-28 李炳华 基于图像识别技术的商品陈列信息采集分析系统及方法
US10242036B2 (en) * 2013-08-14 2019-03-26 Ricoh Co., Ltd. Hybrid detection recognition system
JP5728654B1 (ja) 2013-11-27 2015-06-03 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
US20170293959A1 (en) 2014-09-30 2017-10-12 Nec Corporation Information processing apparatus, shelf label management system, control method, and program
US9710926B2 (en) * 2015-01-30 2017-07-18 Hewlett-Packard Development Company, L.P. Image processing of a retail shelf area
WO2016142794A1 (en) * 2015-03-06 2016-09-15 Wal-Mart Stores, Inc Item monitoring system and method
WO2016205629A1 (en) * 2015-06-17 2016-12-22 Panasonic Intellectual Property Management Co., Ltd. Stock management apparatus, method and system
EP3154008B1 (en) * 2015-10-09 2017-12-20 Pricer AB Determination of a product position along a fixture
JP6517666B2 (ja) 2015-11-02 2019-05-22 株式会社東芝 物品管理装置、その方法、及びそのプログラム
WO2017117686A1 (en) 2016-01-08 2017-07-13 4D Space Genius Inc. Robot for automated image acquisition
US11087272B2 (en) 2016-03-29 2021-08-10 Bossa Nova Robotics Ip, Inc. System and method for locating, identifying and counting items
EP3458235A4 (en) * 2016-05-19 2019-11-27 Simbe Robotics, Inc. METHOD FOR THE AUTOMATIC PRODUCTION OF PATHWAY POINTS FOR THE IMAGING OF RAYS IN A STORE
JP6458772B2 (ja) 2016-05-27 2019-01-30 株式会社三洋物産 遊技機
JP6112436B1 (ja) 2016-06-20 2017-04-12 パナソニックＩｐマネジメント株式会社 モニタリングシステム、映像表示方法及びコンピュータプログラム
TWI618916B (zh) * 2016-09-23 2018-03-21 啟碁科技股份有限公司 貨架庫存估測方法與系統
US20180247264A1 (en) * 2017-02-28 2018-08-30 Wal-Mart Stores, Inc. Inventory management systems, devices and methods
WO2019023249A1 (en) * 2017-07-25 2019-01-31 Bossa Nova Robotics Ip, Inc. REDUCTION OF DATA IN A BAR CODE READING ROBOT SHELF SURVEILLANCE SYSTEM
FR3071341B1 (fr) * 2017-09-19 2019-09-20 Ses-Imagotag Procede mis en oeuvre par camera de controle de disposition d'articles pour des etageres equipees d'etiquettes electroniques de gondole
US10949799B2 (en) * 2018-06-29 2021-03-16 Focal Systems, Inc. On-shelf image based out-of-stock detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090204512A1 (en) 2008-02-11 2009-08-13 Connell Ii Jonathan H Method and system for determining a restocking state of a product
JP2014193218A (ja) 2013-03-28 2014-10-09 Toppan Printing Co Ltd 電子棚札、電子棚札システム、表示データ生成装置、商品陳列棚及び電子棚札表示方法
US20150262116A1 (en) 2014-03-16 2015-09-17 International Business Machines Corporation Machine vision technology for shelf inventory management
JP2016099923A (ja) 2014-11-26 2016-05-30 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP2017182653A (ja) 2016-03-31 2017-10-05 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法

Also Published As

Publication number Publication date
US20200334620A1 (en) 2020-10-22
US11640576B2 (en) 2023-05-02
JP2023057118A (ja) 2023-04-20
EP3706056A4 (en) 2020-09-09
JPWO2019087519A1 (ja) 2020-11-26
WO2019087519A1 (ja) 2019-05-09
CN111295684A (zh) 2020-06-16
EP3706056A1 (en) 2020-09-09

Similar Documents

Publication Publication Date Title
JP7236665B2 (ja) 棚監視装置、棚監視方法、及び、棚監視プログラム
JP7165884B2 (ja) 棚札検出装置、棚札検出方法、及び、棚札検出プログラム
WO2020048492A1 (zh) 商品状态识别
JP7142026B2 (ja) 商品配置適合結果の判定
US10387897B2 (en) Retail sales opportunity loss cause analysis based on image analysis of shelf display
US20170295953A1 (en) Monitoring device, monitoring system, and monitoring method
EP3211580B1 (en) Image processing apparatus, display control apparatus, image processing method and recording medium
US10943363B2 (en) Image processing apparatus, and image processing method
JP2019094191A (ja) 棚割生成プログラム、棚割生成方法及び棚割生成装置
JP2016071782A (ja) 商品陳列情報集計システム
JP2016194833A (ja) 商品陳列位置の判定処理方法、商品陳列位置の判定処理プログラム、及び商品陳列位置の判定処理装置
JP2016224800A (ja) 人物行動分析装置、人物行動分析システムおよび人物行動分析方法
JP7476938B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CA2990428A1 (en) Systems and methods for monitoring and restocking merchandise
JP7459947B2 (ja) 商品検知装置、商品検知システム、商品検知方法および商品検知プログラム
WO2021186654A1 (ja) 納品管理装置、納品管理方法および記憶媒体
US20220129821A1 (en) Retail traffic analysis statistics to actionable intelligence
US10891574B2 (en) Planogram resetting using augmented reality in a retail environment
JP6877806B6 (ja) 情報処理装置、プログラム及び情報処理方法
JP2021080087A (ja) 情報処理システムと情報処理装置と情報処理プログラムと情報処理方法
WO2022024364A1 (ja) 商品検知装置、商品検知システム、商品検知方法および記録媒体
JP2023129403A (ja) 情報処理システム、管理サーバ、管理方法、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230215

R151 Written notification of patent or utility model registration

Ref document number: 7236665

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151