JP5728654B1 - 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 - Google Patents

商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 Download PDF

Info

Publication number
JP5728654B1
JP5728654B1 JP2013244995A JP2013244995A JP5728654B1 JP 5728654 B1 JP5728654 B1 JP 5728654B1 JP 2013244995 A JP2013244995 A JP 2013244995A JP 2013244995 A JP2013244995 A JP 2013244995A JP 5728654 B1 JP5728654 B1 JP 5728654B1
Authority
JP
Japan
Prior art keywords
state
product
display
unit
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013244995A
Other languages
English (en)
Other versions
JP2015103153A (ja
Inventor
岩井　和彦
和彦 岩井
哲郎 柿沢
哲郎 柿沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2013244995A priority Critical patent/JP5728654B1/ja
Priority to US15/038,509 priority patent/US10304032B2/en
Priority to CN201480073292.XA priority patent/CN105917371A/zh
Priority to PCT/JP2014/005464 priority patent/WO2015079622A1/ja
Priority to EP14865351.2A priority patent/EP3076351A1/en
Application granted granted Critical
Publication of JP5728654B1 publication Critical patent/JP5728654B1/ja
Publication of JP2015103153A publication Critical patent/JP2015103153A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Stored Programmes (AREA)

Abstract

【課題】商品管理作業を指示する報知を適切かつ有効なタイミングで行うことができるようにする。【解決手段】店舗における陳列エリアの映像に基づいて、商品の陳列状況を監視する商品モニタリング装置を、陳列エリアの映像に基づいて、陳列エリア内の商品を検出する商品検出部４１と、この商品検出部の検出結果に基づいて陳列エリアにおける商品陳列状態を検知する商品状態検知部４２と、店舗内の映像に基づいて店舗内に滞在する人物を検出する人物検出部４３と、この人物検出部の検出結果に基づいて店舗内における人物滞在状態を検知する人物状態検知部４４と、商品状態検知部および人物状態検知部の検知結果に基づいて、商品管理作業を店員に指示する報知の可否を判定する報知判定部４５と、この報知判定部の判定結果に基づいて報知を行う報知部４６と、を備えたものとする。【選択図】図３

Description

本発明は、店舗における陳列エリアを撮影した映像に基づいて、商品の陳列状況を監視する商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法に関するものである。
コンビニエンスストアなどの店舗においては、店舗内を撮影するカメラを設置して、そのカメラの映像で店舗内の人物を監視する監視システムが広く普及しているが、この監視用のカメラあるいは別のカメラで陳列エリアを撮影して、その映像に基づいて商品の陳列状況を監視するようにすると、その商品の陳列状況に基づいて、商品陳列の不備を検知して、商品管理作業（整頓作業や補充作業）を店員に指示する報知を行うことで、商品陳列の不備を速やかに解消して、商品陳列の不備による販売機会の逸失や顧客満足度の低下を避けることができる。
このような商品管理作業の指示に関連するものとして、従来、陳列エリアを撮影した映像に基づいて、商品の補充の必要性を判断して、補充作業を指示する報知を行う技術が知られている（特許文献１参照）。また、陳列エリアを撮影した映像に基づいて、商品の整頓の必要性を判断して、整頓作業を指示する報知を行う技術が知られている（特許文献２参照）。また、陳列エリアを撮影した映像から遮蔽物を取り除いた修正画像を生成して、陳列エリアにおけるフェイスアップの状況を簡便に把握することができるようにした技術が知られている（特許文献３参照）。
特開平５−０８１５５２号公報 特許第３９０８０４７号公報 特許第４４５６４３７号公報
しかしながら、前記従来の技術では、陳列エリアにおける商品の陳列状況を監視して、必要に応じて商品管理作業（整頓作業や補充作業）を店員に指示することができるが、店員に商品管理作業を指示する報知が、必ずしも適切かつ有効なタイミングで行われないという問題があった。
例えば、レジカウンタで会計を行う顧客に対応している最中に商品管理作業の指示を受けても、店員は顧客の対応を優先させる必要があるため、すぐに商品管理作業を行うことができない。また、商品管理作業を必要とする陳列棚の前に顧客がいると、商品管理作業が顧客の邪魔になるため、商品管理作業を行うことができない。このように、商品の陳列状況を監視するだけでは、店員に商品管理作業を指示する報知を適切かつ有効なタイミングで行うことができない。
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、商品管理作業を指示する報知を適切かつ有効なタイミングで行うことができるように構成された商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法を提供することにある。
本発明の商品モニタリング装置は、店舗における陳列エリアを撮影した映像に基づいて、商品の陳列状況を監視する商品モニタリング装置であって、前記陳列エリアを撮影した映像に基づいて、前記陳列エリア内の商品を検出する商品検出部と、この商品検出部の検出結果に基づいて、前記陳列エリアにおける商品陳列状態を検知する商品状態検知部と、店舗内を撮影した映像に基づいて、店舗内に滞在する人物を検出する人物検出部と、この人物検出部の検出結果に基づいて、店舗内における人物滞在状態を検知する人物状態検知部と、前記商品状態検知部の検知結果および前記人物状態検知部の検知結果に基づいて、商品管理作業を店員に指示する報知の可否を判定する報知判定部と、この報知判定部の判定結果に基づいて、前記報知を行う報知部と、を備えた構成とする。
また、本発明の商品モニタリングシステムは、店舗における陳列エリアを撮影した映像に基づいて、商品の陳列状況を監視する商品モニタリングシステムであって、店舗内を撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記陳列エリアを撮影した映像に基づいて、前記陳列エリア内の商品を検出する商品検出部と、この商品検出部の検出結果に基づいて、前記陳列エリアにおける商品陳列状態を検知する商品状態検知部と、店舗内を撮影した映像に基づいて、店舗内に滞在する人物を検出する人物検出部と、この人物検出部の検出結果に基づいて、店舗内における人物滞在状態を検知する人物状態検知部と、前記商品状態検知部の検知結果および前記人物状態検知部の検知結果に基づいて、商品管理作業を店員に指示する報知の可否を判定する報知判定部と、この報知判定部の判定結果に基づいて、前記報知を行う報知部と、を備えた構成とする。
また、本発明の商品モニタリング方法は、店舗における陳列エリアを撮影した映像に基づいて、商品の陳列状況を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、前記陳列エリアを撮影した映像に基づいて、前記陳列エリア内の商品を検出するステップと、このステップの検出結果に基づいて、前記陳列エリアにおける商品陳列状態を検知するステップと、店舗内を撮影した映像に基づいて、店舗内に滞在する人物を検出するステップと、このステップの検出結果に基づいて、店舗内における人物滞在状態を検知するステップと、前記商品陳列状態を検知するステップの検知結果および前記人物滞在状態を検知するステップの検知結果に基づいて、商品管理作業を店員に指示する報知の可否を判定するステップと、このステップの判定結果に基づいて、前記報知を行うステップと、を有する構成とする。
本発明によれば、商品陳列状態の他に人物滞在状態を考慮して、商品管理作業を指示する報知の可否が判断されるため、適切かつ有効なタイミングで報知を行うことができる。すなわち、商品陳列状態および人物滞在状態で商品管理作業の必要性および可能性を判断することができ、商品陳列状態および人物滞在状態の双方を考慮することで、商品管理作業が必要でかつ可能な場合に報知が行われ、これにより、適切かつ有効なタイミングで報知を行うことができる。
第１実施形態に係る商品モニタリングシステムの全体構成図 店舗のレイアウト、およびカメラ１の設置状況を説明する店舗の平面図 ＰＣ３の概略構成を示す機能ブロック図 陳列エリア（陳列棚）における商品の陳列状態を示す説明図 報知判定部４５で行われる報知判定処理の手順を示すフロー図 人物滞在状態の一例を示す店舗の平面図 人物滞在状態の一例を示す店舗の平面図 人物滞在状態の一例を示す店舗の平面図 報知の発生状況に関する分析結果出力画面を示す説明図 報知の発生状況に関する分析結果出力画面を示す説明図 陳列不足状態に関する分析結果出力画面を示す説明図 陳列不足状態に関する分析結果出力画面を示す説明図 陳列不足状態に関する分析結果出力画面を示す説明図 第２実施形態に係る商品モニタリングシステムの全体構成図
前記課題を解決するためになされた第１の発明は、店舗における陳列エリアを撮影した映像に基づいて、商品の陳列状況を監視する商品モニタリング装置であって、前記陳列エリアを撮影した映像に基づいて、前記陳列エリア内の商品を検出する商品検出部と、この商品検出部の検出結果に基づいて、前記陳列エリアにおける商品陳列状態を検知する商品状態検知部と、店舗内を撮影した映像に基づいて、店舗内に滞在する人物を検出する人物検出部と、この人物検出部の検出結果に基づいて、店舗内における人物滞在状態を検知する人物状態検知部と、前記商品状態検知部の検知結果および前記人物状態検知部の検知結果に基づいて、商品管理作業を店員に指示する報知の可否を判定する報知判定部と、この報知判定部の判定結果に基づいて、前記報知を行う報知部と、を備えた構成とする。
これによると、商品陳列状態の他に人物滞在状態を考慮して、商品管理作業を指示する報知の可否が判断されるため、適切かつ有効なタイミングで報知を行うことができる。すなわち、商品陳列状態および人物滞在状態で商品管理作業の必要性および可能性を判断することができ、商品陳列状態および人物滞在状態の双方を考慮することで、商品管理作業が必要でかつ可能な場合に報知が行われ、これにより、適切かつ有効なタイミングで報知を行うことができる。
また、第２の発明は、前記人物状態検知部は、会計を行う顧客が滞在する会計エリアにおける人物滞在状態を検知し、前記報知判定部は、前記人物状態検知部で検知された前記会計エリアにおける人物滞在状態が、商品管理作業を困難にする状態である場合には、前記報知を行わないものとする構成とする。
これによると、商品管理作業が困難な場合に、無駄な報知が行われることを避けることができる。
また、第３の発明は、前記人物状態検知部は、前記陳列エリアに陳列された商品を見る顧客が滞在する商品アクセスエリアにおける人物滞在状態を検知し、前記報知判定部は、前記人物状態検知部で検知された前記商品アクセスエリアにおける人物滞在状態が、その商品アクセスエリアにおける商品管理作業を困難にする状態である場合には、前記報知を行わないものとする構成とする。
これによると、商品管理作業が困難な場合に、無駄な報知が行われることを避けることができる。
また、第４の発明は、前記人物状態検知部は、会計を行う顧客が滞在する会計エリア、および前記陳列エリアに陳列された商品を見る顧客が滞在する商品アクセスエリアにおける人物滞在状態を検知し、前記報知判定部は、前記商品状態検知部で検知された商品陳列状態が、商品管理作業を必要とする状態であり、かつ、前記人物状態検知部で検知された前記会計エリアにおける人物滞在状態が、商品管理作業を困難にする状態でなく、かつ、前記人物状態検知部で検知された前記商品アクセスエリアにおける人物滞在状態が、その商品アクセスエリアにおける商品管理作業を困難にする状態でない場合に、前記報知を行うものとする構成とする。
これによると、商品管理作業が必要でかつ困難でない場合に報知が行われることから、適切かつ有効なタイミングで報知を行うことができる。
また、第５の発明は、前記商品状態検知部は、前記商品陳列状態として、陳列乱れ状態および陳列不足状態の少なくともいずれかを検知し、前記報知部は、前記商品管理作業として、陳列の乱れを解消する整頓作業、および商品の不足を解消する補充作業の少なくともいずれかを店員に指示する報知を行う構成とする。
これによると、商品の陳列に不備がある場合に、その不備の内容に応じて適切な報知を行うことができる。これにより、店員が、報知の内容に応じて適切な商品管理作業を迅速に行うことができる。
また、第６の発明は、前記報知判定部は、前記商品状態検知部の検知結果および前記人物状態検知部の検知結果に加えて、在庫情報、販売情報および人員配置情報の少なくともいずれかに基づいて、前記報知の可否を判定する構成とする。
これによると、在庫情報、販売情報および人員配置情報に基づく店舗の在庫状況、売上げ状況および店員の配置状況などを考慮して、報知の可否を判定するため、より一層適切かつ有効なタイミングで報知を行うことができる。
また、第７の発明は、前記商品状態検知部で取得した検知時刻ごとの商品陳列状態に関する情報、および前記報知部で行われた前記報知に関する情報を蓄積する情報蓄積部と、この情報蓄積部に蓄積された情報に基づいて、前記商品陳列状態の時間的な推移状況および前記報知の発生状況に関する集計結果を取得する集計部と、この集計部で取得した前記集計結果に基づいて、前記商品陳列状態の時間的な推移状況および前記報知の発生状況を統合した表示情報を生成する表示情報生成部と、をさらに備えた構成とする。
これによると、商品陳列状態の時間的な推移状況と比較しながら、報知がどのようなタイミングで発生したかをユーザが把握することができる。
また、第８の発明は、前記商品状態検知部は、前記商品陳列状態として、陳列乱れ状態および陳列不足状態を検知し、ユーザの入力操作に応じて、前記陳列乱れ状態および前記陳列不足状態の各々に対応する報知の種別を選択する入力情報を取得する入力情報取得部をさらに備え、前記集計部は、前記入力情報取得部で取得した入力情報に基づいて、ユーザが選択した種別の報知の発生状況に関する集計結果を取得し、前記表示情報生成部は、前記集計結果に関する前記表示情報を生成する構成とする。
これによると、報知の種別に応じて、商品陳列状態の時間的な推移状況と比較しながら、報知がどのようなタイミングで発生したかをユーザが把握することができる。これにより、報知の種別、すなわち商品陳列の不備の内容に応じて、店舗における商品管理上の問題点を検討することができる。
また、第９の発明は、前記人物状態検知部は、前記人物滞在状態として、検知時刻ごとの滞在人数を取得し、前記情報蓄積部は、前記人物状態検知部で取得した検知時刻ごとの滞在人数を蓄積し、前記集計部は、前記情報蓄積部に蓄積された情報に基づいて、前記滞在人数の時間的な推移状況に関する集計結果を取得し、前記表示情報生成部は、前記集計部で取得した前記集計結果に基づいて、前記商品陳列状態の時間的な推移状況および前記報知の発生状況に、前記滞在人数の時間的な推移状況を統合した表示情報を生成する構成とする。
これによると、店舗内の滞在人数の時間的な推移状況と比較しながら、報知の発生状況をユーザが確認することができる。これにより、店舗における商品管理上の問題点を認識することができる。
また、第１０の発明は、前記商品状態検知部で取得した検知時刻ごとの前記商品陳列状態の検知結果を蓄積する情報蓄積部と、この情報蓄積部に蓄積された前記検知時刻ごとの検知結果を所定の集計期間単位で集計して、その集計期間ごとの商品陳列状態を取得する商品状態集計部と、この商品状態集計部で取得した前記集計期間ごとの商品陳列状態に関する表示情報を生成する表示情報生成部と、をさらに備えた構成とする。
これによると、商品陳列状態を集計期間ごとにユーザが把握することができる。そして、集計期間ごとの商品陳列状態を比較することで、商品陳列状態の集計期間による違いをユーザが把握することができる。
また、第１１の発明は、店舗における陳列エリアを撮影した映像に基づいて、商品の陳列状況を監視する商品モニタリングシステムであって、店舗内を撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記陳列エリアを撮影した映像に基づいて、前記陳列エリア内の商品を検出する商品検出部と、この商品検出部の検出結果に基づいて、前記陳列エリアにおける商品陳列状態を検知する商品状態検知部と、店舗内を撮影した映像に基づいて、店舗内に滞在する人物を検出する人物検出部と、この人物検出部の検出結果に基づいて、店舗内における人物滞在状態を検知する人物状態検知部と、前記商品状態検知部の検知結果および前記人物状態検知部の検知結果に基づいて、商品管理作業を店員に指示する報知の可否を判定する報知判定部と、この報知判定部の判定結果に基づいて、前記報知を行う報知部と、を備えた構成とする。
これによると、第１の発明と同様に、商品管理作業を指示する報知を適切かつ有効なタイミングで行うことができる。
また、第１２の発明は、店舗における陳列エリアを撮影した映像に基づいて、商品の陳列状況を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、前記陳列エリアを撮影した映像に基づいて、前記陳列エリア内の商品を検出するステップと、このステップの検出結果に基づいて、前記陳列エリアにおける商品陳列状態を検知するステップと、店舗内を撮影した映像に基づいて、店舗内に滞在する人物を検出するステップと、このステップの検出結果に基づいて、店舗内における人物滞在状態を検知するステップと、前記商品陳列状態を検知するステップの検知結果および前記人物滞在状態を検知するステップの検知結果に基づいて、商品管理作業を店員に指示する報知の可否を判定するステップと、このステップの判定結果に基づいて、前記報知を行うステップと、を有する構成とする。
これによると、第１の発明と同様に、商品管理作業を指示する報知を適切かつ有効なタイミングで行うことができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
（第１実施形態）
図１は、第１実施形態に係る商品モニタリングシステムの全体構成図である。この人物行動分析システムは、コンビニエンスストアなどの小売チェーン店などを対象にして構築されるものであり、複数の店舗ごとに設けられたカメラ（撮像装置）１、レコーダ（画像記録装置）２、ＰＣ（商品モニタリング装置）３、およびモニタ（表示装置）４と、複数の店舗を総括する本部に設けられたＰＣ１１、およびモニタ１２と、を備えている。
カメラ１は店舗内の適所に設置され、カメラ１により店舗内が撮像され、これにより得られた画像情報がレコーダ２に録画される。店舗に設けられたＰＣ３や本部に設けられたＰＣ１１では、カメラ１で撮像された店舗内の画像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の画像を閲覧することができ、これにより店舗や本部で店舗内の状況を確認することができる。
店舗に設置されたＰＣ３は、店舗内での商品の陳列状況を監視する商品モニタリング装置として構成される。また、このＰＣ３では、店舗内での商品の陳列状況などに関する分析処理が行われ、この分析処理で生成した分析結果情報を、ＰＣ３自身で閲覧することができ、さらに、本部に設置されたＰＣ１１に送信されて、このＰＣ７でも閲覧することができ、ＰＣ３，１１が分析結果情報を閲覧する閲覧装置として構成される。
次に、コンビニエンスストアを例にして店舗のレイアウト、およびカメラ１の設置状況について説明する。図２は、店舗のレイアウト、およびカメラ１の設置状況を説明する店舗の平面図である。
店舗には、出入口と、陳列棚（陳列エリア）と、レジカウンタと、が設けられている。陳列棚は、弁当、ペットボトル、おにぎりなどの商品の種類に分けて設置されている。レジカウンタの隣にはファーストフードの陳列棚が設置されている。
顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで会計（代金の支払い）を済ませた後に出入口から退店する。ここで、顧客は、会計を行う際にレジカウンタの前に滞在するが、このような会計を行う顧客の状態を検知するため、本実施形態では、レジカウンタの前に会計エリアが設定されている。また、顧客は、陳列棚の商品を見て購買するか否かを決定する際に陳列棚の前に滞在するが、このような陳列棚の商品を見る顧客の状態を検知するため、本実施形態では、陳列棚の前に商品アクセスエリアが設定されている。この商品アクセスエリアは陳列エリアごとに設定される。
また、店舗には、店舗内（監視エリア）を撮像する複数のカメラ１が設置されている。特に、図２に示す例では、カメラ１に、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラが採用され、このカメラ１により、陳列棚に陳列された商品を撮像することができ、また、陳列棚やレジカウンタの前に滞在する人物を撮像することができる。
なお、同一のカメラ１で陳列棚と人物との双方を撮像するようにしてもよいが、陳列棚を撮像するカメラと、人物を撮像するカメラとを別々に設置するようにしてもよい。
次に、図１に示したＰＣ３で行われる処理を機能ブロック図に基づいて説明する。図３は、ＰＣ３の概略構成を示す機能ブロック図である。
ＰＣ３は、監視部３１と、商品モニタリング部３２と、分析部３３と、を備えている。監視部３１は、ＰＣ３を店舗内を監視する監視システムとして機能させるものであり、この監視部３１により、カメラ１およびレコーダ２の動作が制御され、また、カメラ１で撮像された店舗内の画像をリアルタイムで閲覧し、また、レコーダ２に録画された店舗内の画像を閲覧することができる。
商品モニタリング部３２は、店舗における陳列エリア（陳列棚）を撮影した映像に基づいて、商品の陳列状況を監視するものであり、商品検出部４１と、商品状態検知部４２と、人物検出部４３と、人物状態検知部４４と、報知判定部４５と、報知部４６と、を備えている。
商品検出部４１では、カメラ１により陳列エリアを撮影した映像に基づいて、陳列エリア内の商品を検出する処理が行われる。この商品検出処理は、公知の画像認識技術、すなわち映像から物体の像を抽出して物体の位置を求める技術を利用すればよく、商品検出部４１から、各陳列エリアにおける商品の位置に関する検出結果が検出時刻ごとに出力される。
商品状態検知部４２では、商品検出部４１の検出結果に基づいて、陳列エリアにおける商品陳列状態を検知する処理が行われる。この商品状態検知処理は、商品陳列の不備を検知するものであり、この商品陳列の不備には、陳列エリアに陳列された商品の配置に乱れがある陳列乱れ状態と、陳列エリアに陳列された商品の個数に不足がある陳列不足状態とがあり、商品状態検知処理が陳列乱れ状態および陳列不足状態の各々に関して行われ、商品状態検知部４２から、検知時刻ごとの商品陳列状態（陳列乱れ状態および陳列不足状態）の検知結果が出力される。
また、陳列乱れ状態の検知処理では、商品検出部４１の検出結果から陳列乱れがあるものと判定された状態が所定の時間継続した場合に要整頓状態と判断する。また、陳列不足状態の検知処理では、商品検出部４１の検出結果から商品の個数に不足があるものと判定された状態が所定の時間継続した場合に要補充状態と判断する。なお、この商品状態検知処理については後に詳しく説明する。
人物検出部４３では、カメラ１により店舗内を撮影した映像に基づいて、店舗内に滞在する人物を検出する処理が行われる。この人物検出処理は、公知の画像認識技術、すなわち映像から人物の像を抽出して人物の位置を求める技術を利用すればよく、人物検出部４３から、店舗内における人物の位置に関する検出結果が検出時刻ごとに出力される。
人物状態検知部４４では、人物検出部４３の検出結果に基づいて、店舗内における人物滞在状態を検知する処理が行われる。本実施形態では、会計エリアにおける滞在人数、商品アクセスエリアごとの滞在人数、すなわち会計エリアまたは商品アクセスエリアに同時に滞留する人物の人数を計測し、人物状態検知部４４から、会計エリアまたは商品アクセスエリア別の滞在人数が検知時刻ごとに出力される。なお、この滞在人数計測処理では、所定の検出期間（例えば３秒間）で継続して会計エリアまたは商品アクセスエリア内に１人の人物が検出された場合に１カウントとする。
報知判定部４５では、商品状態検知部４２の検知結果、すなわち陳列エリアにおける商品陳列状態（陳列乱れ状態および陳列不足状態）、および人物状態検知部４４の検知結果、すなわち会計エリアにおける滞在人数と商品アクセスエリアごとの滞在人数に基づいて、商品管理作業を店員に指示する報知の可否を判定する処理が行われる。この報知判定処理では、陳列エリアにおける商品陳列状態に基づいて、商品管理作業を必要とする陳列エリアを決定し、会計エリアにおける滞在人数と商品管理作業を必要とする陳列エリアに対応する商品アクセスエリアの滞在人数とに基づいて、商品管理作業が可能か否かを判断し、商品管理作業が可能な場合に、報知を行うものとする。なお、この報知判定処理の手順については後に詳しく説明する。
報知部４６では、報知判定部４５の判定結果に基づいて、商品管理作業を店員に指示する報知が行われる。この報知は、陳列乱れ状態および陳列不足状態の各々に関して行われる。すなわち、陳列乱れ状態（要整頓状態）の場合には、それを解消する商品整頓作業を店員に指示する報知（陳列乱れアラート）が行われ、陳列不足状態（要補充状態）の場合には、それを解消する商品補充作業を店員に指示する報知（陳列不足アラート）が行われる。この報知（陳列乱れアラートおよび陳列不足アラート）は、モニタ４の画面にメッセージを表示すればよいが、スピーカやランプなどの適宜な出力装置で出力するようにしてもよい。
ところで、商品アクセスエリアに人物が滞在していた場合、陳列エリアで要整頓状態または要補充状態が発生している可能性が高いため、商品アクセスエリアの滞在人数に基づいて、その商品アクセスエリアに対応する陳列エリアの商品陳列状態を予測することができ、この商品陳列状態の予測結果に基づいて、報知判定部４５で報知の可否を判定することも可能である。この場合、商品状態検知部４２の検知結果に基づく報知とは異なる報知、例えば陳列乱れまたは陳列不足が発生している可能性がある旨の報知を行うようにしてもよい。
なお、監視部３１、商品モニタリング部３２および分析部３３は、ＰＣ３のＣＰＵで監視用、商品モニタリング用および商品陳列状態分析用のプログラムを実行させることで実現される。これらのプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。
次に、図３に示した商品状態検知部４２で行われる陳列乱れ状態および陳列不足状態の判定について説明する。図４は、陳列エリア（陳列棚）における商品の陳列状態を示す説明図である。
陳列乱れ状態の検知では、商品の陳列に乱れがあるか否かを判別する。すなわち、図４（Ａ−１）に示すように、陳列棚の奥にしか商品がない陳列乱れのある状態と、図４（Ａ−２）に示すように、陳列棚の最前列に商品が並んでいる陳列乱れのない状態と、を判別する。そして、本実施形態では、図４（Ａ−１）に示す陳列乱れのある状態を要整頓状態として、この場合に、陳列乱れ状態を解消する商品整頓作業を店員に指示する報知（陳列乱れアラート）が行われる。
なお、図４に示す例では、陳列棚の前面の体裁を整えるフェイスアップの場合を示したが、陳列エリアがワゴンの場合のように上方が開放された状態の場合、全体的な陳列状態の乱れを解消する必要があるため、全体的な商品の陳列状態に基づいて陳列乱れ状態の判定を行うとよい。
また、陳列乱れ状態の検知では、ある程度の陳列の乱れを許容するものとして、陳列の乱れが顕著である場合に、陳列乱れ状態と判定して、報知を行うようにしてもよい。この場合、陳列の乱れの程度を数値化して、これを所定のしきい値と比較することで、陳列乱れ状態か否かを判定すればよい。
陳列不足状態の検知では、陳列された商品に不足があるか否かを判別する。すなわち、図４（Ｂ−１）に示すように、欠品状態、すなわち陳列棚に商品が全くない状態と、図４（Ｂ−２）に示すように、不足状態、すなわち陳列棚の商品が不足している状態と、図４（Ｂ−３）に示すように、充足状態、すなわち陳列棚に十分な数の商品が陳列されている状態と、を判別する。そして、本実施形態では、図４（Ｂ−１）に示す欠品状態と、図４（Ｂ−２）に示す不足状態を要補充状態として、これらの場合に、商品の不足を解消する商品補充作業を店員に指示する報知（陳列不足アラート）が行われる。
ここで、不足状態と充足状態との判別は、不足率、すなわち商品が不足している割合を所定のしきい値（例えば５０％）と比較して行えばよく、不足率が所定のしきい値を超えた場合には不足状態と判定し、不足率がしきい値に達しない場合には充足状態と判定する。
なお、ここでは、陳列不足状態の検知で３つの場合分けを行ったが、これに限定されるものではなく、２つ、あるいは４つ以上に場合分けするようにしてもよい。
次に、図３に示した報知判定部４５で行われる報知判定処理について説明する。図５は、報知判定部４５で行われる報知判定処理の手順を示すフロー図である。図６、図７および図８は、人物滞在状態の一例を示す店舗の平面図である。
報知判定部４５では、前記のように、商品状態検知部４２の検知結果および人物状態検知部４４の検知結果に基づいて、報知の可否を判定する。この報知判定は、店舗内の陳列エリア（陳列棚）を対象にして順番に行われ、図５に示すように、商品状態検知部４２による陳列乱れ状態の検知結果（ＳＴ１０１）、商品状態検知部４２による陳列不足状態の検知結果（ＳＴ１０２）、人物状態検知部４４による会計エリアにおける人物滞在状態の検知結果（ＳＴ１０３）、および商品アクセスエリアにおける人物滞在状態の検知結果（ＳＴ１０４）に応じて、報知の可否を判定する（ＳＴ１０５，ＳＴ１０６）。これが、陳列棚ごとに実施され、全ての陳列棚が終了するまで繰り返される。
具体的には、陳列乱れ状態の検知結果（ＳＴ１０１）が「陳列乱れなし」となり、または、陳列不足状態の検知結果（ＳＴ１０２）が「不足なし」（充足状態）となる場合には、当然ながら、報知を行わないものとする（ＳＴ１０６）。
また、陳列乱れ状態の検知結果（ＳＴ１０１）が「陳列乱れあり」となり、または、陳列不足状態の検知結果（ＳＴ１０２）が「不足あり」（欠品状態または不足状態）となる場合でも、会計エリアにおける人物滞在状態の検知結果（ＳＴ１０３）が「人物あり」となる場合には、報知を行わないものとする（ＳＴ１０６）。
例えば、図６に示す例では、ある陳列棚で、商品の陳列に乱れが発生し、または商品の陳列数に不足が発生して、商品状態検知部４２により、その陳列棚が要整頓状態または要補充状態と検知される。また、レジカウンタの付近には会計を行う人物が滞在しており、人物状態検知部４４により、会計エリアに人物が滞在していることが検知される。
この場合、店員は、レジカウンタで会計を行う顧客の対応を優先する必要があるため、商品管理作業を行うことができない。このため、要整頓状態または要補充状態が発生している棚列棚があっても、商品管理作業を促す報知は行われない。
また、陳列乱れ状態の検知結果（ＳＴ１０１）が「陳列乱れあり」となり、または、陳列不足状態の検知結果（ＳＴ１０２）が「不足あり」となり、かつ、会計エリアにおける人物滞在状態の検知結果（ＳＴ１０３）が「人物なし」となる場合でも、陳列棚に対応する商品アクセスエリアにおける人物滞在状態の検知結果（ＳＴ１０４）が「人物あり」となる場合には、報知を行わないものとする（ＳＴ１０６）。
例えば、図７に示す例では、図６に示す例と同様に、ある陳列棚で、商品の陳列に乱れが発生し、または商品の陳列数に不足が発生して、商品状態検知部４２により、その陳列棚が要整頓状態または要補充状態と検知される。また、レジカウンタの付近には会計を行う人物が滞在していないため、人物状態検知部４４により、会計エリアに人物が滞在していることは検知されないが、要整頓状態または要補充状態と検知された陳列棚に対応する商品アクセスエリアには人物が滞在しており、人物状態検知部４４により、商品アクセスエリアに人物が滞在していることが検知される。
この場合、要整頓状態または要補充状態が発生している陳列棚で、商品管理作業（商品整頓作業または商品補充作業）を行うことは、顧客の邪魔になるため、店員は、商品管理作業を行うことができないため、商品管理作業を促す報知は行われない。
一方、陳列乱れ状態の検知結果（ＳＴ１０１）が「陳列乱れあり」となり、または、陳列不足状態の検知結果（ＳＴ１０２）が「不足あり」となり、かつ、会計エリアにおける人物滞在状態の検知結果（ＳＴ１０３）が「人物なし」となる場合に、陳列棚に対応する商品アクセスエリアにおける人物滞在状態の検知結果（ＳＴ１０４）が「人物なし」となる場合には、商品管理指示の報知を行うものとする（ＳＴ１０５）。
例えば、図８に示す例では、図６に示す例と同様に、ある陳列棚で、商品の陳列に乱れが発生し、または商品の陳列数に不足が発生して、商品状態検知部４２により、その陳列棚が要整頓状態または要補充状態と検知される。レジカウンタの付近には会計を行う人物が滞在していないため、人物状態検知部４４により、会計エリアに人物が滞在していることは検知されず、また、要整頓状態または要補充状態と検知された陳列棚に対応する商品アクセスエリアにも人物が滞在していないため、人物状態検知部４４により、商品アクセスエリアに人物が滞在していることは検知されない。
この場合、店員は、要整頓状態または要補充状態が発生している陳列棚で、問題なく商品管理作業（商品整頓作業または商品補充作業）を行うことができるため、商品管理作業を促す報知が行われる。
なお、ここでは、会計エリアにおける人物滞在状態の検知結果に関する判定（図５のＳＴ１０３）および商品アクセスエリアにおける人物滞在状態の検知結果に関する判定（図５のＳＴ１０４）では、人物の有無で判定を行い、会計エリアや商品アクセスエリアに１人でも人物がいれば、報知を行わないようにしたが、２人以上とした所定のしきい値を超えた場合に、報知を行わないようにしてもよい。また、会計エリアと商品アクセスエリアとでは事情が異なるため、会計エリアと商品アクセスエリアとで人数のしきい値を変えるようにしてもよい。
以上のように本実施形態では、商品陳列状態の他に人物滞在状態を考慮して、商品管理作業を指示する報知の可否が判断されるため、適切かつ有効なタイミングで報知を行うことができる。すなわち、商品陳列状態および人物滞在状態で商品管理作業の必要性および可能性を判断することができ、商品陳列状態および人物滞在状態の双方を考慮することで、商品管理作業が必要でかつ可能な場合に報知が行われ、これにより、適切かつ有効なタイミングで報知を行うことができる。
また、本実施形態では、会計を行う顧客が滞在する会計エリアにおける人物滞在状態を検知し、その会計エリアにおける人物滞在状態が、商品管理作業を困難にする状態である場合には、報知を行わないようにしたため、商品管理作業が困難な場合に、無駄な報知が行われることを避けることができる。
また、本実施形態では、陳列エリアに陳列された商品を見る顧客が滞在する商品アクセスエリアにおける人物滞在状態を検知し、その商品アクセスエリアにおける人物滞在状態が、その商品アクセスエリアにおける商品管理作業を困難にする状態である場合には、報知を行わないようにしたため、商品管理作業が困難な場合に、無駄な報知が行われることを避けることができる。
また、本実施形態では、会計を行う顧客が滞在する会計エリア、および陳列エリアに陳列された商品を見る顧客が滞在する商品アクセスエリアにおける人物滞在状態を検知し、商品陳列状態が、商品管理作業を必要とする状態であり、かつ、会計エリアにおける人物滞在状態が、商品管理作業を困難にする状態でなく、かつ、商品アクセスエリアにおける人物滞在状態が、その商品アクセスエリアにおける商品管理作業を困難にする状態でない場合に、報知を行うようにしたため、商品管理作業が必要でかつ困難でない場合に報知が行われることから、適切かつ有効なタイミングで報知を行うことができる。
また、本実施形態では、商品陳列状態として、陳列乱れ状態および陳列不足状態を検知し、商品管理作業として、陳列の乱れを解消する整頓作業、および商品の不足を解消する補充作業を店員に指示する報知を行うようにしたため、商品の陳列に不備がある場合に、その不備の内容に応じて適切な報知を行うことができる。これにより、店員が、報知の内容に応じて適切な商品管理作業を迅速に行うことができる。
次に、図３に示したＰＣ３の分析部３３で行われる商品陳列状態分析処理について説明する。
ＰＣ３の分析部３３は、商品陳列状態に関する分析を行うものであり、情報蓄積部５１と、集計部５２と、ＧＵＩ制御部５３と、を備えている。
情報蓄積部５１では、報知部４６で行われた報知（陳列乱れアラートおよび陳列不足アラート）の発生時刻などに関する報知発生情報が蓄積される。また、情報蓄積部５１では、商品状態検知部４２で取得した検知時刻ごとの商品陳列状態（陳列乱れ状態および陳列不足状態）の検知結果が蓄積される。また、情報蓄積部５１では、人物状態検知部４４で取得した検知時刻ごとの滞在人数が蓄積される。
集計部５２は、商品状態集計部５４と、人物状態集計部５５と、を備えている。
商品状態集計部５４では、情報蓄積部５１に蓄積された検知時刻ごとの商品陳列状態（陳列乱れ状態および陳列不足状態）の検知結果を所定の集計期間単位（例えば時間帯、日、月）で集計して、その集計期間ごとに商品陳列状態を取得する処理が行われる。この集計処理は、陳列乱れ状態および陳列不足状態の各々で行われる。
商品陳列状態の集計処理には、種々の方法があるが、例えば、商品管理上の問題がより大きな状態を優先させて、集計期間ごとの商品陳列状態を取得すればよい。すなわち、陳列乱れ状態の集計処理では、陳列乱れ状態を正常状態より優先させ、集計期間内に陳列乱れ状態が検知されると、その集計期間は陳列乱れ状態とし、集計期間内に陳列乱れ状態が検知されない場合には、その集計期間は陳列乱れ状態でないものとする。また、陳列不足状態の集計処理では、不足の程度が大きいものを優先させ、集計期間内に欠品状態が検知されると、その集計期間は欠品状態とし、集計期間内に欠品状態が検知されず、かつ不足状態が検知されると、その集計期間は不足状態とし、集計期間内に欠品状態および不足状態のいずれも検知されない場合には、その集計期間は充足状態とする。
また、商品陳列状態の集計処理には、商品陳列状態の検知結果を集計期間内で平均化するようにしてもよい。例えば、検知された各状態の時間的な割合で集計期間ごとの商品陳列状態を取得する。すなわち、陳列乱れ状態の集計処理では、集計期間内での陳列乱れ状態と正常状態との時間的な割合を求め、その割合に応じて集計期間ごとの商品陳列状態を取得する。また、陳列不足状態の集計処理では、集計期間内での欠品状態、不足状態および充足状態の各状態の時間的な割合を求め、その割合に応じて集計期間ごとの商品陳列状態を取得する。
人物状態集計部５５では、情報蓄積部５１に蓄積された検知時刻ごとの滞在人数を所定の集計期間（例えば時間帯、日および月など）単位で集計して、その集計期間ごとの滞在人数を取得する処理が行われる。人物状態検知部４４では、検知時刻ごとの滞在人数が商品アクセスエリア別に求められ、これを合計することで店舗全体での滞在人物を取得することができる。
ＧＵＩ制御部５３は、モニタ４およびマウスなどの入力デバイス（入力部）６を用いたＧＵＩ（Graphical User Interface）により、ユーザの入力操作による入力情報を取得する処理、および人物の移動状況に関する分析結果を出力する処理を行うものであり、入力情報取得部５６と、画面生成部（表示情報生成部）５７と、を備えている。
画面生成部５７では、報知の発生状況や商品陳列状態に関する分析結果出力画面に関する表示情報を生成する処理が行われ、分析結果出力画面がモニタ４に表示される。入力情報取得部５６では、モニタ４に表示させた分析結果出力画面上で入力デバイス６を用いてユーザが行った入力操作に応じて入力情報を取得する処理が行われる。この入力情報取得部５６で取得した入力情報に基づいて、分析部３３で行われる分析処理の条件を設定する処理が行われる。
特に、画面生成部５７では、商品状態集計部５４および人物状態集計部５５で取得した情報に基づいて、所定の対象期間における商品陳列状態の時間的な推移状況、報知の発生状況、および人物滞在状態の時間的な推移状況を統合して表示する分析結果出力画面（図９および図１０参照）に関する表示情報を生成する処理が行われ、この分析結果出力画面がモニタ４に表示される。
また、画面生成部５７では、商品状態集計部５４および人物状態集計部５５で取得した情報に基づいて、集計期間ごとの商品陳列状態を陳列エリア別に表示する分析結果出力画面（図１１参照）や、長さが異なる集計期間で集計された集計期間ごとの商品陳列状態を並べて表示する分析結果出力画面（図１２参照）や、集計期間ごとの商品陳列状態および滞在人数を並べて表示する分析結果出力画面（図１３参照）に関する表示情報を生成する処理が行われ、これらの分析結果出力画面がモニタ４に表示される。
次に、図３に示したモニタ４に表示される分析結果出力画面、特に報知の発生状況に関する分析結果出力画面について説明する。図９および図１０は、報知の発生状況に関する分析結果出力画面を示す説明図である。
図９に示す分析結果出力画面は、陳列乱れアラート、すなわち要整頓状態（商品の陳列に乱れがある状態）の場合にそれを解消する商品整頓作業を店員に指示する報知の発生状況に関するものである。
この分析結果出力画面には、店舗選択部６１と、開始ボタン６２と、陳列エリア選択部６３と、分析結果選択部６４と、日付表示部６５と、カレンダーボタン６６と、分析結果表示部６７と、が設けられている。
店舗選択部６１は、プルダウンメニューにより店舗を選択するものである。開始ボタン６２は、分析部３３に分析処理を開始させるものである。陳列エリア選択部６３は、プルダウンメニューにより陳列エリアを選択するものである。
分析結果選択部６４は、プルダウンメニューにより分析結果を選択するものである。本実施形態では、陳列乱れアラートの発生状況に関する分析結果、陳列不足アラートの発生状況に関する分析結果、陳列乱れ状態に関する分析結果、および陳列不足状態に関する分析結果などを選択することができ、各分析結果の出力画面がモニタ４に表示される。特にここでは、陳列乱れアラート分析が選択されており、分析結果表示部６７に、陳列乱れアラートの発生状況に関する分析結果が表示される。
日付表示部６５は、日付を表示するものであり、カレンダーボタン６６は、日付を選択するものであり、カレンダーボタン６６を操作すると、カレンダー画面が表示され、ここで日付を選択することで、選択した日付が日付表示部６５に表示され、また、選択した日付の分析結果が分析結果表示部６７に表示される。
分析結果表示部６７には、滞在人数表示部６８と、アラート発生状況表示部６９と、表示時刻操作部７０と、が設けられている。
滞在人数表示部６８には、グラフ表示部７１設けられており、このグラフ表示部７１では、店舗全体での滞在人数の時間的な推移状況がグラフ（折れ線グラフ）で表示されている。グラフでは、横軸が時間帯となり、縦軸が滞在人数となっている。このグラフにおける滞在人数は、集計期間を時間帯として人物状態集計部５５で集計された時間帯ごとの滞在人数である。これにより、店舗内の滞在人数の時間的な推移状況をユーザが把握することができる。
アラート発生状況表示部６９には、映像表示部７２と、グラフ表示部７３と、が陳列エリア別に設けられている。特にここでは、陳列エリアに弁当の陳列棚と、ペットボトルの陳列棚とが選択されている。映像表示部７２では、陳列エリアの映像が表示される。また、この映像表示部７２では、陳列エリア内の検出エリアを示す枠画像が表示される。
グラフ表示部７３では、陳列乱れ状態の時間的な推移状況がグラフ（折れ線グラフ）で表示されている。このグラフでは、横軸が時間帯となり、縦軸が陳列乱れ状態となっている。このグラフにおける陳列乱れ状態は、集計期間を時間帯として商品状態集計部５４で取得した時間帯ごとの商品陳列状態であり、商品の陳列に乱れがある場合に「１」となり、商品の陳列に乱れがない場合に「２」となる。
また、グラフ表示部７３では、陳列乱れアラートの発生時刻を示すアラートマーク７４が表示されている。これにより、陳列乱れ状態の時間的な推移状況と比較しながら、陳列乱れアラートがどのようなタイミングで発生したかをユーザが把握することができる。
表示時刻操作部７０は、映像表示部７２に表示される陳列エリアの映像の時刻を調整するものである。表示時刻操作部７０を操作することで、陳列エリアの映像を所望の時刻の映像に切り替えることができる。これにより、陳列乱れアラートが発生した時刻など、所要の時刻における陳列エリアの実際の状態を映像表示部７２の映像で確認することができる。
この分析結果出力画面では、陳列乱れアラートの発生状況を滞在人数と比較しながら確認することができる。店舗に多数の顧客が来店している状態で商品の陳列に不備があることは、販売機会の逸失や顧客満足度の低下につながることから、特に問題であり、この分析結果出力画面により、陳列乱れアラートの発生状況を滞在人数と比較しながら確認することで、店舗における商品管理上の問題点を認識することができる。
なお、本実施形態では、１つの陳列エリア（陳列棚）に検出エリアを複数設定することができる。例えば陳列棚を上段、中段および下段に分けてそれぞれに検出エリアを設定することができる。この場合、商品状態検知部４２では、検出エリアごとに商品陳列状態を検知し、報知判定部４５では、検出エリアごとに報知の可否を判定し、報知部４６では、検出エリアごとに報知を行う。
また、１つの陳列エリアに検出エリアを複数設定した場合、図９に示した分析結果出力画面のように、分析結果を検出エリアごとに表示させることができる。なお、図９に示した例では、映像表示部７２およびグラフ表示部７３に検出エリア別に映像およびグラフを表示するようにしたが、映像表示部７２に複数の検出エリアを表示し、グラフ表示部７３に各検出エリアのグラフを並べて表示するようにしてもよい。また、グラフ表示部７３に各検出エリアのグラフを色を変えて重ねて表示するようにしてもよい。
図１０に示す分析結果出力画面は、陳列不足アラート、すなわち要補充状態（欠品状態および不足状態）の場合にそれを解消する商品補充作業を店員に指示する報知の発生状況に関するものである。
この分析結果出力画面は、分析結果選択部６４で陳列不足アラート分析を選択することで表示される。この分析結果出力画面では、分析結果表示部８１のアラート発生状況表示部８２以外は、図９に示した分析結果出力画面と同様である。
アラート発生状況表示部８２には、映像表示部８３と、グラフ表示部８４と、が陳列エリアに設定された複数の検出エリア別に設けられている。映像表示部８３では、検出エリアの映像が表示される。特にここでは、陳列エリアにファーストフードの陳列棚が選択されている。
グラフ表示部８４では、陳列充足状態の時間的な推移状況がグラフ（折れ線グラフ）で表示されている。このグラフでは、横軸が時間帯となり、縦軸が陳列不足状態となっている。このグラフにおける陳列不足状態は、集計期間を時間帯として商品状態集計部５４で取得した時間帯ごとの陳列不足状態であり、欠品状態の場合に「１」となり、不足状態の場合に「２」となり、充足状態の場合に「３」となる。
また、グラフ表示部８４では、陳列不足アラートの発生時刻を示すアラートマーク８５が表示されている。これにより、陳列不足状態の時間的な推移状況と比較しながら、陳列不足アラートがどのようなタイミングで発生したかをユーザが把握することができる。
次に、商品陳列状態、特に陳列不足状態に関する分析結果出力画面について説明する。図１１、図１２および図１３は、陳列不足状態に関する分析結果出力画面を示す説明図である。
図１１に示す分析結果出力画面は、陳列エリアごとの陳列不足状態の集計結果を表示するものであり、分析結果選択部６４で陳列不足状態分析（１）を選択することで表示される。この分析結果出力画面では、分析結果表示部９１以外は、図９に示した分析結果出力画面と同様である。
分析結果表示部９１には、一覧表表示部９２と、陳列エリア名称表示部９３と、映像表示部９４と、表示時刻操作部９５と、が設けられている。映像表示部９４には、陳列エリアの映像が表示される。また、この映像表示部９４では、陳列エリア内の検出エリアを示す枠画像が表示されている。この枠画像は、欠品状態、不足状態および充足状態の各状態に応じて、色を変えて表示される。これにより、陳列エリア内の検出エリアごとの陳列不足状態をユーザが一目で把握することができる。表示時刻操作部９５は、映像表示部９４に表示される陳列エリアの映像の時刻を調整するものである。
一覧表表示部９２では、時間帯ごとの陳列不足状態に関する評価マーク（○、△および×）が陳列エリア別に一覧表で表示される。特にここでは、指定された日付の各時間帯の他に、最新の時間帯の評価マークが一覧表表示部９２に表示される。また、陳列エリアに、ファーストフードの陳列棚（３段ＦＦ）、おにぎりの陳列棚、および弁当の陳列棚が選択されている。
評価マークは、商品状態集計部５４で取得した集計期間ごとの陳列不足状態に基づいて決定され、特にここでは、欠品状態、不足状態および充足状態の各状態を表し、欠品状態の場合に「×」となり、不足状態の場合に「△」となり、充足状態の場合に「○」となる。また、ここでは、評価マークが、集計期間を時間帯として商品状態集計部５４で集計された時間帯ごとの陳列不足状態を表している。
評価マークをマウス等を用いてクリック操作をすると、映像表示部９４に表示される映像が、該当する陳列エリアおよび時間帯の映像に切り替わる。特にここでは、ファーストフードの陳列棚（３段ＦＦ）の評価マークが選択され、映像表示部９４にファーストフードの陳列棚の最新時刻（２３：４５）の映像が表示されている。ここで、弁当の陳列棚やおにぎりの陳列棚の評価マークを選択すれば、弁当の陳列棚やおにぎりの陳列棚の映像が映像表示部９４に表示される。
この分析結果出力画面では、特定の日の時間帯ごとの陳列不足状態の推移状況をユーザが把握することができる。また、時間帯ごとの陳列不足状態の陳列エリアによる違いをユーザが把握することができる。
図１２に示す分析結果出力画面は、集計期間を各月の週別の時間帯および各週の曜日（日）別の時間帯として陳列不足状態の集計結果を表示するものであり、分析結果選択部６４で陳列不足状態分析（２）を選択することで表示される。この分析結果出力画面では、分析結果表示部１０１の一覧表表示部１０２以外は、図１１に示した分析結果出力画面と同様である。
一覧表表示部１０２には、月間集計表示部１０３と、週間集計表示部１０４とが設けられている。月間集計表示部１０３には、各月の週別の時間帯ごとの陳列不足状態に関する評価マーク（○、△および×）が一覧表で表示される。この月間集計表示部１０３の評価マークは、集計期間を１週間として商品状態集計部５４で集計された週ごとの陳列不足状態に基づいて決定される。
週間集計表示部１０４には、各週の曜日（日）別の時間帯ごとの陳列不足状態に関する評価マーク（○、△および×）が一覧表で表示される。この週間集計表示部１０４の評価マークは、集計期間を時間帯として商品状態集計部５４で集計された時間帯ごとの陳列不足状態に基づいて決定される。
また、分析結果表示部１０１には、月間集計表示部１０３および週間集計表示部１０４にそれぞれ対応するスクロールボタン１０５，１０６が設けられており、このスクロールボタン１０５，１０６を操作することで、月間集計表示部１０３に表示される週や、週間集計表示部１０４に表示される日をずらすことができる。
この分析結果出力画面では、指定された陳列エリアにおける各月の週別の時間帯ごとの陳列不足状態および各週の曜日（日）別の時間帯ごとの陳列不足状態をユーザが把握することができる。
なお、図１１及び図１２に示す分析結果出力画面において、分析結果表示部９１に集計期間ごとの滞在人数を表示して、集計期間ごとの陳列不足状態と滞在人数とを対比することができるようにしてもよい。
図１３に示す分析結果出力画面は、陳列不足状態を人物滞在状況と対比して表示するものであり、陳列不足状態分析（３）を選択することで表示される。この分析結果出力画面では、分析結果表示部１１１以外は、図９に示した分析結果出力画面と同様である。
分析結果表示部１１１には、陳列エリア名称表示部１１２と、映像表示部１１３と、一覧表表示部１１４と、が陳列エリア（陳列棚）別に設けられている。陳列エリア名称表示部１１２には、陳列エリアの名称が表示される。映像表示部１１３には、陳列エリアの映像が表示される。
一覧表表示部１１４には、滞在人数および評価マークが日別に表示されている。滞在人数は、陳列エリアに対応する商品アクセスエリアの滞在人数であり、人物状態集計部５５で集計期間を１日として集計された滞在人数である。評価マークは、商品状態集計部５４で集計期間を１日として集計された集計結果を表す。
また、分析結果表示部１１１には、スクロールボタン１１５が設けられており、スクロールボタン１１５を操作することで、一覧表表示部１１４に表示された日付をずらすことができる。
この分析結果出力画面では、各陳列エリアにおける日ごとの陳列不足状態を滞在人数と比較しながら確認することができる。
なお、図１１、図１２および図１３では、陳列不足状態に関する分析結果出力画面を示したが、同様の分析結果出力画面を陳列乱れ状態について表示することも可能である。
また、商品状態集計部５４では、報知（陳列乱れアラートおよび陳列不足アラート）の必要性を考慮して評価する、すなわち、報知判定部４５の判定結果を所定の集計期間単位で集計して、その集計期間ごとの商品陳列状態（陳列乱れ状態および陳列不足状態）に関する評価情報を取得し、この評価情報に基づいて評価マークを決定するようにしてもよい。
このように本実施形態では、検知時刻ごとの商品陳列状態に関する情報、および報知に関する情報を蓄積し、この蓄積された情報に基づいて、所定の対象期間における商品陳列状態の時間的な推移状況および報知の発生状況に関する集計結果を取得して、その集計結果を表示する表示情報を生成するようにしたため、商品陳列状態の時間的な推移状況と比較しながら、報知がどのようなタイミングで発生したかをユーザが把握することができる。
また、本実施形態では、商品陳列状態として、陳列乱れ状態および陳列不足状態を検知し、ユーザの入力操作に応じて、陳列乱れ状態および陳列不足状態の各々に対応する報知（陳列乱れアラートおよび陳列不足アラート）の種別の選択に関する入力情報を取得して、その入力情報に基づいて、ユーザが選択した種別の報知の発生状況に関する集計結果を取得して、その集計結果に関する表示情報を生成するようにしたため、報知の種別に応じて、商品陳列状態の時間的な推移状況と比較しながら、報知がどのようなタイミングで発生したかをユーザが把握することができる。これにより、報知の種別、すなわち商品陳列の不備の内容に応じて、店舗における商品管理上の問題点を検討することができる。
また、本実施形態では、人物滞在状態として、検知時刻ごとの滞在人数を取得して、その検知時刻ごとの滞在人数を蓄積し、その蓄積された情報に基づいて、人物滞在状態の時間的な推移状況に関する集計結果を取得して、その集計結果に基づいて、商品陳列状態の時間的な推移状況および報知の発生状況に、人物滞在状態の時間的な推移状況を統合した表示情報を生成するようにしたため、店舗内の滞在人数の時間的な推移状況と比較しながら、報知の発生状況をユーザが確認することができる。これにより、店舗における商品管理上の問題点を認識することができる。
また、本実施形態では、検知時刻ごとの商品陳列状態の検知結果を蓄積し、その蓄積された検知時刻ごとの検知結果を所定の集計期間単位で集計して、その集計期間ごとの商品陳列状態を取得して、その集計期間ごとの商品陳列状態に関する表示情報を生成するようにしたため、商品陳列状態を集計期間ごとにユーザが把握することができる。そして、集計期間ごとの商品陳列状態を比較することで、商品陳列状態の集計期間による違いをユーザが把握することができる。
（第２実施形態）
図１４は、第２実施形態に係る商品モニタリングシステムの全体構成図である。なお、ここで特に言及しない点は第１実施形態と同様である。
この第２実施形態では、商品モニタリング装置としてのＰＣ３の他に、在庫管理装置１２１、販売情報管理装置１２２、および人員配置管理装置１２３が店舗に設けられている。なお、在庫管理装置１２１、販売情報管理装置１２２、および人員配置管理装置１２３の少なくともいずれかをＰＣ３に統合するようにしてもよい。また、本部には、在庫管理サーバ１２５、販売情報管理サーバ１２６、および人員配置管理サーバ１２７が設けられている。
ＰＣ３における商品モニタリング部３２の報知判定部４５では、商品状態検知部４２の検知結果および人物状態検知部４４の検知結果に加えて、在庫管理装置１２１から取得した在庫情報、販売情報管理装置１２２から取得した販売情報、および人員配置管理装置１２３から取得した人員配置情報の少なくともいずれかに基づいて、報知の可否を判定する処理が行われる。
具体的には、在庫情報に基づいて商品の在庫がない場合には、陳列不足アラートを出しても、商品の補充ができないため、商品状態検知部４２にて要補充状態（欠品状態および不足状態）が検知されても、陳列不足アラートを出さないものとする。また、人員配置情報に基づいて店員が店舗に１人しかいない場合には、商品管理作業（整頓作業および補充作業）が難しいため、陳列乱れアラートおよび陳列不足アラートを出さないものとする。
また、販売情報に基づいて商品の販売が確認された場合には、その商品の陳列エリアが要補充状態となっている可能性が高いため、商品状態検知部４２の検知結果と合わせて、陳列不足アラートの可否を判定する。
このように本実施形態では、商品状態検知部４２の検知結果および人物状態検知部４４の検知結果に加えて、在庫情報、販売情報および人員配置情報に基づく店舗の在庫状況、売上げ状況および店員の配置状況などを考慮して、報知の可否を判定するため、より一層適切かつ有効なタイミングで報知を行うことができる。
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
例えば、本実施形態では、図２に示したように、陳列棚を陳列エリアとしたが、陳列エリアは陳列棚に限定されるものではなく、例えばワゴンや陳列台などの什器を陳列エリアとしてもよい。
また、本実施形態では、商品陳列状態として、陳列乱れ状態および陳列不足状態の双方を検知するようにしたが、陳列乱れ状態および陳列不足状態のいずれか一方のみとしてもよい。
また、本実施形態では、会計エリアおよび商品アクセスエリアにおける人物滞在状態に基づいて報知の可否を判定するようにしたが、監視エリアである店舗全体の人物滞在状態に基づいて報知の可否を判定するようにしてもよい。この場合、人物状態検知部４４では、店舗に滞在している人物の人数を取得し、店舗が混雑状態にある場合には、報知を行わないようにすればよい。
また、本実施形態では、図２に示したように、カメラ１を、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラとしたが、所定の画角を有するカメラ、いわゆるボックスカメラでも可能である。
また、本実施形態では、商品モニタリングに必要な処理を、店舗に設けられたＰＣ３に行わせるようにしたが、この必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ２１に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で商品モニタリングシステムが構成される。
このような構成では、店舗に設けられた装置に、少なくとも商品検出処理および人物検出処理を行わせるようにするとよい。このように構成すると、残りの処理で必要となる情報のデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ１１に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。
また、クラウドコンピュータ２１に、商品モニタリングに必要な処理のうち、少なくとも演算量が大きな処理、例えば商品検出処理および人物検出処理を行わせるようにしてもよい。このように構成すると、演算量が大きな処理をクラウドコンピュータ２１に行わせることで、店舗などのユーザ側に高速な情報処理装置が不要となり、また、残りの処理は演算量が小さくて済むため、店舗に設置された販売情報管理装置を構成する情報処理装置に拡張機能として兼用させることも可能になり、これによりユーザが負担するコストを軽減することができる。
また、クラウドコンピュータ２１に必要な処理の全部を行わせ、あるいは、必要な処理のうちの少なくとも報知処理や表示情報生成処理をクラウドコンピュータ２１に分担させるようにしてもよく、このように構成すると、店舗や本部に設けられたＰＣ３，１１の他に、スマートフォン２２などの携帯型端末でも報知を出力させ、また、分析結果を表示することができるようになり、これにより店舗や本部の他に外出先などの任意の場所で報知や分析結果を確認することができる。
また、本実施形態では、店舗に設置されたＰＣ３のモニタ４に分析結果を出力するようにしたが、分析結果の出力装置をＰＣ３とは別に設けることも可能であり、例えば、前記のように本部に設置されたＰＣ１１やスマートフォン２２を分析結果の閲覧装置とする他に、店舗に設置された販売情報管理装置に分析結果の閲覧装置としての機能を付加することも可能である。また、分析結果をプリンタで出力することも可能である。
また、本実施形態では、店舗に設置されたＰＣ３のモニタ４に分析結果出力画面を表示させるようにしたが、商品モニタリング処理を行うＰＣ３とは別に、必要な入力および出力を行う情報処理装置、特に携帯型情報処理装置、例えばタブレット端末を設けるようにしてもよい。
本発明にかかる商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法は、商品管理作業を指示する報知を適切かつ有効なタイミングで行うことができる効果を有し、店舗における陳列エリアを撮影した映像に基づいて、商品の陳列状況を監視する商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法などとして有用である。
１ カメラ
２ レコーダ
４ モニタ
６ 入力デバイス
１２ モニタ
２１ クラウドコンピュータ
２２ スマートフォン
３１ 監視部
３２ 商品モニタリング部
３３ 分析部
４１ 商品検出部
４２ 商品状態検知部
４３ 人物検出部
４４ 人物状態検知部
４５ 報知判定部
４６ 報知部
５１ 情報蓄積部
５２ 集計部
５３ ＧＵＩ制御部
５４ 商品状態集計部
５５ 人物状態集計部
５６ 入力情報取得部
５７ 画面生成部（表示情報生成部）

Claims (12)

  1. 店舗における陳列エリアを撮影した映像に基づいて、商品の陳列状況を監視する商品モニタリング装置であって、
    前記陳列エリアを撮影した映像に基づいて、前記陳列エリア内の商品を検出する商品検出部と、
    この商品検出部の検出結果に基づいて、前記陳列エリアにおける商品陳列状態を検知する商品状態検知部と、
    店舗内を撮影した映像に基づいて、店舗内に滞在する人物を検出する人物検出部と、
    この人物検出部の検出結果に基づいて、店舗内における人物滞在状態を検知する人物状態検知部と、
    前記商品状態検知部の検知結果および前記人物状態検知部の検知結果に基づいて、商品管理作業を店員に指示する報知の可否を判定する報知判定部と、
    この報知判定部の判定結果に基づいて、前記報知を行う報知部と、
    を備えたことを特徴とする商品モニタリング装置。
  2. 前記人物状態検知部は、会計を行う顧客が滞在する会計エリアにおける人物滞在状態を検知し、
    前記報知判定部は、前記人物状態検知部で検知された前記会計エリアにおける人物滞在状態が、商品管理作業を困難にする状態である場合には、前記報知を行わないものとすることを特徴とする請求項１に記載の商品モニタリング装置。
  3. 前記人物状態検知部は、前記陳列エリアに陳列された商品を見る顧客が滞在する商品アクセスエリアにおける人物滞在状態を検知し、
    前記報知判定部は、前記人物状態検知部で検知された前記商品アクセスエリアにおける人物滞在状態が、その商品アクセスエリアにおける商品管理作業を困難にする状態である場合には、前記報知を行わないものとすることを特徴とする請求項１または請求項２に記載の商品モニタリング装置。
  4. 前記人物状態検知部は、会計を行う顧客が滞在する会計エリア、および前記陳列エリアに陳列された商品を見る顧客が滞在する商品アクセスエリアにおける人物滞在状態を検知し、
    前記報知判定部は、前記商品状態検知部で検知された商品陳列状態が、商品管理作業を必要とする状態であり、かつ、前記人物状態検知部で検知された前記会計エリアにおける人物滞在状態が、商品管理作業を困難にする状態でなく、かつ、前記人物状態検知部で検知された前記商品アクセスエリアにおける人物滞在状態が、その商品アクセスエリアにおける商品管理作業を困難にする状態でない場合に、前記報知を行うものとすることを特徴とする請求項１から請求項３のいずれかに記載の商品モニタリング装置。
  5. 前記商品状態検知部は、前記商品陳列状態として、陳列乱れ状態および陳列不足状態の少なくともいずれかを検知し、
    前記報知部は、前記商品管理作業として、陳列の乱れを解消する整頓作業、および商品の不足を解消する補充作業の少なくともいずれかを店員に指示する報知を行うことを特徴とする請求項１から請求項４のいずれかに記載の商品モニタリング装置。
  6. 前記報知判定部は、前記商品状態検知部の検知結果および前記人物状態検知部の検知結果に加えて、在庫情報、販売情報および人員配置情報の少なくともいずれかに基づいて、前記報知の可否を判定することを特徴とする請求項１から請求項５のいずれかに記載の商品モニタリング装置。
  7. 前記商品状態検知部で取得した検知時刻ごとの商品陳列状態に関する情報、および前記報知部で行われた前記報知に関する情報を蓄積する情報蓄積部と、
    この情報蓄積部に蓄積された情報に基づいて、前記商品陳列状態の時間的な推移状況および前記報知の発生状況に関する集計結果を取得する集計部と、
    この集計部で取得した前記集計結果に基づいて、前記商品陳列状態の時間的な推移状況および前記報知の発生状況を統合した表示情報を生成する表示情報生成部と、
    をさらに備えたことを特徴とする請求項１から請求項６のいずれかに記載の商品モニタリング装置。
  8. 前記商品状態検知部は、前記商品陳列状態として、陳列乱れ状態および陳列不足状態を検知し、
    ユーザの入力操作に応じて、前記陳列乱れ状態および前記陳列不足状態の各々に対応する報知の種別を選択する入力情報を取得する入力情報取得部をさらに備え、
    前記集計部は、前記入力情報取得部で取得した入力情報に基づいて、ユーザが選択した種別の報知の発生状況に関する集計結果を取得し、
    前記表示情報生成部は、前記集計結果に関する前記表示情報を生成することを特徴とする請求項７に記載の商品モニタリング装置。
  9. 前記人物状態検知部は、前記人物滞在状態として、検知時刻ごとの滞在人数を取得し、
    前記情報蓄積部は、前記人物状態検知部で取得した検知時刻ごとの滞在人数を蓄積し、
    前記集計部は、前記情報蓄積部に蓄積された情報に基づいて、前記滞在人数の時間的な推移状況に関する集計結果を取得し、
    前記表示情報生成部は、前記集計部で取得した前記集計結果に基づいて、前記商品陳列状態の時間的な推移状況および前記報知の発生状況に、前記滞在人数の時間的な推移状況を統合した表示情報を生成することを特徴とする請求項７または請求項８に記載の商品モニタリング装置。
  10. 前記商品状態検知部で取得した検知時刻ごとの前記商品陳列状態の検知結果を蓄積する情報蓄積部と、
    この情報蓄積部に蓄積された前記検知時刻ごとの検知結果を所定の集計期間単位で集計して、その集計期間ごとの商品陳列状態を取得する商品状態集計部と、
    この商品状態集計部で取得した前記集計期間ごとの商品陳列状態に関する表示情報を生成する表示情報生成部と、
    をさらに備えたことを特徴とする請求項１から請求項９のいずれかに記載の商品モニタリング装置。
  11. 店舗における陳列エリアを撮影した映像に基づいて、商品の陳列状況を監視する商品モニタリングシステムであって、
    店舗内を撮影するカメラと、
    複数の情報処理装置と、
    を有し、
    前記複数の情報処理装置のいずれかが、
    前記陳列エリアを撮影した映像に基づいて、前記陳列エリア内の商品を検出する商品検出部と、
    この商品検出部の検出結果に基づいて、前記陳列エリアにおける商品陳列状態を検知する商品状態検知部と、
    店舗内を撮影した映像に基づいて、店舗内に滞在する人物を検出する人物検出部と、
    この人物検出部の検出結果に基づいて、店舗内における人物滞在状態を検知する人物状態検知部と、
    前記商品状態検知部の検知結果および前記人物状態検知部の検知結果に基づいて、商品管理作業を店員に指示する報知の可否を判定する報知判定部と、
    この報知判定部の判定結果に基づいて、前記報知を行う報知部と、
    を備えたことを特徴とする商品モニタリングシステム。
  12. 店舗における陳列エリアを撮影した映像に基づいて、商品の陳列状況を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、
    前記陳列エリアを撮影した映像に基づいて、前記陳列エリア内の商品を検出するステップと、
    このステップの検出結果に基づいて、前記陳列エリアにおける商品陳列状態を検知するステップと、
    店舗内を撮影した映像に基づいて、店舗内に滞在する人物を検出するステップと、
    このステップの検出結果に基づいて、店舗内における人物滞在状態を検知するステップと、
    前記商品陳列状態を検知するステップの検知結果および前記人物滞在状態を検知するステップの検知結果に基づいて、商品管理作業を店員に指示する報知の可否を判定するステップと、
    このステップの判定結果に基づいて、前記報知を行うステップと、
    を有することを特徴とする商品モニタリング方法。
JP2013244995A 2013-11-27 2013-11-27 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 Active JP5728654B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013244995A JP5728654B1 (ja) 2013-11-27 2013-11-27 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
US15/038,509 US10304032B2 (en) 2013-11-27 2014-10-29 Product monitoring device, product monitoring system, and product monitoring method
CN201480073292.XA CN105917371A (zh) 2013-11-27 2014-10-29 商品监控装置、商品监控系统以及商品监控方法
PCT/JP2014/005464 WO2015079622A1 (ja) 2013-11-27 2014-10-29 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
EP14865351.2A EP3076351A1 (en) 2013-11-27 2014-10-29 Product monitoring device, product monitoring system, and product monitoring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013244995A JP5728654B1 (ja) 2013-11-27 2013-11-27 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法

Publications (2)

Publication Number Publication Date
JP5728654B1 true JP5728654B1 (ja) 2015-06-03
JP2015103153A JP2015103153A (ja) 2015-06-04

Family

ID=53198600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013244995A Active JP5728654B1 (ja) 2013-11-27 2013-11-27 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法

Country Status (5)

Country Link
US (1) US10304032B2 (ja)
EP (1) EP3076351A1 (ja)
JP (1) JP5728654B1 (ja)
CN (1) CN105917371A (ja)
WO (1) WO2015079622A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12100219B2 (en) * 2022-08-03 2024-09-24 Safie Inc. Generating images or timelines based on user-configured thresholds for number of people and staying time in target area

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015136847A1 (ja) * 2014-03-12 2015-09-17 日本電気株式会社 陳列状況解析装置、陳列状況解析方法およびプログラム記録媒体
WO2017072990A1 (ja) * 2015-10-30 2017-05-04 パナソニックＩｐマネジメント株式会社 施設撮像装置、施設画像収集装置、施設画像蓄積装置、施設画像出力制御装置、施設運営支援装置、ユーザ端末装置、および施設運営支援方法
JP6226249B2 (ja) * 2015-10-30 2017-11-08 パナソニックＩｐマネジメント株式会社 施設撮像装置、施設画像収集装置、施設画像蓄積装置、および施設画像出力制御装置
JP6161013B2 (ja) * 2015-10-30 2017-07-12 パナソニックＩｐマネジメント株式会社 施設運営支援装置および施設運営支援方法
JP6238028B2 (ja) * 2016-03-11 2017-11-29 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP6288567B2 (ja) * 2016-07-11 2018-03-07 パナソニックＩｐマネジメント株式会社 施設運営支援装置、および施設運営支援方法
US20190156261A1 (en) * 2016-07-11 2019-05-23 Panasonic Intellectual Property Management Co. Ltd. Facility operation support device, user terminal device, and facility operation support method
JP6260959B2 (ja) * 2016-07-11 2018-01-17 パナソニックＩｐマネジメント株式会社 施設運営支援装置、および施設運営支援方法
JP6300126B2 (ja) * 2016-07-11 2018-03-28 パナソニックＩｐマネジメント株式会社 施設運営支援装置および施設運営支援方法
WO2018053847A1 (zh) * 2016-09-26 2018-03-29 达闼科技（北京）有限公司 一种智能库存管理系统、服务器、方法、终端和程序产品
WO2018159132A1 (ja) * 2017-03-03 2018-09-07 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム
JP7124269B2 (ja) * 2017-03-03 2022-08-24 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム
JP7106815B2 (ja) * 2017-03-03 2022-07-27 日本電気株式会社 情報処理システム
CN109389744A (zh) * 2017-08-14 2019-02-26 上海仁基互联网科技股份有限公司 一种应用基于视觉方法生成订单的自助终端
JP2019049785A (ja) * 2017-09-08 2019-03-28 株式会社日立ビルシステム ロボット管理システム及び商品提案方法
JP6916707B2 (ja) * 2017-10-16 2021-08-11 信越ポリマー株式会社 商品陳列棚のモニタリングシステム
JP7020860B2 (ja) * 2017-10-25 2022-02-16 東芝テック株式会社 商品管理装置及び商品管理プログラム、商品管理システム
JP7286822B2 (ja) * 2017-10-25 2023-06-05 東芝テック株式会社 商品管理装置及び商品管理プログラム
EP3705423A4 (en) 2017-10-30 2020-12-30 Panasonic Intellectual Property Management Co., Ltd. SHELF LABEL DETECTION DEVICE, SHELF LABEL DETECTION METHOD AND SHELF LABEL DETECTION PROGRAM
US11640576B2 (en) 2017-10-30 2023-05-02 Panasonic Intellectual Property Management Co., Ltd. Shelf monitoring device, shelf monitoring method, and shelf monitoring program
US11475673B2 (en) 2017-12-04 2022-10-18 Nec Corporation Image recognition device for detecting a change of an object, image recognition method for detecting a change of an object, and image recognition system for detecting a change of an object
JP6992874B2 (ja) 2018-03-09 2022-01-13 日本電気株式会社 セルフレジシステム、購入商品管理方法および購入商品管理プログラム
JP7165860B2 (ja) * 2018-04-04 2022-11-07 パナソニックＩｐマネジメント株式会社 店舗管理方法及び店舗管理システム
US10509949B1 (en) 2019-01-24 2019-12-17 Capital One Services, Llc Method and system for customizing user experience
JP7287015B2 (ja) * 2019-03-14 2023-06-06 富士電機株式会社 商品管理システム及び商品管理方法
US20220092523A1 (en) * 2019-03-22 2022-03-24 Nec Corporation Inventory management server, inventory management system, inventory management method, and recording medium
US20220261957A1 (en) * 2019-07-09 2022-08-18 Pricer Ab Stitch images
JP7524905B2 (ja) * 2019-08-22 2024-07-30 日本電気株式会社 表示制御装置、表示制御方法、プログラム、および表示制御システム
JP7500168B2 (ja) * 2019-08-26 2024-06-17 東芝テック株式会社 物品管理装置及びプログラム
CN111753614A (zh) * 2019-11-01 2020-10-09 北京京东尚科信息技术有限公司 一种商品货架的监控方法和装置
JP6899535B2 (ja) * 2019-11-18 2021-07-07 パナソニックＩｐマネジメント株式会社 業務支援装置、業務支援方法、コンピュータプログラム、及び、業務支援システム
JP2021124865A (ja) * 2020-02-04 2021-08-30 東芝テック株式会社 陳列什器
US20210264503A1 (en) * 2020-02-26 2021-08-26 Toshiba Tec Kabushiki Kaisha Sales management system, sales management device, and control method of sales management device
JP6942215B1 (ja) * 2020-03-30 2021-09-29 株式会社エヌ・ティ・ティ・データ 商品管理システム、商品管理方法および商品管理プログラム
CN111553889A (zh) * 2020-04-16 2020-08-18 上海扩博智能技术有限公司 货架上商品摆放位置的对比方法、系统、设备和存储介质
US11776205B2 (en) * 2020-06-09 2023-10-03 Ptc Inc. Determination of interactions with predefined volumes of space based on automated analysis of volumetric video
JP2022032784A (ja) * 2020-08-14 2022-02-25 東芝デジタルソリューションズ株式会社 作業内容分析装置、作業内容分析方法、およびプログラム
JP7555035B2 (ja) 2020-08-26 2024-09-24 パナソニックＩｐマネジメント株式会社 業務支援装置、業務支援方法、及び、コンピュータプログラム
CN112309031B (zh) * 2020-09-17 2022-06-07 北京京东乾石科技有限公司 无人货柜混放检测方法、装置、设备及可读存储介质
CN113674049A (zh) * 2021-06-24 2021-11-19 杭州碑石数据技术有限公司 基于图片搜索的商品在架位置识别方法、系统和存储介质
JP2023030341A (ja) * 2021-08-23 2023-03-08 株式会社Retail AI 通知システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0581552A (ja) 1991-07-12 1993-04-02 Omron Corp 商品監視システム
US6837436B2 (en) * 1996-09-05 2005-01-04 Symbol Technologies, Inc. Consumer interactive shopping system
JP3974365B2 (ja) * 2001-10-02 2007-09-12 花王株式会社 顧客動線集計装置
JP3908047B2 (ja) 2002-02-04 2007-04-25 富士通株式会社 陳列状態監視方法及び陳列状態監視プログラム
JP3947869B2 (ja) * 2002-10-09 2007-07-25 Ｎｅｃインフロンティア株式会社 店舗管理システム
JP4456437B2 (ja) 2004-08-06 2010-04-28 株式会社野村総合研究所 画像処理システム、画像処理プログラム及び画像処理方法
US7825792B2 (en) * 2006-06-02 2010-11-02 Sensormatic Electronics Llc Systems and methods for distributed monitoring of remote sites
US7671728B2 (en) * 2006-06-02 2010-03-02 Sensormatic Electronics, LLC Systems and methods for distributed monitoring of remote sites
US20080077510A1 (en) * 2006-09-21 2008-03-27 Polymer Logistics Bv Method And System For Providing Security Surveillance And Shelf Monitoring Functions
US8630924B2 (en) * 2007-08-31 2014-01-14 Accenture Global Services Limited Detection of stock out conditions based on image processing
US7949568B2 (en) * 2007-08-31 2011-05-24 Accenture Global Services Limited Determination of product display parameters based on image processing
US8009864B2 (en) * 2007-08-31 2011-08-30 Accenture Global Services Limited Determination of inventory conditions based on image processing
US8219438B1 (en) * 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression
US7954712B2 (en) 2008-09-12 2011-06-07 Transparent Visibility Holdings, LLC Product, asset, and device tracking, identification, and pricing system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12100219B2 (en) * 2022-08-03 2024-09-24 Safie Inc. Generating images or timelines based on user-configured thresholds for number of people and staying time in target area

Also Published As

Publication number Publication date
WO2015079622A1 (ja) 2015-06-04
EP3076351A4 (en) 2016-10-05
US10304032B2 (en) 2019-05-28
JP2015103153A (ja) 2015-06-04
CN105917371A (zh) 2016-08-31
US20160300181A1 (en) 2016-10-13
EP3076351A1 (en) 2016-10-05

Similar Documents

Publication Publication Date Title
JP5728654B1 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP5942173B2 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP5881022B1 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
US10304015B2 (en) Facility management support apparatus, facility management support system, and facility management support method
JP6008339B1 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP5796228B2 (ja) 会計業務支援装置、会計業務支援システムおよび会計業務支援方法
JP6319669B2 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP6341388B2 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP5834193B2 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
JP5834196B2 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
JP6098981B2 (ja) 会計業務支援装置、会計業務支援システムおよび会計業務支援方法
JP5866523B2 (ja) 施設利用状況計測装置、施設利用状況計測システムおよび施設利用状況計測方法
JP5866542B1 (ja) 施設管理支援装置、施設管理支援システムおよび施設管理支援方法
US10049333B2 (en) Sales clerk operation management apparatus, sales clerk operation management system, and sales clerk operation management method
JP6024933B2 (ja) 店員作業管理装置、店員作業管理システムおよび店員作業管理方法
JP6161011B2 (ja) 施設管理支援装置、施設管理支援システムおよび施設管理支援方法
JP6508482B2 (ja) 活動状況分析システムおよび活動状況分析方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150113

R151 Written notification of patent or utility model registration

Ref document number: 5728654

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151