JP6238028B2 - 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 - Google Patents

Description

本発明は、売場を撮像した画像から動体を除去した売場画像に基づいて、売場に陳列された商品の不足状態を監視する商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法に関するものである。

コンビニエンスストアなどの店舗においては、売場に陳列された商品が不足していると、販売機会損失が発生し、この販売機会損失は店舗の売上げに大きな影響を及ぼす。このため、商品に不足がある場合には、不足している商品を補充して不足状態を解消する商品管理作業（補充作業）を速やかに実施する必要がある。

このような商品管理作業に関連するものとして、従来、陳列台を撮影した画像に基づいて、商品数を監視する商品監視システムであって、陳列台の画像上にゾーンを指定し、陳列台の下地面積を測定し、この結果に基づいて、ゾーンにおける商品数を判定し、この判定結果に基づいて、ゾーンにおける画像の分析結果を陳列台の画像データとともにディスプレイに表示する商品監視システムが知られている（特許文献１参照）。

特開平５−８１５５２号公報

しかしながら、前記従来の技術では、陳列エリアにおける商品の陳列状況を監視して、必要に応じて商品管理作業を店員に指示することができるが、その指示に応じて必ずしも店員が商品管理作業を迅速かつ適切に実施するとは限らず、商品管理作業が遅れている場合にその遅延の状況をユーザが把握することができないという問題があった。

そこで、本発明は、商品の不足状態を解消する商品管理作業が遅れている場合に、その遅延の状況をユーザが容易に把握することができるように構成された商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法を提供することにある。

本発明の商品モニタリング装置は、売場を撮像した画像から動体を除去した売場画像に基づいて、前記売場に陳列された商品の不足状態を監視する商品モニタリング装置であって、所定の基準時間間隔で前記売場画像を定期的に取得する画像取得部と、この画像取得部から取得した前回および今回の前記売場画像を比較して、その両者の差分に基づいて、前記売場画像において商品の不足状態が発生している画面領域である不足エリアを検出する不足状態検出部と、前記不足状態が連続して検出された前記売場画像の数に基づいて、前記不足エリアごとの前記不足状態の継続時間を取得する継続時間取得部と、前記不足エリアごとに、前記継続時間取得部の出力結果に基づいて、表示形態が段階的に変化する不足エリア画像を生成する不足エリア画像生成部と、前記不足エリア画像を前記売場画像上の対応する位置に重畳した画像領域を含むモニタリング画面を生成する画面生成部と、を備える構成とする。

また、本発明の商品モニタリングシステムは、売場を撮像した画像から動体を除去した売場画像に基づいて、前記売場に陳列された商品の不足状態を監視する商品モニタリングシステムであって、前記売場を撮像して前記売場画像を出力するカメラと、前記売場画像を含むモニタリング画面を生成して出力するサーバ装置と、前記モニタリング画面を表示するユーザ端末装置と、を有し、前記サーバ装置は、所定の基準時間間隔で前記売場画像を定期的に取得する画像取得部と、この画像取得部から取得した前回および今回の前記売場画像を比較して、その両者の差分に基づいて、前記売場画像において商品の不足状態が発生している画面領域である不足エリアを検出する不足状態検出部と、前記不足状態が連続して検出された前記売場画像の数に基づいて、前記不足エリアごとの前記不足状態の継続時間を取得する継続時間取得部と、前記不足エリアごとに、前記継続時間取得部の出力結果に基づいて、表示形態が段階的に変化する不足エリア画像を生成する不足エリア画像生成部と、前記不足エリア画像を前記売場画像上の対応する位置に重畳した画像領域を含むモニタリング画面を生成する画面生成部と、を備える構成とする。

また、本発明の商品モニタリング方法は、売場を撮像した画像から動体を除去した売場画像に基づいて、前記売場に陳列された商品の不足状態を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、所定の基準時間間隔で前記売場画像を定期的に取得し、取得した前回および今回の前記売場画像を比較して、その両者の差分に基づいて、前記売場画像において商品の不足状態が発生している画面領域である不足エリアを検出し、前記不足状態が連続して検出された前記売場画像の数に基づいて、前記不足エリアごとの前記不足状態の継続時間を取得し、前記不足エリアごとに、前記継続時間取得部の出力結果に基づいて、表示形態が段階的に変化する不足エリア画像を生成し、前記不足エリア画像を前記売場画像上の対応する位置に重畳した画像領域を含むモニタリング画面を生成する構成とする。

本発明によれば、商品の不足状態の継続時間が基準時間間隔で取得される売場画像の数から簡単に取得することができ、その継続時間の出力結果に基づいて、表示形態が段階的に変化する不足エリア画像を生成されるため、商品の不足状態を解消する商品管理作業が遅れている場合に、その遅延の状況をユーザが直感的に把握することができる。

第１実施形態に係る商品モニタリングシステムの全体構成図 店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図 売場画像上に設定される対象エリアを示す説明図 商品の不足状態を表示するモニタリング画像の遷移状況を示す説明図 カメラ１、サーバ装置２およびユーザ端末装置３のハードウェア構成を示すブロック図 カメラ１およびサーバ装置２の機能ブロック図 継続時間の長さに応じて不足エリア画像６１の表示形態が変化する状況を示す説明図 継続時間の長さを表す状態表示画像の別例を示す説明図 第２実施形態に係るモニタリング画面を示す説明図 第３実施形態に係るカメラ１およびサーバ装置２の機能ブロック図 第３実施形態に係るモニタリング画面を示す説明図

前記課題を解決するためになされた第１の発明は、売場を撮像した画像から動体を除去した売場画像に基づいて、前記売場に陳列された商品の不足状態を監視する商品モニタリング装置であって、所定の基準時間間隔で前記売場画像を定期的に取得する画像取得部と、この画像取得部から取得した前回および今回の前記売場画像を比較して、その両者の差分に基づいて、前記売場画像において商品の不足状態が発生している画面領域である不足エリアを検出する不足状態検出部と、前記不足状態が連続して検出された前記売場画像の数に基づいて、前記不足エリアごとの前記不足状態の継続時間を取得する継続時間取得部と、前記不足エリアごとに、前記継続時間取得部の出力結果に基づいて、表示形態が段階的に変化する不足エリア画像を生成する不足エリア画像生成部と、前記不足エリア画像を前記売場画像上の対応する位置に重畳した画像領域を含むモニタリング画面を生成する画面生成部と、を備える構成とする。

これによると、商品の不足状態の継続時間が基準時間間隔で取得される売場画像の数から簡単に取得することができ、その継続時間の出力結果に基づいて、表示形態が段階的に変化する不足エリア画像を生成されるため、商品の不足状態を解消する商品管理作業が遅れている場合に、その遅延の状況をユーザが直感的に把握することができる。

また、第２の発明は、さらに、ユーザの操作入力にしたがって、前記不足エリア画像の色、透過率、枠線の有無、枠線の太さの少なくともいずれかの表示要素を変更可能に設定する表示要素設定部を備える構成とする。

これによると、不足エリア画像の表示要素をユーザが適宜に選択することができる。この場合、不足エリア画像の表示要素により不足状態の継続時間を表現することができる。

また、第３の発明は、前記不足エリア画像生成部は、前記売場画像上の前記不足エリア画像の近傍に、前記継続時間の長さに応じて設定された優先順位を表す文字を表示する構成とする。

これによると、ユーザが商品管理作業に着手する際の優先順位を容易に把握することができる。

また、第４の発明は、さらに、前記継続時間の長さ以外の売場および商品に関する評価情報に基づいて、前記不足エリアの優先度を設定する優先度設定部を備え、前記不足エリア画像生成部は、前記継続時間の長さと前記優先度とを、互いに異なる表示要素で表現した画像により前記不足エリア画像を生成する構成とする。

これによると、多様な観点から商品管理作業の優先度をユーザが把握することができる。

また、第５の発明は、前記優先度設定部は、前記評価情報として、売場における顧客の滞留状況に関する情報、商品の売上に関する情報、商品の在庫に関する情報、商品の配送に関する情報、商品区分ごとの優先度に関する情報の少なくともいずれかに基づいて、前記不足エリアの優先度を設定する構成とする。

これによると、商品の人気や売れ行きなどを考慮した優先度にしたがってユーザが商品管理作業を行うことができる。

また、第６の発明は、売場を撮像した画像から動体を除去した売場画像に基づいて、前記売場に陳列された商品の不足状態を監視する商品モニタリングシステムであって、前記売場を撮像して前記売場画像を出力するカメラと、前記売場画像を含むモニタリング画面を生成して出力するサーバ装置と、前記モニタリング画面を表示するユーザ端末装置と、を有し、前記サーバ装置は、所定の基準時間間隔で前記売場画像を定期的に取得する画像取得部と、この画像取得部から取得した前回および今回の前記売場画像を比較して、その両者の差分に基づいて、前記売場画像において商品の不足状態が発生している画面領域である不足エリアを検出する不足状態検出部と、前記不足状態が連続して検出された前記売場画像の数に基づいて、前記不足エリアごとの前記不足状態の継続時間を取得する継続時間取得部と、前記不足エリアごとに、前記継続時間取得部の出力結果に基づいて、表示形態が段階的に変化する不足エリア画像を生成する不足エリア画像生成部と、前記不足エリア画像を前記売場画像上の対応する位置に重畳した画像領域を含むモニタリング画面を生成する画面生成部と、を備える構成とする。

これによると、第１の発明と同様に、商品の不足状態を解消する商品管理作業が遅れている場合に、その遅延の状況をユーザが容易に把握することができる。

また、第７の発明は、売場を撮像した画像から動体を除去した売場画像に基づいて、前記売場に陳列された商品の不足状態を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、所定の基準時間間隔で前記売場画像を定期的に取得し、取得した前回および今回の前記売場画像を比較して、その両者の差分に基づいて、前記売場画像において商品の不足状態が発生している画面領域である不足エリアを検出し、前記不足状態が連続して検出された前記売場画像の数に基づいて、前記不足エリアごとの前記不足状態の継続時間を取得し、前記不足エリアごとに、前記継続時間に基づいて、表示形態が段階的に変化する不足エリア画像を生成し、前記不足エリア画像を前記売場画像上の対応する位置に重畳した画像領域を含むモニタリング画面を生成する構成とする。

これによると、第１の発明と同様に、商品の不足状態を解消する商品管理作業が遅れている場合に、その遅延の状況をユーザが容易に把握することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

（第１実施形態）
図１は、第１実施形態に係る商品モニタリングシステムの全体構成図である。

この商品モニタリングシステムは、コンビニエンスストアなどの小売チェーン店などを対象にして構築されるものであり、複数の店舗（施設）ごとに設けられたカメラ１と、サーバ装置（商品モニタリング装置）２と、ユーザ端末装置３と、を備えている。

カメラ１は、店舗内の適所に設置され、店舗内の売場を撮像する。このカメラ１は、店舗内ネットワーク、ルータ４およびＶＬＡＮ（Virtual Local Area Network）などの閉域ネットワークを介してサーバ装置２に接続されている。また、カメラ１では、店舗内を撮像した画像から人物を除去する画像処理が実施され、この画像処理で得られた売場画像（処理画像）がカメラ１から出力される。

サーバ装置２は、店舗内に設置されたカメラ１から送信される売場画像などを受信する。また、サーバ装置２は、インターネットを介してユーザ端末装置３に接続されており、ユーザが閲覧するモニタリング画面を生成してユーザ端末装置３に配信し、また、ユーザがモニタリング画面で入力した情報を取得する。

ユーザ端末装置３は、スマートフォンやタブレット端末やＰＣで構成される。このユーザ端末装置３では、サーバ装置２から配信されるモニタリング画面が表示される。このモニタリング画面をユーザが閲覧することで、店舗内の状況を把握することができる。

次に、店舗のレイアウトおよびカメラ１の設置状況について説明する。図２は、店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図である。

店舗には、出入口、陳列棚、レジカウンタ、および調理器具などが設けられている。陳列棚は、ファーストフード（ＦＦ）、米飯（おにぎり、弁当、寿司などの商品）、ベーカリー、デザート、ドリンク、加工食品、雑貨、生鮮食品、雑誌、新聞などの商品の区分（種類）に分けて設置されている。調理器具は、からあげなどのファーストフードを店内で調理するものであり、レジカウンタの隣には、ファーストフードの陳列棚（ＦＦケース）が設置されている。顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで会計（代金の支払い）を済ませた後に出入口から退店する。

また、店舗には、売場を撮影する複数のカメラ１が設置されている。このカメラ１は、店舗内の天井の適宜な位置に設置されている。特に、図２に示す例では、カメラ１に、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラが採用され、このカメラ１により、売場の陳列棚などに陳列された商品などを撮影することができる。

次に、サーバ装置２で行われる処理の概要について説明する。図３は、売場画像上に設定される対象エリアを示す説明図である。図４は、商品の不足状態を表示するモニタリング画像の遷移状況を示す説明図である。

本実施形態では、図３に示すように、売場画像内の商品が配置される領域にユーザが対象エリアを設定して、その対象エリアごとに商品の不足状態を検出する。そして、図４に示すように、不足状態が検出された対象エリアを表す不足エリア画像（状態表示画像）６１を売場画像上に重畳して表示する。図４に示す例では、不足エリア画像６１が、対象エリアの輪郭を表す枠線で構成される。

図３および図４に示す例は、ファーストフードの売場であり、売場画像には、ファーストフードの陳列棚（ＦＦケース）が写っている。図３に示す例では、ファーストフードの陳列棚における上段の左右、中段の左右、および下段の左右の合計６つの対象エリアが設定されている。

また、本実施形態では、商品の不足状態の継続時間、すなわち、不足状態が検出されてから現在までの経過時間を計測して、図４に示すように、不足エリア画像６１を、継続時間の長さ、すなわち、補充作業の緊急性の高さに応じて表示形態が変化するように表示する。特に本実施形態では、不足状態の継続時間に応じて不足エリア画像６１の表示色を変化させる。具体的には、不足状態の継続時間が長くなるのに応じて、不足エリア画像６１の表示色を青色、緑色、赤色の順に変化させる。

図４に示す例では、まず、時刻Ｔ１では、全ての対象エリアで商品の不足状態が検出されないため、不足エリア画像６１は表示されない。次に、時刻Ｔ２では、中段の左の対象エリアで不足状態が発生しているため、その対象エリアの不足エリア画像６１が青色で表示される。次に、時刻Ｔ３では、中段の左の対象エリアでは、不足状態が解消していないため、その対象エリアの不足エリア画像６１の表示色が緑色に変化する。また、下段の右の対象エリアで不足状態が発生しているため、その対象エリアの不足エリア画像６１が青色で表示される。次に、時刻Ｔ４では、中段の左の対象エリアでは、不足状態が解消していないため、その対象エリアの不足エリア画像６１の表示色が赤色に変化する。また、下段の右の対象エリアでも、不足状態が解消していないため、その対象エリアの不足エリア画像６１の表示色が緑色に変化する。

このように、本実施形態では、商品の不足状態の継続時間の長さ、すなわち、補充作業の緊急性の高さに応じて不足エリア画像６１の表示色（表示形態）が変化するため、補充作業の着手の優先度をユーザが直感的に把握することができる。特に、不足状態が複数の対象エリアで発生した場合でも、継続時間の長さに応じて不足エリア画像６１の表示色が異なるため、どこを優先して補充作業を始めるべきかをユーザが容易に把握することができる。

次に、カメラ１、サーバ装置２およびユーザ端末装置３の概略構成について説明する。図５は、カメラ１、サーバ装置２およびユーザ端末装置３のハードウェア構成を示すブロック図である。

カメラ１は、撮像部１１と、制御部１２と、情報記憶部１３と、通信部１４と、を備えている。

撮像部１１は、イメージセンサを備え、時間的に連続する撮像画像（フレーム）、いわゆる動画像を順次出力する。制御部１２は、撮像画像に対して人物などの動体を除去する画像処理を行い、この画像処理により生成した動体除去画像を売場画像として出力する。情報記憶部１３は、制御部１２を構成するプロセッサで実行されるプログラムや、撮像部１１から出力される撮像画像を記憶する。通信部１４は、サーバ装置２との間で通信を行うものであり、制御部１２から出力される売場画像をネットワークを介してサーバ装置２に送信する。

サーバ装置２は、制御部２１と、情報記憶部２２と、通信部２３と、を備えている。

通信部２３は、カメラ１およびユーザ端末装置３との間で通信を行うものであり、カメラ１から送信される売場画像を受信し、また、ユーザ端末装置３から送信されるユーザ設定情報を受信し、また、ユーザが閲覧するモニタリング画面をユーザ端末装置３に配信する。情報記憶部２２では、通信部２３で受信したカメラ１ごとの売場画像や、制御部２１を構成するプロセッサで実行されるプログラムなどを記憶する。制御部２１は、ユーザ端末装置３に配信するモニタリング画面を生成する。

ユーザ端末装置３は、制御部３１と、情報記憶部３２と、通信部３３と、入力部３４と、表示部３５と、を備えている。

入力部３４は、ユーザが各種の設定情報を入力する。表示部３５は、サーバ装置２から送信される画面情報に基づいてモニタリング画面を表示する。入力部３４および表示部３５は、タッチパネルディスプレイで構成することができる。通信部３３は、サーバ装置２との間で通信を行うものであり、入力部３４で入力されたユーザ設定情報をサーバ装置２に送信し、また、サーバ装置２から送信される画面情報を受信する。制御部３１は、ユーザ端末装置３の各部を制御する。情報記憶部３２は、制御部３１を構成するプロセッサで実行されるプログラムなどを記憶する。

次に、カメラ１およびサーバ装置２の機能的な構成について説明する。図６は、カメラ１およびサーバ装置２の機能ブロック図である。

カメラ１の制御部１２は、動体除去画像生成部４１を備えている。この動体除去画像生成部４１は、情報記憶部１３に記憶されたモニタリング用のプログラム（インストラクション）を、制御部１２を構成するプロセッサに実行させることで実現される。

動体除去画像生成部４１では、所定の学習期間における複数の撮像画像（フレーム）に基づいて、撮像画像から動体を除去した動体除去画像を生成する。具体的には、撮像部１１から出力される時間的に連続する撮像画像が動体除去画像生成部４１に順次入力されると、直近の所定のサンプリング期間における複数の撮像画像に基づいて、画素単位の支配画像情報（優勢な状態にある色情報）を求めて、動体除去画像（背景画像）を生成する。そして、このような支配画像情報を撮像画像が入力される度に更新することで、最新の動体除去画像を得ることができる。この動体除去画像の生成には、公知の背景画像生成技術を利用すればよい。

このようにして動体除去画像生成部４１で生成された動体除去画像は、売場画像として通信部１４から所定の単位時間間隔（例えば１５分間隔）でサーバ装置２に送信される。具体的には、サーバ装置２において、カメラ１に対する画像送信要求が所定のタイミング（例えば１５分間隔）で定期的に行われ、カメラ１の通信部１４では、サーバ装置２からの画像送信要求に応じて、その時刻の売場画像を送信する。

サーバ装置２の制御部２１は、画像取得部５１と、不足状態検出部５２と、継続時間取得部５３と、画面生成部５４と、表示要素設定部５５と、を備えている。この制御部２１の各部は、情報記憶部２２に記憶されたモニタリング用のプログラム（インストラクション）を、制御部２１を構成するプロセッサに実行させることで実現される。

画像取得部５１では、カメラ１から定期的に送信されて通信部２３において受信した売場画像を取得する。この画像取得部５１で取得した売場画像は情報記憶部２２に記憶される。

不足状態検出部５２では、画像取得部５１により取得した売場画像に基づいて、売場に陳列された商品の不足状態を検出する。この処理は、画像取得部５１により売場画像を取得する度に行われる。また、不足状態検出部５２では、情報記憶部２２に記憶された前回の売場画像と、画像取得部５１により取得した今回の売場画像とを比較して、その両者の差分に基づいて、売場画像において不足状態が発生している画像領域である不足エリアを検出する。ここで、本実施形態では、ユーザにより設定された対象エリア内における商品の不足状態を検出することから、売場画像から対象エリアの画像を切り出して、その対象エリアの画像に基づいて対象エリアの不足状態を検出する。

なお、売場画像は、人物などの動体を除去する画像処理が施されたものであり、商品を覆い隠す動体が除去されているため、商品の状況を精度よく検出することができる。

継続時間取得部５３では、不足状態検出部５２により商品の不足状態が検出された場合に、その不足状態の継続時間、すなわち、不足状態が検出されてから現在までの経過時間を取得する。本実施形態では、不足状態検出部５２により同一の売場について不足状態が連続して検出された売場画像の数を計数して、その不足状態が連続して検出された売場画像の数に基づいて、継続時間を取得する。

ここで、本実施形態では、カメラ１から所定の単位時間間隔（例えば１５分間隔）で売場画像が送信される。すなわち、サーバ装置２の画像取得部５１では、所定の単位時間間隔で売場画像を定期的に取得する。したがって、所定の単位時間間隔に不足状態が連続して検出された売場画像の数を乗じて算出された時間が、商品の不足状態の継続時間を表すものとなる。

なお、商品の不足状態が検出されてから現在までの経過時間を計時するタイマを設けるようにして、商品の不足状態の継続時間を計測するようにしてもよい。

画面生成部５４は、不足エリア画像生成部５６を備えている。この不足エリア画像生成部５６では、継続時間取得部５３の出力結果に基づいて、商品の不足状態の継続時間の長さに応じて表示形態が変化する不足エリア画像（状態表示画像）６１（図４参照）を生成する。そして、画面生成部５４では、不足エリア画像生成部５６で取得した不足エリア画像６１を売場画像上に重畳した画像領域を含むモニタリング画面を生成する。

表示要素設定部５５では、ユーザ端末装置３で行われるユーザの操作入力に応じて、不足エリア画像６１の表示要素を設定する。本実施形態では、不足エリア画像６１の色、透過率、枠線の有無、枠線の太さの少なくともいずれかの表示要素を変更することができる。不足エリア画像６１の表示要素は、不足状態の継続時間を表現するものであり、不足エリア画像６１で不足状態の継続時間をどのように表現させるかを、ユーザが自由にカスタマイズすることができる。

次に、不足エリア画像生成部５６で生成される不足エリア画像６１について説明する。図７は、継続時間の長さに応じて不足エリア画像６１の表示形態が変化する状況を示す説明図である。

本実施形態では、不足エリア画像生成部５６において、不足状態の継続時間の長さに応じて表示形態が変化する不足エリア画像６１を生成する。このとき、継続時間を所定の基準時間と比較して、継続時間が基準時間を超えるのに応じて、不足エリア画像６１を順次異なる表示形態に変化させる。

すなわち、商品の不足状態が検出されないと、不足エリア画像６１を表示させず、商品の不足状態が最初に検出されると、不足エリア画像６１を第１の表示形態（初期の表示形態）で表示させる。そして、継続時間が所定の基準時間を超える、すなわち、商品の不足状態を最初に検出してから基準時間が経過すると、不足エリア画像６１を第１の表示形態と異なる第２の表示形態を変化させる。そして、さらに、継続時間が２回目の基準時間を超えると、不足エリア画像６１を第３の表示形態を変化させる。

例えば基準時間を１５分とすると、０分〜１５分未満の期間では、第１の表示形態で不足エリア画像６１が表示され、１５分以上〜３０分未満の期間では、第２の表示形態で不足エリア画像６１が表示され、３０分以上の期間では、第３の表示形態で不足エリア画像６１が表示される。

また、本実施形態では、表示要素設定部５５において、ユーザの操作入力にしたがって、不足エリア画像６１の色、透過率、枠線の有無、枠線の太さの少なくともいずれかの表示要素を変更可能に設定することができる。なお、本実施形態では、不足エリア画像６１として矩形画像を用いたが、ユーザが設定した対象エリアの中央位置などへ所定のアイコンを配置し、表示形態を変更可能に表示するようにしてもよい。

図７（Ａ）に示す例では、図４に示した例と同様に、不足エリア画像６１が、対象エリアの輪郭を表す枠線で構成され、継続時間の長さを表現する表示要素を枠線の色としており、継続時間が長くなるのに応じて枠線の色が青色、緑色、赤色の順に変化する。

なお、枠線の色は青色、緑色、赤色に限定されるものではない。また、枠線を透過状態の単一色で売場画像上に重畳して、枠線の透過率で継続時間の長さを表現するようにしてもよい。

図７（Ｂ）に示す例では、図７（Ａ）に示す例と同様に、不足エリア画像６１が、対象エリアの輪郭を表す枠線で構成されているが、ここでは、継続時間の長さを表現する表示要素を枠線の太さとしており、継続時間が長くなるのに応じて枠線が太くなる。

なお、枠線の太さの他に、枠線の線種（例えば実線や点線など）で継続時間の長さを表現するようにしてもよい。

図７（Ｃ）に示す例では、不足エリア画像６１が、対象エリアの輪郭の内部を塗り潰した画像で構成され、継続時間の長さを表現する表示要素を塗り潰し色としており、継続時間が長くなるのに応じて塗り潰し色が青色、緑色、赤色の順に変化する。

なお、塗り潰し色は青色、緑色、赤色に限定されるものではない。また、塗り潰しの画像を透過状態の単一色で売場画像上に重畳して、塗り潰しの画像の透過率で継続時間の長さを表現するようにしてもよい。

なお、本実施形態では、不足エリア画像６１の表示形態を３段階に変化させるようにしたが、２段階、あるいは４段階以上に変化させるようにしてもよい。

また、本実施形態では、単一の単位時間を基準にして不足エリア画像６１の表示形態を段階的に変化させるようにしたが、単位時間を定めずに、継続時間の長さに応じて、不足エリア画像６１の表示形態（例えば表示色の色相や濃度）を無段階に変化させるようにしてもよい。また、段階に応じて単位時間を変化させる、すなわち、１回目の基準時間と２回目の基準時間とを異なる長さに設定するようにしてもよい。

次に、継続時間の長さを表す状態表示画像の別例について説明する。図８は、状態表示画像の別例を示す説明図である。

この別例では、継続時間の長さを表す状態表示画像が、対象エリアに対応する不足エリア画像６１と、継続時間の長さに応じて設定された優先順位を表す文字の画像６２とで構成される。すなわち、売場画像上の不足エリア画像６１の近傍に、優先順位を表す文字の画像６２を表示するようにしている。これにより、複数の対象エリアで不足状態が発生した場合に、補充作業に着手する優先順位をユーザが容易に把握することができる。

この場合、サーバ装置２の不足状態検出部５２において、複数の対象エリアで不足状態が検出されると、継続時間取得部５３により取得した対象エリアごとの継続時間を比較して、対象エリアごとに優先順位を付与する処理が制御部２１で行われる。

なお、図８に示す例では、１つの売場画像において複数の対象エリアで不足状態が発生した場合を示したが、モニタリング画面に複数の売場画像を表示する構成とすると、モニタリング画面全体として複数の対象エリアで不足状態が発生する場合もあり、このような場合でも、優先順位を表す文字を表示することで、異なる売場同士での作業の優先度を判断することができる。

（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図９は、第２実施形態に係るモニタリング画面を示す説明図である。

第１実施形態では、売場画像上で、複数の商品が存在する範囲に対象エリアを設定して、その対象エリアにおける商品の不足状態を検出するようにしたが、この第２実施形態では、対象エリアを設定せず、売場画像の全体を不足状態の検出対象としており、個々の商品の欠品を不足状態として検出する。具体的には、売場画像において欠品が発生した画像領域を不足エリアとして検出して、その不足エリアの位置に不足エリア画像６１が表示される。

本実施形態では、サーバ装置２の不足状態検出部５２において、情報記憶部２２に記憶された前回の売場画像と、画像取得部５１により取得した今回の売場画像とを比較して、その両者の差分に基づいて、売場画像において欠品が発生している画像領域を不足エリアとして検出する。また、商品の欠品がない状態で撮像された売場画像と今回の売場画像とを比較して、不足エリアを検出するようにしてもよい。

不足エリア画像６１は、第１実施形態と同様に、不足状態の継続時間に応じて表示色（表示形態）を変化させ、具体的には、不足状態の継続時間が長くなるのに応じて、不足エリア画像６１の表示色を青色、緑色、赤色の順に変化させる。

また、本実施形態では、隣り合う複数の商品が欠品となると、その欠品となった商品が位置する画像領域を全体的に覆うように不足エリア画像６１が表示され、欠品となった商品が増えるのに応じて不足エリア画像６１が大きくなる。したがって、不足エリア画像６１の大きさにより、欠品となった商品の数量をユーザが把握することができる。これにより、不足状態の継続時間の他に欠品となった商品の数量を考慮して、補充作業の優先度をユーザが判断することができる。

なお、本実施形態では、不足エリア画像６１が、欠品となった複数の商品を対象としているが、商品が欠品となるタイミングは個々の商品で異なる。そこで、個々の商品について欠品継続時間、すなわち、欠品が検出されてから現在までの経過時間を計測し、不足エリア画像６１の対象となる商品の中で、欠品継続時間が最も長い商品、すなわち、最初に欠品となった商品の欠品継続時間を、不足エリア全体の不足状態の継続時間として、この不足状態の継続時間に応じた表示色（表示形態）で不足エリア画像６１が表示される。

（第３実施形態）
次に、第３実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１０は、第３実施形態に係るカメラ１およびサーバ装置２の機能ブロック図である。

第１実施形態では、商品の不足状態の継続時間の長さに応じて不足エリア画像６１の表示形態を変化させるようにしたが、この第３実施形態では、継続時間の他に、ヒートマップ情報に基づいて設定された優先度に応じて不足エリア画像６１の表示形態を変更するようにしている。ヒートマップ情報は、売場の前に滞留する人物の人数（滞留人数）に関するものであり、滞留人数が多いことで、売場に陳列された商品の人気度を判断することができる。このヒートマップ情報はカメラ１で生成されてサーバ装置２に送信される。

カメラは、人物検出部４２と、ヒートマップ情報生成部４３と、を備えている。

人物検出部４２では、動体除去画像生成部４１で取得した動体除去画像（背景画像）と、撮像部１１から出力される現在の撮像画像とを比較して、両者の差分から撮像画像内の動体の画像領域を特定する（動体検知）。そして、動体の画像領域に、人物の顔、または頭部および肩部で構成されるΩ形状が検出されると、その動体を人物と判断する（人物検知）。なお、この動体検知および人物検知には公知の技術を用いればよい。

ヒートマップ情報生成部４３では、人物検出部４２の検出結果に基づいて、撮像画像上における人物の分布状況を表すヒートマップ情報を生成する。このヒートマップ情報は、撮像画像を格子状に分割した各セル（グリッド）に存在する人物を所定の計測期間（例えば１時間）でカウントし、各セルのカウント値（人数）で人物の分布状況を表したものであり、撮像画像内の売場の前の滞留エリアにおけるカウント値から、売場の前に滞留する人物の人数（売場ごとの滞留人数）取得することができる。

ヒートマップ情報生成部４３で取得したヒートマップ情報は、動体除去画像生成部４１で取得した売場画像（動体除去画像）とともに通信部１４からサーバ装置２に送信される。

なお、ヒートマップ情報として、売場の前で人物が滞留する時間（滞留時間）を取得するようにしてもよく、滞留時間が長いことで、売場に陳列された商品の人気度を判断することができる。

サーバ装置２は、優先度設定部５７を備えている。

この優先度設定部５７では、カメラ１から取得したヒートマップ情報に基づいて、補充作業に着手する際の不足エリアの優先度（補充緊急度）を設定する。人物の滞留が多い売場は、顧客の人気が高い商品を陳列しており、商品を迅速に補充する必要がある。そこで、滞留人数が多い売場にある不足エリアの優先度（補充緊急度）を高く設定する。このとき、直近の時間帯で収集された最新のヒートマップ情報を用いてもよいが、過去（例えば昨日）の同じ時間帯で収集されたヒートマップ情報を用いるようにしてもよい。

また、優先度設定部５７では、販売情報管理装置５から取得した販売情報（売上情報）に基づいて、不足エリアの優先度を設定する。販売情報管理装置５は、店舗における各商品の売上げに関する販売情報（売上情報）を管理するＰＯＳ（point of sale）システム（販売情報管理システム）を構成するものであり、販売情報をサーバ装置２に提供する。

ここで、売上が多く、人気の高い商品ほど、商品を迅速に補充する必要がある。そこで、本実施形態では、売上の多い商品の不足エリアの優先度（補充緊急度）を高く設定する。このとき、直近の時間帯で収集された最新の売上情報を用いてもよいが、過去（例えば昨日）の同じ時間帯で収集された売上情報を用いるようにしてもよい。

また、優先度設定部５７では、販売情報管理装置５から取得した在庫情報に基づいて、不足エリアの優先度を設定する。販売情報管理装置５は、店舗の在庫を管理する機能も備えており、在庫情報をサーバ装置２に提供する。ここで、在庫のない商品では、優先度（補充緊急度）を高く設定しても、補充作業に着手することができない。そこで、本実施形態では、在庫のある商品の不足エリアの優先度を高く設定する。

また、優先度設定部５７では、情報記憶部２２に保持された配送情報に基づいて、不足エリアの優先度を設定する。弁当などの商品では、店舗に商品を配送する時刻が決められており、この商品の配送スケジュールに関する配送情報が予め情報記憶部２２に保持されている。ここで、配送時刻からの経過時間が短い商品の場合には、在庫が十分にあるものと考えられる。そこで、本実施形態では、配送時刻からの経過時間が短い商品の不足エリアの優先度を高く設定する。なお、弁当などの定刻配送の商品でも、陳列された商品しかなく、次の配送時刻まで時間がある場合には、商品補充作業はできないが、商品補充作業に代えて、フェースアップ作業など、商品の売れ残り感を解消する商品管理作業を実施するようにしてもよい。

また、優先度設定部５７では、商品の区分（ファーストフード、弁当など）ごとに予め定められた優先度に基づいて、不足エリアの優先度を設定する。すなわち、優先度が高い商品区分である場合には、不足エリアの優先度を高く設定する。前記のように、ヒートマップ情報や売上情報を利用しなくても、人気が高く、売れ行きのよい商品区分をユーザがある程度把握することができる。そこで、本実施形態では、ユーザが商品区分ごとに優先度を予め設定して、その商品区分ごとの優先度に関する情報を情報記憶部２２に保持させておき、この商品区分ごとの優先度に関する情報に基づいて、不足エリアの優先度を設定する。

以上のように、本実施形態では、サーバ装置２の優先度設定部５７において、継続時間の長さ以外の売場および商品に関する評価情報、すなわち、売場における顧客の滞留状況に関する情報（ヒートマップ情報）、商品の売上に関する情報、商品の在庫に関する情報、商品の配送に関する情報、商品区分ごとの優先度に関する情報に基づいて、不足エリアの優先度を設定する。なお、これらの評価情報のいずれか１つのみで不足エリアの優先度を設定するようにしてもよいが、これらの評価情報の全部または一部を組み合わせて、不足エリアの優先度を設定するようにしてもよい。

次に、第３実施形態に係るモニタリング画面について説明する。図１１は、第３実施形態に係るモニタリング画面を示す説明図である。

このモニタリング画面には、複数のカメラ１でそれぞれ撮像された売場画像が並べて表示されている。第１のカメラ１は、ファーストフードの売場を撮像し、第２のカメラ１は、米飯（おにぎり、弁当、寿司などの商品）の売場を撮像し、第３のカメラ１は、ドリンクの売場を撮像する。

また、前記のように、本実施形態では、優先度設定部５７において、商品の不足状態の継続時間の長さ以外の売場および商品に関する評価情報に基づいて、不足エリアの優先度を設定する。そして、不足エリア画像生成部５６において、継続時間の長さを表現する表示要素と異なる表示要素で優先度を表現するように不足エリア画像６１を生成する。

図１１に示す例では、商品の不足状態の継続時間の長さが、不足エリア画像６１の枠線の太さで表現され、継続時間の長さ以外の評価情報、例えばヒートマップ情報（滞留人数など）に基づく優先度の高さが、不足エリア画像６１の枠線の色（例えば青色、緑色、赤色）で表現されている。なお、不足エリア画像６１の透過度など、他の表示要素で優先度を表現するようにしてもよい。

このように本実施形態では、商品の不足状態の継続時間の長さ以外の評価情報に基づいて設定された優先度が不足エリア画像６１で表現されるため、不足状態の継続時間の長さとは異なる観点から補充作業の緊急性を考慮して補充作業に着手することができる。例えば、不足状態の継続時間は長いが、顧客があまり立ち寄らないエリアでは、そのエリアの補充作業を後回しにするといった判断をユーザが行うことができる。

なお、本実施形態では、商品の不足状態の継続時間の長さ以外の評価情報に基づく優先度を、不足状態の継続時間とともに不足エリア画像６１で表現するようにしたが、不足エリア画像６１を継続時間のみを表すものとして、不足状態の継続時間の長さ以外の評価情報に基づく優先度を、不足エリア画像６１とは別に、文字や画像で表示するようにしてもよい。また、優先度の元になる評価情報を表す画像、例えばヒートマップ情報を表すヒートマップ画像を、不足エリア画像６１とは別に表示するようにしてもよい。

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

例えば、前記の実施形態では、コンビニエンスストアなどの小売店舗の例について説明したが、このような小売店舗に限定されるものではなく、小売店舗以外の業務形態の店舗に適用することも可能である。

また、前記の実施形態では、図２に示したように、カメラ１を、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラとしたが、所定の画角を有するカメラ、いわゆるボックスカメラでも可能である。

また、前記の実施形態では、サーバ装置２において、不足状態検出、継続時間取得および画面生成の各処理を行うようにしたが、これらの処理の全部あるいは一部を、店舗に設置されたＰＣで行うようにしてもよい。

本発明に係る商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法は、商品の不足状態を解消する商品管理作業が遅れている場合に、その遅延の状況を容易に把握することができる効果を有し、売場を撮像した画像から動体を除去した売場画像に基づいて、売場に陳列された商品の不足状態を監視する商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法などとして有用である。

１ カメラ
２ サーバ装置
３ ユーザ端末装置
５ 販売情報管理装置
４１ 動体除去画像生成部
４２ 人物検出部
４３ ヒートマップ情報生成部
５１ 画像取得部
５２ 不足状態検出部
５３ 継続時間取得部
５４ 画面生成部
５５ 表示要素設定部
５６ 不足エリア画像生成部
５７ 優先度設定部

Claims (7)

1. 売場を撮像した画像から動体を除去した売場画像に基づいて、前記売場に陳列された商品の不足状態を監視する商品モニタリング装置であって、
   所定の基準時間間隔で前記売場画像を定期的に取得する画像取得部と、
   この画像取得部から取得した前回および今回の前記売場画像を比較して、その両者の差分に基づいて、前記売場画像において商品の不足状態が発生している画面領域である不足エリアを検出する不足状態検出部と、
   前記不足状態が連続して検出された前記売場画像の数に基づいて、前記不足エリアごとの前記不足状態の継続時間を取得する継続時間取得部と、
   前記不足エリアごとに、前記継続時間取得部の出力結果に基づいて、表示形態が段階的に変化する不足エリア画像を生成する不足エリア画像生成部と、
   前記不足エリア画像を前記売場画像上の対応する位置に重畳した画像領域を含むモニタリング画面を生成する画面生成部と、を備えることを特徴とする商品モニタリング装置。
2. さらに、ユーザの操作入力にしたがって、前記不足エリア画像の色、透過率、枠線の有無、枠線の太さの少なくともいずれかの表示要素を変更可能に設定する表示要素設定部を備えることを特徴とする請求項１に記載の商品モニタリング装置。
3. 前記不足エリア画像生成部は、前記売場画像上の前記不足エリア画像の近傍に、前記継続時間の長さに応じて設定された優先順位を表す文字を表示することを特徴とする請求項１に記載の商品モニタリング装置。
4. さらに、前記継続時間の長さ以外の売場および商品に関する評価情報に基づいて、前記不足エリアの優先度を設定する優先度設定部を備え、
   前記不足エリア画像生成部は、前記継続時間の長さと前記優先度とを、互いに異なる表示要素で表現した画像により前記不足エリア画像を生成することを特徴とする請求項１から請求項３のいずれかに記載の商品モニタリング装置。
5. 前記優先度設定部は、前記評価情報として、売場における顧客の滞留状況に関する情報、商品の売上に関する情報、商品の在庫に関する情報、商品の配送に関する情報、商品区分ごとの優先度に関する情報の少なくともいずれかに基づいて、前記不足エリアの優先度を設定することを特徴とする請求項４に記載の商品モニタリング装置。
6. 売場を撮像した画像から動体を除去した売場画像に基づいて、前記売場に陳列された商品の不足状態を監視する商品モニタリングシステムであって、
   前記売場を撮像して前記売場画像を出力するカメラと、
   前記売場画像を含むモニタリング画面を生成して出力するサーバ装置と、
   前記モニタリング画面を表示するユーザ端末装置と、
   を有し、
   前記サーバ装置は、
   所定の基準時間間隔で前記売場画像を定期的に取得する画像取得部と、
   この画像取得部から取得した前回および今回の前記売場画像を比較して、その両者の差分に基づいて、前記売場画像において商品の不足状態が発生している画面領域である不足エリアを検出する不足状態検出部と、
   前記不足状態が連続して検出された前記売場画像の数に基づいて、前記不足エリアごとの前記不足状態の継続時間を取得する継続時間取得部と、
   前記不足エリアごとに、前記継続時間取得部の出力結果に基づいて、表示形態が段階的に変化する不足エリア画像を生成する不足エリア画像生成部と、
   前記不足エリア画像を前記売場画像上の対応する位置に重畳した画像領域を含むモニタリング画面を生成する画面生成部と、を備えることを特徴とする商品モニタリングシステム。
7. 売場を撮像した画像から動体を除去した売場画像に基づいて、前記売場に陳列された商品の不足状態を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、
   所定の基準時間間隔で前記売場画像を定期的に取得し、
   取得した前回および今回の前記売場画像を比較して、その両者の差分に基づいて、前記売場画像において商品の不足状態が発生している画面領域である不足エリアを検出し、
   前記不足状態が連続して検出された前記売場画像の数に基づいて、前記不足エリアごとの前記不足状態の継続時間を取得し、
   前記不足エリアごとに、前記継続時間に基づいて、表示形態が段階的に変化する不足エリア画像を生成し、
   前記不足エリア画像を前記売場画像上の対応する位置に重畳した画像領域を含むモニタリング画面を生成することを特徴とする商品モニタリング方法。

Images