前記課題を解決するためになされた第1の発明は、店舗の売場を撮像した売場画像に基づいて、前記売場に陳列された商品の陳列状態を監視する商品モニタリング装置であって、前記売場画像上に状態監視エリアを設定する状態監視エリア設定部と、予め学習された陳列対象の商品およびそれらの商品が陳列される陳列器具を識別するための商品識別情報および陳列器具識別情報が登録された情報記憶部と、前記売場画像、前記商品識別情報および前記陳列器具識別情報に基づいて、前記状態監視エリアに陳列された前記商品および前記陳列器具を識別する商品識別部と、この商品識別部による前記商品に関する識別結果と、前記陳列器具に関する識別結果とに基づいて、前記状態監視エリアの未学習商品を検知して陳列不備を判定する陳列状態判定部と、この陳列状態判定部により陳列不備と判定された場合に、前記状態監視エリアにおいて陳列不備が発生したことを表す陳列不備表示画像を前記売場画像上に重畳したモニタリング画面を生成する画面生成部と、を備えた構成とする。
これによると、商品に関する識別結果と、陳列器具に関する識別結果とに基づいて、状態監視エリアの未学習商品を検知して陳列不備を判定するため、陳列対象となる商品ではない対象外の物品が存在するような不測の状態であっても、陳列不備を改善する作業の指示を迅速にかつ適切に行なうことができる。
また、第2の発明は、前記商品識別部は、前記識別結果の信頼性に関する信頼性情報を生成し、前記陳列状態判定部は、前記信頼性情報に基づいて、前記状態監視エリアの陳列不備を判定する構成とする。
これによると、状態監視エリアに、陳列対象となる商品ではない対象外の物品が存在する場合に、その対象外の物品が存在することを適切に検知して、状態監視エリアの陳列不備を精度よく判定することができる。
また、第3の発明は、前記商品識別部は、識別対象が異なる複数の識別器を有し、この複数の識別器による識別結果のばらつき度合いに関する情報を前記信頼性情報として生成する構成とする。
これによると、精度の高い信頼性情報を生成することができる。
また、第4の発明は、前記画面生成部は、前記陳列不備表示画像として、前記状態監視エリアを表す枠画像を表示する構成とする。
これによると、枠画像により、陳列不備が発生している状態監視エリアをユーザが容易に把握することができる。
また、第5の発明は、前記画面生成部は、前記陳列不備表示画像として、陳列不備が発生している位置を表すアイコンを表示する構成とする。
これによると、アイコンにより、状態監視エリアにおいて陳列不備が発生している位置をユーザが容易に把握することができる。
また、第6の発明は、前記画面生成部は、陳列不備の継続時間に応じて前記陳列不備表示画像の表示形態を変更する構成とする。
これによると、陳列不備表示画像の表示形態の違いにより、陳列不備の継続時間をユーザが容易に把握することができる。
また、第7の発明は、前記画面生成部は、陳列不備の発生頻度に関する情報を前記モニタリング画面に付加する構成とする。
これによると、陳列不備の発生頻度をユーザが把握することができる。
また、第8の発明は、前記画面生成部は、陳列不備の発生状況を表すリストを前記モニタリング画面に付加する構成とする。
これによると、陳列不備の発生状況を表すリストにより、陳列不備が発生している状態監視エリアをユーザが容易に把握することができる。
また、第9の発明は、店舗の売場を撮像した売場画像に基づいて、前記売場に陳列された商品の陳列状態を監視する商品モニタリングシステムであって、前記売場を撮像して前記売場画像を出力するカメラと、前記売場画像を含むモニタリング画面を生成して出力するサーバ装置と、前記モニタリング画面を表示するユーザ端末装置と、を有し、前記サーバ装置は、前記売場画像上に状態監視エリアを設定する状態監視エリア設定部と、予め学習された陳列対象の商品およびそれらの商品が陳列される陳列器具を識別するための商品識別情報および陳列器具識別情報が登録された情報記憶部と、前記売場画像、前記商品識別情報および前記陳列器具識別情報に基づいて、前記状態監視エリアに陳列された前記商品および前記陳列器具を識別する商品識別部と、この商品識別部による前記商品に関する識別結果と、前記陳列器具に関する識別結果とに基づいて、前記状態監視エリアの未学習商品を検知して陳列不備を判定する陳列状態判定部と、この陳列状態判定部により陳列不備と判定された場合に、前記状態監視エリアにおいて陳列不備が発生したことを表す陳列不備表示画像を前記売場画像上に重畳したモニタリング画面を生成する画面生成部と、を備えた構成とする。
これによると、第1の発明と同様に、陳列対象となる商品ではない対象外の物品が存在するような不測の状態であっても、陳列不備を改善する作業の指示を迅速にかつ適切に行なうことができる。
また、第10の発明は、店舗の売場を撮像した売場画像に基づいて、前記売場に陳列された商品の陳列状態を監視する処理を情報処理装置に行わせる商品モニタリング方法であって、前記売場画像上に状態監視エリアを設定し、予め学習された陳列対象の商品およびそれらの商品が陳列される陳列器具を識別するための商品識別情報および陳列器具識別情報を登録し、前記売場画像、前記商品識別情報および前記陳列器具識別情報に基づいて、前記状態監視エリアに陳列された前記商品および前記陳列器具を識別し、前記商品に関する識別結果と、前記陳列器具に関する識別結果とに基づいて、前記状態監視エリアの未学習商品を検知して前記状態監視エリアの陳列不備を判定し、陳列不備と判定された場合に、前記状態監視エリアにおいて陳列不備が発生したことを表す陳列不備表示画像を前記売場画像上に重畳したモニタリング画面を生成する構成とする。
これによると、第1の発明と同様に、陳列対象となる商品ではない対象外の物品が存在するような不測の状態であっても、陳列不備を改善する作業の指示を迅速にかつ適切に行なうことができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
図1は、本実施形態に係る商品モニタリングシステムの全体構成図である。
この商品モニタリングシステムは、コンビニエンスストアなどの小売チェーン店などを対象にして構築されるものであり、複数の店舗(施設)ごとに設けられたカメラ1と、サーバ装置(商品モニタリング装置)2と、ユーザ端末装置3と、を備えている。
カメラ1は、店舗内の適所に設置され、店舗内の売場を撮像する。このカメラ1は、店舗内ネットワーク、ルータ4およびVLAN(Virtual Local Area Network)などの閉域ネットワークを介してサーバ装置2に接続されている。また、カメラ1では、店舗内を撮像した画像から人物を除去する画像処理が実施され、この画像処理で得られた売場画像(処理画像)がカメラ1から出力される。
サーバ装置2は、店舗内に設置されたカメラ1から送信される売場画像などを受信する。また、サーバ装置2は、インターネットを介してユーザ端末装置3に接続されており、ユーザが閲覧するモニタリング画面を生成してユーザ端末装置3に配信し、また、ユーザがモニタリング画面で入力した情報を取得する。
ユーザ端末装置3は、スマートフォンやタブレット端末やPCで構成される。このユーザ端末装置3では、サーバ装置2から配信されるモニタリング画面が表示される。このモニタリング画面をユーザが閲覧することで、店舗内の状況を把握することができる。
次に、店舗のレイアウトおよびカメラ1の設置状況について説明する。図2は、店舗のレイアウトおよびカメラ1の設置状況を説明する店舗の平面図である。
店舗には、出入口、陳列棚、レジカウンタ、および調理器具などが設けられている。陳列棚は、ファーストフード(FF)、米飯(おにぎり、弁当、寿司などの商品)、ベーカリー、デザート、ドリンク、加工食品、雑貨、生鮮食品、雑誌、新聞などの商品の区分(種類)に分けて設置されている。調理器具は、からあげなどのファーストフードを店内で調理するものであり、レジカウンタの隣には、ファーストフードの陳列棚(FFケース)が設置されている。顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで会計(代金の支払い)を済ませた後に出入口から退店する。
また、店舗には、売場を撮影する複数のカメラ1が設置されている。このカメラ1は、店舗内の天井の適宜な位置に設置されている。特に、図2に示す例では、カメラ1に、魚眼レンズを用いて360度の撮影範囲を有する全方位カメラが採用され、このカメラ1により、売場の陳列棚などに陳列された商品などを撮影することができる。
次に、サーバ装置2で行われるエリア設定処理について説明する。図3は、売場画像上に設定される状態監視エリアを示す説明図である。
サーバ装置2では、ユーザ端末装置3におけるユーザの操作入力に基づき、売場画像上に状態監視エリアを設定する。この状態監視エリアは、陳列棚の棚板や商品のカテゴリーにより、売場における陳列エリアを区分けした区画ごとに設定することができる。具体的には、売場画像内の商品が配置される領域を取り囲むように状態監視エリアが設定される。
図3に示す例では、対象とする陳列エリアを、米飯(おにぎり、弁当、寿司などの商品)などの商品を陳列する陳列棚として、この陳列棚の各棚板を対象にして複数の状態監視エリアが設定されている。ここで、状態監視エリアは、4つの頂点を指定することで、4角形状に設定されるようにすればよいが、状態監視エリアの境界線を曲線で指定することができるようにしてもよい。また、1つの棚板上の陳列エリアを複数に分割して、1つの棚板上の陳列エリアに複数の状態監視エリアを設定するようにしてもよい。
なお、図3に示す例は、陳列棚を撮像した売場画像であるが、商品が陳列される器具(陳列器具)は陳列棚に限定されるものではなく、陳列台やワゴンなどの種々の形態の陳列器具が可能である。
次に、サーバ装置2で行われる商品識別処理について説明する。図4は、サーバ装置2で行われる商品識別処理の要領を説明する説明図である。図5は、商品識別の識別結果に基づく未学習領域の検出状況を示す説明図である。
サーバ装置2では、機械学習による物体認識の技術を用いて、状態監視エリアに存在する商品を識別する。この商品識別では、識別の視点が異なる複数の識別器が用いられ、各識別器の識別結果を集計して、識別結果ごとの投票数を求め、多数決により投票数が最も多い識別結果を最終的な識別結果として選出する。この商品識別には、公知の機械学習による物体認識の技術、例えばランダムフォレスト(Random Forest)の技術を用いればよい。
具体的には、図4に示すように、まず、予め学習された各商品およびそれらの商品が陳列される陳列トレイ(陳列器具)を候補として、識別対象がいずれの候補に該当するかを各識別器に投票させ、各識別器が投票した候補を集計して、候補ごとの投票数を求める。そして、投票数が最も多い候補を最終的な識別結果として選出する。
ここで、状態監視エリアに未学習物品が存在すると、各識別器の識別結果が全体的にばらついた状態となる。具体的には、投票数が最多で最終的な識別結果として選出された商品と、投票数が次点となる商品との間で投票数に大きな差異がなく、さらに、投票数が3位以降の商品と比較しても、投票数に大きな差異がない状態となる。これは、識別結果に曖昧さがある、すなわち、識別結果の信頼性が低いことを示している。
そこで、本実施形態では、識別器の識別結果のばらつき度合いに基づいて、未学習物品が存在する可能性が高い未学習領域を検出する。すなわち、各識別器の識別結果のばらつき度合いが大きく、識別結果の信頼性が低い場合に、未学習領域と判定する。
具体的には、図4に示すように、各識別器が投票した候補(ラベル)を投票数で降順に並び替えて、その順に候補に投票番号xを付与する。次に、図4に示す式1により、投票番号xごとの投票数と、ラベル数(各識別器が投票した候補の数)とから、ばらつき度合評価値vを算出する。そして、このばらつき度合評価値vを所定のしきい値と比較して、ばらつき度合評価値vがしきい値を超える場合に、識別結果の信頼性が低いものと判断して、未学習領域と判定する。
また、本実施形態では、商品に関する識別と、陳列トレイに関する識別と、が行われる。商品に関する識別では、識別対象がいずれの商品に該当するかを判定する。陳列トレイに関する識別では、商品が陳列される陳列トレイ(陳列器具)であるか否かを判定する。
ここで、商品に関する識別および陳列トレイに関する識別の各々において、各識別器の識別結果のばらつき度合いを表すばらつき度合評価値を求め、このばらつき度合評価値がしきい値を超える領域を未学習領域として検出する。
図5に示す画像は、状態監視エリアとなる陳列棚の棚板上に未学習物品を配置して、識別器の識別結果のばらつき度合いに基づいて未学習領域を検出した結果を示したものであり、未学習領域が色分け表示されている。この未学習領域の検出結果を、実際の未学習物品の位置と比較することで、未学習領域を適切に検出することができるかを確認することができる。
図5(A−1),(A−2),(A−3)は、陳列トレイに関する識別で、ばらつき度合評価値vのしきい値をそれぞれ0.5、1.0、1.5とした場合である。ここで、ばらつき度合評価値vのしきい値を1.0とする、すなわち、ばらつき度合評価値vが1.0を超える場合に未学習領域として検出するようにすると、未学習物品が存在する未学習領域を適切に検出することができる。
図5(B−1),(B−2),(B−3)は、商品に関する識別で、ばらつき度合評価値vのしきい値をそれぞれ0.5、1.0、1.5とした場合である。ここで、ばらつき度合評価値vのしきい値を0.5とする、すなわち、ばらつき度合評価値vが0.5を超える場合に未学習領域として検出するようにすると、未学習物品が存在する未学習領域を適切に検出することができる。
このように、ばらつき度合評価値vのしきい値を適切に設定することで、未学習領域を精度よく検出することができる。特に、陳列トレイに関する識別と商品に関する識別とでは、未学習領域を適切に識別することができるばらつき度合評価値vのしきい値が異なる。そこで、本実施形態では、未学習領域を識別するためのばらつき度合評価値のしきい値を、陳列トレイに関する識別と商品に関する識別とで異なる値(陳列トレイに関する識別では1.0,商品に関する識別では0.5)に設定する。
このようにして未学習領域が検出されると、この未学習領域の検出結果に基づいて、未学習物品が存在するか否かを判定する。このとき、未学習領域の大きさとその連続性に基づいて、未学習物品の有無を判定する。すなわち、未学習領域の大きさ(画素数)を所定のしきい値以上となり、かつ、その大きさの未学習領域が所定時間以上連続して検出された場合に、未学習物品が存在するものと判定する。
なお、陳列棚の棚板上に載置された未学習物品の位置を取得するには、状態監視エリアの画像において、横方向の各位置での未学習領域の占有率を求め、その占有率が所定のしきい値以上となる位置を未学習物品の位置とすればよい。
また、本実施形態では、状態監視エリアにおいて商品が存在しない領域を陳列トレイとして識別するようにしたが、陳列棚を斜め上方から撮像した画像において陳列棚の棚板上のエリアに状態監視エリアを設定した場合、棚板の上面の他に、陳列棚の側面パネルや背面パネルの内側面が状態監視エリアの画像に現れ、これらの部分が陳列トレイとして識別される。
以上のように、識別結果の信頼性の低さ(識別結果の曖昧さ)を表すばらつき度合評価値に基づいて、未学習物品を検知することができるが、本実施形態では、この未学習物品の検知結果を、状態監視エリアの陳列不備としてユーザに提示する。
店舗の売場では、商品区分で分けて商品が各陳列棚に陳列され、各陳列棚に陳列される商品は予め定められているが、店員の勘違いなどにより、別の陳列棚に陳列すべき商品が陳列されることがある。また、この他にも、陳列対象となる商品ではない様々な対象外の物品が紛れ込むことがあり、このような対象外の物品が紛れ込んだ状態は、陳列不備として確実に検知して、それを改善する作業を速やかにユーザに実施させることが望まれる。
そこで、本実施形態では、状態監視エリアにおいて未学習物品が検知されると、その未学習物品を、陳列対象となる商品ではない対象外の物品とみなして、状態監視エリアで陳列不備が発生しているものと判定し、その陳列不備を解消する作業をユーザに促すための報知を行う。
次に、サーバ装置2で生成されてユーザ端末装置3に表示されるモニタリング画像について説明する。図6は、サーバ装置2で生成されてユーザ端末装置3に表示されるモニタリング画像を示す説明図である。
本実施形態では、サーバ装置2において、図6に示すモニタリング画像が生成されてユーザ端末装置3に送信され、ユーザ端末装置3にモニタリング画像が表示される。
このモニタリング画像では、売場画像61上に、状態監視エリアの輪郭を表す枠線からなる枠画像(陳列不備表示画像)62が重畳表示されている。この枠画像62は、状態監視エリアにおいて陳列不備が発生するのに応じて、表示形態が変化する。具体的には、状態監視エリアに陳列不備が発生すると、枠画像の表示色が、例えば緑色から赤色に変化する。これにより、陳列不備が発生している状態監視エリア(例えば陳列棚の棚板)をユーザが把握することができる。
また、モニタリング画像では、売場画像61において陳列不備が検知された位置の近傍に、陳列不備が発生している位置を表すアイコン63が重畳表示されている。これにより、陳列不備が発生している位置をユーザが把握することができる。
次に、カメラ1、サーバ装置2およびユーザ端末装置3の概略構成について説明する。図7は、カメラ1、サーバ装置2およびユーザ端末装置3のハードウェア構成を示すブロック図である。
カメラ1は、撮像部11と、制御部12と、情報記憶部13と、通信部14と、を備えている。
撮像部11は、イメージセンサを備え、時間的に連続する撮像画像(フレーム)、いわゆる動画像を順次出力する。制御部12は、撮像画像に対して人物などの動体を除去する画像処理を行い、この画像処理により生成した動体除去画像を売場画像として出力する。情報記憶部13は、制御部12を構成するプロセッサで実行されるプログラムや、撮像部11から出力される撮像画像を記憶する。通信部14は、サーバ装置2との間で通信を行うものであり、制御部12から出力される売場画像をネットワークを介してサーバ装置2に送信する。
サーバ装置2は、制御部21と、情報記憶部22と、通信部23と、を備えている。
通信部23は、カメラ1およびユーザ端末装置3との間で通信を行うものであり、カメラ1から送信される売場画像を受信し、また、ユーザ端末装置3から送信されるユーザ設定情報を受信し、また、ユーザが閲覧するモニタリング画面をユーザ端末装置3に配信する。情報記憶部22では、通信部23で受信したカメラ1ごとの売場画像や、制御部21を構成するプロセッサで実行されるプログラムなどを記憶する。制御部21は、ユーザ端末装置3に配信するモニタリング画面を生成する。
また、情報記憶部22には、商品および陳列トレイを識別するための機械学習で取得した学習データ(商品および陳列トレイの特徴に関する情報)が記憶される。この学習データには、商品に関する識別で用いられる学習データ(商品識別情報)と、陳列トレイ(陳列器具)に関する識別で用いられる学習データ(陳列器具識別情報)とがある。
ユーザ端末装置3は、制御部31と、情報記憶部32と、通信部33と、入力部34と、表示部35と、を備えている。
入力部34は、ユーザが各種の設定情報を入力する。表示部35は、サーバ装置2から送信される画面情報に基づいてモニタリング画面を表示する。入力部34および表示部35は、タッチパネルディスプレイで構成することができる。通信部33は、サーバ装置2との間で通信を行うものであり、入力部34で入力されたユーザ設定情報をサーバ装置2に送信し、また、サーバ装置2から送信される画面情報を受信する。制御部31は、ユーザ端末装置3の各部を制御する。情報記憶部32は、制御部31を構成するプロセッサで実行されるプログラムなどを記憶する。
次に、カメラ1およびサーバ装置2の機能的な構成について説明する。図8は、カメラ1およびサーバ装置2の機能ブロック図である。
カメラ1の制御部12は、動体除去画像生成部41を備えている。この動体除去画像生成部41は、情報記憶部13に記憶されたモニタリング用のプログラム(インストラクション)を、制御部12を構成するプロセッサに実行させることで実現される。
動体除去画像生成部41では、所定の学習期間における複数の撮像画像(フレーム)に基づいて、撮像画像から動体を除去した動体除去画像を生成する。具体的には、撮像部11から出力される時間的に連続する撮像画像が動体除去画像生成部41に順次入力されると、直近の所定のサンプリング期間における複数の撮像画像に基づいて、画素単位の支配画像情報(優勢な状態にある色情報)を求めて、動体除去画像(背景画像)を生成する。そして、このような支配画像情報を撮像画像が入力される度に更新することで、最新の動体除去画像を得ることができる。この動体除去画像の生成には、公知の背景画像生成技術を利用すればよい。
このようにして動体除去画像生成部41で生成された動体除去画像は、売場画像として通信部14から所定の単位時間間隔(例えば15分間隔)でサーバ装置2に送信される。具体的には、サーバ装置2において、カメラ1に対する画像送信要求が所定のタイミング(例えば15分間隔)で定期的に行われ、カメラ1の通信部14では、サーバ装置2からの画像送信要求に応じて、その時刻の売場画像を送信する。
サーバ装置2の制御部21は、画像取得部51と、状態監視エリア設定部52と、機械学習部53と、商品識別部54と、陳列状態判定部55と、継続時間取得部56と、発生頻度取得部57と、アラートレベル判定部58と、画面生成部59と、を備えている。この制御部21の各部は、情報記憶部22に記憶されたモニタリング用のプログラム(インストラクション)を、制御部21を構成するプロセッサに実行させることで実現される。
画像取得部51では、カメラ1から定期的(例えば15分間隔)に送信されて通信部23において受信した売場画像(動体除去画像)を取得する。この画像取得部51で取得した売場画像は情報記憶部22に記憶される。
状態監視エリア設定部52では、ユーザ端末装置3において行われるユーザの入力操作に応じて、売場画像上に状態監視エリア(図3参照)を設定する処理が行われる。このとき、陳列エリアの撮影画像が表示されたエリア設定画面をユーザ端末装置3に表示させ、このエリア設定画面上で状態監視エリアの位置をユーザに入力させればよい。
機械学習部53では、学習対象として入力された商品ごとの画像に対して機械学習を行い、学習結果として商品ごとの特徴情報を取得して、その商品ごとの特徴情報に関する学習データを情報記憶部22のデータベースに登録する。また、新規の商品の画像が入力されると、その新規の商品に関する機械学習を行い、その学習結果に基づいて学習データを更新する。
商品識別部54では、画像取得部51で取得した売場画面と、情報記憶部22に登録された学習データとに基づいて、状態監視エリアに陳列された商品、および商品が陳列される陳列トレイ(陳列器具)を識別する。本実施形態では、商品に関する識別と、陳列トレイに関する識別と、が行われる。商品に関する識別では、各商品に関する学習データ(商品識別情報)に基づいて、識別対象がいずれの商品に該当するかを判定する。陳列トレイに関する識別では、陳列トレイに関する学習データ(陳列器具識別情報)に基づいて、識別対象が陳列トレイであるか否かを判定する。
また、商品識別部54は、識別の視点が異なる複数の識別器を有しており、各識別器の識別結果を集計して、識別結果ごとの投票数を求め、投票数が最も多い識別結果を最終的な識別結果として選出する。また、商品識別部54では、各識別器の識別結果に基づいて、識別結果の信頼性に関する信頼性情報として、各識別器の識別結果のばらつき度合いの大きさ、すなわち、識別結果の信頼性の低さ(識別結果の曖昧さ)を表すばらつき度合評価値を算出する。
陳列状態判定部55では、商品識別部54で取得したばらつき度合評価値(信頼性情報)に基づいて、状態監視エリアにおける陳列不備を判定する。本実施形態では、まず、ばらつき度合評価値を所定のしきい値と比較して、ばらつき度合評価値がしきい値を超える場合に未学習領域として検出する。そして、その未学習領域の大きさ(画素数)を所定のしきい値と比較して、未学習領域の大きさがしきい値以上となると、未学習物品が存在するものと判定し、その未学習物品が検知された状態監視エリアにおいて陳列不備が発生しているものと判定する。
継続時間取得部56では、陳列状態判定部55の検知結果に基づいて、陳列不備の継続時間、すなわち、陳列不備が発生してから現在までの経過時間を取得する。
発生頻度取得部57では、陳列状態判定部55の検知結果に基づいて、陳列不備の発生頻度、すなわち、所定の期間内において陳列不備が発生した頻度を取得する。この陳列不備の発生頻度には、同一の状態監視エリアで断続的に発生したときの発生回数や、異なる状態監視エリアで同時に発生したときの発生箇所数がカウントされる。
アラートレベル判定部58では、継続時間取得部56で取得した陳列不備の継続時間が長いか短いかに応じて、アラートレベルが「軽度」および「重度」のいずれであるかを判定する。具体的には、陳列不備の継続時間を所定のしきい値(例えば1時間、1日)と比較して、陳列不備の継続時間がしきい値未満である場合には「軽度」と判定し、陳列不備の継続時間がしきい値以上となる場合には「重度」と判定する。
また、アラートレベル判定部58では、発生頻度取得部57で取得した陳列不備の発生頻度が多いか少ないかに応じて、アラートレベルが「軽度」および「重度」とのいずれであるかを判定する。具体的には、陳列不備の発生頻度を所定のしきい値と比較して、陳列不備の発生頻度がしきい値未満である場合には「軽度」と判定し、陳列不備の発生頻度がしきい値以上となる場合には「重度」と判定する。
なお、陳列不備の発生頻度が多く、かつ、陳列不備の継続時間が長い場合に、アラートレベルを「重度」と判定するようにしてもよい。具体的には、陳列不備の発生頻度がしきい値以上となり、かつ、その発生頻度がしきい値以上となる状態の継続時間がしきい値以上となる場合に、アラートレベルを「重度」と判定するようにしてもよい。
また、本実施形態では、陳列不備の継続時間や発生頻度に基づいてアラートレベル(軽度および重度)を判定するようにしたが、未学習領域の大きさに基づいてアラートレベルを判定するようにしてもよい。すなわち、未学習領域の大きさが所定のしきい値以上となる場合には「重度」と判定するようにしてもよい。
画面生成部59では、状態監視エリア設定部52で設定された状態監視エリアを表す枠画像(陳列不備表示画像)を売場画像上に重畳したモニタリング画面を生成する。
このモニタリング画面では、陳列状態判定部55の判定結果に基づいて、枠画像の表示形態を変更する。具体的には、陳列不備の有無に応じて枠画像62(図6参照)を色分けして表示する。すなわち、陳列不備がある状態監視エリアの枠画像62を、陳列不備がない状態監視エリアの枠画像と異なる表示色で強調表示する。さらに、モニタリング画面では、継続時間取得部56で取得した陳列不備の継続時間に応じて枠画像62の表示形態を変更する。具体的には、陳列不備の継続時間に応じて枠画像62の表示色を変化させる。
また、画面生成部59では、アラートレベル判定部58の判定結果に基づいて、モニタリング画面において、アラートレベルが「重度」と判定された状態監視エリアをユーザに提示する。本実施形態では、陳列不備が発生している売場をユーザに通知するウインドウのポップアップ表示や、陳列不備の発生状況を表す陳列不備リストでの強調表示が行われる(図9,図10参照)。
次に、サーバ装置2で生成されてユーザ端末装置3に表示されるモニタリング画面について説明する。図9および図10は、サーバ装置2で生成されてユーザ端末装置3に表示されるモニタリング画面を示す説明図であり、図9に、陳列不備の発生頻度が少ない場合を示し、図10に、陳列不備の発生頻度が多い場合を示す。
本実施形態では、サーバ装置2において、図9および図10に示すモニタリング画面の画面情報が生成され、この画面情報がユーザ端末装置3に配信されて、ユーザ端末装置3でモニタリング画面が表示される。
このモニタリング画面は、多数の店舗を担当する店舗管理者などのユーザが、各店舗における売場の状況を効率的に監視することができるようにしたものであり、このモニタリング画面には、各店舗における売場ごとの売場画像61(図6参照)が並べて表示されている。各売場画像には、状態監視エリアを表す枠画像62が表示されており、陳列不備が検知された状態監視エリアを表す枠画像62は、陳列不備が検知されていない状態監視エリアを表す枠画像62とは異なる表示色で表示される。
これにより、多くの売場の中から、陳列不備が発生している売場をユーザが容易に見分けることができ、さらに、売場画像61を見ることで、陳列不備の具体的な状況をユーザが把握することができる。
また、モニタリング画面には、陳列不備の発生状況を表す陳列不備リスト71が表示される。この陳列不備リスト71には、陳列不備が検知された位置(店舗および売場)と、陳列不備の発生頻度とが一覧表示される。これにより、どの店舗のどの売場にどの程度の陳列不備が発生しているかをユーザが容易に把握することができる。
また、陳列不備が発生している状態監視エリアについてアラートレベルが「重度」と判定されると、図10に示すように、該当する売場で陳列不備が発生していることをユーザに通知するウインドウ(メッセージボックス)72がモニタリング画面上にポップアップ表示される。また、モニタリング画面の陳列不備リスト71では、アラートレベルが「重度」と判定された状態監視エリアに対応する売場の表示欄が、他の売場の表示欄と異なる表示色で強調表示される。
なお、本実施形態では、状態監視エリアの輪郭を表す枠線で構成される枠画像62の表示色を変化させることで、陳列不備の有無および継続時間の長さを表現するようにしたが、枠画像を構成する枠線の太さや線種(例えば実線や点線など)などの他の表示要素を変化させることで、陳列不備の有無および継続時間の長さを表現するようにしてもよい。
また、枠画像62の代わりに、状態監視エリアの輪郭の内部を塗り潰した塗り潰し画像を表示させて、その塗り潰し画像の色や透過率などの表示要素を変化させることで、陳列不備の有無および継続時間の長さを表現するようにしてもよい。
また、本実施形態では、陳列不備がある状態監視エリアの枠画像62を、陳列不備がない状態監視エリアの枠画像62と異なる表示形態で強調表示するようにしたが、陳列不備がない状態監視エリアでは、枠画像62を表示させないようにしてもよい。
また、本実施形態では、枠画像62の表示形態を変化させることで、状態監視エリアにおいて陳列不備が発生したことを表現するようにしたが、状態監視エリアの陳列状態を表すアイコンを、状態監視エリアの中央などの適宜な位置に表示させて、そのアイコンの表示形態を変化させることで、状態監視エリアにおいて陳列不備が発生したことを表現するようにしてもよい。
また、本実施形態では、陳列不備リスト71において、売場ごとの陳列不備の発生頻度を表示するようにしたが、状態監視エリア(例えば、陳列棚の各棚)ごとの陳列不備の発生頻度を表示するようにしてもよい。
なお、本実施形態では、陳列不備リスト71に陳列不備の発生頻度を数字で表示するようにしたが、この陳列不備リスト71に陳列不備の継続時間を数字で表示するようにしてもよい。
ところで、このようにモニタリング画面で陳列不備をユーザに提示する他に、電子メールなどの種々の通知手段を用いて陳列不備をユーザに通知することもできる。
このとき、アラートレベルが「軽度」である、すなわち、陳列不備の発生箇所が少なく、また、陳列不備の継続時間が短い場合には、ユーザへの警告が過剰にならないように、注意を促す程度の通知にとどめるようにするとよい。具体的には、店舗の運営状況に関する情報などの他の様々な通知情報とまとめて陳列不備を通知したり、電子メールの送信先などの陳列不備の通知先を限定するようにしたりしてもよい。
一方、アラートレベルが「重度」である、すなわち、陳列不備の発生箇所が増えた場合や、陳列不備の継続時間が長くなった場合には、顧客の購買意欲を減退させて販売機会損失を招き、また、陳列不備の誤検知であれば、商品識別の精度低下や異常が発生している場合もあり、いずれにしても店舗運営上の大きな問題となる可能性がある。このため、ユーザに対して積極的に警告を行い、陳列不備を解消する商品管理作業を優先して実施させ、また、システムのメンテナンス作業に早急に着手させる必要がある。
具体的には、他の通知情報とは別に陳列不備専用の通知を行ったり、電子メールの送信先などの陳列不備の通知先を増やしたり変更したりする、例えば本部のスーパーバイザーより上位の管理者を通知先に含めるようにしてもよい。また、店舗に設置された警報ランプなどの報知装置を用いて陳列不備を店員などのユーザに通知するようにしてもよい。
次に、未学習物品を新商品として検知する場合について説明する。図11は、未学習物品を新商品として検知する場合の処理を説明する説明図であり、図11(A)に、陳列棚に商品ポップ81が設置された売場画面を示し、図11(B)に、商品ポップ81の表示内容を示す。
前記のように、本実施形態では、商品識別における識別結果の信頼性から検出される未学習領域に基づいて未学習物品(陳列対象となる商品ではない対象外の物品)を検知して、その未学習物品の検知結果を陳列不備としてユーザに提示するようにしたが、未学習物品を新商品として検知してユーザに提示することも可能である。
陳列棚に新商品を陳列した場合、その新商品の近傍に、新商品であることを表す商品ポップ81が設置されることがあり、この場合、図11(A)に示すように、売場画像61には、商品とともに商品ポップが写る。そこで、売場画像61において、新商品であることを表す商品ポップ81を検知することで、未学習物品が新商品であることを判定することができる。
また、商品ポップ81には、新商品であることを表す文字や図形が描かれており、この文字や図形により、商品ポップ81であることを判定することができる。図11(B)に示す例では、カラーバーコード82と、新商品であることを表す文字83と、が描かれている。この場合、文字認識やバーコード認識により、商品ポップ81が新商品であることを表すものか否かを判定することができる。
なお、文字やバーコードの他に、商品ポップの全体形状(矩形など)や、商品ポップの色(下地の白色など)や、商品ポップに描かれた絵柄などに基づいて、商品ポップを検知するようにしてもよい。
また、新商品の検知では、まず、商品識別における識別結果の信頼性から未学習領域が検出されると、未学習領域の大きさを所定のしきい値と比較して、その未学習領域の大きさがしきい値を超えると、未学習物品が存在するものと判定して、その未学習物品の近傍に商品ポップの画像領域があるか否かを探索し、商品ポップの画面領域が見つかると、未学習物品を新商品と判定する。
このようにして新商品が検知されると、検知された新商品に、新規の商品カテゴリーを割り当てて、新商品を機械学習部53に学習させるようにするとよい。これにより、従来の商品に関する商品識別の精度低下を抑止することができる。
また、新商品が検知されると、売場に新商品が陳列されていることをユーザ(スーパーバイザーなどの店舗管理者)に通知する。例えば、モニタリング画面(図9,10参照)において、新商品が陳列された状態監視エリアを強調表示する。具体的には、新商品が陳列された状態監視エリアを表す枠画像を、表示色の変更などで強調表示したり、新商品であることを表す文字(例えば「新商品!」)を表示したりする。これにより、店舗に新商品が陳列されていることをユーザが確認することができる。また、売場画面に写った新商品の具体的な陳列状況を見ることで、新商品の陳列位置が適切か否かをユーザが容易に把握することができる。
また、新商品が検知されると、電子メールやデジタルサイネージなどの適宜な広告媒体を用いて、店舗に新商品が陳列されている旨の案内を顧客に提示するようにしてもよい。これにより、店舗に新商品が陳列されていることを顧客に伝えることができ、新商品の購買を促進することができる。
なお、ここでは、未学習物品を新商品として検知した結果をユーザや顧客に提示するようにしたが、未学習物品を新商品として検知した結果を陳列不備の判定に用いるようにしてもよい。すなわち、未学習物品が新商品と判定されると、陳列不備がないものと判定し、未学習物品が新商品でないと判定されると、その未学習物品を、陳列対象となる商品ではない対象外の物品と判断して、陳列不備があるものと判定する。
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
例えば、前記の実施形態では、コンビニエンスストアなどの小売店舗の例について説明したが、このような小売店舗に限定されるものではなく、小売店舗以外の業務形態の店舗に適用することも可能である。
また、前記の実施形態では、図2に示したように、カメラ1を、魚眼レンズを用いて360度の撮影範囲を有する全方位カメラとしたが、所定の画角を有するカメラ、いわゆるボックスカメラでも可能である。
また、前記の実施形態では、サーバ装置2において、状態監視エリア設定、機械学習、商品識別、陳列状態判定、発生頻度取得、継続時間取得、アラートレベル判定、および画面生成の各処理を行うようにしたが、これらの処理の全部あるいは一部を、店舗に設置されたPCで行うようにしてもよい。
また、前記の実施形態では、商品識別における識別結果の信頼性から未学習領域を検出して、その未学習領域に基づいて検知された未学習物品を陳列不備としてユーザに提示し、また、未学習物品を新商品として検知してユーザに提示するようにしたが、未学習領域の検出結果を商品識別の精度低下としてユーザに提示するようにしてもよい。すなわち、商品識別の精度が低下することで未学習領域が検出される場合もあるため、未学習領域が顕著である場合には、商品識別処理に不具合がないかの確認や、学習データの見直し(更新や入れ替え)をユーザ(システム運用者)に促す通知を行い、商品識別の精度を向上させる対策をユーザに速やかに実施させるようにしてもよい。
また、前記の実施形態では、複数の識別器による投票で最終的な識別結果を選出する商品識別において、各識別器の識別結果のばらつき度合いが大きい場合に、識別結果の信頼性が低いものと判断して、未学習物品と判定するようにしたが、未学習物品の判定は、このような手法に限定されるものではない。例えば、パターンマッチングにより商品識別を行う場合に、各候補に関するパターンマッチングの正解率が低く、かつ、近接している場合には、識別結果の信頼性が低いものと判断することができ、このような基準で未学習物品を判定するようにしてもよい。