JP7010030B2 - 店内監視装置、店内監視方法、および店内監視プログラム - Google Patents

Description

店内監視装置、店内監視方法、および店内監視プログラムに関し、特に、店内を撮影した映像に基づいて店内を監視する技術に関する。

コンビニエンスストア、スーパーマーケット、およびその他の小売量販店では、客がレジスター前で商品の代金を支払うことが一般的である。レジスターの前に並んだ客の人数が増えてきたとき、店員が、客のレジ待ち時間を予測して、他のレジスターを追加で開放するかどうかを判断している。

国際公開第２０１５／１４０８５３号 特開２００４－１７１２４１号公報

しかしながら、店員は、バックヤードまたは事務所内で仕事をしているとき、レジスター前に客の行列（滞留）ができていることに気付かない場合がある。

また、客が取得した商品点数は、客によって様々である。店員は、レジスター前に並んだ客が取得した商品点数が分からないため、客のレジ待ち時間を正確に判断することが難しい。例えば、レジスターの前に並んだ客の人数は少なくても、それらの客が取得した商品点数が多い場合、レジ待ち時間は長くなる。

本発明の目的は、レジスター前に並んだ客が取得した商品点数の合計を算出することで、客のレジ待ち時間を正確に把握することにある。

本発明の一態様に係わる店内監視方法は、客を含む映像を取得し、前記映像から前記客毎に各々が商品を取得した商品点数の情報を生成し、レジスター前のエリア内にいる客を検出し、前記検出された客が取得した商品点数の合計を算出する。

本発明の一態様に係わる店内監視装置は、客を含む映像を取得する映像取得手段と、前記映像から前記客毎に各々が商品を取得した商品点数の情報を生成する情報生成手段とレジスター前のエリア内にいる客を検出する検出手段と、前記検出された客が取得した商品点数の合計を算出する算出手段と、を備えている。

本発明の一態様に係わる店内監視プログラムは、客を含む映像を取得することと、前記映像から前記客毎に各々が商品を取得した商品点数の情報を生成することと、レジスター前のエリア内にいる客を検出することと、前記検出された客が取得した商品点数の合計を算出することと、をコンピュータに実行させる。

本発明の一態様によれば、レジスター前に並んだ客が取得した商品点数の合計を算出することで、客のレジ待ち時間を正確に把握することができる。

実施形態１に係わる店内監視装置の構成を示すブロック図である。 実施形態１に係わる店内監視装置の記憶部に格納されている客－取得点数情報のＤＢ（Data Base）の一例を示す図である。 実施形態１に係わる店内監視装置が実行するレジ待ち判定処理の動作の第１の例を示すフローチャートである。 実施形態１に係わる店内監視装置が実行するレジ待ち判定処理の動作の第２の例を示すフローチャートである。 実施形態２に係わる店内監視装置の構成を示すブロック図である。 実施形態３に係わる店内監視装置のハードウェア構成を示す図である。

以下の説明において、「レジ」とは「レジスター」の略称である。

（店内監視装置２の構成）
図１は、本実施形態に係わる店内監視装置１の構成を示すブロック図である。図１に示すように、店内監視装置１は、撮像部２１、動線分析部２２、棚前行動検出部２３、レジ待ち時間計測部２４、報知部２５、および記憶部２６を備えている。

撮像部２１は、店内を撮影して、映像（動画）のデータを生成する。撮像部２１は、映像を撮影するための１または複数台のカメラで構成されてもよい。撮像部２１は、撮影した映像のデータ（映像フレームを構成する画素データ）を、動線分析部２２、棚前行動検出部２３、およびレジ待ち時間計測部２４に送信する。

動線分析部２２は、撮像部２１から受信した映像のデータを用いて、客の動線を追跡する。棚前行動検出部２３は、客を特定するための情報と、客が棚から取得した商品点数の情報とを紐付けて、客－取得点数情報（図２参照）として、記憶部２６に格納する。レジ待ち時間計測部２４は、レジ前エリア（後述）内にいる客を特定するとともに、レジ前エリア内にいる客が取得した商品点数の情報を取得する。

報知部２５は、所定の条件が満たされる場合に、開放されているレジ数が不足していることを報知する。報知部２５は、例えば、スピーカまたは回転灯（アラーム灯）を含んでいてよい。

記憶部２６は、棚前行動検出部２３が生成した客－取得点数情報を記憶している。客－取得点数情報とは、客を特定するための情報（例えば、客を撮影した画像のデータ、客の特徴を示す情報、または客の動線情報など）と、客が店内で取得した商品点数の情報とを紐付けた情報である。客が取得した商品点数とは、ここでは、客が棚から手に取り、所持している商品の数を意味する。客の特徴を示す情報は、例えば、客の顔または外見の特徴量を表す情報を含む。しかしながら、客の特徴を示す情報は、これらの例に限定されない。

図２は、記憶部２６に格納されている客－取得点数情報のＤＢの一例を示す図である。図２は、客を特定するための情報が客の動線情報である場合を示す。図２に示すように、客－取得点数情報のＤＢでは、例えば、客の動線を特定するＩＤ（動線ＩＤ）と、客の時系列の位置情報（時刻／座標）と、客が取得した商品点数（個）とが互いに関連付けられていてよい。なお、図２において、客の時系列の位置は、撮像部２１のカメラから見た３Ｄの視点（ビュー）座標で表されている。なお、客－取得点数情報は、図２に示すＤＢに限定されない。

なお、店内監視装置１は、撮像部２１および記憶部２６を含んでいなくてもよい。この場合、店内監視装置１は、外部の撮像装置（例えばカメラ）が撮影した映像のデータを取得する。また、店内監視装置１は、客－取得点数情報を外部の記憶装置（例えばメモリ）に格納する。

（第１のレジ待ち判定処理）
図３を参照して、本実施形態に係わる店内監視装置１が実行するレジ待ち判定処理の動作の一例を説明する。図３は、店内監視装置１が実行する第１のレジ待ち判定処理の動作の流れを示すフローチャートである。

図３に示すように、第１のレジ待ち判定処理では、動線分析部２２は、撮像部２１から映像のデータを取得し、取得した映像のデータを用いて、客の動線を追跡する（Ｓ３０１）。より詳細には、動線分析部２２は、一定時間ごとに、映像のデータを構成する各フレームから客を検出し、検出した客の位置の時間変化を分析することによって、客の動線情報を生成し、出力する。なお、映像に基づいて客の動線を追跡する技術は、例えば、特許文献１に記載されている。そのため、本実施形態では、客の動線を追跡する技術に関する詳細な説明を省略する。

棚前行動検出部２３は、撮像部２１から受信した映像のデータを分析することによって、客が棚（ゴンドラ）に対して行う行動（棚前行動）を検出し、客が棚から取得した商品点数を計測する（Ｓ３０２）。なお、映像に基づいて棚前行動を検出する技術は、例えば、特許文献２に記載されている。本実施形態では、棚前行動に関する詳細な説明を省略する。

棚前行動検出部２３は、客を特定するための情報と、客が棚から取得した商品点数の情報とを紐付けて、客－取得点数情報として、記憶部２６に格納する（Ｓ３０３）。ここで、客を特定するための情報は、例えば、動線分析部２２が生成する客の動線情報であってもよいし、あるいは、客を撮影した画像のデータ（撮像部２１が撮影した映像のデータの一または複数フレーム）であってもよい。客を特定するための情報が、客の動線情報である場合、動線分析部２２は、既存の動線分析技術を用いて、客の動線情報を容易に生成することができる。また、棚前行動検出部２３は、客個人を識別する必要がないため、客のプライバシーを保護することができる。

レジ待ち時間計測部２４は、撮像部２１から受信した映像のデータから、レジ前エリア内に客がいることを検出する。レジ前エリアとは、精算のために客が集まるレジスター前のエリアである。レジ前エリアは、店の構造やレジの配置に応じて、予め設定されている。

レジ前エリア内に客がいる場合（Ｓ３０４でＹｅｓ）、レジ待ち時間計測部２４は、記憶部２６に格納されている客－取得点数情報を参照して、レジ前エリア内にいる客を特定するとともに、レジ前エリア内にいる客が取得した商品点数の情報を取得する（Ｓ３０５）。

客を特定するための情報が、客を撮影した画像のデータである場合、客に対応する画像部分の特徴量に基づいて、レジ前エリア内にいる客が特定される。この場合、レジ待ち時間計測部２４は、撮像部２１が撮影した映像のデータに基づいて、レジ前エリア内にいる客の顔や服装の特徴を表すデータを、第１の特徴量として抽出する。また、レジ待ち時間計測部２４は、記憶部２６に格納されている客の画像のデータから、客に対応する画像部分の特徴量を、第２の特徴量として抽出する。そして、時間計測部２４は、第１の特徴量を第２の特徴量と照合する。その結果、レジ前エリア内にいる客に対応する画像部分の特徴量（第１の特徴量）と同じ特徴量を有する客の画像が特定される。

また、客を特定するための情報が、客の動線情報である場合、客の位置に基づいて、レジ前エリア内にいる客が特定される。この場合、レジ待ち時間計測部２４は、撮像部２１が撮影した映像に基づいて、レジ前エリア内にいる客の位置を計測する。レジ待ち時間計測部２４は、客を特定するための情報として記憶部２６に格納されている客の動線情報の中から、レジ前エリア内にいる客の位置と、動線の先端の位置とが一致する動線を検索する。そして、レジ前エリア内にいる客と対応する動線が特定される。

レジ待ち時間計測部２４は、レジ前エリア内にいる全ての客をこのようにして特定した後、特定された客の画像に対応する商品点数または特定された動線に対応する商品点数、すなわち、レジ前エリア内にいる全ての客が取得した商品点数の合計を算出する（Ｓ３０６）。

第１のレジ待ち判定処理では、レジ待ち時間計測部２４は、開放されているレジの数の情報を取得する。そして、レジ待ち時間計測部２４は、開放されているレジの数が不足しているか否かを判定する。具体的には、レジ待ち時間計測部２４は、開放されているレジ数に応じて決まる閾値よりも、レジ前エリア内にいる客が取得した商品点数の合計が多い場合、開放されているレジ数が不足していると判定する。

開放されているレジ数が不足している場合（Ｓ３０７でＹｅｓ）、レジ待ち時間計測部２４は、報知部２５に報知させる（Ｓ３０８）。報知の内容は、例えば、単に店員を呼び出すものであってもよいし、他のレジを開放することを提案するものであってもよい。

（第２のレジ待ち判定処理）
図４を参照して、本実施形態に係わる店内監視装置１が実行するレジ待ち判定処理の他の動作の例を説明する。図４は、店内監視装置１が実行する第２のレジ待ち判定処理の動作の流れを示すフローチャートである。

図４に示すように、第２のレジ待ち判定処理では、動線分析部２２は、撮像部２１から映像のデータを取得し、取得した映像のデータを分析することによって、客の動線を追跡する（Ｓ４０１）。動線分析部２２は、客の動線の情報を記憶部２６に格納する。

棚前行動検出部２３は、撮像部２１から受信した映像のデータを分析することによって、棚前行動を検出し、客が棚から取得した商品点数を計測する（Ｓ４０２）。

そして、棚前行動検出部２３は、客を特定するための情報と、客が棚から取得した商品点数の情報とを紐付けて、客－取得点数情報として、記憶部２６に格納する（Ｓ４０３）。

レジ待ち時間計測部２４は、撮像部２１から受信した映像のデータから、レジ前エリア内で滞留している客を検出する。複数台のレジが解放されている場合、レジ待ち時間計測部２４は、開放されているレジ毎に、それぞれのレジ前エリア内で滞留している客を検出する。ここで、「滞留」とは、一定時間以上にわたって、客が同じエリア内にいることを意味する。なお、レジ待ち時間計測部２４は、必ずしも滞留している客のみを検出する必要はない。あるいは、レジ待ち時間計測部２４は、レジ前エリアにいる客を検出し、検出された客の取得した商品点数を合計するようにしても良い。

レジ前エリア内に客が滞留している場合（Ｓ４０４でＹｅｓ）、レジ待ち時間計測部２４は、記憶部２６に格納されている客－取得点数情報を参照して、レジ前エリア内に滞留している客を特定するとともに、レジ前エリア内で滞留している客が取得した商品点数の合計を計算する（Ｓ４０５）。第２のレジ待ち判定処理の４０１～Ｓ４０５は、第１のレジ待ち判定処理のＳ３０１～Ｓ３０５と同じである。

レジ待ち時間計測部２４は、開放されているレジごとに、レジ前エリア内で滞留している客が取得した商品点数の合計を計算し、計算した商品点数の合計に基づいて、レジ毎の待ち時間を予測する。例えば、レジ待ち時間計測部２４は、商品点数の合計に、１点の商品を登録する処理に要する平均的な時間を掛け合わせた値を、予測されるレジ待ち時間としてもよい。

次に、レジ待ち時間計測部２４は、開放されているレジの間で、予測されるレジ待ち時間に閾値以上の差があるかどうかを判定する（Ｓ４０６）。開放されているレジの間で、予測されるレジ待ち時間に閾値以上の差がある場合（Ｓ４０６でＹｅｓ）、レジ待ち時間計測部２４は、報知部２５を用いて、レジ待ち時間が短いレジへと客を案内する（Ｓ４０７）。例えば、４番のレジの待ち時間が、１番のレジの待ち時間よりも短い場合、レジ待ち時間計測部２４は、「１番のレジに並んでいるお客様は、４番のレジにご移動ください」などと放送してもよい。この場合、報知部２５は店内スピーカであってよい。あるいは、レジ待ち時間計測部２４は、予測されるレジ待ち時間が短いレジの番号を、他のレジの番号よりも強調して表示してもよい。この場合、報知部２５は、ディスプレイまたは電光掲示板であってよい。

（変形例）
一変形例に係わる店内監視装置１は、客の動線分析および棚前行動検出を行わず、外部装置（例えば、ネットワークサーバ）が、客の動線分析および棚前行動検出を代わりに行ってもよい。本変形例では、店内監視装置１は、動線分析結果、および棚前行動の検出結果を、外部装置から受信する。あるいは、外部装置が、客－取得点数情報を生成して記憶部２６に格納し、店内監視装置１は、外部装置によって記憶部２６に格納された客－取得点数情報を取得してもよい。

本変形例の構成によれば、店内監視装置１は、動線分析部２２および棚前行動検出部２３を備えていなくてもよい。すなわち、客の動線分析（図３のＳ３０１、図４のＳ４０１）および棚前行動検出（図３のＳ３０２、図４のＳ４０２）の処理のために要するコンピュータリソースを削減することができる。

（本実施形態の効果）
本実施形態の構成によれば、客を特定するための情報と、客が取得した商品点数の情報とを紐付けて記憶する。この情報を用いて、レジ前に滞留している客が取得した商品点数の合計を算出することができる。

客が取得した商品点数の合計に基づいて、例えば、レジ待ち時間を予測することができる。予測されるレジ待ち時間が閾値よりも長い場合、他のレジスターを開放するように店員に指示したり、予測されるレジ待ち時間がより短いレジへと客を案内したりすることができる。これにより、レジ前の混雑を解消することができ、また、客の満足度を向上させる効果を期待することができる。

〔実施形態２〕
図５を参照して、本実施形態に係わる店内監視装置について説明する。

（店内監視装置２の構成）
図５は、本実施形態に係わる店内監視装置２の構成を示すブロック図である。図５に示すように、店内監視装置２は、映像取得部１１、情報生成部１２、検出部１３、および算出部１４を備えている。図示しないが、店内監視装置２は、外部の撮像装置（例えばカメラ）が撮影した映像のデータを取得する。また、店内監視装置２は、客－取得点数情報を外部の記憶装置（例えばメモリ）に格納する。しかし、店内監視装置２は、撮像装置および記憶装置を含んでいてもよい。客－取得点数情報とは、客を特定するための情報（例えば、客の動線情報、客を撮影した画像のデータ）と、客が店内で取得した商品点数の情報とを紐付けた情報である。

映像取得部１１は、客を含む映像を取得する。映像取得部１１が取得する映像は、外部の撮像装置が撮影した映像のデータから生成されたものであってよい。

情報生成部１２は、映像から客毎に各々が商品を取得した商品点数の情報を生成する。情報生成部１２は、は、客を特定するための情報と、客が取得した商品点数の情報とを紐付けて、客－取得点数情報として、記憶部（図示せず）に記憶させてもよい。

検出部１３は、レジスター前のエリア内にいる客を検出する。算出部１４は、検出部１３によって検出された客が取得した商品点数の合計を算出する。

（本実施形態の効果）
本実施形態の構成によれば、映像から客毎に各々が商品を取得した商品点数の情報を生成し、レジスター前のエリア内にいる客が取得した商品点数の合計を算出する。レジ待ち時間は、レジスター前にいる客が取得した商品点数の合計に依存する。したがって、レジスター前に並んだ客が取得した商品点数の合計に基づいて、レジ待ち時間を正確に把握することができる。

〔実施形態３〕
図６を参照して、本実施形態に係わる店内監視装置について説明する。

（店内監視装置３の構成）
図６は、本実施形態に係わる店内監視装置３の構成を示す図である。店内監視装置３は、コンピュータ装置によって、ハードウェアとして実現される。店内監視装置３は、ＣＰＵ（Central Processing Unit）３１、ＲＡＭ（Random Access Memory）３２、記憶装置３３、入出力装置３４、および通信インターフェース３５を備えている。

店内監視装置３の機能は、前記実施形態１または２の店内監視装置１または２の機能と同じである。つまり、店内監視装置３は、前記実施形態１または２の店内監視装置１または２に含まれる機能ブロックの動作を実現する。店内監視装置３の機能は、ＣＰＵ３１がＲＡＭ３１に読み込んだプログラムを実行することによって実現される。

記憶装置３３は、前記実施形態１の記憶部２６を含む。記憶装置３３には、客－取得点数情報が格納されている。

入出力装置３４は、前記実施形態１の報知部２５を含む。入出力装置３４は、ディスプレイなどのユーザインターフェースを含んでいてもよい。

通信インターフェース３５は、外部の撮像装置から映像のデータを受信するために使用される。

（本実施形態の効果）
本実施形態の構成によれば、前記実施形態１または２で説明した店内監視装置の機能が、ＣＰＵなどのコンピュータ資源を用いて、ハードウェアとして実現される。レジ前エリア内にいる客を検出して、どの客がいくつの商品を取得したのかを正確に計測することができる。そして、レジスター前に並んだ客が取得した商品点数の合計を算出することで、客のレジ待ち時間を正確に把握することができる。

１、２、３ 店内監視装置
１１ 映像取得部
１２ 情報生成部
１３ 検出部
１４ 算出部

Claims (8)

1. コンピュータが、
   客を含む映像を取得し、
   前記映像から前記客を特定するための情報を抽出し、
   前記映像から前記客毎に各々が商品を取得した商品点数の情報を生成し、
   前記客を特定するための情報と、前記客が取得した商品点数の情報とを紐付けて記憶させ、
   レジスター前のエリア内にいる客を検出し、
   前記紐付けられた情報に基づいて、前記検出された客が取得した商品点数の合計を算出し、
   算出した前記商品点数の合計が閾値を超えた場合、報知することを特徴とする店内監視方法。
2. 前記客を特定するための情報は、前記客の特徴を示す情報であって、
   前記コンピュータが、
   前記客の特徴を示す情報に基づいて、前記レジスター前のエリア内にいる客を検出することを特徴とする請求項１に記載の店内監視方法。
3. 前記客の特徴を示す情報は、前記客の顔または外見の特徴量であることを特徴とする請求項２に記載の店内監視方法。
4. 前記客を特定するための情報は、前記客の動線情報であって、
   前記コンピュータが、
   前記客の動線情報に基づいて、前記レジスター前のエリア内にいる客を検出することを特徴とする請求項１に記載の店内監視方法。
5. 前記レジスターは複数台あり、
   前記コンピュータが、
   前記レジスターごとに、前記レジスター前のエリア内にいる客を検出することを特徴とする請求項１から４のいずれか１項に記載の店内監視方法。
6. 複数台のレジスターが開放されている場合、
   前記コンピュータが、
   前記レジスター前のエリア内にいる客が取得した商品点数の合計が相対的に少ないレジスターへ客を案内することを特徴とする請求項５に記載の店内監視方法。
7. 客を含む映像を取得する映像取得手段と、
   前記映像から抽出した前記客を特定するための情報と、前記映像から前記客毎に生成した、前記客の各々が商品を取得した商品点数の情報と、を紐付けて記憶させる情報生成手段と、
   レジスター前のエリア内にいる客を検出する検出手段と、
   前記紐付けられた情報に基づいて、前記検出された客が取得した商品点数の合計を算出する算出手段と、
   算出した前記商品点数の合計が閾値を超えたとき、報知する報知手段と、
   を備えたことを特徴とする店内監視装置。
8. 客を含む映像を取得することと、
   前記映像から前記客を特定するための情報を抽出することと、
   前記映像から前記客毎に各々が商品を取得した商品点数の情報を生成することと、
   前記客を特定するための情報と、前記客が取得した商品点数の情報とを紐付けて記憶させることと、
   レジスター前のエリア内にいる客を検出することと、
   前記紐付けられた情報に基づいて、前記検出された客が取得した商品点数の合計を算出することと、
   算出した前記商品点数の合計が閾値を超えたとき、報知することと、
   をコンピュータに実行させるための店内監視プログラム。

Images