JP7246166B2 - 画像監視システム - Google Patents

Description

本発明は、店舗を監視する画像監視システムに関する。

従来、店舗に設置された店舗装置が、店舗内を撮影した撮影画像を解析し、撮影画像から検出した人物への対処が必要である場合、監視センタに設置された監視装置に通報を行う画像監視システムが利用されている。

例えば、特許文献１には、監視対象の状況を監視センタで画像により監視する画像監視システムが開示されている。この画像監視システムにおいて、画像監視システムの利用者は、強盗などの非常事態が発生したときは非常操作部を操作して非常通報を行い、不審人物を発見したときは要請操作部を操作して監視要請を行う。要請操作部の操作を検知した画像監視装置は、要請操作部および電話機と監視カメラとの関係を予め記憶したテーブルに基づいて、操作された操作部の位置に応じて、対応する監視領域を撮影した監視カメラの画像を監視センタへ送出する。

特開２００１－１０９９７３号公報

しかしながら、店舗を監視する画像監視システムにおいて、監視センタの管制員は、店舗内の店員から手動通報による監視要請を受けると通報ボタンの近くのカメラ画像を監視するが、店員が通報ボタンを押して監視要請したい理由が自身の周辺ではない場合がある。例えば、店員は、レジ対応で離れることができない状況において、死角領域に居る人が気になって監視要請を通報する場合がある。この場合、監視センタの管制員は、店員の意図を把握することが困難である。電話による確認を行う場合もあるが、店員がレジ対応中などで応答できない場合もある。

本発明の目的は、手動通報によって監視要請されたとき、監視カメラが撮影した画像に基づいて監視要請の理由を推定する画像監視システムを提供することにある。

かかる課題を解決するため本発明は、店舗装置および監視装置からなる画像監視システムにおいて、店舗装置は、店舗内に設置された複数のカメラで撮影した撮影画像を取得する画像取得部と、撮影画像から人物の位置を検出する人物検出部と、監視要請が入力される操作部と、監視要請が入力されると、当該監視要請を監視装置に送信する手動通報部と、手動通報部が監視要請を送信する場合、人物の位置および当該人物の属性に基づき要請理由を推定する理由推定部と、推定された要請理由を監視装置に送信する理由送信部と、を有することを特徴とする画像監視システムを提供する。

この画像監視システムにおいて、撮影画像における人物の属性および位置を含む複数の要請理由を記憶する記憶部をさらに有し、理由推定部は、記憶部に記憶された複数の要請理由の中から人物の位置および当該人物の属性に基づき撮影画像に適合する要請理由を推定することが好適である。

この画像監視システムにおいて、理由推定部は、店員属性を有する人物と顧客属性を有する人物との位置、および店員の移動自由度を考慮して要請理由を推定することが好適である。

この画像監視システムにおいて、理由推定部は、監視要請を入力した店員に対応する監視要請履歴を考慮して要請理由を推定することが好適である。

この画像監視システムにおいて、理由送信部は、推定した要請理由に基づいて選択した監視すべきカメラを監視装置に送信することが好適である。

本発明に係る画像監視システムは、手動通報によって監視要請されたとき、監視カメラが撮影した画像に基づいて監視要請の理由を推定することが可能となる。

画像監視システム１の全体システム構成を示す図である。 監視要請理由１３１の例を示す図である。 監視処理の動作を示すフローチャートの一例を示す図である。 監視装置３０に表示される表示画面の一例である。

以下、本発明の実施形態に係る画像監視システムの一実施形態について図を参照しつつ説明する。ただし、本発明は図面または以下に記載される実施形態には限定されないことを理解されたい。

図１は、本実施形態に係る画像監視システム１の全体システム構成を示す図である。図１に示すように、画像監視システム１は、一または複数の店舗のそれぞれに設置される一または複数の店舗装置１０と、構内ＬＡＮまたはインターネットなどの通信ネットワークを介して各店舗装置１０と接続される監視装置３０と、を有する。また、各店舗装置１０には、複数の撮像装置２１と、音出力装置２２と、操作装置２３と、が接続される。

店舗装置１０は、例えばパーソナルコンピュータなどであり、インタフェース部１１と、第１通信部１２と、第１記憶部１３と、第１制御部１４と、を有する。

インタフェース部１１は、例えばＵＳＢなどのシリアルバス規格に準じるインタフェース回路を有し、撮像装置２１、音出力装置２２、操作装置２３と通信接続して各種の情報を送受信する。なお、インタフェース部１１は、シリアルバス規格に準じるインタフェース回路の代わりに、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣなどの近距離無線通信規格に準じるインタフェース回路を有してもよい。

第１通信部１２は、イーサネット（登録商標）などの各種の通信インタフェース回路を有し、通信ネットワークを介して監視装置３０と各種の信号を送受信する。

第１記憶部１３は、ＲＯＭ、ＲＡＭなどの半導体メモリ、磁気ディスク（ＨＤＤ）、またはＣＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなどの光ディスクドライブおよびその記録媒体を有する。第１記憶部１３は、店舗装置１０を制御するのに第１制御部１４が実行するコンピュータプログラムのコードおよび各種データを記憶する。コンピュータプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭなどのコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラムなどを用いて第１記憶部１３にインストールされてもよい。また、第１記憶部１３は、データとして、監視要請理由１３１、特定領域情報１３２、監視要請履歴１３３および背景画像１３４などを記憶する。

監視要請理由１３１は、店員が操作装置２３の監視要請ボタンを押して監視要請を行った際、店舗内を撮影した撮影画像から監視要請を行った理由を推定するために使用される判定パターンであり、複数の要請理由が記憶される。
図２を用いて、監視要請理由１３１の例を説明する。例えば、図２に示すように、カウンタ内Ａ１の店員が、レジ前Ａ３に顧客が多数並んでいてレジ対応中で動けない状況、すなわち移動自由度が低い状況において、他の複数の顧客が死角Ａ２に集まっているのが気になるため、カメラＣ２の撮影画像により死角Ａ２を監視して欲しい場合の要請理由１、レジ前Ａ３に客はいないが、要注意人物が盗難の多い物品の前Ａ４で立ち止まっているので、カメラＣ３の撮影画像により盗難の多い物品の前Ａ４を監視してほしい場合の要請理由２、入口Ａ５から二人組で来店した要注意人物のうちの一人がレジ前Ａ３に来たのでカウンタ内Ａ１の店員がレジ対応している間に、他の一人が死角Ａ２に移動したのが気になったためカメラＣ２の撮影画像により死角Ａ２を監視して欲しい場合の要請理由３、などの多様なパターンが考えられる。
監視要請理由１３１は、これらの店員、顧客位置、および属性のパターンを要請理由として記憶する。要請理由は、任意の形式をとり得るが、本実施形態では、撮影画像における人物の位置および／または属性を含むルールとする。これらのルールは、例えば、撮影画像から検出された人物の位置や属性の組合せで表してもよく、人物の位置および属性を用いたプログラム関数やメソッドなどで記述してもよい。なお、人物の位置および属性については、後述の店舗装置１０による監視処理の動作の説明にて詳述する。

特定領域情報１３２には、店舗内のカウンタ内、レジ前、死角、盗難の多い物品の前、入口などの特定領域の店舗内における位置および範囲などに関する情報が記憶される。例えば、特定領域情報１３２において、特定領域は、店舗の床平面における一点の２次元座標および縦／横の幅を用いた長方形として表したり、店舗内を縦／横に均等に区分した複数の長方形ブロックのうちの一つまたは複数のブロックの識別情報を用いて表したり、任意の形状の領域を任意の方法で表すことができる。
監視要請履歴１３３には、監視要請を行った際の要請理由が店員に対応付けられて履歴として記憶される。監視要請履歴１３３には、監視要請が行われるごとに、その日時、店員の識別情報、要請理由などが記憶されてもよい。
背景画像１３４は、各撮像装置２１が、動物体が存在しないときに店舗内を撮影した画像であり、撮影画像から人物などの動物体を検出するのに使用される。

第１制御部１４は、ＣＰＵ、ＭＰＵなどのプロセッサとその周辺回路とを有し、当該プロセッサは、第１記憶部１３に記憶されたコンピュータプログラムのコードを実行することによって店舗装置１０の各種動作を制御する。なお、第１制御部１４として、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡなどが用いられてもよい。
第１制御部１４は、プロセッサ上で動作するプログラムの機能モジュールとして、店員が操作装置２３から入力した監視要請を監視装置３０に送信する手動通報部１４１と、店舗内を撮影した撮影画像を撮像装置２１から取得する画像取得部１４２と、撮影画像から人物の位置および属性を検出する人物検出部１４３と、監視要請理由１３１と撮影画像の人物の位置および属性との適合性に基づいて要請理由を推定する理由推定部１４４と、要請理由を監視装置３０に送信する理由送信部１４５と、を有する。各部の動作については、後述の店舗装置１０による監視処理の動作の説明にて詳述する。

撮像装置２１は、店舗装置１０が設置される店舗に固定設置され、店舗内を撮影するカメラである。撮像装置２１は、ＣＣＤ素子またはＣ－ＭＯＳ素子など、可視光に感度を有する光電変換素子と、その光電変換素子上に像を結像する結像光学系と、光電変換素子から出力された電気信号を増幅し、アナログ／デジタル（Ａ／Ｄ）変換するＡ／Ｄ変換器と、を有する。撮像装置２１は、撮影したＲＧＢ各色の画像を各画素が０～２５５の範囲の輝度値を有するデジタルの撮影画像に変換して店舗装置１０へ出力する。

音出力装置２２は、店舗装置１０が設置される店舗に設置され、店舗内に音声を出力するスピーカである。音出力装置２２は、店舗装置１０から音声信号を受信し、受信した音声信号に従って、店員または客などの店舗内の人物に音声を出力する。

操作装置２３は、店舗装置１０が設置される店舗内の、特に店員が操作するレジの周辺などに設置され、店員が監視要請を入力するボタンなどである。操作装置２３は、入力された監視要請に応じた監視要請信号を店舗装置１０へ出力する。本実施形態では、操作装置２３は、通報ボタンであり、店員により押下されると、監視要請信号を店舗装置１０へ出力する。

なお、図１では、撮像装置２１、音出力装置２２、操作装置２３は、店舗装置１０と別個の装置として示されるが、店舗装置１０と別個に設けられるのでなく、店舗装置１０と一体に設けられてもよい。

監視装置３０は、例えば、監視センタに設置されるサーバなどであり、第２通信部３１と、操作部３２と、表示部３３と、第２記憶部３４と、第２制御部３５と、を有する。

第２通信部３１は、第１通信部１２と同様の通信インタフェース回路を有し、通信ネットワークを介して店舗装置１０と各種信号を送受信する。

操作部３２は、例えばタッチパネル、マウス、キーボードなどであり、監視センタの監視員による操作を受け付け、受け付けた操作に応じた信号を第２制御部３５に送る。

表示部３３は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどであり、第２制御部３５からの指示に従って、店舗装置１０から受信した通報、撮影画像などを表示する。

第２記憶部３４は、第１記憶部１３と同様の半導体メモリ、磁気ディスクまたは光ディスクドライブおよびその記録媒体を有する。第２記憶部３４は、監視装置３０を制御するのに第２制御部３５が実行するコンピュータプログラムのコードおよび各種データを記憶する。コンピュータプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭなどのコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラムなどを用いて第２記憶部３４にインストールされてもよい。

第２制御部３５は、第１制御部１４と同様のプロセッサおよび周辺回路を有し、当該プロセッサは、第２記憶部３４に記憶されたコンピュータプログラムのコードを実行することによって監視装置３０の各種動作を制御する。

図３は、店舗装置１０による監視処理の動作を示すフローチャートの一例を示す図である。以下、図３に示したフローチャートを参照しつつ、本実施形態による監視要請処理の動作を説明する。なお、以下に説明する監視処理の動作は、第１記憶部１３に予め記憶されているプログラムに従って、主に第１制御部１４により、店舗装置１０の各部と協同して実現される。

監視装置３０の電源投入や監視プログラムの起動によって監視処理が開始されると、画像取得部１４２は、撮像装置２１が店舗内を撮影した撮影画像を撮像装置２１からインタフェース部１１を介して取得する（ステップＳ１０１）。本実施形態では、画像取得部１４２は直前の所定期間（例えば１０秒間）に撮影された複数の撮影画像を取得する。

次に、人物検出部１４３は、撮影画像から人物を検出する（ステップＳ１０２）。人物検出部１４３は、撮影画像と、その撮影画像を撮影した撮像装置２１が撮影した背景画像１３４との間で、対応画素間の輝度差を求め、各画素の画素値がその輝度差の絶対値で表される差分画像を生成する。人物検出部１４３は、撮影画像において、対応する差分画像内の画素値が所定の閾値以上となる領域を動物体領域として検出する。例えば、所定の閾値は、差分画像の各画素値の平均値とすることができる。人物検出部１４３は、検出した動物体領域が、人物に対応する所定範囲の大きさを有する場合、その動物体領域を人物が写っている人物領域として検出する。
また、人物検出部１４３は、画像取得部１４２が順次取得した撮影画像において、検出した各人物領域に対して公知のトラッキング技術を用いて追跡処理を実行する。人物検出部１４３は、例えば、最新の撮影画像内の人物領域のそれぞれについて、その人物領域の重心位置と、直前の撮影画像から検出された人物領域の重心位置との距離を算出し、距離が所定の閾値以下である人物領域を同一人物による人物領域として対応付ける。なお、人物検出部１４３は、オプティカルフロー、パーティクルフィルタなどの方法を用いて追跡処理を実行してもよい。
撮影画像から人物が検出されなかった場合（ステップＳ１０２のＮｏ）、人物検出部１４３は、処理をステップＳ１０４へ進める。

一方、撮影画像から人物が検出された場合（ステップＳ１０２のＹｅｓ）、人物検出部１４３は、検出した人物のそれぞれについて、人物の位置および属性を決定する（Ｓ１０３）。
例えば、人物検出部１４３は、検出した人物の重心の位置を、店舗の床平面上の２次元座標を用いて表してもよく、店舗内を複数の領域に分けてどの領域に位置するかを領域の識別情報を用いて表してもよい。例えば、位置は、店舗内を縦／横に均等に区分した複数の長方形ブロックの識別情報を用いて表されてもよく、カウンタ内、レジ前、死角、盗難の多い物品の前、入口などのそれぞれの特定領域を示す識別情報および特定領域以外を示す識別情報を用いて表されてもよい。
また、人物検出部１４３は、検出したそれぞれの人物について、店員かまたは顧客か、性別、年齢、人種、顔向きなどの属性を、それぞれの属性の特徴を表す属性モデルなどに基づいて決定する。例えば、人物検出部１４３は、検出した人物の服装の色や形などの特徴を抽出し、特定の制服や制帽の特徴と適合する場合に当該人物を店員であるとし、そうでない場合は顧客であると決定できる。また、店舗内に複数の店員が居る場合、人物検出部１４３は、属性として店員識別情報をさらに決定してもよい。この場合、人物検出部１４３は、制服や制帽に付けられたリボンやバッジの色などでそれぞれの店員を識別したり、検出した人物の顔の特徴を抽出し、第１記憶部１３に予め記憶された店員の顔画像の特徴と比較して店員を識別してもよい。或いは、レジ等の特定領域に居る人物を店員と判定し易くするようにしてもよい。さらに、人物検出部１４３は、検出した人物の属性に基づいたり、マスクやサングラスなどの服装および凶器などの持ち物などの要注意人物の特徴を抽出したり、検出した人物の顔の特徴と第１記憶部１３に予め記憶された過去に問題を起こしたことのある前歴者の顔画像の特徴とを比較して、検出した人物が要注意人物であるか否かを決定してもよい。
なお、人物検出部１４３は、複数の撮像装置２１から取得した撮影画像を統合して人物の位置および属性を検出してもよい。

手動通報部１４１は、インタフェース部１１を介して操作装置２３から店舗の店員の手動操作により監視要請が入力されたか否かを判定する（ステップＳ１０４）。操作装置２３から監視要請が入力されなかった場合（ステップＳ１０４のＮｏ）、第１制御部１４は、処理をステップＳ１０８へ進める。
店舗の店員による監視要請が入力された場合（ステップＳ１０４のＹｅｓ）、手動通報部１４１は、監視要請を第１通信部１２を介して監視装置３０に送信する（ステップＳ１０５）。この監視要請は、入力店舗の識別情報を有する。

理由推定部１４４は、監視要請理由１３１の複数の要請理由のうち、人物検出部１４３が撮影画像から検出した人物の位置および属性と適合するパターンを選択し、選択したパターンに対応する要請理由を監視要請された要請理由と推定する。（ステップＳ１０６）

理由推定部１４４は、人物検出部１４３が撮影画像から検出した人物の位置および属性に基づいて、例えば、上記で図２を参照して説明したように、店員という属性を有する人物（以下、単に「店員」という、他も同様）がカウンタ内Ａ１に位置し、レジ前Ａ３に所定数以上の顧客が位置し、他の複数の顧客が所定時間以上死角Ａ２に位置する場合、要請理由１と推定する。また、理由推定部１４４は、店員がカウンタ内Ａ１に位置し、要注意人物が所定時間以上盗難の多い物品の前Ａ４に位置する場合、要請理由２と推定し、入口Ａ５に位置した二人組の要注意人物のうちの一方がレジ前Ａ３に移動し、店員がカウンタ内Ａ１に位置する間に他方が死角Ａ２に移動した場合、要請理由３と推定する。
また、理由推定部１４４は、人の位置、属性などに対し、同条件の要請理由が監視要請理由１３１に記憶されている場合、過去に発生した頻度、或いは、監視要請履歴１３３を参照して、監視要請を行った店員が過去に行った監視要請の理由の傾向を調べて要請理由を推定してもよい。例えば、理由推定部１４４は、人物検出部１４３によって検出された店員識別情報に対応する店員の監視要請履歴に基づいて、監視要請を行った店員が過去に所定以上の割合で同じ理由により監視要請を行っていた場合、当該理由を要請理由として推定できる。
さらに、理由推定部１４４は、店員の属性の顔向きが変化した場合、顔を向いた方向の領域を監視して欲しいという要請理由４と推定してもよい。

理由送信部１４５は、理由推定部１４４が推定した要請理由を第１通信部１２を介して監視装置３０に送信する（ステップＳ１０７）。なお、ステップＳ１０５において手動通報部１４１が監視装置３０に監視要請を送信したが、ステップＳ１０７において、理由送信部１４５が要請理由と共に監視要請を監視装置３０に送信してもよい。

第１制御部１４は、監視終了の操作や店舗装置１０の電源切断などにより、監視処理を終了するか否かを判定し（ステップＳ１０８）、終了する場合（ステップＳ１０８のＹｅｓ）、監視処理を終了し、そうでない場合（ステップＳ１０８のＮｏ）、処理をステップＳ１０１に戻して監視処理を続行する。

監視センタに設置された監視装置３０の第２制御部３５は、第２通信部３１を介して店舗装置１０から監視要請および推定された要請理由を受信すると、受信した監視要請および要請理由を表示部３３に表示する。監視センタでは、監視員は、監視装置３０の表示部３３に表示された監視要請理由と要請理由を送った店舗の撮像装置２１の配置などとに従って監視すべき撮像装置２１を選択し、選択した撮像装置２１の撮影画像を監視装置３０の表示部３３に表示させて監視する。

図４は、監視装置３０に表示される表示画面の一例である。この表示画面は、操作部３２の少なくとも一部のタッチパネルと表示部３３のディスプレイとにより構成される。
図４に示すように、表示画面４００には、受信した監視要請の要請元に関する情報４０１、監視要請を送った時の画像４０２、ライブ映像を表示するライブ画像４０８、監視要請表示４０３、カメラ選択リスト４０４、音声通知ボタン４０５、通報ボタン４０６および終了ボタン４０７などが表示される。

監視要請元に関する情報４０１には、監視要請を送信した送信元の店舗装置１０が設置された店舗の識別情報が表示される。なお、店舗装置１０から受信した監視要請が監視を要請した店員の識別情報を含む場合、情報４０１には、さらに監視を要請した店員の識別情報が表示されてもよい。

撮影画像４０２には、監視要請元の店舗に設置された複数の撮像装置２１のうち選択中の撮像装置２１が撮影した撮影画像が表示される。

監視要請表示４０３には、監視装置３０が店舗装置１０から監視要請を受信した場合、監視要請があったことおよびその理由が表示される。監視要請表示４０３は、監視装置３０が監視要請を受信した際に現れるポップアップウィンドウでもよく、新たな監視要請を通知する場合、表示の一部をブリンクさせたり、音声やアラーム音などを伴って表示してもよい。要請理由は、受信した識別情報で表示されてもよく、第２記憶部３４に要請理由の識別情報に対応付けて予め記憶された監視理由の説明で表示されてもよい。

カメラ選択リスト４０４は、撮影画像４０２に表示される画像を撮影する撮像装置２１を選択するためのリストである。カメラ選択リスト４０４は、撮像装置２１を選択可能であればいかなる形態でもよく、例えば、店舗内の撮像装置２１の配置を示すマップで撮像装置２１の位置をクリックするのでもよい。監視員は、監視要請表示４０３に示された要請理由に従って、撮影画像を監視すべき撮像装置２１をカメラ選択リスト４０４を用いて選択し、撮影画像４０２を選択した撮像装置２１が撮影する画像に切り替えることができる。この場合、監視装置３０は、監視要請元の店舗における複数の撮像装置２１からの撮影画像を並行して受信している場合は自体が撮影画像４０２の切り替えを行い、一台の撮像装置２１からの撮影画像のみを受信している場合は、店舗装置１０に、送信する撮影画像を選択した撮像装置２１の撮影画像に変更するようリクエストを送信してもよい。
例えば、監視要請表示４０３が、要注意人物が盗難の多い物品の前Ａ４で立ち止まっているので、盗難の多い物品の前Ａ４を監視してほしいという要請理由２で監視要請があったことを表示すると、監視員は、カメラ選択リスト４０４を用いて盗難の多い物品の前Ａ４を撮影するカメラＣ３を選択し、カメラＣ３が撮影する画像を撮影画像４０２に表示させて盗難の多い物品の前に居る要注意人物を監視できる。

監視員により音声通知ボタン４０５が押下されると、監視装置３０は、マイクなどの音声入力部（不図示）から入力された監視員の音声を店舗装置１０に送信し、店舗装置１０は、受信した音声をインタフェース部１１を介して音出力装置２２に出力する。
監視員により通報ボタン４０６が押下されると、監視装置３０は、第２通信部３１を介して警察などに設置された他の装置（不図示）に、通報を送信する。
監視員により終了ボタン４０７が押下されると、監視装置３０は、表示画面４００の表示を終了する。

以上説明してきたように、本発明に係る画像監視システム１において、店舗装置１０は、操作装置２３から店員によって監視要請が入力された場合、第１記憶部１３に予め記憶された監視要請理由１３１から、撮像装置２１が撮影した撮影画像と適合するパターンの監視要請理由を推定する。店舗装置１０は、当該監視要請理由を監視センタの監視装置３０に送信するので、監視員は、店舗装置１０から送られた要請理由を監視装置３０の表示部３３で確認し、監視すべき撮像装置２１を適切に選択してその撮影画像を監視できる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されない。
例えば、上記実施形態では、監視センタにおいて、監視員が監視装置３０の表示部３３の監視要請表示４０３に表示された要請理由に従って監視すべき撮像装置２１を選択したが、本発明では、店舗内の店舗装置１０が、推定した要請理由に基づいて監視すべき撮像装置２１の識別情報、または監視すべき撮像装置２１が撮影した撮影画像を監視装置３０に送信してもよい。この場合、店舗装置１０の第１記憶部１３は、要請理由に対応付けて監視すべき撮像装置２１の識別情報を記憶してもよい。また、撮像装置２１の識別情報を受信した監視装置３０は、監視要請表示４０３に監視すべき撮像装置２１の識別情報を表示してもよく、撮影画像４０２を、受信した識別情報を有する撮像装置２１の撮影画像に自動的に切り替えてもよい。

また、上記実施形態では、店舗装置１０の人物検出部１４３は、撮影画像から検出した人物のそれぞれの属性を有するか否かを決定したが、本発明では、それぞれの属性を有する確率を一定の範囲内の段階的な確度で決定してもよい。さらに、理由推定部１４４は、撮影画像と監視要請理由１３１のそれぞれの要請理由との適合性を一定の範囲内の段階的な適合度で決定し、適合度が最も高く閾値以上であれば適合するパターンとして選択してもよい。

また、上記実施形態では、監視要請理由１３１は、人物の位置や属性を用いたルールによって定義されたが、本発明では、店舗装置１０は、監視要請理由１３１として、強化学習や深層強化学習などのＡＩ技術により学習される学習モデルを記憶してもよい。例えば、店舗装置１０は、強化学習のＱ学習により、環境の状態ｓと、その状態ｓで行動ａを選択した場合の行動価値を推定する行動価値関数Ｑ（ｓ，ａ）のＱテーブルおよび報酬ｒ（ｓ，ａ）を要請理由ごとに監視要請理由１３１に記憶してもよい。

Ｑ学習においてＱテーブルの更新は、以下の式（１）のように行われる。

式（１）において、ｓ_tおよびａ_tはそれぞれ時刻ｔにおける状態および行動であり、行動ａ_tにより状態はｓ_tからｓ_t+1に変化する。ｍａｘＱの項は、状態ｓ_t+1において取りうる行動Ａ（ｓ_t+1）の中から最大の価値Ｑになる（と時刻ｔで推定される）行動ａ_t+1をとった場合のＱを意味する。ｒ_t+1は、状態ｓ_t+1で行動ａ_t+1をとって得られる報酬である。αおよびγはそれぞれ学習係数および割引率であり、０＜α≦１、０＜γ≦１で任意に設定される。
例えば、時刻ｔにおける状態ｓ_tは、時刻ｔの撮影画像において、カウンタ内、レジ前、死角、盗難の多い物品の前、入口などの店舗内の位置に対応する複数の領域でそれぞれ検出された店員、顧客または要注意人物などの属性を有する人物の人数（例えば、０人、１人、２人またはそれ以上）の組合せでもよい。また、例えば、行動ａ_tは、それぞれの領域において出入りしたそれぞれの属性を有する人物の人数の組合せでもよい。また、Ｑテーブルの学習において、誤差関数を定義してＱテーブルを推論するディープラーニングなどを取り入れてもよく、これにより、撮影画像を状態ｓとしてディープニューラルネットワークに入力してＤＱＮによる深層強化学習を行ってもよい。

Ｑテーブルは、監視要請理由のそれぞれのパターンに適合した複数のサンプル画像群に基づいて、式（１）による更新によって事前に学習され監視要請理由１３１に記憶されてもよい。各サンプル画像群は、各撮像装置２１により所定期間に撮影された連続する撮影画像のセットである。店舗装置１０は、サンプル画像群における最後の行動ａの報酬ｒとして０より大きい値を設定し、他の行動ａの報酬ｒとして０を設定できる。これにより、要請理由ごとに適合する撮影画像のパターンを学習したＱテーブルおよび報酬が、監視要請理由１３１に事前に設定される。

理由推定部１４４は、人物検出部１４３が時刻ｔおよびｔ＋１における撮影画像から検出した人物の位置および属性に基づいて、時刻ｔおよびｔ＋１における状態ｓ_tおよびｓ_t+1と状態ｓ_tから状態ｓ_t+1に変化させる行動ａ_tとを決定し、監視要請理由１３１のＱテーブルを参照して行動価値Ｑ（ｓ_t，ａ_t）を決定してもよい。ここで、理由推定部１４４は、決定した行動価値Ｑ（ｓ_t，ａ_t）を用いてＱテーブルを更新してもよい。そして、理由推定部１４４は、画像取得部が取得した撮影画像について要請理由ごとに行動価値の総和を算出し、総和が最大かつ閾値以上となる監視要請理由を店員が監視要請を行った理由として推定できる。

また、店舗装置１０は、理由推定部１４４が推定した監視要請理由をフィードバックして監視要請理由１３１に反映させてもよい。この場合、監視要請理由１３１のＱテーブルおよび報酬は、事前学習を行わずに初期値を設定するだけでもよい。例えば、監視センタにおいて、監視装置３０の表示部３３に表示された監視要請および監視要請理由に従って監視を行った監視員は、店舗装置１０から送信された監視要請が適正であったか否かを評価し、監視要請理由が適正であったか否かおよび／または適正な監視要請理由などの評価を監視装置３０の操作部３２から入力する。監視装置３０は、操作部３２から入力された監視員の評価を第２通信部３１を介して店舗装置１０に送信する。店舗装置１０の第１制御部１４は、第１通信部１２を介して監視装置３０から監視員の評価を受信すると、受信した評価およびその評価に対応する撮影画像に基づいて、監視要請理由１３１の初期設定における事前学習と同様にして、監視要請理由１３１に記憶された、評価が示す適正な監視要請理由に対応する報酬を更新してもよい。

監視要請理由１３１と同様に、人物検出部１４３が検出した人物の属性を決定する際に使用するモデルは、強化学習や深層強化学習などのＡＩ技術により学習される学習モデルでもよい。

また、上記実施形態では、監視要請理由１３１が店舗装置１０に記憶される例について説明したが、監視要請理由１３１は、外部装置に記憶され、クラウドコンピューティングの形態で利用されてもよい。その場合、理由推定部１４４は、撮影画像を第１通信部１２を介して外部装置に送信し、外部装置により決定された要請理由を第１通信部１２を介して外部装置から受信する。また、外部装置に監視要請理由１３１を学習させる場合、第１制御部１４は、監視装置３０から受信した評価の要請理由および対応する撮影画像を第１通信部１２を介して外部装置に送信し、監視要請理由１３１を外部装置に更新させる。これにより、画像監視システムは、十分な処理速度および記憶容量を有さない装置を店舗装置１０として利用することができる。

以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 画像監視システム、１０ 店舗装置、１１ インタフェース部、１２ 第１通信部、１３ 第１記憶部、１３１ 監視要請理由、１３２ 特定領域情報、１３３ 監視要請履歴、１３４ 背景画像、１４ 第１制御部、１４１ 手動通報部、１４２ 画像取得部、１４３ 人物検出部、１４４ 理由推定部、１４５ 理由送信部、２１ 撮像装置、２２ 音出力装置、２３ 操作装置、３０ 監視装置、３１ 第２通信部、３２ 操作部、３３ 表示部、３４ 第２記憶部、３５ 第２制御部、４００ 表示画面

Claims (5)

1. 店舗装置および監視装置からなる画像監視システムにおいて、
   前記店舗装置は、
   店舗内に設置された複数のカメラで撮影した撮影画像を取得する画像取得部と、
   前記撮影画像から人物の位置を検出する人物検出部と、
   監視要請が入力される操作部と、
   前記監視要請が入力されると、監視要請信号を前記監視装置に送信する手動通報部と、
   前記監視要請が入力されると、前記人物の位置および当該人物の属性に基づき当該監視要請の要請理由を推定する理由推定部と、
   前記推定された要請理由を前記監視装置に送信する理由送信部と、を有することを特徴とする画像監視システム。
2. 前記撮影画像における人物の属性および位置を含む複数の要請理由を記憶する記憶部をさらに有し、
   前記理由推定部は、前記記憶部に記憶された複数の要請理由の中から前記人物の位置および当該人物の属性に基づき前記撮影画像に適合する要請理由を推定する、請求項１に記載の画像監視システム。
3. 前記理由推定部は、店員属性を有する人物と顧客属性を有する人物との位置、および前記店員属性を有する人物の移動自由度を考慮して前記要請理由を推定する、請求項１または２に記載の画像監視システム。
4. 前記理由推定部は、前記監視要請を入力した店員に対応する監視要請履歴を考慮して前記要請理由を推定する、請求項１～３のいずれか一項に記載の画像監視システム。
5. 前記理由送信部は、前記推定した要請理由に基づいて選択した監視すべきカメラを前記監視装置に送信する、請求項１～４のいずれか一項に記載の画像監視システム。

Images