JP6364743B2 - 情報処理装置、制御方法、プログラム、及び情報システム - Google Patents

Description

本発明は情報処理装置、制御方法、プログラム、及び情報システムに関する。

特許文献１には、映像データと、位置情報と、映像データ内における特定の移動体が存在する時刻の範囲と、を用いて監視空間における当該移動体の移動軌跡を表示する技術が開示されている。尚、映像データは、監視空間に設置された複数の撮影装置（カメラ）により撮影されたものである。また、位置情報は、位置検出装置（ICタグリーダライタ）により検出された移動体の位置を示す情報である。

特許文献２には、自動車に搭載されたPND（Portable Navigation Device）により取得されたGPS（Global Positioning System）情報をログデータとして記録し、ログデータを基に当該自動車の停止位置を算出し、走行地図画像上に停止位置をアイコン等で表示する技術が開示されている。

特開２００８−３０６６０４号公報 特開２０１０−１４６１７３号公報

ここで、店舗等で万引きや置き引き等の不正行為が行われた場合、店舗等に設置された監視カメラで撮影された映像データを再生し、監視者が目視で追尾対象者の動作を追跡することで不正行為の有無を確認する必要があった。特に、不正行為が行われる場合は、特定の位置で追尾対象者が立ち止まっていることや当該位置における動作等を見極める必要があった。そのため、追跡作業の負担が大きく、効率が悪いという問題点があった。

上述した特許文献１では、映像データ内に移動体が映り込んでいるか否かを検出し、マップ内の移動軌跡を表示できるが、具体的な停止位置や停止位置における動作を検出するものではない。また、特許文献２では、停止位置の算出にＧＰＳ情報を用いるが、予め位置情報取得端末を搭載しておくことが必要であり、店舗等の不特定多数の来客者には適用できない。

本発明は、上述の課題に鑑みてなされたものであり、映像データ中に含まれる移動体の動作を追跡する作業を効率化し、作業負担を軽減するための情報処理装置、制御方法、プログラム、及び情報システムを提供することを目的とする。

本発明の一態様に係る情報処理装置は、対象空間を撮影した映像データ内の複数の画像間における移動体の第１の部位の差分値が第１の閾値未満か否か及び前記移動体の第２の部位の差分値が第２の閾値未満か否かに基づき、前記対象空間内の前記移動体が所定の領域に滞在している時間を判別し、前記滞在している時間内での前記移動体における特定の部位の動きを検出する検出部と、前記移動体が移動した軌跡を表示させ、前記軌跡上に、前記滞在している時間に応じて第１のマークを拡大させ、かつ前記滞在している時間内での移動体における特定の部位の動きに応じて、第１のマークの種類とは異なる種類の第２のマークを表示させるための表示用データを生成する表示制御部と、を備えるものである。
また、本発明の一態様に係る制御方法は、対象空間を撮影した映像データを表示する情報処理装置の制御方法であって、前記情報処理装置が、前記映像データ内の複数の画像間における移動体の第１の部位の差分値が第１の閾値未満か否か及び前記移動体の第２の部位の差分値が第２の閾値未満か否かに基づき、前記対象空間内の前記移動体が所定の領域に滞在している時間を判別し、前記滞在している時間内での前記移動体における特定の部位の動きを検出し、前記移動体が移動した軌跡を表示させ、前記軌跡上に、前記滞在している時間に応じて第１のマークを拡大させ、かつ前記滞在している時間内での移動体における特定の部位の動きに応じて、第１のマークの種類とは異なる種類の第２のマークを表示部に表示させるための表示用データを生成するものである。
また、本発明の一態様に係るプログラムは、コンピュータに、対象空間を撮影した映像データ内の複数の画像間における移動体の第１の部位の差分値が第１の閾値未満か否か及び前記移動体の第２の部位の差分値が第２の閾値未満か否かに基づき、前記対象空間内の前記移動体が所定の領域に滞在している時間を判別し、前記滞在している時間内での前記移動体における特定の部位の動きを検出する検出処理と、前記移動体が移動した軌跡を表示させ、前記軌跡上に、前記滞在している時間に応じて第１のマークを拡大させ、かつ前記滞在している時間内での移動体における特定の部位の動きに応じて、第１のマークの種類とは異なる種類の第２のマークを表示させるための表示用データを生成する表示制御処理と、を実行させるものである。
また、本発明の一態様に係る情報システムは、撮影装置により対象空間が撮影された映像データを記憶する記憶部と、前記記憶部に記憶された前記映像データ内の複数の画像間における移動体の第１の部位の差分値が第１の閾値未満か否か及び前記移動体の第２の部位の差分値が第２の閾値未満か否かに基づき、前記対象空間内の前記移動体が所定の領域に滞在している時間を判別し、前記滞在している時間内での前記移動体における特定の部位の動きを検出する検出部と、前記移動体が移動した軌跡を表示させ、前記軌跡上に、前記滞在している時間に応じて第１のマークを拡大させ、かつ前記滞在している時間内での移動体における特定の部位の動きに応じて、第１のマークの種類とは異なる種類の第２のマークを表示させるための表示用データを生成する表示制御部と、前記表示制御部により生成された前記表示用データを表示する表示部と、を備えるものである。

本発明によれば、映像データ中に含まれる移動体の動作を追跡する作業を効率化し、作業負担を軽減するための情報処理装置、制御方法、プログラム、及び情報システムを提供することができる。

本発明の実施の形態１にかかる情報システムの全体構成を示すブロック図である。 本発明の実施の形態１にかかる情報処理装置の構成を示すブロック図である。 本発明の実施の形態１にかかる撮影画像の例を示す図である。 本発明の実施の形態１にかかる動体検知処理の概念を示す図である。 本発明の実施の形態１にかかる撮影環境（上部）の例を示す図である。 本発明の実施の形態１にかかる撮影環境（側面）の例を示す図である。 本発明の実施の形態１にかかるマップ上に描画する移動軌跡とマーカの表示例を示す図である。 本発明の実施の形態１にかかるマーカの選択の例を示す図である。 本発明の実施の形態１にかかるシークバーの例を示す図である。 本発明の実施の形態１にかかるイベントマーカの例を示す図である。 本発明の実施の形態１にかかる映像再生処理の流れを示すフローチャートである。 本発明の実施の形態１にかかる移動軌跡及びマーカの表示処理の流れを示すフローチャートである。 本発明の実施の形態１にかかる移動軌跡及びマーカの表示処理の流れを示すフローチャートである。 本発明の実施の形態２にかかる検出部を含む演算装置を中心とした構成を示すブロック図である。 本発明の実施の形態２にかかる表示制御部及び再生部を含む演算装置を中心とした構成を示すブロック図である。

以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。

＜発明の実施の形態１＞
図１は、本発明の実施の形態１にかかる情報システム３００の全体構成を示すブロック図である。情報システム３００は、カメラ３１１〜３１４と、ＨＵＢ３２０と、レコーダ３３０と、監視用ＰＣ３４０とを備える。本発明の実施の形態１では、対象空間を撮影装置により一定時間、撮影した映像データに映り込んでいる人物等の移動体の滞在領域を識別可能にする情報システム又は情報処理装置について説明する。情報システム３００は、一例としてカメラ３１１〜３１４を用いて、移動体の動きを監視する監視システムが挙げられる。カメラ３１１〜３１４は、撮影装置の一例であり、対象空間を一定時間、撮影して映像データを出力する。ここで、対象空間とは、撮影装置の撮影対象となる実空間であり、例えば店舗等である。また、移動体は、典型的には店舗の顧客である。但し、対象空間が店舗以外でもよく、移動体は人物以外の生物、又は、車両やロボット等であってもよい。尚、カメラは、少なくも１台以上であればよい。また、各カメラは対象空間のうち異なる領域を撮影しているか、共通する領域を複数のカメラで異なる角度から撮影していてもよい。カメラ３１１〜３１４のそれぞれは、ＨＵＢ３２０と接続される。ＨＵＢ３２０は、カメラ３１１〜３１４のそれぞれとレコーダ３３０と接続される。レコーダ３３０は、カメラ３１１〜３１４のそれぞれで撮影された映像データを内部の記憶装置（不図示）に保存する。監視用ＰＣ３４０は、レコーダ３３０と接続され、レコーダ３３０に保存された映像データを処理するものである。監視用ＰＣ３４０は、本発明の実施の形態１にかかる情報処理装置の一例である。なお、レコーダ３３０は、カメラ３１１〜３１４に内蔵されていても、監視用ＰＣ３４０に内蔵されていてもよい。

＜情報処理装置＞
図２は、本発明の実施の形態１にかかる情報処理装置１の構成を示すブロック図である。情報処理装置１は、検出部１１と、表示制御部１２と、記憶部１３と、再生部１４とを備える。また、情報処理装置１は、入力部及び出力部（不図示）と接続されているものとする。検出部１１は、対象空間を撮影した映像データ１３１に基づいて、対象空間内の移動体が所定時間以上滞在している滞在領域１３５を検出する。表示制御部１２は、対象空間に対応する図面データ１３６を表示させる際に、図面データ１３６内の滞在領域１３５に対応する位置に標識情報１３７を表示させるための表示用データを生成する。これにより、映像データ中に含まれる移動体の動作を追跡する作業を効率化し、作業負担を軽減することができる。尚、表示制御部１２による表示先は、出力部となる。

また、記憶部１３は、記憶装置であり、物理的には複数のメモリやハードディスク等に分かれていても良い。記憶部１３は、映像データ１３１と、背景データ１３２と、動体データ１３３と、位置情報１３４と、滞在領域１３５と、図面データ１３６と、標識情報１３７と、指定領域１３８とを記憶する。映像データ１３１は、監視カメラ等の撮影装置（不図示）により撮影された撮影時刻に対応した複数のフレーム画像である撮影画像１３１１の集合である。ここで、図３は、本発明の実施の形態１にかかる撮影画像の例を示す図である。図３に示す撮影画像は、移動体の一例である追尾対象者ｏｂｊが両側に商品棚が並ぶ通路上に位置している状態が撮影されたものである。

背景データ１３２は、対象空間に移動体が存在しない状態で撮影した場合の背景画像の画像データである。背景データ１３２は、予め登録されたものでもよい。または、背景データ１３２は、後述する動体検知部１１１により生成されたものでもよい。動体データ１３３は、撮影画像１３１１と背景データ１３２との差分の画像データである。尚、以下では、動体データ１３３を動体部と呼ぶことがある。位置情報１３４は、後述する図面データ１３６上の座標を示す情報である。滞在領域１３５は、対象空間内で移動体が所定時間以上滞在していた領域を示す情報である。図面データ１３６は、対象空間の図形として表現したデータである。図面データ１３６は、典型的には地図情報であり、例えば平面データである。標識情報１３７は、図面データ１３６上で他の領域と識別可能となる表示データである。標識情報１３７は、例えば、アイコン等のマーカとなる画像である。指定領域１３８は、移動体が滞在領域１３５に滞在していた時間の範囲で映像データ１３１の再生開始時刻を指定可能な領域である。指定領域１３８は、例えば、シークバー等である。

ここで、検出部１１は、具体的には、動体検知部１１１と、位置情報算出部１１２と、停止判定部１１３と、詳細解析部１１４とを備える。動体検知部１１１は、映像データ１３１内の撮影時刻ごとの各撮影画像１３１１に対して、背景データ１３２との差分として動体データ１３３を抽出する。

＜動体検知＞
図４は、本発明の実施の形態１にかかる動体検知処理の概念を示す図である。ここでは、動体検知部１１１が背景データ１３２も導出するものとする。まず、撮影データ内容Ｆ１は、映像データ１３１の一例であり、フレームＦ１１〜Ｆ１４は、撮影画像１３１１の一例である。ここでは、フレームＦ１１が撮影された直後に、追尾対象者ｏｂｊが対象空間内へ移動し、その後撮影されたフレームＦ１２に追尾対象者ｏｂｊが含まれていることを示す。そして、追尾対象者ｏｂｊはしばらく同じ位置に滞在していたため、フレームＦ１３及びＦ１４においても撮影されたことを示す。また、背景データ内容Ｆ２に含まれるフレームＦ２１及びＦ２２は、背景データ１３２の一例である。さらに、動体検知データ内容Ｆ３に含まれるフレームＦ３１及びＦ３２は、動体データ１３３の一例である。

ここで、動体検知部１１１は、記憶部１３から撮影画像１３１１を読み込み、背景データ１３２を抽出する。例えば、動体検知部１１１は、フレームＦ１１に対して背景抽出処理によりフレームＦ２１を背景データ１３２として記憶部１３へ保存する。例えば、背景データ１３２の初期データとしてフレームＦ１１をそのままフレームＦ２１とする。また、動体検知部１１１は、背景抽出処理により、フレームＦ１２に対してフレームＦ２２を背景データ１３２として記憶部１３へ保存する。例えば、動体検知部１１１は、フレームＦ１２の直前に抽出されたフレームＦ２１とフレームＦ１２とを比較して、フレームＦ２２を生成する。以後、同様に、動体検知部１１１は、フレームＦ１３及びＦ１４に対して背景抽出処理により更新処理及び学習を行い、背景データ１３２を再生成して記憶部１３へ保存する。

続いて、動体検知部１１１は、フレームＦ２２を用いて、動体部Ｇを抽出する。例えば、フレームＦ２２を二値化してフレームＦ３１及びＦ３２を生成する。

図２に戻り説明を続ける。
位置情報算出部１１２は、撮影画像１３１１と撮影装置であるカメラ３１１〜３１４の設定情報とを用いて、図面データ１３６上の動体データ１３３に対応する位置を示す位置情報１３４を算出する。撮影装置の設定情報としては、例えば、カメラの設置位置である画角、解像度、設置高さ及び方向等が挙げられる。ここでは、図３の撮影画像における追尾対象者ｏｂｊの図面データ１３６上の座標を位置情報１３４として算出するものとする。図５は、本発明の実施の形態１にかかる撮影環境（上部）の例を示す図である。また、図６は、本発明の実施の形態１にかかる撮影環境（側面）の例を示す図である。ここでは、カメラＣの設定情報として、カメラＣの高さｙ、垂直方向のカメラＣの角度θh0、垂直画角θV、水平画角θH、垂直解像度pV、水平解像度pHであるものと仮定する。また、カメラＣと追尾対象者ｏｂｊとの距離として図５のα及びβを求めることとする。

まず、位置情報算出部１１２は、追尾対象者ｏｂｊが図３の撮影画像上のピクセル座標（pX、pY）を算出する。ここで、pXは、撮影画像の中心点から追尾対象者ｏｂｊの脚の横の差分値であり、pYは、撮影画像の中心点から追尾対象者ｏｂｊの脚の高さの差分値として算出される。

次に、位置情報算出部１１２は、上記の値を用いて以下の式（１）及び式（２）により、距離αを算出する。
α=y*tan((90°−θh0)+θh) ・・・（１）
θh=arcsin(pY/(pV/2))*θV/π ・・・（２）

続いて、位置情報算出部１１２は、以下の式（３）及び式（４）により、距離βを算出する。
β=α*tanθw ・・・（３）
θw=arcsin(pX/(pH/2))*θH/π ・・・（４）

このようにして、位置情報算出部１１２は、図面データ１３６上における追尾対象者ｏｂｊの位置情報１３４を算出できる。

図２に戻り説明を続ける。
停止判定部１１３は、追尾対象者ｏｂｊが歩行中か停止しているかを判定する。但し、ここでの「停止」は、追尾対象者ｏｂｊの動作の厳密な停止ではなく、動体データ１３３が所定時間以上継続して所定領域内、例えば、図４の追尾枠に存在していること、つまり、滞在していることを示すものとする。そのため、追尾対象者ｏｂｊが所定領域内であればある程度、動作しているが、歩行するほど移動していない場合を「停止」とする。

具体的には、まず、停止判定部１１３は、時系列に沿って隣接する撮影画像１３１１の間における動体データ１３３の差分を特定する。そして、停止判定部１１３は、特定した差分が所定の範囲内であるか否かを判定する。さらに、停止判定部１１３は、「特定した差分が所定の範囲内である」ことが、所定数の画像で時系列に沿って連続するか否かを判定する。そして、停止判定部１１３は、前記連続することが所定数を超える場合に、動体部が所定時間以上、所定の領域に滞在している、つまり、移動体が停止していると判定する。そして、停止判定部１１３は、動体データ１３３を含む領域を滞在領域１３５として検出する。例えば、各撮影画像の動体データ１３３の差分のピクセル数をヒストグラム化することにより、ピクセル数が閾値未満であるか否かを判定してもよい。または、移動平均を用いて判定してもよい。尚、動体データ１３３を体の部位、つまりパーツごとに分解して認識し、パーツごとに閾値を異なるように設定してもよい。例えば、足の差分は閾値を小さくし、腕の差分は閾値を大きくすることなどが考えられる。または、胴体に注目して滞在しているか否かを判定してもよい。

または、停止判定部１１３は、動体データ１３３の差分を特定する代わりに、時系列に沿って隣接する撮影画像１３１１同士の位置情報１３４の差分、つまり移動距離を特定し、停止を判定してもよい。さらに、停止判定部１１３は、これらを両方用いても構わない。これにより、停止判定の精度が向上する。

表示制御部１２は、図面データ１３６を表示させる際、位置情報１３４、動体データ１３３、及び映像データ１３１が撮影された時刻情報に基づいて、図面データ１３６上に追尾対象者ｏｂｊが移動した軌跡である移動軌跡を表示させるための表示用データを生成する。併せて、表示制御部１２は、移動軌跡上の滞在領域１３５に対応する位置に標識情報１３７を表示させる。

また、検出部１１は、対象空間内の移動体が滞在領域１３５に滞在している時間を計測する。そして、表示制御部１２は、検出部１１により計測された時間に応じて標識情報１３７に第１の加工を行った上で表示をさせる。言い換えると、表示制御部１２は、計測された時間に応じて標識情報１３７を変化させて表示用データを生成する。つまり、図面データ１３６上で、追尾対象者ｏｂｊが滞在した位置については、移動軌跡とは別の表示を行う。これにより、移動体が図面データ１３６上の複数の位置で滞在していた場合でも、滞在時間の違いを容易に識別でき、監視者の再生箇所を選択する負担を軽減できる。

ここで、第１の加工とは例えば、標識情報１３７の表示上の大きさを変更することである。そのため、例えば、移動体が滞在領域１３５に滞在している時間が相対的に長い場合には、マーカのサイズをより大きくして表示することが挙げられる。また、マーカのサイズに限らず、色や形を変えてもよい。

図７は、本発明の実施の形態１にかかるマップ上に描画する移動軌跡とマーカの表示例を示す図である。図７では、棚ｂ１及びｂ２の間の通路付近をカメラＣ１が撮影し、棚ｂ３及びｂ４の間の通路付近をカメラＣ２が撮影した場合を示す。まず、実移動軌跡Ｌは、追尾対象者ｏｂｊが実際に移動した軌跡を示すものとする。尚、本発明の実施の形態１では、実際には実移動軌跡Ｌは表示されてないものとする。移動軌跡Ｌ１は、カメラＣ１により撮影された映像データから導かれた、追尾対象者ｏｂｊの軌跡である。また、滞在位置Ｐ１は、カメラＣ１により撮影された映像データ内で追尾対象者ｏｂｊが所定時間以上滞在した位置を示す。同様に、移動軌跡Ｌ２及びＬ３は、カメラＣ２により撮影された映像データから導かれた、追尾対象者ｏｂｊの軌跡である。また、滞在位置Ｐ２は、カメラＣ２により撮影された映像データ内で追尾対象者ｏｂｊが所定時間以上滞在した位置を示す。特に、滞在位置Ｐ２は、追尾対象者ｏｂｊが滞在位置Ｐ１より長い時間滞在していたため、滞在位置Ｐ１よりもマーカのサイズが大きく表示されていることを示す。

図２に戻り説明を続ける。
また、表示制御部１２は、表示された標識情報１３７の選択を受け付けた場合、指定領域１３８を表示させる。再生部１４は、標識情報１３７の選択の受け付けに基づいて移動体が滞在領域１３５に滞在を開始した時刻から映像データ１３１を再生する。言い換えると、再生部１４は、標識情報１３７の選択動作が行われた場合、移動体が滞在領域１３５に滞在していた期間中の映像データ１３１を再生する。特に、再生部１４は、指定領域１３８に対して再生開始時刻の選択を受け付けた場合に、選択された再生開始時刻から映像データ１３１を再生する。つまり、表示制御部１２は、位置情報１３４と、動体データ１３３と、映像データ１３１が撮影された時刻情報とに基づいて、追尾対象者ｏｂｊの状態と滞在時間を見やすい表示にする。そして、標識情報１３７がクリックされた場合、滞在時間に限定した再生バーを表示し、滞在していた時間のみ映像データを再生することができる。

図８は、本発明の実施の形態１にかかるマーカの選択の例を示す図である。図８では、例えば、滞在位置Ｐ１に対してマウス操作により選択操作ＳＥＬがされた場合を示す。これにより、表示制御部１２は、追尾対象者ｏｂｊが滞在位置Ｐ１に滞在していた開始時刻から終了時刻までを範囲として指定領域１３８であるシークバーを表示させる。図９は、本発明の実施の形態１にかかるシークバーＳＫＢの例を示す図である。再生箇所ＳＫＢＰは、再生開始時刻の指定を受け付ける箇所である。

図２に戻り説明を続ける。
詳細解析部１１４は、滞在領域１３５が検出された後に、移動体が滞在領域１３５に滞在している期間内における各動体データ１３３の間を詳細に解析し、移動体に含まれる特定部位の動きを検出する。そして、表示制御部１２は、詳細解析部１１４により検出された特定部位の動きに応じて標識情報１３７に第２の加工を行った上で表示をさせる。言い換えると、表示制御部１２は、検出された特定部位の動きに応じて標識情報１３７を変化させて表示用データを生成する。これにより、移動体が図面データ１３６上の複数の位置で滞在していた場合、特に、滞在時間が同じ場合に、不正行為の可能性がより高い動きを容易に識別でき、監視者の再生箇所を選択する負担を軽減できる。

ここで、第２の加工とは例えば、標識情報１３７の種類を変更することである。そのため、移動体が滞在領域１３５に滞在している間に、例えば、手元が動いている場合や、カメラを探すように首を動かしている場合等に、マーカの種類をより注意を引く種類のものに変更して表示することが挙げられる。図１０は、本発明の実施の形態１にかかるイベントマーカの例を示す図である。例えば、追尾対象者ｏｂｊが滞在位置Ｐ２１において所定時間滞在すると共に手元を動かしていた場合に、滞在位置Ｐ２１に示すようなイベントマーカの表示がされることを示す。

さらに、検出部１１が人物検知などの技術を利用して人同士のオクルージョン（重なり）を判定できる場合には、表示制御部１２は、その旨を標識情報１３７として表示してもよい。

このように、図面データ１３６上の滞在領域１３５に対応する位置に各種の標識情報１３７を表示し、選択操作を受け付けるようにする事で、監視者が確認したい移動体の不正な動きを早期に発見する事が可能となる。

ここで、本発明の実施の形態１に係る情報システム３００の利用形態の一例を説明する。例えば、対象空間は、商品を商品棚に陳列する店舗であるとする。そして、ある商品棚の商品が精算されずになくなっていることがわかったとする。この場合、店舗内の各所に設置されたカメラ３１１〜３１４により撮影された映像データを再生することにより、不正行為を行った可能性のある人物を追尾して不正行為があったか否かを確認する必要がある。

このとき、映像データには多数の顧客が映り込んでおり、撮影時間の全てを再生して不正行為を見つけ出すのは、監視者の作業負担が大きく、効率が悪い。ここで、不正行為が行われた場合、不正行為者は、該当の商品棚付近で所定時間以上立ち止まり、物色するなどの行動を取る可能性が高い。そこで、本発明の実施の形態により、映像データから滞在領域を検出し、図面データ上に滞在位置を表示することで、対象の商品棚にマーカ等が表示されていれば、監視者は、そのマーカをクリックすることで効率的に不正行為があったか否かの確認ができる。

別のケースでは、不正行為の常習犯が分かっている場合に、映像データ内でその人物の行動を追尾して再生することが挙げられる。この場合も、映像データを全て再生するのは、煩雑であり監視者の作業負担が大きく、効率が悪い。そこで、本発明の実施の形態により、映像データ内で常習犯が所定時間以上立ち止まっている時間帯に絞り込んで再生することで、同様に、効率的な追尾を実現できる。尚、本発明の実施の形態１に係る情報システム３００の利用形態はこれらに限定されない。

図１１は、本発明の実施の形態１にかかる映像再生処理の流れを示すフローチャートである。まず、情報処理装置１は、撮影装置であるカメラの設定情報を取得する（Ｓ１０）。すなわち、情報処理装置１は、カメラ３１１等の環境設定のための設定情報を取得し、記憶部１３に記憶する。尚、各カメラの設定情報は、上述の通りであるため省略する。

次に、情報処理装置１は、フレーム毎に移動軌跡及びマーカの表示処理を行う（Ｓ２０）。ここで、図１２及び図１３は、本発明の実施の形態１にかかる移動軌跡及びマーカの表示処理の流れを示すフローチャートである。まず、動体検知部１１１は、記憶部１３から映像データ１３１を取得する（Ｓ２０１）。次に、動体検知部１１１は、各撮影画像１３１１と背景データ１３２との比較を行う（Ｓ２０２）。そして、動体検知部１１１は、背景データ１３２との比較から動体データ１３３を抽出する（Ｓ２０３）。

その後、検出部１１は、追尾対象データを指定したかどうかを判定する（Ｓ２０４）。例えば、表示制御部１２により動体データ１３３を追尾対象データの候補として出力し、いずれかの動体データ１３３の選択を受け付けた場合、検出部１１は、追尾対象データが指定されたと判定する。

ステップＳ２０４で追尾対象データが指定されたと判定した場合、検出部１１は、対象者データを作成する（Ｓ２０５）。ここで、対象者データとは、追尾対象者（又は追尾対象物）の色情報と形状情報等を示す。色情報は、カラーデータを使用しＲＧＢ成分とＨＳＶ（色相、彩度、明度）成分の値を使用して作成される。例えば、代表色などを決めてヒストグラムを作成するなどにより可能である。また、形状情報は、輝度勾配から画面内のエッジ情報を抽出して作成される。

一方、ステップＳ２０４で追尾対象データが指定されないと判定した場合、検出部１１は、対象者データが既にあるかどうかを判定する（Ｓ２０６）。対象者データが未だに作成されていなければ、ステップＳ２０１へ戻る。

ステップＳ２０６で対象者データが既にあると判定した場合、又は、ステップＳ２０５の後、位置情報算出部１１２は、追尾対象者の距離を測定する（Ｓ２０７）。例えば、上述した位置情報の算出の手法を用いることができる。このとき、ステップＳ１０で取得された設定情報を用いる。

続いて、停止判定部１１３は、対象者の位置に変化があるか否かを判定する（Ｓ２０８）。つまり、停止判定部１１３は、直前の時刻の位置情報と現在の位置情報とを比較し、差分が所定範囲内か否かを判定する。位置に変化があると判定した場合、停止判定部１１３は、位置情報１３４を記憶部１３に記憶する（Ｓ２０９）。そして、表示制御部１２は、位置情報１３４に基づき、移動軌跡を図面データ１３６上に表示させる（Ｓ２１０）。

また、ステップＳ２０８において、位置に変化がないと判定した場合、停止判定部１１３は、既に停止と判定しているか否かを判定する（Ｓ２１１）。尚、「停止」の定義及び停止の判定の仕方については上述の通りである。

ステップＳ２１１において、未だに停止と判定していない場合、停止判定部１１３は、上記で指定された対象者データを停止しているオブジェクトとして更新する（ステップＳ２１２）。

ステップＳ２１１において既に停止と判定している場合、及び、ステップＳ２１２の後、停止判定部１１３は、停止時間中のフレーム数を加算して、停止時間（滞在時間）を計測する（Ｓ２１３）。併せて、停止判定部１１３は、計測した停止時間を記憶部１３に記憶する（Ｓ２１４）。

そして、詳細解析部１１４は、上述した滞在領域内での動体データ１３３の動きを詳細に解析する（Ｓ２１５）。ここで、詳細解析部１１４は、手元だけが動いているなど、不正な動作のおそれがあるか否かを判定する（Ｓ２１６）。不正な動作のおそれがあると判定した場合、詳細解析部１１４は、その旨を不正動作情報として記憶部１３に記憶する（Ｓ２１７）。不正な動作のおそれがないと判定した場合、又は、ステップＳ２１７の後、詳細解析部１１４は、ステップＳ２１６の判定結果と停止時刻情報に基づき、マーカの大きさ及び種別を変更する（Ｓ２１８）。すなわち、詳細解析部１１４は、記憶部１３を参照し、不正動作情報及び停止時刻情報に応じてマーカの大きさ及び種別を変更する。

その後、表示制御部１２は、変更したマーカを、図面データ１３６上の滞在領域に対応する位置に表示させる（Ｓ２１９）。

図１１に戻り説明を続ける。
ステップＳ２０の後、表示制御部１２は、図面データ１３６上の表示が選択されたか否かを判定する（Ｓ３０）。選択されなければ、ステップＳ１０へ戻る。選択された場合、表示制御部１２は、マーカが選択されたつまりクリックされたか否かを判定する（Ｓ４０）。マーカが選択されていない場合、つまり、移動軌跡が選択された場合、再生部１４は、選択された位置情報に対応する映像データを検索する（Ｓ５０）。一方、ステップＳ４０においてマーカが選択された場合、表示制御部１２は、選択されたマーカに対応する停止時間分のシークバーを表示させる（Ｓ６０）。そして、再生部１４は、シークバーに対して指定された再生開始時刻と位置情報に対応する映像データを検索する（Ｓ７０）。ステップＳ５０又はＳ７０の後、再生部１４は、検索された映像データを再生する（Ｓ８０）。

以上のように、本発明の実施の形態１により次のような効果を奏する。まず、監視者が確認したい追尾対象者の行動を瞬時に選択する事が可能となる。また、停止位置でのシークバーを出すことで、不必要な映像部分を再生する必要が無くなる。さらに、追尾対象者に位置情報取得端末を持たせなくても、位置情報を取得する事が可能である。また、位置情報と停止位置を記憶し、停止時間によってマップ上のマーカを変更することで、見やすくすることができる。さらに、ユーザの行動によってマーカを変更し、ユーザの行動を簡略的に見やすくする事、また、停止位置と停止時間データベースを使用して、特定のエリアに長く滞在したユーザを検索する事ができる。さらに、映像入力から停止状態を判定し、マップ上に停止時間を付加する事で対象者が停滞していた場所を早期発見することができる。

＜発明の実施の形態２＞
本発明の実施の形態２では、上述した検出部１１と、表示制御部１２及び再生部１４とをそれぞれ別の構成と捉えたものである。図１４は、本発明の実施の形態２にかかる検出部を含む演算装置を中心とした構成を示すブロック図である。図１４は、入力装置２１ａ及び２１ｂと、演算装置２２と、記憶装置２３とを含む。尚、物理構成はこれに限定されない。

入力装置２１ａはカメラＤ１を備え、カメラＤ１はカメラ映像取得部といえる。カメラＤ１は、センサーを利用して、撮影時刻ごとに画像データを取得する。カメラＤ１は、取得した画像データを後述の画像解析処理部Ｄ３へ出力する。

入力装置２１ｂはマウスＤ２を備え、マウスＤ２は画面座標指定取得部といえる。マウスＤ２は、演算装置２２に接続された映像表示部（不図示）上をクリックし、その座標データを指定対象者データ抽出部Ｄ６へ出力する。

演算装置２２は、画像解析処理部Ｄ３と、動体検知処理部Ｄ４と、停止時間演算処理部Ｄ５と、指定対象者データ抽出部Ｄ６と、距離演算処理部Ｄ７と、不正動作処理部Ｄ８と、地図描画処理部Ｄ９とを備える。

画像解析処理部Ｄ３は、カメラＤ１から受け付けた映像データをリサイズ又は色変換の処理を行い、処理後の変換映像データを動体検知処理部Ｄ４へ出力する。

動体検知処理部Ｄ４は、画像解析処理部Ｄ３から受け付けた変換映像データから背景データを生成し、記憶装置２３へ保存する。また、動体検知処理部Ｄ４は、上述した動体検知部１１１と同様に、動体検知処理を行い、動体データＥ５を対象者ＤＢＤ１１へ保存する。

停止時間演算処理部Ｄ５は、上述した停止判定部１１３と同様に、動体検知部１１１からの動体データ及び距離演算処理部Ｄ７からの位置情報等に基づいて対象物又は対象者の停止時間を測定する。そして、停止判定部１１３は、測定した停止時刻データＥ６を対象者ＤＢＤ１１へ保存する。

指定対象者データ抽出部Ｄ６は、マウスＤ２から受け付けた座標データと、動体検知処理部Ｄ４から取得される動体データとオブジェクトマッピング処理を利用し、対象者のデータ（色情報や形状情報）を抽出する。指定対象者データ抽出部Ｄ６は、抽出した対象者のデータを対象者ＤＢＤ１１に保存する。

距離演算処理部Ｄ７は、指定対象者の位置情報を演算する。距離演算処理部Ｄ７は、演算結果である位置情報Ｅ２を地図情報ＤＢＤ１０へ保存する。併せて、距離演算処理部Ｄ７は、位置情報Ｅ２を対象者ＤＢＤ１１へ保存する。

不正動作処理部Ｄ８は、対象者ＤＢＤ１１にアクセスし、停止している領域である滞在領域における指定対象者の動きについて詳細な解析を行う。すなわち、不正動作処理部Ｄ８は、動体検知処理部Ｄ４からの動体データに基づき動きの差分を算出し、特徴的な動きがあるか無いか確認する。不正動作等の判定結果に応じて、不正動作処理部Ｄ８は、対象者ＤＢＤ１１に更新を行う。

地図描画処理部Ｄ９は、映像データから検出された滞在領域に対応する地図上の位置に、マーカを描画する。地図描画処理部Ｄ９は、対象者ＤＢＤ１１からの対象者データＥ３に基づいて、停止時間及び不正データＥ１から地図に描画するマーカの色や大きさの指定を地図情報ＤＢＤ１０に書き込む。

記憶装置２３は、地図情報ＤＢＤ１０と、対象者ＤＢＤ１１と、背景データＤ１２とを備える。地図情報ＤＢＤ１０は、上述した図面データ１３６の一例であり、地図描画に必要なデータである。対象者ＤＢＤ１１は、上述した対象者データの一例であり、対象者又は対象物の特徴データである。背景データＤ１２は、上述した背景データ１３２の一例であり、動体検知に使用する背景データである。

図１５は、本発明の実施の形態１にかかる表示制御部及び再生部を含む演算装置を中心とした構成を示すブロック図である。図１５は、入力装置２４と、演算装置２５と、記憶装置２６と、出力装置２７とを含む。尚、物理構成はこれに限定されない。

入力装置２４はマウスＤ１３を備え、マウスＤ１３は画面座標指定取得部といえる。出力装置２７に表示された地図データ上をクリックし、その画像座標データＥ７を再生位置探索処理Ｄ１４へ出力する。

再生位置探索処理Ｄ１４は、地図情報ＤＢＤ１５の位置情報と時刻情報と不正データを基に検索時間を割り出し、録画映像ＤＢＤ１６から検索する。これにより、再生位置探索処理Ｄ１４は、再生位置を割り出す。

記憶装置２６は、地図情報ＤＢＤ１５と、録画映像ＤＢＤ１６とを備える。地図情報ＤＢＤ１５は、地図情報ＤＢＤ１０と同等である。録画映像ＤＢＤ１６は、カメラＤ１により撮影された映像データを記録している。

映像再生処理Ｄ１７は、再生位置探索処理Ｄ１４から指定された映像データの位置情報を基に、録画映像ＤＢＤ１６にアクセスして映像データを取得する。映像再生処理Ｄ１７は、取得した映像データをディスプレイＤ１８へ出力し、表示させる。

出力装置２７はディスプレイＤ１８を備え、ディスプレイＤ１８は映像再生処理Ｄ１７から受け付けた映像データを表示する。

そのため、本発明の実施の形態２にかかる情報システムは次のように表現できる。すなわち、情報システムは記憶部と、検出部と、表示制御部と、表示部とを備える。そして、記憶部は、撮影装置により対象空間が撮影された映像データを記憶する。検出部は、前記記憶部に記憶された前記映像データに基づいて、前記対象空間内の移動体が所定時間以上滞在している滞在領域を検出する。表示制御部は、前記対象空間に対応する図面データを表示させる際に、前記図面データ内の前記滞在領域に対応する位置に標識情報を表示させるための表示用データを生成する。表示部は、表示制御部により生成された前記表示用データを表示する。このように、本発明の実施の形態２の構成によっても実施の形態１と同等の効果を奏することができる。

＜その他の発明の実施の形態＞
また、上述の撮像装置及び携帯端末装置の任意の処理は、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現される場合だけでなく、このプログラムが、コンピュータ上で稼動しているＯＳ（Operating System）もしくはアプリケーションソフトウェアと共同して、上述の実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによって行われて、上述の実施の形態の機能が実現される場合も、本発明の実施の形態に含まれる。
尚、上述した発明の実施の形態１又は２は、次のような構成を含むものであってもよい。
（付記１）
前記表示制御部は、
前記表示された前記標識情報の選択動作が行われた場合、前記移動体が前記滞在領域に滞在していた時間の範囲で前記映像データの再生開始時刻を指定可能な指定領域を表示し、
前記再生部は、
前記指定領域に対して前記再生開始時刻の選択動作が行われた場合に、前記選択された再生開始時刻から前記映像データを再生する。
（付記２）
前記検出部は、
前記映像データ内の撮影時刻ごとの各画像に対して、前記対象空間に前記移動体が存在しない状態で撮影した場合の背景画像との差分である動体部を抽出し、
時系列に沿って隣接する画像間における前記動体部の差分が所定範囲内であることが、所定の画像数以上連続する場合に、前記動体部を含む領域を前記滞在領域として検出する。

１ 情報処理装置
１１ 検出部
１１１ 動体検知部
１１２ 位置情報算出部
１１３ 停止判定部
１１４ 詳細解析部
１２ 表示制御部
１３ 記憶部
１３１ 映像データ
１３１１ 撮影画像
１３２ 背景データ
１３３ 動体データ
１３４ 位置情報
１３５ 滞在領域
１３６ 図面データ
１３７ 標識情報
１３８ 指定領域
１４ 再生部

Claims (5)

1. 対象空間を撮影した映像データ内の複数の画像間における移動体の第１の部位の差分値が第１の閾値未満か否か及び前記移動体の第２の部位の差分値が第２の閾値未満か否かに基づき、前記対象空間内の前記移動体が所定の領域に滞在している時間を判別し、前記滞在している時間内での前記移動体における特定の部位の動きを検出する検出部と、
   前記移動体が移動した軌跡を表示させ、前記軌跡上に、前記滞在している時間に応じて第１のマークを拡大させ、かつ前記滞在している時間内での移動体における特定の部位の動きに応じて、第１のマークの種類とは異なる種類の第２のマークを表示させるための表示用データを生成する表示制御部と、
   を備える情報処理装置。
2. 前記表示された前記第１のマーク又は前記第２のマークの選択動作が行われた場合、前記移動体が前記所定の領域に滞在していた期間中の前記映像データを再生する再生部を更に備えた、
   請求項１に記載の情報処理装置。
3. 対象空間を撮影した映像データを表示する情報処理装置の制御方法であって、
   前記情報処理装置が、
   前記映像データ内の複数の画像間における移動体の第１の部位の差分値が第１の閾値未満か否か及び前記移動体の第２の部位の差分値が第２の閾値未満か否かに基づき、前記対象空間内の前記移動体が所定の領域に滞在している時間を判別し、前記滞在している時間内での前記移動体における特定の部位の動きを検出し、
   前記移動体が移動した軌跡を表示させ、前記軌跡上に、前記滞在している時間に応じて第１のマークを拡大させ、かつ前記滞在している時間内での移動体における特定の部位の動きに応じて、第１のマークの種類とは異なる種類の第２のマークを表示部に表示させるための表示用データを生成する
   制御方法。
4. コンピュータに、
   対象空間を撮影した映像データ内の複数の画像間における移動体の第１の部位の差分値が第１の閾値未満か否か及び前記移動体の第２の部位の差分値が第２の閾値未満か否かに基づき、前記対象空間内の前記移動体が所定の領域に滞在している時間を判別し、前記滞在している時間内での前記移動体における特定の部位の動きを検出する検出処理と、
   前記移動体が移動した軌跡を表示させ、前記軌跡上に、前記滞在している時間に応じて第１のマークを拡大させ、かつ前記滞在している時間内での移動体における特定の部位の動きに応じて、第１のマークの種類とは異なる種類の第２のマークを表示させるための表示用データを生成する表示制御処理と、
   を実行させるプログラム。
5. 撮影装置により対象空間が撮影された映像データを記憶する記憶部と、
   前記記憶部に記憶された前記映像データ内の複数の画像間における移動体の第１の部位の差分値が第１の閾値未満か否か及び前記移動体の第２の部位の差分値が第２の閾値未満か否かに基づき、前記対象空間内の前記移動体が所定の領域に滞在している時間を判別し、前記滞在している時間内での前記移動体における特定の部位の動きを検出する検出部と、
   前記移動体が移動した軌跡を表示させ、前記軌跡上に、前記滞在している時間に応じて第１のマークを拡大させ、かつ前記滞在している時間内での移動体における特定の部位の動きに応じて、第１のマークの種類とは異なる種類の第２のマークを表示させるための表示用データを生成する表示制御部と、
   前記表示制御部により生成された前記表示用データを表示する表示部と、
   を備える情報システム。

Images