JP7069725B2 - 不審者検出装置、不審者検出方法及び不審者検出用コンピュータプログラム - Google Patents

Description

本発明は、例えば、画像に基づいて不審者を検出する不審者検出装置、不審者検出方法及び不審者検出用コンピュータプログラムに関する。

防犯などの目的のために、店舗などの建物内に監視カメラが設置されることがある。このような監視カメラにより得られた画像に基づいて、不審者らしき人物を検出する技術が研究されている（例えば、特許文献１及び２を参照）。例えば、監視画像から検出された人物について、撮像部に対して顔を背けた状態を不審行動と判定し、不審行動と判定された回数に基づきその人物を不審人物と判定する技術が提案されている。また、監視画像から検出された接近者について、監視対象への接近頻度、接近時間、接近距離などに基づいて接近者の不審度を判定し、不審度に基づいて、接近者が不審者であるか否かを判定する技術が提案されている。

特開２００９－２３７９９３号公報 特開２００６－２５９８２８号公報

しかしながら、店舗においては、監視カメラは、天井など、商品が配置されている位置と異なる位置に設置されることがある。このような場合、不審者に限らず一般の買い物客も、監視カメラの方を向かないので、監視カメラにより生成された画像から検出された人物が、不審者か否かを識別できないことがある。

また、一般に、店舗では、様々な場所に商品が配置される。そのため、様々な商品の中から購入する商品を決定しようとする一般の客も、特定の商品に対して接近を繰り返すことがある。その結果として、接近頻度などに基づいて、接近者が不審者か否かを正確に判定することが困難なことがある。

一つの側面では、本発明は、不自然な行動を取る不審者を検出することが可能な不審者検出装置を提供することを目的とする。

一つの実施形態によれば、不審者検出装置が提供される。この不審者検出装置は、撮像部により得られた時系列の複数の画像のそれぞれから人物が表された領域を検出する人物検出部と、複数の画像のそれぞれから検出された人物領域に表された人物の顔の向きを推定する顔向き推定部と、複数の画像のそれぞれにおける人物領域に基づいて人物を追跡することで、その人物の移動方向を推定する移動方向推定部と、複数の画像のそれぞれにおける人物の顔の向きから、その人物の顔がその人物の移動方向以外にある注視位置を向いている注視時間が時間長閾値以上となる場合にその人物を不審者と判定する不審者判定部とを有する。

一つの側面によれば、不自然な行動を取る不審者を検出することができる。

一つの実施形態による、不審者検出装置のハードウェア構成図である。 不審者検出処理に関するプロセッサの機能ブロック図である。 追跡テーブルの一例を示す図である。 追跡中の人物について、各撮影時刻における、その人物の顔の向きを表す方程式の一例を示す図である。 注視位置の検出の概要の説明図である。 不審者検出処理の動作フローチャートである。

以下、図を参照しつつ、不審者検出装置、及び、その不審者検出装置で利用される不審者検出方法及び不審者検出用コンピュータプログラムについて説明する。この不審者検出装置は、例えば、店舗といった建物内に設置された監視カメラが撮影することで得られた時系列の一連の画像から検出された人物が不審者か否かを判定する。

発明者は、一般に、人は移動方向に顔を向けて移動すること、人が店舗の客である場合、その人は、購入する商品が配置されている場所を探すとき、短時間で様々な場所を眺め、さらに、興味がある商品の前では立ち止まるといった行動を取ることに着目した。
そこで、この不審者検出装置は、監視カメラにより得られた時系列の一連の画像から検出された人物の移動方向、移動速度及び顔の向きに基づいて、検出された人物が一般的な人の行動と異なる行動を取るか否かを判定する。そしてこの不審者検出装置は、検出された人物が一般的な人の行動と異なる不自然な行動を取ったと判定した場合に、その人物を不審者と判定する。

図１は、一つの実施形態による、不審者検出装置のハードウェア構成図である。図１に示されるように、不審者検出装置１は、監視カメラ２と、通信インターフェース３と、ユーザインターフェース４と、メモリ５と、記憶媒体アクセス装置６と、プロセッサ７とを有する。本実施形態では、不審者検出装置１は、小売店などの店舗に設置され、設置された店舗において不審者を検出するために用いられる。通信インターフェース３、ユーザインターフェース４、メモリ５、記憶媒体アクセス装置６及びプロセッサ７は、例えば、不審者検出装置本体内に収容され、通信ネットワークを介して監視カメラ２と通信可能に接続される。なお、監視カメラ２と、不審者検出装置本体とは、同一の建物内に設置されてもよく、あるいは、互いに異なる建物内に設置されてもよい。

監視カメラ２は、撮像部の一例であり、例えば、店舗内の天井に斜め下方を向くように取り付けられる。そして監視カメラ２は、店舗内の所定の撮影範囲を撮影し、その撮影範囲が写った画像を生成する。そのために、監視カメラ２は、CCDあるいはC-MOSなど、可視光に感度を有する固体撮像素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影範囲の像を結像する結像光学系とを有する。監視カメラ２は、一定のフレームレート（例えば1/30秒）ごとに撮影範囲を撮影することで画像を生成する。そして監視カメラ２は、画像を生成する度に、その画像及びその画像の撮影時刻を、通信ネットワークを介して、通信インターフェース３へ出力する。
本実施形態では、監視カメラ２により生成される画像は、各画素の値が輝度値で表されるモノクロ画像である。しかし、監視カメラ２により生成される画像は、各画素の値がRGB色空間または他の色空間（例えば、HLS色空間あるいはYPbPr色空間）の値で表されるカラー画像であってもよい。

通信インターフェース３は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。通信インターフェース３は、通信ネットワークを介して監視カメラ２から画像を受け取り、その受け取った画像をプロセッサ７にわたす。また通信インターフェース３は、プロセッサ７から受け取った、検出された不審者を表す情報を、通信ネットワークを介して他の機器（図示せず）へ出力してもよい。

ユーザインターフェース４は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。あるいは、ユーザインターフェース４は、タッチパネルといった、入力装置と表示装置とが一体化された装置を有していてもよい。そしてユーザインターフェース４は、例えば、プロセッサ７から受け取った、不審者が検出された画像とその画像上での不審者を示す情報とを表示装置に表示する。

メモリ５は、記憶部の一例であり、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリである。そしてメモリ５は、例えば、プロセッサ７で実行される不審者検出処理を実行するための各種のデータ、不審者検出処理の実行中に作成される各種のデータ及び不審者検出処理の結果などを記憶する。さらに、メモリ５は、監視カメラ２から取得した画像を一定期間記憶してもよい。

記憶媒体アクセス装置６は、記憶部の他の一例であり、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体８にアクセスする装置である。記憶媒体アクセス装置６は、例えば、記憶媒体８に記憶された、プロセッサ７上で実行される不審者検出処理用のコンピュータプログラムを読み込み、プロセッサ７に渡す。あるいは、記憶媒体アクセス装置６は、不審者検出処理の実行中に作成される各種のデータ及び不審者検出処理の結果などをプロセッサ７から受け取って記憶媒体８に書き込んでもよい。

プロセッサ７は、制御部の一例であり、例えば、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。またプロセッサ７は、数値演算プロセッサを有してもよい。そしてプロセッサ７は、不審者検出装置１全体を制御する。また、プロセッサ７は、通信インターフェース３を介して監視カメラ２から画像を受け取る度に、その画像に撮影時刻を対応付けてメモリ５に保存する。そしてプロセッサ７は、監視カメラ２から受け取った時系列の一連の画像のそれぞれに対して不審者検出処理を実行する。

図２は、不審者検出処理に関するプロセッサ７の機能ブロック図である。図２に示されるように、プロセッサ７は、人物検出部１１と、顔向き推定部１２と、移動方向推定部１３と、判定条件設定部１４と、不審者判定部１５とを有する。

プロセッサ７が有するこれらの各部は、例えば、プロセッサ７上で実行されるコンピュータプログラムによって実現される機能モジュールである。あるいは、プロセッサ７が有するこれらの各部は、プロセッサ７に組み込まれる専用の回路として不審者検出装置１に実装されてもよい。また、人物検出部１１、顔向き推定部１２及び移動方向判定部１３は、監視カメラ２により得られた画像上に表された人物を追跡してその人物の移動方向、移動速度及び顔の向きを推定するために用いられる。一方、判定条件設定部１４及び不審者判定部１５は、追跡中の人物が不審者か否かを判定するために用いられる。

人物検出部１１は、監視カメラ２から画像が得られる度に、その画像から何れかの人物が表された領域である人体領域を検出する。なお、人物検出部１１は、監視カメラ２から得られる複数の画像のそれぞれに対して同一の処理を行えばよいので、以下では、一つの画像に対する処理について説明する。

人物検出部１１は、例えば、画像に対してDeformable Part Model(DPM)を利用した検出器を適用することで、人物領域を検出する。この場合、人物検出部１１は、画像上にウィンドウを設定し、ウィンドウ内の各画素の値から、人物領域の検出に利用する特徴（例えば、Histogram of Oriented Gradient(HOG)特徴あるいはHaar-like特徴）を算出する。そして人物検出部１１は、その特徴を、DPMを利用した検出器に入力することで、ウィンドウが人物領域か否か判定する。人物検出部１１は、画像上でのウィンドウの位置を変えながら同様の処理を行うことで、画像上の任意の位置から人物領域を検出できる。なお、DPMを利用した人物領域の検出の詳細については、例えば、D. McAllester他、「A Discriminatively Trained, Multiscale, Deformable Part Model」、in IEEE Conference on Computer Vision and Pattern Recognition、2008年、を参照されたい。

なお、人物検出部１１は、上記の検出器の代わりに、画像から人物領域を検出するようにあらかじめ学習された他の検出器、例えば、AdaBoost、realAdaBoost、サポートベクトルマシンあるいは多層パーセプトロンに基づく検出器を利用してもよい。

また、人物検出部１１は、一つの画像から複数の人物領域を検出してもよい。検出した人物領域は、例えば、人物領域に含まれる各画素の値と人物領域外の各画素の値とが異なる２値画像で表される。人物検出部１１は、各画像について、検出した人物領域を顔向き推定部１２及び移動方向推定部１３へ通知する。

顔向き推定部１２は、監視カメラ２から画像が得られる度に、その画像上の個々の人物領域からその人物領域に表された人物の顔が表された顔領域を検出し、顔領域からその人物の顔の向きを推定する。なお、顔向き推定部１２は、人物領域のそれぞれに対して同一の処理を行えばよいので、以下では、一つの人物領域に対する処理について説明する。

顔向き推定部１２は、例えば、画像上の人物領域に対してAdaBoost検出器を適用することで、顔領域を検出する。この場合、顔向き推定部１２は、人物領域内に設定したウィンドウの各画素の値から、顔領域の検出に利用する特徴（例えば、HOG特徴あるいはHaar-like特徴）を算出する。そして顔向き推定部１２は、その特徴を、AdaBoost検出器に入力することで、ウィンドウが顔領域か否か判定する。顔向き推定部１２は、人物領域内でのウィンドウの位置を変えながら同様の処理を行うことで、人物領域内の任意の位置から顔領域を検出できる。なお、AdaBoost検出器を利用した顔領域の検出の詳細については、例えば、P. Viola他、「Robust Real-Time Face Detection」、International Journal of Computer Vision、2004年、を参照されたい。

なお、顔向き推定部１２は、上記の検出器の代わりに、画像から顔領域を検出するようにあらかじめ学習された他の検出器、例えば、realAdaBoost、サポートベクトルマシンあるいは多層パーセプトロンに基づく検出器を利用してもよい。

人物領域から顔領域が検出されると、顔向き推定部１２は、顔領域に表された顔の向きを推定する。顔向き推定部１２は、例えば、コンボリューションニューラルネットワーク(Convolutional Neural Network(CNN))に顔領域を入力することで、推定された顔の向きをもとめる。なお、CNNは、様々な顔の向きのサンプル画像を用いて顔の向きを判定するよう予め学習される。CNNを利用した顔の向きの推定の詳細については、例えば、X. Liu他、「3D HEAD POSE ESTIMATION WITH CONVOLUTIONAL NEURAL NETWORK TRAINED ON SYNTHETIC IMAGES」、Proc. IEEE Int. Conf. Image Process、2016年、を参照されたい。

なお、顔向き推定部１２は、画像上に表された顔の向きを推定する他の手法に従って、顔領域に表された顔の向きを推定してもよい。例えば、顔向き推定部１２は、顔領域に対して目尻、鼻尖点、口角点などの顔の様々な特徴点を表すテンプレートを用いたテンプレートマッチングを実行することで顔領域から顔の複数の特徴点を検出し、検出した複数の特徴点から顔の正中線をもとめる。そして顔向き推定部１２は、顔の正中線に対する鼻尖点の位置関係に応じて、推定された顔の向きを求めてもよい。

なお、顔向き推定部１２により推定される顔の向きは、例えば、監視カメラ２の光軸方向に対してなす角度として表される。

顔向き推定部１２は、各人物領域について、推定した顔の向きを移動方向推定部１３へ通知する。

移動方向推定部１３は、監視カメラ２から得られた時系列の一連の画像のそれぞれから検出された人物領域に基づいて、その人物領域に表された人物を追跡することでその人物の移動方向及び移動速度を推定する。

例えば、移動方向推定部１３は、監視カメラ２から画像が得られる度に、その画像から検出された人物領域ごとに、その人物領域に表された人物の実空間での位置を推定する。ここで、監視カメラ２の設置位置、床面からの高さ及び監視カメラ２の光軸方向は予め分かっており、画像の各画素の位置は、監視カメラ２からの方向と一対一に対応する。そのため、画像の画素ごとに、監視カメラ２からその画素に写っている床までの方向及び距離は計算できるので、その画素に写っている床の実空間での位置は既知となる。そこで、例えば、画像の画素ごとに、その画素に対応する実空間の位置を表す参照テーブルが予めメモリ５に保存される。また、監視カメラ２の設置状況により、人物領域に、人物の全身が表されると想定できる。この場合、人物領域の下端に人物の足先が写っているので、移動方向推定部１３は、参照テーブルを参照して、画像上の人物領域の下端が表される画素に対応する実空間での位置を求め、その位置を、人物領域に写っている人物の実空間での位置とする。

最新の画像について人物領域に表された人物の実空間の位置が求められると、移動方向推定部１３は、その最新の画像の人物領域と過去の画像の人物領域とから追跡処理を行って、同一人物ごとにその人物の移動方向及び移動速度を求める。そのために、移動方向推定部１３は、例えば、過去の画像から検出された、追跡中の着目する人物が表された人物領域に基づくテンプレートを、Kernelized Correlation Filter(KCF)といった手法に従って適応的に更新する。そして移動方向推定部１３は、更新されたテンプレートを用いたテンプレートマッチングを最新の画像の各人物領域に対して行うことで、着目する人物と同一の人物が表された人物領域を特定する。なお、KCFを用いた追跡処理の詳細については、例えば、J. F. Henriques他、「High-Speed Tracking with Kernelized Correlation Filters」、Proc. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)、2015年、を参照されたい。

また、移動方向推定部１３は、他の追跡手法を用いて、追跡中の人物ごとに、その人物が表された過去の画像上の人物領域と最新の画像上の人物領域とを対応付けてもよい。例えば、移動方向推定部１３は、過去の画像について、着目する人物が表された人物領域からSIFTなどに基づく特徴点を検出する。そして移動方向推定部１３は、最新の画像上の各人物領域のうち、検出された特徴点と最も一致する対応点を持つ人物領域を、着目する人物が表された人物領域としてもよい。

なお、移動方向推定部１３は、最新の画像から検出された各人物領域のうち、追跡中の何れの人物とも対応付けられなかった人物領域には、追跡中のいずれの人物とも異なる人物が表されていると判定してもよい。そして移動方向推定部１３は、追跡中の何れの人物とも対応付けられなかった人物領域に表された人物を、新たに追跡を開始する人物として、その人物に識別番号を設定する。

移動方向推定部１３は、追跡中の人物ごとに、その人物が表された最新の画像及び過去の画像のそれぞれの人物領域から特定されたその人物の実空間の位置、及び、監視カメラ２のフレームレートから、その人物の移動方向及び移動速度を算出する。例えば、移動方向推定部１３は、最新の画像の撮影時刻における人物の実空間の位置と、直前の画像の撮影時刻におけるその人物の実空間の位置との差に基づいて移動方向を推定できる。また、移動方向推定部１３は、最新の画像の撮影時刻における人物の実空間の位置と、直前の画像の撮影時刻におけるその人物の実空間の位置間の距離をフレームレートで除することで、最新の画像の撮影時刻におけるその人物の移動速度を算出できる。また、移動方向推定部１３は、追跡中の各人物について、最新の画像の撮影時刻における、推定された顔の向きと、移動方向とから、床面と平行な面において推定された顔の向きが移動方向に対してなす角度を移動方向に対する顔の向きとして算出する。そして移動方向推定部１３は、追跡中の人物ごとに、その人物の実空間の位置、移動方向に対する顔の向き、移動方向及び移動速度などを表す追跡テーブルを更新する。移動方向推定部１３は、追跡テーブルを更新する度に、更新した追跡テーブルをメモリ５に保存する。

図３は、追跡テーブルの一例を示す図である。追跡テーブル３００では、一つの行に、追跡中の一人の人物についてのデータが記録される。そして追跡テーブル３００の左側から順に、追跡中の人物に割り当てられた識別番号、不審者か否かの判定が行われたか否かを表す終了判定フラグ、及び、撮影時刻ごとの実空間位置、顔の向き、移動方向及び移動速度が記録される。なお、着目する人物について終了判定フラグの値が’0’のとき、着目する人物に対する不審者か否かの判定は行われていない。一方、着目する人物について終了判定フラグの値が’1’のとき、着目する人物に対する不審者か否かの判定は終了している。

判定条件設定部１４は、閾値設定部の一例であり、追跡中の人物のうち、追跡開始からの追跡期間が所定の時間長（例えば、1分～5分）に達した人物ごとに、不審者か否かを判定するために用いられる判定条件を設定する。本実施形態では、判定条件設定部１４は、追跡期間が所定の時間長に達した人物ごとに、その人物の移動速度に基づいて、その人物が移動方向以外の位置へ顔を向ける時間の長さに対する閾値（以下、時間長閾値と呼ぶ）を、判定条件として設定する。なお、人物が顔を向ける位置を、以下では、注視位置と呼ぶ。

一般に、買い物客は、買い物を行うとき、ゆっくり移動しながら移動方向以外に配置された商品を見ることがあるものの、速く移動するときには、そのような行動を行わない。そこで、本実施形態では、判定条件設定部１４は、移動速度が速くなるほど時間長閾値が小さくなるように、時間長閾値を設定する。例えば、判定条件設定部１４は、追跡期間が所定の時間長に達した着目人物について、次式に従って時間長閾値THを設定する。

ここで、vは、着目人物について、追跡テーブルに記録されている各画像の撮影時刻における移動速度の平均値である。なお、vは、最新の画像の撮影時刻における移動速度であってもよい。また、α及びβは、予め設定される定数であり、例えば、不審者検出装置１が設置される店舗における買い物客の移動速度ごとの注視位置へ顔を向ける時間の測定値などに基づいて、買い物客の注視時間が時間長閾値未満となるように設定される。なお、人物が注視位置へ顔を向ける時間の長さを、以下では注視時間と呼ぶ。あるいは、定数α及びβは、様々な店舗における買い物客の移動速度ごとの注視時間の測定値の平均値などに基づいて、買い物客の注視時間が時間長閾値未満となるように設定されてもよい。あるいはまた、定数α及びβは、実空間における所定のエリアごとに設定されてもよい。この場合も、エリアごとにおける、買い物客の移動速度ごとの注視時間の測定値などに基づいて、エリアごとに定数α及びβは設定されればよい。判定条件設定部１４は、このように時間長閾値を設定することで、着目人物の移動速度に応じた適切な不審者判定条件を設定できる。

判定条件設定部１４は、追跡中の人物のうち、追跡期間が所定の時間長に達した人物ごとに、設定した時間長閾値を不審者判定部１５へ通知する。

不審者判定部１５は、追跡中の人物のうち、追跡期間が所定の時間長に達し、かつ、不審者か否かの判定が行われていない人物（すなわち、追跡テーブルにおいて終了判定フラグの値が’0’の人物）について、不審者か否かを判定する。なお、不審者判定部１５は、人物ごとに同一の処理を実行すればよいので、以下では、一人の人物に対する処理について説明する。

不審者判定部１５は、着目する人物について、撮影時刻ごとに、その撮影時刻における人物の位置から顔の向きを表す直線の方程式を算出する。

図４は、追跡中の人物について、各撮影時刻における、その人物の顔の向きを表す方程式の一例を示す図である。図４に示される例では、床面と平行な面上の位置が、xy直交座標系で表される。追跡中の人物４００は、矢印４０１に沿って移動している。そして時刻T0のときに、人物４００は位置(x₀,y₀)にあり、矢印４１０の方向へ顔を向けている。この場合、時刻T0における顔の向きの方程式は、位置(x₀,y₀)と、時刻T0における顔の向きとから、a₀x+b₀y+c₀=0として算出される。同様に、時刻T1のときに、人物４００は位置(x₁,y₁)にあり、矢印４１１の方向へ顔を向けている。そのため、時刻T1における顔の向きの方程式は、位置(x₁,y₁)と、時刻T1における顔の向きとから、a₁x+b₁y+c₁=0として算出される。また、時刻T2のときに、人物４００は位置(x₂,y₂)にあり、矢印４１２の方向へ顔を向けている。そのため、時刻T2における顔の向きの方程式は、位置(x₂,y₂)と、時刻T2における顔の向きとから、a₂x+b₂y+c₂=0として算出される。なお、a_i、b_i、c_i (i=0,1,2)は、それぞれ、係数である。

なお、不審者判定部１５は、顔の向きと移動方向との角度差が所定の角度差以下である場合には、顔の向きの方程式を算出しなくてもよい。例えば、図４において、時刻T3のときに、人物４００は位置(x₃,y₃)にあり、矢印４１３の方向へ顔を向けている。そして矢印４１３に示される顔の向きと、矢印４０１で示される移動方向との差が所定の角度差以下であるため、時刻T3における顔の向きの方程式は算出されなくてよい。なお、所定の角度差は、例えば、10°とすることができる。

不審者判定部１５は、各撮影時刻における顔の向きの方程式に基づいて、着目する人物が自身の移動方向以外における注視位置をもとめる。例えば、不審者判定部１５は、各撮影時刻における顔の向きの方程式から選択した二つの方程式の交点を算出する。その際、不審者判定部１５は、選択する二つの方程式の組み合わせを変えながら、全ての組み合わせのそれぞれについて交点を算出する。なお、二つの方程式{a_ix+b_iy+c_i=0, a_jx+b_jy+c_j=0}の交点(x,y)は、例えば、次式に従って算出される。

不審者判定部１５は、各交点のうち、互いの距離が所定距離以下となる交点の集合を求める。なお、所定距離は、例えば、30cmとすることができる。そして不審者判定部１５は、互いの距離が所定距離以下となる交点の集合で表される位置、例えば、その集合の重心を、着目する人物の注視位置とする。これにより、不審者判定部１５は、着目する人物の注視位置を正確に特定できる。また、不審者判定部１５は、互いの距離が所定距離以下となる交点の集合に含まれる何れかの交点を形成する顔の方程式の数をカウントする。この場合、交点の集合に含まれる何れかの交点を形成する顔の方程式の数は、着目する人物が追跡中においてその交点の集合で表される注視位置を見る累計の時間に対応するので、不審者判定部１５は、その累計の時間の時間を注視時間として求めることができる。そのため、不審者判定部１５は、着目する人物が注視位置をちらちらと見る場合の注視時間を正確に求めることができる。

図５は、注視位置の検出の概要の説明図である。図５に示される例では、床面と平行な面上の位置が、xy直交座標系で表される。追跡中の人物５００は、矢印５０１に沿って移動している。そして時刻T0のときに、人物５００は位置(x₀,y₀)にあり、矢印５１０の方向へ顔を向けている。同様に、時刻T1のときに、人物５００は位置(x₁,y₁)にあり、矢印５１１の方向へ顔を向けており、時刻T3のときに、人物５００は位置(x₃,y₃)にあり、矢印５１３の方向へ顔を向けている。この場合、矢印５１０で表される顔の向きの方程式と、矢印５１１で表される顔の向きの方程式とが交点P01にて交差する。同様に、矢印５１０で表される顔の向きの方程式と、矢印５１３で表される顔の向きの方程式とが交点P03にて交差し、矢印５１１で表される顔の向きの方程式と、矢印５１３で表される顔の向きの方程式とが交点P13にて交差する。そして各交点P01、P03、P13は、互いに所定距離以下となるので、交点の集合５２０を形成する。そしてこの場合、交点の集合５２０に含まれる何れかの交点を形成する顔の方程式の数は3となる。

変形例によれば、不審者判定部１５は、着目する人物について、顔の向きがその人物の移動方向に対して異なる方向となる最初の撮影時刻から、順次、時間的に連続し、顔の向きが移動方向と異なる撮影時刻の組ごとに、顔の向きの方程式間の交点を算出してもよい。そして不審者判定部１５は、最初の組の交点を基準点とし、基準点からの距離が最初に所定距離よりも大きくなる組を求め、その組の直前の組について算出された交点から最初の組の交点までを、注視位置を表す交点の集合に含めてもよい。この場合、不審者判定部１５は、最初の組の交点からの距離が所定距離も大きくなった後の組について算出された交点については、最初の組の交点から所定距離以内に存在しても、注視位置を表す交点の集合に含めなくてもよい。これにより、不審者判定部１５は、注視時間として、着目する人物が連続して同じ注視位置へ顔を向けている期間を求めることができる。また、最初の組の交点を基準点とすることで、着目する人物が徐々に顔の向きを変えたときでも、最初に顔を向けていた方向から顔の向きがある程度以上変化した時点までが注視時間に含められるので、不審者判定部１５は、注視時間を正確に求めることができる。

また他の変形例によれば、不審者判定部１５は、最初の交点の代わりに、注視位置を表す交点の集合の重心を基準点とし、基準点からの距離が所定距離以下となる交点を順次その交点の集合に含めてもよい。そして不審者判定部１５は、注視位置を表す交点の集合の重心からの距離が最初に所定距離よりも大きくなる組以降については、その組について算出された交点を、注視位置を表す交点の集合に含めないようにしてもよい。

さらに、不審者判定部１５は、着目する人物について、互いの距離が所定距離以下となる交点の集合が複数存在する場合、交点の集合のそれぞれを、着目する人物についての注視位置としてもよい。

不審者判定部１５は、着目する人物について、移動方向以外の注視位置が求められると、移動方向以外の注視位置に対する注視時間を算出する。例えば、不審者判定部１５は、注視位置に対応する交点の集合に含まれる各交点を形成する顔の向きの方程式の数に、監視カメラ２のフレームレートを乗じて得られる値を注視時間とする。そして不審者判定部１５は、注視時間がその着目する人物について設定された時間長閾値以上となる場合、着目する人物が不審者であると判定する。なお、不審者判定部１５は、時間長閾値をフレームレートで除して得られる値を注視位置に対応する交点の集合に含まれる各交点を形成する顔の向きの方程式の数と比較してもよい。この場合には、不審者判定部１５は、注視位置に対応する交点の集合に含まれる各交点を形成する顔の向きの方程式の数が時間長閾値をフレームレートで除して得られる値以上となる場合に、着目する人物が不審者であると判定すればよい。

なお、不審者判定部１５は、着目する人物について、移動方向以外の複数の注視位置が検出されている場合、注視位置ごとに注視時間を算出し、算出した注視時間を着目する人物について設定された時間長閾値と比較してもよい。そして何れかの注視位置について、注視時間が時間長閾値以上となる場合、不審者判定部１５は、着目する人物が不審者であると判定してもよい。

不審者判定部１５は、追跡中のいずれかの人物を不審者と判定すると、例えば、不審者を示す情報をユーザインターフェース４が有する表示装置に表示させる。例えば、不審者判定部１５は、不審者と判定された人物について追跡が継続されている間、監視カメラ２から画像が得られる度に、その画像上で不審者と判定された人物が表された人物領域を示すマークをその画像に重畳してもよい。そして不審者判定部１５は、そのマークが重畳された画像をユーザインターフェース４が有する表示装置に表示させてもよい。あるいは、不審者判定部１５は、不審者と判定された人物が表された人物領域を示すマークが重畳された画像を、通信インターフェース３を介して他の機器へ出力してもよい。

また、不審者判定部１５は、不審者か否かの判定が終了した追跡中の人物について、追跡テーブルの対応する終了判定フラグの値を’1’に書き換える。

なお、不審者判定部１５は、追跡中の着目する人物について、一旦不審者ではないと判定された場合でも、追跡開始から一定の期間（例えば、5～10分）が経過するまで、上記の処理を繰り返してもよい。そして一定の期間が経過した時点でも、着目する人物が不審者でないと判定された場合に、不審者判定部１５は、着目する人物について、追跡テーブルの対応する終了判定フラグの値を’1’に書き換えてもよい。

あるいは、不審者判定部１５は、不審者か否かの判定が終了した人物について、判定結果に応じて終了判定フラグの値を異ならせてもよい。例えば、不審者判定部１５は、不審者でないと判定された人物については、終了判定フラグの値を’1’とし、不審者であると判定された人物については、終了判定フラグの値を’2’としてもよい。

図６は、プロセッサ７により実行される、不審者検出処理の動作フローチャートである。プロセッサ７は、監視カメラ２から画像が得られる度に、下記の動作フローチャートに従って不審者検出処理を実行すればよい。

人物検出部１１は、最新の画像上で人物が表されている人物領域を検出する（ステップＳ１０１）。顔向き推定部１２は、検出された人物領域ごとに、その人物領域に表された人物の顔が写った顔領域を検出し、検出された顔領域に基づいて顔の向きを推定する（ステップＳ１０２）。

移動方向推定部１３は、過去の画像から検出された人物領域と最新の画像から検出された人物領域とに基づいて、最新の画像から検出された人物領域に表された人物を追跡中の何れかの人物と対応付ける（ステップＳ１０３）。なお、移動方向推定部１３は、最新の画像から検出された人物領域に表された人物のうち、追跡中のいずれの人物とも対応付けられなかった人物を新たな追跡対象の人物として、追跡を開始する。

また移動方向推定部１３は、追跡中の各人物について、最新の画像上の対応する人物領域の位置に基づいてその人物の実空間での位置を求めることにより、最新の画像の撮影時刻におけるその人物の移動方向及び移動速度を推定する（ステップＳ１０４）。移動方向推定部１３は、追跡中の各人物について、最新の画像に基づいて求められた実空間での位置、移動方向、移動速度及び顔の向きなどを追跡テーブルに追加することで追跡テーブルを更新する（ステップＳ１０５）。

判定条件設定部１４は、追跡中の人物のうち、追跡期間が所定の時間長に達し、かつ、不審者検出処理が未終了の人物を着目人物とする（ステップＳ１０６）。そして判定条件設定部１４は、着目人物の移動速度が速いほど短くなるように時間長閾値を設定する（ステップＳ１０７）。

不審者判定部１５は、着目人物についての追跡中の各撮影時刻における顔の向きから、移動方向以外にある注視位置及び注視時間を算出する（ステップＳ１０８）。そして不審者判定部１５は、移動方向以外に注視位置があり、かつ、注視時間が時間長閾値以上か否か判定する（ステップＳ１０９）。移動方向以外に注視位置がないか、または、注視時間が時間長閾値未満であれば（ステップＳ１０９－Ｎｏ）、不審者判定部１５は、着目人物は不審者でないと判定する（ステップＳ１１０）。一方、移動方向以外に注視位置があり、かつ、注視時間が時間長閾値以上であれば（ステップＳ１０９－Ｙｅｓ）、不審者判定部１５は、着目人物は不審者であると判定する（ステップＳ１１１）。そして不審者判定部１５は、着目人物が不審者であることを示す情報をユーザインターフェース４の表示装置に表示させる。

ステップＳ１１０またはＳ１１１の後、不審者判定部１５は、追跡テーブルにおける、着目人物についての終了判定フラグの値を’1’に書き換える（ステップＳ１１２）。

プロセッサ７は、追跡テーブルを参照して、追跡中の人物のうち、追跡期間が所定の時間長に達し、かつ、不審者検出処理が未終了の人物が存在するか否か判定する（ステップＳ１１３）。追跡期間が所定の時間長に達し、かつ、不審者検出処理が未終了の人物が存在すれば（ステップＳ１１３－Ｙｅｓ）、プロセッサ７は、ステップＳ１０６以降の処理を繰り返す。一方、追跡期間が所定の時間長に達し、かつ、不審者検出処理が未終了の人物が存在しなければ（ステップＳ１１３－Ｎｏ）、プロセッサ７は、不審者検出処理を終了する。

以上に説明してきたように、この不審者検出装置は、監視カメラにより得られる時系列の一連の画像に基づいて、不審者検出装置が設置された店舗内の人物を追跡する。そしてこの不審者検出装置は、その人物が移動方向以外にある何れかの注視位置へ一定時間以上顔を向けているか否かにより、その人物が不審者であるか否か判定する。そのため、この不審者検出装置は、予め、追跡中の人物を不審者と判定するための顔の向きを設定できない場合でも、追跡中の人物が不審者か否かを適切に判定できる。

なお、変形例によれば、時間長閾値は、予め設定される固定値であってもよい。この場合には、時間長閾値は、予めメモリ５に保存され、不審者判定部１５は、メモリ５から時間長閾値を読み込んで使用すればよい。この場合には、判定条件設定部１４は省略されてもよい。
この変形例によれば、時間長閾値の設定に要する演算が削減されるので、プロセッサ７の処理負荷が軽減される。

さらに、上記の実施形態または変形例による不審者検出装置のプロセッサが有する各部の機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読取り可能な記録媒体に記憶された形で提供されてもよい。なお、コンピュータによって読取り可能な記録媒体は、例えば、磁気記録媒体、光記録媒体、又は半導体メモリとすることができる。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

１ 不審者検出装置
２ 監視カメラ
３ 通信インターフェース
４ ユーザインターフェース
５ メモリ
６ 記憶媒体アクセス装置
７ プロセッサ
８ 記憶媒体
１１ 人物検出部
１２ 顔向き推定部
１３ 移動方向推定部
１４ 判定条件設定部
１５ 不審者判定部

Claims (8)

1. 撮像部により得られた時系列の複数の画像のそれぞれから人物が表された人物領域を検出する人物検出部と、
   前記複数の画像のそれぞれから検出された前記人物領域に表された前記人物の顔の向きを推定する顔向き推定部と、
   前記複数の画像のそれぞれにおける前記人物領域に基づいて前記人物を追跡することで、前記人物の移動方向を推定する移動方向推定部と、
   前記複数の画像のそれぞれにおける前記人物の顔の向きから、前記人物の顔が前記人物の前記移動方向以外にある注視位置を向いている注視時間が時間長閾値以上となる場合に前記人物を不審者と判定する不審者判定部と、
   前記複数の画像のそれぞれについての当該画像上の前記人物領域の位置に対応する実空間上の前記人物の位置から算出される前記人物の移動速度が速くなるほど、前記時間長閾値を小さくする閾値設定部と、
   を有する不審者検出装置。
2. 撮像部により得られた時系列の複数の画像のそれぞれから人物が表された人物領域を検出する人物検出部と、
   前記複数の画像のそれぞれから検出された前記人物領域に表された前記人物の顔の向きを推定する顔向き推定部と、
   前記複数の画像のそれぞれにおける前記人物領域に基づいて前記人物を追跡することで、前記人物の移動方向を推定する移動方向推定部と、
   前記複数の画像のそれぞれにおける前記人物の顔の向きから、前記人物の顔が前記人物の前記移動方向以外にある注視位置を向いている注視時間が時間長閾値以上となる場合に前記人物を不審者と判定する不審者判定部と、を有し、
   前記不審者判定部は、前記複数の画像のそれぞれについて、当該画像上の前記人物領域の位置に対応する実空間上の前記人物の位置と、当該画像から推定された前記人物の顔の向きとから実空間における顔の向きを表す直線を求め、前記複数の画像のうちの前記顔の向きが前記移動方向以外を向く二つの画像を含む組ごとに、当該組に含まれる二つの画像のそれぞれについての前記直線の交点を求め、前記交点同士の距離が所定距離以下となる前記交点の集合で表される位置を前記注視位置とする、不審者検出装置。
3. 前記不審者判定部は、前記集合に含まれる何れかの前記交点を形成する前記直線の数に応じて前記注視時間を算出する、請求項２に記載の不審者検出装置。
4. 前記不審者判定部は、前記複数の画像のうち、時間的に連続し、かつ、前記顔の向きが前記移動方向以外を向く二つの画像の組ごとに前記交点を算出し、前記組のそれぞれのうち、当該組の前記交点と基準点間の距離が前記所定距離以下となる組が連続する期間を前記注視時間として算出する、請求項２に記載の不審者検出装置。
5. 前記不審者判定部は、前記基準点を前記組のうちの時間的に最初の前記組についての前記交点とする、請求項４に記載の不審者検出装置。
6. 前記複数の画像のそれぞれについての当該画像上の前記人物領域の位置に対応する実空間上の前記人物の位置から算出される前記人物の移動速度が速くなるほど、前記時間長閾値を小さくする閾値設定部をさらに有する、
   請求項２～５の何れか一項に記載の不審者検出装置。
7. 撮像部により得られた時系列の複数の画像のそれぞれから人物が表された人物領域を検出し、
   前記複数の画像のそれぞれから検出された前記人物領域に表された前記人物の顔の向きを推定し、
   前記複数の画像のそれぞれにおける前記人物領域に基づいて前記人物を追跡することで、前記人物の移動方向を推定し、
   前記複数の画像のそれぞれにおける前記人物の顔の向きから、前記人物の顔が前記人物の前記移動方向以外にある注視位置を向いている注視時間が時間長閾値以上となる場合に前記人物を不審者と判定し、
   前記複数の画像のそれぞれについての当該画像上の前記人物領域の位置に対応する実空間上の前記人物の位置から算出される前記人物の移動速度が速くなるほど、前記時間長閾値を小さくする、
   ことを含む不審者検出方法。
8. 撮像部により得られた時系列の複数の画像のそれぞれから人物が表された人物領域を検出し、
   前記複数の画像のそれぞれから検出された前記人物領域に表された前記人物の顔の向きを推定し、
   前記複数の画像のそれぞれにおける前記人物領域に基づいて前記人物を追跡することで、前記人物の移動方向を推定し、
   前記複数の画像のそれぞれにおける前記人物の顔の向きから、前記人物の顔が前記人物の前記移動方向以外にある注視位置を向いている注視時間が時間長閾値以上となる場合に前記人物を不審者と判定し、
   前記複数の画像のそれぞれについての当該画像上の前記人物領域の位置に対応する実空間上の前記人物の位置から算出される前記人物の移動速度が速くなるほど、前記時間長閾値を小さくする、
   ことをコンピュータに実行させるための不審者検出用コンピュータプログラム。

Images