JPWO2018008575A1

JPWO2018008575A1 - 不審者検出装置、不審者検出方法およびプログラム

Info

Publication number: JPWO2018008575A1
Application number: JP2018526352A
Authority: JP
Inventors: 厚志守谷
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2016-07-05
Filing date: 2017-07-03
Publication date: 2019-04-25
Anticipated expiration: 2037-07-03
Also published as: WO2018008575A1; US11017218B2; JP7031588B2; US20190163966A1

Abstract

本発明は、誤検出を低減して高精度に画像から不審者を検出することが可能な技術を提供する。本発明の一実施形態に係る不審者検出装置は、対象者の視線方向を検出する視線方向検出部と、対象者の顔方向を検出する顔方向検出部と、対象者の周囲の物の配置を示す環境情報を取得する環境情報取得部と、顔方向、視線方向および環境情報に基づいて、対象者が不審な行動を行っているか否かを判定する判定部と、を備える。

Description

本発明は、画像から不審者を検出する装置、方法およびプログラムに関する。

小売業界や物流業界において、客または従業員による盗難等の不正行為によって商品が失われること、すなわち不明ロスの発生が問題となっている。従来では商品棚等の周囲に監視カメラを設置し、撮像された画像を確認することによって、不正行為を事後的に追及することができた。しかしながら、事件の発生後に追及するためには大きな労力および危険が発生するおそれがある。そのため、事件の発生前に不審な行動を行っている客または従業員（不審者）を検出し、不審者への声掛け等の予防措置を取ることが望ましい。

ところで、情報処理技術の発展および監視カメラの高解像度化に伴い、監視カメラによって撮像された画像から人を検出し、さらにその人の顔の方向や視線の方向を推定することが可能になってきた。このような技術の応用として、画像から自動的に不審者を検出する技術の開発が進んでいる。

特許文献１に記載の技術は、画像から人の顔方向および視線方向を取得した後、視線の分散値や移動量に基づいて、あるいは顔方向と視線方向との間に大きな角度差が発生する行動に基づいて、不審者を検出する。

特開２００７−６４２７号公報

しかしながら、特許文献１に記載の技術では、検出対象の人の顔方向および視線方向にのみ基づいて不審者の検出を行っている。そのため、人の周囲の環境を考慮することができず、環境との関係によれば正常な行動を行っている人を不審者と判定する、あるいは逆に正常でない行動を行っている人を不審者ではないと判定する誤検出が発生する場合がある。

本発明は、上述の問題に鑑みて行われたものであって、誤検出を低減して高精度に画像から不審者を検出することが可能な技術を提供することを目的とする。

本発明の第１の態様は、不審者検出装置であって、対象者の視線方向を検出する視線方向検出部と、前記対象者の顔方向を検出する顔方向検出部と、前記対象者の周囲の物の配置を示す環境情報を取得する環境情報取得部と、前記顔方向、前記視線方向および前記環境情報に基づいて、前記対象者が不審な行動を行っているか否か判定する判定部と、を備える。

本発明の第２の態様は、不審者検出方法であって、対象者の視線方向を検出する工程と、前記対象者の顔方向を検出する工程と、前記対象者の周囲の物の配置を示す環境情報を取得する工程と、前記顔方向、前記視線方向および前記環境情報に基づいて、前記対象者が不審な行動を行っているか否か判定する工程と、を備える。

本発明の第３の態様は、プログラムであって、コンピュータに、対象者の視線方向を検出する工程と、前記対象者の顔方向を検出する工程と、前記対象者の周囲の物の配置を示す環境情報を取得する工程と、前記顔方向、前記視線方向および前記環境情報に基づいて、前記対象者が不審な行動を行っているか否か判定する工程と、を実行させる。

本発明によれば、対象者の視線方向および顔方向に加えて、対象者の周囲の物の配置を示す環境情報に基づいて不審な行動を判定するため、誤検出を低減して高精度に不審者の検出を行うことができる。

第１の実施形態に係る不審者検出システムの模式図である。第１の実施形態に係る不審者検出システムの概略構成図である。検出対象者の周囲の環境を示す模式図である。検出対象者の周囲の環境を示す模式図である。検出対象者の顔の模式図である。検出対象者の顔の模式図である。検出対象者の顔の模式図である。検出対象者の顔の模式図である。検出対象者の顔の模式図である。検出対象者の顔の模式図である。第１の実施形態に係る不審者検出装置のブロック図である。第１の実施形態に係る例示的な検出結果の模式図である。第１の実施形態に係る検出結果の通知を表示しているディスプレイの前面図である。第１の実施形態に係る検出結果の通知を表示しているディスプレイの前面図である。第１の実施形態に係る検出結果の通知を表示している携帯端末の前面図である。第１の実施形態に係る検索された検出結果を表示しているディスプレイの前面図である。第１の実施形態に係る不審者検出方法のフローチャートを示す図である。第１の実施形態に係る不審者判定処理のフローチャートを示す図である。検出対象者の移動方向を示す模式図である。検出対象者の移動方向を示す模式図である。第２の実施形態に係る不審者検出装置のブロック図である。各実施形態に係る不審者検出装置の概略構成図である。

以下、図面を参照して、本発明の実施形態を説明するが、本発明は本実施形態に限定されるものではない。なお、以下で説明する図面で、同機能を有するものは同一符号を付け、その繰り返しの説明は省略することもある。

（第１の実施形態）
図１は、本実施形態に係る不審者検出システム１００の模式図である。不審者検出システム１００は、不審者検出装置１１０と、携帯端末１３０と、監視カメラ録画装置１５０とを備える。不審者検出装置１１０と監視カメラ録画装置１５０とは、インターネット等のネットワーク１９０を介して、有線接続または無線接続によって接続される。不審者検出装置１１０と携帯端末１３０とは、無線ＬＡＮ（Local Area Network）、移動体通信等の無線接続によって接続される。監視カメラ録画装置１５０は、１つ以上のカメラ１５１からの画像を記録する装置である。不審者検出装置１１０は、監視カメラ録画装置１５０によって記録された画像から不審者の検出を行い、またディスプレイ１１１に検出結果を表示する装置である。携帯端末１３０は、持ち運び可能であり、不審者検出装置１１０からの通知を表示する通信端末である。不審者検出システム１００は、その他のサーバ、端末等の機器を含んでよい。

図２は、本実施形態に係る不審者検出システム１００の概略構成図である。不審者検出装置１１０、携帯端末１３０、および監視カメラ録画装置１５０は、それぞれ単一の装置により構成されてよく、あるいは有線または無線で接続された２つ以上の物理的に分離された装置により構成されてよい。例えば、不審者検出装置１１０および監視カメラ録画装置１５０は、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、組み込みシステム等である。例えば、携帯端末１３０は、パーソナルデジタルアシスタント、携帯電話、スマートフォン等の任意の通信端末である。不審者検出装置１１０、携帯端末１３０、および監視カメラ録画装置１５０の具体的なハードウェア構成は、以下の構成に限定されるものではなく、様々な種類、形態のものであってよい。

不審者検出装置１１０および監視カメラ録画装置１５０は共通の構成を備える。不審者検出装置１１０および監視カメラ録画装置１５０は、プロセッサ１１２と、メモリ１１３と、記憶装置１１４とを有している。また、不審者検出装置１１０および監視カメラ録画装置１５０は、高速インターフェースを含む高速コントローラ１１５、および低速インターフェースを含む低速コントローラ１１７を有している。高速コントローラ１１５には、メモリ１１３および高速拡張ポート１１６が接続されている。また、高速コントローラ１１５には、ディスプレイ１１１等の表示装置が接続されている。一方、低速コントローラ１１７には、低速拡張ポート１１８および記憶装置１１４が接続されている。

プロセッサ１１２、メモリ１１３、記憶装置１１４、高速コントローラ１１５、低速コントローラ１１７、および高速拡張ポート１１６は、種々のバスにより相互に接続されている。また、プロセッサ１１２、メモリ１１３、記憶装置１１４、高速コントローラ１１５、低速コントローラ１１７、および高速拡張ポート１１６は、共通のマザーボード上に実装することもできるし、また、他の形態で適宜実装することもできる。

プロセッサ１１２は、例えばＣＰＵ（Central Processing Unit）であり、不審者検出装置１１０および監視カメラ録画装置１５０内で実行する命令を処理することができる。そのような命令には、ディスプレイ１１１等の表示装置上にＧＵＩ（Graphical User Interface）のグラフィック情報を表示するための、メモリ１１３内または記憶装置１１４内に格納された命令が含まれる。

また、複数のプロセッサ、複数のバス、または複数のプロセッサおよび複数のバスを、複数のメモリおよび複数のタイプのメモリとともに適宜使用することができる。また、複数の不審者検出装置１１０または複数の監視カメラ録画装置１５０を、必要な処理の一部を行う各装置と接続することができる。例えば、複数の不審者検出装置１１０または複数の監視カメラ録画装置１５０を、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして互いに接続することができる。

メモリ１１３は、不審者検出装置１１０および監視カメラ録画装置１５０内の情報を格納する。例えば、メモリ１１３は、揮発性メモリユニット、不揮発性メモリユニット、またはそれらの組み合わせである。メモリ１１３は、他のコンピュータ読み取り可能な記録媒体であってよく、例えば、磁気ディスク、光ディスク等であってよい。

記憶装置１１４は、不審者検出装置１１０および監視カメラ録画装置１５０用のマスストレージを構成することができる。記憶装置１１４は、例えば、フロッピー（登録商標）ディスク装置、ハードディスク装置、光ディスク装置、テープ装置、フラッシュメモリその他のソリッドステートメモリ装置、ディスクアレイ等のコンピュータ読み取り可能な記録媒体であるか、またはそのようなコンピュータ読み取り可能な記録媒体を含む。記憶装置１１４は、ストレージエリアネットワーク、他の構成の装置でもよい。

高速コントローラ１１５は、不審者検出装置１１０および監視カメラ録画装置１５０に対する帯域幅を集中的に使用する処理を管理する。一方、低速コントローラ１１７は、帯域幅を集中的に使用する程度の低い処理を管理する。ただし、このような機能の割り振りは、例示的なものにすぎず、これに限定されるものではない。また、高速コントローラ１１５の一部または全部は、プロセッサ１１２に内蔵されていてもよい。

高速コントローラ１１５は、メモリ１１３、および種々の拡張カードを受け入れることができる高速拡張ポート１１６に接続されている。また、高速コントローラ１１５は、例えばグラフィックスプロセッサまたはアクセラレータを介して、ディスプレイ１１１に接続されている。

低速コントローラ１１７は、記憶装置１１４および低速拡張ポート１１８に接続されている。低速拡張ポート１１８は、例えば、ＵＳＢ（Universal Serial Bus）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、有線または無線のイーサネット（登録商標）等の種々の規格の通信ポートを含むことができる。低速拡張ポート１１８には、キーボード、ポインティングデバイス、スキャナ等の一または複数の入力装置１１９が接続される。さらに、特に監視カメラ録画装置１５０においては、低速拡張ポート１１８には、一または複数のカメラ１５１が接続される。また、低速拡張ポート１１８には、例えば、ネットワークアダプタを介して、スイッチ、ルータ等の一または複数のネットワーク機器を接続することができる。すなわち、低速拡張ポート１１８は、通信インターフェースとして機能する。

不審者検出装置１１０および監視カメラ録画装置１５０は、上述の形態に限られず、数多くの異なる形態で実施することができる。例えば、不審者検出装置１１０および監視カメラ録画装置１５０は、標準的なサーバ、またはそのようなサーバのグループの形態の複数台で実施することができる。また、不審者検出装置１１０および監視カメラ録画装置１５０は、ラックサーバシステムの一部としても実施することもできる。さらに、不審者検出装置１１０および監視カメラ録画装置１５０は、ラップトップ型コンピュータ、デスクトップ型コンピュータ等のパーソナルコンピュータの形態で実施することができる。また、不審者検出装置１１０および監視カメラ録画装置１５０を組み合わせて１つの装置として実装することができる。

なお、不審者検出装置１１０および監視カメラ録画装置１５０のプロセッサ１１２に実行させるプログラムの一部または全部は、これを記録したＤＶＤ−ＲＯＭ（Digital Versatile Disc-Read Only Memory）、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＵＳＢメモリその他のフラッシュメモリ等のコンピュータ読み取り可能な記録媒体により提供することができる。

携帯端末１３０は、プロセッサ１３１、メモリ１３２、ディスプレイ１３３、通信インターフェース１３４、カメラ１３５、および電子コンパス１３６を備える。携帯端末１３０は、追加のストレージとしてマイクロドライブ、フラッシュメモリ等の記憶装置を備えてよい。携帯端末１３０の各構成要素は、種々のバスを使用して相互接続される。携帯端末１３０の構成要素の少なくとも一部は共通のマザーボード上に取り付けられてよく、あるいは他の方法で取り付けられてよい。

プロセッサ１３１は、メモリ１３２内に格納されている命令等、携帯端末１３０内の命令を実行することができる。プロセッサ１３１は、１つまたは複数のアナログまたはデジタルプロセッサを備えるチップまたはチップセットとして実装されてよい。プロセッサ１３１は、携帯端末１３０の他の構成要素を制御し、例えばユーザインターフェースの表示、アプリケーションの実行、無線通信等を行う。

プロセッサ１３１は、ディスプレイ１３３に接続されている表示インターフェース１３９および入力インターフェース１４０を通じて、ユーザに対して情報の入出力を行うことができる。ディスプレイ１３３としては、例えば液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の任意の表示部を用いてよい。表示インターフェース１３９は、画像および他の情報をユーザに提示するようにディスプレイ１３３を駆動するために必要な回路を備える。また、ディスプレイ１３３はタッチパネルとして構成されており、ユーザによる操作を電気信号として出力する。入力インターフェース１４０は、ディスプレイ１３３上のユーザの操作を示す電気信号を受け取り、それらをプロセッサ１３１に送るために変換する。

メモリ１３２は、携帯端末１３０内の情報を格納する。メモリ１３２は、例えば、コンピュータ読み取り可能な記録媒体、揮発性メモリユニット、不揮発性メモリユニットまたはそれらの組み合わせである。メモリ１３２としては、例えば、フラッシュメモリ、ＮＶＲＡＭ（Non-Volatile Random Access Memory）等を用いてよい。

カメラ１３５は、撮像結果の画像をデジタルデータとして出力する撮像部である。カメラ１３５として、ＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等の任意の撮像装置を用いてよい。カメラ１３５は、撮像に必要な撮像素子、電気回路、レンズ等を含む。

電子コンパス１３６は、携帯端末１３０の向きを取得する向き取得部である。電子コンパス１３６として、地磁気センサ等の携帯端末１３０の向きを取得可能な任意の装置を用いてよい。

通信インターフェース１３４は、ＧＰＳ（Global Positioning System）受信機１３７および移動体通信機１３８に接続される。移動体通信機１３８は、ＧＳＭ（Global System for Mobile communications）（登録商標）方式等の音声通信、ＳＭＳ（Short Message Service）等のメッセージング、およびＣＤＭＡ（Code Division Multiple Access）方式等のデータ通信を含む、任意のモードまたはプロトコルを用いて移動体通信を行う。移動体通信機１３８は、移動体通信に必要なプロセッサ、電気回路、アンテナ等を含む。

携帯端末１３０は、音声インターフェース１４１を使用して音声で通信することができる。音声インターフェース１４１は、マイクおよびスピーカに接続される。音声インターフェース１４１は、マイクを通じてユーザから発話情報を受け取り、それをプロセッサ１３１が処理可能なデジタル情報に変換する。また、音声インターフェース１４１は、例えば、スピーカを通じてユーザに向けて可聴音を発生させることができる。音声インターフェース１４１が出力する音声は、音声通話からの音声、メモリ１３２に記録された音声(例えば、音声メッセージ、音楽ファイル等)、または携帯端末１３０上で動作するアプリケーションによって生成される音声を含む。

携帯端末１３０には、拡張インターフェース１４２および外部インターフェース１４３が設けられる。拡張インターフェース１４２には、例えば拡張メモリが接続される。拡張メモリは、携帯端末１３０に対する付加的なストレージとして機能し、携帯端末１３０で動作するプログラムまたは他の情報を格納してよい。また、拡張メモリはセキュア情報を格納してよく、その場合にはセキュリティモジュールとして機能する。

外部インターフェース１４３は、プロセッサ１３１と通信するように構成され、有線通信または無線通信を行うことができる。外部インターフェース１４３は、例えば携帯端末１３０と他のデバイスとの間でＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離通信や無線ＬＡＮ等の無線通信を行う。外部インターフェース１４３として、複数のインターフェースが組み合わせて用いられてもよい。

図３Ａ、３Ｂは、本実施形態において不審者検出の対象者Ａの周囲の環境を示す模式図である。図３Ａ、３Ｂは、対象者Ａおよび商品棚Ｃを重力方向の上方から見た状態を示す。一般的に商品棚Ｃの横には通路が配置されているため、通路に沿った方向を通路方向Ｄとし、商品棚Ｃに向かう方向を商品方向Ｅとすることができる。通路方向Ｄおよび商品方向Ｅは、商品棚Ｃおよび通路の形状に応じて任意に定められる。

対象者Ａは、視線方向に沿って視認可能な範囲である視野Ｂを有する。通常の行動として、対象者Ａが目的の商品がある商品棚Ｃまで移動している際には、対象者Ａは図３Ａのように通路方向Ｄに視野Ｂを向ける。別の通常の行動として、対象者Ａが目的の商品がある商品棚Ｃを見ている際には、対象者Ａは図３Ｂのように商品方向Ｅに視野Ｂを向ける。本実施形態に係る不審者検出システム１００はこれらの行動を通常の行動とし、これらと異なる行動を不審な行動として検出する。

図３Ａ、３Ｂにおいては小売業界において商品を陳列するための商品棚Ｃが示されているが、物流業界においては商品を運搬するためのベルトコンベアやカーゴが商品棚Ｃに対応する。この場合にはベルトコンベアやカーゴの方向が商品方向Ｅであり、従業員が通路方向Ｄを確認しながら商品の盗難を行うことが考えられる。

図４は、通常の行動を行っている対象者Ａの顔Ｆの模式図である。また、図５Ａ〜５Ｃおよび図６Ａ〜６Ｂは、不審な行動を行っている対象者Ａの顔Ｆの模式図である。対象者Ａの視線の向きを視線方向Ｇとし、対象者Ａの顔Ｆの向きを顔方向Ｈとする。図４、図５Ａ〜５Ｃおよび図６Ａ〜６Ｂにおいて、矢印によって視線方向Ｇおよび顔方向Ｈを表す。図４に示すように、通常の行動において、視線方向Ｇおよび顔方向Ｈはほぼ一致する。

不審な行動の例として、図５Ａは、視線方向Ｇと顔方向Ｈとが乖離している状態を示す。通常、対象者Ａが商品を見る際には、顔を動かして視線を商品に向けることが多い。それに対して、対象者Ａが商品を盗もうとしている際には、周囲の状況を確認することが多い。その際には他の人に怪しまれないよう、商品の方を向いたまま視線だけを動かして周囲の状況を確認することがある。そのため、不審者の検出に、図５Ａのように視線方向Ｇと顔方向Ｈとが大きく異なった乖離状態にあるかどうかを用いることができる。

別の不審な行動の例として、図５Ｂ、図６Ａは、顔方向Ｈを大きくかつ頻繁に動かす状態を示す。図５Ｂでは対象者Ａが顔方向Ｈを左右方向に動かしており、図６Ａでは対象者Ａが顔方向Ｈを上下方向に動かしている。対象者Ａが商品を盗もうとしている際には、顔をきょろきょろと動かして周囲を確認することがある。そのため、不審者の検出に、図５Ｂ、図６Ａのように顔を大きくかつ頻繁に動かす顔振り状態にあるかどうかを用いることができる。

別の不審な行動の例として、図５Ｃ、図６Ｂは、視線方向Ｇを大きくかつ頻繁に動かす状態を示す。図５Ｃでは対象者Ａが視線方向Ｇを左右方向に動かしており、図６Ｂでは対象者Ａが視線方向Ｇを上下方向に動かしている。対象者Ａが商品を盗もうとしている際には、視線をきょろきょろと動かして周囲を確認することがある。そのため、不審者の検出に、図５Ｃ、図６Ｂのように視線を大きくかつ頻繁に動かす視線振り状態にあるかどうかを用いることができる。

なお、必ずしも不審者だけが図５Ａ〜５Ｃ、図６Ａ〜６Ｂに示す行動を行うわけではなく、通常の客または従業員がこれらの行動を行う場合がある。そのため、本実施形態に係る不審者検出システム１００は、後述するように図５Ａ〜５Ｃ、図６Ａ〜６Ｂに示すような対象者の行動に加えて、対象者の周囲の環境情報を用いた所定の基準に基づいて不審者の判定を行う。

図７は、本実施形態に係る不審者検出装置１１０のブロック図である。図７において、ブロック間の線は主なデータの流れを示しており、図７に示したもの以外のデータの流れがあってよい。図７において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。

不審者検出装置１１０は、検出結果記憶部１１０１、画像処理部１１０２、顔領域抽出部１１０３、視線方向検出部１１０４、顔方向検出部１１０５、環境情報取得部１１０６、不審者判定部１１０７、結果通知部１１０８、結果検索部１１０９、および結果表示部１１１０を備える。不審者検出装置１１０において、画像処理部１１０２、顔領域抽出部１１０３、視線方向検出部１１０４、顔方向検出部１１０５、環境情報取得部１１０６、不審者判定部１１０７、結果通知部１１０８、結果検索部１１０９、および結果表示部１１１０は、それぞれプロセッサ１１２が実行可能なプログラムとしてメモリ１１３に記憶されている。すなわち、本実施形態に係る不審者検出方法の実行時に、プロセッサ１１２は画像処理部１１０２、顔領域抽出部１１０３、視線方向検出部１１０４、顔方向検出部１１０５、環境情報取得部１１０６、不審者判定部１１０７、結果通知部１１０８、結果検索部１１０９、および結果表示部１１１０として機能する。これらの機能の少なくとも一部は、プログラムではなく電気回路として実装されてもよい。また、検出結果記憶部１１０１は、メモリ１１３または記憶装置１１４の一部である。すなわち、本実施形態に係る不審者検出方法の実行時に、メモリ１１３または記憶装置１１４は検出結果記憶部１１０１として機能する。

画像処理部１１０２は、監視カメラ録画装置１５０に記録された動画ファイルである画像を取得し、静止画ファイルである画像に分割する。具体的には、画像処理部１１０２は、動画ファイルをフレーム毎に分割することによって、静止画ファイルである画像を生成する。画像処理部１１０２は、監視カメラ録画装置１５０が記録中の動画ファイルを所定の時間毎（例えば１秒毎）に随時取得してよく、あるいは監視カメラ録画装置１５０が記録を終了した動画ファイルをまとめて取得してよい。さらに、画像処理部１１０２は、画像に対してノイズ除去、明るさ調整、コントラスト調整等の任意の画像処理を行ってよい。画像処理部１１０２は、取得した画像をメモリ１１３または記憶装置１１４上に保持する。

以降の処理は、コンピュータの処理速度および求められる精度に応じて、全てのフレームの画像に対して行われてよく、あるいは所定の数毎に間引かれたフレームの画像に対して行われてよい。また、以降の処理では、静止画ファイルである画像を生成せず、動画ファイルである画像をそのまま用いてもよい。その場合には、動画ファイル中の各フレームを１つの画像とみなして、後の顔領域抽出、視線方向検出、顔方向検出、環境情報取得および不審者判定を行う。

顔領域抽出部１１０３は、画像処理部１１０２によって取得された画像から、任意の方法によって人の顔を含む領域を抽出する。例えば、顔領域抽出部１１０３は、画像処理部１１０２によって取得された画像の各画素の輝度を取得し、互いに隣接する輝度が所定の閾値より大きい画素の集合を顔領域と判定する。顔領域抽出部１１０３は、抽出した顔領域の位置（例えば顔領域の左端、右端、上端、下端の座標）をメモリ１１３または記憶装置１１４上に保持する。顔領域の抽出は、ここに示したものに限られず、画像中から人の顔を含む領域を抽出可能な任意の方法により行われてよい。１つの画像から２つ以上の顔領域が抽出された場合には、それぞれの顔領域について後の視線方向検出、顔方向検出および不審者判定を行う。

顔領域抽出部１１０３は、各顔領域に、その顔領域に写っている人を追跡するための識別子である追跡ＩＤを付与する。処理対象のフレームの画像において、前のフレームの画像で抽出された顔領域の位置の近くに顔領域が検出された場合に、顔領域抽出部１１０３はそれらの顔領域に同じ追跡ＩＤを付与する。前のフレームの画像に対応する顔領域が存在しない場合に、顔領域抽出部１１０３は処理対象のフレームの画像の顔領域に新たな追跡ＩＤを付与する。これにより、ある人の顔が検出されてから検出されなくなるまで、同じ人が含まれると思われる顔領域を時系列で追跡し、スコアの蓄積を行うことができる。

追跡ＩＤを生成するために、顔領域抽出部１１０３は任意の顔認識技術を用いて顔領域に写っている人の認識を行ってもよい。すなわち顔領域抽出部１１０３は、顔認識技術を用いて特定した同じ人が写っている顔領域に同じ追跡ＩＤを付与する。これにより、ある人の顔が検出されなくなった後に、同じ人の顔が再び検出された場合にも、追跡を続行することができる。

視線方向検出部１１０４は、顔領域抽出部１１０３によって抽出された顔領域から、任意の方法によって視線方向を抽出する。例えば、視線方向検出部１１０４は、顔領域抽出部１１０３によって抽出された顔領域から、テンプレートマッチングによって左右の目の瞳孔の位置を取得する。そして、視線方向検出部１１０４は、左右の目のそれぞれについて、人の顔上の所定の基準点からの瞳孔の相対的な位置に基づいて、視線の方向を算出する。所定の基準点は、例えば角膜上での光の反射点であるプルキンエ像の位置や、目頭の位置等である。視線方向検出部１１０４は、予め記録された所定の基準点からの瞳孔の相対的な位置と視線方向との関係を示すテーブルに基づき、顔領域における所定の基準点からの瞳孔の相対的な位置を用いて視線方向を算出する。瞳孔の相対的な位置と視線方向との関係を示すテーブルは、予め実験やシミュレーションによって決定される。視線方向検出部１１０４は、検出した視線方向をメモリ１１３または記憶装置１１４上に保持する。視線方向の検出は、ここに示したものに限られず、画像中から対象者の視線の方向を検出可能な任意の方法により行われてよい。

顔方向検出部１１０５は、顔領域抽出部１１０３によって抽出された顔領域から、任意の方法によって顔方向を抽出する。例えば、顔方向検出部１１０５は、顔領域抽出部１１０３によって抽出された顔領域から、テンプレートマッチングによって左右の目の位置および鼻の位置を取得する。そして、顔方向検出部１１０５は、左右の目の位置の中点と鼻の位置とを結ぶ線を顔の中心線とし、該中心線から顔領域の左端までの距離と該中心線から顔領域の右端までの距離との比率を求める。そして、顔方向検出部１１０５は、予め記録された左右の比率と顔方向との関係を示すテーブルに基づき、顔領域における左右の比率を用いて左右方向の顔方向を算出する。左右の比率と顔方向との関係を示すテーブルは、予め実験やシミュレーションによって決定される。同様に、顔方向検出部１１０５は、顔の構成部分の位置を用いて上下方向の顔方向を算出する。例えば、左右の目の位置を結ぶ線を顔の水平線とし、該水平線から顔領域の上端までの距離と該水平線から顔領域の下端までの距離との比率を求める。そして、顔方向検出部１１０５は、予め記録された上下の比率と顔方向との関係を示すテーブルに基づき、顔領域における上下の比率を用いて上下方向の顔方向を算出する。顔方向検出部１１０５は、検出した顔方向をメモリ１１３または記憶装置１１４上に保持する。顔方向の検出は、ここに示したものに限られず、画像中から対象者の顔の方向を検出可能な任意の方法により行われてよい。

環境情報取得部１１０６は、顔領域抽出部１１０３によって抽出された顔領域の周囲の環境情報を取得する。本実施形態において環境情報は、顔領域に含まれる人の周囲における物の配置を示す情報、すなわち人以外の物の存在する領域または位置を示す情報である。例えば、小売業界においては、環境情報は図３Ａ、３Ｂのように商品を陳列するための商品棚Ｃが存在する領域または位置を示す情報である。また、物流業界においては、環境情報は商品を運搬するためのベルトコンベヤやカーゴが存在する領域または位置を示す情報である。

環境情報取得部１１０６は、画像処理部１１０２によって取得された画像から環境情報を自動的に検出してよい。通常、人の周囲に配置された物は動かない。そのため、環境情報取得部１１０６は、１つのカメラによって撮像された画像の中で、背景を除いて所定の時間以上動いていない領域を環境情報として取得してよい。背景は所定の色を有する領域として識別できる。また、環境情報取得部１１０６は、テンプレートマッチング等を用いた物体認識技術によって画像中の人以外の物を認識し、該物の写っている領域を環境情報として取得してよい。

別の方法として、環境情報取得部１１０６は、記憶装置１１４に予め記録された指定された領域を環境情報として取得してよい。この場合には、１つのカメラについて撮像される画像の中で人以外の物とみなすべき領域の範囲が入力装置１１９によって指定され、記憶装置１１４に予め記録される。そして、環境情報取得部１１０６は、記憶装置１１４から画像の中で物とみなすべき領域の範囲を読み出して環境情報として取得する。

さらに別の方法として、環境情報取得部１１０６は、記憶装置１１４に予め記録された物の配置の地図（すなわち位置の集合）を環境情報として取得してよい。この場合には、少なくともカメラによって撮像される範囲における物の配置を含む地図が予め記憶装置１１４に記録される。そして、環境情報取得部１１０６は、記憶装置１１４から物の配置を示す地図を読み出して環境情報として取得する。対象者以外の物の配置を示す環境情報を取得する方法として、ここに示したものに限られず、任意の方法を用いてよい。

不審者判定部１１０７は、視線方向検出部１１０４および顔方向検出部１１０５により検出された視線方向および顔方向、ならびに環境情報取得部１１０６により取得された環境情報に基づいて不審者の判定を行う。不審者判定部１１０７は、判定対象の顔領域の視線方向および顔方向ならびに環境情報に基づいて３種類の判定を行い、その判定に基づいたスコアの蓄積を行う。スコアは判定対象の顔領域の不審さの度合いを表す値であり、結果通知部１１０８は以下の判定の結果に応じてスコアを変動させる。本実施形態では、スコアが高いほど不審であるように設定されており、結果通知部１１０８による判定結果が不審な行動を示す場合にはスコアに所定の値が加算される。逆にスコアが低いほど不審であるように設定し、結果通知部１１０８による判定結果が不審な行動を示す場合にはスコアから所定の値を減算してもよい。

（乖離判定）
不審者判定部１１０７は、図５Ａのように視線方向Ｇと顔方向Ｈとの差が所定の閾値より大きい場合であって、顔方向Ｈが人以外の物に向いている場合に、判定対象の顔領域が乖離状態であると判定する。具体的には、まず不審者判定部１１０７は、顔方向Ｈが環境情報取得部１１０６により取得された環境情報により示される少なくとも１つの物の方（すなわち、物の位置）に向いているか否かを判定する。人が物の方に向いていることは、顔方向Ｈが、画像中で環境情報により示される物の領域に入射する角度により判定できる。すなわち、人の顔が物に完全に向いている場合には顔方向の物の領域への入射角が大きくなり、人の顔が物に全く向いていない場合には該入射角が小さくなる。そのため、顔方向Ｈが物の領域に入射する角度が所定の値以上である場合に、物の方に向いていると判定される。不審者判定部１１０７は、視線方向Ｇと顔方向Ｈとの差として、顔領域のＸ方向に対する角度差（絶対値）とＹ方向に対する角度差（絶対値）とをそれぞれ求める。本実施形態では、Ｘ方向を顔領域が含まれる画像の水平方向（左右方向）とし、Ｙ方向を顔領域が含まれる画像の垂直方向（上下方向）とする。Ｘ方向およびＹ方向として、これに限られず、顔領域が含まれる画像中の異なる２つの方向を用いてよい。そして、Ｘ方向に対する角度差がＸ方向に対する閾値より大きい場合、またはＹ方向に対する角度差がＹ方向に対する閾値より大きい場合であって、顔方向Ｈが環境情報により示される物の方に向いている場合には、不審者判定部１１０７は判定対象の顔領域が乖離状態であると判定する。視線方向Ｇと顔方向Ｈとの差を判定するために、それらを顔領域のＸ方向およびＹ方向に分離せず、直接比較してよい。また、視線方向Ｇと顔方向Ｈとの差を定量的に判定可能な任意の方法を用いてよい。

不審者判定部１１０７は、判定対象の顔領域が乖離状態であると判定した場合に、該顔領域に付与された追跡ＩＤの蓄積スコアに所定の加算スコア値を加算する。蓄積スコアは、後述する結果通知部１１０８による通知を行う条件として用いられる。

不審者判定部１１０７は、複数の閾値毎に異なる加算スコア値を用いてよい。例えば、視線方向Ｇと顔方向Ｈとの差が第１の閾値より大きく第２の閾値以下の場合には第１の加算スコア値を用い、視線方向Ｇと顔方向Ｈとの差が第２の閾値より大きい場合には第２の加算スコア値を用いる。このような構成により、視線方向Ｇと顔方向Ｈとの差の大きさに応じて蓄積スコアを細かく制御し、通知を適切に行うことができる。

視線方向Ｇと顔方向Ｈとの差の閾値および加算スコア値として、それぞれ実験やシミュレーションによって予め定められた値を用いてよく、あるいは入力装置１１９によって入力された値を用いてよい。

（顔振り判定）
不審者判定部１１０７は、図５Ｂ、図６Ａのように顔方向Ｈを所定の基準を満たすように大きくかつ頻繁に動かしている場合であって、顔方向Ｈの動きの中心が人以外の物に向いている場合に、判定対象の顔領域が顔振り状態であると判定する。具体的には、不審者判定部１１０７は、所定の時間前から判定対象の顔領域の撮像時刻までの顔方向Ｈを取得する。次に、不審者判定部１１０７は、顔方向ＨのＸ方向に対する移動角度（絶対値）とＹ方向に対する移動角度（絶対値）とをそれぞれ時系列で求める。本実施形態では、Ｘ方向を顔領域が含まれる画像の水平方向（左右方向）とし、Ｙ方向を顔領域が含まれる画像の垂直方向（上下方向）とする。Ｘ方向およびＹ方向として、これに限られず、顔領域が含まれる画像中の異なる２つの方向を用いてよい。そして、不審者判定部１１０７は、Ｘ方向に対する移動角度がＸ方向に対する閾値より大きい移動、またはＹ方向に対する移動角度がＹ方向に対する閾値より大きい移動であって、その移動の中心が環境情報取得部１１０６により取得された環境情報により示される少なくとも１つの物の方に向いている移動が、所定の時間前から判定対象の顔領域の撮像時刻までに発生した回数を算出する。不審者判定部１１０７は、算出した回数が所定の閾値より大きい場合に、判定対象の顔領域が顔振り状態であると判定する。顔方向Ｈの動きを判定するために、顔方向Ｈの角度ではなく、顔領域上で顔方向Ｈを表す線の端の移動距離を用いてよい。また、顔方向Ｈの動きを定量的に判定可能な任意の方法を用いてよい。

不審者判定部１１０７は、判定対象の顔領域が顔振り状態であると判定した場合に、該顔領域に付与された追跡ＩＤの蓄積スコアに所定の加算スコア値を加算する。顔方向Ｈの移動角度の閾値、時間、回数および加算スコア値として、それぞれ実験やシミュレーションによって予め定められた値を用いてよく、あるいは入力装置１１９によって入力された値を用いてよい。

（視線振り判定）
不審者判定部１１０７は、図５Ｃ、図６Ｂのように視線方向Ｇを所定の基準を満たすように大きくかつ頻繁に動かしている場合であって、顔方向Ｈが人以外の物に向いている場合に、判定対象の顔領域が視線振り状態であると判定する。具体的には、まず不審者判定部１１０７は、顔方向Ｈが環境情報取得部１１０６により取得された環境情報により示される少なくとも１つの物の方に向いているか否かを判定する。不審者判定部１１０７は、所定の時間前から判定対象の顔領域の撮像時刻までの視線方向Ｇを取得する。次に、不審者判定部１１０７は、視線方向ＧのＸ方向に対する移動角度（絶対値）とＹ方向に対する移動角度（絶対値）とをそれぞれ時系列で求める。本実施形態では、Ｘ方向を顔領域が含まれる画像の水平方向（左右方向）とし、Ｙ方向を顔領域が含まれる画像の垂直方向（上下方向）とする。Ｘ方向およびＹ方向として、これに限られず、顔領域が含まれる画像中の異なる２つの方向を用いてよい。そして、不審者判定部１１０７は、顔方向Ｈが環境情報取得部１１０６により取得された環境情報により示される少なくとも１つの物の方に向いている状態における、Ｘ方向に対する移動角度がＸ方向に対する閾値より大きい移動、またはＹ方向に対する移動角度がＹ方向に対する閾値より大きい移動が、所定の時間前から判定対象の顔領域の撮像時刻までに発生した回数を算出する。不審者判定部１１０７は、算出した回数が所定の閾値より大きい場合に、判定対象の顔領域が視線振り状態であると判定する。視線方向Ｇの動きを判定するために、視線方向Ｇの角度ではなく、顔領域上で視線方向Ｇを表す線の移動距離を用いてよい。また、視線方向Ｇの動きを定量的に判定可能な任意の方法を用いてよい。

不審者判定部１１０７は、判定対象の顔領域が視線振り状態であると判定した場合に、該顔領域に付与された追跡ＩＤの蓄積スコアに所定の加算スコア値を加算する。視線方向Ｇの移動角度の閾値、時間、回数および加算スコア値として、それぞれ実験やシミュレーションによって予め定められた値を用いてよく、あるいは入力装置１１９によって入力された値を用いてよい。

不審者判定部１１０７は、乖離判定、顔振り判定および視線振り判定のうち全部または一部を行ってよい。また、不審者判定部１１０７は、視線方向、顔方向および環境情報に基づいて不審者の判定が可能なその他の判定を行ってよい。

不審者判定部１１０７が判定に用いる視線方向として、左右の目のそれぞれの視線方向の平均値を用いてよく、または左右の目のどちらか一方の視線方向を用いてよい。あるいは、不審者判定部１１０７は左右の目のそれぞれについて判定を行ってもよい。

このように、本実施形態に係る不審者検出装置１１０は、対象者の顔方向および視線方向に加えて、対象者の周囲における物の配置を示す環境情報に基づいて、不審な行動の判定を行う。これにより、顔方向および視線方向だけに基づいて判定を行うよりも、誤検出を低減し、高精度に不審者の判定を行うことができる。

不審者判定部１１０７は、顔領域抽出部１１０３、視線方向検出部１１０４および顔方向検出部１１０５から出力された情報とともに、判定した状態およびスコアを、検出結果として所定の形式で検出結果記憶部１１０１に記録する。図８は、検出結果記憶部１１０１に記録される例示的な検出結果１１０１ａの模式図である。検出結果１１０１ａは、一または複数のデータファイルとして記録されてよく、あるいは一または複数のデータベースとして記録されてよい。検出結果１１０１ａは、画像処理部１１０２により取得された画像の撮像時刻、撮像したカメラを識別するためのカメラＩＤ、顔領域抽出部１１０３により抽出された顔領域の位置およびその近傍を切り出した顔画像、該顔領域の対象者を追跡するための追跡ＩＤを含む。顔領域の位置は、顔の左端および右端のＸ座標、ならびに上端および下端のＹ座標により表される。

また、検出結果１１０１ａは、その時刻における視線方向検出部１１０４により検出された目位置および視線方向、ならびに顔方向検出部１１０５により検出された顔方向を含む。目位置は、左右の目のそれぞれについて、瞳孔のＸ座標およびＹ座標により表される。視線方向は、左右の目のそれぞれについて、方位角θおよび仰角φの２つの角度により表される。それに代えて、視線方向は左右の目の視線方向の平均値により表されてもよい。顔方向は、パン角、チルト角、およびロール角の３つの角度により表される。顔位置、目位置、視線方向および顔方向は、ここに示したものに限られず、それぞれ位置または方向を定義可能な任意の方法により表されてよい。さらに、検出結果１１０１ａは、その時刻における不審者判定部１１０７により判定された状態および蓄積されたスコアを含む。ここに示した検出結果１１０１ａの形式は一例であり、任意の形式で記録されてよい。

結果通知部１１０８は、不審者検出装置１１０に接続されているディスプレイ１１１、および不審者検出装置１１０と通信する携帯端末１３０の少なくとも一方を用いて、不審者判定部１１０７により判定された検出結果を監視者に通知する。監視者は、例えば客の不正行為を監視する場合には店員であり、従業員の不正行為を監視する場合には管理者である。具体的な通知方法については図９Ａ、９Ｂ、１０を用いて後述する。

結果検索部１１０９は、不審者検出装置１１０に接続された入力装置１１９から監視者によって入力された条件を受け取り、該条件に合致する検出結果を検出結果記憶部１１０１から検索して取得する。結果表示部１１１０は、不審者検出装置１１０に接続されたディスプレイ１１１に、結果検索部１１０９により検索された検出結果を表示する。具体的な検出結果の表示方法については、図１１を用いて後述する。

図９Ａ、９Ｂは、結果通知部１１０８からの検出結果の通知を表示しているディスプレイ１１１の前面図である。結果通知部１１０８は、ディスプレイ１１１に通知画面１１１ａを表示させる。通知画面１１１ａは、監視カメラ録画装置１５０により撮像された画像とともに、不審者判定部１１０７による検出結果を含む。通知画面１１１ａに含まれる画像は動画および静止画のどちらでもよい。

図９Ａに示すように、結果通知部１１０８は、表示中の画像の上であって、顔領域抽出部１１０３により抽出された顔領域１１１ｂを取り囲むように、第１の枠１１１ｃを重畳して表示する。また、結果通知部１１０８は、表示中の画像の上であって、顔領域抽出部１１０３により抽出された顔領域１１１ｂの近傍に、状態表示１１１ｅを重畳して表示する。状態表示１１１ｅは、不審者判定部１１０７により判定された状態および蓄積スコアを表す文字列を含む。結果通知部１１０８は、状態表示１１１ｅに含まれる状態として、顔領域が乖離状態、顔振り状態および視線振り状態のうち少なくとも１つに該当する場合にはその状態を表す文字列を表示し、それらのいずれにも該当しない場合には通常と表示する。

結果通知部１１０８は、顔領域が乖離状態、顔振り状態および視線振り状態のうち少なくとも１つに該当する場合に、該顔領域を取り囲む第１の枠１１１ｃの色を変化させることによって、顔領域に含まれる人が不審な行動を行っていることを監視者に示す第１の通知を行う。顔領域の状態を通知するために第１の枠１１１ｃの色の変化に代えてまたは加えて、第１の枠１１１ｃの透過度、線種、太さ等の見た目を変更してよい。

図９Ｂに示すように、結果通知部１１０８は、顔領域に対して不審者判定部１１０７が算出した蓄積スコアが所定の閾値より大きい場合に、表示中の画像の上で該顔領域を取り囲むように第２の枠１１１ｄを重畳して表示することによって、顔領域に含まれる人が不審な行動を継続的に行っていることを監視者に示す第２の通知を行う。これにより、不審者である蓋然性が高いことを監視者に通知することができる。

さらに、結果通知部１１０８は、顔領域の蓄積スコアの大きさに応じて、第２の枠１１１ｄの色、透過度、線種、太さ等の見た目を変更することが望ましい。例えば、結果通知部１１０８は、蓄積スコアが小さいほど透過度が高く、蓄積スコアが大きいほど透過度が低いように、第２の枠１１１ｄを表示する。このような構成によって、より不審者である蓋然性の高い顔領域を監視者に認識させやすい。蓄積スコアの閾値として、実験やシミュレーションによって予め定められた値を用いてよく、あるいは入力装置１１９によって入力された値を用いてよい。

結果通知部１１０８による通知の方法は不審者検出装置１１０に接続されたディスプレイ１１１を用いるものに限られず、店内に設置された電子看板（デジタルサイネージ）、ロボット、スピーカ、ランプ等を用いてもよい。通知内容は、監視者に向けたものに限られず、不審者自身に向けたものでもよい。例えば、結果通知部１１０８は、不審者判定部１１０７により判定された不審者の近くにある電子看板、ロボットまたはスピーカから「万引きは犯罪です」のようなメッセージまたは音声を出力することができる。このような構成により、自動的に不審者による不正行為に対する予防措置をとることができ、監視者による声掛け等の手間を削減することができる。

図１０は、結果通知部１１０８からの検出結果の通知を表示している携帯端末１３０の前面図である。結果通知部１１０８は、ある顔領域に対して不審者判定部１１０７が算出した蓄積スコアが所定の閾値より大きい場合に、携帯端末１３０に該顔領域についての検出結果を含む情報を送信し、携帯端末１３０はそのディスプレイに通知画面１３０ａを表示する。

携帯端末１３０は、結果通知部１１０８から受信した情報に基づいて、顔領域抽出部１１０３により抽出された顔領域１３０ｂを表示する。また、携帯端末１３０は、結果通知部１１０８から受信した情報に基づいて、状態表示１３０ｃを表示する。状態表示１３０ｃは、顔領域が撮像された時刻、顔領域を撮像したカメラを識別するためのカメラＩＤ、不審者判定部１１０７により判定された状態、および蓄積スコアを表す文字列を含む。携帯端末１３０は、状態表示１３０ｃに含まれる状態として、顔領域が乖離状態、顔振り状態および視線振り状態のうち少なくとも１つに該当する場合にはその状態を表す文字列を表示し、それらのいずれにも該当しない場合には通常と表示する。図９および１０に示した通知画面１１１ａ、１３０ａは一例であり、表示する情報およびその表示方法は変更されてよい。

結果通知部１１０８は、顔領域の蓄積スコアの大きさに応じて、通知を行う対象、すなわち通知の通知先の装置を選択してよい。例えば、結果通知部１１０８は、蓄積スコアが第１の値である場合には第１の携帯端末１３０を用いて通知を行い、蓄積スコアが第１の値より大きい第２の値である場合には第１の携帯端末１３０に加えて第２の携帯端末１３０を用いて通知を行う。このような構成において、店長が第１の携帯端末１３０を所有し、店員が第２の携帯端末１３０を所有するようにすれば、蓄積スコアが小さい場合には店長のみに通知を行い、蓄積スコアが大きく不審者である蓋然性が高い人が出現した場合に多くの店員に通知を行うことができる。通知先として、携帯端末１３０だけでなくディスプレイ１１１を選択してもよい。また、蓄積スコアの大きさに応じて、通知の通知先の装置の位置を選択してよい。この場合には、結果通知部１１０８は、蓄積スコアが第１の値である場合には不審者の近くに位置する第１の携帯端末１３０を用いて通知を行い、蓄積スコアが第１の値より大きい第２の値である場合には第１の携帯端末１３０に加えて、第１の携帯端末１３０よりも不審者から遠くに位置する第２の携帯端末１３０を用いて通知を行う。

以上の処理において、不審者判定部１１０７および結果通知部１１０８による算出値と閾値との比較方法は一例であり、算出値および閾値の定義によって比較方法を適宜変更してよい。例えば「閾値以上」を「閾値より大きい」としてよく、あるいは算出値および閾値の符号を逆にして「閾値以下」または「閾値より小さい」としてよい。

図１１は、結果検索部１１０９により検索された検出結果を表示しているディスプレイ１１１の前面図である。結果表示部１１１０は、ディスプレイ１１１に結果表示画面１１１ｆを表示させる。結果表示画面１１１ｆは、検索された検出結果を表示するとともに、入力装置１１９による検索条件の入力を受け付ける画面である。

結果表示画面１１１ｆは、検索対象のカメラＩＤを入力可能なカメラＩＤ欄１１１ｍ、検索対象の時刻範囲を入力可能な時刻欄１１１ｎ、および検索された検出結果を表示する検出結果一覧１１１ｇを含む。結果検索部１１０９は、検出結果記憶部１１０１から、入力装置１１９によってカメラＩＤ欄１１１ｍに入力されたカメラＩＤおよび時刻欄１１１ｎに入力された時刻の範囲に該当する検出結果を検索する。結果表示部１１１０は、結果検索部１１０９によって検索された検出結果を、ディスプレイ１１１の検出結果一覧１１１ｇに表示する。検出結果一覧１１１ｇには、検出結果に含まれる各顔領域に係る撮像時刻、画像、判定された状態、蓄積スコア、視線方向および顔方向が表示される。これらに限られず、検出結果一覧１１１ｇに顔領域に係るその他の情報を表示してよい。

入力装置１１９によって１つの顔領域が選択されると、結果表示部１１１０は選択された顔領域に係る情報上に選択枠１１１ｈを表示する。さらに、結果表示部１１１０は、選択された顔領域を顔画像欄１１１ｉに表示し、顔方向を矢印として顔方向欄１１１ｊに表示し、視線方向を矢印として視線方向欄１１１ｋに表示する。

結果表示画面１１１ｆは、再生操作のための操作ボタン１１１ｐおよび再生する時刻を入力可能な再生時刻欄１１１ｑを含む。再生時刻欄１１１ｑには、選択された顔領域の撮像時刻、あるいは入力装置１１９から入力された任意の時刻が入力されてよい。操作ボタン１１１ｐは、例えば再生ボタン、一時停止ボタンおよび停止ボタンを含む。結果検索部１１０９は、再生ボタンが押下されると、再生時刻欄１１１ｑに入力された時刻から、顔画像欄１１１ｉ上で顔領域を連続的に表示することによって再生する。結果検索部１１０９は、一時停止ボタンが押下されると再生中の時刻で顔領域の再生を停止し、停止ボタンが押下されると時刻を再生開始の時刻に戻して顔領域の再生を停止する。

顔領域の再生と同時に、再生中の顔領域に対応して、顔方向欄１１１ｊにおいて顔方向を示す矢印を連続的に表示するとともに、視線方向欄１１１ｋにおいて視線方向を示す矢印を連続的に表示する。顔方向および視線方向を表す矢印の代わりに、顔方向および視線方向を表す点を表示してよい。その場合には、再生中の時刻に近いほど透過度が低く、再生中の時刻より過去に遠いほど透過度を高いように、時系列で複数の顔方向および視線方向を表す点を表示する。これにより、監視者は過去から現在にかけての顔方向および視線方向の遷移を容易に認識することができる。

図１１に示した結果表示画面１１１ｆは一例であり、入力可能な検索条件、表示する情報、およびその表示方法は変更されてよい。

図１２は、本実施形態に係る不審者検出方法のフローチャートを示す図である。不審者検出方法は、例えば不審者検出装置１１０上で処理を開始するためのボタン押下等の所定の操作が検知された場合に開始される。

まず、画像処理部１１０２は、監視カメラ録画装置１５０に記録された動画ファイルである画像を取得し、静止画ファイルであるフレーム毎の画像に分割する（ステップＳ１１）。以降の処理は各フレームの画像について行われる。

顔領域抽出部１１０３は、ステップＳ１１で取得された画像から、上述の方法によって人の顔を含む顔領域を抽出する（ステップＳ１２）。また、顔領域抽出部１１０３は、抽出された顔領域に対して、前のフレームの画像に対応する顔領域が存在する場合に同じ追跡ＩＤを付与し、そうでない場合に新たな追跡ＩＤを付与する。画像から複数の顔領域が抽出された場合には、それぞれの顔領域を判定対象として以降の処理を行う。

視線方向検出部１１０４は、判定対象の顔領域から、上述の方法によって視線方向を抽出する（ステップＳ１３）。顔方向検出部１１０５は、判定対象の顔領域から、上述の方法によって顔方向を抽出する（ステップＳ１４）。環境情報取得部１１０６は、ステップＳ１１で取得された画像から、上述の方法によって環境情報を取得する（ステップＳ１５）。なお、ステップＳ１３〜Ｓ１５は任意の順番で行われてよく、あるいは並列で行われてよい。

不審者判定部１１０７は、判定対象の顔領域について、ステップＳ１３〜Ｓ１５で取得された視線方向、顔方向および環境情報を用いて、図１３を用いて後述する不審者判定処理によって不審者の判定を行う（ステップＳ１００）。不審者の判定は、上述の乖離判定、顔振り判定および視線振り判定を含む。不審者判定部１１０７は、判定対象の顔領域が乖離状態、顔振り状態および視線振り状態のいずれの状態に該当するか、あるいはいずれの状態にも該当しないかを判定する。

ステップＳ１００において判定対象の顔領域が少なくとも１つの状態に該当すると判定された場合に（ステップＳ１６のＹＥＳ）、不審者判定部１１０７は該顔領域の追跡ＩＤの蓄積スコアに該状態に関連付けられた所定の加算スコア値を加算する（ステップＳ１７）。それとともに、結果通知部１１０８は、ディスプレイ１１１および携帯端末１３０の少なくとも一方を用いて、該顔領域に含まれる対象者が不審な行動を行っていることを示す第１の通知を行う（ステップＳ１８）。ステップＳ１００においていずれの状態にも該当しないと判定された場合に（ステップＳ１６のＮＯ）、ステップＳ１７〜１９を行わない。

蓄積スコアが所定の閾値以上である場合に（ステップＳ１９のＹＥＳ）、結果通知部１１０８は、ディスプレイ１１１および携帯端末１３０の少なくとも一方を用いて、該顔領域に含まれる対象者が不審な行動を継続的に行っていることを示す第２の通知を行う（ステップＳ２０）。蓄積スコアが所定の閾値より小さい場合に（ステップＳ１９のＮＯ）、ステップＳ２０を行わない。

不審者検出装置１１０上で処理を終了するためのボタン押下等の所定の操作が行われた場合に（ステップＳ２１のＹＥＳ）、不審者検出方法を終了する。不審者検出装置１１０上で処理を終了するためのボタン押下等の所定の操作が行われていない場合に（ステップＳ２１のＮＯ）、ステップＳ１１に戻って処理を繰り返す。

図１３は、本実施形態に係る不審者判定処理のフローチャートを示す図である。不審者判定部１１０７は、顔方向ＨがステップＳ１５で取得された環境情報により示される少なくとも１つの物の方に向いているか否かを判定する（ステップＳ１０１）。次に不審者判定部１１０７は、視線方向Ｇおよび顔方向Ｈの差を算出する（ステップＳ１０２）。顔方向Ｈが物の方に向いており、かつ視線方向Ｇおよび顔方向Ｈの差が所定の閾値より大きい場合に（ステップＳ１０３のＹＥＳ）、判定対象の顔領域が乖離状態であると判定する（ステップＳ１０４）。そうでない場合に（ステップＳ１０３のＮＯ）、不審者判定部１１０７は判定対象の顔領域が乖離状態であると判定しない。

不審者判定部１１０７は、所定の時間前から判定対象の顔領域の撮像時刻までの顔方向Ｈの動きを取得する（ステップＳ１０５）。次に不審者判定部１１０７は、所定の閾値より大きい顔方向Ｈの移動であって、その移動の中心がステップＳ１５で取得された環境情報により示される少なくとも１つの物の方に向いている移動が、所定の時間前から判定対象の顔領域の撮像時刻までに発生した回数を算出する（ステップＳ１０６）。顔方向Ｈの移動回数が所定の閾値より大きい場合に（ステップＳ１０７のＹＥＳ）、判定対象の顔領域が顔振り状態であると判定する（ステップＳ１０８）。そうでない場合に（ステップＳ１０７のＮＯ）、不審者判定部１１０７は判定対象の顔領域が顔振り状態であると判定しない。

不審者判定部１１０７は、所定の時間前から判定対象の顔領域の撮像時刻までの視線方向Ｇの動きを取得する（ステップＳ１０９）。次に不審者判定部１１０７は、顔方向ＨがステップＳ１５で取得された環境情報により示される少なくとも１つの物の方に向いている状態における、所定の閾値より大きい視線方向Ｇの移動が、所定の時間前から判定対象の顔領域の撮像時刻までに発生した回数を算出する（ステップＳ１１０）。視線方向Ｇの移動回数が所定の閾値より大きい場合に（ステップＳ１１１のＹＥＳ）、判定対象の顔領域が視線振り状態であると判定する（ステップＳ１１２）。そうでない場合に（ステップＳ１１１のＮＯ）、不審者判定部１１０７は判定対象の顔領域が視線振り状態であると判定しない。

ステップＳ１０１〜Ｓ１０４の乖離判定、ステップＳ１０５〜Ｓ１０８の顔振り判定、およびステップＳ１０９〜Ｓ１１２の視線振り判定は、任意の順序で行われてよく、あるいは並行して行われてよい。

不審者検出装置１１０のプロセッサ１１２は、図１２、１３に示す不審者検出方法に含まれる各ステップ（工程）の主体となる。すなわち、プロセッサ１１２は、図１２、１３に示す不審者検出方法を実行するためのプログラムをメモリ１１３または記憶装置１１４から読み出し、該プログラムを実行して不審者検出装置１１０の各部を制御することによって図１２、１３に示す不審者検出方法を実行する。

本実施形態に係る不審者検出システム１００は、対象者の顔方向および視線方向に加えて、対象者の周囲における物の配置を示す環境情報に基づいて、不審な行動の判定を行う。例えば人が通路を歩いている際に目的の商品を探すために左右の商品棚を見回すことは通常の行動であるが、従来のように顔方向および視線方向のみを用いると、このような行動をとっている人を不審者と判定するような誤検出を行うおそれがある。それに対して、本実施形態では、商品棚等の人以外の物の配置を示す環境情報を用いて判定を行うため、従来のような誤検出を低減し、高精度に不審者の判定を行うことができる。さらに、本実施形態に係る不審者検出システム１００は、不審な行動ごとに加算された蓄積スコアに応じて通知を制御するため、不審な行動が継続的に行われた場合にのみ通知をしたり、あるいは通知の形式を変化させたりすることができる。これにより、監視者はより不審者である蓋然性が高い人に注目することができる。

（第２の実施形態）
本実施形態では、視線方向、顔方向および環境情報に加えて、対象者の移動の有無を示す移動情報を用いて不審者の判定および通知を行う。本実施形態に係る不審者検出システム１００の構成は第１の実施形態と同様であり、不審者の判定および通知の方法が異なる。

図１４Ａ、１４Ｂは、不審者検出の対象者Ａの移動方向を示す模式図である。図１４Ａ、１４Ｂの見方は図３Ａ、３Ｂと同様である。図１４Ａのように、対象者Ａが移動方向Ｊに沿って移動している場合には、対象者Ａは単に目的の商品がある商品棚Ｃまで移動しているものとみなせる。一方、図１４Ｂのように、対象者Ａが移動していない場合には、対象者Ａは目的の商品がある商品棚Ｃに既にたどり着いたとみなせる。このような状態で、顔を商品方向Ｅに向けたまま視線を通路方向Ｄに向けていたり、顔または視線を大きくかつ頻繁に動かしたりすることは不審な行動と考えられる。

図１５は、本実施形態に係る不審者検出装置１１０のブロック図である。本実施形態に係る不審者検出装置１１０は、図７の構成に加えて、移動情報取得部１１１１を備える。移動情報取得部１１１１は、顔領域抽出部１１０３によって抽出された顔領域に含まれる対象者が移動しているか否かの情報を取得する。具体的には、移動情報取得部１１１１は、顔領域抽出部１１０３によって抽出された顔領域の位置が、前のフレームにおいて対応する顔領域の位置から変化しているかを算出する。移動情報取得部１１１１は、位置が変化している場合には顔領域に含まれる対象者が移動していると判定し、そうでない場合には移動していないと判定する。

本実施形態では、不審者判定部１１０７は、乖離判定、顔振り判定および視線振り判定においてさらに移動情報を用いる。具体的には、視線方向Ｇと顔方向Ｈとの差が所定の閾値より大きい場合であって、顔方向Ｈが人以外の物に向いており、かつ移動情報取得部１１１１によって移動していないと判定された場合に、判定対象の顔領域が乖離状態であると判定する。また、不審者判定部１１０７は、顔方向Ｈを所定の基準を満たすように大きくかつ頻繁に動かしている場合であって、顔方向Ｈの動きの中心が人以外の物に向いており、かつ移動情報取得部１１１１によって移動していないと判定された場合に、判定対象の顔領域が顔振り状態であると判定する。また、不審者判定部１１０７は、視線方向Ｇを所定の基準を満たすように大きくかつ頻繁に動かしている場合であって、顔方向Ｈが人以外の物に向いており、かつ移動情報取得部１１１１によって移動していないと判定された場合に、判定対象の顔領域が視線振り状態であると判定する。

このように不審者の判定に移動情報を用いることによって、対象者がたまたま商品棚の方向に顔を向けたとき等に不審な行動であると誤検出することを低減し、より高精度に不審者の判定を行うことができる。

別の方法として、結果通知部１１０８は移動情報に基づいて通知を行うか否かを選択してよい。この場合には、結果通知部１１０８は、移動情報取得部１１１１によって顔領域に含まれる対象者が移動していると判定された場合にのみ、ディスプレイ１１１または携帯端末１３０を用いて上述の第１の通知および第２の通知を行う。このように移動中の不審者について通知を行うことによって、不審者が移動している段階で声掛けを行って不正行為を未然に防ぎやすいという効果が得られる。これとは逆に、移動していない不審者についてのみ通知を行ってもよい。

（その他の実施形態）
図１６は、上述の各実施形態に係る不審者検出装置１１０の概略構成図である。図１６には、不審者検出装置１１０が画像から不審者を検出する機能を実現するための構成例が示されている。不審者検出装置１１０は、対象者の視線方向を検出する視線方向検出部１１０４と、前記対象者の顔方向を検出する顔方向検出部１１０５と、前記対象者の周囲の物の配置を示す環境情報を取得する環境情報取得部１１０６と、前記顔方向、前記視線方向および前記環境情報に基づいて、前記対象者が不審な行動を行っているか否かを判定する不審者判定部１１０７と、を備える。

本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能であり、実施形態に記載した構成を適宜組み合わせてよい。

上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラム（より具体的には、図１２、１３に示す方法をコンピュータに実行させるプログラム）を記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。

該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。

上述の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
対象者の視線方向を検出する視線方向検出部と、
前記対象者の顔方向を検出する顔方向検出部と、
前記対象者の周囲の物の配置を示す環境情報を取得する環境情報取得部と、
前記顔方向、前記視線方向および前記環境情報に基づいて、前記対象者が不審な行動を行っているか否かを判定する判定部と、
を備える不審者検出装置。

（付記２）
前記環境情報は前記物の位置を示す、付記１に記載の不審者検出装置。

（付記３）
前記判定部は、前記顔方向が前記物の位置に向いているか否かを判定し、前記顔方向が前記物の位置に向いている場合であって、前記顔方向と前記視線方向との差が所定の閾値より大きい場合に、前記対象者が前記不審な行動を行っていると判定する付記２に記載の不審者検出装置。

（付記４）
前記判定に基づいて通知を行う通知部をさらに備え、
前記判定部は、前記判定に関連付けられたスコアを蓄積し、
前記通知部は、前記スコアに基づいて前記通知を行う、
付記１〜３のいずれか一項に記載の不審者検出装置。

（付記５）
前記通知部は、前記判定に基づいて第１の通知を行い、前記スコアに基づいて第２の通知を行う、付記４に記載の不審者検出装置。

（付記６）
前記通知部は、前記スコアに基づいて前記通知の通知先を変更する、付記４または５に記載の不審者検出装置。

（付記７）
前記判定に基づいて通知を行う通知部をさらに備える、付記１〜３のいずれか一項に記載の不審者検出装置。

（付記８）
前記通知部は、前記不審者検出装置と通信する携帯端末および前記不審者検出装置に接続されているディスプレイの少なくとも一方を用いて前記通知を行う、付記４〜７のいずれか一項に記載の不審者検出装置。

（付記９）
前記対象者の移動の有無を示す移動情報を取得する移動情報取得部をさらに備え、
前記判定部は、前記顔方向、前記視線方向、前記環境情報および前記移動情報に基づいて、前記対象者が前記不審な行動を行っているか否かを判定する、
付記１〜８のいずれか一項に記載の不審者検出装置。

（付記１０）
前記判定および前記移動情報に基づいて通知を行う通知部をさらに備える、付記９に記載の不審者検出装置。

（付記１１）
対象者の視線方向を検出する工程と、
前記対象者の顔方向を検出する工程と、
前記対象者の周囲の物の配置を示す環境情報を取得する工程と、
前記顔方向、前記視線方向および前記環境情報に基づいて、前記対象者が不審な行動を行っているか否かを判定する工程と、
を備える不審者検出方法。

（付記１２）
コンピュータに、
対象者の視線方向を検出する工程と、
前記対象者の顔方向を検出する工程と、
前記対象者の周囲の物の配置を示す環境情報を取得する工程と、
前記顔方向、前記視線方向および前記環境情報に基づいて、前記対象者が不審な行動を行っているか否かを判定する工程と、
を実行させるプログラム。

この出願は、２０１６年７月５日に出願された日本出願特願２０１６−１３３１６４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims

対象者の視線方向を検出する視線方向検出部と、
前記対象者の顔方向を検出する顔方向検出部と、
前記対象者の周囲の物の配置を示す環境情報を取得する環境情報取得部と、
前記顔方向、前記視線方向および前記環境情報に基づいて、前記対象者が不審な行動を行っているか否かを判定する判定部と、
を備える不審者検出装置。
前記環境情報は前記物の位置を示す、請求項１に記載の不審者検出装置。
前記判定部は、前記顔方向が前記物の位置に向いているか否かを判定し、前記顔方向が前記物の位置に向いている場合であって、前記顔方向と前記視線方向との差が所定の閾値より大きい場合に、前記対象者が前記不審な行動を行っていると判定する請求項２に記載の不審者検出装置。
前記判定に基づいて通知を行う通知部をさらに備え、
前記判定部は、前記判定に関連付けられたスコアを蓄積し、
前記通知部は、前記スコアに基づいて前記通知を行う、
請求項１〜３のいずれか一項に記載の不審者検出装置。
前記通知部は、前記判定に基づいて第１の通知を行い、前記スコアに基づいて第２の通知を行う、請求項４に記載の不審者検出装置。
前記通知部は、前記スコアに基づいて前記通知の通知先を変更する、請求項４または５に記載の不審者検出装置。
前記判定に基づいて通知を行う通知部をさらに備える、請求項１〜３のいずれか一項に記載の不審者検出装置。
前記通知部は、前記不審者検出装置と通信する携帯端末および前記不審者検出装置に接続されているディスプレイの少なくとも一方を用いて前記通知を行う、請求項４〜７のいずれか一項に記載の不審者検出装置。
前記対象者の移動の有無を示す移動情報を取得する移動情報取得部をさらに備え、
前記判定部は、前記顔方向、前記視線方向、前記環境情報および前記移動情報に基づいて、前記対象者が前記不審な行動を行っているか否かを判定する、
請求項１〜８のいずれか一項に記載の不審者検出装置。
前記判定および前記移動情報に基づいて通知を行う通知部をさらに備える、請求項９に記載の不審者検出装置。
対象者の視線方向を検出する工程と、
前記対象者の顔方向を検出する工程と、
前記対象者の周囲の物の配置を示す環境情報を取得する工程と、
前記顔方向、前記視線方向および前記環境情報に基づいて、前記対象者が不審な行動を行っているか否かを判定する工程と、
を備える不審者検出方法。
コンピュータに、
対象者の視線方向を検出する工程と、
前記対象者の顔方向を検出する工程と、
前記対象者の周囲の物の配置を示す環境情報を取得する工程と、
前記顔方向、前記視線方向および前記環境情報に基づいて、前記対象者が不審な行動を行っているか否かを判定する工程と、
を実行させるプログラム。