JP5339942B2 - 取引監視装置 - Google Patents

Description

本発明は、取引監視装置に関し、特に、自動取引システムの取引端末の利用者を撮影した画像から、利用者が特定の行動をとっているか否かを判定する取引監視装置に関する。

従来より、複数の利用者間での金銭取引において、金融機関またはコンビニエンスストアなどに設置された取引端末、例えば、現金自動預け払い機（ATM、Automated Teller Machine）を用いた振込み手続きといった送金処理が広く利用されている。
ところが、近年、この取引端末による送金処理を利用して、家族または親族などの身内の者を装って、取引端末の利用者に現金を送金させる詐欺行為が増加しており、社会的に問題となっている。
また、同様に、公的団体の職員を装って、医療費または税金が還付される等、払い過ぎた金銭が返金されるかのように偽り、利用者に言葉巧みに取引端末を操作させて、利用者本人が気付かないうちに、他人（詐欺行為者）の口座に金銭を振り込ませる詐欺行為も急増している。
このような問題に対して、利用者が送金処理を行うときに金銭の受取人の正当性を判別することで、詐欺行為の被害を未然に防止しようとするシステムが提案されている（例えば、特許文献１を参照）。

特許文献１に開示された自動取引システムは、取引装置にて送金処理を行う振込人と、この送金を受け取る受取人とが通話するハンドセットを備える。そしてこの自動取引システムは、このハンドセットを通じて取得される受取人の声紋データを、予め顧客データベースに記憶された振込人の身内の者の声紋データと照合して、その照合結果で振込取引の可否を判断することにより、詐欺被害を未然に防止する。

特開２００７−８０１２３号公報

しかしながら、特許文献１に開示された自動取引システムは、詐欺被害を防止するために、正当な取引であっても、振込手続時に受取人の声紋照合を必ず行わなければならない。そのため、この自動取引システムは、取引装置にて送金処理を行う全ての利用者について、自己の送金先として考えられ得る全ての人物の声紋データを取得して、顧客データベースに事前に登録しておかなければならない。もし、送金先の人物の声紋データが顧客データベースに登録されていなければ、利用者は、この自動取引システムを利用してその人物の口座に対して送金処理を行うことができないので、円滑な金銭取引に支障をきたすおそれが生じる。

そこで、本発明は、自動取引システムの正当な利用者間の円滑な金銭取引を阻害することなく、そのシステムの取引端末による送金処理を悪用した詐欺行為を防止する取引監視装置を提供することを目的とする。

一般に、家族または親族などの身内の者を装い金銭の送金を要求する詐欺行為では、聴力の衰えた高齢者が被害者として狙われることが多い。その詐欺行為の手口として、詐欺行為者は、被害者の身内などを装って被害者が取引端末の前まで出向いた後に詐欺行為者自身まで電話するように被害者を誘導する。被害者が詐欺行為者を信用した場合、その被害者は詐欺行為者の指示通りに取引端末の前で携帯電話機を使って詐欺行為者に電話を掛けてしまう。そして被害者は、詐欺行為者からの電話を通じた取引端末の操作方法の具体的な指示に従って取引端末を操作してしまい、詐欺と気付かずに金銭を詐欺行為者の口座に送金してしまう。

また、還付金があるかのように偽る詐欺行為についても同様であり、被害者として狙われるのは取引端末の操作に不慣れな高齢者であることが多い。この場合の詐欺行為の手口として、詐欺行為者は、社会保険事務所または自治体の職員、あるいは税務署員を装って、医療費または保険金、あるいは税金が還付される等、払い過ぎた金銭が取引端末を操作することによって返還されるかのように偽って被害者を取引端末まで誘導し、被害者が取引端末の前まで出向いた後に詐欺行為者自身まで電話させる。被害者が詐欺行為者を信用した場合、上述した詐欺行為の類型と同様に、その被害者は詐欺行為者の指示通りに取引端末の前で携帯電話機を使って詐欺行為者に電話を掛けてしまう。そして詐欺行為者は、取引端末まで出向いた被害者から電話が掛かってくると、「私の云う通りにATMを操作して下さい」等と言葉巧みに被害者に取引端末を操作させ、例えば振込金額の入力画面で、「ここで暗証番号を入力します」などと偽り振込金額を入力させる。そのため、被害者は、金銭が還付されるものと思いながら取引端末を操作しても、実際は本人が気付かないうちに、他人（詐欺行為者）の口座に送金を行ってしまう。

本発明に係る取引監視装置は、上述した取引端末の送金処理を悪用した詐欺行為は、被害者が取引端末の前で携帯電話機を通じての詐欺行為者からの指示に従って取引端末を操作することにより行われる点に着目したものである。

かかる課題を解決するための本発明は、送金処理が可能な自動取引端末の利用者の行動を監視する取引監視装置を提供する。本発明に係る取引監視装置は、自動取引端末に正対する利用者を撮影するように設置された監視カメラより取得した画像データから利用者の顔に対応する顔領域を抽出する顔検出部と、その画像データから利用者が監視カメラに対して正面方向を向いているか、横方向を向いているかを判定する顔向き判定部と、顔領域と重複するように設定された第１の探索領域から利用者の手を検出する手領域検出部と、顔領域において利用者の耳に対応する耳領域があるか否か判定する耳領域検出部と、顔向き判定部により利用者が横方向を向いていると判定された場合、手領域検出部が利用者の手を検出するとともに耳領域検出部が画像データに耳領域はないと判定すると、利用者が携帯電話機を使用して通話中であると判定する判定部と、判定部により、利用者が携帯電話機を使用して通話中であると判定されると警報を報知する異常報知部とを有する。

また、耳領域検出部は、耳の輪郭に沿った形状を有する耳候補領域を検出し、耳候補領域内の肌色領域の重心と、耳候補領域内のエッジ画素の重心が略一致する所定範囲内にある場合、その耳候補領域は利用者の耳であると判定することが好ましい。
この場合において、耳候補領域内の肌色領域の重心と、耳候補領域内のエッジ画素の重心が略一致するとは、それら二つの重心間の距離が、肌色画素の分布とエッジ画素の分布に偏りの差がないと考えられる所定の閾値以下であることをいう。

さらに、耳領域検出部は、顔特徴点と耳との相対的な位置関係により設定された第１の探索領域よりも狭い第２の探索領域内で耳領域があるか否か判定することが好ましい。

さらに、異常報知部は、自動取引端末に併設された通話装置が使用されたことを検知すると、利用者が携帯電話機を使用して通話中であると判定されていても警報を報知しないことが好ましい。

また本発明の他の形態によれば、人物を撮影するように設置された監視カメラより取得した画像データからその人物が携帯電話機を使用して通話中か否か判定する電話使用検出装置が提供される。本発明に係る電話使用検出装置は、画像データからその人物の顔に対応する顔領域を抽出する顔検出部と、その画像データから、その人物が監視カメラに対して正面方向を向いているか、横方向を向いているかを判定する顔向き判定部と、顔領域と重複するように設定された探索領域から利用者の手を検出する手領域検出部と、顔領域に利用者の耳に対応する耳領域があるか否か判定する耳領域検出部と、顔向き判定部により利用者が横方向を向いていると判定された場合、手領域検出部が利用者の手を検出するとともに耳領域検出部が画像データに耳領域はないと判定すると、利用者が携帯電話機を使用して通話中であると判定する判定部とを有する。

本発明に係る取引監視装置は、自動取引システムの正当な利用者間の円滑な金銭取引を阻害することなく、そのシステムの取引端末による送金処理を悪用した詐欺行為を防止することができるという効果を奏する。

本発明の一つの実施形態に係る取引監視装置を含む自動取引システムの概略構成図である。 本発明の一つの実施形態に係る取引監視装置の概略構成図である。 （ａ）は、利用者が正面方向を向いている場合に設定される、手の探索領域の一例を示す図であり、（ｂ）は、利用者が横方向を向いている場合に設定される、手の探索領域の一例を示す図である。 耳の探索領域の一例を示す図である。 本発明の一つの実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、通話検知処理の動作を示すフローチャートである。 本発明の一つの実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、通話検知処理の動作を示すフローチャートである。 本発明の一つの実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、取引監視装置の全体処理の動作を示すフローチャートである。

以下、図を参照しつつ、一つの実施形態による、電話使用検出装置が組み込まれた取引監視装置について説明する。
この取引監視装置は、ATMなど、金銭の取引を行う自動取引システムの取引端末に設置される。そしてこの取引監視装置は、取引端末の利用者を撮影した画像から利用者の顔領域を検出し、その顔領域の近傍に手が存在するか否かを調べることにより、利用者が携帯電話機を使用して通話しているか否かを判定する。そしてこの取引監視装置は、利用者が携帯電話機を使用して通話していると判定したときに、利用者に対して詐欺行為の可能性がある旨の警報を発する。特にこの取引監視装置は、監視カメラに対して利用者が横方向を向いているときに、利用者の耳が画像上に写っているか否かを通話検知の判定基準に用いることで、利用者が自分の手を単に顔に近づけたときと通話しているときとを識別可能とすることにより、高精度で携帯電話機を使用した通話の有無を判定可能とするものである。

図１は、一つの実施形態による、電話使用検出装置が組み込まれた取引監視装置を含む自動取引システムの概略構成図である。図１に示すように、金融機関の店舗などに設置された取引端末１００は、筐体１１０と、タッチパネルディスプレイ１２０と、通帳またはキャッシュカードなどの受け入れ口１１１、１１２と、金銭の受け入れ・払い出し口１１３とを有する。
通帳またはキャッシュカードなどの受け入れ口１１１、１１２は、筐体１１０の正面上方に形成されており、取引端末１００は、その受け入れ口１１１に挿入された通帳に記帳したり、受け入れ口１１２に挿入されたキャッシュカードから所定の情報を取得することが可能となっている。金銭の受け入れ・払い出し口１１３は、筐体１１０の正面のテーブル状に形成された部位に形成されており、この受け入れ・払い出し口１１３を介して、利用者は金銭の預け入れ及び払い出しをすることが可能となっている。

タッチパネルディスプレイ１２０は、筐体１１０の正面のテーブル状に形成された部位に、上方に向けて情報が表示されるように設置される。そしてタッチパネルディスプレイ１２０は、取引端末１００の利用者に対して、振込、入金、出金などの各種処理に応じた操作ボタン及び操作案内を表示する。そして利用者が、タッチパネルディスプレイ１２０に表示された操作ボタンを押下することにより、タッチパネルディスプレイ１２０は、押下された操作ボタンに応じた操作信号あるいは、暗証番号、振込先、金額などを表す情報を取得する。そして取引端末１００は、タッチパネルディスプレイ１２０から取得した操作信号または情報を、通信回線（図示せず）を介して接続されたサーバ（図示せず）に送信し、サーバからの応答信号に従って、利用者が選択した操作に対応する処理を実行する。

取引端末１００の内部または近傍には、監視カメラ１３０と、スピーカ１４０と、センサ１６０とが設置され、これらの機器が取引監視装置１と接続される。
監視カメラ１３０は、取引端末１００の利用者の頭部から肩にかけての領域を正面から撮影することが可能なように、筐体１１０の正面上方に設置される。なお、監視カメラ１３０は、利用者の頭部から肩にかけての領域を正面から撮影することが可能であれば、取引端末１００と別個に、例えば取引端末１００の背面に隣接する壁面に設置されてもよい。また監視カメラ１３０は、CCDまたはC-MOSなど、可視光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などを有する。そして監視カメラ１３０は、一定の時間間隔（例えば１／５秒）ごとに撮影を行って、利用者を撮影した画像を順次取引監視装置１へ出力する。

スピーカ１４０は、筐体１１０の上方に設置される。またスピーカ１４０は、取引監視装置１と接続され、取引監視装置１から受け取った警報音声信号に応じた音声を発する。

さらに、取引端末１００の近傍、例えば、取引端末１００が設置されたブースの壁面には、取引端末１００を操作する利用者を検知するためのセンサ１６０が設置される。このセンサ１６０は、例えば、予め取引端末１００の正面の所定空間に設定された検知領域から放射される赤外線を受光し、その受光量の変化によって利用者を検知する人感センサとすることができる。あるいは、センサ１６０は、予め取得した背景画像とカメラにより撮影した画像との差分によって得られた変化領域から利用者を検知する画像センサ、あるいはマットセンサ若しくは近接センサなどであってもよい。そしてセンサ１６０は、取引監視装置１と接続され、利用者を検知している間、その旨を示す人体検知信号を取引監視装置１へ出力し、利用者を検知しなくなると、人体検知信号の出力を停止する。

また、取引端末１００の近傍、例えば、取引端末１００が設置されたブースの壁面には、オートホン１５０が設置される。このオートホン１５０は、プロセッサ、半導体メモリ、通信インターフェース及びその周辺回路を有するオートホン制御装置１５１と接続されている。そしてオートホン１５０の受話器が外されると、オートホン制御装置１５１は、通信回線１７０を介してオートホン制御装置１５１に接続された、遠隔地のATMセンタに設置されたATMセンタ装置１８０に向けて自動発信処理を実行し、利用者がオートホン１５０を介してATMセンタ装置１８０のオペレータと通話することを可能にする。
また、オートホン制御装置１５１は、取引監視装置１とも接続され、利用者がオートホン１５０を使用している場合に、その旨を示すオートホン使用信号を取引監視装置１へ出力する。具体的には、オートホン制御装置１５１は、オートホン１５０から受話器が外れていることを示すオフフック信号を受信している間、オートホン使用信号を取引監視装置１へ出力する。
なお、オートホン１５０と取引監視装置１を直接接続し、取引監視装置１は、オートホン１５０からオフフック信号を直接受信することにより、オートホン１５０が使用中であることを確認できるようにしてもよい。

次に、本発明の一実施形態に係る、電話使用検出装置が組み込まれた取引監視装置１について説明する。
図２は、取引監視装置１の概略構成図である。図２に示すように、取引監視装置１は、画像取得部２と、音声出力部３と、通信部４と、記憶部５と、制御部６とを有する。

画像取得部２は、画像入力インターフェースであり、例えば、ビデオ入力端子などで構成される。そして画像取得部２は、監視カメラ１３０から入力された画像データを取得して制御部６へ渡す。

音声出力部３は、音声出力インターフェースであり、例えば、オーディオ出力端子などで構成される。そして音声出力部３は、制御部６から受け取った警報音声信号をスピーカ１４０へ出力する。

通信部４は、通信インターフェースであり、例えば、イーサネット（登録商標）、ユニバーサルシリアルバス2（USB2）、IEEE802.11a、IEEE1394、RS232Cなどの通信規格に従ったインターフェース及び制御回路などで構成される。そして通信部４は、オートホン制御装置１５１からのオートホン使用信号またはオートホン１５０からのオフフック信号を受信して、それらの信号を制御部６へ渡す。
さらに通信部４は、センサ１６０から受け取った人体検知信号を制御部６へ渡す。
また取引監視装置１と取引端末１００とは、通信部４を介して接続されてもよく、この場合、取引監視装置１の制御部６は、通信部４を介して警報信号などを取引端末１００へ送信してもよい。

記憶部５は、フラッシュメモリなどの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク（HDD）などの記憶装置の少なくとも何れか一つを有する。なお、記憶部５は、制御部６が有する半導体メモリの記憶領域の一部として実現されてもよい。そして記憶部５は、取引監視装置１で使用される各種のプログラム及びデータを記憶する。記憶部５は、例えば、そのようなデータとして、センサ１６０によって利用者が検知されているか否かを示す人体検知フラグ、オートホン１５０が使用されているか否かを表すオートホン使用フラグを記憶する。さらに記憶部５は、利用者の手の検索範囲を設定するための検索領域情報、利用者の顔及び手を判定するためのテンプレート及び判定基準情報等を記憶する。さらに記憶部５は、携帯電話機を使用して取引端末１００から送金させる詐欺行為に注意を促す音声メッセージに対応する音声データを記憶する。
そして記憶部５は、制御部６と接続され、制御部６からの要求に応じて、所定のプログラム及びデータを出力し、あるいは所定のデータを記憶する。

制御部６は、プロセッサユニット、RAM及びROMなどの半導体メモリ、及び周辺回路を有する。そして制御部６は、取引監視装置１全体を制御する。また制御部６は、監視カメラ１３０から受け取った画像データに基づいて、利用者が携帯電話機を使用しているか否か判定し、使用している場合には、スピーカ１４０を介して注意を促す。そのために、制御部６は、携帯使用検知部１１と、異常報知部１２と、フラグ処理部１３とを有する。制御部６が有するこれらの各部は、例えば、プロセッサユニット上で実行されるコンピュータプログラムによって実装される機能モジュールである。

携帯使用検知部１１は、監視カメラ１３０から受け取った画像データから、利用者の顔の近傍に利用者の手があるか否かを調べることにより、利用者が携帯電話機を使用しているか否か判定する。そのために、携帯使用検知部１１は、エッジ画像生成部２１と、顔検出部２２と、顔向き判定部２３と、手領域検出部２４と、耳領域検出部２５と、判定部２６とを有する。

エッジ画像生成部２１は、監視カメラ１３０から受け取った、利用者が撮影された画像データ（以下監視画像という）から、利用者の各部の輪郭に対応するエッジ画素を抽出する。そのためにエッジ画像生成部２１は、例えば、監視画像に対してsobelフィルタまたはprewittフィルタなどのエッジ検出フィルタを用いた近傍画素間演算を実行する。そしてエッジ画像生成部２１は、近傍画素間演算の結果得られた差分値の絶対値が所定の閾値よりも大きい画素をエッジ画素とする。なお、所定の閾値は、例えば、監視画像の各画素について得られた差分絶対値の平均値とすることができる。また、エッジ画像生成部２１は、エッジ検出フィルタの向きを少なくとも垂直方向と水平方向の２方向に設定し、垂直方向のエッジと水平方向のエッジを検出することが好ましい。そしてエッジ画像生成部２１は、各画素について、得られた各方向の差分絶対値のうち、最大値となる方向をその画素のエッジの向きとする。
エッジ画像生成部２１は、抽出されたエッジ画素を表すエッジ画像を作成する。例えば、エッジ画像では、抽出されたエッジ画素に対応する画素の画素値が、水平方向のエッジであれば1、垂直方向のエッジであれば2で表され、その他の画素の画素値が0で表される。あるいは、エッジ画像生成部２１は、エッジ画像とは別個に、抽出されたそれぞれのエッジ画素の向きを表すエッジ方向データを作成してもよい。
エッジ画像生成部２１は、作成したエッジ画像を手領域検出部２４及び耳領域検出部２５へ渡す。また顔検出部２２がエッジ画像に基づいて顔特徴点を検出する場合には、エッジ画像生成部２１は、顔検出部２２にもエッジ画像を渡す。

顔検出部２２は、監視画像から利用者の顔が写っている顔領域を検出する。そのために、顔検出部２２は、画像から顔領域を検出する様々な技術の何れかを利用することができる。例えば、監視画像がカラー画像である場合、顔検出部２２は、監視画像の各画素の色情報をHSV表色系の色情報に変換する。そして顔検出部２２は、色相Hの成分が所定の範囲に含まれる色情報を有する画素を肌色画素として抽出する。なお、所定の範囲は、例えば、色相Hの成分の色情報が0から255で表される場合、0から30に設定される。そして顔検出部２２は、肌色画素及び肌色画素で囲まれた領域を候補領域とし、その候補領域から抽出されるHaar-like特徴を用いたAdaboost識別器により、候補領域が顔領域か否か判定する。なお、Haar-like特徴は、入力された画像領域中に任意に設定された複数の隣接矩形領域間の輝度差である。また、Adaboost識別器は、複数の弱識別器と、各弱識別器の判定結果を統合して判定する強識別器とから構成される。

各弱識別器は、入力された画像領域から、それぞれ異なるHaar-like特徴を算出し、算出されたHaar-like特徴に基づいて入力された候補領域が顔領域か否かの識別結果を出力する。例えば、弱識別器は、候補領域が顔領域であると判定した場合、1を出力し、一方、候補領域が顔領域でないと判定した場合、-1を出力する。一方、強識別器は、各弱識別器による出力結果をそれぞれ重み付けして、その重み付け和を求める。そして強識別器は、得られた重み付け和が所定の閾値（例えば、0）よりも高い場合、候補領域が顔領域であると判定する。

また、候補領域中のどの位置に関するHaar-like特徴を識別に利用する弱識別器が使用されるか、及び弱識別器に対する重みは、人物の顔が写っていない複数のサンプル画像と人物の顔が写っている複数のサンプル画像とを用いた事前学習により決定される。学習手順の概略は以下の通りである。
（１）使用可能な全ての弱識別器について、Haar-like特徴の値に基づいて、入力された画像領域に顔が写っているか否かを識別する閾値を設定する。
（２）各サンプル画像に対する重みを決定する。重みの初期値は、各サンプル画像に対して同じ値とする。
（３）全ての弱識別器に対して各サンプル画像を入力して、弱識別器ごとに識別に失敗したサンプル画像に付けられた重みを合計する。そしてその重みの合計を評価値とする。
（４）評価値が最も小さい弱識別器をAdaboost識別器で使用する弱識別器として選択する。そして評価値から選択された弱識別器の出力に付される重みを決定する。
（５）選択された弱識別器が識別に失敗したサンプル画像の重みを大きくする。
（６）（３）〜（５）の手順を繰り返す。
なお、Haar-like特徴及びAdaboost識別器の詳細については、例えば、Paul Viola and Michael Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, vol.1, pp.511-518, 2001に開示されている。

また、顔検出部２２は、監視画像から、人物の顔において特徴的な眉領域（眉尻点を含む）、目領域（両目尻の中点を含む）、鼻尖点、口点、口角点などの顔特徴点を抽出することにより、顔領域を検出してもよい。例えば、顔検出部２２は、エッジ画像生成部２１から受け取ったエッジ画像から、顔の輪郭形状に近似した楕円形状のエッジ分布を、パターンマッチングなどを用いて検出する。そして、顔検出部２２は、その楕円形状のエッジ分布に囲まれた領域内に存在するエッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。そしてこれらの顔特徴点が抽出できた場合、顔検出部２２は、その楕円形状のエッジ分布に囲まれた領域を顔領域とする。また顔検出部２２は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに顔検出部２２は、顔領域に相当するテンプレートと監視画像とのテンプレートマッチングを行ってテンプレートと監視画像との相関値を求め、その相関値が所定の閾値以上となる場合、その相関値に対応する監視画像内の領域を顔領域として検出してもよい。
なお、顔検出部２２は、顔向き判定部２３が、顔特徴点を用いて利用者の顔の向きを判定する場合には、何れの方法を用いて顔領域を検出する場合も、顔特徴点を検出する。
顔検出部２２は、監視画像から顔領域を検出することができた場合、その顔領域を表す情報（例えば、顔領域の外接矩形の左上端点の画素の座標と右下端点の画素の座標）を、顔向き判定部部２３及び手領域検出部２４へ渡す。さらに顔検出部２２は、顔領域から抽出された各顔特徴点の位置を、顔向き判定部２３へ渡す。一方、顔検出部２２は、監視画像から顔領域を検出することができなかった場合、その旨を示す顔検出不能信号を携帯使用検知部１１に返す。

顔向き判定部２３は、利用者が監視カメラ１３０に対して正面方向を向いているか、あるいは横方向を向いているかを判定する。顔向き判定部２３は、この顔向き判定処理として、例えば、公知の様々な顔向き判定処理の何れかを利用することができる。本実施形態では、顔向き判定部２３は、顔検出部２２により検出された顔領域から抽出された各顔特徴点の２次元的な分布を調べることにより、利用者の顔の向きを判定する。

そこで、顔向き判定部２３は、例えば、両目尻の中点と口点を結ぶ直線を、顔の正中線として求める。そして顔向き判定部２３は、鼻の頂点である鼻尖点が、正中線に対して左右どちら側にあるか、および正中線からの距離を求める。ここで、監視カメラ１３０から見て利用者が正面を向いている場合、鼻尖点は正中線上に存在し、利用者が正面方向に対して横へ向く角度が大きくなるほど、正中線に対する鼻尖点の位置のずれ量が左右方向に大きくなる。従って、鼻尖点と正中線との距離の大きさは、利用者が正面方向に対して横を向く角度に略比例する。そこで顔向き判定部２３は、鼻尖点と正中線間の距離が所定値未満であれば利用者は正面方向を向いている（すなわち、正面向き顔）と判定し、一方、鼻尖点と正中線間の距離が所定値以上であれば利用者は横を向いている（すなわち、横向き顔）と判定する。この所定値は、監視画像上で、利用者が通話するときに携帯電話機を持つ手が顔領域に重なっていないときの顔向きを正面向き顔と判定し、手が顔領域と重なっているときの顔向きを横向き顔と判定できるように、予め実験的に求められる。

また顔向き判定部２３は、顔特徴点の一部が検出できず、鼻尖点と正中線間の距離が算出できない場合は、検出された顔特徴点の顔領域上の偏り度合いを調べる。例えば、顔向き判定部２３は、検出された各顔特徴点の重心位置と、顔領域の中心位置との距離を、その偏り度合いとして求める。そして顔向き判定部２３は、求めた顔向き度合いが顔領域の左右何れかに偏っていることを示している場合、利用者の顔の向きを横向き顔と判定する。例えば、各顔特徴点の重心位置と顔領域の中心位置との水平方向の距離が、顔領域幅に対する所定比率以上であれば、顔向き判定部２３は、利用者の顔の向きを横向き顔と判定する。なお、その所定比率は実験的に最適化される。
さらに、顔向き判定部２３は、所定数以上の顔特徴点が抽出できない場合には、利用者の顔の向きを正確に検知できないため、利用者の顔の向きを正面顔でも横向き顔でもないと判定する。なお、その所定数は、例えば、顔検出部２２が顔領域から抽出しようとする顔特徴点の個数の半数とすることができる。

また、顔向き判定部２３は、顔の向きを様々な方向に変えた複数のテンプレートと顔領域とのテンプレートマッチングにより、利用者の顔の向きを判定してもよい。この場合、そのようなテンプレートは、予め準備され、記憶部５に記憶される。そして顔向き判定部２３は、顔検出部２２により顔領域が検出されると、記憶部５からそれらテンプレートを読み込み、読み込んだそれぞれのテンプレートと顔領域とのテンプレートマッチングを実行する。顔向き判定部２３は、顔領域と最も一致度が高いテンプレートが表す顔の向きを、利用者の顔の向きとする。
顔向き判定部２３は、判定された顔向きを表す顔向き情報を、手領域検出部２４及び耳領域検出部２５へ通知する。

手領域検出部２４は、顔検出部２２により検出された顔領域の近傍あるいは重複領域において、利用者の手を検出できるか否か判定する。そこでまず、手領域検出部２４は、利用者が携帯電話機を利用している場合、利用者の顔の側面に手を近づけることを考慮して、手の探索領域を設定する。さらに手領域検出部２４は、利用者が監視カメラ１３０に対して正面方向を向いている場合と、横方向を向いている場合とで、顔に対する手の位置が異なることを考慮して、手の探索領域を設定する。

図３（ａ）は、利用者が正面方向を向いている場合に設定される、手の探索領域の一例を示し、図３（ｂ）は、利用者が横方向を向いている場合に設定される、手の探索領域の一例を示す。図３（ａ）に示すように、利用者が正面方向を向いている場合、手の探索領域３２０は、顔領域３１０の側面に隣接し、顔領域３１０と手の探索領域３２０はほぼ重ならないように設定される。利用者が携帯電話機を用いて通話する場合、その利用者は携帯電話機を耳に近づける。そのため、利用者が正面を向いていれば、携帯電話機を持つ手は顔の横にあると想定されるためである。また、手の探索領域３２０の上端は、顔領域３１０の高さ方向の中心に設定され、探索領域３２０の下端は、通話中に利用者が手を置くと考えられる位置の下端を探索領域３２０に含むように、例えば、監視画像３００の下辺に接触するように設定される。また、探索領域３２０の左右端は、利用者の両肩が含まれると想定される範囲を含むように設定される。例えば、探索領域３２０の左右端は、それぞれ、顔領域３１０の水平方向の中心から、顔領域３１０の幅の２倍から３倍の距離だけ離れた位置に設定される（なお、図３（ａ）では各領域の大きさを簡略化して示している）。さらに、顔領域３１０の下端から下方の所定幅の領域３３０には、首または衣類のボタンなど、肌色かつ多数のエッジ画素が抽出される物体が存在する。そこで、肌色かつ多数のエッジ画素が抽出される物体を手として誤検出することを防止するために、この領域３３０は探索領域３２０から除外されてもよい。また、利用者は、携帯電話機を使用して通話を行う場合、顔の下方に手を持ってくる可能性は低いので、このような領域３３０を手の探索領域から除外しても、手の探索に失敗する可能性は低いと考えられる。なお、除外される領域３３０の幅は、例えば、顔領域３１０の幅の１／２〜１倍に設定され、除外される領域３３０の中心線が顔領域３１０の中心線と一致するように、除外される領域３３０の水平方向の位置が設定される。

一方、図３（ｂ）に示すように、利用者が横方向を向いている場合、手の探索領域３５０は、顔領域３４０と重なるように設定される。これは、利用者が正面を向いている場合と異なり、利用者が横方向を向いている場合、耳も顔領域内に含まれるため、手の位置も顔領域と重なる可能性が高くなるためである。なお、手の探索領域３５０の上端は、利用者が正面を向いている場合と同様に、顔領域３４０の高さ方向の中心に設定される。また、探索領域３５０の下端は、通話中に利用者が手を置くと考えられる位置の下端を探索領域３５０に含むように、監視画像３００の下辺に接触するように設定される。また、探索領域３５０の左右端は、利用者の両肩が含まれると想定される範囲を含むように設定される。例えば、探索領域３５０の左右端は、それぞれ、顔領域３４０の水平方向の中心から、顔領域３４０の幅の１．５倍から２倍の距離だけ離れた位置に設定される（なお、図３（ｂ）では各領域の大きさを簡略化して示している）。なお、利用者が横方向を向いている場合には、監視画像上に首に相当する領域がはっきりと写らないため、顔領域３４０の下方の領域も、探索領域３５０から除外されない。

このように手領域検出部２４は、利用者が横方向を向いている場合の手の探索領域と顔領域の重なり度合いを、利用者が正面方向を向いている場合の手の探索領域と顔領域の重なり度合いよりも大きく設定する。これにより、手領域検出部２４は、通話中の利用者の手が存在すると想定される領域について確実に手の探索を行えるとともに、手と紛らわしい可能性のある領域を顔向きに応じて排除できる。そのため、手領域検出部２４は、通話中の利用者の手を精度よく検出することができる。

手領域検出部２４は、上述した手の探索領域内で、手を検出できるか否か判定する。ここで、図３（ａ）に示されるように、利用者が正面を向いている場合、監視画像上では、手の側面が写っている可能性が高い。一方、図３（ｂ）に示されるように、利用者が横方向を向いている場合、監視画像上では、手の甲の大部分が写っている可能性が高い。
そこで、手領域検出部２４は、利用者の手を検出するために、利用者が正面を向いている場合と横方向を向いている場合とで、異なる検出基準を使用する。

利用者が正面方向を向いている場合、手に相当する領域は、画像上において、その領域内に多数のエッジ画素が存在するとともに、その領域内に肌色の画素が多数含まれるという特徴を持つ。そこで、手領域検出部２４は、例えば、監視画像に設定された手の探索領域内に存在する肌色の画素を検出する。なお、肌色の画素は、顔検出部２２に関して説明したように、その画素の色情報がHSV表色系で表される場合、色相Hの成分が例えば0から30といった所定の範囲に含まれる色情報を有する画素である。
手領域検出部２４は、肌色画素についてラベリング処理を実行することにより、肌色画素が含まれる肌色領域を手候補領域として抽出する。なお、手領域検出部２４は、モルフォロジーのクロージング演算などを行って、肌色領域に囲まれた非肌色画素を手候補領域に含めてもよい。これにより、影などの影響で、手の一部分に対応する画素が監視画像上では肌色でない場合も、手領域検出部２４は、手の一部分に対応する非肌色の画素を手候補領域に含めることができる。また手領域検出部２４は、複数の手候補領域を抽出してもよい。

手領域検出部２４は、手候補領域の面積S_h、すなわち、手候補領域に含まれる画素数と、顔領域の面積S_f、すなわち、顔領域に含まれる画素数との比S_h/S_fを求める。そして手領域検出部２４は、手候補領域の面積と顔領域の面積との比S_h/S_fが、人の顔と手の大きさの一般的な比に相当する所定の範囲に含まれるか否か判定する。例えば、その所定の範囲は、0.1から1までの範囲である。

手領域検出部２４は、S_h/S_fが所定の範囲から外れる場合、その手候補領域は利用者の手ではないと判定する。一方、S_h/S_fが所定の範囲に含まれる場合、手領域検出部２４は、その手候補領域に対応するエッジ画像上の領域に含まれるエッジ画素の数E_hを計数する。そして手領域検出部２４は、手候補領域の面積S_hに対するエッジ画素の数E_hの比E_h/S_hが、手領域に含まれるエッジ画素の一般的な比率の最小値に対応する所定の閾値以上であるか否かを判定する。例えば、その所定の閾値は、0.1に設定される。
手領域検出部２４は、手候補領域の面積S_hに対するエッジ画素の数E_hの比E_h/S_hが所定の閾値未満の場合、その手候補領域は利用者の手ではないと判定する。一方、その比E_h/S_hが所定の閾値以上の場合には、手領域検出部２４は、その手候補領域は利用者の手であると判定する。

一方、利用者が横方向を向いている場合、手は、画像上において、逆Ｕ字状の輪郭を有し、かつ、折り曲げた指の輪郭に相当する小さな逆Ｕ字状のエッジ線を複数有するという特徴を持つ。さらに手は、その輪郭内に多数のエッジ画素が存在するとともに、その輪郭内に肌色の画素が多数含まれるという特徴を持つ。
そこで、手領域検出部２４は、先ず、監視画像と手の輪郭及び指の輪郭に相当するテンプレートとのパターンマッチングにより、手候補領域を検出する。これらのテンプレートは、予め複数準備され、記憶部５に記憶される。また、何れのテンプレートも、上方に凸な半円弧あるいは逆Ｕ字状の連続したエッジ線を表す形状を有する。また、手の輪郭に相当するテンプレートのサイズは、監視画像上での人の平均的な頭部のサイズよりも小さく設定される。さらに、指の輪郭に相当するテンプレートのサイズは、手の輪郭に相当するテンプレートのサイズの数分の１程度に設定される。

手領域検出部２４は、手の探索領域内で、監視画像に対応するエッジ画像と手の輪郭に相当するテンプレートとのテンプレートマッチングを実行する。そして手領域検出部２４は、手の輪郭に相当するテンプレートとの一致度が所定の閾値以上となる監視画像上の領域を手候補領域として検出する。具体的には、手候補領域は、そのテンプレートとの一致度が所定の閾値以上となる監視画像上の位置における、そのテンプレートが表す半円弧または逆Ｕ字状のエッジ線と、それらの両下端点同士を結ぶ線分で囲まれた領域である。なお、所定の閾値は、例えば、一致度の最大値に0.7を乗じた値とすることができる。
利用者が横方向を向いている場合、携帯電話機を持つ手と顔とが重なる場合があるが、このように手の輪郭に相当するテンプレートと一致する領域に囲まれる領域を手候補領域とすることにより、手領域検出部２４は、利用者の手である可能性が高い領域を顔領域と区別して検出できる。

さらに、手領域検出部２４は、手の輪郭に相当するテンプレートとの一致度が所定の閾値以上となった手候補領域内で、監視画像に対応するエッジ画像と指の輪郭に相当するテンプレートとのテンプレートマッチングを実行する。そして手領域検出部２４は、指の輪郭に相当するテンプレートとの一致度が所定の閾値以上となった手候補領域内の位置の個数をカウントする。この個数を指検出個数と呼ぶ。なお、所定の閾値は、例えば、一致度の最大値に0.7を乗じた値とすることができる。
手領域検出部２４は、指検出個数が最大となる手候補領域を選択する。そして手領域検出部２４は、その指検出個数の最大値が所定の閾値以上となるか否か判定する。この所定の閾値は、手候補領域内で検出可能と想定される指の輪郭の数であり、例えば、実験またはシミュレーションの結果に応じて、１〜４の間の何れかの値に設定される。
手領域検出部２４は、指検出個数の最大値が所定の閾値未満であれば、手候補領域は利用者の手ではないと判定する。一方、指検出個数の最大値が所定の閾値以上であれば、手領域検出部２４は、利用者が正面方向を向いている場合と同様に、手候補領域内に存在する肌色の画素を検出する。そして手領域検出部２４は、手領域候補内に存在する肌色画素の数を、手候補領域の面積S_hとする。
なお、手の検出に関して要求される精度によっては、手領域検出部２４は手候補領域内での指検出個数を調べなくてもよい。

次に、手領域検出部２４は、手候補領域の面積S_hと、顔領域の面積S_fとの比S_h/S_fを求める。そして手領域検出部２４は、手候補領域の面積と顔領域の面積との比S_h/S_fが、人の顔を斜め前方から見た面積と手の大きさの一般的な比に相当する所定の範囲に含まれるか否か判定する。例えば、その所定の範囲は、0.1から1までの範囲である。
そして、面積比S_h/S_fがその所定の範囲から外れる場合、手領域検出部２４は、その手候補領域は利用者の手ではないと判定する。
一方、面積比S_h/S_fがその所定の範囲に含まれる場合、手領域検出部２４は、その手候補領域に対応するエッジ画像上の領域に含まれるエッジ画素の数E_hを計数する。そして手領域検出部２４は、手候補領域の面積S_hに対するエッジ画素の数E_hの比E_h/S_hが、手領域に含まれるエッジ画素の一般的な比率の最小値に対応する所定の閾値以上であるか否かを判定する。例えば、その所定の閾値は、0.05に設定される。なおこの閾値は、利用者が正面方向を向いている場合よりも低く設定される。この理由は、利用者が横方向を向いている場合の方が、平坦な手の甲が大きく写り込むため、利用者が正面を向いているときのエッジ数よりも利用者が横方向を向いているときのエッジ数の方が低くなるという知見に基づいている。
手領域検出部２４は、手候補領域の面積S_hに対するエッジ画素の数E_hの比E_h/S_hが所定の閾値未満の場合、その手候補領域は利用者の手ではないと判定する。一方、その比E_h/S_hが所定の閾値以上の場合には、手領域検出部２４は、その手候補領域は利用者の手であると判定する。
手領域検出部２４は、利用者の手が検出されたか否かの判定結果を示す手領域検出結果信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、その手領域検出結果信号を耳領域検出部２５及び判定部２６に通知する。

耳領域検出部２５は、顔向き判定手段２３により、利用者が監視カメラ１３０に対して横方向を向いていると判定された場合、通話有無判定の一つの基準として、顔領域と部分的に重複して設定された耳探索領域から利用者の耳を検出できるか否か判定する。一般に、利用者が携帯電話機を使用して通話中であれば、その利用者は、携帯電話機を耳に近づける。そのため、利用者が横方向を向いた監視画像上では、利用者の耳は携帯電話機または利用者の手に隠れて見えなくなる。一方、利用者が手を単に顔に近づけただけのような場合には、その手によって利用者の耳が隠されないことが多い。そのため、監視画像上に耳が写る可能性が高い。このように、監視画像上で耳を検出できるか否かは、利用者が携帯電話機を使用して通話を行っていることを検知するための有用な情報となる。

図４は、耳の探索領域の一例を示す図である。耳領域検出部２５は、耳の誤検出を防止するために、手の探索領域よりも狭い領域に限定して耳の探索領域を設定する。そのために、耳領域検出部２５は、人体構造を考慮して、顔特徴点との相対的な位置関係により耳が存在すると考えられる領域に耳の探索領域を設定する。具体的には、図４に示すように、耳の探索領域４１０は、顔検出部２２により検出された顔特徴点のうち、眉尻点４０１を通る水平線を上端とし、口角点４０２を通る水平線が下端となるように設定される。また耳の探索領域４１０の左右端は、それぞれ、その探索領域４１０の上下端の間に含まれる顔領域を完全に含むように設定される。
なお、耳領域検出部２５は、耳の探索領域の上下端を、検出された顔領域の上下端に基づいて決定してもよい。例えば、耳領域検出部２５は、耳の探索領域が顔領域の垂直方向の中央の1/3となるように、耳の探索領域の上下端を設定してもよい。

耳領域検出部２５は、耳の探索領域内で、監視画像に対応するエッジ画像と耳の輪郭形状に相当するテンプレートとのテンプレートマッチングを実行する。なお、そのようなテンプレートは、例えば、楕円の円弧状のエッジ線を表す。そしてそのようなテンプレートは、予め複数準備され、記憶部５に記憶される。そして耳領域検出部２５は、耳の輪郭に相当するテンプレートとの一致度が所定の閾値以上となる監視画像上の領域を耳候補領域として検出する。具体的には、耳候補領域は、そのテンプレートとの一致度が所定の閾値以上となる監視画像上の位置における、そのテンプレートが表す円弧状のエッジ線と、それらの両端点同士を結ぶ線分で囲まれた領域である。なお、所定の閾値は、例えば、一致度の最大値に0.7を乗じた値とすることができる。

次に、耳領域検出部２５は、検出された耳候補領域内に存在する肌色の画素を検出する。なお、肌色の画素は、顔検出部２２に関して説明したように、その画素の色情報がHSV表色系で表される場合、色相Hの成分が例えば0から30といった所定の範囲に含まれる色情報を有する画素である。そして耳領域検出部２５は、検出できた肌色画素の数、すなわち肌色領域の面積が所定の閾値よりも少なければ、その耳候補領域は耳ではないと判定する。なお、その所定の閾値は、例えば、人の顔を斜め前方から見たときの一般的な耳のサイズに0.7〜0.8程度の安全係数を乗じた値とすることができる。
一方、耳領域検出部２５は、肌色領域の面積がその所定の閾値以上であれば、検出できた肌色画素の重心と、耳候補領域に含まれるエッジ画素の重心との距離を求める。監視画像上では、人の耳に相当する領域から検出されるエッジ画素は、耳の構造上、耳全体に対して比較的均等に分布しているため、エッジ画素の重心は耳に相当する領域の重心と略一致する。一方、耳と誤検出する可能性のある、利用者の手に相当する領域では、エッジ画素は指の輪郭部分に集中する傾向があるため、エッジ画素の重心とその領域の重心との距離は相対的に大きくなる。
そこで、耳領域検出部２５は、耳候補領域内に含まれる肌色画素の重心と、耳候補領域に含まれるエッジ画素の重心との距離が所定の閾値以下であれば、それら二つの重心は一致するとみなし、その耳候補領域を利用者の耳であると判定する。一方、その距離が所定の閾値よりも大きければ、それら二つの重心は一致していないとみなし、耳領域検出部２５はその耳候補領域は利用者の耳ではないと判定する。なお、この重心間の距離に関する所定の閾値は、肌色画素の分布とエッジ画素の分布に偏りの差がないと考えられる限界値であり、実験的に最適化される。例えば、その所定の閾値は、耳候補領域の垂直方向の長さの1/4〜1/3に設定される。

なお、耳領域検出部２５は、手領域検出部２４が利用者の手が検出されたことを示す手領域検出結果信号を出力した場合に限定して、耳が検出できるか否かの判定を行ってもよい。
耳領域検出部２５は、耳が検出できたか否かの判定結果を示す耳領域検出結果信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、その耳領域検出結果信号を判定部２６に通知する。

判定部２６は、利用者の手及び耳の検出結果に基づいて、利用者が携帯電話機を用いて通話中か否かを判定する。具体的には、判定部２６は、何れかの時点で取得された監視画像に対して、手領域検出部２４が利用者の手が検出されなかったことを示す判定結果を返すと、制御部６が有するメモリに記憶されるカウンタの値を0にリセットする。また、判定部２６は、利用者が監視カメラ１３０に対して横方向を向いている場合、耳領域検出部２５が利用者の耳が検出されたことを示す判定結果を返していれば、そのカウンタの値を0にリセットする。
一方、判定部２６は、利用者が監視カメラ１３０に対して正面方向を向いている場合、何れかの時点で取得された監視画像に対して、手領域検出部２４が利用者の手が検出されたことを示す判定結果を返すと、カウンタの値を1インクリメントする。また、判定部２６は、利用者が監視カメラ１３０に対して横方向を向いている場合、手領域検出部２４が利用者の手が検出されたことを示す判定結果を返し、かつ、耳領域検出部２５が利用者の耳が検出されなかったことを示す判定結果を返していれば、カウンタの値を1インクリメントする。
そのため、順次取得された監視画像に対して連続的に利用者の手が検出されると、カウンタの値が増加する。そしてカウンタの値が所定値に達すると、すなわち、一定期間の間連続して利用者の手が利用者の顔領域の近傍あるいは顔領域との重複領域で検出されると、判定部２６は、利用者が携帯電話機を用いて通話中であると判定する。なお、所定値は、例えば、詐欺行為者からの指示を利用者が聞くのに必要と考えられる期間（例えば、１分間）の間に取得される監視画像の枚数に設定されることが好ましい。

判定部２６は、利用者が携帯電話機を用いて通話中であると判定されたときに、通話中であることが検知されたことを示す通話検出信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、その通話検出信号を制御部６に通知する。一方、カウンタの値が所定値未満であれば、判定部２６は、利用者が通話中か否か分からないため、判定結果を携帯使用検知部１１に通知しない。

図５及び図６に示したフローチャートを参照しつつ、制御部６の携帯使用検知部１１による通話検知処理の動作手順を説明する。なお、この動作手順は、制御部６において実行されるコンピュータプログラムによって制御される。

図５に示すように、まず、監視画像が取得されると、エッジ画像生成部２１は、監視画像から、利用者の各部の輪郭に対応するエッジ画素を抽出したエッジ画像を作成する（ステップＳ１０１）。エッジ画像生成部２１は、作成したエッジ画像を手領域検出部２４及び耳領域検出部２５へ渡す。また顔検出部２２がエッジ画像に基づいて顔特徴点を検出する場合には、エッジ画像生成部２１は、顔検出部２２にもエッジ画像を渡す。
次に、顔検出部２２は、利用者の顔領域を検出する処理を実行し、顔領域が検出できたか否か判定する（ステップＳ１０２）。ステップＳ１０２において、顔領域が検出できなかった場合、顔検出部２２は、顔検出不能信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、制御をステップＳ１０７に移行する。
一方、ステップＳ１０２において、顔領域が検出された場合、顔向き判定部２３は、利用者が監視カメラ１３０に対して正面を向いているか、あるいは横方向を向いているか判定する（ステップＳ１０３）。そして顔向き判定部２３は、その判定結果を手領域検出部２４に通知する。ステップＳ１０３において、利用者が正面を向いていると判定された場合、手領域検出部２４は、顔領域の近傍に手の探索領域を設定する（ステップＳ１０４）。そして手領域検出部２４は、利用者が正面を向いている場合の判定基準に従って手領域検出処理を実行する（ステップＳ１０５）。そして手領域検出部２４は、その手領域検出処理の結果、手領域が検出できたか否か判定する（ステップＳ１０６）。ステップＳ１０６において、手領域が検出できなかった場合、手領域検出部２４は、利用者の手が検出されなかったことを示す手領域検出結果信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、制御をステップＳ１０７に移行する。一方、ステップＳ１０６において、手領域が検出できた場合、手領域検出部２４は、利用者の手が検出されたことを示す手領域検出結果信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、制御をステップＳ１０９に移行する。

また、図６に示すように、ステップＳ１０３において、利用者が正面を向いていないと判定された場合、顔向き判定部２３は、その判定結果が利用者が横方向を向いていることを示しているか否か調べる（ステップＳ１２１）。そして利用者が正面方向を向いているとも、横方向を向いているとも判定できなかった場合（ステップＳ１２１−Ｎｏ）、携帯使用検知部１１は、制御をステップＳ１０７に移行する。

一方、ステップＳ１２１において、利用者が横方向を向いていると判定された場合、手領域検出部２４は、顔領域と重なるように手の探索領域を設定する（ステップＳ１２２）。そして手領域検出部２４は、利用者が横方向を向いている場合の判定基準に従って手領域検出処理を実行する（ステップＳ１２３）。そして手領域検出部２４は、その手領域検出処理の結果、手領域が検出できたか否か判定する（ステップＳ１２４）。ステップＳ１２４において、手領域が検出できなかった場合、手領域検出部２４は、利用者の手が検出されなかったことを示す手領域検出結果信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、制御をステップＳ１０７に移行する。

一方、ステップＳ１２４において、手領域が検出された場合、手領域検出部２４は、利用者の手が検出されたことを示す手領域検出結果信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、耳領域検出部２５にその手領域検出結果信号を通知する。そして、耳領域検出部２５は、利用者の耳の検出処理を実行する。具体的には、耳領域検出部２５は、先ず、顔検出部２２により検出された顔特徴点のうち、眉尻点を通る水平線を上端とし、口角点を通る水平線を下端とする耳の探索領域を設定する（ステップＳ１２５）。次に、耳領域検出部２５は、設定された耳の探索領域内で、テンプレートマッチングにより耳候補領域を求め、その耳候補領域内の肌色領域を検出する（ステップＳ１２６）。そして耳領域検出部２５は、検出された肌色領域の面積が所定の閾値以上か否か判定する（ステップＳ１２７）。肌色領域の面積が所定の閾値未満であれば、耳領域検出部２５は、耳は検出できなかったと判定し、その判定結果を携帯使用検知部１１に通知する。そして携帯使用検知部１１は、制御をステップＳ１０９に移行する。なお、耳領域検出部２５が耳候補領域を検出できなかった場合も、携帯使用検知部１１は、制御をステップＳ１０９に移行する。

一方、ステップＳ１２７において、肌色領域の面積が所定の閾値以上の場合、耳領域検出部２５は、肌色領域の重心と、耳候補領域に含まれるエッジ画素の重心との距離を求める（ステップＳ１２８）。そして耳領域検出部２５は、その距離に基づいて、肌色領域の重心と、耳候補領域に含まれるエッジ画素の重心が一致するか否か判定する（ステップＳ１２９）。二つの重心間の距離が所定の閾値以下である場合、耳領域検出部２５は、二つの重心は一致すると判定する（ステップＳ１２９−Ｙｅｓ）。そして耳領域検出部２５は、耳が検出されたことを示す耳領域検出結果信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、制御をステップＳ１０７に移行する。
一方、ステップＳ１２９において、二つの重心間の距離が所定の閾値より大きい場合、耳領域検出部２５は、二つの重心は一致しないと判定する（ステップＳ１２９−Ｎｏ）。そして耳領域検出部２５は、耳が検出されなかったことを示す耳領域検出結果信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、制御をステップＳ１０９に移行する。

ステップＳ１０７では、判定部２６は、カウンタを０にリセットする。そして携帯使用検知部１１は、記憶部５に記憶されている人体検知フラグがＯＮか否か判定する（ステップＳ１０８）。ステップＳ１０８において、人体検知フラグがＯＦＦであれば、携帯使用検知部１１は通話検知処理を終了する。一方、ステップＳ１０８において、人体検知フラグがＯＮであれば、携帯使用検知部１１は制御をステップＳ１０１に戻し、新たに取得された監視画像に対して通話検知処理を実行する。

一方、ステップＳ１０９では、判定部２６はカウンタを１インクリメントする。そして判定部２６は、カウンタの値が所定値に到達したか否か判定する（ステップＳ１１０）。ステップＳ１１０において、カウンタの値が所定値に到達していない場合、携帯使用検知部１１は制御をステップＳ１０１に戻し、新たに取得された監視画像に対して通話検知処理を実行する。
一方、ステップＳ１１０において、カウンタの値が所定値に到達している場合、判定部２６は、利用者が携帯電話機を用いて通話中であると判定する（ステップＳ１１１）。そして判定部２６は、通話中であることが検知されたことを示す通話検出信号を携帯使用検知部１１に返し、携帯使用検知部１１は、その通話検出信号を制御部６に通知する。そして判定部２６は、カウンタを０にリセットし（ステップＳ１１２）、その後、携帯使用検知部１１は通話検知処理を終了する。
なお、各ステップにおける処理の詳細は、携帯使用検知部１１の各部の説明において説明したので、ここではその説明を省略する。

異常報知部１２は、後述するオートホン使用フラグがＯＦＦに設定されていれば、携帯使用検知部１１から通話検出信号が通知されているか否かを調べる。そして異常報知部１２は、携帯使用検知部１１から通話検出信号が通知されている場合、すなわち、利用者が携帯電話機を用いて通話中であると判定された場合、取引端末１００から金銭を振り込ませる詐欺行為に注意を促す警報音声データを記憶部５から読み込む。そして異常報知部１２は、警報音声データを音声出力部３を介してスピーカ１４０へ出力し、利用者に警報を発する。異常報知部１２は、警報音声データの出力を所定回数繰り返して実行した後、警報音声を通知する処理を終了する。あるいは、異常報知部１２は、携帯使用検知部１１から通話検出信号が通知されている間、警報音声データを繰り返しスピーカ１４０へ出力してもよい。なお、異常報知部１２が行う警報を報知する処理は、警報音声データの出力に限らず、例えば、異常報知部１２が、オートホン制御装置１５１に異常信号を出力し、これを受信したオートホン制御装置１５１が、通信回線１７０を介してＡＴＭセンタ装置１８０へ利用者が詐欺行為に遭っている可能性が高い旨を通知する処理であってもよい。
一方、オートホン使用フラグがＯＮに設定されていれば、利用者がオートホン１５０を用いてオペレータと通話していることを携帯電話機を用いた通話と誤認識して警報を発することがないように、異常報知部１２は警報音声データをスピーカ１４０へ出力しない。

フラグ処理部１３は、携帯使用検知部１１が通話検知処理を開始するためのトリガとなる人体検出フラグと、異常報知部１２が警報音声データを出力するか否かの判定基準となるオートホン使用フラグの値を設定する。
具体的には、フラグ処理部１３は、センサ１６０から、取引端末１００を操作する利用者が検知されたことを示す人体検知信号を受信している間、記憶部５に記憶されている人体検出フラグをＯＮに設定する。一方、フラグ処理部１３は、人体検知信号を受信しなくなると、人体検出フラグをＯＦＦに書き換える。
また、フラグ処理部１３は、オートホン制御装置１５１からオートホン１５０が使用されていることを示すオートホン使用信号を受信している間、あるいは、オートホン１５０からオフフック信号を受信している間、記憶部５に記憶されているオートホン使用フラグをＯＮに設定する。一方、フラグ処理部１３は、オートホン使用信号及びオフフック信号を受信しなくなると、オートホン使用フラグをＯＦＦに書き換える。

図７に示したフローチャートを参照しつつ、取引監視装置１による処理全体の動作手順を説明する。なお、この動作手順は、制御部６において実行されるコンピュータプログラムによって制御される。
取引端末１００が起動されたとき、取引監視装置１も起動され、処理が開始される。そして、制御部６は、記憶部５に記憶された人体検知フラグがＯＮに設定されているか否か判定する（ステップＳ２０１）。ステップＳ２０１において、人体検知フラグがＯＦＦであれば（ステップＳ２０１−Ｎｏ）、制御部６は、制御をステップＳ２０６に進める。一方、ステップＳ２０１において、人体検知フラグがＯＮであれば（ステップＳ２０１−Ｙｅｓ）、制御部６の携帯使用検知部１１は、通話検知処理を実行する（ステップＳ２０２）。なお、通話検知処理の詳細手順は、図５及び図６とともに上述したとおりである。そして制御部６は、携帯使用検知部１１からの通話検出信号を参照して、利用者が携帯電話を使用して通話しているか否かを判定する（ステップＳ２０３）。

ステップＳ２０３において、利用者が携帯電話を使用して通話していると判定された場合（ステップＳ２０３−Ｙｅｓ）、制御部６の異常報知部１２は、スピーカ１４０へ警報音声データの出力を開始する（ステップＳ２０４）。音声データの出力開始後、制御部６は、記憶部５に記憶された人体検知フラグがＯＮに設定されているか否かを判定する（ステップＳ２０５）。この判定で、人体検知フラグがＯＮである場合、制御部６は、人体検知フラグがＯＦＦになるまで、ステップＳ２０５の処理をループさせる。これは、同一の利用者に対して警告音声データを何度も出力しないようにするためである。一方、ステップＳ２０３において、利用者が携帯電話を使用して通話していると判定されなかった場合（ステップＳ２０３−Ｎｏ）、あるいはステップＳ２０５にてＮｏと判定された後、制御部６は、取引端末１００がサービスを終了したか否か判定する（ステップＳ２０６）。なお、制御部６は、取引端末１００の営業時間の終了時刻になったこと、あるいは、取引端末１００からシャットダウンする旨の通知を受けることにより、取引端末１００がサービスを終了したと判定できる。ステップＳ２０６において、取引端末１００がサービスを終了していない場合、制御部６は、制御をステップＳ２０１に戻し、ステップＳ２０１〜Ｓ２０６の処理を繰り返す。一方、ステップＳ２０６において、取引端末１００がサービスを終了した場合、取引監視装置１の処理を終了し、取引監視装置１の電源を切る。

以上説明してきたように、本発明の一実施形態である、電話使用検出装置が組み込まれた取引監視装置は、ATMなど、金銭の取引を行う取引端末に設置される。そしてこの取引監視装置は、取引端末の利用者を撮影した画像から利用者の顔領域を検出し、その顔領域の近傍に手が存在するか否かを調べることにより、利用者が携帯電話機を使用しているか否かを判定する。そしてこの取引監視装置は、利用者が携帯電話機を使用していると判定したときに、利用者に対して詐欺行為の可能性がある旨の警報を発する。特にこの取引監視装置は、利用者の顔の向きを判定するとともに、利用者が監視カメラに対して横方向を向いているとき、利用者の耳が監視画像上に写っているか否かを判定する。そしてこの取引監視装置は、監視画像上に耳が見えているときは、利用者は通話していないと判定する。これにより、この取引監視装置は、利用者が自分の手を単に顔に近づけたときと通話しているときとを識別できるので、利用者が横方向を向いているときでも、高精度で利用者が携帯電話機を使用して通話しているか否かを判定できる。さらに、この取引監視装置は、耳の特徴に基づく耳検出処理を実行するので、耳を利用者の手と誤って認識する可能性を低減し、誤報の発生を防止できる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、携帯使用検知部１１は、オートホン使用フラグがＯＮに設定されている間、通話検知処理の実行を中断してもよい。
また、携帯使用検知部１１の耳領域検出部２５は、手領域検出部２４により検出された手領域を耳候補領域として、その耳候補領域内の肌色領域の重心とエッジ画素の重心とが一致する場合に、耳が検出されたと判定してもよい。
また、本発明に係る電話使用検出装置は、上記の実施形態のような、取引端末操作時の利用者の携帯電話機を用いた通話を検出するための使用に限定されない。本発明に係る電話使用検出装置は、病院内など、携帯電話機の使用が禁止される場所に設置されたカメラにより取得された画像データに基づいて、人が携帯電話機を用いて通話していることを検出し、その検出結果に応じて注意を促すメッセージを自動的に放送するためにも好適に使用できる。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１００ 取引端末
１１０ 筐体
１２０ タッチパネルディスプレイ
１３０ 監視カメラ
１４０ スピーカ
１５０ オートホン
１５１ オートホン制御装置
１ 取引監視装置
２ 画像取得部
３ 音声出力部
４ 通信部
５ 記憶部
６ 制御部
１１ 携帯使用検知部
１２ 異常報知部
１３ フラグ処理部
２１ エッジ画像生成部
２２ 顔検出部
２３ 顔向き判定部
２４ 手領域検出部
２５ 耳領域検出部
２６ 判定部

Claims (4)

1. 送金処理が可能な自動取引端末の利用者の行動を監視する取引監視装置であって、
   前記自動取引端末に正対する利用者を撮影するように設置された監視カメラより取得した画像データから利用者の顔に対応する顔領域を抽出する顔検出部と、
   前記画像データから、利用者が前記監視カメラに対して正面方向を向いているか、横方向を向いているかを判定する顔向き判定部と、
   前記顔領域と重複するように設定された第１の探索領域から利用者の手を検出する手領域検出部と、
   前記顔領域において利用者の耳に対応する耳領域があるか否か判定する耳領域検出部と、
   前記顔向き判定部により利用者が横方向を向いていると判定された場合、前記手領域検出部が利用者の手を検出するとともに前記耳領域検出部が前記画像データに前記耳領域はないと判定すると、利用者が携帯電話機を使用して通話中であると判定する判定部と、
   前記判定部により、利用者が携帯電話機を使用して通話中であると判定されると警報を報知する異常報知部と、
   を有することを特徴とする取引監視装置。
2. 前記耳領域検出部は、耳の輪郭に沿った形状を有する耳候補領域を検出し、当該耳候補領域内の肌色領域の重心と、当該耳候補領域内のエッジ画素の重心が略一致する所定範囲内にある場合、当該耳候補領域は利用者の耳であると判定する、請求項１に記載の取引監視装置。
3. 前記耳領域検出部は、顔特徴点と耳との相対的な位置関係により設定された、前記第１の探索領域よりも狭い第２の探索領域内で前記耳領域があるか否か判定する、請求項１または２に記載の取引監視装置。
4. 人物を撮影するように設置された監視カメラより取得した画像データから当該人物が携帯電話機を使用して通話中か否か判定する電話使用検出装置であって、
   前記画像データから前記人物の顔に対応する顔領域を抽出する顔検出部と、
   前記画像データから、前記人物が前記監視カメラに対して正面方向を向いているか、横方向を向いているかを判定する顔向き判定部と、
   前記顔領域と重複するように設定された探索領域から利用者の手を検出する手領域検出部と、
   前記顔領域に利用者の耳に対応する耳領域があるか否か判定する耳領域検出部と、
   前記顔向き判定部により利用者が横方向を向いていると判定された場合、前記手領域検出部が利用者の手を検出するとともに前記耳領域検出部が前記画像データに前記耳領域はないと判定すると、利用者が携帯電話機を使用して通話中であると判定する判定部と、
   を有することを特徴とする電話使用検出装置。

Images