JP5339941B2 - 取引監視装置 - Google Patents

Description

本発明は、取引監視装置に関し、特に、自動取引システムの取引端末の利用者を撮影した画像から、利用者が特定の行動をとっているか否かを判定する取引監視装置に関する。

従来より、複数の利用者間での金銭取引において、金融機関またはコンビニエンスストアなどに設置された取引端末、例えば、現金自動預け払い機（ATM、Automated Teller Machine）を用いた振込み手続きといった送金処理が広く利用されている。
ところが、近年、この取引端末による送金処理を利用して、家族または親族などの身内の者を装って、取引端末の利用者に現金を送金させる詐欺行為が増加しており、社会的に問題となっている。
また、同様に、公的団体の職員を装って、医療費または税金が還付される等、払い過ぎた金銭が返金されるかのように偽り、利用者に言葉巧みに取引端末を操作させて、利用者本人が気付かないうちに、他人（詐欺行為者）の口座に金銭を振り込ませる詐欺行為も急増している。
このような問題に対して、利用者が送金処理を行うときに金銭の受取人の正当性を判別することで、詐欺行為の被害を未然に防止しようとするシステムが提案されている（例えば、特許文献１を参照）。

特許文献１に開示された自動取引システムは、取引装置にて送金処理を行う振込人と、この送金を受け取る受取人とが通話するハンドセットを備える。そしてこの自動取引システムは、このハンドセットを通じて取得される受取人の声紋データを、予め顧客データベースに記憶された振込人の身内の者の声紋データと照合して、その照合結果で振込取引の可否を判断することにより、詐欺被害を未然に防止する。

特開２００７−８０１２３号公報

しかしながら、特許文献１に開示された自動取引システムは、詐欺被害を防止するために、正当な取引であっても、振込手続時に受取人の声紋照合を必ず行わなければならない。そのため、この自動取引システムは、取引装置にて送金処理を行う全ての利用者について、自己の送金先として考えられ得る全ての人物の声紋データを取得して、顧客データベースに事前に登録しておかなければならない。もし、送金先の人物の声紋データが顧客データベースに登録されていなければ、利用者は、この自動取引システムを利用してその人物の口座に対して送金処理を行うことができないので、円滑な金銭取引に支障をきたすおそれが生じる。

そこで、本発明は、自動取引システムの正当な利用者間の円滑な金銭取引を阻害することなく、そのシステムの取引端末による送金処理を悪用した詐欺行為を防止する取引監視装置を提供することを目的とする。

一般に、家族または親族などの身内の者を装い金銭の送金を要求する詐欺行為では、聴力の衰えた高齢者が被害者として狙われることが多い。その詐欺行為の手口として、詐欺行為者は、被害者の身内などを装って被害者が取引端末の前まで出向いた後に詐欺行為者自身まで電話するように被害者を誘導する。被害者が詐欺行為者を信用した場合、その被害者は詐欺行為者の指示通りに取引端末の前で携帯電話機を使って詐欺行為者に電話を掛けてしまう。そして被害者は、詐欺行為者からの電話を通じた取引端末の操作方法の具体的な指示に従って取引端末を操作してしまい、詐欺と気付かずに金銭を詐欺行為者の口座に送金してしまう。

また、還付金があるかのように偽る詐欺行為についても同様であり、被害者として狙われるのは取引端末の操作に不慣れな高齢者であることが多い。この場合の詐欺行為の手口として、詐欺行為者は、社会保険事務所または自治体の職員、あるいは税務署員を装って、医療費または保険金、あるいは税金が還付される等、払い過ぎた金銭が取引端末を操作することによって返還されるかのように偽って被害者を取引端末まで誘導し、被害者が取引端末の前まで出向いた後に詐欺行為者自身まで電話させる。被害者が詐欺行為者を信用した場合、上述した詐欺行為の類型と同様に、その被害者は詐欺行為者の指示通りに取引端末の前で携帯電話機を使って詐欺行為者に電話を掛けてしまう。そして詐欺行為者は、取引端末まで出向いた被害者から電話が掛かってくると、「私の云う通りにATMを操作して下さい」等と言葉巧みに被害者に取引端末を操作させ、例えば振込金額の入力画面で、「ここで暗証番号を入力します」などと偽り振込金額を入力させる。そのため、被害者は、金銭が還付されるものと思いながら取引端末を操作しても、実際は本人が気付かないうちに、他人（詐欺行為者）の口座に送金を行ってしまう。

本発明に係る取引監視装置は、上述した取引端末の送金処理を悪用した詐欺行為は、被害者が取引端末の前で携帯電話機を通じての詐欺行為者からの指示に従って取引端末を操作することにより行われる点に着目したものである。
さらに、このような詐欺行為において、被害者が携帯電話機で加害者からの指示を受けながらATMなどの取引端末を操作する状況を考えると、被害者が携帯電話機で話す行為には、次のような特徴がある。一般に、詐欺行為の被害者は、加害者である通話相手から携帯電話機を通じて送金のために必要なATM操作の指示を聞きながら、ATMにおいて送金のための操作を行う。したがって、ATMの前で詐欺行為に遭っている被害者が話す言葉は、加害者の指示に対する応答がほとんどであり、例えば「はい」「ええ」「押しました」など、短いフレーズの言葉を単発的に発することが多いという特徴がある、つまり、詐欺行為の被害者であるATMの利用者は、携帯電話機を通じた加害者との通話中、加害者からの指示を聞いている時間が長く、自身が言葉を発する時間は短い。本発明に係る取引監視装置は、この特徴についても着目するものである。

かかる課題を解決するための本発明は、送金処理が可能な自動取引端末の利用者の行動を監視する取引監視装置を提供する。本発明に係る取引監視装置は、自動取引端末に正対する利用者を撮影するように設置された監視カメラより順次取得した画像データからその利用者の顔に対応する顔領域を抽出する顔検出部と、顔領域から利用者の口領域を検出する口領域検出部と、検出された利用者の口領域の面積を算出し、その算出した面積と前記順次取得した画像データのうちの過去に取得された画像データから検出されたその利用者の口領域の面積との差が所定以上であれば口が開閉したと判定する口開閉判定部と、顔領域が抽出された後の所定期間中に口開閉判定部が口が開閉したと判定した場合、利用者が携帯電話機を使用して通話中であると判定する判定部と、判定部により、利用者が携帯電話機を使用して通話中であると判定されると、警報を報知する異常報知部と、を有する。

この取引監視装置は、さらに、顔検出部により検出された顔領域を基準として設定される探索領域から利用者の手を検出する手領域検出部を備え、判定部は、所定期間中に順次取得された画像データのそれぞれから手領域検出部が利用者の手を検出し、かつ当該所定期間中に口開閉判定部が口が開閉したと判定した場合、利用者が携帯電話機を使用して通話中と判定することが好ましい。

また、判定部は、所定期間内に口開閉判定部が口が開閉したと判定した回数が所定回数より小さい場合に通話中と判定することが好ましい。ここで、この所定回数は、所定期間内に取得される画像データの枚数の半分より小さいことが好ましい。さらに、この所定回数は、所定期間内に取得される画像データの枚数の１／６であることが好ましい。

また、本発明に係る取引監視装置において、取引監視装置は、さらに、自動取引端末に併設された通話装置が使用されたことを検知する検知部を備え、検知部が通話装置の使用を検知することが好ましい。

また本発明の他の形態によれば、人物を撮影するように設置された監視カメラより取得した画像データからその人物が携帯電話機を使用して通話中か否か判定する電話使用検出装置が提供される。本発明に係る電話使用検出装置は、監視カメラより順次取得した画像データから人物の顔に対応する顔領域を抽出する顔検出部と、顔領域から利用者の口領域を検出する口領域検出部と、検出された利用者の口領域の面積を算出し、その算出した面積と順次取得した画像データのうちの過去に取得された画像データから検出されたその利用者の口領域の面積との差が所定以上であれば口が開閉したと判定する口開閉判定部と、顔検出部により検出された顔領域を基準として設定された探索領域から人物の手を検出する手領域検出部と、所定期間中に順次取得された画像データのそれぞれから、手領域検出部が人物の手を検出し、かつ所定時間中に口開閉判定部が口が開閉したと判定した場合、人物が携帯電話機を使用して通話中であると判定する判定部と、判定部により、人物が携帯電話機を使用して通話中であると判定されると、警報を報知する異常報知部と、を有する。

本発明に係る取引監視装置は、自動取引システムの正当な利用者間の円滑な金銭取引を阻害することなく、そのシステムの取引端末による送金処理を悪用した詐欺行為を防止することができるという効果を奏する。

本発明の一つの実施形態に係る取引監視装置を含む自動取引システムの概略構成図である。 本発明の一つの実施形態に係る取引監視装置の概略構成図である。 は、利用者が正面方向を向いている場合に設定される、手の探索領域の一例を示す図である。 本発明の一つの実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、通話検知処理の動作を示すフローチャートである。 本発明の一つの実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、通話検知処理の動作を示すフローチャートである。 本発明の一実施形態の取引監視装置１における携帯使用検知部１１の携帯電話使用の検知処理とATMの利用者の行動とのタイミングを示すタイミングチャートである。 本発明の一つの実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、取引監視装置の全体処理の動作を示すフローチャートである。

以下、図を参照しつつ、一つの実施形態による、電話使用検出装置が組み込まれた取引監視装置について説明する。
この取引監視装置は、ATMなど、金銭の取引を行う自動取引システムの取引端末に設置される。そしてこの取引監視装置は、取引端末の利用者を撮影した画像から利用者の顔領域を検出し、その顔領域の近傍に手が存在するか否かを調べることにより、利用者が携帯電話機を使用して通話しているか否かを判定する。そしてこの取引監視装置は、利用者が携帯電話機を使用して通話していると判定したときに、利用者に対して詐欺行為の可能性がある旨の警報を発する。特にこの取引監視装置は、詐欺行為の被害者であるATMの利用者は、携帯電話機による加害者との通話中、加害者からの指示を聞いている時間が長く、自身が言葉を発する時間は短いという特徴を利用している。そこで、本実施例では、利用者の手が顔の近傍で検出され、携帯電話機を使用していると推測される場合、利用者が所定時間Ｔ内に発話している時間より聞いている時間の方が長いか否かを測定する。こうして、友人などの通話相手と均等に会話している通常の利用者と、詐欺被害に遭い加害者と会話している可能性の高い利用者とを高精度に判別しようとするものである。

図１は、一つの実施形態による、電話使用検出装置が組み込まれた取引監視装置を含む自動取引システムの概略構成図である。図１に示すように、金融機関の店舗などに設置された取引端末１００は、筐体１１０と、タッチパネルディスプレイ１２０と、通帳またはキャッシュカードなどの受け入れ口１１１、１１２と、金銭の受け入れ・払い出し口１１３とを有する。
通帳またはキャッシュカードなどの受け入れ口１１１、１１２は、筐体１１０の正面上方に形成されており、取引端末１００は、その受け入れ口１１１に挿入された通帳に記帳したり、受け入れ口１１２に挿入されたキャッシュカードから所定の情報を取得したりすることが可能となっている。金銭の受け入れ・払い出し口１１３は、筐体１１０の正面のテーブル状に形成された部位に形成されており、この受け入れ・払い出し口１１３を介して、利用者は金銭の預け入れ及び払い出しをすることが可能となっている。

タッチパネルディスプレイ１２０は、筐体１１０の正面のテーブル状に形成された部位に、上方に向けて情報が表示されるように設置される。そしてタッチパネルディスプレイ１２０は、取引端末１００の利用者に対して、振込、入金、出金などの各種処理に応じた操作ボタン及び操作案内を表示する。そして利用者が、タッチパネルディスプレイ１２０に表示された操作ボタンを押下することにより、タッチパネルディスプレイ１２０は、押下された操作ボタンに応じた操作信号あるいは、暗証番号、振込先、金額などを表す情報を取得する。そして取引端末１００は、タッチパネルディスプレイ１２０から取得した操作信号または情報を、通信回線（図示せず）を介して接続されたサーバ（図示せず）に送信し、サーバからの応答信号に従って、利用者が選択した操作に対応する処理を実行する。

取引端末１００の内部または近傍には、監視カメラ１３０と、スピーカ１４０と、センサ１６０とが設置され、これらの機器が取引監視装置１と接続される。
監視カメラ１３０は、取引端末１００の利用者の頭部から肩にかけての領域を正面から撮影することが可能なように、筐体１１０の正面上方に設置される。なお、監視カメラ１３０は、利用者の頭部から肩にかけての領域を正面から撮影することが可能であれば、取引端末１００と別個に、例えば取引端末１００の背面に隣接する壁面に設置されてもよい。また監視カメラ１３０は、CCDまたはC-MOSなど、可視光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などを有する。そして監視カメラ１３０は、一定の時間間隔（例えば１／５秒）ごとに撮影を行って、利用者を撮影した画像を順次取引監視装置１へ出力する。

スピーカ１４０は、筐体１１０の上方に設置される。またスピーカ１４０は、取引監視装置１と接続され、取引監視装置１から受け取った警報音声信号に応じた音声を発する。

さらに、取引端末１００の近傍、例えば、取引端末１００が設置されたブースの壁面には、取引端末１００を操作する利用者を検知するためのセンサ１６０が設置される。このセンサ１６０は、例えば、予め取引端末１００の正面の所定空間に設定された検知領域から放射される赤外線を受光し、その受光量の変化によって利用者を検知する人感センサとすることができる。あるいは、センサ１６０は、予め取得した背景画像とカメラにより撮影した画像との差分によって得られた変化領域から利用者を検知する画像センサ、あるいはマットセンサ若しくは近接センサなどであってもよい。そしてセンサ１６０は、取引監視装置１と接続され、利用者を検知している間、その旨を示す人体検知信号を取引監視装置１へ出力し、利用者を検知しなくなると、人体検知信号の出力を停止する。

また、取引端末１００の近傍、例えば、取引端末１００が設置されたブースの壁面には、オートホン１５０が設置される。このオートホン１５０は、プロセッサ、半導体メモリ、通信インターフェース及びその周辺回路を有するオートホン制御装置１５１と接続されている。そしてオートホン１５０の受話器が外されると、オートホン制御装置１５１は、通信回線１７０を介してオートホン制御装置１５１に接続された、遠隔地のATMセンタに設置されたATMセンタ装置１８０に向けて自動発信処理を実行し、利用者がオートホン１５０を介してATMセンタ装置１８０のオペレータと通話することを可能にする。
また、オートホン制御装置１５１は、取引監視装置１とも接続され、利用者がオートホン１５０を使用している場合に、その旨を示すオートホン使用信号を取引監視装置１へ出力する。具体的には、オートホン制御装置１５１は、オートホン１５０から受話器が外れていることを示すオフフック信号を受信している間、オートホン使用信号を取引監視装置１へ出力する。
なお、オートホン１５０と取引監視装置１を直接接続し、取引監視装置１は、オートホン１５０からオフフック信号を直接受信することにより、オートホン１５０が使用中であることを確認できるようにしてもよい。

次に、本発明の一実施形態に係る、電話使用検出装置が組み込まれた取引監視装置１について説明する。
図２は、取引監視装置１の概略構成図である。図２に示すように、取引監視装置１は、画像取得部２と、音声出力部３と、通信部４と、記憶部５と、制御部６とを有する。さらに取引監視装置１は、時間を計時するためのタイマを有することがある。

画像取得部２は、画像入力インターフェースであり、例えば、ビデオ入力端子などで構成される。そして画像取得部２は、監視カメラ１３０から入力された画像データを取得して制御部６へ渡す。

音声出力部３は、音声出力インターフェースであり、例えば、オーディオ出力端子などで構成される。そして音声出力部３は、制御部６から受け取った警報音声信号をスピーカ１４０へ出力する。

通信部４は、通信インターフェースであり、例えば、イーサネット（登録商標）、ユニバーサルシリアルバス2（USB2）、IEEE802.11a、IEEE1394、RS232Cなどの通信規格に従ったインターフェース及び制御回路などで構成される。そして通信部４は、オートホン制御装置１５１からのオートホン使用信号またはオートホン１５０からのオフフック信号を受信して、それらの信号を制御部６へ渡す。
さらに通信部４は、センサ１６０から受け取った人体検知信号を制御部６へ渡す。
また取引監視装置１と取引端末１００とは、通信部４を介して接続されてもよく、この場合、取引監視装置１の制御部６は、通信部４を介して警報信号などを取引端末１００へ送信してもよい。

記憶部５は、フラッシュメモリなどの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク（HDD）などの記憶装置の少なくとも何れか一つを有する。そして記憶部５は、取引監視装置１で使用される各種のプログラム及びデータを記憶する。
ここで、記憶部５は、制御部６と接続されており、制御部６からの要求に応じて、要求されたデータを制御部６に渡したり、あるいは制御部６から受け取ったデータを記憶したりする。記憶部５は、例えば、そのようなデータとして、センサ１６０によって利用者が検知されているか否かを示す人体検知フラグ、オートホン１５０が使用されているか否かを表すオートホン使用フラグを記憶する。さらに記憶部５は、利用者の手の検索範囲を設定するための検索領域情報、利用者の顔及び手を判定するためのテンプレート及び判定基準情報等を記憶する。また記憶部５は、携帯電話機を使用して取引端末１００から送金させる詐欺行為に注意を促す音声メッセージに対応する音声データを記憶する。さらに記憶部５は、直前のフレームの監視画像から抽出された口領域の面積を記憶する。
なお、記憶部５は、制御部６が有する半導体メモリの記憶領域の一部として実現されてもよい。

制御部６は、プロセッサユニット、RAM及びROMなどの半導体メモリ、及び周辺回路を有する。そして制御部６は、取引監視装置１全体を制御する。また制御部６は、監視カメラ１３０から受け取った画像データに基づいて、利用者が携帯電話機を使用しているか否か判定し、使用している場合には、スピーカ１４０を介して注意を促す。そのために、制御部６は、携帯使用検知部１１と、異常報知部１２と、フラグ処理部１３とを有する。制御部６が有するこれらの各部は、例えば、プロセッサユニット上で実行されるコンピュータプログラムによって実装される機能モジュールである。

携帯使用検知部１１は、監視カメラ１３０から受け取った画像データから、利用者の顔の近傍に利用者の手があるか否かを調べることにより、利用者が携帯電話機を使用しているか否か判定する。そのために、携帯使用検知部１１は、エッジ画像生成部２１と、顔検出部２２と、手領域検出部２３と、口領域検出部２４と、口開閉判定部２５と、判定部２６とを有する。

エッジ画像生成部２１は、監視カメラ１３０から受け取った、利用者が撮影された画像データ（以下監視画像という）から、利用者の各部の輪郭に対応するエッジ画素を抽出する。そのためにエッジ画像生成部２１は、例えば、監視画像に対してsobelフィルタまたはprewittフィルタなどのエッジ検出フィルタを用いた近傍画素間演算を実行する。そしてエッジ画像生成部２１は、近傍画素間演算の結果得られた差分値の絶対値が所定の閾値よりも大きい画素をエッジ画素とする。なお、所定の閾値は、例えば、監視画像の各画素について得られた差分絶対値の平均値とすることができる。また、エッジ画像生成部２１は、エッジ検出フィルタの向きを少なくとも垂直方向と水平方向の２方向に設定し、垂直方向のエッジと水平方向のエッジを検出することが好ましい。そしてエッジ画像生成部２１は、各画素について、得られた各方向の差分絶対値のうち、最大値となる方向をその画素のエッジの向きとする。
エッジ画像生成部２１は、抽出されたエッジ画素を表すエッジ画像を作成する。例えば、エッジ画像では、抽出されたエッジ画素に対応する画素の画素値が、水平方向のエッジであれば1、垂直方向のエッジであれば2で表され、その他の画素の画素値が0で表される。あるいは、エッジ画像生成部２１は、エッジ画像とは別個に、抽出されたそれぞれのエッジ画素の向きを表すエッジ方向データを作成してもよい。
エッジ画像生成部２１は、作成したエッジ画像を手領域検出部２３および口領域検出部２４へ渡す。また顔検出部２２がエッジ画像に基づいて顔特徴点を検出する場合には、エッジ画像生成部２１は、顔検出部２２にもエッジ画像を渡す。

顔検出部２２は、監視画像から利用者の顔が写っている顔領域を検出する。そのために、顔検出部２２は、画像から顔領域を検出する様々な技術の何れかを利用することができる。例えば、監視画像がカラー画像である場合、顔検出部２２は、監視画像の各画素の色情報をHSV表色系の色情報に変換する。そして顔検出部２２は、色相Hの成分が所定の範囲に含まれる色情報を有する画素を肌色画素として抽出する。なお、所定の範囲は、例えば、色相Hの成分の色情報が0から255で表される場合、0から30に設定される。そして顔検出部２２は、肌色画素及び肌色画素で囲まれた領域を候補領域とし、その候補領域から抽出されるHaar-like特徴を用いたAdaboost識別器により、候補領域が顔領域か否か判定する。なお、Haar-like特徴は、入力された画像領域中に任意に設定された複数の隣接矩形領域間の輝度差である。また、Adaboost識別器は、複数の弱識別器と、各弱識別器の判定結果を統合して判定する強識別器とから構成される。

各弱識別器は、入力された画像領域から、それぞれ異なるHaar-like特徴を算出し、算出されたHaar-like特徴に基づいて入力された候補領域が顔領域か否かの識別結果を出力する。例えば、弱識別器は、候補領域が顔領域であると判定した場合、1を出力し、一方、候補領域が顔領域でないと判定した場合、-1を出力する。一方、強識別器は、各弱識別器による出力結果をそれぞれ重み付けして、その重み付け和を求める。そして強識別器は、得られた重み付け和が所定の閾値（例えば、0）よりも高い場合、候補領域が顔領域であると判定する。

また、候補領域中のどの位置に関するHaar-like特徴を識別に利用する弱識別器が使用されるか、及び弱識別器に対する重みは、人物の顔が写っていない複数のサンプル画像と人物の顔が写っている複数のサンプル画像とを用いた事前学習により決定される。学習手順の概略は以下の通りである。
（１）使用可能な全ての弱識別器について、Haar-like特徴の値に基づいて、入力された画像領域に顔が写っているか否かを識別する閾値を設定する。
（２）各サンプル画像に対する重みを決定する。重みの初期値は、各サンプル画像に対して同じ値とする。
（３）全ての弱識別器に対して各サンプル画像を入力して、弱識別器ごとに識別に失敗したサンプル画像に付けられた重みを合計する。そしてその重みの合計を評価値とする。
（４）評価値が最も小さい弱識別器をAdaboost識別器で使用する弱識別器として選択する。そして評価値から選択された弱識別器の出力に付される重みを決定する。
（５）選択された弱識別器が識別に失敗したサンプル画像の重みを大きくする。
（６）（３）〜（５）の手順を繰り返す。
なお、Haar-like特徴及びAdaboost識別器の詳細については、例えば、Paul Viola and Michael Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, vol.1, pp.511-518, 2001に開示されている。

また、顔検出部２２は、監視画像から、人物の顔において特徴的な目領域（両目尻の中点を含む）、鼻尖点、口点、口角点などの顔特徴領域や顔特徴点を抽出することにより、顔領域を検出してもよい。例えば、顔検出部２２は、エッジ画像生成部２１から受け取ったエッジ画像から、顔の輪郭形状に近似した楕円形状のエッジ分布を、パターンマッチングなどを用いて検出する。そして、顔検出部２２は、その楕円形状のエッジ分布に囲まれた領域内に存在するエッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。そしてこれらの顔特徴点が抽出できた場合、顔検出部２２は、その楕円形状のエッジ分布に囲まれた領域を顔領域とする。また顔検出部２２は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに顔検出部２２は、顔領域に相当するテンプレートと監視画像とのテンプレートマッチングを行ってテンプレートと監視画像との相関値を求め、その相関値が所定の閾値以上となる場合、その相関値に対応する監視画像内の領域を顔領域として検出してもよい。

顔検出部２２は、監視画像から顔領域を検出することができた場合、その顔領域を表す情報（例えば、顔領域の外接矩形の左上端点の画素の座標と右下端点の画素の座標）を、手領域検出部２３へ渡す。なお、顔検出部２２は、上述したように顔特徴領域や顔特徴点に基づいて顔領域を検出した際に、口領域、あるいは口点、口角点などの口に関する顔特徴領域や顔特徴点を検出していれば、これらに関する情報を口領域検出部２４や口開閉判定部２５に渡すことができる。一方、顔検出部２２は、監視画像から顔領域を検出することができなかった場合、その旨を示す顔検出不能信号を携帯使用検知部１１に返す。

手領域検出部２３は、顔検出部２２により検出された顔領域の近傍において、利用者の手が検出できるか否か判定する。そこでまず、手領域検出部２３は、利用者が携帯電話機を利用している場合、利用者の顔の側面に手を近づけることを考慮して、手の探索領域を設定する。

図３は、検出された利用者の顔領域に基づいて設定される手の探索領域の一例を示す。例えば、図３に示すように顔領域が検出されている場合、手の探索領域３２０は、顔領域３１０の側面に隣接し、顔領域３１０と手の探索領域３２０はほぼ重ならないように設定される。利用者が携帯電話機を用いて通話する場合、その利用者は携帯電話機を耳に近づける。そのため、利用者が正面を向いていれば、携帯電話機を持つ手は顔の横にあると想定されるためである。また、手の探索領域３２０の上端は、顔領域３１０の高さ方向の中心に設定され、探索領域３２０の下端は、通話中に利用者が手を置くと考えられる位置の下端を探索領域３２０に含むように、例えば、監視画像３００の下辺に接触するように設定される。また、探索領域３２０の左右端は、利用者の両肩が含まれると想定される範囲を含むように設定される。例えば、探索領域３２０の左右端は、それぞれ、顔領域３１０の水平方向の中心から、顔領域３１０の幅の２倍から３倍の距離だけ離れた位置に設定される（なお、図３では各領域の大きさを簡略化して示している）。さらに、顔領域３１０の下端から下方の所定幅の領域３３０には、首または衣類のボタンなど、肌色かつ多数のエッジ画素が抽出される物体が存在する。そこで、肌色かつ多数のエッジ画素が抽出される物体を手として誤検出することを防止するために、この領域３３０は探索領域３２０から除外されてもよい。また、利用者は、携帯電話機を使用して通話を行う場合、顔の下方に手を持ってくる可能性は低いので、このような領域３３０を手の探索領域から除外しても、手の探索に失敗する可能性は低いと考えられる。なお、除外される領域３３０の幅は、例えば、顔領域３１０の幅の１／２〜１倍に設定され、除外される領域３３０の中心線が顔領域３１０の中心線と一致するように、除外される領域３３０の水平方向の位置が設定される。

手領域検出部２３は、上述したように設定された手の探索領域３２０内で、利用者の手が検出できるか否かを判定する。ここで手は、画像上において、逆Ｕ字状の輪郭を有し、その輪郭内に多数のエッジ画素が存在するとともに、その輪郭内に肌色の画素が多数含まれるという特徴を持つ。そこで、手領域検出部２３は、例えば、監視画像に設定された手の探索領域内に存在する肌色の画素を検出する。なお、肌色の画素は、顔検出部２２に関して説明したように、その画素の色情報が0から255までの値を有するHSV表色系で表される場合、色相Hの成分が例えば0から30といった所定の範囲に含まれる色情報を有する画素である。

そこで、手領域検出部２３は、例えば、監視画像に設定された手の探索領域内に存在する肌色の画素を検出する。なお、肌色の画素は、顔検出部２２に関して説明したように、その画素の色情報がHSV表色系で表される場合、色相Hの成分が例えば0から30といった所定の範囲に含まれる色情報を有する画素である。
手領域検出部２３は、肌色画素についてラベリング処理を実行することにより、肌色画素が含まれる肌色領域を手候補領域として抽出する。なお、手領域検出部２３は、モルフォロジーのクロージング演算などを行って、肌色領域に囲まれた非肌色画素を手候補領域に含めてもよい。これにより、影などの影響で、手の一部分に対応する画素が監視画像上では肌色でない場合も、手領域検出部２３は、手の一部分に対応する非肌色の画素を手候補領域に含めることができる。また手領域検出部２３は、複数の手候補領域を抽出してもよい。

さらに、手領域検出部２３は、上記の抽出された肌色領域の中から、手の輪郭形状に近似した逆Ｕ字状の輪郭を有する領域を抽出して手候補領域とすることができる。例えば、手領域検出部２３は、肌色領域の輪郭部のエッジ画像をエッジ画像生成部２１によって抽出し、パターンマッチングなどによってエッジ分布が逆Ｕ字状であると判定された場合、この肌色領域を手候補領域として抽出してよい。

手領域検出部２３は、手候補領域の面積S_h、すなわち、手候補領域に含まれる画素数と、顔領域の面積S_f、すなわち、顔領域に含まれる画素数との比S_h/S_fを求める。そして手領域検出部２３は、手候補領域の面積と顔領域の面積との比S_h/S_fが、人の顔と手の大きさの一般的な比に相当する所定の範囲に含まれるか否か判定する。例えば、その所定の範囲は、0.1から1までの範囲である。

手領域検出部２３は、S_h/S_fが所定の範囲から外れる場合、その手候補領域は利用者の手ではないと判定する。一方、S_h/S_fが所定の範囲に含まれる場合、手領域検出部２３は、その手候補領域に対応するエッジ画像上の領域に含まれるエッジ画素の数E_hを計数する。そして手領域検出部２３は、手候補領域の面積S_hに対するエッジ画素の数E_hの比E_h/S_hが、手領域に含まれるエッジ画素の一般的な比率の最小値に対応する所定の閾値より大きいか否かを判定する。例えば、その所定の閾値は、0.1に設定される。
手領域検出部２３は、手候補領域の面積S_hに対するエッジ画素の数E_hの比E_h/S_hが所定の閾値以下の場合、その手候補領域は利用者の手ではないと判定する。一方、その比E_h/S_hが所定の閾値よりも大きい場合には、手領域検出部２３は、その手候補領域は利用者の手であると判定する。
手領域検出部２３は、利用者の手が検出されたか否かの判定結果を示す手領域検出結果信号を携帯使用検知部１１に返す。

口領域検出部２４は、顔検出部２２が口領域を検出しない場合、顔検出部２２から顔検出部２２が検出した顔領域に関する情報に基づいて、顔領域内の口領域を検出して口開閉判定部２５に渡す。例えば、口領域検出部２４は、顔検出部２２が顔特徴領域や顔特徴点を抽出する場合と同様、検出された顔領域内に存在するエッジ画素の位置、パターン、色情報などに基づいて求めた特徴量が、口領域について予め定められた条件を満たすか否かを調べて口領域の位置を特定することによって口領域を抽出することができる。また、顔検出部２２が口領域を検出する場合、口領域検出部２４は省略されてもよい。

口開閉判定部２５は、口領域検出部２４から受け取った口領域に関する情報に基づいて、利用者の口が開閉したか否かを判定する。例えば、口開閉判定部２５は、口領域検出部２４が検出した口領域の面積を算出し、この現フレームにおける口領域の面積と、記憶部５に記憶されている直前フレームにおける口領域の面積との差を算出する。そして、口開閉判定部２５は、現フレームと直前フレームとの口領域の面積の差が閾値以上であれば、現フレームと直前フレームとの間で口が開閉したと判定する。この場合の閾値は、一般に人が発話したとき変化する口領域の面積の差の最小値であり、監視カメラの解像度と撮影された利用者の口領域の画素数とに応じて、実験的に決定することができる。例えば、一般の人が最大に口を開いたときの口領域の面積に対して２割程度の面積を所定値としてもよい。

このように、口開閉判定部２５は、直前フレームと現フレームとの間で利用者の口が開いたり閉じたりした場合フレーム間で口の面積が変化するため、現フレームと直前フレームとの口領域の面積の差が閾値以上であれば、利用者の口が開閉した、すなわち利用者が発話したと判定する。こうして、口開閉判定部２５は、利用者の口が開閉したことを判定すると、記憶部５に記憶されている口開閉カウンタを1インクリメントする。

判定部２６は、利用者の手の検出結果に基づいて、利用者が携帯電話機を用いて詐欺行為の加害者と通話中か否か、すなわち利用者が詐欺に遇っていないか否かを判定する。具体的には、判定部２６は、タイマにセットされた観察期間Ｔ内に取得された監視画像において、手領域検出部２３が利用者の手が検出されなかったことを示す判定結果を返すと、制御部６が有するメモリに記憶される口開閉カウンタの値を0にリセットする。一方、判定部２６は、観察期間Ｔ内の何れかの時点で取得された監視画像に対して、手領域検出部２３が利用者の手が検出されたことを示す判定結果を返し、かつ口開閉判定部２５が利用者が口を開閉したと判定すると、口開閉カウンタの値を1インクリメントする。そのため、観察期間Ｔの期間中に順次取得される監視画像に対して口開閉カウンタ0になることなく手領域検出部２３が連続的に利用者の手を検出し、その間に口開閉判定部２５が利用者が口を開閉したと判定するごとに、口開閉カウンタの値が1増加する。そして観察期間Ｔが経過したとき、口開閉カウンタの値から得られる利用者の口の開閉頻度が一回以上かつ所定の回数より小さければ、すなわち、観察期間Ｔに対して利用者が発話している時間の割合が少ないと判定すれば、判定部２６は、利用者が携帯電話機を用いて詐欺行為の加害者と通話中であると判定する。なお、観察期間Ｔは、例えば、詐欺行為者からの指示を利用者が聞くのに必要と考えられる期間（例えば、６０秒）、またはその間に取得される監視画像の枚数に設定されることが好ましい。

ここで、監視画像の取得レートが５フレーム／秒で、観察期間Ｔが６０秒である場合について考えると、観察期間Ｔ内の取得フレームは３００フレームとなる。この場合、ATMを操作中の利用者が携帯電話機で通話相手と相互に均等な時間会話をしていれば、ATMの利用者は監視画像において１５０／３００フレームの頻度で口を開閉することとなる。これより多ければ、相対的に利用者が発言している時間が長く、逆に少なければ聞いている時間が長い。本例では、詐欺行為の被害者は、特に発話する回数が少なく言葉も短いことを鑑みて、その閾値を５０／３００フレーム（すなわち、利用者が発話している時間が観察期間Ｔの１／６以下）としている。

このように、詐欺行為の加害者から携帯電話にてATMへの振込みを指示されている詐欺行為の被害者であるATMの利用者は、一般の通話時のように通話相手と対等に会話をすることはなく、電話口からの指示に対して「はい」、「入力しました」など短い言葉しか返さず、通話時間に対する発話回数は少ないという特徴を示す。そこで、判定部２６では、所定の観察期間Ｔ中に、利用者の手が携帯電話機を使用しているときにあると思われる位置に検出され、かつ口の開閉頻度が閾値より小さい場合に、利用者が携帯電話機で詐欺行為の加害者と通話中であると判定する。

判定部２６は、利用者が携帯電話機を用いて詐欺行為者と通話中であると判定されたとき、通話中であることが検知されたことを示す通話検出信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、その通話検出信号を制御部６に通知する。一方、利用者が携帯電話機を用いて詐欺行為者と通話中であると判定されずに観察期間Ｔを経過したとき、判定部２６は、利用者が通話中か否か分からないため、判定結果を携帯使用検知部１１に通知しない。

異常報知部１２は、後述するオートホン使用フラグがＯＦＦに設定されていれば、携帯使用検知部１１から通話検出信号が通知されているか否かを調べる。そして異常報知部１２は、携帯使用検知部１１から通話検出信号が通知されている場合、すなわち、利用者が携帯電話機を用いて通話中であると判定された場合、取引端末１００から金銭を振り込ませる詐欺行為に注意を促す警報音声データを記憶部５から読み込む。そして異常報知部１２は、警報音声データを音声出力部３を介してスピーカ１４０へ出力し、利用者に警報を発する。異常報知部１２は、警報音声データの出力を所定回数繰り返して実行した後、警報音声を通知する処理を終了する。あるいは、異常報知部１２は、携帯使用検知部１１から通話検出信号が通知されている間、警報音声データを繰り返しスピーカ１４０へ出力してもよい。なお、異常報知部１２が行う警報を報知する処理は、警報音声データの出力に限らず、例えば、異常報知部１２が、オートホン制御装置１５１に異常信号を出力し、これを受信したオートホン制御装置１５１が、通信回線１７０を介してATMセンタ装置１８０へ利用者が詐欺行為に遭っている可能性が高い旨を通知する処理であってもよい。
一方、オートホン使用フラグがＯＮに設定されていれば、利用者がオートホン１５０を用いてオペレータと通話していることを携帯電話機を用いた通話と誤認識して警報を発することがないように、異常報知部１２は警報音声データをスピーカ１４０へ出力しない。

フラグ処理部１３は、携帯使用検知部１１が通話検知処理を開始するためのトリガとなる人体検出フラグと、異常報知部１２が警報音声データを出力するか否かの判定基準となるオートホン使用フラグの値を設定する。
具体的には、フラグ処理部１３は、センサ１６０から、取引端末１００を操作する利用者が検知されたことを示す人体検知信号を受信している間、記憶部５に記憶されている人体検出フラグをＯＮに設定する。一方、フラグ処理部１３は、人体検知信号を受信しなくなると、人体検出フラグをＯＦＦに書き換える。
また、フラグ処理部１３は、オートホン制御装置１５１からオートホン１５０が使用されていることを示すオートホン使用信号を受信している間、あるいは、オートホン１５０からオフフック信号を受信している間、記憶部５に記憶されているオートホン使用フラグをＯＮに設定する。一方、フラグ処理部１３は、オートホン使用信号及びオフフック信号を受信しなくなると、オートホン使用フラグをＯＦＦに書き換える。

図４および５に示したフローチャートを参照しつつ、制御部６の携帯使用検知部１１による通話検知処理の動作手順を説明する。なお、この動作手順は、制御部６において実行されるコンピュータプログラムによって制御される。
まずステップＳ１０１の前に、携帯使用検知部１１は、携帯使用検知部１１において使用される各データの初期化を必要に応じて行う。なお、携帯使用検知部１１は、観察期間を計測するのに画像取得部２を介して取得した監視画像のフレーム数を使用する場合は、ここでフレームカウンタを０にリセットしてもよい。

そして、ステップＳ１０１において画像取得部２を介して現フレームの監視画像が取得されると、エッジ画像生成部２１は、監視画像から、利用者の各部の輪郭に対応するエッジ画素を抽出したエッジ画像を作成する（ステップＳ１０１）。エッジ画像生成部２１は、作成したエッジ画像を手領域検出部２３へ渡す。また顔検出部２２がエッジ画像に基づいて顔特徴点を検出する場合には、エッジ画像生成部２１は、顔検出部２２にもエッジ画像を渡す。さらに、顔検出部２２が口領域を抽出しない場合、エッジ画像生成部２１は、必要に応じて口領域検出部２４にもエッジ画像を渡す。

次に、顔検出部２２は、取引端末１００に対面する利用者の顔領域を検出する処理を実行し、顔領域が検出できたか否かを携帯使用検知部１１に通知する（ステップＳ１０２）。顔領域を検出できなかった場合（ステップＳ１０２−Ｎｏ）、顔検出部２２は、顔検出不能信号を携帯使用検知部１１に返す。顔検出部２２から顔検出不能信号を受け取った携帯使用検知部１１は、ステップＳ１１０に制御を移す。

一方、顔領域が検出された場合（ステップＳ１０２−Ｙｅｓ）、顔検出部２２は、顔検出信号を携帯使用検知部１１に返す。また、顔検出部２２は、検出した顔の位置や向きなど検出した顔領域に関する情報を手領域検出部２３に渡す。すると、手領域検出部２３は、上述したように、顔検出部２２から受け取った顔領域の位置情報に従って、検出された顔領域の近傍に利用者の手の探索領域３２０を設定する。それから、手領域検出部２３は、設定された探索領域３２０内で上述した方法で利用者の手を探索する（ステップＳ１０３）。

探索領域３２０内で利用者の手を検出できなかった場合（ステップＳ１０３−Ｎｏ）、手領域検出部２３は、手領域を検出できなかったことを示す手領域検出不能信号を携帯使用検知部１１に渡す。この手領域検出不能信号を受け取った携帯使用検知部１１は、ステップＳ１１０に制御を移行する。一方、探索領域３２０内で利用者の手を検出できた場合（ステップＳ１０３−Ｙｅｓ）、手領域検出部２３は、手領域を検出したことを示す手領域検出結果信号を判定部２６に渡す。

この手領域検出結果信号を受け取った判定部２６は、現在処理している監視画像の現フレームが利用者の手が検出された最初のフレーム（直前フレームで手を検出していない）であれば、タイマに計時したい観察期間Ｔ（例えば、６０秒）を設定する（ステップＳ１０４）。なお、時間を計時するのにフレーム数を使用する場合、判定部２６は、ここでフレームカウンタを1インクリメントする。

次に、ステップＳ１０５において、口領域検出部２４は、顔検出部２２から受け取った顔領域に関する情報に基づいて検出された顔領域から口領域を検出する。口領域を検出できなかった場合（ステップＳ１０５−Ｎｏ）、口領域検出部２４は、口検出不能信号を携帯使用検知部１１に返す。顔検出部２２から口顔検出不能信号を受け取った携帯使用検知部１１は、ステップＳ１０９に制御を移す。

一方、口領域を検出した場合（ステップＳ１０５−Ｙｅｓ）、口領域検出部２４は、口検出結果信号とともに検出した口領域に関する情報を口開閉判定部２５に渡す。すると口開閉判定部２５は、受け取った口領域に関する情報に基づいて抽出された口領域の面積、すなわち口領域に含まれる画素数を求める。なお、顔検出部２２が顔領域を検出する際に口領域を既に抽出している場合は、ステップＳ１０５の口領域検出部２４の処理を省略し、口開閉判定部２５は、顔検出部２２から受け取った口領域に関する情報に基づいて口領域の面積を求めてもよい。それから口開閉判定部２５は、求めた現フレームの監視画像中の口領域の面積と、記憶部５に記憶されている直前フレームの画像データにおける口領域の面積との差を計算する（ステップＳ１０６）。

こうして、口開閉判定部２５は、現フレームの口領域の面積と直前のフレームの口領域の面積との差が所定値以上であれば、利用者の口は開閉したと判定する（ステップＳ１０７−Ｙｅｓ）。そして、口開閉判定部２５は、口開閉カウンタを1インクリメントする（ステップＳ１０８）。しかし、口開閉判定部２５は、現フレームの口領域の面積と直前のフレームの口領域の面積との差が所定値より小さければ、利用者の口は開閉していないと判定し（ステップＳ１０７−Ｎｏ）、ステップＳ１０９に制御を移行する。なお、利用者の口が開閉したことを検出する方法に関しては、口の動きを追跡するなど他の公知の方法を使用してもよい。

ステップＳ１０９において、口開閉判定部２５は、タイマから残り時間を取得し観察期間Ｔが経過したか否かを判定する。例えば、口開閉判定部２５は、タイマから取得した残り時間が０を示していれば、観察期間Ｔが経過したと判定し（ステップＳ１０９−Ｙｅｓ）、図５のステップＳ２０１に制御を移行する。あるいは、口開閉判定部２５は、タイマから観察時間Ｔが経過したことを通知させるようにしてもよい。この場合、口開閉判定部２５は、タイマから観察時間Ｔが経過したことを示す信号が送られたとき、観察時間Ｔが経過したと判定し次のステップ（図５のステップＳ２０１）に進んでよい。なお、時間を計時するのに手領域が検出された監視画像の連続するフレーム数を使用する場合、口開閉判定部２５は、フレームカウンタが所定のフレーム数（例えば、３００フレーム）に到達したか否かを判定することによって、観察期間Ｔが経過したか否かを判定してもよい。

口開閉判定部２５は、経過時間が観察期間Ｔに到達していないと判定した場合（ステップＳ１０９−Ｎｏ）、ステップＳ２０５に制御を移す。一方、観察期間Ｔに到達したと判定した場合（ステップＳ１０９−Ｙｅｓ）、観察期間Ｔと口開閉カウンタとを用いて開閉頻度Ｈ＝口開閉カウンタ／観察期間Ｔを算出する（ステップＳ２０１）。ただし、本実施例では、観察期間Ｔが一定の値であるので、口開閉カウンタの値を観察期間Ｔで除算せずそのまま開閉頻度Ｈとして使用し、閾値も観察期間Ｔ中の口開閉の上限回数を使用する。それから、口開閉判定部２５は、タイマに観察期間Ｔをセットしなおし、口開閉カウンタを０にリセットする（ステップＳ２０２）。

ステップＳ２０３において、口開閉判定部２５は、口の開閉頻度Ｈと所定の閾値を比較する。そして、開閉頻度Ｈが１以上かつ閾値より小さければ（ステップＳ２０３−Ｙｅｓ）、口開閉判定部２５は、利用者が携帯電話機を用いて（詐欺行為の加害者と）通話中であると判定する。上述したように、詐欺行為の被害者は特に発話回数が少なく言葉も短いことを考慮し、例えば閾値を、観察期間Ｔすなわち６０秒（３００フレーム）に対し５０回（５０フレーム）とする。そして、口開閉判定部２５は、利用者が通話中であることが検知されたことを示す通話検出信号を携帯使用検知部１１に渡す。すると携帯使用検知部１１は、その通話検出信号を制御部６に通知し（ステップＳ２０４）、通話検知処理を終了する。

一方、開閉頻度Ｈが０または閾値より大きい場合（ステップＳ２０３−Ｎｏ）、口開閉判定部２５は、利用者が携帯電話機を用いて通話中でないと判定し、通話検出不能信号を携帯使用検知部１１に渡す。そして携帯使用検知部１１は、ステップＳ２０５に制御を移す。
携帯使用検知部１１は、ステップＳ１０２、Ｓ１０３において顔領域または手領域を検出できなかったとき、ステップＳ１１０において口開閉カウンタを０にリセットし、ステップＳ２０５に進む。
ステップＳ２０５において、携帯使用検知部１１は、人体検知フラグがＯＮの場合（ステップＳ２０５−Ｙｅｓ）、ステップＳ１０１に制御を戻し、新たに取得された監視画像に対して通話検知処理を実行する。また、人体検知フラグがＯＦＦの場合（ステップＳ２０５−Ｎｏ）、携帯使用検知部１１は、利用者が取引端末１００の使用を終えたと考えられるため、通話検知処理を終了する。
なお、各ステップにおける処理の詳細は、携帯使用検知部１１の各部の説明において説明したので、ここではその説明を省略する。

図６は、本発明の一実施形態の取引監視装置１における携帯使用検知処理とATMの利用者の行動とのタイミングを示すタイミングチャートである。チャートの上段にATM利用者の行動を示し、これに対応して行われる携帯使用検知処理をチャートの下段に示している。Ｐ７０１〜Ｐ７０５、Ｐ７１１〜Ｐ７１６はそれぞれのタイミングポイントを示す。

まず、ATM利用者はATMを操作するためにATMの前に移動する（Ｐ７０１）。これに応じて、取引監視装置１に接続されたセンサ１６０がATM利用者がATMの前に立ったことを検知するので、記憶部５に記憶されている人体検知フラグはＯＮになる（Ｐ７１１）。こうして、携帯使用検知処理が開始される。
次にATM利用者は、ATM操作の指示をもらうため携帯電話機で詐欺行為者に電話をかける。そしてATM利用者は、詐欺行為者と通話するのに携帯電話機を自分の耳にあてるので、利用者の手は顔の近傍に移動する。さらにATM利用者は、詐欺行為者に指示を仰ぐため言葉を発する（Ｐ７０２）。これに対して取引監視装置１は、利用者の顔の近傍に手領域を検出し経過時間の計時を開始するためタイマに観察期間Ｔをセットする。また取引監視装置１は、利用者の口が開閉したことを検知し、利用者が口を開閉した回数を数えるための口開閉カウンタを1インクリメントする（Ｐ７１２）。この後、取引監視装置１は、まだ観察期間Ｔに到達しておらず、かつ人体検知フラグがＯＮであるので携帯使用検知処理を続ける。

それから、利用者の通話の相手である詐欺行為者は、利用者にATM操作の指示を与え始める。詐欺行為者がATM操作について説明している間、利用者は相手の指示を聞いているので口を開閉しない。しばらく詐欺行為者の指示を聞いてから利用者は、詐欺行為者からの確認などに対して、「はい」「押しました」などの短いフレーズで応答する。利用者がこれらのフレーズを発したとき、利用者の口は開閉する（Ｐ７０３）。これに対して取引監視装置１は、利用者の手を検出し、かつ利用者の口が開閉したことを検知して、口開閉カウンタを1インクリメントする（Ｐ７１３）。この後、取引監視装置１は、まだ観察期間Ｔに到達しておらず、かつ人体検知フラグがＯＮであるので携帯使用検知処理を続ける。

利用者の返事後、詐欺行為者はATM操作の説明を続ける。したがって、利用者は再び詐欺行為者の指示を聞き始め、しばらく口を動かさない状態が続く。再度、詐欺行為者から確認されれば、利用者は短いフレーズで応答するので利用者の口が開閉する（Ｐ７０４）。これに応じて取引監視装置１は、利用者の口が開閉したことを検知し、口開閉カウンタを1インクリメントする（Ｐ７１４）。このように取引監視装置１は、人体検知フラグがＯＮであり、かつ観察期間Ｔに到達していない間、携帯使用検知処理を続ける。
そして取引監視装置１は、人体検知フラグがＯＮで、かつ利用者の手が連続して検出されている間に観察期間Ｔに到達したとき、開閉頻度Ｈを算出して閾値と比較し、開閉頻度Ｈが１以上で閾値より小さければ、ATM利用者が携帯電話機で詐欺行為者と通話していると判定する（Ｐ７１６）。

図７に示したフローチャートを参照しつつ、取引監視装置１による処理全体の動作手順を説明する。なお、この動作手順は、制御部６において実行されるコンピュータプログラムによって制御される。
取引端末１００が起動されたとき、取引監視装置１も起動され、処理が開始される。そして、制御部６は、記憶部５に記憶された人体検知フラグがＯＮに設定されているか否か判定する（ステップＳ３０１）。ステップＳ３０１において、人体検知フラグがＯＦＦであれば（ステップＳ３０１−Ｎｏ）、制御部６は、制御をステップＳ３０６に進める。一方、ステップＳ３０１において、人体検知フラグがＯＮであれば（ステップＳ３０１−Ｙｅｓ）、制御部６の携帯使用検知部１１は、通話検知処理を実行する（ステップＳ３０２）。なお、通話検知処理の詳細手順は、図４および５とともに上述したとおりである。そして制御部６は、携帯使用検知部１１からの通話検出信号を参照して、利用者が携帯電話を使用して通話しているか否かを判定する（ステップＳ３０３）。

ステップＳ３０３において、利用者が携帯電話を使用して通話していると判定された場合（ステップＳ３０３−Ｙｅｓ）、制御部６の異常報知部１２は、スピーカ１４０へ警報音声データの出力を開始する（ステップＳ３０４）。音声データの出力開始後、制御部６は、記憶部５に記憶された人体検知フラグがＯＮに設定されているか否かを判定する（ステップＳ３０５）。この判定で、人体検知フラグがＯＮである場合、制御部６は、人体検知フラグがＯＦＦになるまで、ステップＳ３０５の処理をループさせる。これは、同一の利用者に対して警告音声データを何度も出力しないようにするためである。一方、ステップＳ３０３において、利用者が携帯電話を使用して通話していると判定されなかった場合（ステップＳ３０３−Ｎｏ）、あるいはステップＳ３０５にてＮｏと判定された後、制御部６は、取引端末１００がサービスを終了したか否か判定する（ステップＳ３０６）。なお、制御部６は、取引端末１００の営業時間の終了時刻になったこと、あるいは、取引端末１００からシャットダウンする旨の通知を受けることにより、取引端末１００がサービスを終了したと判定できる。ステップＳ３０６において、取引端末１００がサービスを終了していない場合、制御部６は、制御をステップＳ３０１に戻し、ステップＳ３０１〜Ｓ３０６の処理を繰り返す。一方、ステップＳ３０６において、取引端末１００がサービスを終了した場合、取引監視装置１の処理を終了し、取引監視装置１の電源を切る。

以上説明してきたように、本発明の一実施形態である、電話使用検出装置が組み込まれた取引監視装置は、ATMなど、金銭の取引を行う取引端末に設置される。そしてこの取引監視装置は、取引端末の利用者を撮影した画像から利用者の顔領域を検出し、その顔領域の近傍に手が存在するか否かを調べることにより、利用者が携帯電話機を使用しているか否かを判定する。そしてこの取引監視装置は、利用者が携帯電話機を使用していると判定したときに、利用者に対して詐欺行為の可能性がある旨の警報を発する。特にこの取引監視装置は、利用者の手が顔の近傍で検出され、携帯電話機を使用していると推測される場合、利用者が所定期間Ｔ内に発話している時間より聞いている時間の方が長いか否かを測定する。こうして、友人などの通話相手と均等に会話している通常の利用者と、詐欺被害に遭い加害者と会話している可能性の高い利用者とを高精度に判別しようとするものである。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、携帯使用検知部１１において、判定部２６は、手領域検出部２３と口開閉判定部２５とから利用者の携帯電話機を使用した通話の有無を判定する構成としたが、これに限定されず、口開閉判定部２５の検知結果だけに基づいて携帯電話機を使用した通話の有無を判定してよい。この場合、通話検知処理において、監視画像から顔領域が検出できれば観察期間Ｔの計時が開始され、この観察期間Ｔ内で口開閉が検出できれば口開閉カウンタをインクリメントする。そして、観察期間Ｔが終了すると期間内での口開閉頻度Ｈを算出してこれが1以上で閾値より小さければATM利用者が携帯電話機で詐欺行為者と通話をしていると判定して通話検知処理を終了する。一方、口開閉頻度Ｈが係る範囲を満たさなければ、再度観察期間Ｔの計時を開始して、一連の通話検知処理を利用者検知フラグがＯＮである間繰り返す。

例えば、携帯使用検知部１１は、オートホン使用フラグがＯＮに設定されている間、通話検知処理の実行を中断してもよい。
また、本発明に係る取引監視装置１は、監視カメラ１３０、スピーカ１４０、センサ１６０などに接続された取引端末１００に接続されてもよい。こうして、取引監視装置１は、画像取得部２が取引端末１００を介して監視カメラ１３０から監視画像を取得し、音声出力部３が取引端末１００を介してスピーカ１４０へ警報音声信号を出力し、通信部４が取引端末１００を介してセンサ１６０から人体検知信号を受け取ってもよい。あるいは、取引監視装置１は、このような取引端末１００の一部であってもよい。取引端末１００は、単体で動作する取引装置であってもよい。
また、本発明に係る電話使用検出装置は、上記の実施形態のような、取引端末操作時の利用者の携帯電話機を用いた通話を検出するための使用に限定されない。本発明に係る電話使用検出装置は、病院内など、携帯電話機の使用が禁止される場所に設置されたカメラにより取得された画像データに基づいて、人が携帯電話機を用いて通話していることを検出し、その検出結果に応じて注意を促すメッセージを自動的に放送するためにも好適に使用できる。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１００ 取引端末
１１０ 筐体
１２０ タッチパネルディスプレイ
１３０ 監視カメラ
１４０ スピーカ
１５０ オートホン
１５１ オートホン制御装置
１ 取引監視装置
２ 画像取得部
３ 音声出力部
４ 通信部
５ 記憶部
６ 制御部
１１ 携帯使用検知部
１２ 異常報知部
１３ フラグ処理部
２１ エッジ画像生成部
２２ 顔検出部
２３ 手領域検出部
２４ 口領域検出部
２５ 口開閉判定部
２６ 判定部

Claims (4)

1. 送金処理が可能な自動取引端末の利用者の行動を監視する取引監視装置であって、
   前記自動取引端末に正対する利用者を撮影するように設置された監視カメラより順次取得した画像データから当該利用者の顔に対応する顔領域を抽出する顔検出部と、
   前記顔領域から利用者の口領域を検出する口領域検出部と、
   前記検出された利用者の口領域の面積を算出し、当該算出した面積と前記順次取得した画像データのうちの過去に取得された画像データから検出された当該利用者の口領域の面積との差が所定以上であれば口が開閉したと判定する口開閉判定部と、
   前記顔領域が抽出された後の所定期間中に前記口開閉判定部が口が開閉したと判定した場合、利用者が携帯電話機を使用して通話中であると判定する判定部と、
   前記判定部により、利用者が携帯電話機を使用して通話中であると判定されると、警報を報知する異常報知部と、を有することを特徴とする取引監視装置。
2. さらに、前記顔検出部により検出された前記顔領域を基準として設定される探索領域から利用者の手を検出する手領域検出部を備え、
   前記判定部は、前記所定期間中に順次取得された前記画像データのそれぞれから前記手領域検出部が利用者の手を検出し、かつ当該所定期間中に前記口開閉判定部が口が開閉したと判定した場合、利用者が携帯電話機を使用して通話中と判定する請求項１記載の取引監視装置。
3. 前記判定部は、前記所定期間内に前記口開閉判定部が口が開閉したと判定した回数が所定回数より小さい場合に通話中と判定する請求項１または２記載の取引監視装置。
4. 人物を撮影するように設置された監視カメラより取得した画像データから当該人物が携帯電話機を使用しているか否か判定する電話使用検出装置であって、
   前記監視カメラより順次取得した画像データから人物の顔に対応する顔領域を抽出する顔検出部と、
   前記顔領域から利用者の口領域を検出する口領域検出部と、
   前記検出された利用者の口領域の面積を算出し、当該算出した面積と前記順次取得した画像データのうちの過去に取得された画像データから検出された当該利用者の口領域の面積との差が所定以上であれば口が開閉したと判定する口開閉判定部と、
   前記顔検出部により検出された前記顔領域を基準として設定された探索領域から人物の手を検出する手領域検出部と、
   所定期間中に順次取得された前記画像データのそれぞれから、前記手領域検出部が人物の手を検出し、かつ前記所定期間中に前記口開閉判定部が口が開閉したと判定した場合、人物が携帯電話機を使用して通話中であると判定する判定部と、
   前記判定部により、人物が携帯電話機を使用して通話中であると判定されると、警報を報知する異常報知部と、を有することを特徴とする電話使用検出装置。

Images