JP5317736B2 - 取引監視装置 - Google Patents

取引監視装置 Download PDF

Info

Publication number
JP5317736B2
JP5317736B2 JP2009020875A JP2009020875A JP5317736B2 JP 5317736 B2 JP5317736 B2 JP 5317736B2 JP 2009020875 A JP2009020875 A JP 2009020875A JP 2009020875 A JP2009020875 A JP 2009020875A JP 5317736 B2 JP5317736 B2 JP 5317736B2
Authority
JP
Japan
Prior art keywords
hand
user
face
region
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009020875A
Other languages
English (en)
Other versions
JP2010176585A (ja
Inventor
哲也 高橋
惇 佐々木
正晃 伊與田
建彰 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2009020875A priority Critical patent/JP5317736B2/ja
Publication of JP2010176585A publication Critical patent/JP2010176585A/ja
Application granted granted Critical
Publication of JP5317736B2 publication Critical patent/JP5317736B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Description

本発明は、取引監視装置に関し、特に、自動取引システムの取引端末の利用者を撮影した画像から、利用者が特定の行動をとっているか否かを判定する取引監視装置に関する。
従来より、複数の利用者間での金銭取引において、金融機関またはコンビニエンスストアなどに設置された取引端末、例えば、現金自動預け払い機(ATM、Automated Teller Machine)を用いた振込み手続きといった送金処理が広く利用されている。
ところが、近年、この取引端末による送金処理を利用して、家族または親族などの身内の者を装って、取引端末の利用者に現金を送金させる詐欺行為が増加しており、社会的に問題となっている。
また、同様に、公的団体の職員を装って、医療費または税金が還付される等、払い過ぎた金銭が返金されるかのように偽り、利用者に言葉巧みに取引端末を操作させて、利用者本人が気付かないうちに、他人(詐欺行為者)の口座に金銭を振り込ませる詐欺行為も急増している。
このような問題に対して、利用者が送金処理を行うときに金銭の受取人の正当性を判別することで、詐欺行為の被害を未然に防止しようとするシステムが提案されている(例えば、特許文献1を参照)。
特許文献1に開示された自動取引システムは、取引端末にて送金処理を行う振込人と、この送金を受け取る受取人とが通話するハンドセットを備える。そしてこの自動取引システムは、このハンドセットを通じて取得される受取人の声紋データを、予め顧客データベースに記憶された振込人の身内の者の声紋データと照合して、その照合結果で振込取引の可否を判断することにより、詐欺被害を未然に防止する。
特開2007−80123号公報
しかしながら、特許文献1に開示された自動取引システムは、詐欺被害を防止するために、正当な取引であっても、振込手続時に受取人の声紋照合を必ず行わなければならない。そのため、この自動取引システムは、取引端末にて送金処理を行う全ての利用者について、自己の送金先として考えられ得る全ての人物の声紋データを取得して、顧客データベースに事前に登録しておかなければならない。もし、送金先の人物の声紋データが顧客データベースに登録されていなければ、利用者は、この自動取引システムを利用してその人物の口座に対して送金処理を行うことができないので、円滑な金銭取引に支障をきたすおそれが生じる。
そこで、本発明は、自動取引システムの正当な利用者間の円滑な金銭取引を阻害することなく、そのシステムの取引端末による送金処理を悪用した詐欺行為を防止する取引監視装置を提供することを目的とする。
一般に、家族または親族などの身内の者を装い金銭の送金を要求する詐欺行為では、聴力の衰えた高齢者が被害者として狙われることが多い。その詐欺行為の手口として、詐欺行為者は、被害者の身内などを装って被害者が取引端末の前まで出向いた後に詐欺行為者自身まで電話するように被害者を誘導する。被害者が詐欺行為者を信用した場合、その被害者は詐欺行為者の指示通りに取引端末の前で携帯電話機を使って詐欺行為者に電話を掛けてしまう。そして被害者は、詐欺行為者からの電話を通じた取引端末の操作方法の具体的な指示に従って取引端末を操作してしまい、詐欺と気付かずに金銭を詐欺行為者の口座に送金してしまう。
また、還付金があるかのように偽る詐欺行為についても同様であり、被害者として狙われるのは取引端末の操作に不慣れな高齢者であることが多い。この場合の詐欺行為の手口として、詐欺行為者は、社会保険事務所または自治体の職員、あるいは税務署員を装って、医療費または保険金、あるいは税金が還付される等、払い過ぎた金銭が取引端末を操作することによって返還されるかのように偽って被害者を取引端末まで誘導し、被害者が取引端末の前まで出向いた後に詐欺行為者自身まで電話させる。被害者が詐欺行為者を信用した場合、上述した詐欺行為の類型と同様に、その被害者は詐欺行為者の指示通りに取引端末の前で携帯電話機を使って詐欺行為者に電話を掛けてしまう。そして詐欺行為者は、取引端末まで出向いた被害者から電話が掛かってくると、「私の云う通りにATMを操作して下さい」等と言葉巧みに被害者に取引端末を操作させ、例えば振込金額の入力画面で、「ここで暗証番号を入力します」などと偽り振込金額を入力させる。そのため、被害者は、金銭が還付されるものと思いながら取引端末を操作しても、実際は本人が気付かないうちに、他人(詐欺行為者)の口座に送金を行ってしまう。
本発明に係る取引監視装置は、上述した取引端末の送金処理を悪用した詐欺行為は、被害者が取引端末の前で携帯電話機を通じての詐欺行為者からの指示に従って取引端末を操作することにより行われる点に着目したものである。
また、一般に、ATMなどの取引端末は、その筐体の右側にキャッシュカードの挿入口や現金の入金口が設けられており、その筐体の中央にタッチパネルなどの操作部が設けられている。このため、利用者は、左手でカードを挿入したり現金を入金したりしようとすると、身体の前をクロスして左手を伸ばさなければならず、左手で利用するのに適していない。
このため、ATMの利用者は、右利きか左利きかに拘らず、自然に、右手によってカードを挿入口に挿入し、また、右手によって現金を入金することになる。すなわち、左手は空いた状態になるため、ATMを利用するに際し、その利用者が同時に携帯電話機も利用しようとすると、利き手に関係なく、ほとんどの場合は左手で携帯電話機を持つことになる。
この知見に鑑み、本発明に係る取引監視装置においては、特に、ATMを利用しながら携帯電話機を使用する場合には通常ないと考えられる、右手に持った携帯電話機が存在し得る利用者の顔の右側(画像データにおけるの左側)については、携帯電話機を使用していると判定する判定基準を顔の左側(画像データにおける右側)における判定基準より厳格にすることによって、誤検出を防止しようとするものである。
かかる課題を解決するための本発明の一つの実施形態によれば、送金処理が可能な自動取引端末の利用者の行動を監視する取引監視装置を提供する。係る取引監視装置は、自動取引端末に正対する利用者を撮影するように設置された監視カメラより取得した画像データから利用者の顔に対応する顔領域を抽出する顔検出部と、顔検出部により検出された顔領域を基準として設定された探索領域から利用者の手を検出する手領域検出部と、所定期間中に順次取得された画像データのそれぞれから、手領域検出部が利用者の手を検出した場合、利用者が携帯電話機を使用して通話中であると判定する判定部と、判定部により、利用者が携帯電話機を使用して通話中であると判定されると、警報を報知する異常報知部と、を有し、手領域検出部は、探索領域中の利用者の右手側の右側探索領域において手を検出するための判定基準を、探索領域中の利用者の左手側の左側探索領域において手を検出するための判定基準より厳格な判定基準にする。
本発明に係る取引監視装置において、手領域検出部は、左側探索領域内に含まれる第1の肌色領域を検出して、該第1の肌色領域の面積に対する該第1の肌色領域に含まれるエッジ画素数の比が第1の閾値より大きい場合、該第1の肌色領域を利用者の手として検出し、右側探索領域内に含まれる第2の肌色領域を検出して、該第2の肌色領域の面積に対する該第2の肌色領域に含まれるエッジ画素数の比が第1の閾値より大きい第2の閾値より大きい場合、該第2の肌色領域を利用者の手として検出することが好ましい。
また、本発明に係る取引監視装置において、取引監視装置は、さらに、自動取引端末の近傍に設置された通話装置が使用されたことを検知する検知部を備え、検知部が通話装置の使用を検知すると、警報の報知を禁止することが好ましい。
本発明の他の実施形態によれば、送金処理が可能な自動取引端末の利用者の行動を監視する取引監視装置を提供する。係る取引監視装置は、自動取引端末に正対する利用者を撮影するように設置された監視カメラより取得した画像データから利用者の顔に対応する顔領域を抽出する顔検出部と、顔検出部により検出された顔領域を基準として設定された探索領域から利用者の手を検出する手領域検出部と、所定期間中に順次取得された画像データのそれぞれから、手領域検出部が利用者の手を検出した場合、利用者が携帯電話機を使用して通話中であると判定する判定部と、判定部により、利用者が携帯電話機を使用して通話中であると判定されると、警報を報知する異常報知部と、を有し、判定部は、探索領域中の利用者の右手側の右側探索領域において手が検出される場合には、携帯電話機を使用して通話中であると判定するための所定期間を、探索領域中の利用者の左手側の左側探索領域において手が検出される場合よりも長い期間とする。
本発明のさらに他の実施形態によれば、利用者を撮影するように設置された監視カメラより取得した画像データから利用者が携帯電話機を便用しているか否か判定する電話使用検出装置を提供する。係る電話使用検出装置は、画像データから利用者の顔に対応する顔領域を抽出する顔検出部と、顔検出部により検出された顔領域を基準として設定された探索領域から利用者の手を検出する手領域検出部と、所定期間中に順次取得された画像データのそれぞれから、手領域検出部が利用者の手を検出した場合、利用者が携帯電話機を使用して通話中であると判定する判定部と、を有し、手領域検出部は、利用者の右手側と左手側とで異なる判定基準を用いて探索領域に含まれる手を検出する。
本発明に係る取引監視装置は、自動取引システムの正当な利用者間の円滑な金銭取引を阻害することなく、そのシステムの取引端末による送金処理を悪用した詐欺行為を防止することができるという効果を奏する。
本発明の一つの実施形態に係る取引監視装置を含む自動取引システムの概略構成図である。 本発明の一つの実施形態に係る取引監視装置の概略構成図である。 (a)は、正面向き顔の顔領域が検出されている場合に設定される、手の探索領域の一例を示す図であり、(b)は、横向き顔の顔領域が検出されている場合に設定される、手の探索領域の一例を示す図であり、(c)は、頭部領域が検出されている場合に設定される、手の探索領域の一例を示す図である。 本発明の一つの実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、通話検知処理の動作を示すフローチャートである。 本発明の一つの実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、通話検知処理の動作を示すフローチャートである。 本発明の他の実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、通話検知処理の動作を示すフローチャートである。 本発明の他の実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、通話検知処理の動作を示すフローチャートである。 本発明の一つの実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、取引監視装置の全体処理の動作を示すフローチャートである。
以下、図を参照しつつ、一つの実施形態による、電話使用検出装置が組み込まれた取引監視装置について説明する。
この取引監視装置は、ATMなど、金銭の取引を行う自動取引システムの取引端末に設置される。そしてこの取引監視装置は、取引端末の利用者を撮影した画像から利用者の顔領域を検出し、その顔領域の近傍に手が存在するか否かを調べることにより、利用者が携帯電話機を使用して通話しているか否かを判定する。そしてこの取引監視装置は、利用者が携帯電話機を使用して通話していると判定したときに、利用者に対して詐欺行為の可能性がある旨の警報を発する。
特にこの取引監視装置は、ATMを利用しながら利用者が携帯電話機を使用する場合、通常左手に携帯電話機を持つと考えられるため、利用者の顔の右側(画像データ中の顔の左側)において携帯電話機を使用して通話しているか否かを判定する基準を、顔の左側(画像データ中の顔の右側)における判定基準より厳格にすることによって誤検出を防止し、携帯電話機を使用した通話の有無を高精度に判定できるようにするものである。
図1は、一つの実施形態による電話使用検出装置が組み込まれた取引監視装置を含む自動取引システムの概略構成図である。図1に示すように、金融機関の店舗などに設置された取引端末100は、筐体110と、タッチパネルディスプレイ120と、通帳またはキャッシュカードなどの受け入れ口111、112と、金銭の受け入れ・払い出し口113とを有する。
通帳またはキャッシュカードなどの受け入れ口111、112は、筐体110の正面上方に形成されており、取引端末100は、その受け入れ口111に挿入された通帳に記帳したり、受け入れ口112に挿入されたキャッシュカードから所定の情報を取得したりすることが可能となっている。金銭の受け入れ・払い出し口113は、筐体110の正面のテーブル状に形成された部位に形成されており、この受け入れ・払い出し口113を介して、利用者は金銭の預け入れ及び払い出しをすることが可能となっている。
タッチパネルディスプレイ120は、筐体110の正面のテーブル上に形成された部位に、上方に向けて情報が表示されるように設置される。そしてタッチパネルディスプレイ120は、取引端末100の利用者に対して、振込、入金、出金などの各種処理に応じた操作案内及び操作ボタンを表示する。そして利用者が、タッチパネルディスプレイ120に表示された操作ボタンを押下することにより、タッチパネルディスプレイ120は、押下された操作ボタンに応じた操作信号あるいは、暗証番号、振込先、金額などを表す情報を取得する。そして取引端末100は、タッチパネルディスプレイ120から取得した操作信号または情報を、通信回線(図示せず)を介して接続されたサーバ(図示せず)に送信し、サーバからの応答信号に従って、利用者が選択した操作に対応する処理を実行する。
取引端末100の内部または近傍には、監視カメラ130と、スピーカ140と、センサ160とが設置され、これらの機器が取引監視装置1と接続される。監視カメラ130は、取引端末100の利用者の頭部から肩にかけての領域を正面から撮影することが可能なように、筐体110の正面上方に設置される。なお、監視カメラ130は、利用者の頭部から肩にかけての領域を正面から撮影することが可能であれば、取引端末100と別個に、例えば取引端末100の背面に隣接する壁面に設置されてもよい。また監視カメラ130は、CCDまたはC-MOSなど、可視光に感度を有する光電変換器で構成された2次元検出器と、その2次元検出器上に監視領域の像を結像する結像光学系などを有する。そして監視カメラ130は、一定の時間間隔(例えば1/5秒)ごとに撮影を行って、利用者を撮影した画像を順次取引監視装置1へ出力する。
スピーカ140は、筐体110の上方に設置される。またスピーカ140は、取引監視装置1と接続され、取引監視装置1から受け取った警報音声信号に応じた音声を発する。
さらに、取引端末100の近傍、例えば、取引端末100が設置されたブースの壁面には、取引端末100を操作する利用者を検知するためのセンサ160が設置される。このセンサ160は、例えば、予め取引端末100の正面の所定空間に設定された検知領域から放射される赤外線を受光し、その受光量の変化によって利用者を検知する人感センサとすることができる。あるいは、センサ160は、予め取得した背景画像とカメラにより撮影した画像との差分によって得られた変化領域から利用者を検知する画像センサ、あるいはマットセンサ若しくは近接センサなどであってもよい。そしてセンサ160は、取引監視装置1と接続され、利用者を検知している間、その旨を示す人体検知信号を取引監視装置1へ出力し、利用者を検知しなくなると、人体検知信号の出力を停止する。
また、取引端末100の近傍、例えば、取引端末100が設置されたブースの壁面には、オートホン150が設置される。このオートホン(通話装置)150は、プロセッサ、半導体メモリ、通信インターフェース及びその周辺回路を有するオートホン制御装置151と接続されている。そしてオートホン150の受話器が外されると、オートホン制御装置151は、通信回線170を介してオートホン制御装置151に接続された、遠隔地のATMセンタに設置されたATMセンタ装置180に向けて自動発信処理を実行し、利用者がオートホン150を介してATMセンタ装置180のオペレータと通話することを可能にする。
また、オートホン制御装置151は、取引監視装置1とも接続され、利用者がオートホン150を使用している場合に、その旨を示すオートホン使用信号を取引監視装置1へ出力する。具体的には、オートホン制御装置151は、オートホン150から受話器が外れていることを示すオフフック信号を受信している間、オートホン使用信号を取引監視装置1へ出力する。
なお、オートホン150と取引監視装置1を直接接続し、取引監視装置1は、オートホン150からオフフック信号を直接受信することにより、オートホン150が使用中であることを確認できるようにしてもよい。
次に、本発明の一実施形態に係る電話使用検出装置が組み込まれた取引監視装置1について説明する。
図2は、取引監視装置1の概略構成図である。図2に示すように、取引監視装置1は、画像取得部2と、音声出力部3と、通信部4と、記憶部5と、制御部6とを有する。
画像取得部2は、画像入力インターフェースであり、例えば、ビデオ入力端子などで構成され、汎用または専用のカメラインターフェースボードを備えることもある。そして画像取得部2は、監視カメラ130から入力された画像データを取得して制御部6へ渡す。
音声出力部3は、音声出力インターフェースであり、例えば、オーディオ出力端子などで構成され、オーディオインターフェースボードを備えてもよい。そして音声出力部3は、制御部6から受け取った警報音声信号をスピーカ140へ出力する。
通信部4は、通信インターフェースであり、例えば、イーサネット(登録商標)、ユニバーサルシリアルバス2(USB2)、IEEE802.11a、IEEE1394、RS232Cなどの通信規格に従ったインターフェース及び制御回路などで構成される。そして通信部4は、オートホン制御装置151からのオートホン使用信号またはオートホン150からのオフフック信号を受信して、それらの信号を制御部6へ渡す。
さらに通信部4は、センサ160から受け取った人体検知信号を制御部6へ渡す。
また取引監視装置1と取引端末100とは、通信部4を介して接続されてもよく、この場合、取引監視装置1の制御部6は、通信部4を介して警報信号などを取引端末100へ送信してもよい。
記憶部5は、フラッシュメモリなどの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク(HDD)などの記憶装置の少なくとも何れか一つを有する。そして記憶部5は、取引監視装置1で使用される各種のプログラム及びデータを記憶する。
ここで、記憶部5は、制御部6と接続されており、制御部6からの要求に応じて、要求されたデータを制御部6に渡したり、あるいは制御部6から受け取ったデータを記憶したりする。記憶部5は、例えば、そのようなデータとして、センサ160によって利用者が検知されているか否かを示す人体検知フラグ、オートホン150が使用されているか否かを表すオートホン使用フラグを記憶する。さらに記憶部5は、利用者の手及び肩の検索範囲を設定するための検索領域情報、利用者の顔、頭部及び手を判定するためのテンプレート及び判定基準情報等を記憶する。さらに記憶部5は、携帯電話機を使用して取引端末100から送金させる詐欺行為に注意を促す音声メッセージに対応する音声データを記憶する。
なお、記憶部5は、制御部6が有する半導体メモリの記憶領域の一部として実現されてもよい。
制御部6は、プロセッサユニット、RAM及びROMなどの半導体メモリ、及び周辺回路を有する。そして制御部6は、半導体メモリの記憶領域に記憶された各種プログラムをプロセッサユニットによって実行することによって、取引監視装置1全体を制御する。また制御部6は、監視カメラ130から受け取った画像データに基づいて、利用者が携帯電話機を使用しているか否か判定し、使用している場合には、スピーカ140を介して注意を促す。そのために、制御部6は、携帯使用検知部11と、異常報知部12と、フラグ処理部13とを有する。制御部6が有するこれらの各部は、例えば、プロセッサユニットによって実行されるコンピュータプログラムによって実装される機能モジュールである。これらのコンピュータプログラムは、記憶部5に格納され、必要に応じて制御部の記憶領域にロードされ実行されてもよい。
携帯使用検知部11は、監視カメラ130から画像取得部2を介して受け取った画像データから、利用者の顔または頭部の近傍に利用者の手があるか否かを調べることにより、利用者が携帯電話機を使用しているか否か判定する。そのために、携帯使用検知部11は、エッジ画像生成部21と、顔検出部22と、顔向き判定部23と、手領域検出部24と、判定部25とを有する。
エッジ画像生成部21は、監視カメラ130から画像取得部2を介して受け取った、利用者が撮影された画像データ(以下監視画像という)から、利用者の各部の輪郭に対応するエッジ画素を抽出する。そのためにエッジ画像生成部21は、例えば、監視画像に対してsobelフィルタまたはprewittフィルタなどのエッジ検出フィルタを用いた近傍画素間演算を実行する。そしてエッジ画像生成部21は、近傍画素間演算の結果得られた差分値の絶対値が所定の閾値よりも大きい画素をエッジ画素とする。なお、所定の閾値は、例えば、監視画像の各画素について得られた差分絶対値の平均値とすることができる。また、エッジ画像生成部21は、エッジ検出フィルタの向きを少なくとも垂直方向と水平方向の2方向に設定し、垂直方向のエッジと水平方向のエッジを検出することが好ましい。そしてエッジ画像生成部21は、各画素について、得られた各方向の差分絶対値のうち、最大値となる方向をその画素のエッジの向きとする。
エッジ画像生成部21は、抽出されたエッジ画素を表すエッジ画像を作成する。例えば、エッジ画像では、抽出されたエッジ画素に対応する画素の画素値が、水平方向のエッジであれば1、垂直方向のエッジであれば2で表され、その他の画素の画素値が0で表される。あるいは、エッジ画像生成部21は、エッジ画像とは別個に、抽出されたそれぞれのエッジ画素の向きを表すエッジ方向データを作成してもよい。
エッジ画像生成部21は、作成したエッジ画像を手領域検出部24へ渡す。また顔検出部22がエッジ画像に基づいて顔領域を検出する場合には、エッジ画像生成部21は、顔検出部22にもエッジ画像を渡す。
顔検出部22は、監視画像から利用者の顔が写っている顔領域を検出する。そのために、顔検出部22は、画像から顔領域を検出する様々な技術の何れかを利用することができる。例えば、監視画像がカラー画像である場合、顔検出部22は、監視画像の各画素の色情報をHSV表色系の色情報に変換する。そして顔検出部22は、色相Hの成分が所定の範囲に含まれる色情報を有する画素を肌色画素として抽出する。なお、所定の範囲は、例えば、色相Hの成分の色情報が0から255で表される場合、0から30に設定される。そして顔検出部22は、肌色画素及び肌色画素で囲まれた領域を候補領域とし、その候補領域から抽出されるHaar-like特徴を用いたAdaboost識別器により、候補領域が顔領域か否か判定する。なお、Haar-like特徴は、入力された画像領域中に任意に設定された複数の隣接矩形領域間の輝度差である。また、Adaboost識別器は、複数の弱識別器と、各弱識別器の判定結果を統合して判定する強識別器とから構成される。
各弱識別器は、入力された画像領域から、それぞれ異なるHaar-like特徴を算出し、算出されたHaar-like特徴に基づいて入力された候補領域が顔領域か否かの識別結果を出力する。例えば、弱識別器は、候補領域が顔領域であると判定した場合、1を出力し、一方、候補領域が顔領域でないと判定した場合、-1を出力する。一方、強識別器は、各弱識別器による出力結果をそれぞれ重み付けして、その重み付け和を求める。そして強識別器は、得られた重み付け和が所定の閾値(例えば、0)よりも高い場合、候補領域が顔領域であると判定する。
また、候補領域中のどの位置に関するHaar-like特徴を識別に利用する弱識別器が使用されるか、及び弱識別器に対する重みは、人物の顔が写っていない複数のサンプル画像と人物の顔が写っている複数のサンプル画像とを用いた事前学習により決定される。学習手順の概略は以下の通りである。
(1)候補領域中のいくつかの位置に関していくつかのHaar-like特徴を利用する使用可能な全ての弱識別器について、Haar-like特徴の値に基づいて、入力された画像領域に顔が写っているか否かを識別する閾値を設定する。
(2)各サンプル画像に対する重みを決定する。重みの初期値は、各サンプル画像に対して同じ値とする。
(3)全ての弱識別器に対して各サンプル画像を入力して、弱識別器ごとに識別に失敗したサンプル画像に付けられた重みを合計する。そしてその重みの合計を評価値とする。
(4)評価値が最も小さい弱識別器をAdaboost識別器で使用する弱識別器として選択する。そして評価値から選択された弱識別器の出力に付される重みを決定する。
(5)選択された弱識別器が識別に失敗したサンプル画像の重みを大きくする。
(6)(3)〜(5)の手順を繰り返す。
なお、Haar-like特徴及びAdaboost識別器の詳細については、例えば、Paul Viola and Michael Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, vol.1, pp.511-518, 2001に開示されている。
また、顔検出部22は、監視画像から、人物の顔において特徴的な目領域、鼻尖点、口角点などの顔特徴部分や顔特徴点を抽出することにより、顔領域を検出してもよい。例えば、顔検出部22は、エッジ画像生成部21から受け取ったエッジ画像から、顔の輪郭形状に近似した楕円形状のエッジ分布を、パターンマッチングなどを用いて検出する。そして、顔検出部22は、その楕円形状のエッジ分布に囲まれた領域内に存在するエッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。そしてこれらの顔特徴点が抽出できた場合、顔検出部22は、その楕円形状のエッジ分布に囲まれた領域を顔領域とする。
また顔検出部22は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに顔検出部22は、顔領域に相当するテンプレートと監視画像とのテンプレートマッチングを行ってテンプレートと監視画像との相関値を求め、その相関値が所定の閾値以上となる場合、その相関値に対応する監視画像内の領域を顔領域として検出してもよい。
なお、顔検出部22は、顔向き判定部23が、顔特徴点を用いて利用者の顔の向きを判定する場合には、何れの方法を用いて顔領域を検出する場合も、顔特徴点を検出する。
顔検出部22は、監視画像から顔領域を検出することができた場合、その顔領域を表す情報(例えば、顔領域の外接矩形の左上端点の画素の座標と右下端点の画素の座標)を、顔向き判定部23及び手領域検出部24へ渡す。さらに顔検出部22は、顔領域から抽出された各顔特徴点の位置を、顔向き判定部23へ渡す。一方、顔検出部22は、監視画像から顔領域を検出することができなかった場合、その旨を示す顔検出不能信号を携帯使用検知部11に返す。
顔向き判定部23は、利用者が監視カメラ130に対して正面方向を向いているか、あるいは横方向を向いているかを判定する。顔向き判定部23は、この顔向き判定処理として、例えば、公知の様々な顔向き判定処理の何れかを利用することができる。本実施形態では、顔向き判定部23は、顔検出部22により検出された顔領域から抽出された各顔特徴点の2次元的な分布を調べることにより、利用者の顔の向きを判定する。
そこで、顔向き判定部23は、例えば、両目尻の中点と口点を結ぶ直線を、顔の正中線として求める。そして顔向き判定部23は、鼻の頂点である鼻尖点が、正中線に対して左右どちら側にあるか、および正中線からの距離を求める。ここで、監視カメラ130から見て利用者が正面を向いている場合、鼻尖点は正中線上に存在し、利用者が正面方向に対して横へ向く角度が大きくなるほど、正中線に対する鼻尖点の位置のずれ量が左右方向に大きくなる。従って、鼻尖点と正中線との距離の大きさは、利用者が正面方向に対して横を向く角度に略比例する。そこで顔向き判定部23は、鼻尖点と正中線間の距離が所定値未満であれば利用者は正面方向を向いている(すなわち、正面向き顔)と判定し、一方、鼻尖点と正中線間の距離が所定値以上であれば利用者は横を向いている(すなわち、横向き顔)と判定する。この所定値は、監視画像上で、利用者が通話するときに携帯電話機を持つ手が顔領域に重なっていないときの顔向きを正面向き顔と判定し、手が顔領域と重なっているときの顔向きを横向き顔と判定できるように、予め実験的に求められる。
また顔向き判定部23は、顔特徴点の一部が検出できず、鼻尖点と正中線間の距離が算出できない場合は、検出された顔特徴点の顔領域上の偏り度合いを調べる。例えば、顔向き判定部23は、検出された各顔特徴点の重心位置と、顔領域の中心位置との距離を、その偏り度合いとして求める。そして顔向き判定部23は、求めた顔向き度合いが顔領域の左右何れかに偏っていることを示している場合、利用者の顔の向きを横向き顔と判定する。例えば、各顔特徴点の重心位置と顔領域の中心位置との水平方向の距離が、顔領域幅に対する所定比率以上であれば、顔向き判定部23は、利用者の顔の向きを横向き顔と判定する。なお、その所定比率は実験的に最適化される。
さらに、顔向き判定部23は、所定数以上の顔特徴点が抽出できない場合には、利用者の顔の向きを正確に検知できないため、利用者の顔の向きを正面顔でも横向き顔でもないと判定する。なお、その所定数は、例えば、顔検出部22が顔領域から抽出しようとする顔特徴点の個数の半数とすることができる。
また、顔向き判定部23は、顔の向きを様々な方向に変えた複数のテンプレートと顔領域とのテンプレートマッチングにより、利用者の顔の向きを判定してもよい。この場合、そのようなテンプレートは、予め準備され、記憶部5に記憶される。そして顔向き判定部23は、顔検出部22により顔領域が検出されると、記憶部5からそれらテンプレートを読み込み、読み込んだそれぞれのテンプレートと顔領域とのテンプレートマッチングを実行する。顔向き判定部23は、顔領域と最も一致度が高いテンプレートが表す顔の向きを、利用者の顔の向きとする。
顔向き判定部23は、判定された顔向きを表す顔向き情報を、手領域検出部24へ通知する。
なお、携帯使用検知部11は、顔検出部22が監視画像から顔領域を検出することができなかった場合、監視画像から利用者の頭部が写っている頭部領域を検出してもよい。例えば、携帯使用検知部11は、頭部の輪郭形状と近似したパターンである楕円形状の少なくとも1枚のテンプレートと、エッジ画像生成部21から受け取ったエッジ画像とのテンプレートマッチングを行ってテンプレートとエッジ画像との相関値を求めてもよい。そして携帯使用検知部11は、その相関値が所定の閾値以上となる場合、その相関値に対応する監視画像内の領域を頭部領域として検出する。
手領域検出部24は、顔検出部22により検出された顔領域の近傍において、利用者の手が検出できるか否か判定する。そこでまず、手領域検出部24は、利用者が携帯電話機を利用している場合、利用者の顔の側面に手を近づけることを考慮して、手の探索領域を設定する。
図3(a)は、利用者が正面を向いた顔領域が検出されている場合に設定される、手の探索領域の一例を示し、図3(b)は、利用者が横を向いた顔領域が検出されている場合に設定される、手の探索領域の一例を示す。図3(a)に示すように、利用者の顔が監視カメラに対して正面を向いている顔領域301が検出されている場合、手の探索領域302の上端は、顔領域301の高さ方向の中心に設定され、探索領域302の下端は、通話中に利用者が手を置くと考えられる位置の下端を探索領域302に含むように、例えば、監視画像300の下辺に接触するように設定される。また、探索領域302の左右端は、利用者の両肩が含まれると想定される範囲を含むように設定される。例えば、探索領域302の左右端は、それぞれ、顔領域301の水平方向の中心から、顔領域301の幅の2倍から3倍の距離だけ離れた位置に設定される(図3では大きさを簡略化して示している)。さらに、顔領域301の下端から下方の所定幅の領域303には、首または衣類のボタンなど、肌色かつ多数のエッジ画素が抽出される物体が存在する。そこで、肌色かつ多数のエッジ画素が抽出される物体を手として誤検出することを防止するために、この領域303は探索領域302から除外されてもよい。また、利用者は、携帯電話機を使用して通話を行う場合、顔の下方に手を持ってくる可能性は低いので、このような領域303を手の探索領域から除外しても、手の探索に失敗する可能性は低いと考えられる。なお、除外される領域303の幅は、例えば、顔領域301の幅の1/2〜1倍に設定され、除外される領域303の中心線が顔領域301の中心線と一致するように、除外される領域303の水平方向の位置が設定される。
ここで、正面向き顔が検出された場合、利用者の顔の右側とは利用者の右手が存在すると思われる領域であって、設定された探索領域のうち水平方向の顔の中心より右側(画像における左側)の右側探索領域を示し、利用者の顔の左側とは利用者の左手が存在すると思われる領域であって、設定された探索領域のうち顔の水平方向の中心より左側(画像における右側)の左側探索領域を示す。
一方、図3(b)に示すように、利用者の顔が左または右を向いている横向き顔の顔領域311が検出されている場合、手の探索領域312の上端は、顔領域311の高さ方向の中心に設定され、探索領域312の下端は、通話中に利用者が手を置くと考えられる位置の下端を探索領域312に含むように、例えば、監視画像300の下辺に接触するように設定される。また、探索領域312の左右端は、利用者の身体が含まれると想定される範囲を含むように設定される。例えば、探索領域312の左右端は、それぞれ、顔領域311の水平方向の中心から、顔領域311の幅の1.5倍から2倍の距離だけ離れた位置に設定される。ここで、横向き顔が検出された場合、利用者の顔の右側とは左(画像における右側)を向いている顔領域に対して設定される探索領域であって、利用者の顔の左側とは右(画像における左側)を向いている顔領域に対して設定される探索領域である。
なお、利用者の顔領域が検出されず、その代わりに利用者の頭部領域が検出されている場合、例えば、図3(c)に示すように、手領域検出部24は、検出された頭部領域の近傍に手の探索領域を設定してもよい。ここでは、手領域検出部24は、手の探索領域322の上端を、頭部領域321の上端に設定している。これは、利用者が正面を向いている場合と異なり、利用者が俯いている場合、手の位置が頭部領域の上端近くに位置する可能性があるためである。このように手領域検出部24は、利用者の頭部領域が検出されている場合の頭部領域の高さに対する探索領域の上端の位置を、利用者の顔領域が検出されている場合の顔領域の高さに対する探索領域の上端の位置よりも上方に設定してもよい。
ここで、頭部領域が検出された場合、利用者の顔の右側とは、設定された探索領域のうち頭部の水平方向の中心より右側(画像における左側)の右側探索領域を示し、利用者の顔の左側とは、設定された探索領域のうち水平方向の顔の中心より左側(画像における右側)の左側探索領域を示す。
手領域検出部24は、上述のように設定された手の探索領域302、312、322内で、利用者の手が検出できるか否かを判定する。通常ATMの操作は右手で行われるため、携帯電話機は左手で持つ可能性が高いと考えられる。したがって、手領域検出部24は、顔の右側(監視画像における顔の左側)において手領域を検出する判定基準を、顔の左側(監視画像における顔の右側)において手領域を検出する判定基準より厳格にして手領域を検出する。
ここで手は、画像上において、逆U字状の輪郭を有し、その輪郭内に多数のエッジ画素が存在するとともに、その輪郭内に肌色の画素が多数含まれるという特徴を持つ。そこで、手領域検出部24は、例えば、監視画像に設定された手の探索領域内に存在する肌色の画素を検出する。なお、肌色の画素は、顔検出部22に関して説明したように、その画素の色情報が0から255までの値を有するHSV表色系で表される場合、色相Hの成分が例えば0から30といった所定の範囲に含まれる色情報を有する画素である。
手領域検出部24は、肌色画素についてラベリング処理を実行することにより、肌色画素が含まれる肌色領域を手候補領域として抽出する。なお、手領域検出部24は、モルフォロジーのクロージング演算などを行って、肌色領域に囲まれた非肌色画素を手候補領域に含めてもよい。これにより、影などの影響で、手の一部分に対応する画素が監視画像上では肌色でない場合も、手領域検出部24は、手の一部分に対応する非肌色の画素を手候補領域に含めることができる。また手領域検出部24は、複数の手候補領域を抽出してもよい。
さらに、手領域検出部24は、上記の抽出された肌色領域の中から、手の輪郭形状に近似した逆U字状の輪郭を有する領域を抽出して手候補領域とすることができる。例えば、手領域検出部24は、肌色領域の輪郭部のエッジ画像をエッジ画像生成部21によって抽出し、パターンマッチングなどによってエッジ分布が逆U字状であると判定された場合、この肌色領域を手候補領域として抽出してよい。
なお、横向き顔が検出されている場合、手領域検出部24は、耳を手と誤検出しないよう、肌色領域から耳である可能性の高い領域を除外するようにしてよい。この場合、手領域検出部24は、耳領域検出部(図示せず)によって、楕円形状の円弧に近似するエッジ線で囲まれた肌色領域を抽出し、この領域が耳の画像特徴を備えているか否かを判定する。耳の画像特徴としては、例えば、手の画像特徴と異なり、その領域の重心点と領域内のエッジの重心点とが非常に近いことが挙げられる。そこで、耳領域検出部は、算出した肌色領域の重心点とエッジの重心点との距離が一定の範囲内であれば、この肌色領域が耳領域である可能性が高いと判定してもよい。また、手領域検出部24は、顔検出部22によって検出された顔特徴点である眉尻点と口角点を使って、楕円形状の円弧に近似するエッジ線で囲まれた肌色領域が眉尻点の水平方向の延長線と口角点の水平方向の延長線との間に位置する場合のみ、耳領域検出部によって耳領域であるか否かを判定してよい。
顔検出部22により顔領域が検出されている場合、手領域検出部24は、手候補領域の面積Sh、すなわち、手候補領域に含まれる画素数と、顔領域の面積Sf、すなわち、顔領域に含まれる画素数との比Sh/Sfを求める。そして手領域検出部24は、手候補領域の面積と顔領域の面積との比Sh/Sfが、人の顔と手の大きさの一般的な比に相当する所定の範囲に含まれるか否か判定する。例えば、その所定の範囲は、0.1から1までの範囲である。
手領域検出部24は、Sh/Sfが所定の範囲から外れる場合、その手候補領域は利用者の手ではないと判定する。一方、Sh/Sfが所定の範囲に含まれる場合、手領域検出部24は、その手候補領域に対応するエッジ画像上の領域に含まれるエッジ画素の数Ehを計数する。そして手領域検出部24は、手候補領域の面積Shに対するエッジ画素の数Ehの比であるエッジ画素比Eh/Shが、手領域に含まれるエッジ画素の一般的な比率の最小値に対応する所定の閾値(例えば、0.1)より大きいか否かを判定する。
正面向き顔または俯いた顔の頭部が検出されている場合、手領域検出部24は、この手候補領域の面積Shに対するエッジ画素の数Ehの比Eh/Shによる判定において、監視画像300における正面向き顔の左側にある手候補領域と右側にある手候補領域とで異なる閾値を用いて手領域であるか否かの判定を行うことができる。例えば、利用者の顔の右側(画像において左側)における閾値をTh1、利用者の顔の左側(画像において右側)における閾値をTh2とし、Th1>Th2となる閾値Th1、Th2を選ぶことによって、利用者の顔の右側における手領域検出の判定基準を左側の判定基準より厳しくすることができる。
この場合、閾値Th2を一般的に判定基準として用いられる標準の閾値Th(例えば、0.1)とし、Thより大きな値を閾値Th1としてもよいし、閾値Th1を標準の閾値Thとし、閾値Th2にThより小さな値を設定してもよい。また、Th1>Th2であれば、閾値Th1、Th2の双方に標準の閾値Th以外の値を用いてもよい。
そして手領域検出部24は、手候補領域が利用者の顔の右側にある場合、手候補領域の面積Shに対するエッジ画素の数Ehの比Eh/Shが所定の閾値Th1以下であれば、その手候補領域は利用者の手ではないと判定し、その比Eh/Shが所定の閾値Th1よりも大きければ、その手候補領域は利用者の手であると判定する。一方、監視画像300において手候補領域が顔の左側にある場合、手領域検出部24は、手候補領域の面積Shに対するエッジ画素の数Ehの比Eh/Shが所定の閾値Th2(<Th1)以下であれば、その手候補領域は利用者の手ではないと判定し、その比Eh/Shが所定の閾値Th2よりも大きければ、その手候補領域は利用者の手であると判定する。
なお、手領域検出部24は、手候補領域が手領域であるか否かを判定する際の手候補領域の面積Shと顔領域の面積Sfとの比Sh/Sfによる判定基準に関しても、顔の右側と左側とで異なる判定基準を用いてよい。
例えば、利用者の右側(画像中の左側)において、手候補領域が手領域であると判定される手候補領域と顔領域との面積比Sh/Sfの範囲RS1を、左側(画像中の右側)における手候補領域と顔領域との面積比Sh/Sfの範囲RS2より狭く設定することによって、利用者の右側における手領域検出の判定基準を左側の判定基準より厳しくすることができる。この場合、所定の範囲RS2を、一般に手候補領域が手領域であると判定できる標準的な範囲RS(例えば、0.1から1まで)とし、所定の範囲RS1を標準的な範囲RSより狭くしてもよいし、所定の範囲RS1を標準の範囲RSとし、所定の範囲RS2を標準の範囲RSより広くしてもよい。なお、範囲RS1が範囲RS2より狭ければ、範囲RS1、RS2の双方に標準の範囲RS以外の範囲を用いてよい。
同様に、手領域検出部24は、手候補領域を抽出する際の手候補領域の輪郭が逆U字状であるか否かの判定基準に関しても、利用者の右側と左側とで異なる判定基準を用いてもよい。例えば、パターンマッチングによって、抽出された肌色領域の輪郭部のエッジ分布を表すエッジ画像と、逆U字状のエッジ分布を表すエッジ画像とを比較し、両者の類似度が所定の類似度より大きければ肌色領域の輪郭が逆U字状であると判定する場合、利用者の右側(画像中の左側)における所定の類似度S1を利用者の左側(画像中の右側)における所定の類似度S2より大きい値にすることによって、利用者の顔の右側における判定基準を左側における判定基準より厳格にすることができる。
また、同様に、手領域検出部24は、手候補領域を抽出する際の肌色であるか否かの判定基準に関しても、顔の右側と左側とで異なる判定基準を用いてもよい。
例えば、画素の色情報がHSV表色系で0から255の値によって表される場合、利用者の顔の右側(画像中の左側)において、手候補領域が手領域であると判定する色相H成分の範囲RH1を、左側(画像中の右側)における色相H成分の範囲RH2より狭く設定することによって、顔の右側における手領域検出の判定基準を左側の判定基準より厳しくすることができる。この場合、所定の範囲RH2を、手候補領域が手領域であると判定できる標準的な範囲RH(例えば、0から30まで)とし、所定の範囲RH1を標準的な範囲RHより狭くしてもよいし、所定の範囲RH1を標準の範囲RHとし、所定の範囲RH2を標準の範囲RHより広くしてもよい。なお、範囲RH1が範囲RH2より狭ければ、範囲RH1、RH2の双方に標準の範囲RH以外の範囲を用いてもよい。
また、手領域検出部24は、横向き顔が検出されている場合、検出された顔が左を向いているか右を向いているかによって異なる判定基準を用いて、探索領域内の手領域を検出する。具体的には、検出された利用者の顔が左(画像中は右)を向いていれば、正面向き顔の場合の利用者の右側と同様の判定基準を用いて利用者の右手を探索する。一方、検出された利用者の顔が右(画像中は左)を向いていれば、正面向き顔の場合の利用者の左側と同様の判定基準を用いて利用者の左手を探索する。
こうすることによって、正面向き顔が検出されている場合と同様に、利用者の右手側における手領域検出の判定基準を利用者の左手側の判定基準より厳しくすることができる。
このように、利用者の顔の右側と左側とで、手領域を検出する判定基準を異ならせることにより、ATMの利用者が携帯電話機の使用に用いることが稀である顔の右側における手の存在を誤検出してしまうことを防止し、手の存在を精度良く検出できる。
判定部25は、手領域検出部24からの利用者の手の検出結果に基づいて、利用者が携帯電話機を用いて通話中か否かを判定する。具体的には、判定部25は、何れかの時点で取得された監視画像に対して、手領域検出部24が利用者の手が検出されたことを示す手領域検出結果信号を返すと、カウンタの値を1インクリメントする。このカウンタは制御部6が有するメモリに記憶されており、何れかの時点で取得された監視画像に対して、手領域検出部24が利用者の手が検出されなかったことを示す手領域検出不能信号を返すと、携帯使用検知部11によって0にリセットされる。そのため、順次取得された監視画像に対して連続的に利用者の手が検出されると、カウンタの値が増加する。そしてカウンタの値が所定値に達すると、すなわち、一定期間の間連続して利用者の手が利用者の顔または頭部の近傍で検出されると、判定部25は、利用者が携帯電話機を用いて通話中であると判定する。なお、この所定値は、例えば、詐欺行為者からの指示を利用者が聞くのに必要と考えられる時間(例えば、1分間)の間に取得される監視画像の枚数に設定されることが好ましい。
なお、判定部25は、この判定で使用する期間(画像枚数)の所定値に関して、利用者の手が顔の右側(画像中の左側)にある場合と左側(画像中の右側)ある場合とで異なる所定値を使用してもよい。例えば、手が顔の右側にある場合に用いる期間の所定値をT1、手が顔の左側にある場合に用いる期間の所定値をT2とするとき、T1>T2となる所定値T1、T2を選ぶことによって、顔の右側における手領域検出の判定基準を左側の判定基準より厳しくすることができる。
また、判定部25は、カウンタをインクリメントするときの増加値を変更することによって、顔の右側と左側とで異なる判定基準とすることができる。例えば、利用者の右側における増加値をC1、左側における増加をC2とするとき、C1<C2となる増加値C1、C2を選ぶことができる。こうして、判定部25は、監視画像から利用者の手が検出されたとき、利用者の右側で検出された場合はカウンタの値を増加値C1だけ増加させ、利用者の左側で検出された場合はカウンタの値を増加値C2だけ増加させることによって、結果的に顔の右側にある場合の判定期間を長くして顔の右側における手領域検出の判定基準を左側の判定基準より厳しくすることができる。
判定部25は、利用者が携帯電話機を用いて通話中であると判定されたときに、通話中であることが検知されたことを示す通話検出信号を携帯使用検知部11に返す。そして携帯使用検知部11は、その通話検出信号を制御部6に通知する。一方、カウンタの値が所定値未満であれば、判定部25は、利用者が通話中か否か分からないため、判定結果を携帯使用検知部11に通知しない。
異常報知部12は、後述するオートホン使用フラグがOFFに設定されていれば、携帯使用検知部11から通話検出信号が通知されているか否かを調べる。そして異常報知部12は、携帯使用検知部11から通話検出信号が通知されている場合、すなわち、利用者が携帯電話機を用いて通話中であると判定された場合、取引端末100から金銭を振り込ませる詐欺行為に注意を促す警報音声データを記憶部5から読み込む。そして異常報知部12は、警報音声データを音声出力部3を介してスピーカ140へ出力し、利用者に警報を発する。異常報知部12は、警報音声データの出力を所定回数繰り返して実行した後、警報音声を通知する処理を終了する。あるいは、異常報知部12は、携帯使用検知部11から通話検出信号が通知されている間、警報音声データを繰り返しスピーカ140へ出力してもよい。なお、異常報知部12が行う警報を報知する処理は、警報音声データの出力に限らず、例えば、異常報知部12がオートホン制御装置151に異常信号を出力し、これを受信したオートホン制御装置151が、通信回線170を介してATMセンタ装置180へ利用者が詐欺行為に遭っている可能性が高い旨を通知する処理であってもよい。
一方、オートホン使用フラグがONに設定されていれば、利用者がオートホン150を用いてオペレータと通話していることを携帯電話機を用いた通話と誤認識して警報を発することがないように、異常報知部12は警報音声データをスピーカ140へ出力しない。
フラグ処理部13は、携帯使用検知部11が通話検知処理を開始するためのトリガとなる人体検出フラグと、異常報知部12が警報音声データを出力するか否かの判定基準となるオートホン使用フラグの値を設定する。
具体的には、フラグ処理部13は、センサ160から、取引端末100を操作する利用者が検知されたことを示す人体検知信号を受信している間、記憶部5に記憶されている人体検出フラグをONに設定する。一方、フラグ処理部13は、人体検知信号を受信しなくなると、人体検出フラグをOFFに書き換える。
また、フラグ処理部13は、オートホン制御装置151からオートホン150が使用されていることを示すオートホン使用信号を受信している間、あるいは、オートホン150からオフフック信号を受信している間、記憶部5に記憶されているオートホン使用フラグをONに設定する。一方、フラグ処理部13は、オートホン使用信号及びオフフック信号を受信しなくなると、オートホン使用フラグをOFFに書き換える。
次に、図4および5に示したフローチャートを参照しつつ、制御部6の携帯使用検知部11による通話検知処理の動作手順を説明する。なお、この動作手順は、制御部6において実行されるコンピュータプログラムによって制御される。
まずステップS101の前に、携帯使用検知部11は、携帯使用検知部11において使用される各データの初期化を必要に応じて行う。例えば、携帯使用検知部11は、上述したように判定部25が利用者の手が連続して利用者の顔または頭部の近傍に検出された時間を測定するのに使用するカウンタの値を0にリセットする。
そして、エッジ画像生成部21は、画像取得部2を介して監視画像を取得すると、取得した監視画像から、利用者の各部の輪郭に対応するエッジ画素を抽出したエッジ画像を作成する(ステップS101)。エッジ画像生成部21は、作成したエッジ画像を、手領域検出部24へ渡す。また、顔検出部22がエッジ画像に基づいて顔領域を検出する場合には、エッジ画像生成部21は、顔検出部22にもエッジ画像を渡す。
次に、顔検出部22は、取引端末100に対面する利用者の顔領域を検出する処理を実行し、顔領域が検出できたか否かを携帯使用検知部11に通知する(ステップS102)。顔領域が検出できなかった場合、顔検出部22は、顔検出不能信号を携帯使用検知部11に返す(ステップS102−No)。顔検出部22から顔検出不能信号を受け取った携帯使用検知部11は、ステップS111に制御を移す。
一方、ステップS102において、顔領域が検出された場合(ステップS102−Yes)、顔検出部22は、顔検出信号を携帯使用検知部11に返す。また、顔検出部22は、検出した顔の位置などの検出した顔領域に関する情報を顔向き判定部23に渡す。
ステップS103において、顔向き判定部23は、顔検出部22から受け取った情報に基づいて、検出された顔が正面を向いているか横を向いているかを判定し、その結果を手領域検出部24に渡す。検出された顔が正面向き顔であれば(ステップS103−Yes)、手領域検出部24は、上述したように、顔検出部22から受け取った顔領域の位置情報に従って、検出された顔領域の近傍に手の探索領域302を設定する。このとき、手領域検出部24は、上述したように、正面向き顔に応じた顔の探索領域302を設定するが、顔領域の代わりに頭部領域が検出された場合、頭部領域に応じた探索領域322を設定してもよい。
そして、手領域検出部24は、設定された探索領域302、322内で手領域を探索するが、このとき、上述したように、顔の右側と顔の左側とで異なる判定基準を用いて手領域を検出する。ここでは、一般にATMの操作は右手で行われるので携帯電話機は左手で持つ可能性が高いため、手領域検出部24は、顔の右側(監視画像中の顔の左側)において手領域を検出する判定基準を、顔の左側(監視画像中の顔の右側)において検出する判定基準より厳格にして手領域を検出する。
そこで、手領域検出部24は、利用者の顔の左側、すなわち左側探索領域において緩い判定基準を用いて利用者の手の検出を行う(ステップS104)。利用者の顔の左側でこの判定基準を満たす肌色領域を検出できなかった場合(ステップS105−No)、手領域検出部24は、利用者の顔の右側、すなわち右側探索領域において厳格な判定基準を用いて利用者の手の検出を行う(ステップS106)。
上述したように、手領域検出部24は、色情報、エッジ分布量など様々な特徴量によって手の判定を行っており、それぞれの特徴量に対して判定基準となる閾値や範囲を使用している。したがって、手領域検出部24は、これらの特徴量に対して利用者の右側と左側とで異なる閾値や範囲を用いることによって異なる判定基準で手領域を検出することができる。ここでは、手領域検出部24が、これらの特徴量のうち手候補領域の面積Shに対するエッジ画素の数Ehの比Eh/Shに関して、顔の右側と左側とで異なる閾値を用いる例について説明する。
この場合、上述したように、手領域検出部24は、ステップS104において顔の左側を探索する場合、Th1>Th2である閾値のTh2を用いて、手候補領域の面積Shに対するエッジ画素の数Ehの比Eh/Shが所定の閾値Th2よりも大きければ、その手候補領域は利用者の手であると判定し、そうでなければ利用者の手でないと判定する。一方、手領域検出部24は、ステップS106において顔の右側を探索する場合、Th1>Th2である閾値のTh1を用いて、手候補領域の面積Shに対するエッジ画素の数Ehの比Eh/Shが所定の閾値Th1よりも大きければ、その手候補領域は利用者の手であると判定し、そうでなければ、利用者の手でないと判定する。ここで、上述したように、Th1、Th2の値は、Th1>Th2であれば、一方を標準の値にしてもよいし、しなくてもよい。
ステップS107において判定基準を満たす肌色領域を検出できなかった場合(ステップS107−No)、手領域検出部24は、手領域を検出できなかったことを示す手領域検出不能信号を携帯使用検知部11に渡す。この手領域検出不能信号を受け取った携帯使用検知部11は、ステップS111に制御を移行する。一方、ステップS105において顔の左側で判定基準を満たす肌色領域を検出できた場合(ステップS105−Yes)、またはステップS107において顔の右側で判定基準を満たす肌色領域を検出できた場合(ステップS107−Yes)、手領域検出部24は、手領域を検出したことを示す手領域検出結果信号を判定部25に渡す。
この手領域検出結果信号を受け取った判定部25は、カウンタを1インクリメントする(ステップS108)。そして判定部25は、カウンタの値が所定値に到達したか否か判定する(ステップS109)。カウンタの値が所定値に到達していない場合(ステップS109−No)、携帯使用検知部11は、人体検知フラグがONか否かを判定する(ステップS112)。そして携帯使用検知部11は、人体検知フラグがONの場合(ステップS112−Yes)、ステップS101に制御を戻し、新たに取得された監視画像に対して通話検知処理を実行する。また、人体検知フラグがOFFの場合(ステップS112−No)、携帯使用検知部11は、利用者は取引端末100の使用を終えたと考えられるため、通話検知処理を終了する。
一方、ステップS109において、カウンタの値が所定値に到達している場合(ステップS109−Yes)、判定部25は、利用者が携帯電話機を用いて通話中であると判定し、利用者が通話中であることが検知されたことを示す通話検出信号を携帯使用検知部11に渡す。そして携帯使用検知部11は、その通話検出信号を制御部6に通知し(ステップS110)、通話検知処理を終了する。
携帯使用検知部11は、ステップS102、S107において顔領域あるいは手領域を検出できなかったとき、ステップS111においてカウンタを0にリセットする。そして携帯使用検知部11は、人体検知フラグがONの場合(ステップS112−Yes)、ステップS101に制御を戻し、新たに取得された監視画像に対して通話検知処理を実行する。また、人体検知フラグがOFFの場合(ステップS112−No)、携帯使用検知部11は、利用者は取引端末100の使用を終えたと考えられるため、通話検知処理を終了する。
図5は、検出された顔が横向き顔であると判定された場合(図4のステップS103−No)の手領域検出部24の処理を示すフローチャートである。
まず、手領域検出部24は、上述したように、横向き顔に応じた探索領域312を顔の近傍領域に設定する。そして、手領域検出部24は、顔向き判定部23から受け取った顔の向きに関する情報に基づいて、検出された横向き顔が右(画像中の左)を向いているか否かを判定する(ステップS201)。検出された顔が右向き顔であると判定された場合(ステップS201−Yes)、探索領域312は利用者の左手側と考えられるため、手領域検出部24は、上述のステップS104と同様に緩い判定基準を用いて探索領域312内で左手を探索する(S202)。
一方、検出された顔が右向き顔でないと判定されれば(ステップS201−No)、手領域検出部24は、検出された横向き顔が左を向いているか否かを判定する(ステップS203)。そして検出された顔が左向き顔でないと判定されれば(ステップS203−No)、手領域検出部24は、手領域を検出できなかったことを示す手領域検出不能信号を携帯使用検知部11に渡す。この手領域検出不能信号を受け取った携帯使用検知部11は、図4のステップS111に制御を移行する。また、検出された顔が左向き顔であると判定された場合(ステップS203−Yes)、探索領域312は利用者の右手側と考えられるため、手領域検出部24は、上述のステップS106と同様に厳格な判定基準を用いて探索領域312内で右手を探索する(S204)。
ステップS205において、判定基準を満たす手領域が検出されれば、(ステップS205−Yes)、手領域検出部24は、手領域が検出されたことを示す手領域検出結果信号を携帯使用検知部11に渡す。この手領域検出不能信号を受け取った携帯使用検知部11は、図4のステップS108に制御を移行する。一方、判定基準を満たす手領域が検出されなければ、(ステップS205−No)、手領域検出部24は、手領域検出部24は、手領域を検出できなかったことを示す手領域検出不能信号を携帯使用検知部11に渡す。この手領域検出不能信号を受け取った携帯使用検知部11は、図4のステップS111に制御を移行する。
なお、各ステップにおける処理の詳細は、携帯使用検知部11の各部の説明において説明したので、ここではその説明を省略する。
次に、図6および7に示したフローチャートを参照しつつ、他の実施形態における制御部6の携帯使用検知部11による通話検知処理の動作手順を説明する。なお、この動作手順は、制御部6において実行されるコンピュータプログラムによって制御される。図6のステップS300〜S303およびS309〜S312の処理は、上述した実施形態における図4のステップS100〜S103およびS109〜S112の処理と同様であるので説明を省略し、ステップS304〜S308の処理についてのみ説明する。ただし、ステップS302において、顔領域が検出された場合(ステップS302−Yes)、顔検出部22と続いて処理を行う顔向き判定部23は、検出した顔の位置や向きなどの検出した顔領域に関する情報を判定部25にも渡すこととする。
ステップS304において、手領域検出部24は、設定された探索領域302において、例えば標準の判定基準を用いて利用者の手の検出を行う。例えば、手領域検出部24は、手候補領域の面積Shに対するエッジ画素の数Ehの比Eh/Shに関して、標準の閾値Th(例えば、0.1)より大きければその手候補領域は手領域であると判定し、そうでなければ手領域でないと判定する(ステップS305)。この例では、標準の判定基準を使用しているが、標準より緩い判定基準でも厳格な判定基準でもよい。
この判定基準を満たす肌色領域を検出できなかった場合(ステップS305−No)、手領域検出部24は、手領域を検出できなかったことを示す手領域検出不能信号を携帯使用検知部11に渡す。この手領域検出不能信号を受け取った携帯使用検知部11は、ステップS311に制御を移行する。一方、判定基準を満たす肌色領域を検出できた場合(ステップS305−Yes)、手領域検出部24は、手領域が検出されたことを示す手領域検出結果信号を判定部25に渡す。判定部25は、手領域検出部24から受け取った手領域の位置に関する情報に基づいて、検出された手領域が顔の右側に位置するか左側に位置するかを判定する(ステップS306)。例えば、判定部25は、手領域の外接矩形の中心または重心が右側探索領域内に位置する場合、手領域は顔の右側(画像における左側)にあると判定する。一方、判定部25は、手領域の外接矩形の中心または重心が左側探索領域内に位置する場合、手領域は顔の左側(画像における右側)にあると判定することができる。
こうして、判定部25は、手領域が顔の右側に位置すると判定した場合(ステップS306−Yes)、カウンタを0.5増やす(ステップS307)。一方、判定部25は、手領域が顔の左側に位置すると判定した場合(ステップS306−No)、カウンタを1増やす(ステップS308)。こうすることによって、判定部25は、利用者の右側における携帯電話機を使って通話中であるか否かの判定基準を左側の判定基準より厳しくすることができる。
図7は、検出された顔が横向き顔であると判定された場合(図6のステップS303−No)の手領域検出部24の処理を示すフローチャートである。
ステップS401において、手領域検出部24は、上述したように、横向き顔に応じた探索領域312を設定し、設定した探索領域312において標準の判定基準を用いて利用者の手の検出を行う。例えば、手領域検出部24は、手候補領域の面積Shに対するエッジ画素の数Ehの比Eh/Shの判定に関して、標準の閾値Th(例えば、0.1)より大きければその手候補領域は手領域であると判定し、そうでなければ手領域でないと判定する(ステップS402)。上述のステップS304と同様、ここで使用する判定基準は、標準より緩い判定基準でも厳格な判定基準でもよい。
この判定基準を満たす肌色領域を検出できなかった場合(ステップS402−No)、手領域検出部24は、手領域を検出できなかったことを示す手領域検出不能信号を携帯使用検知部11に渡す。この手領域検出不能信号を受け取った携帯使用検知部11は、図6のステップS311に制御を移行する。
一方、判定基準を満たす肌色領域を検出できた場合(ステップS402−Yes)、手領域検出部24は、手領域が検出されたことを示す手領域検出結果信号を判定部25に渡す。そして判定部25は、顔検出部22から受け取った顔の向きに関する情報に基づいて、利用者が右を向いているか否かを判定する(ステップS403)。
そして、判定部25は、検出された横向き顔が右向き顔であると判定した場合(ステップS403−Yes)、カウンタを1増やす(ステップS404)。また、判定部25は、横向き顔が右向きでないと判定した場合(ステップS403−No)、顔の向きに関する情報に基づいて、利用者が左を向いているか否かを判定する(ステップS405)。そして判定部25は、検出された横向き顔が左向き顔であると判定した場合(ステップS405−Yes)、カウンタを0.5増やす(ステップS406)。こうすることによって、判定部25は、利用者の右側において利用者が携帯電話機を使って通話中であるか否かを判定するための判定基準を利用者の左側の判定基準より厳しくすることができる。
横向き顔が右向きでないと判定した場合(ステップS405−No)、判定部25は、利用者が携帯電話機を用いて通話中であることが検知されなかったことを示す通話検出不能信号を携帯使用検知部11に返し、携帯使用検知部11は図6のステップS311に制御を移す。
図8に示したフローチャートを参照しつつ、取引監視装置1による処理全体の動作手順を説明する。なお、この動作手順は、制御部6において実行されるコンピュータプログラムによって制御される。
取引端末100が起動されたとき、取引監視装置1も起動され、処理が開始される。そして、制御部6は、記憶部5に記憶された人体検知フラグがONに設定されているか否か判定する(ステップS501)。ステップS501において、人体検知フラグがOFFであれば(ステップS501−No)、制御部6は、制御をステップS506に移行する。一方、ステップS501において、人体検知フラグがONであれば(ステップS501−Yes)、制御部6の携帯使用検知部11は、通話検知処理を実行する(ステップS502)。なお、通話検知処理の詳細手順は、図4〜7とともに上述したとおりである。そして制御部6は、携帯使用検知部11からの通話検出信号を参照して、利用者が携帯電話機を使用して通話しているか否かを判定する(ステップS503)。
ステップS503において、利用者が携帯電話機を使用して通話していると判定された場合(ステップS503−Yes)、制御部6の異常報知部12は、スピーカ140へ警報音声データの出力を開始する(ステップS504)。音声データの出力開始後、制御部6は、記憶部5に記憶された人体検知フラグがONに設定されているか否かを判定する(ステップS505)。この判定で、人体検知フラグがONである場合、人体検知フラグがOFFに変化するまで処理をループさせている。これは、同一の利用者に対して警告音声データを何度も出力しないようにするためである。一方、ステップS503において、利用者が携帯電話機を使用して通話していると判定されなかった場合(ステップS503−No)、あるいはステップS505にてNoと判定された後、制御部6は、取引端末100がサービスを終了したか否か判定する(ステップS506)。なお、制御部6は、取引端末100の営業時間の終了時刻になったこと、あるいは、取引端末100からシャットダウンする旨の通知を受けることにより、取引端末100がサービスを終了したと判定できる。ステップS506において、取引端末100がサービスを終了していない場合、制御部6は、制御をステップS501に戻し、ステップS501〜S506の処理を繰り返す。一方、ステップS506において、取引端末100がサービスを終了した場合、取引監視装置1の処理を終了し、取引監視装置1の電源を切る。
以上説明してきたように、本発明の一実施形態である電話機使用検出装置が組み込まれた取引監視装置は、ATMなど、金銭の取引を行う取引端末に設置される。そしてこの取引監視装置は、取引端末の利用者を撮影した画像から利用者の顔領域を検出し、その顔領域の近傍に手が存在するか否かを調べることにより、利用者が携帯電話機を使用しているか否かを判定する。そしてこの取引監視装置は、利用者が携帯電話機を使用していると判定したときに、利用者に対して詐欺行為の可能性がある旨の警報を発する。
本発明では、ATMなど一般に普及している取引端末ではキャッシュカードの挿入口や現金の入金口が利用者の右側に設けられているため、ほとんどの場合、利用者は、右手で取引端末を操作し、携帯電話機を左手で持つことに着目している。こうして、特にこの取引監視装置1は、利用者の顔の右側(画像データ中の顔の左側)において利用者が携帯電話機を使用しているか否かを判定する判定基準を、顔の左側(画像データ中の顔の右側)における判定基準より厳格にすることによって誤検出を防止するので、携帯電話機を使用した通話の有無を高精度に判定することができる。
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、携帯使用検知部11は、オートホン使用フラグがONに設定されている間、通話検知処理の実行を中断してもよい。
上記の実施例では、今日一般に普及しているATMなどの取引端末においては、その筐体の右側にキャッシュカードの挿入口や現金の入金口が設けられており、その筐体の中央にタッチパネルなどの操作部が設けられていることを前提としている。このため、利用者は右手で取引端末の操作を行い、携帯電話機を左手で持つ可能性が高くなることを想定している。したがって、顔の右側(画像中の左側)における携帯電話機を使用しているか否かの判定基準を、顔の左側(画像中の右側)における判定基準より厳格にして、携帯使用の誤検出を防止する。
しかしながら、キャッシュカードの挿入口、現金の入金口、操作部などの配置が異なる取引端末において利用者が左手で操作を行うと想定される場合、利用者は携帯電話機を右手で持つ可能性が高くなる。したがって、この場合は本実施例とは逆に、顔の左側(画像中の右側)における携帯電話機を使用しているか否かの判定基準を、顔の右側(画像中の左側)における判定基準より厳格にするとよい。
また、取引監視装置1は、監視カメラ130、スピーカ140、センサ160などに接続された取引端末100に接続されてもよい。こうして、取引監視装置1は、画像取得部2が取引端末100を介して監視カメラ130から監視画像を取得し、音声出力部3が取引端末100を介してスピーカ140へ警報音声信号を出力し、通信部4が取引端末100を介してセンサ160から人体検知信号を受け取ってもよい。あるいは、取引監視装置1は、このような取引端末100の一部であってもよい。
また、本発明に係る電話使用検出装置は、上記の実施形態のような、取引端末操作時の利用者の携帯電話機を用いた通話を検出するための使用に限定されない。本発明に係る電話使用検出装置は、病院内など、携帯電話機の使用が禁止される場所に設置されたカメラにより取得された画像データに基づいて、人が携帯電話機を用いて通話していることを検出し、その検出結果に応じて注意を促すメッセージを自動的に放送するためにも好適に使用できる。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
100 取引端末
110 筐体
120 タッチパネルディスプレイ
130 監視カメラ
140 スピーカ
150 オートホン
151 オートホン制御装置
1 取引監視装置
2 画像取得部
3 音声出力部
4 通信部
5 記憶部
6 制御部
11 携帯使用検知部
12 異常報知部
13 フラグ処理部
21 エッジ画像生成部
22 顔検出部
23 顔向き判定部
24 手領域検出部
25 判定部

Claims (4)

  1. 送金処理が可能な自動取引端末の利用者の行動を監視する取引監視装置であって、
    前記自動取引端末に正対する利用者を撮影するように設置された監視カメラより取得した画像データから利用者の顔に対応する顔領域を抽出する顔検出部と、
    前記顔検出部により検出された前記顔領域を基準として設定された探索領域から利用者の手を検出する手領域検出部と、
    所定期間中に順次取得された前記画像データのそれぞれから、前記手領域検出部が利用者の手を検出した場合、利用者が携帯電話機を使用して通話中であると判定する判定部と、
    前記判定部により、利用者が携帯電話機を使用して通話中であると判定されると、警報を報知する異常報知部と、を有し、
    前記手領域検出部は、前記探索領域中の利用者の右手側の右側探索領域において手を検出するための判定基準を、前記探索領域中の利用者の左手側の左側探索領域において手を検出するための判定基準より厳格な判定基準にすることを特徴とする取引監視装置。
  2. 前記手領域検出部は、前記左側探索領域内に含まれる第1の肌色領域を検出して、該第1の肌色領域の面積に対する該第1の肌色領域に含まれるエッジ画素数の比が第1の閾値より大きい場合、該第1の肌色領域を利用者の手として検出し、前記右側探索領域内に含まれる第2の肌色領域を検出して、該第2の肌色領域の面積に対する該第2の肌色領域に含まれるエッジ画素数の比が前記第1の閾値より大きい第2の閾値より大きい場合、該第2の肌色領域を利用者の手として検出する請求項1に記載の取引監視装置。
  3. 送金処理が可能な自動取引端末の利用者の行動を監視する取引監視装置であって、
    前記自動取引端末に正対する利用者を撮影するように設置された監視カメラより取得した画像データから利用者の顔に対応する顔領域を抽出する顔検出部と、
    前記顔検出部により検出された前記顔領域を基準として設定された探索領域から利用者の手を検出する手領域検出部と、
    所定期間中に順次取得された前記画像データのそれぞれから、前記手領域検出部が利用者の手を検出した場合、利用者が携帯電話機を使用して通話中であると判定する判定部と、
    前記判定部により、利用者が携帯電話機を使用して通話中であると判定されると、警報を報知する異常報知部と、を有し、
    前記判定部は、前記探索領域中の利用者の右手側の右側探索領域において手が検出される場合には、前記携帯電話機を使用して通話中であると判定するための前記所定期間を、前記探索領域中の利用者の左手側の左側探索領域において手が検出される場合よりも長い期間とすることを特徴とした取引監視装置。
  4. 利用者を撮影するように設置された監視カメラより取得した画像データから利用者が携帯電話機を便用しているか否か判定する電話使用検出装置であって、
    前記画像データから利用者の顔に対応する顔領域を抽出する顔検出部と、
    前記顔検出部により検出された前記顔領域を基準として設定された探索領域から利用者の手を検出する手領域検出部と、
    所定期間中に順次取得された前記画像データのそれぞれから、前記手領域検出部が利用者の手を検出した場合、利用者が携帯電話機を使用して通話中であると判定する判定部と、を有し、
    前記手領域検出部は、利用者の右手側と左手側とで異なる判定基準を用いて前記探索領域に含まれる手を検出することを特徴とする電話使用検出装置。
JP2009020875A 2009-01-30 2009-01-30 取引監視装置 Expired - Fee Related JP5317736B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009020875A JP5317736B2 (ja) 2009-01-30 2009-01-30 取引監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009020875A JP5317736B2 (ja) 2009-01-30 2009-01-30 取引監視装置

Publications (2)

Publication Number Publication Date
JP2010176585A JP2010176585A (ja) 2010-08-12
JP5317736B2 true JP5317736B2 (ja) 2013-10-16

Family

ID=42707462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009020875A Expired - Fee Related JP5317736B2 (ja) 2009-01-30 2009-01-30 取引監視装置

Country Status (1)

Country Link
JP (1) JP5317736B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7067939B2 (ja) * 2018-01-30 2022-05-16 日立チャネルソリューションズ株式会社 自動取引装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264860A (ja) * 2006-03-28 2007-10-11 Victor Co Of Japan Ltd 顔領域抽出装置
JP4951364B2 (ja) * 2007-02-14 2012-06-13 日立オムロンターミナルソリューションズ株式会社 不審挙動監視方法および装置

Also Published As

Publication number Publication date
JP2010176585A (ja) 2010-08-12

Similar Documents

Publication Publication Date Title
RU2680747C1 (ru) Устройство наблюдения за терминалом, банкомат, способ принятия решения и программа
JP6702045B2 (ja) 監視装置
JPH09212644A (ja) 虹彩認識装置および虹彩認識方法
KR20090004358A (ko) 의심스러운 거동 감시방법 및 장치
JP2022552754A (ja) 画像検出方法及び関連装置、機器、記憶媒体、並びにコンピュータプログラム
JP2014191416A (ja) サービス利用者確認装置
JP2010079740A (ja) 監視システム及び監視装置
JP5339942B2 (ja) 取引監視装置
TWM566865U (zh) 基於臉部辨識進行驗證的交易系統
JP5448468B2 (ja) 取引監視装置
JP2010176533A (ja) 取引監視装置
JP2007220036A (ja) 現金預払機
JP5317735B2 (ja) 取引監視装置
TWI631480B (zh) 具備臉部辨識之門禁系統
JP5317736B2 (ja) 取引監視装置
JP2013250885A (ja) 防犯システムおよび防犯方法
JP2010134634A (ja) 自動取引装置、自動取引方法、及び自動取引プログラム
KR101372365B1 (ko) 현금 인출기용 부정 금융 거래 시도 판단 장치
JP2019179401A (ja) 取引操作端末、監視システム及びプログラム
JP2014086042A (ja) 顔認証装置
JP5339941B2 (ja) 取引監視装置
CN104217223A (zh) 检测人员使用手持装置的方法、装置及其图像警报系统
JP2018190012A (ja) 接客要否判定装置、接客要否判定方法、及びプログラム
CN114742561A (zh) 人脸识别方法、装置、设备及存储介质
JP2010079752A (ja) 自動取引システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130709

R150 Certificate of patent or registration of utility model

Ref document number: 5317736

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees