JP4790391B2 - 自動取引装置及び監視システム - Google Patents

Description

本発明は、利用者と所定の取引を行う自動取引装置に関し、特に、自動取引装置を監視する技術に関する。

近年、自動取引装置に対する不審行為が多発している。例えば、不審者が、自動取引装置に小型カメラを設置し、他人の取引情報を盗み見る。

この問題を解決するために、監視カメラの設置が考えられる。

しかし、自動取引装置に監視カメラが設置されると、取引情報の漏洩の可能性が生じる。そこで、この問題を解決する技術が、特許文献１及び特許文献２に開示されている。

特許文献１で開示されている技術では、監視カメラは、利用者からの所定の指示を検出すると、撮影をしない。

また、特許文献２で開示されている技術では、画像処理部は、必要に応じて、監視カメラが撮影した画像に塗り潰し処理又はモザイク処理を施す。

また、非特許文献１には、オプティカルフローの計算方法が記載されている。
特開２００４−１７９９７１号公報 特開２００５−９４６４２号公報 M. Sonka, V. Hlavac and R. Boyle: "Image Processing, Analysis, and Machine Vision, Second Edition", PWS Publishing, pp. 685--696, 1999.

しかし、特許文献１で開示されている技術は、利用者が所定の指示を行う必要があるので、利便性に問題があった。更に、特許文献１で開示されている技術は、利用者が指示を忘れると、取引情報が漏洩するという問題があった。

また、特許文献２で開示されている技術は、すべての被写体を完全に自動認識できないため、取引情報が漏洩するという問題があった。

本発明は、前述した問題点に鑑みてなされたものであり、取引情報の漏洩を防ぎつつ自動取引装置を監視する監視システムを提供することを目的とする。

本発明の代表的な実施の形態は、情報が入力される入力部と、一つ以上の監視カメラを備える監視部と、紙幣を識別する鑑別部と、外部の装置と通信する通信部と、自動取引装置の全体を制御する制御部と、を備える自動取引装置であって、前記監視部は、当該自動取引装置の処理状態に関する情報を、前記制御部から取得し、前記取得した処理状態に関する情報に基づいて、当該自動取引装置が所定の処理中であるか否かを判定し、当該自動取引装置が所定の処理中は、前記監視カメラが撮影した画像の所定の領域の画素値を、異なる値に書き換え、当該画素値を書き換えた画像を、前記通信部から送信することを特徴とする。

本発明の代表的な実施の形態によれば、取引情報の漏洩を防ぎつつ自動取引装置を監視できる。

以下、本発明の実施の形態を図面を参照して説明する。

（第１の実施の形態）
図１は、第１の実施の形態の監視システムの構成の説明図である。

監視システムは、自動取引装置３００及び監視画像サーバ２６０１を備える。なお、自動取引装置３００と監視画像サーバ２６０１とは、ＬＡＮ等のネットワーク２６００によって接続されている。

自動取引装置３００は、図２及び図３で後述するが、利用者と所定の取引を行う。また、自動取引装置３００は、図４で後述する監視装置を備えることによって、当該自動取引装置の周辺を監視する。

具体的には、自動取引装置３００は、周辺の画像（監視画像）を撮影する。そして、自動取引装置３００は、撮影した監視画像及び当該監視画像の撮影時刻を、監視画像サーバ２６０１に送信する。

監視画像サーバ２６０１は、図５で後述するが、表示装置４０４を備える。監視画像サーバ２６０１は、自動取引装置３００から、監視画像及び当該監視画像の撮影時刻を受信する。次に、監視画像サーバ２６０１は、受信した監視画像及び当該監視画像の撮影時刻を保存する。

また、監視画像サーバ２６０１は、受信した監視画像及び当該監視画像の撮影時刻を、リアルタイムで表示装置４０４に表示する。更に、監視画像サーバ２６０１は、保存している監視画像の中から、監視係員に指定された時刻に撮影された監視画像を検索し、表示装置４０４に表示してもよい。

図２は、第１の実施の形態の自動取引装置３００の外観の説明図である。

自動取引装置３００は、カード入出口３１１、通帳入出口３１２、紙幣入出金口３１４、表示入力装置１０３、暗証番号入力装置１０９及びカメラ３２０〜３２５を備える。なお、自動取引装置３００は、カメラ３２０〜３２５を備えずに、外部のカメラ３２０〜３２５と接続されていてもよい。

利用者のカードは、カード入出口３１１から入出される。なお、カードは、磁気カード又はＩＣカード等である。

また、利用者の通帳は、通帳入出口３１２から入出される。紙幣は、紙幣入出金口３１４から入出金される。

表示入力装置１０３は、各種情報を表示する。また、表示入力装置１０３には、利用者から各種情報が入力される。なお、表示入力装置１０３は、例えば、タッチパネルＬＣＤ等である。

暗証番号入力装置１０９には、利用者から暗証番号が入力される。なお、利用者が、表示入力装置１０３に暗証番号を入力してもよい。この場合、自動取引装置３００は、暗証番号入力装置１０９を備えなくてもよい。

カメラ３２０〜３２５は、自動取引装置３００の周辺を撮影する。本実施の形態では、カメラ３２０〜３２５の少なくとも一台は、表示入力装置１０３を撮影する。また、カメラ３２０〜３２５の少なくとも一台は、暗証番号入力装置１０９を撮影する。

また、自動取引装置３００の両脇には、壁３０１が設置される。

図３は、第１の実施の形態の自動取引装置３００のブロック図である。

自動取引装置３００は、バス１００、紙幣取扱装置１０１、鑑別装置１０２、表示入力装置１０３、カードＲ／Ｗ（Ｒｅａｄｅｒ／Ｗｒｉｔｅｒ）１０４、通信装置１０５、ＣＰＵ１０６、主記憶部１０７、補助記憶部１０８、暗証番号入力装置１０９及び監視装置１１１を備える。

紙幣取扱装置１０１、鑑別装置１０２、表示入力装置１０３、カードＲ／Ｗ１０４、通信装置１０５、ＣＰＵ１０６、主記憶部１０７、補助記憶部１０８、暗証番号入力装置１０９及び監視装置１１１は、バス１００によって相互に接続されている。また、監視装置１１１には、カメラ３２０〜３２５が接続されている。

紙幣取扱装置１０１は、紙幣入出金口３１４から入金された紙幣を取り扱う。具体的には、紙幣取扱装置１０１は、紙幣を搬送して紙幣格納部（図示省略）に格納する。

鑑別装置１０２は、紙幣入出金口３１４から入金された紙幣を鑑別する。具体的には、鑑別装置１０２は、紙幣の種類、真偽及び正損を鑑別する。なお、紙幣の正損の鑑別とは、紙幣の破損及び汚れの鑑別である。

カードＲ／Ｗ１０４は、カード入出口３１１から入れられたカードに対してデータを読み書きする。通信装置１０５は、ネットワーク２６００を介して、監視画像サーバ２６０１等の外部の装置と通信する。

ＣＰＵ１０６は、主記憶部１０７に記憶されているプログラムを実行することによって各種処理を行う。主記憶部１０７は、ＣＰＵ１０６によって実行されるプログラム及びＣＰＵ１０６によって使用される情報等を記憶する。

補助記憶部１０８は、例えば、フラッシュメモリ又はＨＤＤ等であり、各種情報を記憶する。

カメラ３２０〜３２５は、当該自動取引装置３００の周辺を撮影する。そして、カメラ３２０〜３２５は、撮影した画像を監視装置１１１に送る。

監視装置１１１は、カメラ３２０〜３２５によって撮影された画像に基づいて、当該自動取引装置３００を監視する。

なお、表示入力装置１０３及び暗証番号入力装置１０９は、図２で説明したので、説明を省略する。

図４は、第１の実施の形態の自動取引装置３００の監視装置１１１のブロック図である。

監視装置１１１は、バス２００、ＣＰＵ２０１、主記憶部２０２、補助記憶部２０３、Ｉ／Ｏ部２０４及びカメラインタフェース（カメラＩ／Ｆ）２０５を備える。

ＣＰＵ２０１、主記憶部２０２、補助記憶部２０３、Ｉ／Ｏ部２０４及びカメラＩ／Ｆ２０５は、バス２００によって相互に接続されている。

ＣＰＵ２０１は、主記憶部２０２に記憶されているプログラムを実行することによって各種処理を行う。主記憶部２０２は、ＣＰＵ２０１によって実行されるプログラム及びＣＰＵ２０１によって使用される情報等を記憶する。

補助記憶部２０３は、例えば、フラッシュメモリ又はＨＤＤ等であり、各種情報を記憶する。

Ｉ／Ｏ部２０４は、自動取引装置３００のバス１００に接続され、監視装置１１１の外部の装置と通信する。カメラＩ／Ｆ２０５は、カメラ３２０〜３２５に接続されるインタフェースである。

図５は、第１の実施の形態の監視画像サーバ２６０１のブロック図である。

監視画像サーバ２６０１は、バス４００、ＣＰＵ４０１、主記憶部４０２、補助記憶部４０３、表示装置４０４及び通信装置４０５を備える。

ＣＰＵ４０１、主記憶部４０２、補助記憶部４０３、表示装置４０４及び通信装置４０５は、バス４００によって相互に接続されている。

ＣＰＵ４０１は、主記憶部４０２に記憶されているプログラムを実行することによって各種処理を行う。主記憶部４０２は、ＣＰＵ４０１によって実行されるプログラム及びＣＰＵ４０１によって使用される情報等を記憶する。

補助記憶部４０３は、例えば、フラッシュメモリ又はＨＤＤ等であり、各種情報を記憶する。例えば、補助記憶部４０３は、カメラ３２０〜３２５によって撮影された監視画像を記憶する。

表示装置４０４は、各種情報を表示する。例えば、表示装置４０４は、カメラ３２０〜３２５によって撮影された監視画像を表示する。

通信装置４０５は、ネットワーク２６００を介して、自動取引装置３００等の外部の装置と通信する。

図６は、第１の実施の形態の自動取引装置３００の主記憶部１０７に記憶されている情報の説明図である。

自動取引装置３００の主記憶部１０７には、制限監視フラグＡ５００、制限監視フラグＢ５０１、制限監視フラグＣ５０２、暗証番号入力処理開始時刻５０３、暗証番号入力時刻５０４及び取引装置識別番号５０５が記憶されている。

制限監視フラグＡ５００は、書換領域Ａを制限監視するか否かを示す。具体的には、制限監視フラグＡ５００に「１」が格納されている場合、監視装置１１１は、カメラ３２０等から受信した監視画像の書換領域Ａの画素値を異なる値に書き換えることによって、制限監視する。例えば、監視装置１１１は、監視画像の書換領域Ａの画素値を、すべて同一の値に書き換えることによって、塗り潰す。また、監視装置１１１は、監視画像の書換領域Ａの画素値をランダムな値に書き換える。これによって、監視装置１１１は、書換領域Ａの元の画像を復元不可能にする。

なお、書換領域Ａは、予め設定されている。本実施の形態の書換領域Ａは、暗証番号入力装置１０９が写る領域を含む。例えば、制限監視フラグＡ５００に「１」が格納されている場合、監視装置１１１は、図７に示す監視画像１２００の書換領域Ａの画素値を、異なる値に書き換える。これによって、監視装置１１１は、図７に示す監視画像１２００を、図８に示す監視画像１３００に変更する。

同様に、制限監視フラグＢ５０１は、書換領域Ｂを制限監視するか否かを示す。また、制限監視フラグＣ５０２は、書換領域Ｃを制限監視するか否かを示す。

なお、書換領域Ｂ及び書換領域Ｃは、予め設定されている。

本実施の形態の書換領域Ｂ及び書換領域Ｃは、表示入力装置１０３に表示された取引情報が写る領域を含む。取引情報は、利用者の名前、口座番号、口座種別、預金総額又は入金金額等である。つまり、取引情報には、利用者の個人情報に関するものが含まれる。

具体的には、書換領域Ｂは、表示入力装置１０３に表示された口座番号、口座種別及び預金総額が写る領域を含む。また、書換領域Ｃは、表示入力装置１０３に表示された入金金額が写る領域を含む。

制限監視フラグＡ５０１及び制限監視フラグＢ５０２に「１」が格納されている場合、監視装置１１１は、図９に示す監視画像１４００の書換領域Ｂ及び書換領域Ｃの画素値を、異なる値に書き換える。これによって監視装置１１１は、図９に示す監視画像１４００を、図１０に示す監視画像１５００に変更する。

自動取引装置３００のＣＰＵ１０６は、暗証番号の入力要求を表示入力装置１０３に表示させる時に、制限監視フラグＡ５００に「１」を格納する。そして、暗証番号入力装置１０９に暗証番号のすべてが入力されると、自動取引装置３００のＣＰＵ１０６は、制限監視フラグＡ５００に「０」を格納する。これによって、監視装置１１１は、自動取引装置３００が暗証番号入力処理中は、監視画像の書換領域Ａの画素値を異なる値に書き換える。

また、自動取引装置３００のＣＰＵ１０６は、口座番号、口座種別及び預金総額といった取引情報を表示入力装置１０３に表示させる時に、制限監視フラグＢ５０１に「１」を格納する。そして、自動取引装置３００のＣＰＵ１０６は、表示入力装置１０３に取引情報の表示を終了させるときに、制限監視フラグＢ５０１に「０」を格納する。これによって、監視装置１１１は、自動取引装置３００が取引情報の表示中は、監視画像の書換領域Ｂの画素値を異なる値に書き換える。

また、自動取引装置３００のＣＰＵ１０６は、取引情報であるところの入金金額を表示入力装置１０３に表示させる時に、制限監視フラグＣ５０２に「１」を格納する。そして、自動取引装置３００のＣＰＵ１０６は、表示入力装置１０３に取引情報の表示を終了させるときに、制限監視フラグＢ５０１に「０」を格納する。これによって、監視装置１１１は、自動取引装置３００が取引情報を表示中は、監視画像の書換領域Ｃの画素値を異なる値に書き換える。

暗証番号入力処理開始時刻５０３は、自動取引装置３００が暗証番号入力処理を開始した時刻である。例えば、暗証番号入力処理開始時刻５０３は、自動取引装置３００の表示入力装置１０３が暗証番号の入力要求を表示した時刻である。

暗証番号入力時刻５０４は、暗証番号入力装置１０９に暗証番号が入力された時刻である。更に、暗証番号入力時刻５０４には、暗証番号入力装置１０９に入力された暗証番号の正誤情報が格納される。

例えば、暗証番号入力装置１０９に正しい暗証番号が入力されると、自動取引装置３００のＣＰＵ１０６は、当該暗証番号の入力時刻に「１」を付加して、暗証番号入力時刻５０４に格納する。また、暗証番号入力装置１０９に誤った暗証番号が入力されると、自動取引装置３００のＣＰＵ１０６は、当該暗証番号の入力時刻に「０」を付加して、暗証番号入力時刻５０４に格納する。また、暗証番号入力装置１０９の訂正キーが操作されると、自動取引装置３００のＣＰＵ１０６は、当該訂正キーの操作時刻に「２」を付加して、暗証番号入力時刻５０４に格納する。

なお、自動取引装置３００のＣＰＵ１０６は、暗証番号入力装置１０９に入力された暗証番号の正否を、一つずつ順番に判定してもよいし、すべてまとめて判定してもよい。ＣＰＵ１０６が暗証番号の正否をまとめて判定する場合、暗証番号入力時刻５０４には、暗証番号のすべてが入力された時刻が格納される。

取引装置識別番号５０５は、当該主記憶部１０７を備える自動取引装置３００の一意な識別子である。自動取引装置３００の補助記憶部１０８は、当該自動取引装置３００の識別番号を予め記憶している。そして、自動取引装置３００のＣＰＵ１０６は、起動時に、補助記憶部１０８に記憶されている識別番号を、主記憶部１０７の取引装置識別番号５０５にコピーする。

図１１は、第１の実施の形態の監視装置１１１の主記憶部２０２に記憶されている情報の説明図である。

監視装置１１１の主記憶部２０２には、書換範囲Ａ６００、書換範囲Ｂ６０１、書換範囲Ｃ６０２、監視画像６０３、一次記憶画像６０４、制限監視前画像Ａ６０５、制限監視前画像Ｂ６０６、制限監視前画像Ｃ６０７、制限監視後画像Ａ６０８、制限監視後画像Ｂ６０９及び制限監視後画像Ｃ６１０が記憶されている。

書換範囲Ａ６００には、書換領域Ａを含む画像を撮影するカメラ３２０等の一意な識別子が格納される。更に、書換範囲Ａ６００には、当該カメラ３２０等が撮影した画像における書換領域Ａの範囲が格納される。ここでは、書換領域Ａは、カメラ３２３が撮影した画像に含まれる。また、書換領域Ａは、当該画像中の座標（２００、１００）、座標（４００、１００）、座標（２００、４００）及び座標（４００、４００）で囲まれた領域である。具体的には、書換領域Ａは、監視画像１３００（図８）の斜線部となる。

書換範囲Ｂ６０１には、書換領域Ｂを含む画像を撮影するカメラ３２０等の一意な識別子が格納される。更に、書換範囲Ｂ６０１には、当該カメラ３２０等が撮影した画像における書換領域Ｂの範囲が格納される。ここでは、書換領域Ｂは、カメラ３２０が撮影した画像に含まれる。また、書換領域Ｂは、当該画像中の座標（２９０、１８０）、座標（４６０、１６０）、座標（３１０、２９０）及び座標（４７０、２７０）で囲まれた領域である。

書換範囲Ｃ６０２には、書換領域Ｃを含む画像を撮影するカメラ３２０等の一意な識別子が格納される。更に、書換範囲Ｃ６０２には、当該カメラ３２０等が撮影した画像における書換領域Ｃの範囲が格納される。ここでは、書換領域Ｃは、カメラ３２０が撮影した画像に含まれる。また、書換領域Ｃは、当該画像中の座標（３４０、３２０）、座標（４８５、３００）、座標（３５０、３８０）及び座標（４９５、３６０）で囲まれた領域である。

なお、書換範囲Ａ６００、書換範囲Ｂ６０１及び書換範囲Ｃ６０２は、取引情報が写る領域を含むように予め設定されている。

監視画像６０３には、カメラ３２０等によって撮影された最新の画像が、カメラ３２０等ごとに格納される。また、監視画像６０３には、格納されている画像の撮影時刻も併せて格納される。

一時記憶画像６０４には、監視画像６０３の直前に同一のカメラ３２０等によって撮影された画像が、カメラ３２０等ごとに格納される。また、一時記憶画像６０４には、格納されている画像の撮影時刻も併せて格納される。

制限監視前画像Ａ６０５には、書換領域Ａが制限監視される直前に撮影された画像が格納される。また、制限監視前画像Ａ６０５には、格納されている画像の撮影時刻も併せて格納される。

同様に、制限監視前画像Ｂ６０６には、書換領域Ｂが制限監視される直前に撮影された画像が格納される。また、制限監視前画像Ｂ６０６には、格納されている画像の撮影時刻も併せて格納される。

同様に、制限監視前画像Ｃ６０７には、書換領域Ｃが制限監視される直前に撮影された画像が格納される。また、制限監視前画像Ｃ６０７には、格納されている画像の撮影時刻も併せて格納される。

制限監視後画像Ａ６０８には、書換領域Ａの制限監視終了の直後に撮影された画像が格納される。また、制限監視後画像Ａ６０８には、格納されている画像の撮影時刻も併せて格納される。

同様に、制限監視後画像Ｂ６０９には、書換領域Ｂの制限監視終了の直後に撮影された画像が格納される。また、制限監視後画像Ｂ６０９には、格納されている画像の撮影時刻も併せて格納される。

同様に、制限監視後画像Ｃ６１０には、書換領域Ｃの制限監視終了の直後に撮影された画像が格納される。また、制限監視後画像Ｃ６１０には、格納されている画像の撮影時刻も併せて格納される。

図１２は、第１の実施の形態の監視装置１１１の監視処理のフローチャートである。

監視装置１１１は、フラグＬｏ［Ａ］、フラグＬｏ［Ｂ］、フラグＬｏ［Ｃ］、フラグＬｐ［Ａ］、フラグＬｐ［Ｂ］及びフラグＬｐ［Ｃ］を主記憶部２０２に記憶する。

なお、フラグＬｏ［Ａ］には、書換領域Ａを含む一時記憶画像６０４が撮影された時の制限監視フラグＡ５００が格納される。また、フラグＬｏ［Ｂ］には、書換領域Ｂを含む一時記憶画像６０４が撮影された時の制限監視フラグＢ５０１が格納される。また、フラグＬｏ［Ｃ］には、書換領域Ｃを含む一時記憶画像６０４が撮影された時の制限監視フラグＣ５０２が格納される。

一方、フラグＬｐ［Ａ］には、書換領域Ａを含む監視画像６０３が撮影された時の制限監視フラグＡ５００が格納される。また、フラグＬｐ［Ｂ］には、書換領域Ｂを含む監視画像６０３が撮影された時の制限監視フラグＢ５０１が格納される。また、フラグＬｐ［Ｃ］には、書換領域Ｃを含む監視画像６０３が撮影された時の制限監視フラグＣ５０２が格納される。

まず、監視装置１１１は、フラグＬｏ［Ａ］、フラグＬｏ［Ｂ］及びフラグＬｏ［Ｃ］に「０」を格納する（７００）。

次に、監視装置１１１は、自動取引装置３００のＣＰＵ１０６から監視処理の終了の指示を受けるまで、ループＡを実行する（７０１）。例えば、自動取引装置３００のＣＰＵ１０６は、ユーザによる自動取引装置３００の電源遮断操作を受け付けると、監視処理の終了を監視装置１１１に指示する。なお、ループＡは、ステップ７０２からステップ７０９までを含む。

具体的には、監視装置１１１は、カメラ３２０等によって撮影された監視画像を取得する（７０２）。例えば、監視装置１１１は、暗証番号入力装置１０９の監視画像１２００（図７）又は表示入力装置１０３の監視画像１４００（図９）を、カメラ３２０等から取得する。

次に、監視装置１１１は、取得した監視画像を、主記憶部２０２の監視画像６０３に格納する。

次に、監視装置１１１は、自動取引装置３００の主記憶部１０７（図６）から、制限監視フラグＡ５００、制限監視フラグＢ５０１及び制限監視フラグＣ５０２を取得する。

そして、監視装置１１１は、取得した制限監視フラグＡ５００の値を、主記憶部２０２に記憶されているフラグＬｐ［Ａ］に格納する。同様に、監視装置１１１は、取得した制限監視フラグＢ５０１の値を、主記憶部２０２に記憶されているフラグＬｐ［Ｂ］に格納する。また、監視装置１１１は、取得した制限監視フラグＣ５０２の値を、主記憶部２０２に記憶されているフラグＬｐ［Ｃ］に格納する（７０３）。

次に、監視装置１１１は、監視画像書換処理を行う（７０４）。なお、監視画像書換処理の詳細については、図１３で説明する。

次に、監視装置１１１は、制限開始前画像保存処理を行う（７０５）。なお、制限監視前画像保存処理の詳細については、図１４で説明する。

次に、監視装置１１１は、制限監視前画像及び制限監視後画像の出力処理を行う（７０６）。なお、制限監視前画像及び制限監視後画像の出力処理については、図１５で説明する。

次に、監視装置１１１は、主記憶部２０２の監視画像６０３を、主記憶部２０２の一時記憶画像６０４に格納する（７０７）。これによって、監視装置１１１は、次回のループで、主記憶部２０２の監視画像６０３に新たな監視画像を格納できる。

次に、監視装置１１１は、主記憶部２０２から監視画像６０３を抽出する。次に、監視装置１１１は、自動取引装置３００の主記憶部１０７（図６）から、取引装置識別番号５０５を抽出する。

次に、監視装置１１１は、抽出した監視画像６０３及び取引装置識別番号５０５を暗号化して、監視画像サーバ２６０１に送信する（７０８）。

すると、監視画像サーバ２６０１は、監視画像６０３及び取引装置識別番号５０５を監視装置１１１から受信する。次に、監視画像サーバ２６０１は、受信した監視画像６０３及び取引装置識別番号５０５を補助記憶部４０３に格納する。更に、監視画像サーバ２６０１は、受信した監視画像６０３及び取引装置識別番号５０５を復号化して、表示装置４０４に表示する。このとき、監視画像サーバ２６０１は、当該監視画像６０３を受信した時刻を併せて表示してもよい。

一方、監視装置１１１は、Ｌｐ［Ａ］の値をＬｏ［Ａ］に格納する。次に、監視装置１１１は、Ｌｐ［Ｂ］の値をＬｏ［Ｂ］に格納する。次に、監視装置１１１は、Ｌｐ［Ｃ］の値をＬｏ［Ｃ］に格納する（７０９）。

そして、監視装置１１１は、ループＡの一回のループを終了する（７１０）。

図１３は、第１の実施の形態の監視装置１１１の監視画像書換処理のフローチャートである。

監視画像書換処理は、監視装置１１１の監視処理（図１２）のステップ７０４において実行される。

ここでは、監視装置１１１は、ループＢを実行する（８００）。なお、監視装置１１１は、「ｉ」に「Ａ」、「Ｂ」、「Ｃ」を順番に格納して、ループＢを実行する。そして、監視装置１１１は、「ｉ」に「Ａ」、「Ｂ」及び「Ｃ」のすべてを格納すると、ループＢを終了する。つまり、監視装置１１１は、書換領域Ａ、Ｂ及びＣのすべてに対して、ループＢを実行する。

まず、監視装置１１１は、Ｌｐ［ｉ］が「１」であるかどうかを判定する（８０１）。Ｌｐ［ｉ］が「０」であると、監視装置１１１は、当該書換領域ｉの画素値を書き換える必要がない。よって、監視装置１１１は、そのままループＢの一回のループを終了する（８０３）。

一方、Ｌｐ［ｉ］が「１」であると、監視装置１１１は、書換範囲ｉ６００〜６０２を主記憶部２０２（図１１）から抽出する。例えば、「ｉ」に「Ａ」が格納されている場合、監視装置１１１は、監視装置１１１は、書換範囲Ａ６００を主記憶部２０２から抽出する。

次に、監視装置１１１は、抽出した書換範囲６００〜６０２の画素値を、異なる値に書き換える（８０２）。そして、監視装置１１１は、ループＢの一回のループを終了する（８０３）。

以上のように、監視装置１１１は、監視画像中の一部の領域の画素値だけを書き換える。例えば、監視装置１１１は、取引情報の漏洩の可能性がある領域の画素値だけを書き換える。これによって、監視装置１１１は、監視画像中のそれ以外の領域については継続して監視できる。

また、監視装置１１１は、特定の時間だけ画像の画素値を書き換える。例えば、監視装置１１１は、取引情報の漏洩の可能性がある時間だけ画像の画素値を書き換える。これによって、監視装置１１１は、それ以外の時間については継続して監視できる。

図１４は、第１の実施の形態の監視装置１１１の制限開始前画像保存処理のフローチャートである。

制限開始前画像保存処理は、監視装置１１１の監視処理（図１２）のステップ７０５において実行される。

ここでは、監視装置１１１は、ループＣを実行する。なお、監視装置１１１は、「ｉ」に「Ａ」、「Ｂ」、「Ｃ」を順番に格納して、ループＣを実行する。そして、監視装置１１１は、「ｉ」に「Ａ」、「Ｂ」及び「Ｃ」のすべてを格納すると、ループＣを終了する。つまり、監視装置１１１は、書換領域Ａ、Ｂ及びＣのすべてに対して、ループＣを実行する。

まず、監視装置１１１は、Ｌｏ［ｉ］が「０」且つＬｐ［ｉ］が「１」であるかどうかを判定する（９０１）。Ｌｏ［ｉ］が「０」且つＬｐ［ｉ］が「１」でない場合、監視装置１１１は、主記憶部２０２の監視画像６０３が、書換領域ｉの制限監視の開始時の画像でないと判定する。よって、監視装置１１１は、そのままループＣの一回のループを終了する（９０３）。

一方、Ｌｏ［ｉ］が「０」且つＬｐ［ｉ］が「１」であると、監視装置１１１は、主記憶部２０２の監視画像６０３が、書換領域ｉの制限監視の開始時の画像であると判定する。そこで、監視装置１１１は、当該書換領域ｉに対応する一時記憶画像を、主記憶部２０２（図１１）の一時記憶画像６０４から抽出する。なお、一時記憶画像６０４は、監視画像６０３の直前の画像であるので、制限監視の開始の直前の画像となる。

そして、監視装置１１１は、抽出した一時記憶画像を、主記憶部２０２の制限監視前画像ｉ６０５〜６０７に格納する（９０２）。例えば、「ｉ」に「Ａ」が格納されている場合、監視装置１１１は、抽出した一時記憶画像を、主記憶部２０２の制限監視前画像Ａ６０５に格納する。

そして、監視装置１１１は、ループＣの一回のループを終了する（９０３）。

以上のように、監視装置１１１は、制限監視を開始する時に、制限監視をする直前の画像を主記憶部２０２に記憶する。

図１５は、第１の実施の形態の監視装置１１１の制限監視前画像及び制限監視後画像の出力処理のフローチャートである。

制限監視前画像及び制限監視後画像の出力処理は、監視装置１１１の監視処理（図１２）のステップ７０６において実行される。

ここでは、監視装置１１１は、ループＤを実行する。なお、監視装置１１１は、「ｉ」に「Ａ」、「Ｂ」、「Ｃ」を順番に格納して、ループＤを実行する。そして、監視装置１１１は、「ｉ」に「Ａ」、「Ｂ」及び「Ｃ」のすべてを格納すると、ループＤを終了する。つまり、監視装置１１１は、書換領域Ａ、Ｂ及びＣのすべてに対して、ループＤを実行する。

まず、監視装置１１１は、Ｌｏ［ｉ］が「１」且つＬｐ［ｉ］が「０」であるかどうかを判定する。Ｌｏ［ｉ］が「１」且つＬｐ［ｉ］が「０」でない場合、監視装置１１１は、主記憶部２０２の監視画像６０３が、書換領域ｉの制限監視の終了時の画像でないと判定する。よって、監視装置１１１は、そのままループＤの一回のループを終了する（１００４）。

一方、Ｌｏ［ｉ］が「１」且つＬｐ［ｉ］が「０」であると、監視装置１１１は、主記憶部２０２の監視画像６０３が、書換領域ｉの制限監視の終了時の監視画像であると判定する。そこで、監視装置１１１は、当該書換領域ｉに対応する監視画像６０３を、主記憶部２０２（図１１）から抽出する。

そして、監視装置１１１は、取得した監視画像６０３を、主記憶部２０２の制限監視後画像ｉ６０８〜６１０に格納する（１００２）。例えば、「ｉ」に「Ａ」が格納されている場合、監視装置１１１は、抽出した監視画像６０３を、主記憶部２０２の制限監視後画像Ａ６０８に格納する。

次に、監視装置１１１は、制限監視前画像ｉ６０５〜６０７及び制限監視後画像ｉ６０８〜６１０を主記憶部２０２から抽出する。例えば、例えば、「ｉ」に「Ａ」が格納されている場合、監視装置１１１は、制限監視前画像Ａ６０５及び制限監視後画像Ａ６０８を抽出する。次に、監視装置１１１は、自動取引装置３００の主記憶部１０７（図６）から取引装置識別番号５０５を抽出する。

次に、監視装置１１１は、抽出した制限監視前画像ｉ６０５〜６０７、制限監視後画像ｉ６０８〜６１０及び取引装置識別番号５０５を暗号化して、監視画像サーバ２６０１に送信する（１００３）。

そして、監視装置１１１は、ループＤの一回のループを終了する（１００４）。

以上のように、監視装置１１１は、制限監視の直前及び直後の画像を監視画像サーバ２６０１に送信する。

一方、監視画像サーバ２６０１は、暗号化された制限監視前画像ｉ６０５〜６０７、制限監視後画像ｉ６０８〜６１０及び取引装置識別番号５０５を、監視装置１１１から受信する。次に、監視画像サーバ２６０１は、受信した制限監視前画像ｉ６０５〜６０７、制限監視後画像ｉ６０８〜６１０及び取引装置識別番号５０５を補助記憶部４０３に格納する。

次に、監視画像サーバ２６０１は、受信した制限監視前画像ｉ６０５〜６０７、制限監視後画像ｉ６０８〜６１０及び取引装置識別番号５０５を復号化する。そして、監視画像サーバ２６０１は、復号化した制限監視前画像ｉ６０５〜６０７、制限監視後画像ｉ６０８〜６１０及び取引装置識別番号５０５を表示装置４０４に表示する。

このとき、監視画像サーバ２６０１は、復号化した制限監視前画像ｉ６０５〜６０７と復号化した制限監視後画像ｉ６０８〜６１０との差分画像を作成し、表示装置４０４に表示してもよい。

例えば、制限監視前画像ｉ６０５〜６０７及び制限監視後画像ｉ６０８〜６１０がグレースケールの場合、監視画像サーバ２６０１は、数式１を用いて、差分画像を作成する。

なお、Ｉ_sub（ｘ，ｙ）は、差分画像の画素値である。また、Ｉ_pr（ｘ，ｙ）は、制限監視前画像の画素値である。また、Ｉ_ps（ｘ，ｙ）は、制限監視後画像の画素値である。

また、制限監視前画像ｉ６０５〜６０７及び制限監視後画像ｉ６０８〜６１０がカラーの場合、監視画像サーバ２６０１は、数式２を用いて、差分画像を作成する。

なお、Ｉ_sub（ｘ，ｙ）は、差分画像の画素値である。また、Ｉ_pr（ｘ，ｙ，０）は、制限監視前画像のｒ成分（赤成分）の画素値である。また、Ｉ_pr（ｘ，ｙ，１）は、制限監視前画像のｇ成分（緑成分）の画素値である。また、Ｉ_pr（ｘ，ｙ，２）は、制限監視前画像のｂ成分（青成分）の画素値である。また、Ｉ_ps（ｘ，ｙ，０）は、制限監視後画像のｒ成分（赤成分）の画素値である。また、Ｉ_ps（ｘ，ｙ，１）は、制限監視後画像のｇ成分（緑成分）の画素値である。また、Ｉ_ps（ｘ，ｙ，２）は、制限監視後画像のｂ成分（青成分）の画素値である。

そして、監視画像サーバ２６０１は、復号化した制限監視前画像ｉ６０５〜６０７、復号化した制限監視後画像ｉ６０８〜６１０及び作成した差分画像を、表示装置４０４に併せて表示する。

図１６は、第１の実施の形態の監視画像サーバ２６０１の表示装置４０４に表示される画像１１００の説明図である。

監視画像サーバ２６０１の表示装置４０４に表示される画像１１００には、制限監視前画像、制限監視後画像及び差分画像が含まれる。なお、差分画像には、制限監視前画像と制限監視後画像との差分だけが表示される。本説明図の差分画像は、「４」という数字が移動したことを示す。

以上のように、監視画像サーバ２６０１は、受信した制限監視前画像及び制限監視後画像を、表示装置４０４に表示する。監視係員は、表示された制限監視前画像と表示された制限監視後画像とを比較することによって、制限監視中に監視できなかった書換領域の変化を検出できる。例えば、監視係員は、制限監視前画像と制限監視後画像とを比較することによって、制限監視中に監視できなかった書換領域への不審物の設置を検出できる。

また、監視画像サーバ２６０１は、制限監視前画像と制限監視後画像との差分画像を、表示装置４０４に併せて表示してもよい。これによって、監視係員は、制限監視中に監視できなかった書換領域の変化を容易且つ確実に検出できる。

（第２の実施の形態）
第２の実施の形態の監視装置１１１は、制限監視中における不審行為を検出する。

第２の実施の形態の監視システムの構成は、第１の実施の形態の監視システム（図１）と同一であるので、説明を省略する。

図１７は、第２の実施の形態の監視装置１１１の監視処理のフローチャートである。

まず、監視装置１１１は、フラグＬｏ［Ａ］、フラグＬｏ［Ｂ］及びフラグＬｏ［Ｃ］に「０」を格納する（７００）。

次に、監視装置１１１は、自動取引装置３００のＣＰＵ１０６から監視処理の終了の指示を受けるまで、ループＥを実行する（１６００）。

具体的には、監視装置１１１は、ステップ７０２及びステップ７０３を実行する。なお、ステップ７０２及びステップ７０３は、第１の実施の形態の監視装置１１１の監視処理（図１２）に含まれるステップと同一である。同一のステップには同一の番号を付すことによって、説明を省略する。

次に、監視装置１１１は、不審行為検出処理Ａを行う（１６０１）。なお、不審行為検出処理Ａの詳細については、図１８で説明する。

次に、監視装置１１１は、ステップ７０４からステップ７０６までを実行する。なお、ステップ７０４からステップ７０６は、第１の実施の形態の監視装置１１１の監視処理（図１２）に含まれるステップと同一である。同一のステップには同一の番号を付すことによって、説明を省略する。

次に、監視装置１１１は、不審物検出処理を行う（１６０２）。なお、不審物検出処理の詳細については、図２３で説明する。

次に、監視装置１１１は、ステップ７０７からステップ７１０までを実行する。なお、ステップ７０７からステップ７１０は、第１の実施の形態の監視装置１１１の監視処理（図１２）に含まれるステップと同一である。同一のステップには同一の番号を付すことによって、説明を省略する。

そして、監視装置１１１は、ループＢの一回のループを終了する（１６０３）。

図１８は、第２の実施の形態の監視装置１１１の不審行為検出処理Ａのフローチャートである。

不審行為検出処理Ａは、監視装置１１１の監視処理（図１７）のステップ１６０１において実行される。

ここでは、監視装置１１１は、ループＦを実行する。なお、監視装置１１１は、「ｉ」に「Ａ」、「Ｂ」、「Ｃ」を順番に格納して、ループＦを実行する。そして、監視装置１１１は、「ｉ」に「Ａ」、「Ｂ」及び「Ｃ」のすべてを格納すると、ループＦを終了する。つまり、監視装置１１１は、書換領域Ａ、Ｂ及びＣのすべてに対して、ループＦを実行する。

まず、監視装置１１１は、Ｌｐ［ｉ］が「１」であるか否かを判定する（１７０１）。

Ｌｐ［ｉ］が「０」であると、監視装置１１１は、制限監視を実行していないので、そのままステップ１７０５に進む。

一方、Ｌｐ［ｉ］が「１」であると、監視装置１１１は、制限監視を実行していると判定する。そして、監視装置１１１は、「ｉ」が「Ａ」であるか否かを判定する（１７０２）。

「ｉ」が「Ａ」であると、監視装置１１１は、書換領域Ａを制限監視していると判定する。そこで、監視装置１１１は、不審行為検出処理Ｂを実行する（１７０３）。なお、不審行為検出処理Ｂは、書換領域Ａにおける不審行為を検出する処理であり、図１９で詳細を説明する。

「ｉ」が「Ａ」でないと、監視装置１１１は、書換領域Ｂ又は書換領域Ｃを制限監視していると判定する。そこで、監視装置１１１は、不審行為検出処理Ｃを実行する（１７０４）。なお、不審行為検出処理Ｃは、書換領域Ｂ又は書換領域Ｃにおける不審行為を検出する処理であり、図２２で詳細を説明する。

次に、監視装置１１１は、不審行為検出処理Ｂ又は不審行為検出処理Ｃにおいて不審行為を検出したか否かを判定する（１７０５）。具体的には、監視装置１１１は、不審行為に関する情報が主記憶部２０２に格納されているか否かを判定することによって、不審行為を検出したか否か判定する。

監視装置１１１は、不審行為を検出していない場合、ループＦの一回のループを終了する（１７０７）。

一方、監視装置１１１は、不審行為を検出した場合、当該不審行為に関する情報を監視画像サーバ２６０１に送信する（１７０６）。具体的には、監視装置１１１は、自動取引装置３００の主記憶部１０７（図６）から、取引装置識別番号５０５を抽出する。そして、監視装置１１１は、抽出した取引装置識別番号５０５を、主記憶部２０２に格納されている不審行為に関する情報と共に監視画像サーバ２６０１に送信する。

そして、監視装置１１１は、ループＦの一回のループを終了する（１７０７）。

一方、監視画像サーバ２６０１は、不審行為に関する情報を受信すると、当該受信した不審行為に関する情報を補助記憶装置４０３に格納する。更に、監視画像サーバ２６０１は、受信した不審行為に関する情報を表示装置４０４に表示する。よって、監視係員は、監視画像サーバ２６０１の表示装置４０４に表示される情報に基づいて、不審行為を容易に把握できる。

図１９は、第２の実施の形態の監視装置１１１の不審行為検出処理Ｂのフローチャートである。

不審行為検出処理Ｂは、監視装置１１１の不審行為検出処理Ａ（図１８）のステップ１７０３において実行される処理であり、書換領域Ａにおける不審行為を検出する。

ここでは、監視装置１１１は、変数Ｘを主記憶部２０２で管理している。まず、監視装置１１１は、変数Ｘに「０」を格納する（１８００）。次に、監視装置１１１は、自動取引装置３００の主記憶部１０７（図６）から、暗証番号入力処理開始時刻５０３を抽出する。次に、監視装置１１１は、抽出した暗証番号入力処理開始時刻５０３と現在の時刻との差を算出する。次に、監視装置１１１は、算出した差が入力時間に関する閾値以上であるか否かを判定する（１８０１）。

暗証番号入力処理開始時刻５０３と現在の時刻との差が入力時間に関する閾値以上であると、監視装置１１１は、書換領域Ａにおいて第一の不審行為が発生したと判定する。ここでは、監視装置１１１は、暗証番号の入力に時間がかかりすぎていることを、第一の不審行為として検出する（１８０２）。そして、監視装置１１１は、書換領域Ａにおいて第一の不審行為を検出した旨を、主記憶部２０２に格納する。

一方、暗証番号入力処理開始時刻５０３と現在の時刻との差が入力時間に関する閾値より小さいと、監視装置１１１は、書換領域Ａにおいて第一の不審行為が発生していないと判定する。そこで、監視装置１１１は、変数Ｘをインクリメントする（１８１３）。

次に、監視装置１１１は、正しい暗証番号が入力された最新の時刻を、自動取引装置３００の主記憶部１０７の暗証番号入力時刻５０４から抽出する。具体的には、監視装置１１１は、正しい暗証番号の入力を示す「１」が付加されている入力時刻を、自動取引装置３００の主記憶部１０７の暗証番号入力時刻５０４から抽出する。次に、抽出した入力時刻の中から、最新の入力時刻を抽出する。

次に、監視装置１１１は、最新の入力時刻と処理対象画像の撮影時刻との差の絶対値を算出する。ここで、処理対象画像とは、ステップ１８０４の動作検出処理で処理する対象の画像である。ステップ１８０４の動作検出処理では、画像が撮影されてから、入力動作時間に関する閾値だけ時間が経過した後の画像を処理対象画像とする。つまり、処理対象画像の撮影時刻は、現在時刻と比較して、入力動作時間に関する閾値の時間だけ遅れている。この遅れは、後述するリングバッファを用いることで実現できる。

このように時間を遅らせることによって、監視装置１１１は、暗証番号の最新の入力時刻から過去の一定時間に撮影された画像から、不審行為を検知しない。これによって、監視装置１１１は、暗証番号の入力動作を、不審行為として検出しない。

ところが、監視装置１１１は、画像を遅れて処理するので、警告を発する時間が遅れてしまう。しかし、入力動作に関する閾値が、１０秒以内等の適当な値に設定されていれば、警告の遅れは問題にならない。

次に、監視装置１１１は、最新の入力時刻と処理対象画像の撮影時刻との差の絶対値が入力動作時間に関する閾値以上であるか否かを判定する（１８０３）。

最新の入力時刻と処理対象画像の撮影時刻の差の絶対値が入力動作時間に関する閾値より小さいと、監視装置１１１は、書換領域Ａにおいて第二の不審行為が発生していないと判定する。そこで、監視装置１１１は、変数Ｘをインクリメントする（１８１４）。

一方、最新の入力時刻と処理対象画像の撮影時刻の差の絶対値が入力動作時間に関する閾値以上であると、監視装置１１１は、動作検出処理を行う（１８０４）。なお、動作検出処理は、図２０又は図２１で後述する処理のいずれであってもよい。また、動作検出処理は、利用者の動作を検出できればどのような処理であってもよい。

次に、監視装置１１１は、動作検出処理において動作を検出したか否かを判定する（１８０５）。

監視装置１１１は、動作検出処理において動作を検出すると、書換領域Ａにおいて第二の不審行為が発生したと判定する。ここでは、監視装置１１１は、利用者が暗証番号を入力していないにもかかわらず動作していることを、第二の不審行為として検出する（１８０６）。そして、監視装置１１１は、第二の不審行為を検出した旨を、主記憶部２０２に格納する。

一方、監視装置１１１は、動作検出処理において動作を検出しなかった場合、書換領域Ａにおいて第二の不審行為が発生していないと判定する。そこで、監視装置１１１は、変数Ｘをインクリメントする（１８１４）。これによって、監視装置１１１は、暗証番号の入力等を行っていないのに、手元における不審な動作を検知できる。

次に、監視装置１１１は、暗証番号入力装置１０９の訂正キーの入力回数を数える。具体的には、監視装置１１１は、訂正キーの操作を示す「２」が付加されている入力時刻５０４を、自動取引装置３００の主記憶部１０７から抽出する。次に、監視装置１１１は、抽出した暗証番号入力時刻５０４の個数を数え、訂正キーの入力回数とする。

次に、監視装置１１１は、数えた訂正キーの入力回数が訂正キー入力回数に関する閾値以上であるか否かを判定する（１８０７）。

訂正キーの入力回数が訂正キー入力回数に関する閾値以上であると、監視装置１１１は、書換領域Ａにおいて第三の不審行為が発生したと判定する。ここでは、監視装置１１１は、訂正キーの入力回数が多すぎることを、第三の不審行為として検出する（１８０８）。そして、監視装置１１１は、第三の不審行為を検出した旨を、主記憶部２０２に格納する。

一方、訂正キーの入力回数が訂正キー入力回数に関する閾値より小さいと、監視装置１１１は、書換領域Ａにおいて第三の不審行為が発生していないと判定する。そこで、監視装置１１１は、変数Ｘをインクリメントする（１８１５）。

次に、監視装置１１１は、暗証番号入力装置１０９から入力された暗証番号の正誤を判定する（１８０９）。具体的には、監視装置１１１は、自動取引装置３００の主記憶部１０７の暗証番号入力時刻５０４に基づいて、暗証番号入力装置１０９から入力された暗証番号の正誤を判定する。

入力された暗証番号が誤っている場合、監視装置１１１は、書換領域Ａにおいて第四の不審行為が発生したと判定する。ここでは、監視装置１１１は、入力された暗証番号が間違っていることを、第四の不審行為として検出する（１８１０）。そして、監視装置１１１は、第四の不審行為を検出した旨を、主記憶部２０２に格納する。

一方、入力された暗証番号が正しい場合、監視装置１１１は、書換領域Ａにおいて第四の不審行為が発生していないと判定する。そこで、監視装置１１１は、変数Ｘをインクリメントする（１８１６）。

次に、監視装置１１１は、変数Ｘが「４」であるか否かを判定する（１８１１）。

変数Ｘが「４」でないと、監視装置１１１は、書換領域Ａにおいて不審行為のいずれかが発生したと判定するので、そのまま本処理を終了する。

一方、変数Ｘが「４」であると、監視装置１１１は、書換領域Ａにおいてすべての不審行為が発生していないと判定する。よって、監視装置１１１は、不審行為の未発生を監視画像サーバ２６０１に通知する（１８１２）。そして、監視装置１１１は、本処理を終了する。

監視画像サーバ２６０１は、不審行為の未発生の通知を受けると、不審行為が発生しなかった旨を表示装置４０４に表示する。

以上のように、監視装置１１１は、書換領域Ａにおける不審行為を検出する。なお、当該不審行為検出処理Ｂで用いられる閾値は、予め設定されている。

また、監視装置１１１は、第一〜第四の不審行為のすべてを検出しなくてもよい。また、監視装置１１１は、第一〜第四の不審行為を、いかなる順番で検出してもよい。

図２０は、第２の実施の形態の監視装置１１１の動作検出処理のフローチャートである。

動作検出処理は、監視装置１１１の不審行為検出処理Ｂ（図１９）のステップ１８０４で実行される。

まず、監視装置１１１は、主記憶部２０２に記憶されている監視画像６０３を、リングバッファに格納する（１９００）。なお、リングバッファは、監視装置１１１の主記憶部２０２の一部である。監視装置１１１は、監視画像６０３をリングバッファに格納することによって、同一のカメラ３２０等が撮影した画像を三フレーム以上記憶できる。

次に、監視装置１１１は、リングバッファに格納されている監視画像を用いることによって、現在の監視画像と過去の監視画像との差分画像を作成する。具体的には、監視画像がグレースケールの場合、監視装置１１１は、前述した数式１を用いて、差分画像を作成する。また、監視画像がカラーの場合、監視装置１１１は、前述した数式２を用いて、差分画像を作成する。

そして、監視装置１１１は、作成した差分画像を用いて、利用者の動作を検出する（１９０２）。

例えば、監視装置１１１は、差分画像の画素値が濃淡変化の判定用閾値以上である画素の数を数える。次に、監視装置１１１は、数えた画素数が変化部分の画素数に関する閾値以上であるか否かを判定する。監視装置１１１は、数えた画素数が変化部分の画素数に関する閾値以上であると、利用者の動作を検出したと判定する。一方、監視装置１１１は数えた画素数が変化部分の画素数に関する閾値より小さいと、利用者の動作を未検出と判定する。

以上のように、監視装置１１１は、差分画像を用いて、利用者の動作を検出する。

なお、監視装置１１１は、図２０で説明した動作検出処理の代わりに、図２１で説明する動作検出処理を用いてもよい。

図２１は、第２の実施の形態の監視装置１１１の動作検出処理のフローチャートである。

まず、監視装置１１１は、主記憶部２０２に記憶されている監視画像６０３を、リングバッファに格納する（２０００）。

次に、監視装置１１１は、リングバッファに格納されている現在の監視画像及び過去の監視画像を用いて、オプティカルフローを算出する（２００１）。なお、オプティカルフローは、動きベクトルであって、画素の移動方向及び移動量を表す。また、オプティカルフローの詳細は、非特許文献１に記載されている。

そして、監視装置１１１は、算出したオプティカルフローに基づいて、利用者の動作を検出する（２００２）。

例えば、監視装置１１１は、オプティカルフローが動き画素の判定用閾値以上である画素の数を数える。次に、監視装置１１１は、数えた画素数が動き部分の画素数に関する閾値以上であるか否かを判定する。監視装置１１１は、数えた画素数が動き部分の画素数に関する閾値以上であると、利用者の動作を検出したと判定する。一方、監視装置１１１は、数えた画素数が動き部分の画素数に関する閾値より小さいと、利用者の動作を未検出と判定する。

以上のように、監視装置１１１は、オプティカルフローを用いて、利用者の動作を検出する。

図２２は、第２の実施の形態の監視装置１１１の不審行為検出処理Ｃのフローチャートである。

不審行為検出処理Ｂは、監視装置１１１の不審行為検出処理Ａ（図１８）のステップ１７０４において実行される処理であり、書換領域Ｂ又は書換領域Ｃにおける不審行為を検出する。

まず、監視装置１１１は、動作検出処理を行う（１８０４）。なお、動作検出処理は、図２０又は図２１で説明した処理のいずれであってもよい。また、動作検出処理は、利用者の動作を検出できればどのような処理であってもよい。

次に、監視装置１１１は、動作検出処理において動作を検出したか否かを判定する（１８０５）。

監視装置１１１は、動作検出処理において動作を検出すると、書換領域Ｂ又は書換領域Ｃにおいて第二の不審行為が発生したと判定する。ここでは、監視装置１１１は、利用者が表示入力装置１０３上で動作していることを、第二の不審行為として検出する（１８０６）。そして、監視装置１１１は、第二の不審行為を検出した旨を、主記憶部２０２に格納する。そして、監視装置１１１は、本処理を終了する。

一方、監視装置１１１は、動作検出処理において動作を検出していない場合、書換領域Ｂ又は書換領域Ｃにおいて第二の不審行為が発生していないと判定する。そのため、監視装置１１１は、そのまま本処理を終了する。

以上のように、監視装置１１１は、書換領域Ｂ又は書換領域Ｃにおける不審行為を検出する。

図２３は、第２の実施の形態の監視装置１１１の不審物検出処理のフローチャートである。

不審物検出処理は、監視装置１１１の監視処理（図１７）のステップ１６０２で実行される。

ここでは、監視装置１１１は、ループＧを実行する。なお、監視装置１１１は、「ｉ」に「Ａ」、「Ｂ」、「Ｃ」を順番に格納して、ループＧを実行する。そして、監視装置１１１は、「ｉ」に「Ａ」、「Ｂ」及び「Ｃ」のすべてを格納すると、ループＧを終了する。つまり、監視装置１１１は、書換領域Ａ、Ｂ及びＣのすべてに対して、ループＧを実行する。

まず、監視装置１１１は、制限監視前画像ｉ６０５〜６０７及び制限監視後画像ｉ６０８〜６１０を、主記憶部２０２から抽出する。例えば、「ｉ」に「Ａ」が格納されている場合、監視装置１１１は、制限監視前画像Ａ６０５及び制限監視後画像Ａ６０８を抽出する。

次に、監視装置１１１は、抽出した制限監視前画像ｉ６０５〜６０７と抽出した制限監視後画像ｉ６０８〜６１０との差分画像を作成する（２２０１）。具体的には、監視画像がグレースケールの場合、監視装置１１１は、前述した数式１を用いて、差分画像を作成する。また、監視画像がカラーの場合、監視装置１１１は、前述した数式２を用いて、差分画像を作成する。

次に、監視装置１１１は、差分画像の画素値が不審画素の判定用閾値以上である画素の数を数える。次に、監視装置１１１は、数えた画素数が不審物の画素数に関する閾値以上であるか否かを判定する。監視装置１１１は、数えた画素数が不審物の画素数に関する閾値以上であると、不審物を検出したと判定する。一方、監視装置１１１は、数えた画素数が不審物の画素数に関する閾値より小さいと、不審物を未検出と判定する。

次に、監視装置１１１は、不審物を検出すると、当該不審物に関する情報を監視画像サーバ２６０１に送信する（２２０３）。具体的には、監視装置１１１は、自動取引装置３００の主記憶部１０７（図６）から、取引装置識別番号５０５を抽出する。そして、監視装置１１１は、抽出した取引装置識別番号５０５、ステップ２２０１で抽出した制限監視前画像ｉ６０５〜６０７、ステップ２２０１で抽出した制限監視後画像ｉ６０８〜６１０及び不審物の検出結果を暗号化して、監視画像サーバ２６０１に送信する。

そして、監視装置１１１は、ループＧの一回のループを終了する（２２０４）。

一方、監視画像サーバ２６０１は、不審行為に関する情報を受信すると、当該受信した不審行為に関する情報を補助記憶装置４０３に格納する。更に、監視画像サーバ２６０１は、受信した不審行為に関する情報を復号化して、表示装置４０４に表示する。例えば、監視画像サーバ２６０１は、図２４で後述するような不審物検出画面を表示装置４０４に表示する。

図２４は、第２の実施の形態の監視画像サーバ２６０１の表示装置４０４に表示された不審物検出画面２３００の説明図である。

不審物検出画面２３００は、制限監視前画像及び制限監視後画像を含む。監視係員は、制限監視前画像と制限監視後画像とを比較することによって、不審物を容易に把握できる。例えば、監視係員は、丸囲みした部分の不審物を発見する。

（第３の実施の形態）
第３の実施の形態の監視装置１１１は、距離画像を用いて、不審行為及び不審物を検出する。

第３の実施の形態の監視システムの構成は、第２の実施の形態の監視システム（図１）と同一であるので、説明を省略する。

監視装置１１１は、複数のカメラ３２０〜３２５を用いて距離画像を作成する。具体的には、監視装置１１１は、公知のステレオ視技術を用いることによって、距離画像を作成する。なお、距離画像の画素値は、物体までの距離に対応する。よって、監視係員は、距離画像に基づいて、物体の三次元構造を把握できる。このため、本実施の形態の監視システムは、二次元の監視画像だけを用いるよりも監視効果が向上する。

第３の実施の形態の監視装置１１１は、距離画像を主記憶部２０２に格納する。そして、監視装置１１１は、不審行為検出処理Ａ１６０１（図１８）及び不審物検出処理１６０２（図２３）において、二次元の監視画像に加えて、距離画像も用いる。

これによって、監視装置１１１は、不審行為及び不審物の検出の精度を高めることができる。

第３の実施の形態の監視装置１１１のそれ以外の処理は、第２の実施の形態の監視装置１１１の処理（図１７）と同一であるので、説明を省略する。

（第４の実施の形態）
第４の実施の形態の自動取引装置３００は、照明を備えることによって、不審物を検出する。

第４の実施の形態の監視システムの構成は、自動取引装置３００の構成を除き、第２の実施の形態の監視システム（図１）と同一であるので、説明を省略する。

図２５は、第４の実施の形態の自動取引装置３００の説明図である。

自動取引装置３００は、暗証番号入力装置１０９の近傍に照明２４００を備える。なお、自動取引装置３００は、複数の照明２４００を備えていてもよい。自動取引装置３００のそれ以外の構成は、第２の実施の形態の自動取引装置（図３）と同一であるので、説明を省略する。

また、第４の実施の形態の監視装置１１１の処理は、第２の実施の形態の監視装置１１１の処理（図１７）と同一であるので、説明を省略する。

図２６は、第４の実施の形態の監視画像サーバ２６０１の表示装置４０４に表示された不審物検出画面２５００の説明図である。

本説明図は、暗証番号入力処理中にダミーの入力装置が不正に設置された場合の不審物検出画面２５００である。不審物検出画面２５００は、制限監視前画像及び制限監視後画像を含む。また、不審物検出画面２５００では、照明２４００によって生じる影が斜線部分で表されている。

ダミーの入力装置が不正に設置されると、暗証番号入力装置１０９は、ダミーの入力装置の分だけ厚みが増す。そのため、制限監視後画像の影は、制限監視前画像の影よりも長くなる。そのため、監視装置１１１は、不審物検出処理１６０２において、不審物であるダミーの入力装置を検出できる。

本発明は、銀行、郵便局、コンビニエンスストアなどに設置されている現金自動取引装置（ＡＴＭ）に適用できる。

第１の実施の形態の監視システムの構成の説明図である。 第１の実施の形態の自動取引装置の外観の説明図である。 第１の実施の形態の自動取引装置のブロック図である。 第１の実施の形態の自動取引装置の監視装置のブロック図である。 第１の実施の形態の監視画像サーバのブロック図である。 第１の実施の形態の自動取引装置の主記憶部に記憶されている情報の説明図である。 第１の実施の形態のカメラが撮影した監視画像の説明図である。 第１の実施の形態のカメラが撮影した監視画像の説明図である。 第１の実施の形態のカメラが撮影した監視画像の説明図である。 第１の実施の形態のカメラが撮影した監視画像の説明図である。 第１の実施の形態の監視装置の主記憶部に記憶されている情報の説明図である。 第１の実施の形態の監視装置の監視処理のフローチャートである。 第１の実施の形態の監視装置の監視画像書換処理のフローチャートである。 第１の実施の形態の監視装置の制限開始前画像保存処理のフローチャートである。 第１の実施の形態の監視装置の制限監視前画像及び制限監視後画像の出力処理のフローチャートである。 第１の実施の形態の監視画像サーバの表示装置に表示される画像の説明図である。 第２の実施の形態の監視装置の監視処理のフローチャートである。 第２の実施の形態の監視装置の不審行為検出処理Ａのフローチャートである。 第２の実施の形態の監視装置の不審行為検出処理Ｂのフローチャートである。 第２の実施の形態の監視装置の動作検出処理のフローチャートである。 第２の実施の形態の監視装置の動作検出処理のフローチャートである。 第２の実施の形態の監視装置の不審行為検出処理Ｃのフローチャートである。 第２の実施の形態の監視装置の不審物検出処理のフローチャートである。 第２の実施の形態の監視画像サーバの表示装置に表示された不審物検出画面の説明図である。 第４の実施の形態の自動取引装置の説明図である。 第４の実施の形態の監視画像サーバの表示装置に表示された不審物検出画面の説明図である。

符号の説明

１００ バス
１０１ 紙幣取扱装置
１０２ 鑑別装置
１０３ 表示入力装置
１０４ カードＲ／Ｗ
１０５ 通信装置
１０６ ＣＰＵ
１０７ 主記憶部
１０８ 補助記憶部
１０９ 暗証番号入力装置
１１１ 監視装置
２００ バス
２０１ ＣＰＵ
２０２ 主記憶部
２０３ 補助記憶部
２０４ Ｉ／Ｏ部
２０５ カメラＩ／Ｆ
３００ 自動取引装置
３０１ 壁
３１１ カード入出口
３１２ 通帳入出口
３１４ 紙幣入出金口
３２０〜３２５ カメラ
４００ バス
４０１ ＣＰＵ
４０２ 主記憶部
４０３ 補助記憶部
４０４ 表示装置
４０５ 通信装置
２４００ 照明
２６００ ネットワーク
２６０１ 監視画像サーバ

Claims (13)

1. 情報が入力される入力部と、一つ以上の監視カメラに接続される監視部と、紙幣を識別する鑑別部と、外部の装置と通信する通信部と、自動取引装置の全体を制御する制御部と、を備える自動取引装置であって、
   前記監視部は、
   当該自動取引装置の処理状態に関する情報を、前記制御部から取得し、
   前記取得した処理状態に関する情報に基づいて、当該自動取引装置が所定の処理中であるか否かを判定し、
   当該自動取引装置が所定の処理中に前記監視カメラが撮影した画像中の、該処理に対応付けられた所定領域の画素値を異なる値に書き換え、
   当該画素値を書き換えた画像を、前記通信部から送信することを特徴とする自動取引装置。
2. 前記入力部は、暗証番号の入力を受け付け、
   前記監視部は、
   前記取得した処理状態に関する情報に基づいて、当該自動取引装置が暗証番号の入力処理中であるか否かを判定し、
   当該自動取引装置が暗証番号の入力処理中は、前記入力部が写った領域の画素値を、異なる値に書き換えることを特徴とする請求項１に記載の自動取引装置。
3. 更に、情報を表示する表示部を備え、
   前記監視部は、
   前記取得した処理状態に関する情報に基づいて、当該自動取引装置が取引情報の表示中であるか否かを判定し、
   当該自動取引装置が取引情報の表示中は、当該表示中の取引情報が写った領域の画素値を、異なる値に書き換えることを特徴とする請求項１に記載の自動取引装置。
4. 前記入力部は、暗証番号の入力を受け付け、
   前記監視部は、
   前記取得した処理状態に関する情報に基づいて、当該自動取引装置が暗証番号入力処理に要した時間を計測し、
   前記計測した時間が所定の閾値以上であると、前記通信部から警告情報を送信することを特徴とする請求項１乃至３の何れかに記載の自動取引装置。
5. 前記監視部は、
   前記取得した処理状態に関する情報に基づいて、前記入力部に情報が入力された時点を含む所定時間内であるか否かを判定し、
   前記入力部に情報が入力された時点を含む所定時間内でない時には、前記監視カメラが連続して撮影した画像を比較することによって、画素値が変化した画素の数を計測し、
   前記計測した画素数が所定の閾値以上であると、前記通信部から警告情報を送信することを特徴とする請求項１乃至３の何れかに記載の自動取引装置。
6. 前記監視部は、
   前記取得した処理状態に関する情報に基づいて、前記入力部に訂正が入力された回数を計測し、
   前記計測した訂正の入力回数が所定の閾値を超えると、前記通信部から警告情報を送信することを特徴とする請求項１乃至３の何れかに記載の自動取引装置。
7. 前記入力部は、暗証番号の入力を受け付け、
   前記監視部は、
   前記取得した処理状態に関する情報に基づいて、前記入力部に入力された暗証番号の正誤を判定し、
   前記入力部に入力された暗証番号が誤っていると、前記通信部から警告情報を送信することを特徴とする請求項１乃至３の何れかに記載の自動取引装置。
8. 一つ以上の自動取引装置と、前記自動取引装置に接続される監視画像管理装置と、を備える監視システムであって、
   前記自動取引装置は、情報が入力される入力部と、情報を表示する第１表示部と、情報を記憶する第１記憶部と、一つ以上の監視カメラを備える監視部と、紙幣を識別する鑑別部と、前記監視画像管理装置と通信する第１通信部と、当該自動取引装置の全体を制御する第１制御部と、を備え
   前記監視画像管理装置は、情報を表示する第２表示部と、情報を記憶する第２記憶部と、前記自動取引装置と通信する第２通信部と、当該監視画像管理装置の全体を制御する第２制御部と、を備え、
   前記監視部は、
   当該自動取引装置の処理状態に関する情報を、前記第１制御部から取得し、
   前記取得した処理状態に関する情報に基づいて、当該自動取引装置が所定の処理中であるか否かを判定し、
   当該自動取引装置が所定の処理中は、前記監視カメラが撮影した画像の所定の領域の画素値を、異なる値に書き換え、
   前記第１通信部は、前記監視部が画素値を書き換えた画像を前記第２通信部に送信し、
   前記第２表示部は、前記第２通信部が受信した画像を表示することを特徴とする監視システム。
9. 前記監視部は、
   当該自動取引装置が所定の処理を開始する前に前記監視カメラが撮影した画像である制限監視前画像を前記第１記憶部に格納し、
   当該自動取引装置が所定の処理を終了した後に前記監視カメラが撮影した画像である制限監視後画像を前記第１記憶部に格納し、
   前記第１通信部は、前記第１記憶部に格納されている制限監視前画像及び制限監視後画像を、前記第２通信部に送信し、
   前記第２表示部は、前記第２通信部が受信した制限監視前画像及び制限監視後画像を表示することを特徴とする請求項８に記載の監視システム。
10. 前記第２制御部は、前記第２通信部が受信した制限監視前画像と前記第２通信部が受信した制限監視後画像との差分画像を作成し、
    前記第２表示部は、前記第２制御部が作成した差分画像を表示することを特徴とする請求項９に記載の監視システム。
11. 前記監視部は、
    前記第１記憶部に格納されている制限監視前画像と前記第１記憶部に格納されている制限監視後画像との差異を検出し、
    前記第１通信部は、前記監視部が差異を検出すると、警告情報を前記第２通信部に送信し、
    前記第２表示部は、前記第２通信部が受信した警告情報に基づいて警告を表示することを特徴とする請求項９に記載の監視システム。
12. 前記監視カメラのうち少なくとも二つは、ステレオ画像を撮影するステレオカメラであり、
    前記第２表示部は、前記ステレオカメラが撮影したステレオ画像を立体的に表示することを特徴とする請求項８に記載の監視システム。
13. 前記監視部は、
    前記第１記憶部に格納されている制限監視前画像から、第１の距離画像を作成し、
    前記第１記憶部に格納されている制限監視後画像から、第２の距離画像を作成し、
    前記作成した第１の距離画像と前記作成した第２の距離画像との差異を検出し、
    前記第１通信部は、前記監視部が差異を検出すると、警告情報を前記第２通信部に送信し、
    前記第２表示部は、前記第２通信部が受信した警告情報に基づいて警告を表示することを特徴とする請求項９に記載の監視システム。