JP6715683B2 - 貨幣処理システム - Google Patents

Description

この発明は、カメラを有する監視装置によって、貨幣処理装置で行われる貨幣処理を監視して監視画像を記録する貨幣処理システムに関する。

従来、貨幣処理装置で行う貨幣処理作業を記録するためにカメラが利用されている。例えば、特許文献１には、貨幣収納庫で出し入れされた貨幣の金種等の情報を、貨幣収納庫を撮像した映像と関連付けるシステムが開示されている。貨幣処理に係る情報と映像とを関連付けて保存することにより、映像を記録した際の貨幣処理の内容を確認することができる。

監視映像を記録したデータは膨大な量になるため、例えば、ある人物が写った画像を確認したいという場合に、この画像を探し出す作業は手間と時間のかかる作業となる。このため、特許文献２には、長時間に亘ってカメラ映像を記録した後、映像データの解析や検索を行うシステムが開示されている。画像をメッシュ状に分割して輝度変化等を解析することにより、映像データ内に記録されている人の移動等を検出することができる。また、特許文献３には、移動体を監視して記録した監視映像データから移動体を検出してグループ化する画像装置が開示されている。移動体を検出してグループ化することにより、再生確認すべき映像データを絞り込むことができる。

特許第５３８６３２０号公報 特開２００２−１１２２４４号公報 特許第５３４９６３２号公報

しかしながら、上記従来技術では、記録した膨大なデータを事後的に解析する必要がある。また、解析結果を得てデータを確認するまでに時間がかかる。

本発明は、上述した従来技術による問題点を解消するためになされたもので、貨幣処理装置で行われる貨幣処理を監視して記録した画像の中から所望の画像を検索して再生する作業を容易に行うことができる貨幣処理システムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、貨幣処理装置及び監視装置を含む貨幣処理システムであって、前記監視装置は、前記貨幣処理装置及び前記貨幣処理装置の利用者を含む撮像対象の画像及び前記撮像対象を三次元的に認識可能な情報を取得する第１カメラと、前記第１カメラで取得した情報に基づいて、予め設定された所定イベントを検知するイベント検知部と、前記第１カメラで取得した画像と、前記イベント検知部がイベントを検知した日時とを関連付けて管理するデータ管理部とを備え、前記イベント検知部は、前記貨幣処理装置が設置された監視エリア内への人物の進入及び退出と、前記貨幣処理装置が有する開閉可能な貨幣収納庫の開放操作及び閉塞操作とをイベントとして検知することを特徴とする。

また、本発明は、上記発明において、 前記イベント検知部は、前記貨幣処理装置から取得した情報に基づいて、予め設定された所定イベントを検知することを特徴とする。

また、本発明は、上記発明において、前記第１カメラで取得した画像には、可視光画像、赤外光画像及び深度画像が含まれることを特徴とする。

また、本発明は、上記発明において、前記監視装置は、操作表示部をさらに備え、前記データ管理部は、前記イベント検知部が検知した複数のイベントを前記操作表示部に一覧表示すると共に、前記操作表示部でフィルタを選択する操作がなされた場合には、前記一覧表示を、前記フィルタによる条件を満たすイベントのみに絞り込んで一覧表示することを特徴とする。

また、本発明は、上記発明において、前記データ管理部は、前記一覧表示の画面上でイベントを選択する操作がなされた場合には、選択されたイベントを検知した日時に記録された画像を前記操作表示部で再生することを特徴とする。

また、本発明は、上記発明において、前記監視装置は、前記貨幣処理装置の利用者の顔画像を取得する第２カメラをさらに備え、前記データ管理部は、前記第２カメラで取得した画像と、前記イベント検知部がイベントを検知した日時とを関連付けて管理する
ことを特徴とする。

本発明によれば、第１カメラで撮像した画像及び第２カメラで撮像した画像を連続して記録しながら、イベント検知部が所定イベントを検知した日時を記録する。データ管理部は、第１カメラによる画像及び第２カメラによる画像と、イベントの検知日時とを関連付けて管理しているので、イベントを指定すれば、このイベントを検知した際に記録された画像を容易に確認することができる。

図１は、監視装置及び貨幣管理装置を含む貨幣処理システムの外観を示す斜視図である。 図２は、監視装置及び貨幣管理装置の機能構成概略を示すブロック図である。 図３は、監視装置と貨幣管理装置の接続について説明する図である。 図４は、監視装置による画像の撮像範囲を示す図である。 図５は、第１カメラによる深度情報の取得について説明する図である。 図６は、ドロアの位置を検知する方法を説明する図である。 図７は、ドロアの検知に反射材を利用する方法を説明する図である。 図８は、収納部の検知に反射材を利用する方法を示す図である。 図９は、収納部内の貨幣量を検知する方法を説明するための断面模式図である。 図１０は、貨幣の高さ又は体積に基づいて貨幣量を算出する方法を示す図である。 図１１は、立位状態で収納された貨幣の貨幣量を算出する方法を示す図である。 図１２は、貨幣の監視方法を示すフローチャートである。 図１３は、貨幣管理装置の利用者の監視方法を示すフローチャートである。 図１４は、画像データ及び監視データの記録について説明する図である。 図１５は、記録する画像の設定例を説明する図である。 図１６は、監視データの例を示す図である。 図１７は、イベントリスト画面の例を示す図である。 図１８は、フィルタリングソート画面の例を示す図である。 図１９は、画像の再生画面の例を示す図である。 図２０は、貨幣情報画面の例を示す図である。

以下に、添付図面を参照して、本発明に係る貨幣処理システムについて詳細に説明する。貨幣処理システムは、監視装置及び貨幣処理装置を含み、貨幣処理装置で行われる貨幣処理を、監視装置に設けた複数のカメラを利用して監視する機能を有する。

まず、貨幣処理システムの概要を説明すると、貨幣処理システムでは、監視装置が、貨幣処理装置で行われる貨幣処理に関する情報を取得して、この貨幣処理が正しく行われたか否かを監視する。監視装置は、貨幣処理装置の利用者を識別する利用者ＩＤ等を含む利用者情報と、この利用者が貨幣処理中に出し入れする貨幣の種類や数量等を含む貨幣処理情報とを、貨幣処理装置から取得する。そして、貨幣処理開始後に、貨幣処理装置の利用者の顔画像をカメラで撮像して顔認証する処理を複数回実行することにより、処理権限を有さない人物のなりすまし等の不正がないことを確認する。また、監視装置は、貨幣処理装置及び利用者をカメラで撮像しながら、利用者が貨幣処理装置で出し入れした貨幣が適正であるか否かを監視する。監視装置は、カメラで撮像した利用者、装置、貨幣等の撮像対象を三次元的に認識する機能を有し、貨幣が出し入れされた貨幣収納庫の位置、出し入れされた貨幣の種類や数量等を検知できる点に一つの特徴を有している。監視装置は、利用者が実際に出し入れした貨幣を検知して、検知結果と貨幣処理で出し入れされるはずの貨幣との間に矛盾がある場合には、貨幣処理中にこれを報知することができる。また、監視装置は、カメラを利用して、貨幣処理装置が設置された監視エリア内への人の進入や退出、貨幣収納庫の開閉等をイベントとして検知する。そして、貨幣処理中に利用者等を撮像した複数種類の画像を、検知したイベントと関連付けて記録して管理する。これにより、過去に行われた貨幣処理装置の利用者や貨幣処理内容を確認する際には、記録されている複数イベントの中からイベントを選択して、このイベントを検知した際に撮像された画像を確認することができる。

本実施形態では、銀行等の金融機関で、大量の貨幣を収納して管理するために利用する貨幣管理装置（貨幣処理装置）を例に、貨幣処理システムについて具体的に説明する。貨幣管理装置では、バラ紙幣、結束紙幣、バラ硬貨、包装硬貨等、複数種類の貨幣が管理されるが、各貨幣の処理は同様に行われるため、以下では主に結束紙幣を例に説明する。また、監視装置では、静止画像及び動画像を取得することができるが、以下では、静止画像又は動画像のいずれか一方に限定されない場合には単に「画像」と記載する。

［システム構成］
まず、図１及び図２を参照しながら貨幣処理システムの機能及び構成について説明する。図１は、監視装置２及び貨幣管理装置３を含む貨幣処理システム１の外観を示す斜視図である。図２は、監視装置２及び貨幣管理装置３の機能構成概略を示すブロック図である。図１に示すように、貨幣処理システム１は、大量の貨幣を収納して管理する貨幣管理装置３と、貨幣管理装置３とデータ通信可能に接続された監視装置２とを含んで構成される。

監視装置２は、貨幣管理装置３及び貨幣管理装置３の利用者を上方から撮像する第１カメラ１０と、利用者を前方から撮像する第２カメラ２０と、タッチパネル式の液晶表示装置から成る操作表示部３０とを有している。第２カメラ２０及び操作表示部３０が設けられた本体部と、第１カメラ１０との間は、Ｌ字型のアーム部によって接続されている。

貨幣管理装置３は、現金バスと呼ばれる貨幣処理装置で、傾斜した上面部には、ＩＤカード等から情報を読み取るカードリーダ１２０と、貨幣管理装置３で出し入れされる貨幣の金種や数量等の貨幣処理情報を入力するためのキーから成る操作部１３１と、各種情報を表示するための液晶表示部から成る表示部１３２とが設けられている。なお、ＩＤカードには、利用者を特定するために各利用者に付与された利用者ＩＤ等の情報が書き込まれている。

また、貨幣管理装置３には、装置前面側へ引き出し可能な複数のドロア１１０〜１１４が設けられている。複数のドロア１１０〜１１４は上下方向に配列されており、各ドロアはそれぞれ床面からの高さが異なる位置に配置されている。

鍵穴１０９に鍵を差し込んで施解錠する予備ドロア１１０には、小切手等の有価証券、貨幣処理に係る書類等、貨幣以外の紙葉類を収納する。貨幣を収納する貨幣収納庫として設けられた第１ドロア１１１、第２ドロア１１２、第３ドロア１１３及び第４ドロア１１４には、バラ紙幣、所定枚数のバラ紙幣を結束した結束紙幣、バラ硬貨、所定枚数のバラ硬貨を包装した包装硬貨等を収納する。上面が開放された箱形形状の各ドロアは、内部が複数の収納部に区分されている。ドロア毎又は収納部毎に、収納する貨幣の種類が設定されており、貨幣はドロア毎又は収納部毎に金種別に収納される。

図２に示すように、監視装置２は、図１に示す構成の他に、貨幣管理装置３等の外部装置とデータ通信を行う通信部４０と、以下に説明する各機能及び動作を実現するために監視装置２の各部を制御する制御部５０と、制御部５０が利用する各種情報や制御部５０が取得した各種情報を保存するための記憶部６０とを有している。

第１カメラ１０は、画像センサ１１及び深度センサ１２を有している。監視装置２は、画像センサ１１を利用して、貨幣管理装置３や貨幣管理装置３の利用者等を上方から撮像したカラーの可視光静止画像及び可視光動画像を取得する。深度センサ１２は、所定パターンに配列した赤外線スポット光を照射する照射部と、各スポット光の反射光を受光する赤外線カメラとを含む。監視装置２は、深度センサ１２を利用して、所定パターンに配列した赤外線スポット光を撮像対象に照射して、得られた反射光の状態から、撮像対象の位置及び奥行き（深度）を認識する。そして、撮像範囲内で得られた深度情報を利用して、深度の違いを色の違いで表した深度静止画像及び深度動画像を取得することができる。また、監視装置２は、深度センサ１２を利用して照射部から赤外光を照射し、貨幣管理装置３や貨幣管理装置３の利用者等を上方から撮像した赤外光静止画像及び赤外光動画像を取得する。

このように、画像センサ１１及び深度センサ１２を有する第１カメラ１０として、例えば、マイクロソフト社製のＫｉｎｅｃｔ（登録商標）を利用する。専用のソフトウェアプログラムを利用することにより、監視装置２は、予め監視エリアとして設定した三次元空間内で人や物体を三次元的に認識することができる。

具体的には、撮像対象の上方に第１カメラ１０を配置することにより、第１カメラ１０が配置されている基準位置から撮像対象までの鉛直距離を、深度として取得することができる。そして、撮像範囲内の深度分布から、撮像対象を三次元的に認識して、撮像範囲内における撮像対象の位置、撮像対象の形状、撮像対象の体積等を検知することができる。
これにより、監視エリア内で、人と人以外の物体とを区別して検知して人の動きを追跡したり、貨幣管理装置３の各ドロアを区別して検知してドロア内の貨幣や貨幣処理で出し入れされた貨幣を検知したりすることができる。

第２カメラ２０は、画像センサ２１を有する。監視装置２は、画像センサ２１を利用して、貨幣管理装置３の利用者を撮像したカラーの可視光静止画像及び可視光動画像を取得する。第２カメラ２０を利用して、貨幣管理装置３に対向して立つ利用者を前方から撮像することにより、利用者の顔画像を取得することができる。

制御部５０は、画像取得部５１、利用者検知部５２、作業部位検知部５３、貨幣量検知部５４、照合判定部５５、報知部５６、イベント検知部５７及びデータ管理部５８を含む。画像取得部５１は、第１カメラ１０及び第２カメラ２０を利用して画像を取得する機能を有する。利用者検知部５２は、貨幣管理装置３を利用する利用者を検知する機能を有する。作業部位検知部５３は、貨幣が出し入れされるドロア、ドロア内の収納部の位置等、利用者が貨幣管理装置３で作業を行う位置を検知する機能を有する。

貨幣量検知部５４は、貨幣量を検知する機能を有する。具体的には、ドロア毎又はドロア内の収納部毎に予め設定されている収納貨幣の金種に基づいて、第１カメラ１０で取得した情報から、貨幣処理で貨幣が出し入れされる前にドロア内に収納されている貨幣と、貨幣処理で貨幣が出し入れされた後の貨幣と、貨幣処理前後の貨幣量の変化、すなわちドロアで出し入れされた貨幣とを検知することができる。貨幣量として検知する数量は、貨幣枚数や束数であってもよいし金額であってもよい。

照合判定部５５は、貨幣管理装置３から取得した情報と、監視装置２で取得した情報とを照合して貨幣処理作業に異常がないか否か、対応する情報が一致するか否かを判定する機能を有する。報知部５６は、照合判定部５５による判定結果に基づいて、操作表示部３０で情報を表示したり音や光を発したりする報知処理を実行する機能を有する。

例えば、照合判定部５５は、貨幣処理時に貨幣が出し入れされるドロアの位置情報を貨幣管理装置３から取得して、作業部位検知部５３で検知した、実際に貨幣が出し入れされるドロアの位置と照合する。また、例えば、貨幣処理時に出し入れされる貨幣の金種や数量等の情報を貨幣管理装置３から取得して、貨幣量検知部５４で検知した、実際に出し入れされた貨幣の金種や数量等の情報と照合する。そして、照合判定部５５による照合の結果、両者が一致せず貨幣処理作業に異常があると判定された場合には、報知部５６が、音や光を発すると共に、ドロアの位置の誤り、貨幣の金種の誤り、貨幣の数量の誤り等を示す情報を操作表示部３０に表示して異常を報知する。

イベント検知部５７は、貨幣管理装置３から取得した情報、第１カメラ１０で取得した情報、第２カメラ２０で取得した情報等を利用して、予め設定された所定イベントを検知する機能を有する。例えば、イベント検知部５７は、監視エリア内への人の進入や監視エリア内からの人の退出、貨幣管理装置３で行われるログイン操作やログアウト操作、貨幣管理装置３のドロアの開放操作やドロアの閉塞操作、監視エリア内における貨幣の放置や放置された貨幣の消失等を、イベントとして検知する。

データ管理部５８は、画像取得部５１が第１カメラ１０及び第２カメラ２０から取得した画像と、イベント検知部５７が検知したイベントの検知結果とを関連付けて、記憶部６０に保存して管理する機能を有する。データ管理部５８が管理する画像データ６２には、第１カメラ１０で取得した可視光の静止画像及び動画像、赤外光の静止画像及び動画像、深度を色の違いで示した静止画像及び動画像と、第２カメラで取得した可視光の静止画像及び動画像とが含まれる。また、監視データ６３には、イベント検知部５７が検知したイベントの種類や検知日時等、監視装置２による監視で得られた各種情報が含まれる。画像を保存する際に、イベントの検知日時等の情報を画像と関連付けて管理することにより、イベントを指定して、イベント検知時に取得した画像を再生できるようになっている。

記憶部６０は、半導体メモリやハードディスク等の不揮発性の記憶装置から成り、顔認証データ６１、画像データ６２、監視データ６３等の保存に利用される。顔認証データ６１には、利用者検知部５２が顔認証処理を実行して利用者を特定するために必要なデータが含まれる。画像データ６２には、データ管理部５８が管理する画像データが含まれる。監視データ６３には、データ管理部５８が管理するイベントデータの種類等が含まれる。

図２に示すように、貨幣管理装置３は、図１に示す構成の他に、監視装置２等の外部装置とデータ通信を行う通信部１４０と、以下に説明する各機能及び動作を実現するために貨幣管理装置３の各部を制御する制御部１５０と、制御部１５０が利用する各種情報や制御部１５０が取得した各種情報を保存するための記憶部１６０とを有している。

記憶部１６０は、半導体メモリやハードディスク等の不揮発性の記憶装置から成り、利用者認証データ１６１及び貨幣管理データ１６２の保存に利用される。制御部１５０は、利用者認証部１５１、ドロアロック制御部１５２、貨幣管理部１５３を含む。

利用者認証部１５１は、カードリーダ１２０でＩＤカードから読み取った利用者ＩＤ等の情報、操作部１３１を利用して入力された利用者ＩＤやパスワード等の情報と、予め記憶部１６０に利用者認証データ１６１として準備されている情報とを照合して、貨幣管理装置３の利用者を認証する機能を有する。利用者認証処理の実行方法は特に限定されず、ＩＤカードから読み取った情報のみで行う態様、ＩＤカードから読み取った情報と操作部１３１で入力された情報の両方を利用する態様、操作部１３１で入力された情報のみを利用する態様のいずれであってもよい。

ドロアロック制御部１５２は、貨幣管理装置３内部に設けられた電磁ロック等のロック機構を制御して、第１ドロア１１１〜第４ドロア１１４の各ドロアの開閉を制御する機能を有する。第１ドロア１１１〜第４ドロア１１４は、通常、ロック機構によってロックされており開くことができない。ログイン操作を行って認証された利用者が、操作部１３１を操作して、貨幣管理装置３で入出金する貨幣の金種と、貨幣枚数又は貨幣金額とを入力すると、ドロアロック制御部１５２が、最初に貨幣を出し入れするドロアのロックを解錠する。利用者は、解錠されたドロアを手前側に引き出して、収納部へ貨幣を収納する入金処理、収納部から貨幣を取り出す出金処理等を開始する。利用者が、貨幣の出し入れを終えたドロアを押し込むと、ドロアロック制御部１５２は、このドロアをロックして、次に貨幣を出し入れするドロアのロックを解錠する。このように、ドロアロック制御部１５２は、貨幣を出し入れするドロアが１つずつ順次解錠されるようにロック機構を制御するようになっている。利用者が、貨幣を出し入れする全ての処理を終えてドロアを閉じ、貨幣処理を完了するログアウト操作を行うと、ドロアロック制御部１５２により、再び全てのドロアがロックされた状態になる。

貨幣管理部１５３は、第１ドロア１１１〜第４ドロア１１４内の各収納部に収納されている貨幣の金種等の種類と数量（枚数及び金額）とを、在高として管理する機能を有する。各ドロアの内部は複数の収納部に区切られており、各収納部には、バラ紙幣、結束紙幣、バラ硬貨、包装硬貨のいずれかの貨幣が金種別に収納される。各収納部に収納されている貨幣の種類と数量は、貨幣管理データ１６２として、記憶部１６０で管理される。

［監視装置の初期設定］
次に、図３及び図４を参照しながら、監視装置２の利用開始時に行う初期設定について説明する。図３は、監視装置２と貨幣管理装置３の接続について説明する図である。図４は、監視装置２による画像の撮像範囲を示す図である。

図１に示すように貨幣管理装置３の上面に設置される監視装置２は、図３に示すように貨幣管理装置３の上面に対して着脱できるようになっている。貨幣管理装置３の他にも様々な貨幣処理装置の上面に監視装置２を設置して利用することができる。

監視装置２の第１カメラ１０で貨幣処理を監視する監視エリアは、監視対象とする貨幣処理装置のサイズや形状等によって異なるが、監視装置２は、監視対象とする貨幣処理装置の種類を認識して、監視エリアを自動的に設定する。監視対象とする貨幣処理装置の種類に応じて、撮像範囲内に設定する監視エリア、監視エリア内における監視対象、監視する貨幣処理の種類、監視方法等を設定した設定情報が、予め記憶部６０に準備されている。なお、監視エリアについては、第１カメラ１０による撮像範囲内の一部の領域を監視エリアとして設定することもできるし、第１カメラ１０による撮像範囲全体を監視エリアとして設定することもできる。

監視装置２を、貨幣処理装置の筐体上面に設置して起動すると、監視装置２の制御部５０は、通信部４０を制御して、有線又は無線で貨幣処理装置との通信を開始する。ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークや、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等の近距離無線技術を利用して通信を開始した制御部５０は、貨幣処理装置の種類を認識すると、貨幣処理装置に対応する設定を呼び出して、この設定に基づく動作を開始する。

例えば、監視装置２を、出納機と呼ばれる大型の貨幣処理装置の筐体上に設置すると、監視対象が出納機であることを認識した制御部５０は、予め出納機用に準備されている設定を呼び出して初期設定を開始する。出納機上に監視装置２を設置する際には、入金口、出金口、操作表示部等、所定部位を第１カメラ１０で撮像できるように、出納機上で監視装置２を設置可能な範囲が、設置領域として定められている。出納機用の設定を呼び出した制御部５０は、監視装置２が設置領域内に正しく設置されていることを確認する処理を開始する。

具体的には、制御部５０は、第１カメラ１０で撮像した画像内で、出納機の筐体上面四隅の位置、筐体上面のエッジの位置、入金口の位置等、予め設定されている基準位置を認識する。例えば、画像内で、基準位置として設定されている入金口を検出できない場合、制御部５０は、監視装置２の設置位置に異常があると判定する。そして、制御部５０は、第１カメラ１０による撮像画像を操作表示部３０の画面上にリアルタイム表示しながら、画面上に矩形マークをオーバーレイ表示する。そして、この矩形マーク内に入金口が入るように監視装置２の設置位置を調整するよう指示する情報を画面上に表示する。装置利用者は、操作表示部３０の画面を確認しながら、矩形マーク内に入金口が入るように、監視装置２の設置位置を調整する。監視装置２が設置領域内に設置され、第１カメラ１０によって、入金口等の基準位置を撮像可能な状態になると、制御部５０は、監視装置２が適正に設置されたことを示す情報を操作表示部３０に表示するなどして、利用者にこれを報知する。続いて制御部５０は、入金口を基準に、第１カメラ１０による撮像画像に、出金口等の各監視対象が含まれていることを確認し、監視対象を検出できない等の異常があればこれを利用者に報知し、異常がなければ設置位置の確認処理を終了する。

こうして監視装置２が適正な設置位置に設置され、第１カメラ１０によって、予め設定されている各撮像対象を撮像可能であることが確認できると、制御部５０は、出納機用の設定に基づいて、入金口から入金される貨幣や、出金口から出金される貨幣等の監視を開始する。

なお、監視装置２の設置位置調整に利用する基準位置の設定方法については、入金口や筐体の一部を利用する態様に限定されず、例えば、所定の色や模様を有するシールを出納機の筐体上に貼り付けて基準位置とする態様であってもよい。また、第１カメラ１０で基準位置を撮像できるように位置を調整する方法については、監視装置２の設置位置を動かして調整する態様に限定されない。例えば、監視装置２の操作表示部３０と第１カメラ１０との間を接続するアーム部が可動機構を含んで構成され、監視装置本体の位置を固定したまま、アーム部の可動機構によって、第１カメラ１０の設置位置や角度を調整する態様であってもよい。さらに、例えば、第１カメラ１０が、レンズの向きや撮像範囲を変更する可動機構を含んで構成され、この可動機構によって、第１カメラ１０の向きや撮像範囲を変更する態様であってもよい。また、監視装置２が、アーム部及び第１カメラ１０の可動機構をモータ等で駆動する駆動機構を備え、制御部５０が、駆動機構を制御して、第１カメラ１０による撮像範囲や撮像方向を自動調整する態様であってもよい。

なお、第２カメラ２０については、監視装置２が予め設定された設置領域内に設置され、第１カメラ１０により所定の監視領域を撮像可能な状態になれば、出納機の操作表示部を操作する利用者の顔を撮像できるようになっている。ただし、第２カメラ２０についても、第１カメラ１０と同様に、初期設定時に、装置利用者の顔画像を取得できるように撮像範囲や撮像方向を調整する態様であってもよい。

出納機に設置していた監視装置２を、図３に示すように貨幣管理装置３の上面に移動して起動すると、監視装置２の制御部５０は、貨幣管理装置３が監視対象であることを自動的に認識して撮像範囲や撮像対象に問題がないか確認する初期設定を実行する。初期設定を終了すると、図４に示すように、貨幣管理装置３のカードリーダ１２０、操作部１３１及び表示部１３２が、破線で示した第１カメラ１０による撮像範囲２０１に含まれる。これにより、カードリーダ１２０、操作部１３１及び表示部１３２を利用して貨幣処理を行う利用者の様子を、第１カメラ１０で上方から撮像して画像や深度情報を取得することができる。

貨幣管理装置３で入金処理や出金処理を行う際には、図３に示すように、ドロアを手前に引き出して貨幣を出し入れするが、図４に示すように、予備ドロア１１０、第１ドロア１１１、第２ドロア１１２、第３ドロア１１３及び第４ドロア１１４のいずれを全開にしても、ドロア全体が第１カメラ１０による撮像範囲２０１に収まるようになっている。これにより、有価証券や貨幣をドロア内部に収納したりドロア内部から取り出したりする貨幣処理作業を、第１カメラ１０で上方から撮像して画像や深度を取得することができる。

また、第２カメラ２０は、図４に一点鎖線で示すように、第２カメラ２０の前方を撮像範囲２０２として、カードリーダ１２０、操作部１３１、表示部１３２等で操作を行う利用者を、利用者の前方から撮像して顔画像を取得することができる。

［ドロア検知］
次に、図５〜図７を参照しながら、監視装置２が、貨幣管理装置３で開閉されるドロアを検知する方法について説明する。監視装置２の作業部位検知部５３は、第１カメラ１０を利用してドロアの位置を検知する。第１カメラ１０で撮像した画像の変化や、第１カメラ１０で取得した深度の変化から、貨幣管理装置３のドロアが開いたことを認識した作業部位検知部５３は、開いたドロアの位置を特定する位置検知処理を実行する。

図５は、第１カメラ１０による深度情報の取得について説明する図である。図５に示すように、第１ドロア１１１には装置左右方向に２つの収納部１１１ａ、１１１ｂが配置されている。左右方向に配置された２つの収納部は、装置前後方向に５列設けられている。すなわち、各ドロア内の空間が２行５列に分割されて、上面が開放された箱形形状の収納部が１０個形成されている（図６（ｃ）参照）。

第１ドロア１１１が開くと、作業部位検知部５３は、図５に示すように第１カメラ１０の配置位置を深度０ｍｍの基準位置として、基準位置から第１ドロア１１１の前面上端までの鉛直距離（深度Ｈ１）を計測する。同様に、第２ドロア１１２が開くと、作業部位検知部５３は、基準位置から第２ドロア１１２の前面上端までの鉛直距離（深度Ｈ２）を計測する。作業部位検知部５３は、開いたドロアの深度の違い、すなわち床面から、開いたドロアの前面上端までの鉛直距離（高さ）の違いから、複数ドロアのうちいずれのドロアが開いたかを検知する。

なお、貨幣管理装置３では４段のドロア１１１〜１１４が上下方向に一列に配置されているが、ドロアが複数列に配置されている場合も作業部位検知部５３は、各ドロアの位置を検知することができる。監視装置２は、第１カメラ１０による撮像範囲内全域で深度を測定するので、開いたドロア上面の位置や形状を三次元的に認識することができる。これにより、ドロアの配置状態によらず、開いたドロアの位置を検知することができる。

このように、深度情報に基づいてドロアの位置を検知可能であるが、ドロアの位置を確実に検知するため、監視装置２は、予め設定した検出領域内における深度の変化に基づいてドロアの位置を検知する。

図６は、ドロアの位置を検知する方法を説明する図である。図６（ａ）〜（ｃ）は、第１カメラ１０で上方から撮像した貨幣管理装置３を示している。第１カメラ１０で撮像されるのは、操作部１３１、表示部１３２及びカードリーダ１２０が設けられた貨幣管理装置３の傾斜上面部より前方側の領域で、図６（ｃ）に示すように、４つのドロア１１１〜１１４のうちどのドロアを全開にした場合でも、第１カメラ１０によってドロア全体を撮像できるようになっている。なお、以下では、図５に示す深度の基準位置から、貨幣管理装置３が設置されている床面までの鉛直距離、すなわち床面の深度が、２０００ｍｍであるものとして説明する。

ドロアの位置を特定するための深度検出領域２０４は、図６（ａ）に示すように全てのドロア１１１〜１１４を全閉にした貨幣管理装置３の前方外側で、かつ、図６（ｃ）に示すようにどのドロアを全開にした場合でも第１カメラ１０の設置位置から見てドロアの内側となる位置に設けられている。全てのドロア１１１〜１１４が全閉状態にあるときを基準とするため、全てのドロア１１１〜１１４が全閉状態であれば、深度検出領域２０４内で深度が変化した領域の面積割合を示す深度変化割合は０％となる。すなわち、全てのドロアが全閉状態にあるときは、深度検出領域２０４全域の面積に対して、深度が２０００ｍｍより小さくなった領域の面積の割合を示す深度変化割合は０％となる。

また、図６（ａ）に示すように、全てのドロア１１１〜１１４が全閉状態にあるときは、第１カメラ１０によって深度検出領域２０４内で撮像されるのは、貨幣管理装置３が設置されている床面のみであるため、深度検出領域２０４内の深度は全域で２０００ｍｍとなる。このため、深度検出領域２０４内で得られた深度の平均値を示す深度平均値は２０００ｍｍとなる。図６（ｄ）に示すように、第１ドロア１１１〜第４ドロア１１４のいずれのドロアについても、深度検出領域２０４内でドロアが検知されない深度変化割合０％における深度平均値は２０００ｍｍとなる。

一方、図６（ｂ）に示すようにドロアの一部を引き出した半開状態や、図６（ｃ）に示すようにドロア全体を引き出した全開状態では、深度平均値が、ドロア毎に異なる値を示す。例えば、図６（ｂ）に示すように、深度変化割合が４０％の場合、深度検出領域２０４内で床面が撮像されている部分領域で深度が２０００ｍｍとなるのに対し、ドロアが撮像されている４０％の部分領域では深度が２０００ｍｍより小さくなる。具体的には、図６（ｂ）に示す収納部の底面２１１、収納部を形成する側壁の上面２１２、ドロア前面部の上面２１３の順に深度の値が２０００ｍｍより小さくなる。深度検出領域２０４内で得られた深度を平均した深度平均値は、図６（ｄ）に示すように、第１ドロア１１１で１６２３ｍｍ、第２ドロア１１２で１７３６ｍｍとなる。同様に、図６（ｃ）に示すように深度変化割合が１００％の場合、深度検出領域２０４内の全ての領域でドロアまでの深度が得られるため、深度平均値はドロアによって異なる値を示す。深度平均値は、図６（ｄ）に示すように、第１ドロア１１１で１２４７ｍｍ、第２ドロア１１２で１４７２ｍｍとなる。

図６（ｄ）に示すように、深度検出領域２０４における深度変化割合と各ドロアの深度平均値との関係を示す深度テーブルが、貨幣管理装置３の監視用設定として、予め準備されている。監視装置２の作業部位検知部５３は、監視エリア内における深度分布を第１カメラ１０で取得して、深度検出領域２０４における深度変化割合及び深度平均値を算出する。そして、深度テーブルを参照することにより、第１ドロア１１１〜第４ドロア１１４のうち、どのドロアが開いたかを特定する。

具体的には、図６（ａ）に示すように、深度変化割合が０％であれば全てのドロアが全閉状態であると判定する。また、例えば、図６（ｂ）に示すように、深度検出領域２０４の深度変化割合が４０％である場合、深度検出領域２０４で得られた深度平均値が、所定の誤差範囲内で、１６２３ｍｍと一致するときは第１ドロア１１１が開いたと判定し、１７３６ｍｍと一致するときは第２ドロア１１２が開いたと判定する。同様に、図６（ｃ）に示すように、深度検出領域２０４の深度変化割合が１００％である場合、深度検出領域２０４で得られた深度平均値が、所定の誤差範囲内で、１２４７ｍｍと一致するときは第１ドロア１１１が開いたと判定し、１４７２ｍｍと一致するときは第２ドロア１１２が開いたと判定する。なお、位置判定を行う際の深度の誤差範囲は、ドロア内の収納部が空の状態と貨幣で満杯になった状態とを考慮して、各ドロア毎に設定されている。

このように、監視装置２では、貨幣管理装置３のドロアが開いた際に、第１カメラ１０で得られた深度情報を利用して、複数のドロアのうち、どのドロアが開いたかを検知するが、ドロアの検知に反射材を利用することも可能となっている。例えば、光源から受けた光を光源へ向けて反射する再帰性反射材を利用して、第１カメラ１０から照射した赤外光の反射光を効率よく受光し、受光状態に基づいてドロア等の位置を検知する。

図７は、ドロアの検知に反射材を利用する方法を説明する図である。図７（ａ）は、反射材１７０〜１７２を貼り付けた貨幣管理装置３の外観を示す斜視図で、図７（ｂ）〜（ｄ）は、第１カメラ１０で上方から貨幣管理装置３を撮像した際に得られる反射材１７０〜１７２の反射パターンを示している。

図７（ａ）に示すように、第１カメラ１０で撮像可能な貨幣管理装置３の筐体上に、赤外光を反射する再帰性反射材１７０を貼り付ける。また、第１ドロア１１１の前面部上面に、再帰性反射材１７１を貼り付ける。図７（ｂ）に示すように、全てのドロアを閉じた状態では、筐体上の再帰性反射材１７０で反射された赤外光のみが第１カメラ１０で受光される。第１ドロア１１１を開くと、図７（ｃ）に示すように、筐体上の再帰性反射材１７０で反射された赤外光と、第１ドロア１１１の再帰性反射材１７１で反射された赤外光との両方が第１カメラ１０で受光される。これにより、赤外反射光の状態から、第１ドロア１１１が開いたことを検知することができる。

また、図７（ａ）に示すように、第２ドロア１１２には、第１ドロア１１１に貼り付ける再帰性反射材１７１と異なる形状の再帰性反射材１７２を貼り付ける。第２ドロア１１２を開いた際には、図７（ｄ）に示すように、再帰性反射材１７０、１７２による反射光が、第１ドロア１１１を開いた際とは異なる反射パターンを示す。これにより、第１カメラ１０で受光した赤外反射光の反射パターンに基づいて、第１ドロア１１１の開閉と、第２ドロア１１２の開閉とを区別して検知することができる。

赤外反射光の位置や形状に基づいて各ドロアを区別できるように、各ドロアに貼り付ける反射材の貼付位置と形状の少なくともいずれか一方を変更すれば、第１カメラ１０で得られた赤外反射光のパターンに基づいて、第１ドロア１１１〜第４ドロア１１４それぞれの開閉を区別して検知することができる。

このように、監視装置２では、図５に示す各ドロア上面の深度、図６に示す深度テーブル、図７に示す再帰性反射材１７０〜１７２による赤外反射パターンの少なくともいずれか一つを利用して、第１ドロア１１１〜第４ドロア１１４のうち、どのドロアが開いたのかを特定することができる。また、ドロアが全開状態であるか半開状態であるかを検知することもできる。例えば、図６に示す深度検出領域２０４における深度変化割合及び深度平均値に基づくドロアの位置検知と、図７示す反射材を利用するドロアの位置検知とを併用すれば、ドロアの位置及び開閉状態を確実に検知することができる。

［収納部検知］
次に、図８を参照しながら、監視装置２が、貨幣管理装置３のドロア内に設けられている各収納部の位置を検知する方法について説明する。監視装置２の作業部位検知部５３は、図５に示すように深度を測定して、開いたドロアを含む監視エリア内の深度分布を取得する。作業部位検知部５３は、深度分布に基づいて、ドロア内の各収納部の位置及び形状を認識することができる。具体的には、各収納部を形成する四方の側壁上面で同じ深度が得られるので、側壁上面を示す深度の分布形状に基づいて、各収納部の位置及び形状を認識することができる。また、監視装置２では、ドロアの位置検知と同様に、収納部の位置及び形状を検知する際にも反射材を利用することができる。

図８は、収納部の検知に反射材を利用する方法を示す図である。図８は、第１カメラ１０で上方から撮像した貨幣管理装置３を示している。なお、各ドロアで同様に反射材を利用することができるため、図８では、第１ドロア１１１を例に反射材の利用方法を説明する。

図８（ａ）は、第１ドロア１１１内に設けられた１０個の収納部１１１ａ〜１１１ｊ全ての位置及び形状の検知に、再帰性反射材１７３を利用する例である。再帰性反射材１７３は、ドロアを形成する左側、右側、前面側及び背面側の４つの側壁の上面と、ドロア内部を１０個の収納部１１１ａ〜１１１ｊに仕切る全ての隔壁の上面に貼り付けられている。すなわち、各収納部を形成する四方の側壁の上面全周に再帰性反射材１７３が貼り付けられている。第１カメラ１０で、再帰性反射材１７３で反射された赤外反射光を受光することにより、各収納部の位置及び形状を認識することができる。

第１ドロア１１１を途中まで引き出した半開状態で貨幣が出し入れされる場合も、貨幣管理装置３の外側へ露出している収納部を検知することができる。例えば、図８（ｂ）に示すように、第１ドロア１１１を途中まで引き出して、３列目の収納部１１１ｅ及び１１１ｆの途中までを貨幣管理装置３の前面から露出させた半開状態で貨幣の収納作業を開始した場合、１列目の２つの収納部１１１ａ及び１１１ｂと、２列目の２つの収納部１１１ｃ及び１１１ｄでは、各収納部の四方の側壁上面に貼り付けられた再帰性反射材１７３から矩形形状の赤外反射光が得られる。これに対して、途中までしか引き出されていない３列目の収納部１１１ｅ及び１１１ｆでは、背面側の側壁が貨幣管理装置３内に隠れた状態となるため、矩形形状の赤外反射光は得られない。作業部位検知部５３は、第１カメラ１０で受光した赤外反射パターンから、第１ドロア１１１が途中まで引き出された半開の状態であり、１列目及び２列目の４つの収納部１１１ａ〜１１１ｄは貨幣管理装置３の外側に全体を露出して、３列目の２つの収納部１１１ｅ及び１１１ｆは一部のみが露出していることを認識することができる。

なお、再帰性反射材の利用方法については、ドロア内の全ての収納部で利用する態様に限定されず、一部の収納部のみで利用する態様であってもよい。例えば、図８（ｃ）に示すように、一部の収納部に反射材を貼り付ける態様であってもよい。

収納部内に貨幣が収納されている場合でも収納部の位置及び形状が分かるように、反射材は、収納部を形成する側壁上面に貼り付けることが好ましいが、反射材の貼付位置がこれに限定されるものではない。具体的には、例えば、図８（ｃ）に示す収納部１１１ａのように四方の側壁上面の角部にのみ再帰性反射材１７４を貼り付ける態様であってもよいし、収納部１１１ｅのように底面上の外周部全周にわたって四方の側壁内面に沿わせて矩形形状に再帰性反射材１７５を貼り付ける態様であってもよい。また、底面上に、格子模様や水玉模様を形成するように所定パターンで、再帰性反射材を貼り付ける態様であっても構わない。例えば、図８（ｃ）に示す収納部１１１ｂ、１１１ｄのように、底面上に再帰性反射材１７６を格子状に貼り付ければ、収納部１１１ｄで示すように紙幣等の物体３００を収納した際に、収納された物体３００の位置や形状を容易に認識することができる。

なお、図８（ｃ）に示すように、一部の収納部に再帰性反射材１７４〜１７６を貼り付ける場合には、ドロア１１１を一番手前まで引き出した状態、すなわちドロア１１１を全開にした状態でのみ、第１カメラ１０で撮像できるドロア上の位置に、全開位置であることを示す所定形状の再帰性反射材１７７ａ、１７７ｂを貼り付ける。これにより、作業部位検知部５３は、第１カメラ１０で撮像した画像に、全開位置を示す再帰性反射材１７７ａ、１７７ｂが含まれていれば、ドロア１１１は全開状態にあると認識することができる。一方、撮像画像に再帰性反射材１７７ａ、１７７ｂが含まれていなければ、ドロア１１１は途中までしか引き出されていない半開状態にあることを認識することができる。

［貨幣量検知］
次に、図９〜図１１を参照しながら、監視装置２が、ドロアの収納部内で貨幣量を検知する方法について説明する。監視装置２の貨幣量検知部５４は、第１カメラ１０を利用して、収納部内の貨幣量を検知する。第１カメラ１０を利用すれば、監視エリア内の深度分布を取得して、監視エリア内の物体の位置、形状、体積等を検知することができる。貨幣量検知部５４は、開いたドロア全面で、貨幣処理開始時、すなわち貨幣が出し入れされる前の各収納部の貨幣量と、貨幣処理終了後、すなわち貨幣が出し入れされた後の各収納部の貨幣量とを検知する。また、貨幣処理前後で変化した貨幣量、すなわち貨幣処理で出し入れされた貨幣量を検知することもできる。

図９は、収納部内の貨幣量を検知する方法を説明するための断面模式図である。図９（ａ）は、第１ドロア１１１内部の収納部１１１ａに収納された複数の結束紙幣３０１ａを示している。また、図９（ｂ）は、この収納部１１１ａから一部の結束紙幣を取り出す貨幣処理が行われた後、収納部１１１ａ内に残っている結束紙幣３０１ｂを示している。

貨幣管理装置３では、各収納部に収納する貨幣の種類が予め設定されている。貨幣量検知部５４は、各収納部に収納されている貨幣の種類に係る情報を取得して、図９（ａ）に示す結束紙幣３０１ａ、１束分の厚みｔを認識する。なお、厚みｔの認識方法については、厚みｔの値を貨幣管理装置３から直接取得する態様であってもよいし、監視装置２内に各金種と結束紙幣の厚みの関係を示すテーブルを予め準備しておいて、貨幣管理装置３から結束紙幣の金種情報を取得してテーブルを参照し、厚みを特定する態様であってもよい。また、貨幣管理装置３から、収納部１１１ａ内に収納されている結束紙幣３０１ａの束数Ｎを示す情報を取得して、深度の実測値から厚みｔ（＝（Ｈ３−Ｈ４）／Ｎ）を算出する態様であってもよい。

貨幣量検知部５４は、第１カメラ１０で取得した収納部１１１ａの底面までの深度Ｈ３と、図９（ａ）に示す複数の結束紙幣３０１ａのうち一番上にある結束紙幣の上面までの深度Ｈ４とを取得して、結束紙幣３０１ａの束数ｐ（＝（Ｈ３−Ｈ４）／ｔ）を算出する。また、結束紙幣３０１ａの一部が取り出された後、収納部１１１ａの底面までの深度Ｈ３と、図９（ｂ）に示す複数の結束紙幣３０１ｂのうち一番上にある結束紙幣の上面までの深度Ｈ５とに基づいて、結束紙幣３０１ｂの束数ｑ（＝（Ｈ３−Ｈ５）／ｔ）を算出する。これにより、貨幣処理時に取り出された結束紙幣の束数ｒ（＝ｐ−ｑ）を算出することができる。

なお、貨幣量検知部５４が貨幣処理前後の貨幣量の変化を直接算出する態様であってもよい。図１０は、貨幣の高さ又は体積に基づいて貨幣量を算出する方法を示す図である。図１０（ａ）に示す結束紙幣３０１ａのうち、図１０（ｂ）に示すように一部の結束紙幣３０２が貨幣処理時に取り出されて結束紙幣３０１ｂが残った場合には、深度Ｈ４とＨ５の差に基づいて、貨幣処理時に取り出された結束紙幣３０２の束数ｒ（＝（Ｈ５−Ｈ４）／ｔ）を直接算出することができる。

また、例えば、貨幣処理開始時の深度Ｈ４と貨幣処理後の深度Ｈ５とを得た後、貨幣処理開始時に深度がＨ４であった領域の面積又は貨幣処理後に深度がＨ５であった領域の面積として面積Ｓ１（＝ａ×ｂ）を算出することができるので、貨幣処理で取り出された結束紙幣３０２の体積Ｖ１（＝Ｓ１×（Ｈ５−Ｈ４））を算出し、結束紙幣１束分の体積Ｖａ（＝Ｓ×ｔ）に基づいて、結束紙幣３０２の束数ｒ（＝Ｖ１／Ｖａ）を算出することができる。

また、例えば、図１０（ｂ）に示すように貨幣処理時に取り出された結束紙幣３０２、すなわち貨幣処理前後の変化領域３０２の体積を、変化領域３０２を第１カメラ１０で撮像した画像の画素毎の深度変化量に基づいて算出することもできる。

具体的には、貨幣量検知部５４は、貨幣処理開始時に深度がＨ４であった領域を第１カメラ１０で撮像した画像、又は貨幣処理後に深度がＨ５であった領域を第１カメラ１０で撮像した画像を利用して、図１０（ｃ）に示すように、変化領域３０２を上方から撮像した画像の長辺の画素数がｍ画素、短辺の画素数がｎ画素であることを認識する。続いて、貨幣量検知部５４は、変化領域３０２の貨幣処理前後の深度分布の変化に基づいて、変化領域３０２の高さを１画素毎に算出する。例えば、図１０（ｃ）に示す画素３０２ａで、貨幣処理開始時の深度がＨ４ａ、貨幣処理後の深度がＨ５ａであれば、この画素位置における変化領域３０２の高さｈ（１，１）が、これらの深度の差分（＝Ｈ５ａ−Ｈ４ａ）として算出される。また、画素３０２ｂで、貨幣処理開始時の深度がＨ４ｂ、貨幣処理後の深度がＨ５ｂであれば、この画素位置における変化領域３０２の高さｈ（１，２）が、これらの深度の差分（＝Ｈ５ｂ−Ｈ４ｂ）として算出される。こうして各画素位置の高さｈ（ｉ，ｊ）を算出すると、図１０（ｃ）に示すように、変化領域３０２を形成する各画素位置の高さｈ（ｉ，ｊ）の総和に補正係数ｋを掛けることにより、変化領域３０２の体積Ｖ２を算出することができる。そして、貨幣量検知部５４は、この変化領域３０２の体積Ｖ２を、結束紙幣１束分の体積Ｖａで割って、結束紙幣３０２の束数ｒ（＝Ｖ２／Ｖａ）を算出することができる。このように、第１カメラ１０で取得した深度に基づいて、画素単位で変化領域３０２内の高さを求めて、変化領域３０２の体積を算出することにより、例えばドロア内に複数の包装硬貨が収納されている場合でも、隣り合う包装硬貨の隙間があればこれを除外して、包装硬貨の高さを画素単位で求められるので、包装硬貨の出し入れによる体積の変化を正確に算出することができる。

ここで、補正係数ｋについては、体積を算出する領域の深度と関連付けて予め記憶部６０内に準備されている。例えば、図１に示す第１ドロア１１１に収納されている結束紙幣を撮像した場合、紙幣面の画像の長辺がｍ１画素、短辺がｎ１画素であったとする。第１カメラ１０から第１ドロア１１１までの鉛直距離（深度）に比べて、第１カメラ１０から第２ドロア１１２までの鉛直距離（深度）が長くなるため、同じ結束紙幣を第２ドロア１１２に収納して撮像すると、紙幣面が小さく撮像されて、長辺がｍ２（ｍ２＜ｍ１）画素、短辺がｎ２（ｎ２＜ｎ１）画素となる。補正係数ｋは、このような画素数と面積の関係の変化を補正するために、予め準備されている。例えば、各ドロア毎、又は各ドロアの収納部毎に、予め補正係数ｋが準備されており、貨幣が出し入れされたドロア及び収納部を作業部位検知部５３が検知すると、検知結果に対応する補正係数ｋを利用して貨幣量検知部５４が体積を算出する。また、例えば、深度の値に応じて予め補正係数ｋが準備されており、貨幣量検知部５４は、変化領域３０２の深度Ｈ４、Ｈ５に対応する補正係数ｋを利用して体積を算出する。

なお、結束紙幣１束分の厚みｔと同様に、結束紙幣１束分の体積Ｖａについても、深度の実測値を利用して算出する態様に限定されず、貨幣管理装置３から体積Ｖａの値を直接取得する態様であってもよい。また、各金種と結束紙幣１束分の体積の関係を示すテーブルを予め監視装置２内に準備しておいて、貨幣管理装置３から結束紙幣の金種情報を取得してこのテーブルを参照し、体積Ｖａを特定する態様であってもよい。

図９及び図１０に示すように結束紙幣３０１ａ、３０１ｂが紙幣面を収納部底面に沿わせて集積された場合だけではなく、紙幣面を収納部側壁に沿わせて立位状態で収納された場合も同様に貨幣量を検知することができる。

図１１は、立位状態で収納された貨幣の貨幣量を算出する方法を示す図である。図１１（ａ）は、貨幣処理前の結束紙幣３０３ａの収納状態を示し、図１１（ｂ）は、貨幣処理で一部の結束紙幣３０４が取り出された後に残った結束紙幣３０３ｂの収納状態を示している。図１１（ａ）に示すように、収納部の側壁に沿って紙幣面に垂直な方向にＨ６の深度が得られた距離ａと、図１１（ｂ）に示すようにＨ６の深度が得られた距離ｃ１とに基づいて、貨幣処理時に取り出された結束紙幣３０４の束数ｕ（＝（ａ−ｃ１）／ｔ）を算出することができる。ただし、図１１（ａ）で深度Ｈ６が得られかつ図１１（ｂ）で深度Ｈ３が得られた距離ｃ２に基づいて、結束紙幣３０４の束数ｕ（＝ｃ２／ｔ）を算出する態様であってもよい。

また、図１１（ａ）に示す貨幣処理開始前にはＨ６であった深度が、図１１（ｂ）に示す貨幣処理後にはＨ３に変化した領域の面積Ｓ２（＝ｂ×ｃ２）に基づいて、貨幣処理で取り出された結束紙幣３０４の体積Ｖ３（＝Ｓ２×（Ｈ３−Ｈ６））を算出した後、結束紙幣１束分の体積Ｖａに基づいて結束紙幣３０４の束数ｕ（＝Ｖ３／Ｖａ）を算出することができる。なお、この場合も、図１０（ｃ）を参照しながら説明したように、貨幣処理前後の深度分布の変化から、変化領域３０４を形成する各画素位置における高さを求めて体積Ｖ３を算出することもできる。

なお、図９に示す収納部１１１ａの底面の深度Ｈ３等、収納部底面の深度については、貨幣量を検知する際に実測する態様に限定されず、各収納部毎に予め準備されている深度の値を利用する態様であってもよい。具体的には、作業部位検知部５３が、第１ドロア１１１の収納部１１１ａで貨幣量が変化したことを検知すると、この検知結果を受けた貨幣量検知部５４は、この収納部１１１ａについて予め準備されている深度Ｈ３の値を利用する。これにより、収納部の側壁と貨幣との間に隙間がなく収納部底面の深度を取得できない場合でも、上述したように貨幣量を算出することができる。

貨幣処理で貨幣が追加収納された場合も、同様に、深度に基づいて、貨幣処理前後の貨幣量や、貨幣量の変化を検知することができる。監視装置２で出し入れされた貨幣の貨幣量を検知する方法については、上述した複数の算出方法の中から、どの算出方法を利用するかを設定できるようになっている。いずれか１つの算出方法で貨幣量を算出する設定とすることもできるし、複数の算出方法で貨幣量を算出して各算出方法による算出結果が一致することを確認して貨幣量を決定する設定とすることもできる。また、例えば、結束紙幣と包装硬貨で算出方法を変更するというように、貨幣の種類に応じて異なる算出方法を設定することも可能となっている。

このように、監視装置２では、第１カメラ１０で上方からドロア内全域の深度分布を取得することにより、収納部内の貨幣の集積高さや体積を検知することができる。そして、貨幣処理前の貨幣量、貨幣処理後の貨幣量、貨幣処理時に出し入れされた貨幣量を検知することができる。

［貨幣処理の監視］
次に、図１２及び図１３を参照しながら、貨幣管理装置３で行われる貨幣処理を監視する方法について説明する。貨幣管理装置３で貨幣処理を開始した利用者が、カードリーダ１２０へＩＤカードを通したり、操作部１３１で利用者ＩＤやパスワードを入力したりするなどしてログイン操作を行うと、利用者認証部１５１は、記憶部１６０の利用者認証データ１６１を利用して利用者認証を行う。貨幣管理装置３の利用権限を有する者として認証された利用者は、続いて操作部１３１を操作して、貨幣管理装置３から結束紙幣を取り出す出金処理、貨幣管理装置３に結束紙幣を収納する入金処理等、実行する貨幣処理の種類を選択する。入金処理を選択した場合、利用者は、操作部１３１を操作して、貨幣管理装置３のドロアに収納する結束紙幣の金種及び数量（束数又は金額）を入力する。また、出金処理を選択した場合、利用者は、操作部１３１を操作して、貨幣管理装置３のドロアから取り出す結束紙幣の金種及び数量（束数又は金額）を入力する。この操作を受けて、ドロアロック制御部１５２が、各ドロア内の貨幣の種類や在高が管理されている記憶部１６０の貨幣管理データ１６２を参照して、最初に結束紙幣が出し入れされるドロアのロックを解錠する。貨幣管理装置３の表示部１３２には、ロックを解錠したドロアの位置を示す情報と、このドロア内の所定収納部で貨幣の入出を実行するよう指示する情報とが表示される。利用者は、表示情報に従って入金処理又は出金処理を開始する。

制御部１５０は、通信部１４０を介して、貨幣処理を行う利用者を特定する利用者情報と、貨幣処理の種類、貨幣処理で出し入れされる結束紙幣の金種及び数量等を含む貨幣処理情報とを監視装置２へ送信する。これを受けて、監視装置２では、貨幣管理装置３で出し入れされる貨幣の監視と、貨幣管理装置３で貨幣処理を行う利用者の監視とを開始する。以下、貨幣量の監視方法について説明した後、利用者の監視方法について説明する。

図１２は、貨幣の監視方法を示すフローチャートである。監視装置２は、貨幣管理装置３で出し入れされる結束紙幣の金種や束数等を含む貨幣処理情報を取得すると（ステップＳ１）、第１カメラ１０を利用して貨幣管理装置３のドロアの監視を開始する。具体的には、作業部位検知部５３が、第１カメラ１０の画像センサ１１で取得した画像における変化や、深度センサ１２で取得した深度の変化等を監視する。作業部位検知部５３は、貨幣管理装置３のドロアが開いたことを検知するまで監視を続ける（ステップＳ２；Ｎｏ）。

ドロア開閉前後の画像の変化や深度の変化から、ドロアが開いたことを検知した作業部位検知部５３は（ステップＳ２；Ｙｅｓ）、図５〜図８を参照しながら説明した方法で、第１ドロア１１１〜第４ドロア１１４のうち、どのドロアが開いたかを特定する（ステップＳ３）。また、作業部位検知部５３は、特定したドロアで、貨幣処理の前後で深度が変化した位置に基づいて、貨幣が出し入れされた収納部の位置を特定する。

なお、貨幣管理装置３では、貨幣処理時に貨幣が出し入れされるドロアのロックのみが自動的に解錠され、他のドロアを開くことはできない。このため、ドロアの誤り検知は行われないが、監視対象とする貨幣処理装置で、誤って異なるドロアを開く可能性がある場合、監視装置２は、開いたドロアが、貨幣処理時に貨幣を出し入れするドロアであるか否かを判定して、誤ったドロアを開いた場合は、利用者にこれを報知するようになっている。

作業部位検知部５３によってドロア及び収納部が特定されると、収納部に収納されている結束紙幣の金種に基づいて結束紙幣１束分の厚みや体積を特定して、貨幣量を検知可能な状態となる。貨幣量検知部５４は、図９〜図１１を参照しながら説明した方法で、収納部に収納された結束紙幣の束数又は収納部から取り出された結束紙幣の束数を特定する（ステップＳ４）。すなわち、貨幣量検知部５４は、貨幣管理装置３で出し入れされた結束紙幣の金種及び数量を特定する。

貨幣量検知部５４が、収納部に収納された結束紙幣の束数又は収納部から取り出された結束紙幣の束数を特定すると、続いて、照合判定部５５が、特定された貨幣に異常がないか判定する（ステップＳ５）。

具体的には、入金処理時には、貨幣管理装置３で利用者が入力した入金貨幣の金種及び数量と、実際に貨幣管理装置３のドロアに収納された結束紙幣の金種及び束数とを照合して異常がないか判定する。また、出金処理時には、貨幣管理装置３で利用者が入力した出金貨幣の金種及び数量と、実際に貨幣管理装置３のドロアから取り出された結束紙幣の金種及び束数とを照合して異常がないか判定する。

利用者が貨幣管理装置３で入力した貨幣処理情報と、監視装置２が特定した貨幣情報との間に矛盾がある場合、照合判定部５５は、利用者が貨幣処理作業中に貨幣管理装置３で出し入れした貨幣に異常があると判定して（ステップＳ５；Ｎｏ）、判定結果を報知部５６に通知する。通知を受けた報知部５６は、操作表示部３０に情報を表示して、利用者に異常を報知する（ステップＳ７）。

具体的には、利用者が実際に貨幣管理装置３に収納した結束紙幣の金種が、貨幣管理装置３に収納するはずの結束紙幣の金種と異なる場合、又は貨幣管理装置３から実際に取り出した結束紙幣の金種が、貨幣管理装置３から取り出すはずの結束紙幣の金種と異なる場合、報知部５６は、音や光を発して利用者に異常を報知すると共に、貨幣量検知部５４による検知結果と、結束紙幣の金種を確認するよう指示する情報とを操作表示部３０に表示する。また、利用者が実際に貨幣管理装置３に収納した結束紙幣の束数が、貨幣管理装置３に収納するはずの結束紙幣の束数を超えた場合、又は実際に貨幣管理装置３から取り出した結束紙幣の束数が、貨幣管理装置３から取り出すはずの結束紙幣の束数を超えた場合も、同様に、報知部５６は、音や光を発して利用者に異常を報知すると共に、貨幣量検知部５４による検知結果と、結束紙幣の束数を確認するよう指示する情報とを操作表示部３０に表示する。

報知を受けた利用者は、貨幣管理装置３で入力した貨幣処理情報や、貨幣管理装置３で出し入れした結束紙幣の金種や束数を確認して対応することができる。具体的には、取り出すべきではないのに取り出してしまった結束紙幣を元のドロアに戻し、収納すべきではないのに収納してしまった結束紙幣をドロアから取り出せば、引き続き貨幣処理を行うことができる。

利用者が貨幣管理装置３で入力した貨幣処理情報と、監視装置２が特定した貨幣情報との間に矛盾がなく、出し入れされた貨幣に異常はないと判定した場合（ステップＳ５；Ｙｅｓ）、監視装置２の制御部５０は、全てのドロアが閉じられてから所定時間が経過したか否かを判定する（ステップＳ６）。開いているドロアがある場合や、全てのドロアが閉じられてから所定時間内に別のドロアが開いた場合は（ステップＳ６；Ｎｏ）、ドロア及び収納部の位置を特定して、収納部へ収納される結束紙幣の金種及び束数、又は収納部から取り出される結束紙幣の金種及び束数を特定し、作業内容に異常がないかを判定する処理が継続して行われる。

全てのドロアが閉じられてから所定時間が経過すると、貨幣処理が完了したものとして（ステップＳ６；Ｙｅｓ）、照合判定部５５は、貨幣処理中に出し入れされた全ての貨幣に異常がないか判定する（ステップＳ８）。具体的には、利用者が貨幣処理中に出し入れするとして貨幣管理装置３に入力した貨幣の金種及び数量と、実際に貨幣管理装置３のドロアで出し入れした結束紙幣の金種及び束数とが一致するか否かを判定する。両者が一致しなければ（ステップＳ８；Ｎｏ）、報知部５６が、音や光を発して利用者に異常を報知する（ステップＳ９）。また、報知部５６は、貨幣処理で出し入れされるはずの貨幣と実際に出し入れされた貨幣の差違を示す情報と、出し入れした結束紙幣を確認するよう指示する情報とを操作表示部３０に表示する。

この場合、利用者が、貨幣管理装置３で入力した貨幣処理情報や、貨幣管理装置３で出し入れした全ての結束紙幣の金種や束数を確認して、取り出すべきではないのに取り出してしまった結束紙幣を元のドロアに戻し、収納すべきではないのに収納してしまった結束紙幣をドロアから取り出す作業を行えば、貨幣処理を正常終了することができる（ステップＳ８；Ｙｅｓ）。

利用者が貨幣管理装置３で入力した貨幣処理情報と、監視装置２が特定した貨幣情報との間に矛盾がなく、貨幣処理中に出し入れされた貨幣に異常はないと判定した場合（ステップＳ８；Ｙｅｓ）、データ管理部５８が、貨幣処理を監視している間に画像取得部５１が取得した画像等のデータを記憶部６０に記録して（ステップＳ１０）、管理を開始し、貨幣処理の監視を終了する。このとき、記憶部６０には、イベント検知部５７によるイベントの検知結果も記録されるが詳細は後述する。

このように、監視装置２は、貨幣管理装置３で出し入れされる貨幣の画像及び深度情報を第１カメラ１０で取得して、貨幣の種類や数量を特定することができる。また、監視装置２は、貨幣処理中に出し入れされた貨幣の種類や数量に異常があれば、これを検知して報知することができる。

図１３は、貨幣管理装置３の利用者の監視方法を示すフローチャートである。監視装置２は、貨幣管理装置３で認証された利用者を特定する利用者情報を取得すると（ステップＳ１１）、第１カメラ１０及び第２カメラ２０を利用して貨幣管理装置３の利用者の監視を開始する。

まず、利用者検知部５２は、第２カメラ２０で利用者を撮像して顔認証及び画像記録の処理を行う（ステップＳ１２）。具体的には、利用者を前方から撮像した画像と、この画像から利用者の顔部分を抽出した顔画像とを画像データ６２として記憶部６０に記録すると共に、記憶部６０に予め準備されている顔認証データ６１を参照して、利用者を特定する顔認証処理を実行し、利用者ＩＤ等、利用者を特定する情報を監視データ６３として記憶部６０に記録する。

第２カメラ２０で別人の写真を撮像させてログインする、なりすまし等の不正を防止するため、監視装置２では、顔認証処理を複数回実行するようになっている。具体的には、利用者検知部５２は、第２カメラ２０で取得した画像で１回目の顔認証処理を実行した後、第１カメラ１０を利用して利用者の動きを監視する。そして、利用者の頭部が、撮像範囲内で所定距離以上移動したことを検知すると、第２カメラ２０で再び利用者の画像を撮像して２回目の顔認証処理を実行する。

利用者検知部５２は、利用者の頭部が移動したにも拘わらず、１回目の顔認証処理で取得した画像と２回目の顔認証処理で取得した画像との間で、頭部の移動に対応する変化を検出できない場合は、第２カメラ２０の前に写真が貼り付けられている等の可能性があるため、異常があると判定する。また、１回目に得た画像と２回目に得た画像との間で、顔認証処理によって特定した利用者が異なる場合には、１回目の顔認証処理は第２カメラ２０で別人の写真を撮像させるなどして不正に行われた可能性があるため、異常があると判定する。

なお、異常があると判定した場合、報知部５６により異常が報知され、貨幣管理装置３では利用者認証の再実行が要求される。具体的には、報知部５６によって異常が報知され、異常を示す判定結果が貨幣管理装置３にも通知される。通知を受けた貨幣管理装置３では、利用者認証処理を再度実行するよう求められるので、利用者は、カードリーダ１２０にＩＤカードを通したり、操作部１３１で利用者ＩＤやパスワードを入力したりするなどして再度利用者認証を行う必要がある。一方、異常がないと判定された場合には、利用者は、貨幣管理装置３で利用者認証を再実行することなく貨幣処理を続けることができる。

このように、貨幣処理を開始した後、第１カメラ１０で利用者の動きを監視しながら、第２カメラ２０で利用者を撮像して顔認証する顔認証処理を複数回実行することにより、なりすまし等の不正を検知することができる。

利用者が、貨幣管理装置３で貨幣処理を開始すると、利用者検知部５２は、第１カメラ１０及び第２カメラ２０の２つのカメラを利用して利用者を監視する（ステップＳ１３）。図４に示すように、第２カメラ２０は、貨幣管理装置３の前に立つ利用者の顔を撮像できるように配置されているが、貨幣管理装置３の前方でしゃがみこんだ利用者を撮像することはできない。一方、第１カメラ１０は、利用者の顔を正面から撮像することは困難であるが、利用者が通常通りに貨幣処理を行う限り、貨幣処理を行う間、継続して利用者を撮像できる位置に配置されている。これにより、ドロアで貨幣を出し入れするために利用者がしゃがむなどして第２カメラ２０で撮像できない状態になった場合も、第１カメラ１０で、利用者が貨幣処理を継続していることを検知することができる。

貨幣管理装置３で貨幣処理を開始した利用者が、処理の途中で居なくなり（ステップＳ１３；Ｙｅｓ）、第１カメラ１０及び第２カメラ２０で検知できない状態になると、これを認識した利用者検知部５２は、無人になった監視エリア内への人の進入を監視する（ステップＳ１４；Ｎｏ）。そして、監視エリア内への人の進入を検知すると（ステップＳ１４；Ｙｅｓ）、利用者検知部５２は、この人物を第２カメラ２０で撮像して顔認証処理及び画像の記録を行う（ステップＳ１５）。具体的には、検知した人物を貨幣管理装置３の利用者であると認識して、第２カメラ２０で利用者を撮像した画像と、この画像から顔部分を抽出した顔画像とを画像データ６２として記憶部６０に記録する。また、記憶部６０に予め準備されている顔認証データ６１を参照して、利用者を特定するための顔認証処理を実行し、利用者ＩＤ等、利用者を特定する情報を監視データ６３として記憶部６０に記録する。

利用者が貨幣処理を行っている間（ステップＳ１３；Ｎｏ）、監視装置２の制御部５０は、全てのドロアが閉じられてから所定時間が経過したか否かを判定している（ステップＳ１６）。開いているドロアがある場合や、全てのドロアが閉じられてから所定時間内に別のドロアが開いた場合は（ステップＳ１６；Ｎｏ）、利用者の監視を継続する。

全てのドロアが閉じられてから所定時間が経過すると、貨幣処理が完了したものとして（ステップＳ１６；Ｙｅｓ）、利用者検知部５２は、貨幣処理中に利用者の不在を検知したか否かを判定する（ステップＳ１７）。貨幣処理中に利用者の不在を検知していなければ（ステップＳ１７；Ｎｏ）、利用者の監視を終了する。

一方、貨幣処理中に一度でも利用者の不在を検知していれば（ステップＳ１７；Ｙｅｓ）、利用者検知部５２は、貨幣処理を完了した利用者を第２カメラ２０で撮像して顔認証及び画像記録の処理を行う（ステップＳ１８）。具体的には、利用者を撮像した画像と、この画像から顔部分を抽出した顔画像とを画像データ６２として記憶部６０に記録する。また、記憶部６０に予め準備されている顔認証データ６１を参照して、利用者を特定するための顔認証処理を実行し、利用者ＩＤ等、利用者を特定する情報を監視データ６３として記憶部６０に記録して利用者の監視を終了する。

なお、ステップＳ１５及びステップＳ１８の顔認証処理では情報の記録のみを行う設定例を示したが、これらの顔認証処理時にも、ステップＳ１２で２回目の顔認証処理を行った場合と同様に、利用者が入れ替わったことが検知された場合には、報知部５６によって異常を報知すると共に、貨幣管理装置３で利用者認証処理の再実行を要求する設定とすることもできる。

また、なりすまし等の不正を防ぐために、利用者の頭部の動きを検知して顔認証処理を複数回実行する処理が、ステップＳ１２のみで行われる態様に限定されるものではなく、ステップＳ１５及びステップＳ１８で行われる態様であってもよい。

このように、監視装置２は、貨幣管理装置３で貨幣処理を行う利用者を監視して顔認証処理を実行し、利用者を撮像した画像や、利用者を特定する情報を記録する。また、監視装置２は、利用者が、貨幣処理を中断して途中で居なくなった場合には、戻ってきた利用者を検知した際、又は別の利用者を検知した際に、顔認証処理を実行して、この利用者を撮像した画像や利用者を特定する利用者ＩＤ等の情報を記録する。

また、監視装置２では、新たに検知した利用者が、中断されていた貨幣処理の継続操作や終了操作を実行可能な権限を有する場合、顔認証処理によりこれを確認することができるので、利用者は、貨幣管理装置３のカードリーダ１２０や操作部１３１で認証情報を入力する操作を行わずに、中断していた貨幣処理の継続操作又は終了操作を行うことができる。

［画像データ及び監視データ］
次に、図１４〜図２０を参照しながら、監視装置２が記憶部６０に記録する画像データ６２及び監視データ６３について説明する。記憶部６０の画像データ６２には、監視装置２が取得した複数種類の画像が含まれる。また、記憶部６０の監視データ６３には、監視装置２が取得した利用者を特定する情報、貨幣処理時に開閉されたドロアや収納部を特定する情報、貨幣処理時に出し入れされた貨幣に係る情報等が含まれる。

図１４は、画像データ６２及び監視データ６３の記録について説明する図である。図１４（ｂ）〜（ｅ）に示すように、画像データ６２には、第１カメラ１０で取得した可視光画像、赤外光画像及び深度画像と、第２カメラ２０で取得した可視光画像とが含まれる。保存される画像データは、例えば、静止画像を切出可能な動画像で、貨幣管理装置３の監視映像として、貨幣処理が行われていない間も連続して常時記録されている。なお、図１４には示していないが、画像データ６２には、顔認証処理に利用した顔画像等の静止画像等も含まれている。

監視装置２では、２４時間常時保存される動画像の中から、所定タイミングの画像を選択して確認できるように、イベント検知部５７が、予め設定されたイベントを検知して、イベントの種類及びイベント検知日時等の情報を、監視データ６３として記憶部６０に記録している。具体的には、図１４（ｂ）〜（ｅ）に示すように各画像を画像データ６２として常時記録しながら、図１４（ｆ）に示すようにイベントを検知した日時ｔ１〜ｔ９と、検知したイベントの種類とが監視データ６３として記録される。

例えば、図１４（ｆ）に示すように、貨幣処理に関するイベントとして、貨幣管理装置３で行われたログイン操作（ｔ２のログイン）、全閉状態のドロアを引き出す開放操作（ｔ３のドロアオープン）、引き出したドロアの全開状態（ｔ４のドロア全開）、開いていたドロアを閉じて全閉状態にする閉塞操作（ｔ５のドロアクローズ）、貨幣処理を終了するログアウト操作（ｔ７のログアウト）等を検知する。また、イベント検知部５７は、この他、監視エリア内への人の進入（ｔ１の人物進入）、監視エリア内からエリア外への人の退出（ｔ９の人物退出）、監視エリア内での貨幣の放置（ｔ６の貨幣放置）、監視エリア内からの貨幣の消失（ｔ８の貨幣消失）等をイベントとして検知する。なお、貨幣の放置とは、例えば、貨幣管理装置３の筐体上に置かれた貨幣を検知した際に記録されるイベントで、貨幣の消失とは、例えば、筐体上に置かれた貨幣が持ち去られたことを検知した際に記録するイベントである。

イベントとして検知する処理や操作の内容と、検知方法は、予め設定されている。例えば、図１４（ｆ）に示すログイン及びログアウトのイベントは、貨幣管理装置３でログイン操作やログアウト操作が行われた際に、操作が行われた日時情報を貨幣管理装置３から取得して検知する。また、人物進入及び人物退出のイベントは、第１カメラ１０及び第２カメラ２０で取得した画像の変化や、第１カメラで取得した深度の変化に基づいて検知する。また、ドロアオープン、ドロア全開及びドロアクローズのイベントは、第１カメラ１０で取得した画像の変化や深度の変化に基づいて検知する。

データ管理部５８は、画像データ６２として記録した画像と、監視データ６３として記録したイベント検知結果とを関連付けて管理しており、監視データ６３に含まれるイベントを操作表示部３０に一覧表示して、この中から選択したイベントの画像を再生できるようになっているが詳細は後述する。

監視装置２では、常時記録する画像のデータ容量を削減するため、画像の重要度等に基づいて、記録する画像の種類や画像品質等を設定できるようになっている。図１５は、記録する画像の設定例を説明する図である。例えば、図１５（ｂ）に示すように、昼間や照明が点灯された夜間等、明るい状態の明環境と、照明が消された夜間等、暗い状態の暗環境との間で環境光が変化する場合に、図１５（ｃ）に示すように、記録する画像の種類を変更するよう設定することができる。具体的には、明環境では、可視光画像、赤外光画像及び深度画像を記録して、暗環境では赤外光画像及び深度画像のみを記録するように設定する。また、例えば、深度画像は記録せずに、明環境では可視光画像及び赤外光画像を記録して、暗環境では赤外光画像のみを記録するように設定することもできる。

また、図１５（ｄ）に示すように、イベント検知部５７が、所定の第１イベントを検知してから所定の第２イベントを検知するまでの間を、イベント検知期間として（図中「イベント」）、図１５（ｅ）に示すように、イベント検知期間は、他の期間に比べて高品質な画像を記録するように設定することができる。例えば、図１４に示すように、監視エリア内への人の進入を検知すると（ｔ１）、記録する画像を低品質画像から高品質画像に変更する。そして、監視エリア内からの人の退出を検知すると（ｔ９）、記録する画像を高品質画像から低品質画像に変更する。すなわち、監視エリア内への人の進入を検知してから、貨幣処理を完了して、監視エリア内からの人の退出を検知するまでの間、イベント検知期間（ｔ１〜ｔ９）として高品質画像を記録する。

高品質画像と低品質画像では、例えば、画像の解像度及びフレームレートが異なっている。例えば、高品質画像は９６０×５４０画素の画像を１５ｆｐｓで連続記録した画像で、低解像度画像は３８６×２１６画素の画像を５ｆｐｓで連続記録した画像である。なお、可視光画像と赤外光画像で、解像度及びフレームレートが異なる態様であってもよい。例えば、解像度について、可視光画像の高品質画像は９６０×５４０画素、低解像度画像は３８６×２１６画素として、赤外光画像の高品質画像は５１２×４２４画素、低解像度画像は２５６×２１２画素としてもよい。また、画像品質の差が、解像度及びフレームレートの違いに限定されるものではなく、高品質画像と低品質画像との間で、画像の階調、色数、フォーマット等を変更する態様であってもよい。

監視装置２の記憶部６０では、画像が画像データ６２として保存され、イベント検知結果等の情報が監視データ６３として保存される。図１６は、監視データ６３の例を示す図である。図１６に示すように、監視データ６３には、例えば、処理内容、処理日、時刻、イベント、利用者ＩＤ、検出人数、顔認証結果、顔画像及び備考が含まれている。「処理内容」は貨幣管理装置３で行われた貨幣処理の種類を示し、「処理日」は貨幣処理を実行した日付を示している。「時刻」は各イベントを検知した時刻を示し、「イベント」は検知したイベントの種類を示している。「利用者ＩＤ」は貨幣処理を実行中の利用者を特定する識別情報であり、「検出人数」は第１カメラ１０及び第２カメラ２０で検出した人数を示している。「顔認証結果」は、利用者の顔認証処理を行って特定した利用者の利用者ＩＤを示している。「顔画像」は、顔認証処理に利用した画像を特定する情報を示し、「備考」は、イベントの検知結果から判定した情報等を示している。

図１６の例は、２０１６年４月１８日に処理番号Ｎｏ．００１５の出金処理を行った際に、検知したイベント等の情報を示している。このように、監視データ６３では、１つの貨幣処理中に検知されたイベント等の情報が関連付けて管理されている。

図１６に示す各イベントを、「時刻」の項目に示した（ａ）〜（ｌ）で示しながら説明する。図１６（ａ）は、第１カメラ１０と第２カメラ２０の少なくともいずれか一方により、監視エリア内で、１人の人を検知したことを示している。図１６（ｂ）は、検知した人が、貨幣管理装置３で利用者認証処理を含むログイン操作を行い、利用者ＩＤが「Ａ００１」の利用者として認証されたことを示している。

図１６（ｃ）は、貨幣管理装置３で利用者ＩＤ「Ａ００１」として認証された利用者の顔画像を第２カメラ２０で取得して監視装置２で顔認証処理を行った結果、この利用者の利用者ＩＤが「Ａ００１」であると認識されて、顔認証結果の項目に利用者ＩＤが記録され、顔認証処理に利用した顔画像がファイル名「Ｄ００１」として記憶部６０に保存されたことを示している。

図１６（ｄ）は、監視装置２の第１カメラ１０で取得した情報を利用して、利用者による貨幣管理装置３のドロアの開放操作を検知したことを示している。また、ドロアを開く間に、利用者の頭部の位置が、図１６（ｃ）で１回目の顔認証処理を実行した位置から所定距離以上移動したため、２回目の顔認証処理が実行されて、利用者ＩＤ「Ａ００１」の利用者であることが再確認されたため、顔認証結果の項目に認証結果が記録されている。このとき、顔認証処理を実行した結果、なりすまし等の不正が行われた可能性があれば、異常事態と判定され、顔認証処理に利用した画像を保存すると共に、音や光で異常を報知する処理が行われる。また、貨幣管理装置３で利用者認証の再実行を要求されることになる。

図１６（ｅ）は、利用者が開いたドロアが全開状態となったことを示している。図１６（ｆ）は、途中で貨幣処理を中断して利用者が監視エリア内から退出し、第１カメラ１０及び第２カメラ２０によって監視エリア内で人を検知できない無人状態となったことを示している。この結果、検出人数が０人となり、備考として、利用者が不在となったことが記録されている。

図１６（ｇ）は、監視装置２の第１カメラ１０と第２カメラ２０の少なくともいずれか一方で、監視エリア内への１人の人の進入を検知したことを示している。図１３に示したように、貨幣処理を途中で中断して利用者不在状態になった後、監視エリア内への人の進入が検知されると顔認証処理が実行される。

図１６（ｈ）は、監視装置２の第２カメラ２０で利用者の画像を取得して顔認証処理を行った結果、この利用者の利用者ＩＤが「Ｂ００１」であると認識されて、顔認証結果の項目に認証結果が記録され、顔認証処理に利用した顔画像がファイル名「Ｄ００２」として記憶部６０に保存されたことを示している。また、中断していた貨幣処理は、利用者ＩＤ「Ａ００１」の利用者が実行していた処理であるため、貨幣処理を実行していた利用者と、新たに検知した利用者とが異なることを示す情報が、備考に記録されている。また、中断していた貨幣処理を再開する利用者の利用者ＩＤを「Ａ００１」から「Ｂ００１」に変更することを示す情報が備考に記録され、図１６（ｉ）では、利用者ＩＤの項目で、利用者ＩＤが「Ａ００１」から「Ｂ００１」に変更されている。

図１６（ｉ）は、監視装置２の第１カメラ１０で取得した情報を利用して、利用者ＩＤ「Ｂ００１」の利用者が開いていたドロアを閉じる閉塞操作を検知したことを示している。図１６（ｊ）は、利用者ＩＤ「Ｂ００１」の利用者が、貨幣管理装置３の全てのドロアを閉じてログアウト操作を行ったことを示している。

図１３に示したように、貨幣処理の途中で利用者の不在状態を検知した場合、この貨幣処理を完了した利用者の顔認証処理が実行される。図１６（ｋ）は、利用者の画像を第２カメラ２０で取得して顔認証処理を行い、利用者ＩＤが「Ｂ００１」であると認識されて、顔認証結果の項目に認証結果が記録され、顔画像がファイル名「Ｄ００３」として記憶部６０に保存されたことを示している。

図１６（ｌ）は、第１カメラ１０及び第２カメラ２０によって監視エリア内の利用者を検知できなくなり、利用者が退出して無人となったことを示している。この結果、検出人数が０人となり、備考として、利用者が不在となったことが記録されている。

このように、貨幣処理を途中で中断して利用者が退出した後、監視エリア内で新たに検知した利用者が、中断されていた貨幣処理の継続操作や終了操作を実行可能な権限を有する場合、認証処理によりこれを確認することができるので、利用者は、貨幣管理装置３のカードリーダ１２０や操作部１３１で認証情報を入力する操作を行わずに、中断していた貨幣処理の継続操作又は終了操作を行うことができる。

同様に、貨幣処理の途中で利用者が退出した後、この利用者が戻ってきた場合にも、顔認証処理により、退出した利用者であることが確認されれば、貨幣管理装置３のカードリーダ１２０や操作部１３１で認証情報を再入力する操作を行わずに、中断していた貨幣処理を継続することができる。なお、貨幣処理中に、利用者が、通常にはない動きをして第１カメラ１０及び第２カメラ２０による撮像範囲から外れた場合にも、次に利用者を検知した後、自動的に顔認証処理が実行される。そして、同じ利用者が継続して貨幣処理を行っていることが確認できると、利用者は、認証情報を再入力する操作を行わずに、そのまま貨幣処理を続けることができる。

一方、貨幣処理中断後に新たに検知した人物が貨幣処理権限を有さない場合については、権限を有する利用者の場合と同様に、イベント検知及び情報記録の処理のみを行う設定とすることもできるし、音や光を発して異常を報知する設定とすることもできる。金融機関内で金融機関の従業者が利用する貨幣処理システム１では、イベント検知及び情報記録の処理のみを行えば問題ないことが多いが、必要に応じて異常を報知する設定とすることもできる。

監視装置２では、日時、貨幣処理の処理番号等を指定して、図１６に示すデータを操作表示部３０の画面に呼び出し、各イベントの検知時に記録した画像を再生して確認できるようになっている。具体的には、図１４に示すように、データ管理部５８が、各画像とイベントとを関連付けて管理しているので、図１６（ａ）〜（ｌ）の中からイベントを選択すると、このイベントに対応する日時（図１４ｔ１〜ｔ９）の画像を、操作表示部３０の画面上に再生することができる。また、顔画像の項目に記録されたファイル名を選択すれば、操作表示部３０の画面上に顔画像を呼び出して再生することも可能となっている。

また、監視装置２では、図１６に示すように、貨幣処理と関連付けられたイベントを一覧表示する他、全てのイベントをイベントリストとして一覧表示することも可能となっている。

図１７は、イベントリスト画面の例を示す図である。イベントリスト画面では、図１７に示すように、日時、利用者ＩＤ、イベント、作業部位、第１カメラ画像及び第２カメラ画像が一覧表示される。イベントリストに表示する項目は、設定により変更することができる。例えば、図１７に示す作業部位等の項目を非表示に設定することができる。また、例えば、図１４に示す検出人数、顔認証結果、顔画像、備考や、図１６に示す処理内容、検出人数、顔認証結果等の中から項目を選択して、イベントリストに表示する設定とすることもできる。

イベントリストで表示される「日時」はイベントを検知した日時を示し、「利用者ＩＤ」はイベント検知時に第１カメラ１０と第２カメラ２０の少なくともいずれか一方で検知した利用者を示している。ただし、図１６（ｆ）に示すように利用者不在の場合は、同図と同様に、貨幣処理を実行している利用者の利用者ＩＤが表示される。「イベント」は、検知されたイベントの種類を示している。「作業部位」は、イベント検知時に利用者が貨幣を出し入れしたドロアを示している。「第１カメラ画像」はイベント検知時に第１カメラ１０で撮像した画像を示し、「第２カメラ画像」はイベント検知時に第２カメラ２０で撮像した画像を示している。

イベントリスト画面の左側には、イベントリストで表示されたイベントの中から一部のイベントのみを抽出して表示するための複数種類のフィルタが表示され、その下部には、選択したフィルタを適用するためのフィルタ適用ボタンと、適用したフィルタを解除するためのフィルタ解除ボタンとが表示されている。図１７の例では、フィルタとして、日付、利用者ＩＤ、イベントの種類及び作業部位を選択できるようになっている。ただし、フィルタとして利用する項目は設定により変更することができる。

図１８は、フィルタリングソート画面の例を示す図である。図１７の画面左側で、日付、利用者ＩＤ、イベントの種類及び作業部位を指定して、フィルタ適用ボタンを押すと、図１８に示すように、フィルタで指定した条件を満たすイベントのみが一覧表示される。なお、この画面でフィルタ解除ボタンを押すとフィルタリングが解除され、図１７に示すイベントリスト画面に戻る。

図１７に示すイベントリスト画面、図１８に示すフィルタリングソート画面で、一覧表示されたイベントの中からイベントを選択すると、選択したイベントの検知時に第１カメラ１０で取得した画像及び第２カメラ２０で取得した画像を、操作表示部３０の画面上に拡大して再生することができる。

図１９は、画像の再生画面の例を示す図である。図１９に示すように、画面上には、第１カメラ１０で撮像された可視光画像、赤外光画像及び深度画像と、第２カメラ２０で撮像した可視光画像とが表示される。図１４に示すように、監視装置２のデータ管理部５８は、イベント検知部５７が検知したイベントと、第１カメラ１０で撮像した画像及び第２カメラで撮像した画像とを関連付けて管理している。イベントリスト画面やフィルタリングソート画面でイベントを選択すると、データ管理部５８は、図１９に示すように、選択されたイベントに対応する日時の静止画像を画面上に並べて表示する。

図１９に示すように、画面右下には、イベントを検知した日時、イベント検知時の利用者ＩＤ、イベントの種類等のイベント情報が表示される。また、再生ボタン、停止ボタン、一時停止ボタン、及び貨幣情報ボタンが表示される。例えば、図１４に示す日時ｔ４の各静止画像が画面上に表示されている状態で、再生ボタンを押すと、日時ｔ４から各動画像を再生することができる。動画像の再生時には、停止ボタンによる再生停止、一時停止ボタンによる再生の一時停止を行うことができる。また、貨幣情報ボタンを押すと、貨幣管理装置３のドロアで出し入れされた貨幣情報を確認することができる。

図２０は、貨幣情報画面の例を示す図である。貨幣情報画面には、左上にイベント情報が表示される。また、第２カメラ２０で利用者を撮像した可視光画像と、この可視光画像の顔部分を拡大した顔画像と、第１カメラ１０で貨幣管理装置３及び利用者を上方から撮像した可視光画像及び深度画像とが表示される。また、これらの画像を動画像として再生するための再生ボタン、再生を制御するための停止ボタン及び一時停止ボタンと、図１９に示す再生画面に戻るための戻るボタンとが表示される。例えば、図１４に示す貨幣処理の情報を表示している場合、再生ボタンを押すと、ドロアが開いてから閉じるまでの間（図１４のｔ３〜ｔ５）に記録された各動画像が再生される。

また、貨幣情報画面の右側には作業部位及び貨幣入出量が表示される。作業部位は、イベントを検知した貨幣処理時に、貨幣が出し入れされたドロアの位置を示す。図２０の例では、画面上に表示されている画像は、第１ドロア１１１を全開、他のドロアを全閉にした状態で行われた貨幣処理時の画像であることを示している。

また、貨幣入出量は、イベントを検知した貨幣処理時に、作業部位として検知したドロアで出し入れされた貨幣量を示している。図２０の例では、第１ドロア１１１の一番手前にある１列目の収納部１１１ａ、１１１ｂから、それぞれ金種Ａの結束紙幣が５つずつ取り出されて減少し、２列目の収納部１１１ｃ、１１１ｄには、それぞれ金種Ｂの結束紙幣が５つずつ収納されて増加したことを示している。また、他の収納部１１１ｅ〜１１１ｊでは貨幣の増減がなかったことを示している。

なお、図２０では、貨幣入出量として、金種及び貨幣量の変化を表示する例を示しているが、表示する情報は設定により変更できるようになっている。具体的には、金種、貨幣処理前の貨幣量、貨幣処理後の貨幣量、貨幣処理前後の貨幣量の変化から、表示する情報を選択することができる。また、貨幣量及び貨幣量の変化の表示方法を、貨幣枚数、束数、貨幣金額の中から選択することも可能となっている。

このように、監視装置２では、図１４に示すように画像を連続して記録しながら、検知したイベントを記録することができる。そして、操作表示部３０の画面上に、複数のイベントを一覧表示することができる。また、フィルタを適用して、所定条件を満たすイベントのみに絞り込んだフィルタリングソート画面を表示することもできる。画面上に表示した複数イベントの中からイベントを選択すれば、このイベントを検知した際に、第１カメラ１０で撮像した静止画像及び第２カメラ２０で撮像した静止画像を画面上に表示することもできるし、画面上のボタンを操作して動画像を再生することもできる。さらに、貨幣情報画面を表示して、イベントを検知した貨幣処理で貨幣が出し入れされたドロア及び収納部の位置や、このドロアの各収納部で出し入れされた貨幣の金種や数量等の情報を確認することも可能となっている。

本実施形態では、貨幣処理時に出し入れされた貨幣について、金種及び数量を検知する例を示したが、検知する情報がこれらに限定されるものではない。例えば、各収納部に収納するよう設定されている貨幣の種類の情報に基づいて、貨幣が、傷みがない又は少ない正貨であるか、傷みの激しい損貨であるかを示す正損情報を検知することもできる。また、バラ紙幣、結束紙幣、バラ硬貨、包装硬貨等、貨幣の形態を検知することもできる。これにより、例えば、正貨を取り出すべきであるのに損貨を取り出した場合や、バラ硬貨を取り出すべきであるのに包装硬貨を取り出した場合等に、これを検知して異常を報知することができる。

また、貨幣量検知部５４が、第１カメラ１０で取得した深度情報を利用して、貨幣処理で出し入れされた貨幣を検知する例を示したが、第１カメラ１０で取得した画像を利用する態様であってもよい。例えば、各金種の結束紙幣が、所定の色の結束帯で結束されている場合には、結束紙幣を撮像した可視光画像で結束帯の色を認識する。そして、貨幣量検知部５４が、深度情報に基づく検知結果と可視光画像に基づく検知結果の両方を利用して貨幣の金種を特定すれば貨幣の種類を正確に検知することができる。紙幣や硬貨の色、包装硬貨の包装の色等が金種毎に異なる場合も同様に、これらの情報を貨幣検知に利用することができる。

また、貨幣処理時に結束紙幣が出し入れされる例を示したが、包装硬貨が出し入れされる場合も、収納部内に整列状態で積み重ねられた包装硬貨の高さや体積の変化に基づいて、貨幣処理で出し入れされた貨幣量を検知することができる。同様に、バラ硬貨についても、収納部内に整列状態で積み上げられたバラ硬貨の高さや体積の変化に基づいて、貨幣処理で出し入れされた貨幣量を検知することができる。なお、例えばバラ紙幣のように数量検知が困難な貨幣については、貨幣量に係る判定は行わず、金種や正損等、紙幣の種類に係る判定のみを行うように監視内容を設定することも可能となっている。

上述してきたように、本実施形態に係る貨幣処理システム１によれば、監視装置２を利用して、貨幣管理装置３で貨幣処理を行う利用者や、貨幣管理装置３で出し入れされる貨幣を監視することができる。なりすまし等の不正、貨幣処理で出し入れされる貨幣の種類や数量の誤り等を貨幣処理中に検知した場合には、画像と検知情報を関連付けて記録すると共に、検知結果を報知することができる。また、予め設定したイベントを検知して、イベントを検知した日時やイベントの種類等の情報と、利用者が貨幣処理を行う様子を撮像した画像とを関連付けて保存することができる。これにより、確認したい画像に関連するイベントを指定すれば、大量のデータの中から所望の画像を呼び出して確認することができる。

以上のように、本発明に係る貨幣処理システムは、貨幣処理装置で行われる貨幣処理を監視して記録した大容量データの中から、所望の画像を検索して確認するために有用である。

１ 貨幣処理システム
２ 監視装置
３ 貨幣管理装置
１０ 第１カメラ
１１ 画像センサ
１２ 深度センサ
２０ 第２カメラ
２１ 画像センサ
３０ 操作表示部
４０、１４０ 通信部
５０、１５０ 制御部
５１ 画像取得部
５２ 利用者検知部
５３ 作業部位検知部
５４ 貨幣量検知部
５５ 照合判定部
５６ 報知部
５７ イベント検知部
５８ データ管理部
６０、１６０ 記憶部
１１０〜１１４ ドロア
１２０ カードリーダ
１３１ 操作部
１３２ 表示部
１５１ 利用者認証部
１５２ ドロアロック制御部
１５３ 貨幣管理部
１６０ 記憶部

Claims (6)

1. 貨幣処理装置及び監視装置を含む貨幣処理システムであって、
   前記監視装置は、
   前記貨幣処理装置及び前記貨幣処理装置の利用者を含む撮像対象の画像及び前記撮像対象を三次元的に認識可能な情報を取得する第１カメラと、
   前記第１カメラで取得した情報に基づいて、予め設定された所定イベントを検知するイベント検知部と、
   前記第１カメラで取得した画像と、前記イベント検知部がイベントを検知した日時とを関連付けて管理するデータ管理部と
   を備え、
   前記イベント検知部は、前記貨幣処理装置が設置された監視エリア内への人物の進入及び退出と、前記貨幣処理装置が有する開閉可能な貨幣収納庫の開放操作及び閉塞操作とをイベントとして検知する
   ことを特徴とする貨幣処理システム。
2. 前記イベント検知部は、前記貨幣処理装置から取得した情報に基づいて、予め設定された所定イベントを検知することを特徴とする請求項１に記載の貨幣処理システム。
3. 前記第１カメラで取得した画像には、可視光画像、赤外光画像及び深度画像が含まれることを特徴とする請求項１又は２に記載の貨幣処理システム。
4. 前記監視装置は、操作表示部をさらに備え、
   前記データ管理部は、前記イベント検知部が検知した複数のイベントを前記操作表示部に一覧表示すると共に、前記操作表示部でフィルタを選択する操作がなされた場合には、前記一覧表示を、前記フィルタによる条件を満たすイベントのみに絞り込んで一覧表示する
   ことを特徴とする請求項１〜３のいずれか１項に記載の貨幣処理システム。
5. 前記データ管理部は、前記一覧表示の画面上でイベントを選択する操作がなされた場合には、選択されたイベントを検知した日時に記録された画像を前記操作表示部で再生する
   ことを特徴とする請求項４に記載の貨幣処理システム。
6. 前記監視装置は、
   前記貨幣処理装置の利用者の顔画像を取得する第２カメラ
   をさらに備え、
   前記データ管理部は、前記第２カメラで取得した画像と、前記イベント検知部がイベントを検知した日時とを関連付けて管理する
   ことを特徴とする請求項１〜５のいずれか１項に記載の貨幣処理システム。