以下に、添付図面を参照して、本発明に係る貨幣処理システムについて詳細に説明する。本発明に係る貨幣処理システムは、紙幣、硬貨、小切手等を処理対象とするものであるが、本実施形態では、紙幣を例に説明することとする。
まず、本実施形態に係る貨幣処理システムで行われる処理の概要を説明する。図1は、貨幣処理システムで行われる処理の概要を説明する図である。貨幣処理システムは、貨幣処理部20を含む貨幣処理装置10に、画像センサ310及び深度センサ320と、画像投影部400と、貨幣処理に係る情報の入力及び出力を行うための操作表示部40と、貨幣処理を含む各処理を実現するために各部を制御する制御部30とを含んで構成される。
貨幣処理部20は、紙幣を入金するための入金口、紙幣を出金するための出金口、紙幣を収納するための収納部、紙幣の金種や真偽等を識別するための識別部、これら各部の間で紙幣を搬送するための搬送部等を含み、従来行われている入金処理や出金処理等の貨幣処理を実現する。貨幣処理部20は、搬送部に詰まった紙幣の取り出し、収納部からの紙幣の回収及び収納部への紙幣の補充を行えるように、貨幣処理装置10の前面側(図上右側)から、筐体の外側へ引き出せるようになっている。
画像センサ310は、貨幣処理装置10を操作する操作者、貨幣処理装置10で入出金される紙幣、貨幣処理装置10の筐体上に置かれた物体等を、少なくとも貨幣処理装置10の一部を含む形で撮像する機能を有する。深度センサ320は、物体の位置及びこの物体の奥行きを検出する機能を有する。深度センサ320の機能により、画像センサ310で撮像した操作者や物体等の位置関係を3次元的に認識できるようになっている。画像センサ310及び深度センサ320として、従来技術を利用することができるが、これについての詳細は後述する。
画像投影部400は、貨幣処理装置10の筐体上、貨幣処理装置10の前面外側に引き出された貨幣処理部20等に、静止画像及び動画像を投影する機能を有する。例えば、画像投影部400としてプロジェクタを利用して、静止画像や動画像を投影することにより、操作者に情報を伝える報知処理を行うことができる。
制御部30は、画像センサ310を利用して取得した画像と、該画像に含まれる人物や物体について深度センサ320を利用して取得した位置及び奥行きとに基づいて、貨幣処理装置10を操作する操作者、操作者の骨格、操作者の顔、操作者の手、操作者が手に持っている物体、装置筐体上に置かれた物体等を検出する。また、制御部30は、操作者や物体を検出すると、画像センサ310及び深度センサ320を利用して、検出した操作者の動作、手の動き、検出した物体の動き等を監視する。
画像センサ310、深度センサ320及び制御部30は、貨幣処理部20による貨幣処理が行われていない間も動作している。これにより、貨幣処理システムでは、貨幣処理開始前や貨幣処理終了後等、貨幣処理が実行されているか否かによらず、画像センサ310及び深度センサ320による検出範囲内に存在する人物及び物体の画像を取得すると共に、これらの人物及び物体の動きを監視することができる。これにより、例えば、貨幣処理を開始する前に、貨幣処理装置10に近付いてくる人物とこの人物が手にしている貨幣とを認識して、この人物が行うであろう貨幣処理を予測して、対応する貨幣処理のメニューを表示することができる。また、例えば、貨幣処理を終えて立ち去る人物に忘れ物があることを知らせる報知処理を実行することができる。
図1に破線で囲んで示したように、制御部30は、貨幣処理装置10の筐体上又はその近傍に設定された監視領域内を監視する(A1)。監視は、画像センサ310及び深度センサ320を利用して、操作者の位置及び動きと、物体の位置及び動きとを認識することによって行われる(A2)。そして、制御部30は、監視領域内での操作者及び物体に関する認識結果に基づいて、操作者への案内や警告等の報知(B1)と、操作者及び物体に関する情報記録(B2)とを行う。具体的には、例えば、入金口及び出金口を含むように筐体上に監視領域を設定して、この監視領域内で、入金口から所定距離の範囲内又は出金口から所定距離の範囲内に紙幣等の物体901が置かれると、この物体901を移動させるよう指示する警告が行われる。また、例えば、操作者が監視領域内に置いた紙幣を、第三者が誤って処理しようとしたり持ち去ろうとしたりした場合に、誤りを指摘する警告が行われる。また、例えば、貨幣処理、保守作業、エラー解除等を行う際に、操作者が行うべき操作や作業の内容を示す案内等の報知処理が行われる。
報知処理は、操作表示部40への情報表示や音声案内によって行う他、画像投影部400を利用して、静止画像や動画像を投影して行うこともできる。例えば、入金口や出金口等の貨幣処理装置10上の部位、筐体上に置かれた貨幣や物品等に、所定のマークの静止画像を投影してその位置を示したり、筐体上からなくなった貨幣の静止画像を筐体上に投影してこの貨幣が持ち去られる前の状態を再現して示したり、エラー解除等の作業時に次に操作する部位に操作内容を示す動画像を投影して示したりすることができる。
例えば、貨幣処理システムでは、貨幣処理装置10の筐体上に設定した監視領域内で、操作者が筐体上に置いた貨幣を監視している間に、操作者以外の人物を検出することなく、監視対象の貨幣が監視領域内から消えた場合には、操作者に対して、貨幣が筐体から落下した可能性があるので確認するよう促す報知処理が行われる。このとき、予め撮像しておいた、筐体上から消えた貨幣の静止画像を筐体上に投影することができるので、操作者は、落下した貨幣の内容を認識すると共に、貨幣が落下した可能性のある範囲を予測して調べることができる。このように、貨幣処理システムでは、従来の貨幣処理装置では検知できないような事象を検知して、必要に応じて報知処理を行える点に一つの特徴を有している。
なお、図1では、貨幣処理装置10の筐体内で、操作表示部40が配置された筐体前面側(図1右側)上部に、画像センサ310及び深度センサ320と、画像投影部400とを配置した例を示しているが、本実施形態がこれに限定されるものではない。貨幣処理装置10の操作者、操作者の顔や手の動き、貨幣処理装置10の入金口及び出金口、紙幣等の物体を置くことができる筐体及びその周辺領域等を撮像することができれば、画像センサ310及び深度センサ320の数及び配置位置は特に限定されない。同様に、画像投影部400についても、貨幣処理装置10の操作者に対して、静止画像及び動画像を投影して報知処理を行うことができれば、画像投影部400の数及び配置位置は特に限定されない。例えば、所望の領域を撮像できるように、画像センサ310を複数設けてもよいし、深度センサ320を複数設ける態様であっても構わない。同様に、所望の領域に画像を投影できるように、画像投影部400を複数設けてもよい。例えば、画像センサ310、深度センサ320、画像投影部400を、監視カメラのように天井に配置する態様であっても構わない。
また、画像センサ310、深度センサ320及び画像投影部400を、貨幣処理装置10から独立した形で配置する態様であってもよい。同様に、制御部30についても、貨幣処理装置10から独立した形で配置する態様であっても構わない。画像センサ310、深度センサ320、画像投影部400及び制御部30を、貨幣処理装置10から独立した形で配置する態様とすれば、従来装置に、これらの構成を追加することにより本実施形態に係る貨幣処理システムを実現することが可能となる。
次に、具体的な貨幣処理装置10を例に、貨幣処理システムについて詳細を説明する。図2は、貨幣処理装置10を含む貨幣処理システムの外観例を示す図である。図2に示す貨幣処理装置10は、金融機関の営業店で、テラーや出納員等の金融機関の従業者が利用する出納機である。出納機には、図2に示すバラ紙幣処理部100及び束紙幣処理部200の他、バラ硬貨を入出金するためのバラ硬貨処理部、包装硬貨を入出金するための包装硬貨処理部、損傷した紙幣である損券を入金するための損券処理部、損傷した硬貨である損貨を入金するための損貨処理部等を含む場合もあるが、説明を簡単にするため、本実施形態では、バラ紙幣処理部100及び束紙幣処理部200のみを示している。
バラ紙幣処理部100は、筐体前面に、入金されるバラ紙幣を受け入れるためのバラ紙幣入金口110と、リジェクトされたバラ紙幣を投出するための入金リジェクト部120とを有し、筐体上面に、出金されるバラ紙幣を排出するためのバラ紙幣出金口152を有している。束紙幣処理部200は、筐体前面上部に、束紙幣を排出するための帯封紙幣出金口218を有し、筐体前面下部に、束紙幣を機外へ投出するための帯封紙幣投出口221を有している。バラ紙幣処理部100は、筐体内部に、紙幣搬送部、紙幣識別部、一時保留部、表裏反転部、紙幣収納部等を有し、束紙幣処理部200は、筐体内部に、帯封部、帯封紙幣判別部、帯封紙幣収納部等を有している。また、バラ紙幣処理部100と束紙幣処理部200とは、内部で、所定枚数のバラ紙幣を受け渡し可能に接続されており、バラ紙幣処理部100内で所定枚数に達したバラ紙幣を、束紙幣処理部200内で結束できるようになっている。
貨幣処理装置10の筐体上面には、操作表示部40と、プリンタ50と、センサ部300と、画像投影部400とが配置されている。操作表示部40は、例えばタッチパネル式の液晶ディスプレイから成り、貨幣処理に関する情報の入力及び出力、貨幣処理に関する情報の報知等を行うために利用される。プリンタ50は、貨幣処理に関する情報等を印字出力するために利用される。
なお、操作表示部40及びプリンタ50を利用して行う指示操作や情報出力、バラ紙幣処理部100及び束紙幣処理部200の機能及び動作、これらの機能及び動作によって実現される貨幣処理等については、従来の出納機による貨幣処理として知られているため詳細な説明は省略する。
センサ部300は、CCD又はCMOS等、可視光画像を撮像するための撮像素子から成る画像センサ310と、赤外線パターン照射部320a及び赤外線カメラ320bから成る深度センサ320とを含む。センサ部300は、バラ紙幣処理部100及び束紙幣処理部200を並べて配置した配置方向に長い本体部を有しており、この本体部には、配置方向中央部近傍に画像センサ310及び赤外線カメラ320bが設けられている。また、赤外線パターン照射部320aは、本体部で、赤外線カメラ320bから配置方向一端側に離れた位置に設けられている。
操作者や物体を画像センサ310で撮像した可視光画像で、検出対象について予め設定された条件を満たす部分領域画像を探索する画像認識処理を行うことにより、画像に含まれる人や、紙幣等の物体を検出することができる。また、連続して撮像した各可視光画像を比較することにより、人や物体の動きを、画像の変化として検出することができる。画像上で検出対象を検出する処理及び検出対象の動きを検出する処理については従来技術を利用することができるので詳細な説明は省略する。
赤外線パターン照射部320aは、操作者や物体の位置及び奥行きを検出するために、赤外線による所定パターンを照射する。そして、赤外線パターン照射部320aから操作者や物体に向けて照射された赤外線パターンが、赤外線カメラ320bによって撮像される。例えば、赤外光による小径のスポット光を所定間隔でドットマトリクス状に配列した赤外線パターンを、赤外線パターン照射部320aから物体に向けて照射すると、物体の形状によってドットマトリクスの配列状態が変化する。赤外線カメラ320bによって赤外線パターンを撮像して、スポット光の配列状態の変化を検出することにより、物体の位置及び奥行きを検出することができる。また、赤外線パターンの撮像を連続して行って、スポット光の配列状態の変化を時系列で監視することにより、物体の動きを検出することができる。なお、赤外線パターンに代えて、赤外線、超音波、光等を物体に照射して反射波を計測することにより物体迄の距離や物体形状を検出する態様であってもよいし、赤外線パターン、赤外線、超音波、光等を複合的に利用する態様であってもよい。深度センサ320についても、従来技術を利用することができるので詳細な説明は省略する。例えば、画像センサ310及び深度センサ320を備えるセンサ部300として、マイクロソフト社製のKinectセンサ(Kinectは登録商標)を利用することができる。
画像投影部400は、プロジェクタから成り、貨幣処理装置10の筐体上に静止画像及び動画像を投影する機能を有する。また、画像投影部400は、貨幣処理装置10の筐体内から、搬送部、識別部、紙幣収納部等を含む貨幣処理ユニットが装置外へ引き出された場合に、このユニット上に静止画像及び動画像を投影することもできる。画像投影部400は、貨幣処理装置10及び貨幣処理ユニットで、位置や領域、置かれた物体等を指し示したり、指し示した位置、領域、物体等に関して行うべき処理や作業を案内したり、置かれていた物体が消失した場合に消失した物体を再現して見せたりすることを目的として、静止画像又は動画像を投影する。
センサ部300は、本体部の略中央部下面が、高さ方向の本体部位置を変更できるように上下方向に伸縮可能に構成された支持軸と、ボールジョイント結合されており、上下、左右、前後の3軸について本体部を回転できるようになっている。センサ部300は、操作表示部40及びプリンタ50の上方から、バラ紙幣処理部100の筐体上面、束紙幣処理部200の筐体上面、操作表示部40を操作してバラ紙幣処理部100を利用する操作者の顔及び手、操作表示部40を操作して束紙幣処理部200を利用する操作者の顔及び手、貨幣処理装置10の筐体内から引き出された貨幣処理ユニット等を、画像センサ310及び深度センサ320によって検出できるように、位置を調整して配置される。また、画像投影部400は、センサ部300の上方に設けられており、バラ紙幣処理部100の筐体上面、束紙幣処理部200の筐体上面、バラ紙幣処理部100の筐体内から筐体外前方へ引き出された貨幣処理ユニット、束紙幣処理部200の筐体内から筐体外前方へ引き出された貨幣処理ユニット等に静止画像及び動画像を投影できるように配置されている。
図3は、貨幣処理システムの構成概略を示すブロック図である。貨幣処理システムは、貨幣処理装置10と、センサ部300と、画像投影部400とによって構成されている。貨幣処理装置10は、図1及び図2を参照しながら説明した制御部30、操作表示部40、プリンタ50、バラ紙幣処理部100及び束紙幣処理部200と、記憶部60とを有している。
制御部30は、画像取得部31、監視領域設定部32、動体検出部33、人物監視部34、物体監視部35、貨幣処理内容認識部36、報知条件判定部37及び報知部38を有している。制御部30は、例えば、以下に説明する各機能及び各動作を実現するためのソフトウェアプログラム、当該ソフトウェアプログラムを実行するCPU、当該CPUによって制御される各種ハードウェア等によって構成される。
記憶部60は、例えば半導体メモリやハードディスク等の不揮発性の記憶装置から成り、貨幣処理操作データ61、監視領域データ62、画像データ63、物体管理データ64、貨幣処理管理データ65及び報知条件データ66の保存に利用される。また、記憶部60は、制御部30の動作に必要なソフトウェアプログラムや一時データの保存にも利用される。
画像取得部31は、画像センサ310によって画像を取得する機能を有する。具体的には、画像センサ310を利用して、貨幣処理装置10に近付いてくる接近者、貨幣処理装置10を操作する操作者、操作者の手、操作者が手に持つ紙幣等の物体、操作者が入出金する紙幣、貨幣処理装置10の筐体上に置かれた物体等が含まれる領域を撮像した画像を取得する。画像取得部31は、例えば、30fpsのフレームレートで解像度VGAのカラーの可視光画像を取得して、記憶部60に画像データ63として保存する。画像データ63は、古い画像の上に新しい画像を上書きしながらリングバッファ状に記録される所定時間分の画像データと、明示の指示がない限り他の画像による上書きを行わずに維持保管される画像データとを含んでいる。画像取得部31は、通常は、リングバッファ状に順次画像データを上書きして記録しながら、消去せずに保存する必要が生じた画像データは、リングバッファとは異なる記憶領域にコピーして、上書きされないように保管する。
監視領域設定部32は、画像センサ310及び深度センサ320によって操作者及び物体を検出可能な撮像範囲に監視領域を設定する機能を有する。監視領域の設定は、記憶部60に監視領域データ62として予め準備されている設定情報に基づいて自動設定する方法と、操作者による指示操作に基づいて手動設定する方法との2通りの方法で行えるようになっている。
自動設定では、監視領域設定部32が、貨幣処理装置10で行われる処理や作業の内容を認識して、この処理や作業に利用される構成部を含む領域を、自動的に監視領域に設定する。記憶部60の監視領域データ62には、処理及び作業に関連する構成部と、この構成部に対して設定する監視領域の位置及び大きさ等の情報とが、処理及び作業の内容と関連付けた状態で保存されている。監視領域設定部32は、監視領域データ62を利用して、各処理に応じた監視領域を設定する。例えば、バラ紙幣処理部100で入金処理を行う場合には、紙幣を入金するバラ紙幣入金口110を含む所定領域が監視領域として自動設定される。また、出金処理を行う場合には、紙幣が出金されるバラ紙幣出金口152を含む所定領域と、帯封紙幣出金口218を含む所定領域とが、監視領域として自動設定される。なお、監視領域として自動設定する領域の位置、大きさ、数等は、設定により変更できるようになっている。例えば、入金処理時には、入金口を含む領域に加えて、リジェクトされたリジェクト紙幣が排出されるリジェクト部を含む領域を監視領域として自動設定することもできる。
手動設定では、監視領域設定部32が、画像センサ310及び深度センサ320を利用して、操作者が行う所定の指示動作(ジェスチャー)を認識して監視領域を設定する。例えば、操作者が、紙幣、紙幣の入ったトレイ等の物体を貨幣処理装置10の筐体上に置いて、この物体を含むように円形、矩形等の図形を筐体上に描く動作をすると、監視領域設定部32は、この動作が監視領域を設定する指示動作であることを認識して、操作者が描いた図形を境界として境界内部の領域を監視領域として設定する。また、例えば、操作者が、貨幣処理装置10の筐体上に物体を置いた直後に、親指等の所定の指を立てる、開いた手をかざす等の所定の動作を画像センサ310に向けて行うと、監視領域設定部32は、この動作が監視領域を設定する指示動作であることを認識して、操作者が置いた物体を含む領域を監視領域として設定する。設定される監視領域の範囲は事前に設定できるようになっている。
動体検出部33は、画像センサ310及び深度センサ320を利用して動体を検出する機能を有する。例えば、動体検出部33は、画像センサ310で撮像された可視光画像の画像認識を行って人物や物体を認識すると共に、深度センサ320によって赤外線パターンを照射して撮像した赤外線画像から人物や物体の位置及び奥行きを認識して、これらの認識結果に基づいて、人物や物体を検出する。また、動体検出部33は、連続して撮像された可視光画像及び赤外線画像を比較して得られる人物の動きからこの人物の手の位置を認識して、手に持った物体を検出する。動体検出部33は、これらの検出結果を総合的に判断することにより、人物の動き、人物の手の動き、人物が手に持っている紙幣等の物体の動きを検出する。なお、深度センサ320による赤外線画像は、例えば、30fpsのフレームレートでQVGAの解像度で取得される。
人物監視部34は、動体検出部33によって検出された人物の動きを監視する機能を有する。具体的には、人物監視部34は、画像センサ310及び深度センサ320によって取得されたデータ等に基づいて、検出された人物の動作、顔の位置、顔の向き、手の位置、手の動き等を監視する。人物監視部34による監視を行っている間に、監視領域設定部32によって設定された監視領域に変化があると、この変化に関する情報が人物監視部34から報知条件判定部37に入力されるようになっている。
物体監視部35は、動体検出部33によって検出された物体の動きを監視する機能を有する。具体的には、物体監視部35は、画像センサ310及び深度センサ320によって取得されたデータ、人物監視部34によって監視される人物の手の位置や動きのデータ等に基づいて、検出された物体の動きを監視する。また、物体監視部35は、紙幣等の物体が貨幣処理装置10の筐体上に置かれると、この物体を置いた人物がセンサ部300により検出できなくなった後も、置き去りにされた物体の監視を継続する。物体監視部35による監視を行っている間に、監視領域設定部32によって設定された監視領域に変化があると、この変化に関する情報が報知条件判定部37に入力されるようになっている。
記憶部60では、人物監視部34が監視する操作者の画像データ及び物体監視部35が監視する物体の画像データが、画像データ63として保存される。また、物体監視部35が監視する物体に関するデータは、物体管理データ64として保存される。また、貨幣処理装置10で行われた貨幣処理に関するデータは、貨幣処理管理データ65として保存される。画像データ63、物体管理データ64及び貨幣処理管理データ65は、各データ間で、対応するデータが関連付けて管理される。これにより、例えば、貨幣処理管理データ65で管理される各貨幣処理について、画像データ63を参照して貨幣処理を行った操作者の画像や処理対象となった貨幣の画像を確認したり、処理対象の貨幣が貨幣処理装置10の筐体上に放置された場合には物体管理データ64を参照して放置後の貨幣の状況を確認したりすることができる。
貨幣処理内容認識部36は、操作表示部40を操作して入力された内容に基づいて、貨幣処理装置10の操作者、すなわち人物監視部34によって監視中の人物が実行する貨幣処理の内容を認識する機能を有する。貨幣処理内容認識部36によって、操作者が行おうとしている貨幣処理の内容が認識されると、これを示す情報が監視領域設定部32に入力され、監視領域設定部32によって監視領域が自動設定されるようになっている。
バラ紙幣処理部100による貨幣処理及び束紙幣処理部200による貨幣処理は、操作表示部40を操作して、操作表示部40上に表示された貨幣処理メニューの中から実行したい貨幣処理を指定して、入金金額や出金金額等、貨幣処理の実行に必要な情報を入力してから開始される。貨幣処理内容認識部36は、操作表示部40の操作内容から、操作者がこれから実行しようとしている貨幣処理の内容を認識すると、記憶部60の貨幣処理操作データ61を参照する。貨幣処理操作データ61には、貨幣処理毎に、操作者が行う操作内容が登録されている。具体的には、例えば、バラ紙幣の入金処理が行われる場合には、入金処理の開始後、まずバラ紙幣入金口110が開いて、このバラ紙幣入金口110に紙幣が投入されるというように、操作者及び入金処理対象となる紙幣の動きを特定するために必要な情報が貨幣処理操作データ61に登録されている。すなわち、センサ部300を利用して検出した操作者や紙幣の動きが、実行中の貨幣処理で検出されるべき動きであるか否かを判定するために必要な情報が、貨幣処理操作データ61として予め準備されている。
なお、貨幣処理操作データ61には、保守作業やエラー解除作業に関する情報も含まれており、保守作業やエラー解除作業が行われる場合にも、これを認識して、作業時に操作員が行う作業手順や作業内容等を認識できるようになっている。
報知条件判定部37は、動体検出部33、人物監視部34、物体監視部35及び貨幣処理内容認識部36で得られたデータに基づいて、監視領域設定部32によって設定された監視領域内で、予め記憶部60に保存されている報知条件データ66に登録された報知条件を満たす状況が発生したか否かを判定する機能を有する。報知条件データ66には、報知条件の他、報知する情報の内容、情報報知の対象となる報知対象者、情報を報知する方法等について規定された情報が含まれている。報知処理を実行する条件、報知する情報の内容、報知対象者、報知する方法等は、操作表示部40を操作して事前に設定できるようになっている。報知条件判定部37による処理の詳細は後述する。
報知部38は、報知条件判定部37が報知条件を満たすと判定した場合に、操作者等の報知対象者に向けて関連情報を報知する機能を有する。報知部38は、報知条件を満たすと判定された状況に応じて、予め設定された関連情報を報知する。例えば、操作表示部40に情報を表示したり、音や光を発したり、画像投影部400によって画像を投影したりすることによって、報知対象者に向けて必要な情報を報知する。具体的には、操作表示部40の画面上への情報表示、LED等による発光、スピーカ等による音声再生、予め設定された携帯端末や操作端末上へのメッセージ表示や電子メールの送信等によって報知処理が行われる。また、画像投影部400を利用して報知を行うことも可能となっているが具体例は後述する。
次に、貨幣処理装置10で貨幣処理が行われる際の監視処理及び報知処理について詳細を説明する。なお、バラ紙幣処理部100及び束紙幣処理部200で行われる貨幣処理の内容と、操作表示部40やプリンタ50を利用して貨幣処理時に行われる操作及び処理については、従来と同様であるため説明を省略することとし、以下では、本実施形態に係る監視処理及び報知処理を中心に説明することとする。
図4は、貨幣処理装置10で貨幣処理が開始された際に行われる監視処理及び報知処理の流れを示すフローチャートである。貨幣処理装置10の操作表示部40を操作して貨幣処理が開始されると、貨幣処理内容認識部36が、これから行われる貨幣処理の内容を認識して、認識結果が監視領域設定部32に入力される。監視領域設定部32は、記憶部60の監視領域データ62を参照して、貨幣処理内容に応じて予め設定された監視領域を自動設定する(ステップS11)。
監視領域が設定されると、動体検出部33、人物監視部34、物体監視部35が、監視領域内の操作者及び物体を監視するための動作を開始する。そして、報知条件判定部37が、報知条件データ66を参照して、監視領域内で検出された操作者や物体に関する報知処理が必要であるか否かを判定する(ステップS12)。
報知条件判定部37が、報知処理は不要であると判定した場合には(ステップS12;No)、監視領域設定部32により、監視領域を手動設定するか否かの判定が行われる(ステップS14)。一方、報知条件判定部37が、報知処理が必要であると判定した場合には(ステップS12;Yes)、報知部38による報知処理が実行される(ステップS13)。
例えば、報知条件データ66には、貨幣処理の妨げになる可能性がある物体があれば、この物体を移動させるよう指示するための報知条件が含まれている。例えば、入金口を開く処理が行われる場合には、入金口内部に貨幣や異物が落下することを回避するために監視領域が自動設定され、この監視領域内で、入金口から所定距離内にある物体が検出されると、この物体を移動させるよう指示する報知処理が行われる。同様に、出金口を開く処理が行われる場合には、出金口を含む所定領域から物体を移動させるよう指示する報知処理が行われる。
図5は、貨幣処理の開始直後に行われる報知処理の例を説明するための図である。例えば、操作者が、図5に示すように、バラ紙幣処理部100の筐体上に、紙幣や硬貨が入ったキャッシュトレイ902を置いた状態で、操作表示部40を操作して出金処理を開始しようとした場合には、紙幣が出金されるバラ紙幣出金口152を含む領域が監視領域として自動設定される。監視領域が設定されると、物体監視部35は、監視領域を撮像した画像と、装置筐体上に何も置かれていない状態で撮像された基準画像とを比較することにより、バラ紙幣出金口152の上にキャッシュトレイ902が置かれていることを認識する。この認識結果を受けた報知条件判定部37が報知条件を満たすと判定して、この判定結果を受けた報知部38が、筐体上のキャッシュトレイ902を移動させるよう指示する報知処理を行う。
このとき、画像投影部400を利用して、例えば、キャッシュトレイ902上に×印等の所定のマークを投影して、移動を指示した物体を指し示すことが可能となっている。また、画像投影部400によって、バラ紙幣出金口152を含む円形領域を示すように、筐体上に円形画像を投影して、この領域より外側に、キャッシュトレイ902を移動させるよう指示することができる。また、バラ紙幣出金口152から離れた領域に、この領域を示す画像を投影して、投影した領域内にキャッシュトレイ902を移動させるように指示することもできる。
必要に応じて、貨幣処理開始後に自動設定された監視領域に関する報知処理(図4ステップS13)を行った後、監視領域設定部32は、手動設定による監視領域の設定を行うか否かを判定する(ステップS14)。
例えば、操作者が、貨幣処理装置10を利用して処理を行っている間に、貨幣処理装置10から離れる必要が生じた場合に、操作者が、処理中の紙幣を貨幣処理装置10の筐体上に置いて、この紙幣を囲うように指先で円形を描く動作を行うと、動体検出部33及び人物監視部34の機能により、この動作が監視領域を手動設定するための指示動作であることが認識される(ステップS14;Yes)。この認識結果を受けた監視領域設定部32は、操作者が描いた円形を境界として、境界内部の領域を、先に自動設定されていた監視領域に加えて、監視領域として設定する。こうして手動設定された監視領域は、記憶部60の監視領域データ62に登録される(ステップS15)。
監視領域データ62には、監視領域の位置及び大きさを特定するための情報、監視領域を手動設定した操作者を特定するための情報、監視領域が設定された日時を特定するための情報等が含まれている。また、物体監視部35は、手動設定された監視領域内に置かれた紙幣を認識して、紙幣が置かれた日時を特定するための情報等、紙幣に関する情報を記憶部60の物体管理データ64に登録する。また、監視領域内に置かれた紙幣が、貨幣処理装置10による出金処理で出金されたものである場合、入金処理途中の貨幣である場合等には、関連する貨幣処理を特定するための情報が、紙幣に関する情報として物体管理データ64に登録される。また、筐体上に置かれた紙幣を撮像した静止画像と、この紙幣について監視範囲を手動設定した操作者を撮像した静止画像とが、記憶部60の画像データ63に登録される。これにより、記憶部60を参照して、筐体上に紙幣を置いた操作者や、紙幣が置かれた日時等を確認できるようになっている。また、記憶部60には、貨幣処理装置10で行われた各貨幣処理の情報が貨幣処理管理データ65として管理されているので、筐体上の紙幣に関する貨幣処理の内容を確認することができる。なお、監視領域データ62、画像データ63、物体管理データ64、貨幣処理管理データ65では、各データが操作者及び物体と関連付けて登録されており、各データの関連性を確認できるようになっている。
監視領域が設定されると(ステップS15又はステップS14;No)、動体検出部33により、監視領域内の変化の有無が監視される(ステップS16)。具体的には、動体検出部33の機能を利用して、人物監視部34は操作者を監視して、物体監視部35は筐体上に置かれた紙幣等の物体を監視する。
監視領域内に変化が生じたことが検出されると(ステップS16;Yes)、人物監視部34及び物体監視部35により、この変化を判定する処理が行われる。例えば、貨幣処理装置10の筐体上に設定された監視領域内に、操作者が物体を置くと、これが変化として検出され、検出された物体が監視を必要とする物体であるか否かを判定する処理が行われる(ステップS17)。
操作者が筐体上に紙幣を置いた場合には、物体監視部35が、筐体上に置かれた物体は紙幣であり、監視が必要であると判定する(ステップS17;Yes)。そして、物体監視部35は、この紙幣を監視対象として、紙幣に関する情報を物体管理データ64に登録すると共に、この紙幣を撮像した画像及びこの紙幣を置いた操作者を撮像した画像を画像データ63に登録する(ステップS18)。物体管理データ64に登録された紙幣は、監視対象として継続して監視される。
また、例えば、監視領域内の変化として、監視領域内で監視している紙幣を、誤って第三者が持ち去ろうとしている場合には、人物監視部34及び物体監視部35によって、監視が必要であると判定される(ステップS17;Yes)。そして、物体監視部35は、既に監視対象として物体管理データ64に登録されているこの紙幣に関する情報として、紙幣が持ち去られた日時等のデータを追加登録する(ステップS18)。このとき、紙幣に触れる第三者の画像、紙幣を持ち去る第三者の画像等が画像データ63に登録される。
一方、監視領域内で検出された変化が、監視領域を撮像する撮像範囲内を操作者の手や操作者が手にした紙幣等が通過するものである場合には、監視は不要であると判定される(ステップS17;No)。このように、貨幣処理システムは、画像センサ310及び深度センサ320を含むセンサ部300を利用して、人物の顔や手、貨幣等の物体、貨幣処理装置10の一部等、画像センサ310によって撮像した対象物の位置関係を3次元的に認識して報知が必要であるか否かを判定する点に1つの特徴を有している。
監視領域内の変化を検出して、監視対象の登録又は更新、監視対象に関連する情報の登録又は更新等が行われると、続いて、報知条件判定部37により、検出した監視領域内の変化が報知条件を満たすものであるか否か、すなわち報知処理が必要な事象であるか否かを判定する処理が行われる(ステップS19)。
例えば、出金口を利用する処理中に、出金口に近い位置に紙幣等の物体が置かれた場合には、報知条件判定部37は、報知条件を満たし、報知が必要であると判定する(ステップS19;Yes)。そして、報知部38による報知処理が行われる(ステップS20)。具体的には、報知条件データ66には、入金口又は出金口から装置内部に貨幣や異物が落下することを回避するための報知条件が設定されており、この報知条件を満たすと判定された場合には、操作者に対して、入金口に近い位置又は出金口に近い位置に置いた物体を移動させるよう警告する報知処理が行われる。
また、例えば、監視領域内で監視している紙幣を、誤って第三者が持ち去ろうとしている場合には、報知条件判定部37が、報知条件を満たし、報知が必要であると判定して(ステップS19;Yes)、報知部38による報知処理が行われる(ステップS20)。具体的には、報知条件データ66には、例えば、途中で貨幣処理装置10から離れなければならなくなった操作者が、自動設定された監視領域内又は操作者が手動設定した監視領域内に紙幣を置いて立ち去った場合に、この操作者以外の第三者が、置き去りにされた紙幣を誤って持ち去ったり処理したりすることを回避するための報知条件が設定されている。この報知条件を満たすと判定された場合には、第三者に対して、誤りを警告する報知処理が行われる。例えば、持ち去ろうとしている紙幣は他の操作者によって置かれたもので、第三者が処理権限を有する紙幣ではないため、紙幣を元の位置に戻すよう指示する報知処理が実行される。なお、第三者が、持ち去ろうとしていた紙幣を監視領域内に戻すと、再び、監視領域内での紙幣の監視が開始される。また、紙幣が、既に設定されている監視領域の外側に置かれた場合には、監視領域設定部32は、この紙幣を含むように監視領域を設定し直して紙幣の監視を再開する。
一方、入金口に近い監視領域内又は出金口に近い監視領域内に置かれていた紙幣等の物体を、入金口及び出金口から離れた監視領域外の位置へ移動させる場合にも、これが監視領域内の変化として検出される(ステップS16;Yes)。この場合は、監視されていた物体が監視領域内から領域外へ移動したことが認識され(ステップS17;Yes)、この物体を監視対象から除外するために、物体管理データ64が更新される(ステップS18)。このような場合には、報知条件判定部37は、報知は不要であると判定して(ステップS19;No)、報知部38による報知処理は行われないようになっている。
必要に応じて報知処理(ステップS20)を実行した後、又は自動設定された監視領域及び手動設定された監視領域で変化が検出されなかった場合(ステップS16;No)、監視領域の変化が検出されたが監視対象に関する変化ではなかった場合(ステップS17;No)、監視対象に関する変化であるが報知処理は不要であった場合(ステップS19;No)には、続いて、貨幣処理を実行中であるか否かを判定する処理が行われる(ステップS21)。
貨幣処理を継続して実行中であれば(ステップS21;No)、ステップS14に戻って監視を継続する。一方、貨幣処理を終了すると(ステップS21;Yes)、続いて、物体監視部35が、物体管理データ64に登録して監視していた物体が監視領域内に残っているか否かを判定する(ステップS22)。
例えば、貨幣処理装置10から出金されて筐体上に置かれた出金紙幣を監視対象として監視しているときに、出金紙幣が、貨幣処理を完了した後も筐体上に置かれたままの状態にあるときは(ステップS22;Yes)、報知条件判定部37は、報知条件を満たし、報知が必要であると判定する(ステップS23;Yes)。そして、報知部38による報知処理が行われる(ステップS24)。報知条件データ66には、貨幣処理完了後に操作者が貨幣等を置き忘れることを回避するための報知条件が設定されている。この報知条件を満たす場合には、操作者に対して、筐体上に置かれた紙幣を忘れないよう警告する報知処理が行われる。
なお、報知処理を行ったにも拘わらず、貨幣処理装置10の筐体上に出金紙幣が置き去りにされた場合には、物体監視部35が監視を継続する(ステップS22;Yes)。貨幣処理が完了してから所定時間の間、又は報知処理が所定回数行われるまでの間は、報知条件判定部37は報知が必要であると判定して(ステップS23;Yes)、報知部38による報知処理が繰り返される(ステップS24)。そして、所定時間を経過した後、又は報知処理が所定回数行われた後は、報知条件判定部37が報知は不要であると判定して(ステップS23;No)、報知処理は行われなくなる。そして、予め設定された所定時間が経過した場合、又は紙幣を置き去りにした操作者が貨幣処理装置10近傍に現れたことを検出した場合等、所定の報知条件を満たす場合に、再び、報知条件判定部37により報知が必要であると判定されて(ステップS23;Yes)、報知部38による報知処理が行われるようになっている(ステップS24)。
操作者が、監視対象とされていた紙幣を手にすることにより、紙幣が監視領域外へ移動して、監視領域内に監視対象としていた物体がなくなると(ステップS22;No)、物体監視部35は、監視対象として登録していた物体を監視対象から除外するために物体管理データ64を更新すると共に、監視領域を解除するために監視領域データ62を更新して(ステップS25)、処理を完了する。このとき、監視領域、監視対象としていた物体に関するデータについては、記憶部60から削除する態様の他、監視履歴として保存する態様であってもよい。
なお、貨幣処理管理データ65に関し、貨幣処理管理データ65では、完了した貨幣処理だけではなく、処理途中の貨幣処理に関する情報も管理されている。例えば、貨幣処理装置10で入金処理を行っている操作者が、処理の途中で、処理中の紙幣を筐体上の監視領域内に置いて貨幣処理装置10から離れた場合には、この紙幣に関する情報が記憶部60内の貨幣処理管理データ65等に登録される。筐体上に置かれた紙幣に、例えば、開いた手を所定時間かざすといった指示動作を行うと、報知条件判定部37が、置かれた紙幣に関する情報を要求する指示操作であることを認識して報知処理が必要であると判定し、報知部38が、筐体上の紙幣に関する情報を報知する報知処理を行う。操作表示部40への情報表示や音声案内等の報知処理が行われることによって、紙幣を置いた操作者、紙幣がこの操作者によって入金処理の途中で置かれたものであること、貨幣処理装置10が入金処理途中の状態にあること等を、確認できるようになっている。
図4及び図5では貨幣処理を例に監視処理及び報知処理を行う例を説明したが、これらの処理は、貨幣処理装置10の保守作業やエラー解除の作業を行う場合にも行われるようになっている。例えば、貨幣処理中に装置内の搬送路等に貨幣が詰まるジャムと呼ばれるエラーが発生して、このエラーを解除する作業が必要になると、操作表示部40で所定操作を行った後、貨幣処理装置10の筐体前面側から装置内の貨幣処理ユニットが引き出される。エラー解除作業のために貨幣処理ユニットが引き出されたことを認識すると、監視領域設定部32は、貨幣処理ユニット上に監視領域を自動設定する。そして、操作者が、誤った手順でエラー解除作業を行おうとすると、これが検知されて誤りが報知されると共に、正しい作業内容が報知されるようになっている。例えば、画像投影部400により、作業が必要な部位に、作業内容を示す動画像を投影することによって作業内容を案内する報知処理が行われる。また、エラー解除の作業中に、貨幣処理ユニット上に工具等が置かれた場合には、これを監視して、エラー解除の作業終了時に、工具を取り除いてから貨幣処理ユニットを筐体内に戻すよう警告する報知処理が行われる。
このように、貨幣処理システムでは、貨幣処理システムで行われる処理内容に基づいて、この処理が誤りなく正常に継続されるように、監視が必要となる領域を監視領域に設定して監視することにより、必要に応じて適切な報知処理を行うことができる。また、操作者が、監視領域を手動で設定して、監視領域内に置いた紙幣等の物体を監視させることもできる。これにより、貨幣処理システムでは、各操作者が、容易かつ確実に各処理を進めることができる。
貨幣処理システムでは、貨幣処理装置10の操作者が、容易かつ快適に貨幣処理を行えるように、操作者に応じた情報表示や報知処理を行えるようになっている。例えば、センサ部300を利用して、貨幣処理装置10を操作する操作者の身長を認識して、この操作者の目線に合わせた情報を、操作表示部40に表示する。具体的には、例えば、操作表示部40に、装置の外観をグラフィック表示する場合に、身長が高い操作者にはこの操作者から見た装置外観の画像を表示して、身長が低い操作者にはこの操作者から見た装置外観の画像を表示する。例えば、背の低い操作者が見落としやすい場所に関する注意喚起や、これとは逆に背の高い操作者が見落としやすい場所に関する注意喚起を行う際に、これらの場所を、各操作者の目線に合わせた装置画像上に示す。このように、各操作者が実際に装置を見た際の様子と一致する装置画像を操作表示部40上に表示して、操作の案内、指示、注意喚起、警告等の報知処理を行うことにより、各操作者は、操作表示部40に表示された内容を容易に認識して作業を進めることができる。
また、貨幣処理システムでは、貨幣処理を行う操作者の動きを記録して、各装置の改良等に利用できるようになっている。貨幣処理システムでは、センサ部300によって操作者の骨格を認識して、操作者の頭や手の動きを骨格座標の変化として記憶部60に記録して保存できるようになっている。操作者の動きを座標の変化としてテキストデータで記録することにより、動画像で記録する場合に比べてデータ容量を圧縮することができる。また、金融機関等で多数の従業者による動作のデータを収集する場合でも、従業者の顔が記録されることがないため従業者のプライバシーを保護できるようになっている。
また、貨幣処理システムでは、貨幣処理装置10で行われる貨幣処理、保守作業、エラー解除作業等の内容と、これらの処理及び作業を行う各操作者の動きを認識することができるので、これを利用して、各操作者に応じた報知処理を行うことができる。例えば、エラー解除作業を行う操作者が、同じ作業内容について、所定回数以上繰り返して誤った作業を行った場合には、この操作者が、次に同じエラー解除作業を行う場合に、誤った作業を繰り返さないように、事前に作業内容を案内する報知処理が行われるようになっている。また、この報知処理では、音声、文字、画像等によって注意を喚起する態様の他、画像投影部400によって、作業を行う部位に、作業内容を示す動画像を投影できるようになっている。これにより、操作者は、作業対象となる部位や作業内容を認識して、誤りなく作業を進めることができる。
なお、本実施形態では、手動設定により監視領域を追加設定する態様を示したが、追加する監視領域の数、位置及び大きさは、センサ部300によって監視可能な範囲であれば特に限定されない。例えば、設定済みの監視領域内に、別の監視領域を設定することができる。また、例えば1人の操作者が複数の監視領域を手動設定することも可能であるし、第1の操作者が第1の監視領域を手動設定して、第1の操作者とは異なる第2の操作者が第2の監視領域を手動設定することも可能となっている。貨幣処理システムでは、監視領域及び監視対象、これらに関連する情報等が、操作者と関連付けて管理されるので、例えば、貨幣処理装置10を利用して、複数の操作者が並行して処理を行うような場合でも、図4に示した処理を各操作者に対して行うことができる。なお、各操作者の識別は、貨幣処理装置10で行われる認証処理、各操作者の顔画像を認識する顔認識処理等によって行うようになっている。また、例えば、第1の監視領域では第1の操作者以外の人物を監視するように報知条件を設定して、第2の監視領域では第2の操作者以外の人物を監視するというように、監視領域毎に、異なる報知条件を設定することができる。
また、図2に示した貨幣処理装置10の構造から、筐体上面を含むように監視領域を設定する例を示したが、監視領域を設定する領域がこれに限定されるものではない。例えば、貨幣処理装置10の筐体側方に貨幣等を置くスペースが設けられていれば、このスペースを含むように監視領域を設定する。入金口や出金口等、貨幣処理装置の少なくとも一部を含む領域を画像センサ310によって撮像して、撮像範囲内に監視領域を設定する。
また、画像投影部400については、これに代えて、レーザーポインターを利用する態様であっても構わない。レーザーポインターを利用することにより、プロジェクタを利用する場合に比べて安価な構成としながら、監視領域や報知処理の対象となった物体をレーザーポインターによって示すことにより、操作者は、報知内容を容易に認識することができる。
上述してきたように、本実施形態に係る貨幣処理システムによれば、自動設定された監視領域及び手動設定された監視領域を対象として、監視領域内にある貨幣等の物体を監視して、必要な場合にのみ報知処理を行うことができる。これにより、各操作者は、貨幣処理等、貨幣処理システムで行う作業を容易に進めることができる。
例えば、装置筐体上に貨幣が置き去りにされそうになった場合、貨幣が該貨幣に関する処理権限を有さない第三者によって持ち去られそうになった場合、処理権限を有さない貨幣を誤って入金しようとした場合等に、これを防止するための報知処理がなされるので、各操作者は、自身の担当する貨幣処理を確実に進めることができる。
また、監視領域や監視対象に関する情報が、検出された日時、関連する貨幣処理、監視対象や操作者を撮像した画像等と共に管理されるので、例えば、監視対象としていた貨幣が持ち去られたような場合でも、この貨幣に関する貨幣処理及び監視処理の履歴を確認したり、貨幣の画像や貨幣を持ち去った者の画像を確認したりすることができる。これにより、貨幣処理に関する問題が発生した場合でも、この問題を解決するための調査を容易に進めることができる。