JP3753779B2 - 紙幣選別機 - Google Patents

紙幣選別機 Download PDF

Info

Publication number
JP3753779B2
JP3753779B2 JP7086896A JP7086896A JP3753779B2 JP 3753779 B2 JP3753779 B2 JP 3753779B2 JP 7086896 A JP7086896 A JP 7086896A JP 7086896 A JP7086896 A JP 7086896A JP 3753779 B2 JP3753779 B2 JP 3753779B2
Authority
JP
Japan
Prior art keywords
banknote
banknotes
data
unit
denomination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP7086896A
Other languages
English (en)
Other versions
JPH09245218A (ja
Inventor
義明 生田
賢二 山本
Original Assignee
グローリー工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by グローリー工業株式会社 filed Critical グローリー工業株式会社
Priority to JP7086896A priority Critical patent/JP3753779B2/ja
Publication of JPH09245218A publication Critical patent/JPH09245218A/ja
Application granted granted Critical
Publication of JP3753779B2 publication Critical patent/JP3753779B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Inspection Of Paper Currency And Valuable Securities (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、多国に亘る多種類の紙幣の中から指定された国の紙幣を識別し分類することのできる紙幣選別機に関し、特に容易に紙幣識別データを作成したり変更したりすることが可能な紙幣選別機に関する。
【0002】
【従来の技術】
従来、紙幣選別機には複数種類のパターンを記憶した複数のメモリを用意しておき、取扱う金種紙幣に応じてそのメモリを切替えて使用するものがあった(例えば特開昭58−22488号)。即ち、特開昭58−22488号で開示された紙幣鑑別分類方式は、投入された紙幣のパターンを読取る読取手段と、多種類の紙幣パターンを記録した複数のメモリ及びそれらメモリを選択する切替えスイッチとを有し、前記切替えスイッチが選択したメモリ中のパターンと読取手段によって読取られたパターンとを比較し、それによって前記投入された紙幣を鑑別分類するようになっているが、紙幣のパターンが変わった場合の取扱いが面倒であった。
【0003】
また、従来の紙幣選別機の紙幣保留部は、その保留部幅の調整が可能な場合でも人手を必要とするものであり、取扱う国の紙幣が異なって紙幣の寸法が変わるような場合には、それに合わせて手動で保留部幅の調整を必要とするものが普通であった。
【0004】
【発明が解決しようとする課題】
ところで上記の様な紙幣選別機では、新たな紙幣の選別を追加したい場合には、別途用意された開発装置を利用してROMに格納されている紙幣識別用のパターンを作成してROMを変更する作業が必要となり、新たな新規紙幣が発行された場合には多大な開発時間がかかるという問題を抱えていた。
【0005】
本発明は上述のような事情から成されたものであり、本発明の目的は、取扱う紙幣の種類に対応させて紙幣の収納部の幅、及び一時保留部の幅を自動的に調整することが可能な紙幣選別機を提供することにある。
【0006】
【課題を解決するための手段】
本発明は、複数の金種紙幣を受け入れ識別した結果に基づいて複数の収納部に区分けして収納する紙幣選別機に関するものであり、本発明の上記目的は、識別すべき紙幣の国を選択指定する選択手段と、識別可能な国の紙幣の識別データを格納しているデータテーブルと、受け入れた紙幣の画像データを取込む画像入力手段と、前記画像入力手段からの画像データ及び前記選択手段で選択指定された国に対応する前記データテーブルのデータに基づいて前記紙幣を識別する識別部と、前記識別部で識別された紙幣を収納する収納部と、前記選択手段で選択された国に対応する前記データテーブルのデータに基づいて前記収納部の収納幅を調整する収納幅調整手段とを具備することによって達成される
【0007】
又、本発明の上記目的は、識別すべき紙幣の種類及び仕分けの態様を指定するための指定手段と、受け入れた紙幣を1枚ずつ繰り出すホッパー部と、前記ホッパー部の後段に設けられた識別部から紙幣の金種、方向、真偽を判別する紙幣識別手段と、正常な状態で搬送されなかった紙幣或いは偽と判定された紙幣をリジェクトするリジェクト部と、前記紙幣識別手段で識別された紙幣を一時的に受け入れる複数の一時保留部と、前記一時保留部に設けられた紙幣集積空間の紙幣幅を規制する規制板と、取扱う紙幣に対応して前記一時保留部の幅データを記憶している一時保留部幅データ記憶手段と、前記規制板を移動するための駆動手段とを備え、前記指定手段で金種分類モードが選択された際に、前記指定された金種に従って前記一時保留部幅データ記憶手段から対応する幅データを読出して前記規制板を移動させることによって達成される。
【0008】
更に、識別すべき紙幣の種類及び仕分けの態様を指定するための指定手段と、受け入れた紙幣を1枚ずつ繰り出すホッパー部と、前記ホッパー部の後段に設けられた識別部から紙幣の金種、方向、真偽を判別する紙幣識別手段と、正常な状態で搬送されなかった紙幣或いは偽と判定された紙幣をリジェクトするリジェクト部と、前記紙幣識別手段で識別された紙幣を一時的に受け入れる複数の一時保留部と、前記一時保留部に設けられた紙幣集積空間の紙幣幅を規制する規制板と、取扱う紙幣に対応して前記一時保留部の幅データを記憶している一時保留部幅データ記憶手段と、前記規制板を移動するための駆動手段とを備え、前記指定手段でバッチモード或いは方向別分類モードが選択された際に、前記ホッパー部から繰り出された紙幣が前記識別部を通過した際に金種データを受取り、前記一時保留部に保留すべき1枚目の金種であると判定した場合に、前記規制板を前記1枚目の金種に従って前記一時保留部幅データ記憶手段に記憶された幅データを読出して前記規制板を移動させることによって達成される。
【0009】
【発明の実施の形態】
本発明に係る紙幣選別機は、紙幣の金種、方向、真偽を判定するのに必要な外形寸法、厚み、光学的模様、磁気パターンの有無による真偽情報等、紙幣を識別手段で識別するのに必要なデータを外部パソコン(データ収集及びニューロ学習装置)に送り、外部パソコンでニューロ学習を行なうことにより識別に必要なパラメータを作成し、そのパラメータを識別手段にダウンロードすることによって新たな紙幣の金種に対してソートを可能としている。本発明の識別手段はニューラルネットワークで構成されており、ニューロ識別で紙幣の識別を行なうと共に、学習モード及び識別モードで動作するようになっている。又、本発明では、新規紙幣の発行がなされて紙幣の外形寸法が変わった場合、若しくは紙幣寸法の大きさが極端に異なった混合金種の選別をする場合においても、紙幣が一時保留部に入らなかったり引っかかりが生じることを防ぐように、紙幣保留部の保留部幅を紙幣の外形寸法に応じて自動的に調整できるようにしている。
【0010】
以下、図面に基づいて本発明の好適な実施例について詳細に説明する。図1は本発明の紙幣選別機100の外観を示しており、側面部には、投入された被選別紙幣を受け入れるためのホッパー部101が設けられていると共に、リジェクト紙幣を放出するためのリジェクト部102が設けられている。又、前面部には、運転ガイダンスやデータ等を表示する第1表示部103と、必要な指示やデータ等を入力するキーボード104と、内蔵されている各収納部の一時保留部を外部より監視して必要に応じて一時保留紙幣を取出すための監視部105と、各収納部の収納状態等を表示する第2表示部106とが設けられている。尚、キーボード104には、紙幣選別機100の機能モードを選択指示するためのモードキー104Mと、動作スタートを指示するスタートキー104SRと、動作停止を指示するストップキー104ST、使用する国をコードで指定するテンキーその他が設けられている。又、前面部には開閉して各収納部に収納された紙幣を取出したりする開閉扉107が設けられており、出納用入金処理機として機能するようになっている。ホッパー部101及びリジェクト部102には紙幣の有無を検知する紙幣検知センサが別途設けられている。
【0011】
紙幣選別機100は4つの機能モード(仕分けの態様)を有しており、モードキー104Mで選択指示できる。紙幣選別機100が有する機能モードは金種分類モード、バッチモード、方向別分類モード及び計数モードの4種であり、金種分類モードは図2(A)に示すように、指定された国の紙幣を例えば6金種に分類するモードであり、バッチモードは同図(B)図に示すように、最初に計数された金種を指定枚数(例えば100枚)に分けるモードであり、方向別分類モードは同図(C)に示すように、最初に計数された金種を4方向(A,B,C,D)に分けるモードである。例えば方向A及びBは表面の正逆方向を示し、方向C及びDは裏面の正逆方向を示している。又、計数モードは図2(D)に示すように、紙幣を混合で計数してリジェクト部102に放出するモードであり、上記各単一モードの任意の組み合せも可能である。モードキー104Mで選択指示されたモードは第1表示部103に表示され、選択されている国名や計数された合計額等も表示される。単一モードが組み合わされた複数モードに関しては、例えば金種分類モードとバッチモードが指示された場合には、指定された金種の紙幣を所定枚数ずつ計数して収納し、他の金種紙幣はリジェクトする。又、方向別分離モード、バッチモード及び計数モードが指示された場合には、4方向A,B,C,Dの方向別分類を所定枚数まで行なって各収納部に収納する。
【0012】
図3は紙幣選別機100の外部パソコン200との接続関係を示しており、外部パソコン200はインタフェースRS232Cを介してニューラルネットワークで成る識別手段110に接続されている。識別手段110はDSP(Digital Signal Processor)111、フラッシュメモリ112等を有し、全体を制御する本体制御部300内のCPU301にも接続されている。
【0013】
図4は紙幣選別機100の内部構成を示しており、投入されホッパー部101に受け入れられた紙幣はホッパー部繰出手段302で1枚ずつ繰り出され、搬送手段303で駆動される搬送路CV1,CV2を経て搬送され、搬送路CV2の下方で横方向に整列された収納部1001、1002、1003、1004、1005、1006に上方より収納されるようになっており、搬送路CV1の終端部に設けられている揺動する振分け板DS1で搬送路CV3に振分けられた紙幣はリジェクト部102にリジェクトされる。搬送路CV1の中途には紙幣の金種、方向、真偽等を識別するセンサで成る識別部130が設けられており、搬送路CV2には収納部1001〜1006に対応して振分け板DS2〜DS6が設けられており、振分け板DS1〜DS6は紙幣振分け手段304で駆動され、各収納部1001〜1006への収納枚数等は第2表示部106に個別に表示されるようになっている。識別部130には厚み検知センサが設けられており、紙幣の厚みの異常が検出された場合にはリジェクト部102にリジェクトされる。又、パターンセンサとして2つのイメージセンサ131及び132が設けられ、真偽センサとして磁気センサ133、近赤外センサ134及びUV(紫外)センサ135が設けられている。収納部1001〜1006の前面部には開閉扉107が蝶番107A〜107Cを介して取付けられて開閉できるようになっており、各収納部1001〜1006の上部には1対の一時保留板1041及び1042で成る一時保留部が設けられており、各一時保留部の前面パネル部には監視部105が設けられ外部から一時保留紙幣を取出せるようになっており、搬送路CV2を搬送された紙幣は各振分け板DS2〜DS6を介して搬送分岐され、自重で一時保留部に落下するようになっている。収納部1001〜1006は全て同一構造となっており、各国の各種紙幣の札幅に対応できるように各収納部の一端側上部の規制板が揺動するようになっており、又、各一時保留部に集積された紙幣を監視部105側に押出して監視部105から取り出し易くするための押出し棒1052が配設されている。
【0014】
収納部1001〜1006は全て同一構造であるので、収納部1001を例に挙げ図5を参照して説明する。収納部1001は図示左側の規制板1010と右側の固定板1020との間に紙幣を収納するようになっており、規制板1010の上部には板バネ1011が連接されていると共に、その上に更にラック1012が配設されている。ラック1012には回転するピニオン1013が螺合されており、ピニオン1013はモータ1014でチェーン等を介して回転されるようになっており、モータ1014の回転駆動に従ってラック1012(板バネ1011)が左右に移動、つまり規制板1010の上部が図4の一点鎖線のように揺動する。尚、規制板1010の揺動位置、つまり固定板1020との間隔はピニオン1013に関連して設けられているセンサSN1によって検出される。センサSN1は、規制板1010の上部に近接して設けられた近接スイッチの形式であっても良い。
【0015】
収納部1001の上部は監視部105から監視できる紙幣の一時保留部となっており、振分け板DS2及び搬送ローラ系1030を介して搬送されて来た紙幣は、ローラ系1030の羽根によりたたき落され放出口1031から収納部1001内に放出され、中央部で交叉した1対の一時保留板1041及び1042で仕切られる一時保留部1040に集積される。一時保留板1041は駆動盤1043に結合され、一時保留板1042は駆動片1044に結合され、駆動盤1043と駆動片1044とは連結棒1045でそれぞれ軸支されている。又、駆動盤1043はクランク機構1046で駆動部材1047に連結されており、モータ(図示せず)で駆動される駆動部材1047の回動動作によって駆動盤1043が回動すると共に、連結棒1045を介して駆動片1044も回動し、一時保留板1041及び1042が連動して上下動する。図5のA位置は最上の定位置であり、例えば紙幣30枚を保留でき、B位置は例えば100枚の紙幣を保留でき、これら状態より一時保留板1041及び1042をC位置まで移動することによって一時保留板1041及び1042上に一時保留された紙幣を収納部1001内に収納することができる。一方、固定板1020側には駆動軸1050が軸支されており、この駆動軸1050は下端に連結された回動片1051を介してモータ(図示せず)で回動される。駆動軸1050の上端にはL字状の押出し棒1052が取付けられており、バッチモードでは監視部105の窓から押出し外部から取出し易くしている。又、収納部1001には光学的なセンサSN2〜SN4が配設されており、センサSN2は一時保留部1040の紙幣有無を検知する紙幣検知センサ、センサSN3は収納部が紙幣で満杯か否かを検知する紙幣検知センサ、センサSN4は収納部の紙幣有無を検知する紙幣検知センサである。
【0016】
図6は紙幣選別機100の本体制御部300の回路構成例を示しており、第1表示部103、第2表示部106、キーボード104等の表示入力手段310と、ホッパー部101及びリジェクト部102に受け入れられた紙幣の有無を検知するための紙幣有無検知センサ311と、各一時保留部や各収納部1001〜1006の紙幣有無を検知するセンサSN2〜SN4の紙幣検知手段312と、一時保留板1041及び1042の位置を駆動部材1047の突起を介して検出するセンサSN5,SN6で成る一時保留位置検出手段313と、搬送路CV1〜CV3等の搬送ローラを駆動する搬送手段303と、ホッパー部101に受け入れられた紙幣を1枚ずつ繰り出すホッパー部繰出手段302と、搬送路CV1〜CV3に設けられた振分け板DS1〜DS6を駆動する紙幣振分け手段304と、各一時保留部の保留紙幣を押出し棒1052を駆動して押出す一時保留紙幣押出手段320と、規制板1010を駆動する規制板駆動手段321と、規制板1010の位置をセンサSN1を介して検出する規制板位置検出手段322と、搬送路CV1〜CV3等での紙幣通過を検出する紙幣通過検出手段323と、装置全体の制御を行なうCPU301、RAM3011及びROM3012とで構成されている。CPU301、RAM3011及びROM3012で制御部CUを構成しており、かかる本体制御部300には、識別部130からの信号を処理して紙幣の識別を行なう識別手段110が接続されている。
【0017】
識別部130及び識別手段110の詳細は図7に示すような構成であり、搬送路CV1を搬送される紙幣の例えば表画像を撮像するイメージセンサ(センサ#1)131と、イメージセンサ131とは逆方向の裏画像を撮像するイメージセンサ(センサ#2)132とを有し、イメージセンサ131の画像データ出力は増幅器142、A/D変換器144及びFIFO(First In First Out)のレジスタ146を経てDSP111に入力され、イメージセンサ132の画像データ出力は増幅器143、A/D変換器145及びFIFOのレジスタ147を経てDSP111に入力される。DSP111にはフラッシュメモリ112が接続されると共に、ROM113及びRAM114が接続され、インタフェースRS232Cを介して外部パソコン200に接続され、更にDP(Dual Port)RAM121を介してCPU120に接続され、CPU120にはROM122及びRAM123が接続されると共に、DPRAM124を介して選別機本体制御部300に接続されている。搬送路CV1の識別部130には更に磁気センサ133、近赤外センサ134及びUV(紫外)センサ135が設けられており、各出力信号は増幅器154〜156を経てマルチプレクサ150に入力され、CPU120からの選択信号CNTで選択された信号の1つがA/D変換器157でディジタル値に変換されて後、DPRAM158を経てCPU120に入力され、更にDPRAM121を経てDSP111で処理される。
【0018】
図8は本発明のソフトウェア構成を示しており、DSP111の制御プログラムとCPU120の制御プログラムとはDPRAM121を介した通信を行ない、DSP111の制御プログラムは外部パソコン200の通信プログラムとの間でシリアル通信を行なう。又、CPU120の制御プログラムと選別機本体制御部300の制御プログラムとはDPRAM124を介した通信を行なうようになっている。
【0019】
上述のような構成において、その動作を図9を参照して説明すると、先ず表示入力手段310としてのキーボード104で紙幣選別機100の取扱い国を、フラッシュメモリ112に格納されているテーブルAから指定する(ステップS1)。紙幣選別機100のフラッシュメモリ112は図11に示すようなテーブルAを国名コードに対応するフォーマットで格納しており、キーボード104より国名コードが入力されると、これに対応する国別ニューロ識別部処理コード及びパラメータテーブルの先頭番地が特定され、図10に示すようにテーブルBが特定される(ステップS2)。テーブルBには例えば図12に示すようなデータがテーブル化されており、国別コードをニューロ識別部へ送信する(ステップS3)。テーブルBが国別コードで特定されるとテーブル内の札長データが規制板移動量テーブルCに送られると共に、RAM114内の作業領域にテーブルBの内容をコピーする(ステップS4)。規制板移動量テーブルCは図13のようなデータ構成となっており、札長に該当する移動量が作業領域にコピーされ、作業領域ではコピーされたテーブルBとで規制板移動量を求める(ステップS5)。規制板移動量が計算された作業領域のテーブルBは図14のようになっており、規制板の移動量を作業領域に格納する(ステップS6)。規制板の移動量が計算されるとCPU301を介して規制板駆動手段321のモータ1014が駆動され、ピニオン1013及びラック1012で規制板1010上部が左右に移動されて揺動され、その移動量は規制板位置検出手段322によって検出されているので、所定位置まで移動されて停止する。尚、テーブルAには従来の取扱金種を想定して、テーブルB及びCに格納されていない分も用意されている。
【0020】
次に、紙幣の識別について説明するが、本発明では図15に示すようにニューラルネットワークのニューロ演算を用いて紙幣の金種、方向を識別する。識別部130のイメージセンサ131,132からの画像データIS1は前処理部で前処理され、ニューロ識別するために用いるパラメータは予めフラッシュメモリ112に格納されており、CPU120よりのコマンドにより必要なデータのみが前処理部及びニューロ識別処理部に読出される。前処理部で補正された画像データIS2はニューロ識別処理部に送られ、データ処理部からのウェイト及びトラップデータWTもニューロ識別処理部に送られる。ニューロ識別処理部での識別結果DR1はCPU120に送られる。識別モードでは図16に示すようにCPU120からのコマンドCMに従って動作し、DSP111はCPU120から受けたコマンドCMに対する処理を実行し、その結果をレスポンスRPとしてCPU120に送信する。コマンドCM及びレスポンスPRはDPRAM121を介して行なわれ、DSP111にはラインスキャン開始タイミングLSS及び画像データIS1であるラインスキャン信号LSが入力されている。
【0021】
図17は前処理の動作例を示しており、計数スタートのコマンドを受信すると先ず画像データIS1から黒レベルのデータを採取すると共に(ステップS10)、オフセットレベルのデータを採取し(ステップS11)、これにより補正用データを採取する。その後にホッパー部繰出手段302を駆動して紙幣の搬送を開始し、イメージセンサ131及び132からの画像データIS1を採取して画像濃淡の補正を行なう(ステップS20)。つまり、イメージセンサ131及び132の各チャンネルの白黒レベルの均一化を図ると共に、搬送路CV1で反射するイメージセンサ131及び132のオフセットレベルを用いて画像の濃淡補正を行なう。次に、取込んだ紙幣画像に対してスラブ値を作成する上で、紙幣が画像フレーム(RAM114)のどの位置に存在するかを探索し(ステップS21)、画像フレームのマスク対象領域を等分割し、分割された領域であるブロック内の画素の加算値を求める(ステップS22)。この場合、後の処理で正規化処理を行なうためにマスク対象領域内の画素の最大値、最小値を探索しておく、画面分割するためのパラメータは予めフラッシュメモリ112に書込まれている。そして、分割されたブロックとブロック化処理で生成した加算値にマスク処理を施し(ステップS23)、スラブマスク処理によって計算された加算値からニューロ識別の入力値(スラブ値)を作成する(ステップS24)。
【0022】
識別手段110での識別処理は図18のフローに従って行なわれるが、先ずニューラルネットワークでニューロ演算が行なわれ(ステップS30)、識別の判定処理を行ない(ステップS40)、紙幣の濃淡トラップを処理することにより、今回識別した紙幣のスラブ値列が該当パターンの自己認識領域を示す濃淡トラップの範囲内に収まっているか否かを判断し(ステップS41、42)、紙幣の正損を識別する場合は正損ニューロ演算を行ない(ステップS43)、正損判定の処理を行なう(ステップS44)。トラップとはニューロ演算で学習したもの以外を除外することを示し、識別機は紙幣のパターン毎に自己認識できる領域のデータにより自分の判定が正しいか否かを判断する。
ニューロ演算は、前処理で求めた入力値(スラブ値)とフラッシュメモリ112から読込んだウェイトデータについてマトリクス演算を行ない、そのマトリクス演算結果に対してシグモイド計算を、イメージセンサ131及び132について行なう。ニューロ演算は図19に示すフローに従って行なわれ、先ず入力層から中間層までのマトリクス演算が数1に従って行なわれる(ステップS31)。
【0023】
【数1】
x=W・slab
但し、W:入力層から中間層への重み係数行列
Slab:スラブ値列(前処理で作成)
次に、中間層の出力値列moutを数2に従って計算する(ステップS32)。
【数2】
mout=1/[1+exp{(−x+θ)/T}]
但し、θ:しきい値
T:ニューラルネットワークの温度勾配
数2のシグモイド計算で中間層の出力値列moutが得られると、中間層から出力層までのマトリクス演算を数3に従って行なう(ステップS33)。
【0024】
【数3】
x=W・mout
但し、W:中間層から出力層への重み係数行列
数3のマトリクス演算の後に、数4によってシグモイド計算を行ない、出力層の出力値列noutを得る(ステップS34)。
【0025】
【数4】
nout=1/[1+exp{(−x+θ)/T}]
ここにおいて、上述の識別手段110におけるニューロ演算は本出願人による特願平6−277170号で提案している手法を用いているので、以下にその概要を説明する。
【0026】
図20はニューロ演算部10の詳細構成例を示すブロック図であり、認識対象の紙幣1はCCD等で成るイメージセンサ2で計測され、適宜画像処理されて画像フレームメモリ3内にフレーム画像3Aが得られる。フレーム画像3Aはニューロ演算部10で紙幣部分のみが切出されて紙幣イメージが特定される。次に、前処理部11にてカラムマスク41〜4nを紙幣イメージデータに適用してマスクの掛かっていない部分の画素データの総和値(スラブ値)SB1〜SBnを得る。このスラブ値SB1〜SBnはニューラルネットワークの分離演算部12に入力され、予め判定用紙幣のパターン分類に最適に調整されたニューロ重みにより分離演算値SPが算出される。分離演算値SPは判定部13に入力され、分離演算値SPの中で最大値を有するパターンが対象物の紙幣1のパターン画像として出力される。前処理部11内のカラムマスク41〜4nは一様乱数を用いてランダムに被覆された搬送方向と平行に細長い帯状のカラムマスクであり、それぞれが異なる小区画を被覆するものである。
【0027】
ここで、カラムマスクを用いた前処理部11について説明する。カラムマスク41〜4nを用いる理由は、次のことによる。図20に示すように8×8のマトリクス上の“0”と“1”の2値画像において、画像の特徴量として画素値の総和であるスラブ値(2値画像の“1”の数)を用いた場合、図21(A)では文字“E”を特徴づける値として“14”が得られ、同図(B)では文字“H”を特徴づける値として“12”が得られる。従って、スラブ値を用いることによって“E”と“H”が分離可能となる。しかしながら、異なるパターンを有する画像でもスラブ値が等しくなる場合が存在する。例えば、図22(A)では文字“F”のスラブ値は“10”であるが、同図(B)の文字“K”のスラブ値も“10”であり、分離不可能となる。このような問題に対しては、図23(C)に示すような入力画像の画素に対応する特定の棒状領域が被覆されたカラムマスクを導入することにより解決できる。図23(C)のマスクで図22(A)の画像を覆うと図23(A)に示す画像となり、この場合のスラブ値は“8”となる。一方、図23(C)のマスクで図22(B)の画像を覆うと図23(B)に示す画像となり、スラブ値は“9”となる。このようにカラムマスクを導入することにより、“F”と“K”も分離可能となる。そこで、このように種々の画像を分離するために、図23(C)に示すような予めマスク内の複数の長方形状の被覆される部分の位置を選定しておく。この場合、ただ1つのこのようなマスクによって、種々の画像を分離できるスラブ値を生成する確率は極めて小さい。しかしながら、前述のように異なる種々のカラムマスクを使用することによって、同じ画像でも異なるスラブ値列を得ることができる。このスラブ値列のいずれかが画像間で異なることが多く、種々のカラムマスクを利用することによって、画像間の分離能力を確率的に高めることが可能である。なお、上述の複数の異なるカラムマスクを使用することは、次のような物理的な意味を有している。つまり、3次元物体を他方向から視点を変えて観測する場合、同一の対象でも異なる情報を得ることができる。これと同様に、種々のカラムマスクを用いることは2次元平面内で視点を変えて画像を観測することになり、前述のように同一の画像でも異なる情報を生成することが可能となる。この場合、前処理で入力画像が種々の異なるカラムマスクで覆われ、被覆されない画素の総和がスラブ値SB1〜SBnとなり、入力層のニューロ素子と一対一に対応している。さらに、出力層のユニット値は判定パターン(又は正損レベル)に対応している。
【0028】
図24は、マスク41〜4nの如き垂直方向のカラムマスクの効果を示しており、同図(A)の下移動入力画像と同図(B)の上移動入力画像に対して同一なスラブ値“5”を得ることができ、入力画像が上下の垂直方向ずれを生じても不変なスラブ値を得ることができる。
【0029】
次に、前処理部11で前処理された情報を入力して分離演算を行なう分離演算部12について説明する。階層構造の分離演算部12は、大別すると入力層,隠れ層,出力層の3層から成っている。図25に示すように入力層は、前処理部11からの各マスクの種類に一対一に対応するようにニューロ素子が設けられており、各マスク種類により前処理されたスラブ値(マスク処理された後の画素数の総和)を対応するニューロ素子に入力する。隠れ層は少なくとも1つのニューロ素子の層から成り、入力層の情報を分離演算して出力層に伝達する役割を果たしている。この隠れ層が多くなればそれだけ、入力層の各ニューロ素子の情報の変動に対しても不変に各パターンの各々に分離して演算することが可能となる。出力層には、識別すべきカテゴリーに一対一に対応するようにニューロ素子が設けられている。そして、学習により完成したニューロ素子間の重み係数による出力ユニット値を出力ユニット数個分算出する。この複数個の出力ユニット値(0〜1の間の値を採る)の最大値(通常検査紙幣の金種の出力ユニットで0.99位)と、準最大値(2番目の金種の候補で0.2以下)とを抽出する。次に、最大値が閾値1(通常0.6)よりも大きいかどうかを判断し、小さいときには、学習データから除く。そして、(最大値−準最大値)が閾値2(通常0.4)より大きいかどうかを判断し、(最大値−準最大値)が小さい場合には排除し、大きい場合には最大値を有するユニットのパターンを評価紙幣の判定パターンであると決定する。ここで、最大値と準最大値をチェックするのは、金種間の誤鑑を防ぐためである。
【0030】
ニューラルネットワークを用いたパターン認識において、その性能評価は統計的確率である鑑別率ESによって行なわれて来ており、ニューラルネットワークの出力ユニットの出力値に対してその最大値のみが評価の対象となっている。しかし、このような評価指標では最大値以外の出力値で最大値にかなり近い値であっても、評価結果には直接的な影響が反映されていない。例えば2種のデータを識別した場合、ニューラルネットワークの鑑別率の結果は100%であるが、この場合にはニューラルネットワークにおけるある出力層の出力値の最大値とその他出力層の出力値の差が非常に大きい場合と、あまり差がない場合とが存在する。分離度の検知からみれば上記差が大きい方が、より識別判定においては優れている。一般にニューラルネットワークを応用した市場の製品においては、出力ユニットの最大値のみならず、最大値以外の出力値が最大値から十分離れていることが要求されている。というのは、市場においては外部の影響で入力データに雑音が混入した場合でも、その出力結果が正常なデータによる出力結果に可能な限り近いことが要請されているからである。つまり、出力ユニットの最大出力値とそれ以外の出力値が互いに近い状態の製品よりも、十分に離れた距離の出力を与える製品の方が望まれているからである。従って、ニューロ判定の十分、不十分をチェックするために出力ユニットの出力値の最大値と、最大値及び他のユニットの出力値の差とに閾値を設定している。
【0031】
例えば1$〜100$の米ドル紙幣を識別する時には、出力層のニューロ素子が上から順に1$〜100$の金種に対応し、識別する時には、該当するニューロ素子が1に最も近い値、即ち最大値を出力し、他のニューロ素子は0に近い値を出力する。1$紙幣を識別する時には、出力層の最上位のニューロ素子が最大値を出力し、判定パターンと決定する。
【0032】
同様に、上述の紙幣識別の際には出力層のニューロ素子が上から順に1$、2$、5$、10$、20$…100$と言うように7金種×4方向(A,B,C,D)の28個のニューロ素子が一対一に対応している。そして、この入力層から出力層までのニューロ素子同士を接続し、信号を受け渡す機構をシナプスという。シナプスは、ニューロ素子同士の結合の強さを重み付け関数で記憶している。1つのニューロ素子は、シナプスを通じ前段の層の複数のニューロ素子から信号を受取り、経由してきたシナプスが持つ重みを乗算して入力値とする。ニューロ素子は、それが結合している全てのニューロ素子からの信号を受取ると、入力値の総和をとる。総和の値が予めニューロ素子に設定した閾値を越えるとニューロ素子が“発火”し、次の後段の層のニューロ素子に出力信号を送り、この処理を繰返して出力層から情報を出力する。これら各シナプスの重みは識別対象に対応して、予めバックプロバゲーション法による学習により決定されている。
【0033】
次に判定部13について説明すると、判定部13は分離演算部12の出力層から出力される情報を入力し、その中から最大値を判別し、その最大値のニューロ素子に対応するカデゴリーと判別する。例えば、出力層のニューロ素子が上から1$紙幣のA方向、1$紙幣B方向、1$紙幣C方向のカデゴリーに対応している場合に、最上位のニューロ素子から最大値の出力が出ていれば“1$A方向”であると判別する。
【0034】
ニューロ演算部10の判定には出力結果に対する判定と表裏関係に関する判定とがあり、出力結果に対する判定は図26に示すように先ず最大出力値が濃淡トラップデータ中にある閾値1以上のレベルか否かを判断し(ステップS50)、1以上であれば第2候補の出力値の優位差が濃淡トラップデータ中にある閾値2以上か否かを判断する(ステップS51)。又、表裏関係に関する判定は図27に示すように上記判定結果よりイメージセンサ1,2(140及び141)が同一金種であるか否かを判断し(ステップS55)、更にイメージセンサ1,2(131及び132)の表裏方向関係に矛盾はないか否かを判断する(ステップS56)。この関係を図で示すと図28のようになる。
【0035】
本発明の紙幣識別機100は図7に示すように複数種類の真偽センサ、つまり磁気ヘッド133、近赤外センサ134及びUVセンサ135を具備しており、ニューロ演算による金種識別とは別個に真偽判定を行なうようになっており、金種識別でリジェクトされなかった場合のみ真偽判定を実行する。真偽判定の概略図は図29のようになっており、磁気センサ133,近赤外センサ134及びUVセンサ135の出力は各増幅器154〜156、マルチプレクサ150及びA/D変換器157を経て更にDPRAM158を経て真偽データTDとして真偽判定前処理部に送られる。フラッシュメモリ112のデータ及びデータ加工用パラメータDCPは真偽判定前処理部に送られ前処理加工されたデータCDが、データ処理部からの真偽トラップデータTTDと共に真偽判定処理部に送られる。
【0036】
上述の如くして識別部130を介して識別、真偽判定された紙幣は、搬送路CV1及びCV2で搬送されて該当する収納部1001〜1006に1枚ずつ順次収納されるが、各収納部での100枚バッチ処理時の一時保留部の動作は図30に従って実行される。即ち、収納部1001に関しては一時保留板1041及び1042が最上のA位置であるか否かを監視しており(ステップS60)、A位置であればその状態で30枚までの一時保留を行ない(ステップS61)、30枚に達したときに駆動部材1047を駆動して一時保留板1041及び1042を底部の中央位置(AとBの中間)まで下降させる(ステップS62)。次に、上記ステップS60でA位置でない場合は中央位置(AとBの中間位置)か否かを判断し(ステップS63)、中央位置であれば70枚までの一時保留をその位置で行ない(ステップS64)、70枚に達したときに駆動部材1047を駆動して一時保留板1041及び1042を底部のC位置まで下降させる(ステップS65)。上記ステップS63において中央位置でない場合はB位置であるか否かを判断し(ステップS66)、B位置であれば100枚までの一時保留を行ない(ステップS67)、100枚に達したときに紙幣の繰り出しを一時停止する(ステップS70)。そして、モータを駆動し、押出し棒1052で一時保留の紙幣の一端を押出すようにしており(ステップS71)、所定時間後に停止し(ステップS72)、監視部からの紙幣の抜取りを待ってモータを逆転して押出し棒1052を元に戻し(ステップS73、S74)、所定時間後に停止する(ステップS75)。
【0037】
次に、図3の構成図及び図31のフローチャートにより説明する。
新しく仕分けする紙幣が追加になった場合には、図10で示すテーブルBの内容を追加する必要があり、テーブルのデータの更新が必要である場合にも、同様にテーブルBの内容を新たなデータに書換える必要がある。データを外部パソコン200に取り込ませる場合には、インタフェースRS232Cによってデータをシリアル送信できるように識別手段110と外部パソコン200とをケーブルで接続する(ステップS80)。この外部パソコン200が遠くに離れている場合には、モデムを経由して電話線による通信を行なわせることも可能である。識別手段110の基板上に設けられている設定スイッチを入れることにより、外部パソコン200側へ識別手段110が処理したデータ及び無加工のセンサ採取データを送れるモードになる(ステップS81)。次にホッパー部101に新しくデータを追加構築したい紙幣、又は更新を行なう紙幣を載置して(ステップS82)スタート釦を押す(ステップS83,S84)。
【0038】
本体制御部300は紙幣を繰り出す前にセンサ補正データを作成するために初期状態のデータを採取すると共に、加工し外部パソコン200に送信する。その後、予め決められた枚数の紙幣データを識別部で全てバッファリングする(ステップS85,S86)。紙幣の繰出を行ない、所定枚数の搬送を終えると紙幣の搬送を停止し(ステップS90)、その後データは一度DSP111内のS−RAMに採取データ及び加工データとして全てをバッファリングし、ニューロ演算に支障をきたさないかを全てチェックし(ステップS91)、OKならば通信手段により外部パソコン200に転送する(ステップS92)。所定枚数の紙幣の画像データが送られた後、外部パソコン200側で、キーボードにより取込んだ紙幣の金種、方向、国番号のIDデータを入力する。これらのアップロードされたデータを用いてさらに、磁気センサ133、近赤外センサ134及びUVセンサ135からの真偽判定データ、イメージセンサ補正データ、ウエイトデータ、トラップデータが作成されてファイルが構成される。尚、パソコン200側では、グラフィカルに作成された値のオフライン的な評価ができる様になっているが、ここではその詳細説明は省略する。
【0039】
この様にして、ニューロの学習及び真偽判定のためのデータ作成は外部で行なわれ、次に学習によって作成された各種パラメータファイルをパソコン200から識別部のDSP111へダウンロードする。DSP111では受けたファイルの内容に応じてフラッシュメモリ112に書込む(ステップSS93)。本体制御部300の設定スイッチを元に戻した後、フラッシュメモリ112に書込まれたこれらデータにより、表示部103に表示されて操作部104で選択しても動作しなかった国別の紙幣選別が可能になるか、あるいは、新しく更新されたデータに基づいて鑑別が行なわれる様になる(ステップS94,S95)。
【0040】
尚、上述では収納部を6ケ所とした例を示しているが、収納部の数は任意であり、紙幣以外の商品券等にも適用可能である。又、上述では収納部を規制板と固定板とで形成するようにしているが、両方を移動できる構造とすることも可能であり、1対の一時保留板の停止位置もABCとABの中間部の計4ケ所としているが、任意に設定できる。
【0041】
【発明の効果】
以上に説明したように、請求項1に係る発明によれば、取扱う紙幣の種類に応じて紙幣の収納部の幅を自動的に調整することができる。又、請求項2及び3に係る発明によれば、取扱う紙幣の種類に応じて紙幣の一時保留部の幅を自動的に調整することができる。更に、一時保留部及び紙幣収納部の幅を取扱う紙幣の札長に含ませて自動的に調整することによって、取扱う紙幣の外形寸法差があっても自由に収納場所を設定することが可能となる
【図面の簡単な説明】
【図1】本発明の紙幣選別機の一例の全体構成を示す外観図である。
【図2】本発明のモード種別を説明するための図である。
【図3】本発明の外部パソコンとの接続関係を示す図である。
【図4】本発明の紙幣選別機の一部断面構造例を示す側面図である。
【図5】本発明の収納部及び一時保留部の構造例を示す一部断面図である。
【図6】本発明の本体制御部の回路構成例を示すブロック図である。
【図7】本発明に用いる識別手段の構成例を示すブロック図である。
【図8】本発明のソフトウエア構成例を説明するためのブロック図である。
【図9】本発明の動作例を示すフローチャートである。
【図10】本発明による国の指定動作を説明するための図である。
【図11】国コードによる対応テーブルの例を示す図である。
【図12】国別コードの一例を示す図である。
【図13】札長と移動量の関係例を示すテーブルである。
【図14】作業領域における国別コードの一例を示す図である。
【図15】ニューロ演算を説明するためのブロック図である。
【図16】DSPとCPUとの関係を示す図である。
【図17】前処理の動作例を示すフローチャートである。
【図18】識別処理の動作例を示すフローチャートである。
【図19】ニューロ演算の動作例を示すフローチャートである。
【図20】ニューロ演算の動作例を示す図である。
【図21】ニューロ演算を説明するための図である。
【図22】 ニューロ演算を説明するための図である。
【図23】ニューロ演算を説明するための図である。
【図24】 ニューロ演算を説明するための図である。
【図25】ニューラルネットワークを示す回路構成図である。
【図26】判定動作例を示すフローチャートである。
【図27】判定動作例を示すフローチャートである。
【図28】センサと紙幣の方向を説明するための図である。
【図29】真偽判別の動作を説明するためのブロック図である。
【図30】一時保留部の動作例を示すフローチャートである。
【図31】外部パソコンの動作例を示すフローチャートである。
【符号の説明】
1 紙幣
2 イメージセンサ
10 ニューロ演算部
11 前処理部
12 分離演算部
13 判定部
100 紙幣選別機
101 ホッパー部
102 リジェクト部
103、106 表示部
104 キーボード
105 監視部
110 識別手段
111 DSP
112 フラッシュメモリ
113、122、3012 ROM
114、123、3011 RAM
120、301 CPU
121、124 DPRAM
130 識別部
131、132 イメージセンサ
133 磁気ヘッド
134 近赤外センサ
135 UVセンサ
150 マルチプレクサ
200 外部パソコン
300 選別機本体制御部

Claims (3)

  1. 識別すべき紙幣の国を選択指定する選択手段と、識別可能な国の紙幣の識別データを格納しているデータテーブルと、受け入れた紙幣の画像データを取込む画像入力手段と、前記画像入力手段からの画像データ及び前記選択手段で選択指定された国に対応する前記データテーブルのデータに基づいて前記紙幣を識別する識別部と、前記識別部で識別された紙幣を収納する収納部と、前記選択手段で選択された国に対応する前記データテーブルのデータに基づいて前記収納部の収納幅を調整する収納幅調整手段とを具備したことを特徴とする紙幣選別機。
  2. 識別すべき紙幣の種類及び仕分けの態様を指定するための指定手段と、受け入れた紙幣を1枚ずつ繰り出すホッパー部と、前記ホッパー部の後段に設けられた識別部から紙幣の金種、方向、真偽を判別する紙幣識別手段と、正常な状態で搬送されなかった紙幣或いは偽と判定された紙幣をリジェクトするリジェクト部と、前記紙幣識別手段で識別された紙幣を一時的に受け入れる複数の一時保留部と、前記一時保留部に設けられた紙幣集積空間の紙幣幅を規制する規制板と、取扱う紙幣に対応して前記一時保留部の幅データを記憶している一時保留部幅データ記憶手段と、前記規制板を移動するための駆動手段とを備え、前記指定手段で金種分類モードが選択された際に、前記指定された金種に従って前記一時保留部幅データ記憶手段から対応する幅データを読出して前記規制板を移動させるようにしたことを特徴とする紙幣選別機。
  3. 識別すべき紙幣の種類及び仕分けの態様を指定するための指定手段と、受け入れた紙幣を1枚ずつ繰り出すホッパー部と、前記ホッパー部の後段に設けられた識別部から紙幣の金種、方向、真偽を判別する紙幣識別手段と、正常な状態で搬送されなかった紙幣或いは偽と判定された紙幣をリジェクトするリジェクト部と、前記紙幣識別手段で識別された紙幣を一時的に受け入れる複数の一時保留部と、前記一時保留部に設けられた紙幣集積空間の紙幣幅を規制する規制板と、取扱う紙幣に対応して前記一時保留部の幅データを記憶している一時保留部幅データ記憶手段と、前記規制板を移動するための駆動手段とを備え、前記指定手段でバッチモード或いは方向別分類モードが選択された際に、前記ホッパー部から繰り出された紙幣が前記識別部を通過した際に金種データを受取り、前記一時保留部に保留すべき1枚目の金種であると判定した場合に、前記規制板を前記1枚目の金種に従って前記一時保留部幅データ記憶手段に記憶された幅データを読出して前記規制板を移動させるようにしたことを特徴とする紙幣選別機。
JP7086896A 1996-03-04 1996-03-04 紙幣選別機 Expired - Fee Related JP3753779B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7086896A JP3753779B2 (ja) 1996-03-04 1996-03-04 紙幣選別機

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7086896A JP3753779B2 (ja) 1996-03-04 1996-03-04 紙幣選別機

Publications (2)

Publication Number Publication Date
JPH09245218A JPH09245218A (ja) 1997-09-19
JP3753779B2 true JP3753779B2 (ja) 2006-03-08

Family

ID=13443976

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7086896A Expired - Fee Related JP3753779B2 (ja) 1996-03-04 1996-03-04 紙幣選別機

Country Status (1)

Country Link
JP (1) JP3753779B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020184592A1 (ja) 2019-03-14 2020-09-17 ローレルバンクマシン株式会社 紙葉類処理装置および紙葉類処理方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2366017B (en) 1999-12-22 2002-09-25 Nippon Conlux Co Ltd Multi-rom writer and control method thereof
JP2003051041A (ja) * 2001-08-08 2003-02-21 Toshiba Corp 紙幣処理装置
JP2003178348A (ja) * 2001-12-07 2003-06-27 Birukon Kk 紙葉類識別計数機およびその識別計数方法
JPWO2008056404A1 (ja) * 2006-11-06 2010-02-25 グローリー株式会社 紙葉類識別装置および紙葉類識別方法
WO2009037791A1 (ja) * 2007-09-21 2009-03-26 Glory Ltd. 紙幣識別装置および紙幣識別システム
EP2194512A4 (en) * 2007-09-27 2012-11-14 Glory Kogyo Kk PAPER SHEET PROCESSING DEVICE
JP2010186440A (ja) * 2009-02-13 2010-08-26 Toyo Networks & System Integration Co Ltd 金種判定装置
WO2010097935A1 (ja) * 2009-02-27 2010-09-02 グローリー株式会社 貨幣処理装置および貨幣処理方法
KR102163107B1 (ko) * 2019-02-28 2020-10-07 주식회사 푸른기술 딥러닝 기반 지폐 감별 시스템
JP6662484B2 (ja) * 2019-08-14 2020-03-11 大日本印刷株式会社 特定装置、特定方法及びコンピュータプログラム
KR102273720B1 (ko) * 2019-12-10 2021-07-07 주식회사 에이텍에이피 지폐 감별 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020184592A1 (ja) 2019-03-14 2020-09-17 ローレルバンクマシン株式会社 紙葉類処理装置および紙葉類処理方法

Also Published As

Publication number Publication date
JPH09245218A (ja) 1997-09-19

Similar Documents

Publication Publication Date Title
US5729623A (en) Pattern recognition apparatus and method of optimizing mask for pattern recognition according to genetic algorithm
JP3753779B2 (ja) 紙幣選別機
US8371429B2 (en) Paper sheet recognition apparatus and method
JPH0614384B2 (ja) 紙幣判別装置
US20050011721A1 (en) Currency bill recycling machine
CN1685373B (zh) 钞票的识别方法和识别装置
CN104063937A (zh) 纸张类处理方法、纸张类处理装置及纸张类处理系统
JPWO2008096430A1 (ja) 紙幣処理装置
WO2004023402A1 (ja) 紙葉類特徴検出装置及び紙葉類特徴検出方法
JP4105694B2 (ja) 紙片鑑別装置、紙片鑑別方法及びプログラム
JP2001195628A (ja) フレキシブル紙葉類鑑定装置
JP3321267B2 (ja) パターン認識における遺伝アルゴリズムを用いたマスクの最適化方法
JP2001331839A (ja) 紙幣識別方法及び装置
JP2001014293A (ja) 競合型ニューラルネットワークを用いた紙葉類の識別/学習方法
KR100521713B1 (ko) 페이퍼 처리 장치
KR20050009503A (ko) 위폐 판별 기능과 이권종 합산 기능을 갖는 지폐계수기 및그 방법
KR100309195B1 (ko) 금권류수입장치
JP2016201046A (ja) 紙葉類処理装置及び紙葉類処理方法
JP3351639B2 (ja) ランダムマスク方式による紙葉類のニューロ識別/正損分離装置
JP2635994B2 (ja) 紙幣識別装置
JP3362087B2 (ja) 紙葉類鑑別装置
JPH0944673A (ja) 紙葉類識別装置
JPH0962890A (ja) 紙幣入出金機における紙幣処理方法
JPH10171993A (ja) 媒体の真偽鑑別装置
CN112530082A (zh) 纸张类处理装置及设定方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041116

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051214

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081222

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131222

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131222

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees