JP4222546B2 - 紙葉類識別装置および方法 - Google Patents

紙葉類識別装置および方法 Download PDF

Info

Publication number
JP4222546B2
JP4222546B2 JP2003094763A JP2003094763A JP4222546B2 JP 4222546 B2 JP4222546 B2 JP 4222546B2 JP 2003094763 A JP2003094763 A JP 2003094763A JP 2003094763 A JP2003094763 A JP 2003094763A JP 4222546 B2 JP4222546 B2 JP 4222546B2
Authority
JP
Japan
Prior art keywords
image
paper sheet
unit
unnecessary
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003094763A
Other languages
English (en)
Other versions
JP2004302836A (ja
Inventor
武 石田
康行 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Conlux Co Ltd
Original Assignee
Nippon Conlux Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2003094763A priority Critical patent/JP4222546B2/ja
Application filed by Nippon Conlux Co Ltd filed Critical Nippon Conlux Co Ltd
Priority to DE112004000570T priority patent/DE112004000570T5/de
Priority to PCT/JP2004/004714 priority patent/WO2004088599A1/ja
Priority to GB0521291A priority patent/GB2418247B/en
Priority to US10/551,583 priority patent/US7574033B2/en
Priority to CA002520489A priority patent/CA2520489A1/en
Priority to CNA2004800086469A priority patent/CN1768356A/zh
Priority to KR1020057018060A priority patent/KR100704851B1/ko
Publication of JP2004302836A publication Critical patent/JP2004302836A/ja
Application granted granted Critical
Publication of JP4222546B2 publication Critical patent/JP4222546B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00031Testing, i.e. determining the result of a trial
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00053Methods therefor out of service, i.e. outside of normal operation
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D11/00Devices accepting coins; Devices accepting, dispensing, sorting or counting valuable papers
    • G07D11/20Controlling or monitoring the operation of devices; Data handling
    • G07D11/22Means for sensing or detection
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D11/00Devices accepting coins; Devices accepting, dispensing, sorting or counting valuable papers
    • G07D11/20Controlling or monitoring the operation of devices; Data handling
    • G07D11/22Means for sensing or detection
    • G07D11/235Means for sensing or detection for monitoring or indicating operating conditions; for detecting malfunctions
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/004Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using digital security elements, e.g. information coded on a magnetic thread or strip
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/06Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using wave or particle radiation
    • G07D7/12Visible light, infrared or ultraviolet radiation
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/20Testing patterns thereon
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00063Methods therefor using at least a part of the apparatus itself, e.g. self-testing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00071Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for characterised by the action taken
    • H04N1/00074Indicating or reporting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • H04N1/4097Removing errors due external factors, e.g. dust, scratches
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D2211/00Paper-money handling devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Toxicology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Inspection Of Paper Currency And Valuable Securities (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、紙葉類識別装置および方法に関し、特に、紙葉類の特徴を画像にて抽出して紙葉類の種類および真偽を識別する紙葉類識別装置および方法に関する。
【0002】
【従来の技術】
一般に、紙幣、小切手または商品券等の紙葉類の種類および真偽の識別は、磁気センサ若しくは光センサを用い、利用者が投入した紙葉類の特徴を磁気的または光学的に抽出することにより行われる。
【0003】
光センサによる紙葉類の光学的特徴の抽出は、透過型光センサ若しくは反射型光センサを用いて紙葉類の図柄、寸法および方向等を抽出することによりそれらの画像パターンを取得し、取得した画像パターンと種類毎の真券の標準パターンとを照合することにより、投入紙葉類の種類および真偽を識別する。
【0004】
ここで、紙幣に付いた汚れ等によるノイズの影響を軽減するために、紙幣の透かしのパターンを夫々透過光および反射光を利用した2つの光学的読取り手段にて読み取り、読み取った双方のデータ同士を比較することにより、紙幣の真贋を識別する紙幣等の真贋識別装置がある(例えば、特許文献1参照。)。
【0005】
また、媒体の画像を透過光を利用してCCDセンサで読み取り、読み取った画像から媒体の透かし領域のパターンを抽出し、抽出したパターンデータの非線型なぼけの影響を取り除いて真偽鑑別を行う媒体真偽鑑別装置がある(例えば、特許文献2参照。)。
【0006】
【特許文献1】
特開2002−92683号公報
【特許文献2】
特開平6−203244号公報
【発明が解決しようとする課題】
しかし、上記に挙げた従来技術では、撮像部内にごみが付着していても、ごみの有無を識別することなく、撮像した紙葉類の画像に基づいて識別を行っているため、ごみによる誤識別等が発生したり、また、識別が正常に行えないまま使用されてしまい、紙葉類の受け入れが出来なくなるという不都合が生じていた。
【0007】
そこで、本発明は、撮像部内にごみが付着することで発生する誤識別を防止することが可能な紙葉類識別装置および方法を提供することを目的とする。
【0008】
【課題を解決するための手段】
上記目的を達成するため、請求項1の発明は、紙葉類の透過画像を撮像部で撮像し、該撮像した画像に基づいて該紙葉類の識別を行う紙葉類識別装置において、前記撮像部内に前記紙葉類がない状態で第1の撮像画像を取得する第1の画像取得手段と、前記撮像部内に前記紙葉類がある状態で第2の撮像画像を取得する第2の画像取得手段と、前記第1の画像取得手段で取得した前記第1の撮像画像の中の画像の位置および面積を計測する計測手段と、前記計測手段で計測した前記第1の撮影画像と同位置且つ同面積で前記第2の撮像画像内に存在する画像を不要画像と判別する不要画像判別手段と、前記不要画像判別手段で判別した不要画像を予め真の紙葉類から求めた標準データに対して同位置且つ同面積で貼り付け、該不要画像が貼り付けられた標準データと前記第2の画像取得手段で取得した第2の撮像画像に対応する画像データとを比較することで前記紙葉類の真偽を識別する紙葉類識別手段とを具備することを特徴とする。
【0009】
ここで、不要画像とは、撮像部内に付着しているごみを示す画像である。
【0010】
また、請求項2の発明は、請求項1の発明において、前記不要画像判別手段は、前記第1の画像取得手段で取得した前記第1の撮影画像を2値化するとともに、前記第2の画像取得手段で取得した前記第2の撮影画像を2値化し、前記2値化した前記第1の撮影画像と同位置且つ同面積で前記2値化した前記第2の撮像画像内に存在する画像を不要画像と判別することを特徴とする。
【0011】
また、請求項3の発明は、請求項1または2の発明において、前記紙葉類識別手段は、前記不要画像判別手段により判別された前記不要画像の総面積が所定の規定値以内の場合、前記第2の画像取得手段で取得した第2の撮像画像に基づき前記紙葉類の識別を行うことを特徴とする。
【0013】
また、請求項の発明は、紙葉類の透過画像を撮像部で撮像し、該撮像した画像に基づいて該紙葉類の識別を行う紙葉類識別方法において、前記撮像部内に前記紙葉類がない状態で第1の撮像画像を第1の画像取得手段により取得し、前記撮像部内に前記紙葉類がある状態で第2の撮像画像を第2の画像取得手段により取得し、前記第1の画像取得手段で取得した前記第1の撮像画像の中の画像の位置および面積を計測手段により計測し、前記計測手段で計測した前記第1の撮影画像と同位置且つ同面積で前記第2の撮像画像内に存在する画像を不要画像判別手段により不要画像と判別し、前記不要画像判別手段で判別した不要画像を予め真の紙葉類から求めた標準データに対して同位置且つ同面積で貼り付け、該不要画像が貼り付けられた標準データと前記第2の画像取得手段で取得した第2の撮像画像に対応する画像データとを比較することで前記紙葉類の真偽を紙葉類識別手段により識別することを特徴とする。
【0014】
また、請求項の発明は、請求項の発明において、前記不要画像判別手段は、前記第1の画像取得手段で取得した前記第1の撮影画像を2値化するとともに、前記第2の画像取得手段で取得した前記第2の撮影画像を2値化し、前記2値化した前記第1の撮影画像と同位置且つ同面積で前記2値化した前記第2の撮像画像内に存在する画像を不要画像と判別することを特徴とする。
【0015】
また、請求項の発明は、請求項4または5の発明において、前記紙葉類識別手段は、前記不要画像判別手段により判別された前記不要画像の総面積が所定の規定値以内の場合、前記第2の画像取得手段で取得した第2の撮像画像に基づき前記紙葉類の識別を行うことを特徴とする。
【0019】
【発明の実施の形態】
以下、本発明に係わる紙葉類識別装置および方法の実施の形態について添付図面を参照して詳細に説明する。
【0020】
図1は、本発明に係わる紙葉類識別装置1の機能的な構成の一例を示すブロック図である。
【0021】
図1に示すように、紙葉類識別装置1は、紙葉類識別装置1全体の制御を行う制御部2、紙葉類の挿入口である紙葉類挿入部3、紙葉類を搬送する紙葉類搬送部4、紙葉類を受け入れる紙葉類受入部5、制御部2からの制御により紙葉類搬送部4を駆動させる駆動部6、紙葉類搬送部4により搬送された紙葉類を撮像して紙葉類の画像データを取得する撮像部7、撮像部7で取得した画像データから撮像部7内に付着しているごみを検出するごみ検出部8、撮像部7で取得した画像データに基づいて紙葉類の種類および真偽を識別する識別部9から構成されている。
【0022】
次に、挿入された紙葉類の種類および真偽を識別する際に、紙葉類識別装置1が行う機能的な動作について説明する。
【0023】
紙葉類が紙葉類挿入部3から挿入されると、制御部2は駆動部6を制御することで紙葉類搬送部4により紙葉類を搬送する。ここで、撮像部7は、紙葉類が撮像部7に搬送される前に撮像部7内を撮像して紙葉類無しの画像データを取得し、その後、紙葉類が撮像部7に搬送されると、撮像部7は紙葉類を撮像して紙葉類有りの画像データを取得し、取得した紙葉類無しの画像データおよび紙葉類有りの画像データを識別部9に送出し、識別部9は紙葉類無しの画像データおよび紙葉類有りの画像データを受け取ると、受け取った紙葉類無しの画像データおよび紙葉類有りの画像データをごみ検出部8に送出し、ごみ検出部8は紙葉類無しの画像データおよび紙葉類有りの画像データを受け取ると、紙葉類無しの画像データおよび紙葉類有りの画像データに基づいて撮像部7内に付着しているごみを検出し、検出したごみが規定内の場合、識別部9は紙葉類有りの画像データに基づいて紙葉類の種類および真偽を識別し、真券と識別した際に制御部2は駆動部6を制御することにより紙葉類搬送部4を駆動させて紙葉類を紙葉類受入部5に搬送し、紙葉類を受け入れ、また、偽券と識別した際に制御部2は駆動部6を制御することにより紙葉類搬送部4を駆動させて紙葉類を紙葉類挿入部3に搬送し、紙葉類を返却する。また、ごみ検出部8が検出したごみが規定外の場合、撮像部7の異常の通知を制御部2に送出し、制御部2は異常の通知を受け取ると、紙葉類識別装置1を内蔵している本体(例えば、自動販売機、両替機等)の制御部に撮像部7の異常を通知する。なお、ごみ検出部8が検出したごみが規定外の場合、識別部9が紙葉類の識別を行う構成を適用しても良いし、識別部9が紙葉類の識別を行わずに紙葉類を返却する構成を適用しても良い。
【0024】
図2は、撮像部7、ごみ検出部8および識別部9の機能的な構成の一例を示すブロック図である。
【0025】
図2に示すように、撮像部7は、発光素子10、受光素子11から構成され、識別部9は、メモリ12、画像処理部13、テンプレート14、真偽判定部15から構成され、ごみ検出部8は、ごみ識別部16、比較部17から構成されている。
【0026】
ここで、発光素子10が紙葉類に光を照射し、受光素子11が当該紙葉類を透過した透過光を受光する構成の場合、発光素子10と受光素子11とは紙葉類搬送部4を挟むように、識別対象とする紙葉類の撮像領域を通る所定の位置に配置され、紙葉類有りの画像データを取得する際には、発光素子10が紙葉類搬送部4により搬送されてくる紙葉類の撮像領域に光を照射し、受光素子11が当該紙葉類の撮像領域を透過した透過光を受光し、受光した透過光の光量に応じて電気信号を出力し、紙葉類無しの画像データを取得する際には、発光素子10が照射した光を受光素子11が受光し、受光した光の光量に応じて電気信号を出力する。また、発光素子10が紙葉類に光を照射し、受光素子11が当該紙葉類により反射した反射光を受光する構成の場合、発光素子10は識別対象とする紙葉類の撮像領域を通る所定の位置に配置され、紙葉類により反射された反射光を受光できる位置に受光素子11が配置され、また、紙葉類無しの画像データを取得するために、発光素子10の光を反射する反射板等を配置し、紙葉類有りの画像データを取得する際には、発光素子10が紙葉類搬送部4により搬送されてくる紙葉類の撮像領域に光を照射し、受光素子11が当該紙葉類の撮像領域を反射した反射光を受光し、受光した反射光の光量に応じて電気信号を出力し、紙葉類無しの画像データを取得する際には、発光素子10が光を照射し、受光素子11が反射板等を反射した反射光を受光し、受光した反射光の光量に応じて電気信号を出力する。なお、撮像部7には赤外、紫外および可視光のいずれも適用可能である。
【0027】
また、メモリ12は、撮像部7から所定の時間間隔で出力される電気信号の信号レベルを、所定の記憶領域に順に格納して連続したアドレスを割り当て、紙葉類の撮像領域の画像データとして一時的に記憶保持する。
【0028】
また、画像処理部13は、メモリ12により記憶保持している紙葉類無しの画像データおよび紙葉類有りの画像データを読み出し、読み出した紙葉類無しの画像データおよび紙葉類有りの画像データを2値化し、紙葉類無しの2値化画像データおよび紙葉類有りの画像データをごみ検出部8のごみ識別部16に送出するとともに、紙葉類有りの2値化画像データを真偽判定部15に送出する。
【0029】
また、ごみ識別部16は、画像処理部13から受け取った紙葉類無しの2値化画像データのごみ(撮像部内に付着しているごみ)を示す画像を検出し、検出したごみの画像の位置および面積を計測し、計測したごみの画像の位置および面積を画像処理部13から受け取った紙葉類有りの2値化画像データに対して照合し、紙葉類有りの2値化画像データにごみを示す画像と同位置且つ同面積な画像が存在する場合、当該画像を紙葉類有りの画像データにおける撮像部7内に付着しているごみを示す画像と識別し、識別したごみを示す画像の総面積を算出し、算出した総面積を比較部17に送出するとともに、紙葉類無しの画像データのごみを示す画像の位置および面積を識別部9の真偽判定部15に送出する。
【0030】
また、比較部17は、ごみ識別部16から受け取ったごみの総面積と、予め設定した規定値とを比較し、ごみの総面積が規定外である場合、撮像部7の異常の通知を制御部2に送出する。なお、ごみの総面積が規定外である場合、識別部9の真偽判定部15に紙葉類の識別を許可しない通知を送出し、ごみの総面積が規定内である場合、真偽判定部15に紙葉類の識別を許可する通知を送出する構成を適用しても良い。
【0031】
また、テンプレート14は、予め真券の紙葉類から求めた標準データを蓄積している。
【0032】
また、真偽判定部15は、ごみ識別部16から受け取ったごみを示す画像の位置および面積に基づき、テンプレート14から読み出した標準データに当該ごみを示す画像を貼り付け、ごみを示す画像を貼り付けた標準データと、画像処理部13から受け取った紙葉類有りの画像データとを比較することで、紙葉類の種類および真偽を判定し、判定結果を制御部2に送出する。
【0033】
次に、挿入された紙葉類の種類および真偽を識別する際に、撮像部7、ごみ検出部8および識別部9が行う機能的な動作について説明する。
【0034】
紙葉類挿入部3から挿入された紙葉類は紙葉類搬送部4により搬送され、紙葉類が撮像部7に到達する前に発光素子10は光を照射し、受光素子11が当該光を受光、若しくは反射板等で反射された反射光を受光し、受光した光の光量に応じて電気信号をメモリ12に出力し、メモリ12は電気信号を入力すると、入力した電気信号の信号レベルを紙葉類無しの画像データとして一時的に記憶保持し、紙葉類が撮像部7に到達すると、発光素子10は紙葉類の撮像領域に光を照射し、受光素子11が当該紙葉類の撮像領域を透過若しくは反射した光を受光し、受光した光の光量に応じて電気信号をメモリ12に出力し、メモリ12は電気信号を入力すると、入力した電気信号の信号レベルを紙葉類有りの画像データとして一時的に記憶保持し、画像処理部13はメモリ12に記憶保持している紙葉類無しの画像データおよび紙葉類有りの画像データを読み出し、読み出した紙葉類無しの画像データおよび紙葉類有りの画像データを2値化し、紙葉類無しの2値化画像データおよび紙葉類有りの2値化画像データをごみ検出部8のごみ識別部16に送出するとともに、紙葉類有りの2値化画像データを真偽判定部15に送出する。そして、ごみ識別部16は紙葉類無しの2値化画像データおよび紙葉類有りの2値化画像データを受け取ると、紙葉類無しの2値化画像データのごみ(撮像部内に付着しているごみ)を示す画像の位置および面積を検出し、検出したごみの画像の位置および面積を計測し、計測したごみの画像の位置および面積を紙葉類有りの2値化画像データに対して照合し、紙葉類有りの2値化画像データにごみを示す画像と同位置且つ同面積な画像が存在する場合、当該画像を紙葉類有りの画像データにおける撮像部7内に付着しているごみを示す画像と識別し、識別したごみを示す画像の総面積を算出し、算出した総面積を比較部17に送出するとともに、紙葉類無しの画像データのごみを示す画像の位置および面積を識別部9の真偽判定部15に送出し、比較部17はごみの総面積を受け取ると、受け取ったごみの総面積と予め設定した規定値とを比較し、ごみの総面積が規定外である場合、撮像部7の異常の通知を制御部2に送出する。そして、真偽判定部15はテンプレート14から標準データを読み出し、ごみを示す画像の位置および面積に基づき、標準データに対してごみを示す画像を貼り付け、ごみを示す画像を貼り付けた標準データと、画像処理部13から受け取った紙葉類有りの2値化画像データとを比較することで、紙葉類の種類および真偽を判定し、判定結果を制御部2に送出する。
【0035】
次に、挿入された紙葉類の種類および真偽を識別する際に、紙葉類識別装置1が行う処理手順について図3に示すフローチャートを参照して説明する。
【0036】
紙葉類識別装置は紙葉類挿入部から紙葉類が挿入されると(ステップS301でYES)、発光素子および受光素子により撮像部内を撮像し(ステップS302)、紙葉類が撮像部に到達すると(ステップS303でYES)、発光素子および受光素子により紙葉類を撮像し(ステップS304)、撮像部内を撮像することで取得した紙葉類無しの画像データからごみを示す画像を検出し(ステップS305)、検出したごみを示す画像の位置および面積を計測し(ステップS306)、計測したごみを示す画像の位置および面積を紙葉類有りの画像データに対して照合し(ステップS307)、紙葉類有りの画像データにおける撮像部内に付着しているごみを示す画像を識別し(ステップS308)、撮像部内に付着しているごみを示す画像の総面積が規定外である場合(ステップS309でNO)、撮像部の異常を通知し(ステップS310)、紙葉類の識別を行い(ステップS311)、処理手順を終了する。
【0037】
また、ステップS309において、撮像部内に付着しているごみを示す画像の総面積が規定内である場合(ステップS309でYES)、紙葉類の識別を行い(ステップS311)、処理手順を終了する。
【0038】
なお、ステップS309において、撮像部内に付着しているごみを示す画像の総面積が規定外である場合、撮像部の異常を通知し、紙葉類の識別を行わない処理手順でも適用可能である。
【0039】
次に、ごみ検出部8および識別部9が行う本発明に係わる紙葉類識別方法について、発光素子10から紙葉類18の撮像領域である透かし領域に対して光を照射し、受光素子11が透かし領域を透過した透過光を受光することで、透かし領域の画像データを取得する構成を一例として詳細に説明する。
【0040】
図4は、撮像部7の詳細な構成の一例を示す図である。
【0041】
図4に示すように、発光素子10と受光素子11とは紙葉類搬送部4を挟むように、識別対象とする紙葉類18の透かし領域を通る所定の位置に配置され、撮像部7内における紙葉類搬送部4は透明な保護板19等で構成されている。ここで、紙葉類挿入部3と撮像部7との間に設置された紙葉類検知センサ20が紙葉類搬送部4により搬送されている紙葉類18を検知すると、発光素子10は光を照射し、受光素子11は当該光を受光して紙葉類無しの画像データを取得する。そして、駆動部6のパルス等に基づいて撮像部7への紙葉類18の撮像領域の到達を認識すると、発光素子10が紙葉類18の透かし領域に光を照射し、受光素子11が紙葉類18の透かし領域を透過した透過光を受光して紙葉類有りの画像データを取得する。
【0042】
図5は、図4に示す撮像部7により取得した紙葉類無しの画像データ21および紙葉類有りの画像データ22の一例を示す図である。
【0043】
図5(a)は、紙葉類無しの画像データ21の一例を示す図である。図5(a)に示すように、紙葉類18が撮像部7に到達する前に撮像を行ったため、紙葉類無しの画像データ21には何も画像が存在しない。
【0044】
図5(b)は、紙葉類有りの画像データ22の一例を示す図である。図5(b)に示すように、受光素子11が紙葉類18の透かし領域を透過した透過光を受光したため、紙葉類有りの画像データ22には透かし領域23および透かし領域23以外の通常領域24が存在し、透かし領域23内には透かし模様25が存在する。ここで、透かし領域23を透過する光量は多く、透かし模様25を透過する光量は透かし領域23の光量より少なく、通常領域24を透過する光量は透かし模様23の光量より少ない。
【0045】
ここで、紙葉類無しの画像データ21からごみを示す画像は検出されないため、撮像部7内に付着しているごみは無しと識別し、紙葉類有りの画像データ22に基づいて紙葉類18の種類および真偽を識別する。
【0046】
図6は、撮像部7内にごみが付着している場合の撮像部7の詳細な構成の一例を示す図である。
【0047】
図6に示すように、発光素子10と受光素子11とは紙葉類搬送部4を挟むように、識別対象とする紙葉類18の透かし領域23を通る所定の位置に配置され、撮像部7内における紙葉類搬送部4は透明な保護板19等で構成されている。ここで、発光素子10側の保護板19等にごみA261およびごみC263が付着し、受光素子11側の保護板19等にごみB262およびごみD264が付着している。
【0048】
ここで、紙葉類挿入部3と撮像部7との間に設置された紙葉類検知センサ20が紙葉類搬送部4に挿入された紙葉類18を検知すると、発光素子10は光を照射し、受光素子11は当該光を受光して紙葉類無しの画像データを取得する。そして、駆動部6のパルス等に基づいて撮像部7への紙葉類18の透かし領域23の到達を認識すると、発光素子10が紙葉類18の透かし領域23に光を照射し、受光素子11が紙葉類18の透かし領域23を透過した透過光を受光して紙葉類有りの画像データを取得する。
【0049】
図7は、図6に示す撮像部7により取得した紙葉類無しの画像データ27および紙葉類有りの画像データ28の一例を示す図である。
【0050】
図7(a)は、紙葉類無しの画像データ27の一例を示す図である。図7(a)に示すように、紙葉類無しの画像データ27にはごみ画像A291、ごみ画像B292、ごみ画像C293およびごみ画像D294が存在する。
【0051】
図7(b)は、紙葉類有りの画像データ28の一例を示す図である。図7(b)に示すように、紙葉類有りの画像データ28には透かし領域23および透かし領域23以外の通常領域24が存在し、透かし領域23内には透かし模様25が存在するとともに、ごみ画像A291、ごみ画像B292およびごみ画像D294が存在する。ここで、ごみC263は発光素子10側の保護板19に付着し、且つ光の透過する量が少ない通常領域24を遮る位置に付着しているため、ごみ画像C293は紙葉類有りの画像データ28には存在しない。
【0052】
図8は、図7に示す紙葉類無しの画像データ27および紙葉類有りの画像データ28を2値化した紙葉類無しの2値化画像データ30および紙葉類有りの2値化画像データ31の一例を示す図である。
【0053】
図8(a)は、図7に示す紙葉類無しの画像データ27を2値化した紙葉類無しの2値化画像データ30の一例を示す図である。図8(a)に示すように、図7に示す紙葉類無しの画像データ27を2値化することで、ごみ画像A291、ごみ画像B292、ごみ画像C293およびごみ画像D294が黒の画素になる。
【0054】
図8(b)は、図7に示す紙葉類有りの画像データ28を2値化した紙葉類有りの2値化画像データ31の一例を示す図である。図8(b)に示すように、図7に示す紙葉類有りの画像データ28を2値化することで、透かし領域23が白の画素、透かし模様25および通常領域24が黒の画素になるとともに、ごみ画像A291およびごみ画像B292が黒の画素になる。ここで、ごみ画像D294も2値化により黒の画素になるが、ごみD264は通常領域24を遮る位置しているため、ごみ画像D294は通常領域24と同化してしまい、識別することができなくなる。
【0055】
ここで、紙葉類無しの2値化画像データ30と紙葉類有りの2値化画像データ31とを比較すると、紙葉類無しの2値化画像データ30に存在するごみ画像A291およびごみ画像B292と、紙葉類有りの2値化画像データ31に存在するごみ画像A291およびごみ画像B292とが同位置且つ同面積であることが分かり、紙葉類有りの2値化画像データ31に存在するごみ画像A291およびごみ画像B292が、撮像部7内に付着しているごみA261およびごみB262であると識別できる。
【0056】
従って、撮像部7内に付着しているごみと、紙葉類20に存在するごみまたは傷等とを識別することができる。
【0057】
そして、ごみ画像A291とごみ画像B292との総面積を算出し、算出した総面積が予め設定した規定値より大きい場合、撮像部7の異常を通知する。なお、透かし領域23の画像データを取得する構成においては、紙葉類18の透かし領域23を遮る位置に付着しているごみだけを識別することができることから、透かし領域23を遮る位置に付着しているごみの総面積だけを算出して規定値と比較することが可能であり、例えば、撮像部7内に多くのごみが付着していても、紙葉類18の通常領域24を遮る位置に付着する数が多く、透かし領域23を遮る位置に付着する数が少なければ、撮像部7の異常を通知しなくても良い。
【0058】
図9は、標準データ32に図8に示す紙葉類無しの2値化画像データ30に存在するごみ画像を貼り付ける処理の一例を説明する図である。
【0059】
図9に示すように、予め真券の紙葉類から求めた標準データ32に図8に示す紙葉類無しの2値化画像データ30に存在するごみ画像A291、ごみ画像B292、ごみ画像C293およびごみ画像D294を同位置且つ同面積で貼り付け、ごみ画像を貼り付けた標準データ33を生成している。
【0060】
そして、ごみ画像を貼り付けた標準データ33と、図8に示す紙葉類有りの2値化画像データ31とを比較することで、紙葉類18の種類および真偽を識別する。このように、紙葉類無しの2値化画像データ30に存在するごみ画像を、同位置且つ同面積で標準データ32に貼り付ける処理は、紙葉類有りの2値化画像データ31からごみ画像を削除する処理と比べて、画像処理が容易であるとともに、紙葉類18の識別におけるごみ画像の影響を軽減することが可能になる。
【0061】
なお、上記実施例では、紙葉類が挿入される度に紙葉類無しの画像データを取得して撮像部内に付着しているごみを検出している構成を説明してきたが、当該撮像部7内に付着しているごみの検出を一定期間に行う構成を用いても適用可能である。
【0062】
また、実際の紙葉類の識別処理にあたっては、本発明に係わる紙葉類識別方法のみで紙葉類の種類および真偽を識別するのではなく、多の識別要因との組み合わせで最終的な識別結論を下しても良い。
【0063】
【発明の効果】
以上説明したように本発明によれば、撮像部内に紙葉類がない状態で第1の撮像画像を取得し、撮像部内に紙葉類がある状態で第2の撮像画像を取得し、第1の撮像画像の中の画像の位置および面積を計測し、該計測した第1の撮像画像と同位置且つ同面積で第2の撮像画像内に存在する画像を不要画像と判別し、該判別した不要画像と第2の撮像画像とに基づき紙葉類の識別を行うように構成したので、撮像部内にごみが付着することで発生する誤識別を確実に防止することができるという効果を奏する。
【図面の簡単な説明】
【図1】本発明に係わる紙葉類識別装置1の機能的な構成の一例を示すブロック図である。
【図2】撮像部7、ごみ検出部8および識別部9の機能的な構成の一例を示すブロック図である。
【図3】挿入された紙葉類の種類および真偽を識別する際に、紙葉類識別装置1が行う処理手順を示すフローチャートである。
【図4】撮像部7の詳細な構成の一例を示す図である。
【図5】図4に示す撮像部7により取得した紙葉類無しの画像データ21および紙葉類有りの画像データ22の一例を示す図である。
【図6】撮像部7内にごみが付着している場合の撮像部7の詳細な構成の一例を示す図である。
【図7】図6に示す撮像部7により取得した紙葉類無しの画像データ27および紙葉類有りの画像データ28の一例を示す図である。
【図8】図7に示す紙葉類無しの画像データ27および紙葉類有りの画像データ28を2値化した紙葉類無しの2値化画像データ30および紙葉類有りの2値化画像データ31の一例を示す図である。
【図9】標準データ32に図8に示す紙葉類無しの2値化画像データ30に存在するごみ画像を貼り付ける処理の一例を説明する図である。
【符号の説明】
1 紙葉類識別装置
2 制御部
3 紙葉類挿入部
4 紙葉類搬送部
5 紙葉類受入部
6 駆動部
7 撮像部
8 ごみ検出部
9 識別部
10 発光素子
11 受光素子
12 メモリ
13 画像処理部
14 テンプレート
15 真偽判定部
16 ごみ識別部
17 比較部
18 紙葉類
19 保護板
20 紙葉類検知センサ
21 紙葉類無し画像データ
22 紙葉類有り画像データ
23 透かし領域
24 通常領域
25 透かし模様
261 ごみA
262 ごみB
263 ごみC
264 ごみD
27 紙葉類無し画像データ
28 紙葉類有り画像データ
291 ごみ画像A
292 ごみ画像B
293 ごみ画像C
294 ごみ画像D
30 紙葉類無し2値化画像データ
31 紙葉類有り2値化画像データ
32 標準データ
33 ごみ画像を貼り付けた標準データ

Claims (6)

  1. 紙葉類の透過画像を撮像部で撮像し、該撮像した画像に基づいて該紙葉類の識別を行う紙葉類識別装置において、
    前記撮像部内に前記紙葉類がない状態で第1の撮像画像を取得する第1の画像取得手段と、
    前記撮像部内に前記紙葉類がある状態で第2の撮像画像を取得する第2の画像取得手段と、
    前記第1の画像取得手段で取得した前記第1の撮像画像の中の画像の位置および面積を計測する計測手段と、
    前記計測手段で計測した前記第1の撮影画像と同位置且つ同面積で前記第2の撮像画像内に存在する画像を不要画像と判別する不要画像判別手段と、
    前記不要画像判別手段で判別した不要画像を予め真の紙葉類から求めた標準データに対して同位置且つ同面積で貼り付け、該不要画像が貼り付けられた標準データと前記第2の画像取得手段で取得した第2の撮像画像に対応する画像データとを比較することで前記紙葉類の真偽を識別する紙葉類識別手段と
    を具備することを特徴とする紙葉類識別装置。
  2. 前記不要画像判別手段は、
    前記第1の画像取得手段で取得した前記第1の撮影画像を2値化するとともに、前記第2の画像取得手段で取得した前記第2の撮影画像を2値化し、前記2値化した前記第1の撮影画像と同位置且つ同面積で前記2値化した前記第2の撮像画像内に存在する画像を不要画像と判別することを特徴とする請求項1記載の紙葉類識別装置。
  3. 前記紙葉類識別手段は、
    前記不要画像判別手段により判別された前記不要画像の総面積が所定の規定値以内の場合、前記第2の画像取得手段で取得した第2の撮像画像に基づき前記紙葉類の識別を行うことを特徴とする請求項1または2記載の紙葉類識別装置。
  4. 紙葉類の透過画像を撮像部で撮像し、該撮像した画像に基づいて該紙葉類の識別を行う紙葉類識別方法において、
    前記撮像部内に前記紙葉類がない状態で第1の撮像画像を第1の画像取得手段により取得し、
    前記撮像部内に前記紙葉類がある状態で第2の撮像画像を第2の画像取得手段により取得し、
    前記第1の画像取得手段で取得した前記第1の撮像画像の中の画像の位置および面積を計測手段により計測し、
    前記計測手段で計測した前記第1の撮影画像と同位置且つ同面積で前記第2の撮像画像内に存在する画像を不要画像判別手段により不要画像と判別し、
    前記不要画像判別手段で判別した不要画像を予め真の紙葉類から求めた標準データに対して同位置且つ同面積で貼り付け、該不要画像が貼り付けられた標準データと前記第2の画像取得手段で取得した第2の撮像画像に対応する画像データとを比較することで前記紙葉類の真偽を紙葉類識別手段により識別することを特徴とする紙葉類識別方法
  5. 前記不要画像判別手段は、前記第1の画像取得手段で取得した前記第1の撮影画像を2値化するとともに、前記第2の画像取得手段で取得した前記第2の撮影画像を2値化し、前記2値化した前記第1の撮影画像と同位置且つ同面積で前記2値化した前記第2の撮像画像内に存在する画像を不要画像と判別することを特徴とする請求項4記載の紙葉類識別方法。
  6. 前記紙葉類識別手段は、前記不要画像判別手段により判別された前記不要画像の総面積が所定の規定値以内の場合、前記第2の画像取得手段で取得した第2の撮像画像に基づき前記紙葉類の識別を行うことを特徴とする請求項4または5記載の紙葉類識別方法。
JP2003094763A 2003-03-31 2003-03-31 紙葉類識別装置および方法 Expired - Fee Related JP4222546B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2003094763A JP4222546B2 (ja) 2003-03-31 2003-03-31 紙葉類識別装置および方法
PCT/JP2004/004714 WO2004088599A1 (ja) 2003-03-31 2004-03-31 紙葉類識別装置および方法
GB0521291A GB2418247B (en) 2003-03-31 2004-03-31 Sheet paper identification device and method
US10/551,583 US7574033B2 (en) 2003-03-31 2004-03-31 Sheet paper identification device and method
DE112004000570T DE112004000570T5 (de) 2003-03-31 2004-03-31 Vorrichtung und Verfahren zum Identifizieren von Papierscheinen
CA002520489A CA2520489A1 (en) 2003-03-31 2004-03-31 Sheet paper identification device and method
CNA2004800086469A CN1768356A (zh) 2003-03-31 2004-03-31 纸张类识别装置及方法
KR1020057018060A KR100704851B1 (ko) 2003-03-31 2004-03-31 종이류 식별장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003094763A JP4222546B2 (ja) 2003-03-31 2003-03-31 紙葉類識別装置および方法

Publications (2)

Publication Number Publication Date
JP2004302836A JP2004302836A (ja) 2004-10-28
JP4222546B2 true JP4222546B2 (ja) 2009-02-12

Family

ID=33127405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003094763A Expired - Fee Related JP4222546B2 (ja) 2003-03-31 2003-03-31 紙葉類識別装置および方法

Country Status (8)

Country Link
US (1) US7574033B2 (ja)
JP (1) JP4222546B2 (ja)
KR (1) KR100704851B1 (ja)
CN (1) CN1768356A (ja)
CA (1) CA2520489A1 (ja)
DE (1) DE112004000570T5 (ja)
GB (1) GB2418247B (ja)
WO (1) WO2004088599A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1950856B (zh) * 2004-03-08 2012-02-15 科学和工业研究理事会 使用积分透射和反射光谱响应的改进的验钞机
JP2006194858A (ja) * 2004-12-17 2006-07-27 Micronics Japan Co Ltd 表示用パネルの検査装置
US7516949B2 (en) * 2005-08-10 2009-04-14 First Data Corporation Sideways sheet feeder and methods
DE102007037923A1 (de) 2007-08-10 2009-02-12 Giesecke & Devrient Gmbh Optischer Sensor zur Erfassung von Wertdokumenten und Verfahren zur Reinhaltung eines Sensorfensters des Sensors
KR100881230B1 (ko) * 2008-08-27 2009-02-09 주식회사 상상돔 스테레오 영상을 이용한 고 정밀 위폐 감별 시스템
EP2641389A1 (en) * 2010-11-16 2013-09-25 Thomson Licensing Method and apparatus for automatic film restoration
JP5781554B2 (ja) * 2013-02-07 2015-09-24 東芝テック株式会社 情報処理装置及びプログラム
CN103440701B (zh) * 2013-09-11 2015-09-23 广州广电运通金融电子股份有限公司 一种钞票的磁信号检测方法及装置
US9222531B2 (en) * 2014-02-20 2015-12-29 GM Global Technology Operations LLC Vehicle transmission with tie-up monitoring logic
CN104200566B (zh) 2014-09-11 2018-04-20 广州广电运通金融电子股份有限公司 一种基于清分机积灰条件下的钞票识别方法及清分机
CN104331980A (zh) * 2014-11-04 2015-02-04 广州御银自动柜员机技术有限公司 凭证扫描回收装置及其回收方法
JP2016099986A (ja) * 2014-11-26 2016-05-30 富士通フロンテック株式会社 媒体処理装置、媒体処理方法および媒体処理プログラム
CN111930084B (zh) * 2020-08-04 2022-09-23 广东理文造纸有限公司 基于纸面尘埃检测的无尘纸生产控制系统及方法
CN114460075B (zh) * 2021-12-30 2023-12-19 南京华鼎纳米技术研究院有限公司 一种基于图像识别的纸张修补方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01250050A (ja) * 1988-03-30 1989-10-05 Toshiba Corp 光学系の付着ごみ等検出装置
JPH0792853B2 (ja) * 1989-06-19 1995-10-09 株式会社日本コンラックス 紙葉類識別装置及び方法
US5214470A (en) * 1992-04-09 1993-05-25 Xerox Corporation Method and apparatus for compensating for dirt or etched areas on a document platen
JPH06203244A (ja) 1992-12-25 1994-07-22 Toyo Commun Equip Co Ltd 紙幣等の真贋識別装置
DE19517194A1 (de) 1995-05-11 1996-11-14 Giesecke & Devrient Gmbh Vorrichtung und Verfahren zur Prüfung von Blattgut, wie z.B. Banknoten oder Wertpapiere
JP3590834B2 (ja) * 1997-09-29 2004-11-17 株式会社日立製作所 紙幣取引装置
JP2002092683A (ja) * 2000-07-14 2002-03-29 Oki Electric Ind Co Ltd 媒体真偽鑑別装置
JP2002183722A (ja) * 2000-12-12 2002-06-28 Nippon Conlux Co Ltd 貨幣識別方法及び装置

Also Published As

Publication number Publication date
US20060233432A1 (en) 2006-10-19
GB2418247B (en) 2006-10-11
GB0521291D0 (en) 2005-11-30
GB2418247A (en) 2006-03-22
JP2004302836A (ja) 2004-10-28
WO2004088599A1 (ja) 2004-10-14
DE112004000570T5 (de) 2006-04-13
CA2520489A1 (en) 2004-10-14
KR100704851B1 (ko) 2007-04-09
US7574033B2 (en) 2009-08-11
CN1768356A (zh) 2006-05-03
KR20050118209A (ko) 2005-12-15

Similar Documents

Publication Publication Date Title
JP4222546B2 (ja) 紙葉類識別装置および方法
EP2660787A1 (en) Defect categorisation in a digital image
JP3909667B2 (ja) 紙幣識別装置および識別方法
WO2004077366A1 (ja) 紙葉類識別装置および方法
JP2004326547A (ja) 紙葉類識別装置および方法
JP7227818B2 (ja) 紙幣識別装置、紙幣処理装置及び紙幣識別方法
JP2004326548A (ja) 紙葉類識別装置および方法
JPH03191495A (ja) 紙幣識別装置
CN108604397B (zh) 有价票券处理装置及有价票券处理方法
JPH07129812A (ja) 紙幣判別装置
WO2018016365A1 (ja) 紙葉類識別装置及び紙葉類識別方法
JP3651177B2 (ja) 紙葉類鑑別装置
JP3827792B2 (ja) 蛍光センサを用いた紙葉類の真偽判定装置
WO2017203614A1 (ja) 紙葉類情報採取装置及び紙葉類情報採取方法
JP3540684B2 (ja) 紙葉類の真偽判定方法
JP2000132725A (ja) 紙幣鑑別装置
JP4596594B2 (ja) 紙葉類の蛍光スレッド検出装置
JP3363848B2 (ja) 紙葉類の真偽判定方法
JP4382564B2 (ja) 紙葉類識別装置および方法
JP2005316727A (ja) 紙葉類識別装置および方法
JP2005321880A (ja) 紙葉類識別装置および方法
JPH06164846A (ja) 画像読取装置における異常検出装置
JPH0555917B2 (ja)
JPS61151794A (ja) 紙葉類鑑別装置におけるセキユリテイスレツドの検知方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060119

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20070530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081114

R150 Certificate of patent or registration of utility model

Ref document number: 4222546

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131128

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees