JP4548504B2 - 認証用撮像装置、認証用撮像方法、および認証用撮像プログラム - Google Patents

認証用撮像装置、認証用撮像方法、および認証用撮像プログラム Download PDF

Info

Publication number
JP4548504B2
JP4548504B2 JP2008100872A JP2008100872A JP4548504B2 JP 4548504 B2 JP4548504 B2 JP 4548504B2 JP 2008100872 A JP2008100872 A JP 2008100872A JP 2008100872 A JP2008100872 A JP 2008100872A JP 4548504 B2 JP4548504 B2 JP 4548504B2
Authority
JP
Japan
Prior art keywords
palm
image
finger
authentication
blood vessel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008100872A
Other languages
English (en)
Other versions
JP2009252052A (ja
Inventor
輝幸 樋口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008100872A priority Critical patent/JP4548504B2/ja
Priority to US12/412,864 priority patent/US7792337B2/en
Priority to TW098111195A priority patent/TWI393066B/zh
Priority to CN2013101409016A priority patent/CN103353932A/zh
Priority to CN2009101338993A priority patent/CN101556648B/zh
Publication of JP2009252052A publication Critical patent/JP2009252052A/ja
Application granted granted Critical
Publication of JP4548504B2 publication Critical patent/JP4548504B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1312Sensors therefor direct reading, e.g. contactless acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70Multimodal biometrics, e.g. combining information from different biometric modalities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns

Description

本発明は、手を撮像し得られる生体特徴に基づいて個人認証を行う認証用撮像装置に関する。
指の撮像画像を用いて個人を認証する生体特徴認証技術は、指紋等の表皮の紋様や血管のパターンを、予め登録された情報と照合する方式として知られている。また、手のひらを用いて個人を認証する生体特徴認証技術についても、掌紋等の表皮の紋様や手のひら部の血管パターンを予め登録された情報と照合する方式が知られており、例えば、銀行の自動預払預貯金機(ATM)のような機器に、上記のように指または手のひらの生体特徴を用いて個人認証を行う技術が導入されている。
その一方で、銀行の自動預払預貯金機(ATM)などの市場では、指と手のひらの2つの生体特徴認証技術が銀行によって別々に搭載されており、多数の銀行に対応する必要のあるATMでは、指紋および掌紋両方の生体特徴撮像(入力)装置が必要であり、その普及を妨げているという不都合が生じている。
これに対して、非接触型の生体特徴撮像装置の関連技術として指の指紋を生体特徴として利用する手法が開示されている(特許文献1)。
又、指の血管を生体特徴として利用する手法(特許文献2)や、手のひらの血管を生体特徴として使用した手法(特許文献3)が開示されている。
特開2003−85538公報 特願平5−145952公報 特開2006−107401公報
しかしながら、上記関連技術では、それぞれ異なった光学系と撮像手段が利用されているため、例えば指紋と掌紋のように、複数の生体特徴認証技術に対応するためには別々に複数の入力装置および撮像装置を利用する必要が生じ、認証装置の小型化および低価格化を行うことができないという不都合があった。
又、単一の生体情報を利用する認証装置の場合、撮影される時点における利用者の体調、皮膚の状態、血圧状態などにより、認証精度が安定しないという不都合が生じ得る。
更に、多量のデータの中から撮影された画像に合致する1つの画像情報を抽出するには、予め登録された画像ひとつひとつとの照合処理を行う必要があるため、照合処理にかかる時間が長くなってしまうという不都合があった。
[発明の目的]
本発明は、上記従来例の有する不都合を改善し、生体情報の照合処理をより迅速に行う認証用撮像装置を提供することを、その目的とする。
上記目的を達成するために、本発明に係る認証用撮像装置は、指を撮影可能にガイドする指ガイドと、手のひらを撮影可能にガイドする掌ガイドと、前記ガイドされた指および手のひらを共通の光学的条件下で撮影する単一の撮像部と、予め登録された登録指画像および登録掌画像を記憶する登録画像記憶部と、前記撮影された指画像および掌画像と前記登録指画像および登録掌画像との照合を行う照合認証部とを備えた認証用撮像装置であって、前記照合認証部は、前記撮影された指画像に基づき特徴情報の近似する登録指画像を抽出する手段と、前記抽出された登録指画像に対応する登録掌画像と前記撮影された掌画像との照合結果に基づき認証判定を行う手段と撮像された映像内における左右両端近傍の予め設定された画像領域の白黒階調に基づき撮像中の撮像対象が指であるか掌であるかを判定する手段と、前記撮像部に予め設定された撮影モードを指の撮影を行う指撮影モードと手のひらの撮影を行う掌撮影モードとを前記判定に基づき相互に切り替える手段とを備えた構成をとっている。
手のひらを撮像可能にガイドする掌ガイドと、指を撮影可能にガイドする指ガイドとを有し、手のひらと指とを撮像する単一の撮像部を備えた認証用撮像装置にあって、指および手のひらを撮像し予め登録された画像に基づき個人認証判定を行う認証用撮像方法において、
前記撮影された指撮影画像と予め登録された登録指画像との照合を行い近似する特徴情報を有する認証対象候補を選出し、撮像された映像内における左右両端近傍の予め設定された画像領域の白黒階調に基づき撮像中の撮像対象が指であるか掌であるかの判定を行い、前記撮像部に予め設定された撮影モードを指の撮影を行う指撮影モードと手のひらの撮影を行う掌撮影モードとを前記判定に基づき相互に切り替えて撮影を行い、前記選出された認証対象候補の予め登録された登録掌画像とを照合し個人認証判定を行うことを特徴とする。
更に、本発明にかかる認証用撮像プログラムは、手のひらを撮像可能にガイドする掌ガイドと、指を撮影可能にガイドする指ガイドとを有し、手のひらと指とを撮像する単一の撮像部を備えた認証用撮像装置にあって、指および手のひらを撮像し予め登録された画像に基づき個人認証判定を行うための認証用撮像プログラムにおいて、前記撮影された指撮影画像と予め登録された登録指画像との照合を行い近似する特徴情報を有する認証対象候補を選出する指画像照合選出機能と、撮像された映像内における左右両端近傍の予め設定された画像領域の白黒階調に基づき撮像中の撮像対象が指であるか掌であるかの判定を行う指掌判定機能と、前記撮像部に予め設定された撮影モードを指の撮影を行う指撮影モードと手のひらの撮影を行う掌撮影モードとを前記判定に基づき相互に切り替えて撮影を行う撮影モード切替機能と、前記選出された認証対象候補の予め登録された登録掌画像とを照合し個人認証判定を行掌認証判定機能と、をコンピュータに実行させることを特徴とする。
本発明は、以上のように構成され機能するので、これによると、ガイドされた指および手のひらをそれぞれ撮像する単一の撮像部と、撮影された指および掌画像に基づき認証判定を行う照合認証部とを備えた構成とすることにより、複数の生体情報に基づく照合判定処理を迅速に行うことができ、且つ認証精度を向上させることができる。
[実施形態]
ここでは、まず、本発明の実施形態の基本的構成内容について説明する。
本実施形態の生体特徴撮像装置(以下「撮像装置」という)100は、図1に示すように、撮像装置100の内部に設けられたカメラ等の撮像手段104を設け、この撮像手段104に対して指の指紋および指血管パターンの撮像領域を撮影に適した位置に導く指先ガイド102および指根ガイド103と、手のひらの掌紋および掌血管パターンを撮影に適した位置に導く掌ガイド101とが撮像装置100の上部に設けられた構成となっている。
ここで、指の撮影を行うにあたっては、上記指先ガイド102に利用者の指の先端が置かれると共に、指根ガイド103には当該指の根元(指根部)が置かれることにより、利用者の指が、撮像手段104による撮像に適した位置に導かれる。
また、掌ガイド101は、利用者の指根部が置かれることにより、撮像手段104に対して利用者の手のひらを撮像に適した位置に導く。
尚、掌ガイド101によりガイドされた手のひらの撮像領域の位置は、指先ガイド102および指根ガイド103によりガイドされた指の撮像領域の位置より撮像手段104から遠ざかる側に設定される。つまり、ガイドされた指の位置は、ガイドされた手のひらの位置と撮像装置104との間に位置する。
これにより、ガイドされた掌撮像領域の位置は、指撮影領域の位置に比べて撮像手段104との距離が大きくなるため、指の撮像領域より広い範囲の掌の範囲を撮影することが可能となる。
このため、掌画像による生体認証、つまり掌紋および掌血管パターンにより認証判定を行う場合に、より多くの特徴点や認証判定に利用される個人特徴情報を撮像することができ、これにより、認証精度を向上させることができる。
また、ガイドされた指および掌の撮像領域の位置が、上下に重なる位置に設定されるので、撮像装置100の専有面積を小さく設定することができる。このため、この撮像装置の設置スペースを抑制することができ、設置にかかるコストを低減することができる。
掌ガイド101は、凹部201,202,203を有し、 手のひらの掌紋および掌血管を撮像手段104で撮像する場合、図4に示すように、この凹部に利用者の手の中心3本の指(人差し指,中指,薬指)の根元部が乗せられることにより、手のひらの撮影領域は、撮像可能な位置にガイドされる。
指先ガイド102および指根ガイド103は、利用者の指の指紋および血管パターンを撮像手段104で撮像する場合に、図5に示すように、指の先端が指先ガイド102に、そして同じ指の根元が指根ガイド103に置かれることにより、
指の撮影領域が撮像可能な位置にガイドされる。
ここで、上記撮像装置100の撮像手段104を含む縦断面図を図2(A)に、また、図2(A)におけるA−A’に沿った断面図を図2(B)に示す。
ここで、指紋掌紋用光源208は、面状光源で、図2(A)および(B)に示すように、装置指先側(前面側)片面に配置され、指紋あるいは掌紋を撮像する場合に点灯され、指の指紋部または手のひらの掌紋部を照射する。
指紋掌紋用光源208は、皮膚表面の凹凸である指紋および掌紋を撮像するために、なるべく皮膚表面の凹凸による影ができた方が望ましいため、一方向から照射を行う。
尚、指紋掌紋用光源208は、血管が写りにくい短い波長の光源が望ましい。又、外乱光の除去の効果を考えると、指紋掌紋用光源208は、血管用光源209と同じ近赤外の波長帯であってもよい。指紋掌紋用光源208および血管用光源209が同じ波長帯であった場合でも、専用の指紋掌紋用光源が一方向から照射を行う配置とすることにより、十分なコントラストが得られ、更には、撮像された画像に対する画像処理を行うことにより指紋掌紋の識別を妨げる外光の影響を十分に抑制することができる。
血管用光源209は、線状光源で装置左右両側面内側にそれぞれ配置され、指の血管あるいは手のひらの血管を撮像する場合に、ガイドされた指および手のひらに対して近赤外光の照射を行う。
更に、血管用光源209は、指および手のひらの血管パターンの撮像を行うのに際し、皮膚表面の凹凸である指紋および掌紋の影が撮像画像になるべく現れないようにするため、撮像対象の指および手のひらを挟んだ2方向からの照射を行う。
撮像手段104は、指の指紋および指血管パターン、または手のひらの指紋および掌血管パターンを撮像しそれぞれの画像データを生成する機能を有する。
ここで、撮像手段104は、CCDやCMOSなどのイメージセンサおよび制御系、イメージセンサに指や手のひらの画像を結像するレンズ光学系などで構成されるものとする。
また、撮像手段104は、撮影によりイメージセンサに結像した画像を画像データに変換するADコンバータなどを含み構成される。
更に、撮像手段104には、指を撮像するための適切な焦点距離やシャッタースピードなどが予め設定された指撮像モードと、同様に手のひらを撮像するための適切な焦点距離やシャッタースピード等が予め設定された掌撮像モードが、予め設定されている。
また、撮像装置100は、図3に示すように、撮像手段104に接続され、当該撮像手段104により生成された画像データを取得する画像処理部204と、予め登録された指紋や掌紋、血管パターンなどの画像特徴データを記憶する照合部205と、撮像手段104に接続され当該撮像手段104の撮像モード等の制御を行う撮像モード104とを有した構成となっている。
画像処理部204は、撮像手段104から取得した画像データから指紋や掌紋、指および掌血管の画像特徴を抽出すると共に、抽出された画像特徴データを照合部205に送信する画像特徴抽出機能を有する。
ここで、画像処理部204は、マイクロプロセッサーなどで構成され、指の指紋や手のひらの掌紋および血管画像の画像処理を適切に行う。
照合部205は、 前記予め登録された画像特徴データに基づき画像処理部204から送り込まれた画像特徴データを照合する画像データ照合機能を備えている。
制御部210は、撮像手段104に接続され、撮像手段104の撮像モードを制御する撮像モード制御機能を備えている。
又、制御部210は、画像処理部204から送り込まれた画像データに基づき撮像手段104の撮影モードを設定する階調モード設定機能を備えてもよい。
このとき、制御部210は、撮像された画像データを取得すると共に、この画像データ内の予め設定された1または異なる複数の画素の階調を調べ、これにより、結像された画像が指の画像であるか、手のひらの画像であるかを判定する機能を有する。
例えば、撮像された画像の左右どちらかに偏った部分のいくつかの画素の階調を、撮像された画像データに基づき取得し、それらの階調が全て「黒」を示す場合、取得された画像は画像の中央部のみが結像された指の画像であると判定することができる。
また、設定された画素が全て「白」を示す場合、画像データの画面全体が結像した画像である判定でき、これにより、この画像は、結像領域の広い手のひらであると判定することができる。
上記のようにして撮像対象が、手のひらなのか指なのかを判定すると共に、撮像手段104の撮像モードを、撮像対象に適合した撮像モードに設定するようにしてもよい。
また、制御部210は、掌ガイド101および指先ガイド102に接続され、例えば、掌ガイド101に指根部が載せられた、つまり、掌ガイド101が手のひらをガイドした状態のときに、センサーなどを介して、これを検知するガイド検知機能を備え、掌ガイドに手が載せられたことが検知された場合には、撮像対象が手のひらと判定すると共に、撮像手段104の撮像モードを撮像対象(手のひら)に適合した撮像モードに設定するようにしてもよい。
更に、制御部210は、例えば、指ガイド102に指先部が載せられた、つまり、指ガイド102が指をガイドした状態のときに、上記ガイド検知機能によりこれを検知し、撮像対象が指であるという判定行う。ここで撮像手段104の撮像モードを撮像対象(手のひら)に適合した撮像モードに設定(変更)するようにしてもよい。
これにより、上記撮像装置100は、指紋、掌紋、指血管パターン、および掌血管パターンを撮像することができ、個人認証にかかるセキュリティを有効に確保することができる。
また、一つの撮像手段で指の指紋と血管、手のひらの掌紋と血管の生体特徴を撮像すると共に認証判定することによって、小型で安価な生体特徴撮像装置を提供することができる。
更に、複数の異なる生体特徴を同一の撮像手段104により撮像することにより、撮像を行う撮像手段ごとに異なる画像データの特質や癖などが現れることにより生じる認証判定にかかる影響を抑制することができる。
また、制御部210は、撮像部104を制御して、上記撮影された指血管パターン画像の相対位置として指紋の位置を(予測)検出する指紋位置予測検出機能を備えている。
これにより、撮影された指血管パターン、掌血管パターン画像に基づいて、その相対位置としての指紋、掌紋の撮影領域を予測し特定することができる。
照合部205は、予め登録された指紋や掌紋、血管パターンなどの登録画像との照合を行う画像照合機能を有する。
照合部205は、照合データ記憶手段211に予め登録された指血管登録画像と、送り込まれた指血管特徴画像との照合を行い、予め設定された特徴情報に合致した登録指血管画像(認証候補指血管画像)の抽出(選出)を行う機能を有する。
照合部205は、送り込まれた特徴画像情報における特徴情報を抽出すると共にこの特徴情報に基づき、予め登録された登録画像(N)との1:N照合を行う機能を備えている。
又、照合部205は、特徴情報として、複数の特徴情報が一致する登録画像を選出し、特徴情報の類似した候補画像を選出する、換言すると、予め設定された照合レベルに応じて粗い特徴照合を行う候補画像選出機能を有する。
これにより、多数の登録画像の中から、迅速に認証候補画像を選出することができる。
尚、照合部205に送られた画像が、掌を撮影した掌画像(掌血管パターン、掌紋画像)である場合、掌の画像データは、指の画像データに比べて画像サイズが大きいため、照合処理に時間がかかってしまう。
このため、指の指紋、または指血管パターン、またはその両方による照合を先に行い、照合の対象となる登録された掌画像を限定することによって、掌照合処理にかかる時間を短縮することができる。
また、照合部205により行われる照合レベルを可変的に設定できるようにしてもよい。例えば、特徴情報の設定を細かく(多数)設定することにより、照合により絞られる(選出される)登録画像の数を限定することができる。
[実施形態の動作説明]
次に、上述のように構成される生体特徴撮像装置100の動作について説明する。
まず、撮像手段104が、ガイドされた指および手のひらの撮影を行い、撮影された指撮影画像と予め登録された登録指画像との照合を行い近似する特徴情報を有する登録指画像を選出する(指画像照合選出工程)。
次に、選出された登録指画像に対応した登録掌画像と、撮影された掌撮影画像とを照合する(掌照合工程)。
また、撮像手段104が、ガイドされた指の撮像領域を撮影し(指撮影工程)、この撮影により得られた指の撮影画像と予め登録された指画像との粗照合を行う(指画像粗照合工程)。ここで、撮像手段104に予め設定された撮影モードを手のひらの撮影を行う掌撮影モードに変換する(撮影モード変換工程)。次いで、掌ガイド101によりガイドされた手のひらの撮像領域を撮影する(掌撮影工程)。次いで、上記選出された登録指画像それぞれに対応して登録された登録掌画像と撮影された掌画像との画像照合を行い(掌画像照合工程)個人認証判定を行う(掌認証判定工程)設定としてもよい。
ここで、上記指画像照合選出工程、掌照合工程、指撮影工程、指撮影工程、指画像粗照合工程、撮影モード変換工程、掌撮影工程、および掌認証判定工程については、その実行内容をプログラム化し、コンピュータに実行させる構成としてもよい。
尚、本実施形態では、撮影された指血管パターン画像、指紋画像、掌血管パターン画像、および掌紋画像を、この順番で照合処理を行うと共に個人認証判定を行う設定としているが、指血管パターン画像と掌血管パターン画像、および掌紋画像の組み合わせや、指紋画像、掌血管パターン画像、および掌紋画像の組み合わせにより照合および個人認証判定処理を行う設定としてもよい。
また、指血管パターン画像、指紋画像、および掌血管パターン画像の組み合わせや、指血管パターン画像、指紋画像、および掌紋画像の組み合わせにより照合および個人認証判定処理を行う設定としてもよい。
これにより、撮像される範囲の小さい指画像(指血管パターン画像、指紋画像)に基づき、登録された画像との粗照合を迅速に行うことができ、更には、掌画像(掌血管パターン画像、掌紋画像)に基づき個人認証判定全体の時間短縮を実現することができる。
次に、上記実施形態の撮像装置100の動作について、図6のフローチャートに基づき詳説する。
まず、撮像手段104が、ガイドされた指の指血管パターンを撮像する(ステップS101:指血管撮像工程)。
このとき、利用者の指は、図5に示すように、指先ガイド102および指根ガイド103に置かれているものとする。これにより、指先ガイド102および指根ガイド103に置かれた指は、撮像に適する位置にガイドされる。
又、このとき制御部210が、指先ガイド102および指根ガイド103に指が置かれたことを検知すると共に、撮像手段104の撮像モードを指撮像モードに設定することにより、撮像手段104がガイドされた指の指血管パターンを撮影する設定としてもよい。
更に、制御部210が、撮像手段104により撮影された映像内における特定の画素の階調に基づいて、撮像手段104の撮像モードを指撮像モードにするか掌撮像モードにするかを設定するようにしてもよい。
この場合、制御部210が、撮影された映像内における特定の画素の階調に基づいて、ガイドに対して指又は掌が撮影可能に置かれているかを判定する。
例えば、撮影されている映像内の左右両端付近に設定された画素について、当該画素が予め設定された階調よりも高い、つまり黒い(濃い)場合には、指が置かれていると判定し、当該画素が予め設定された階調より低い、つまり白い(薄い)場合には、掌が置かれていると判定する。
次いで、撮像手段104は、ガイドされた指の指紋撮影を行う(ステップS102:指紋撮像工程)。
ここで、制御部210が、上記指紋撮像工程に先立ち、撮像部104を制御して、上記撮影された指血管パターン画像の相対位置として指紋の位置を(予測)検出する設定としてもよい。
これにより、撮影対象である指紋の探索範囲が限定されるため、指紋位置の探索時間、および指紋撮像にかかる時間を効果的に短縮することができる。
また、上記撮影された指血管パターンに基づき、その相対位置から指紋の中心点を効果的に探索、設定することができるので、撮影される指紋画像の画像品質を高めることができる。
次いで、撮像手段104は、上記撮影された指血管パターン画像を画像処理部204に送出する(ステップS103)。次に、画像処理部204は、この指血管パターン画像に基づき画像特徴を抽出して指血管特徴画像を生成すると共に、この指血管特徴画像を照合部205に送る(ステップS104:指血管特徴画像生成工程)。
次に、照合部205は、照合データ記憶手段211に予め登録された指血管登録画像と、送り込まれた指血管特徴画像との照合を行い、予め設定された特徴情報に合致した登録指血管画像(認証候補指血管画像)の抽出(選出)を行う(ステップS105:認証候補指血管画像選出工程)。
ここで、照合部205は、送り込まれた指血管特徴画像(1)における特徴情報を抽出すると共に、この特徴情報に基づき、予め登録された指血管登録画像(N個)との1:N照合を行う。
ここでは、照合部205は、特徴情報として、例えば、5つの特徴情報が一致する指血管登録画像を選出する。
このように、照合部205は、登録された画像情報から特徴情報の類似した候補画像を選出することにより、粗く特徴照合を行う。これにより、多数の登録画像の中から、迅速に認証候補画像を選出することができる。
ここで、照合部205により行われる照合レベルを可変的に設定できるようにしてもよい。例えば、特徴情報の設定を細かく(多数)設定することにより、照合により絞られる(選出される)登録画像の数を限定することができる。
次いで、撮像手段104は、上記撮影された指紋画像を画像処理部204に送出する(ステップS106)。
画像処理部204は、この指紋画像に基づき画像特徴を抽出して指紋特徴画像を生成すると共に、この指紋特徴画像を照合部205に送る(ステップS107:指紋特徴画像生成工程)。
尚、上記ステップS106〜107の工程は、ステップS103に続いて実行される設定としてもよい。
これにより、ステップS105の指血管候補画像選出工程の間に、撮影された指紋特徴情報を照合部205に送ることができるため、全体としての照合時間を短縮することができる。
次に、照合部205は、送り込まれた指紋特徴画像と、上記選出された指血管登録画像それぞれに対応した登録指紋画像との照合を行う(ステップS108:認証候補指紋画像選出工程)。
尚、上記ステップS105の認証候補指血管画像選出工程の結果、予め生体情報が登録された1人のユーザが特定された場合には、照合部205が、特定された登録指紋画像と上記指紋特徴画像とを相互に照合を行う1対1照合(1対1掌血管照合)ことにより認証判定を行う設定としてもよい。
ここで、照合部205は、抽出された各指血管登録画像に対応する指紋画像それぞれと、撮影された指紋画像に含まれる特徴点(ここでは、5点とする)情報に基づき指紋情報の照合を行い(指紋照合工程)、上記特徴点情報の合致、又は近似する認証候補指紋画像を選出する。
これにより、照合部205は、上記選出された認証候補指紋画像から特徴点情報の位置に基づき、更に認証候補画像の限定抽出を行うことができる。
ここで、照合部205により行われる照合レベルを可変的に設定できるようにしてもよい。例えば、指紋情報における特徴点情報の数をより多く設定することにより、当該照合により絞られる認証候補画像の数をより少数に限定することができる。
次いで、撮像手段104が、掌血管パターンを撮像する(ステップS109:掌血管撮像工程)。ここでは、利用者の手のひらが、図6に示すように、掌ガイド101に置かれているものとする。
ここで、制御部210が、掌ガイド101に指根部が置かれたことを検知すると共に、撮像手段104の撮像モードを指撮像モードに設定することにより、撮像手段104がガイドされた掌血管パターンを撮影する設定としてもよい。
又、制御部210が、撮像手段104により撮影された映像内における特定の画素の階調に基づいて、撮像手段104の撮像モードを掌撮像モードに設定するようにしてもよい。
この場合、制御部210が、撮影された映像内における特定の画素の階調に基づいて、ガイドに対して指が置かれているか、掌が置かれているかを判定する。例えば、撮影されている映像内中央の左右両端付近に設定された画素について、当該画素が予め設定された階調よりも高い、つまり黒い(濃い)場合には、指が置かれていると判定し、当該画素が予め設定された階調より低い、つまり白い(薄い)場合には、掌が置かれていると判定する。
次いで、撮像手段104は、ガイドされた手のひらの掌紋撮影を行う(ステップS110:指紋撮像工程)。
次に、撮像手段104は、撮影された掌血管パターン画像を画像処理部204に送出する(ステップS111)。
ここで、画像処理部204は、この掌血管パターン画像に基づき画像特徴を抽出して掌血管特徴画像を生成すると共に、この掌血管特徴画像を照合部205に送る(ステップS111:掌血管特徴画像生成工程)。
次に、照合部205は、照合データ記憶手段211に予め登録された登録掌血管画像のうちの上記選出された認証候補指紋画像それぞれに対応した登録掌血管画像と、上記送り込まれた指紋特徴画像との照合を行う(ステップS112:掌血管照合工程)。
ここで、照合部205は、上記選出された認証候補指紋画像に対応した掌血管画像内で、撮影された掌血管パターン画像に含まれる特徴情報に基づき掌血管パターンの照合を行い、上記特徴情報の合致する認証候補掌血管画像を選出する。
これにより、照合部205は、上記選出された認証候補画像から掌血管パターンの特徴情報に基づき、更に認証候補画像の限定抽出を行うことができる。
ここで、照合部205により行われる照合レベルを可変的に設定できるようにしてもよい。例えば、掌血管パターン情報における特徴情報の数をより多く設定する(照合レベルを上げる)ことにより、当該照合により絞られる認証候補画像の数をより少数に限定することができる。
尚、上記ステップS105の認証候補指血管画像選出工程、または、ステップS108の認証候補指紋画像選出工程の結果、予め生体情報が登録された1人のユーザが特定された場合には、照合部205が、特定された登録指紋画像と上記指紋特徴画像とを相互に照合を行う1対1照合(1対1掌血管照合)ことにより、個人認証判定を行う設定としてもよい。
次いで、撮像手段104は、上記撮影された掌紋画像を画像処理部204に送出する(ステップS113)。
ここで、画像処理部204は、この掌紋画像に基づき画像特徴を抽出して掌紋特徴画像を生成すると共に、この指紋特徴画像を照合部205に送る(ステップS114:掌紋特徴画像生成工程)。
次に、照合部205は、送り込まれた掌紋特徴画像と、上記選出された認証候補掌血管画像それぞれに対応する登録掌紋画像との照合を行う(ステップS115:掌紋照合工程)。
ここで、照合部205は、上記選出された認証候補掌血管画像に対応した登録掌紋画像内で、上記掌紋特徴画像に含まれる特徴点情報に基づき照合を行い、上記特徴点情報の合致する登録指紋画像1つを特定する。
ここで、1つの掌紋情報が特定された場合に、個人認証成功とする。
尚、上記ステップS112の掌血管照合工程の結果、1人のユーザの生体情報画像に特定された場合には、照合部205は、1人に絞られた認証候補掌血管画像に対応した登録掌紋画像と掌紋特徴画像とを、両画像に含まれる特徴点情報に基づき、1対1照合を行う(掌紋照合工程)設定としてもよい。
ここで、この1対1照合の結果、掌紋情報が適合した場合に、個人認証成功とする。また、掌紋情報が適合しない場合は、認証失敗とする。
以上のように、本発明の実施形態においては、指および手のひらの生体特徴を撮像すると共に、撮像された指画像に基づき登録された指画像との粗照合を行い、掌画像の照合により個人認証を行うことにより、照合および個人認証全体の処理を迅速に行うことが可能となる。
又、ユーザによるIDの入力を必要とすることなく、撮影された指および手のひら画像だけを用いて個人認証を行うことができるため、認証にかかる高いセキュリティを確保することができる。
更に、指および手のひらの生体特徴を組み合わせて個人認証を行うことにより、従来の単一の生体特徴を利用した認証システムより認証精度の高い生体特徴撮像装置を提供することができる。
尚、上記実施形態では、撮影された指血管パターン画像、指紋画像、掌血管パターン画像、および掌紋画像を、この順番で照合処理を行うと共に個人認証判定を行う設定としたが、指血管パターン画像又は指紋画像と、掌血管パターン画像又は掌紋画像とをそれぞれ組み合わせて個人認証を行う設定としてもよい。
このようにしても、ユーザによるIDの入力を必要とすることなく、撮影された指および手のひら画像だけを用いて個人認証を行うことができ、認証にかかる高いセキュリティを確保することができる。又、従来の単一の生体特徴を利用した認証システムより認証精度の高い個人認証判定処理を行うことができる。
更に、本実施形態では、単一の撮像手段104で指と手のひらの生体特徴を撮像することができ、このため、複数の撮像手段が組み合わされて設置されたものより、撮像装置を安価で小型な撮像装置を提供することができる。
又、指の指紋や血管パターンおよび手のひらの掌紋や血管パターンの生体特徴を、共通の単一の撮像手段104で撮影するため、共通の光学的条件下の画質で撮像することができる。
本発明は、ATMやパーソナルコンピュータ等でその使用に先立ち指および手のひらによる個人認証を行う認証装置や、部屋および建物への入退出時に利用される個人認証システムに適用することが可能である。
本発明による認証用撮像装置の実施形態を示す概略構成斜視図である。 図1の内部構成を示す図で、図2(A)は撮像手段を含む縦断面図、図2(B)は図2(A)のA−A’に沿った断面図である。 図1に開示した認証用撮像装置の内部構成を示す概略ブロック図である。 図1に開示した認証用撮像装置における指撮影時の側面図である。 図1に開示した認証用撮像装置における手のひら撮影時の側面図である。 図1に開示した認証用撮像装置の全体的な動作処理ステップを示すフローチャートである。
符号の説明
101 掌ガイド
102 指先ガイド
103 指根ガイド
104 撮像手段
201,202,203 凹部
204 画像処理部
205 照合部
208 指紋掌紋用光源
209 血管用光源
211 照合データ記憶手段

Claims (11)

  1. 指を撮影可能にガイドする指ガイドと、手のひらを撮影可能にガイドする掌ガイドと、前記ガイドされた指および手のひらを共通の光学的条件下で撮影する単一の撮像部と、予め登録された登録指画像および登録掌画像を記憶する登録画像記憶部と、前記撮影された指画像および掌画像と前記登録指画像および登録掌画像との照合を行う照合認証部とを備えた認証用撮像装置であって、
    前記照合認証部は、前記撮影された指画像に基づき特徴情報の近似する登録指画像を抽出する手段と、前記抽出された登録指画像に対応する登録掌画像と前記撮影された掌画像との照合結果に基づき認証判定を行う手段と
    撮像された映像内における左右両端近傍の予め設定された画像領域の白黒階調に基づき撮像中の撮像対象が指であるか掌であるかを判定する手段と、
    前記撮像部に予め設定された撮影モードを指の撮影を行う指撮影モードと手のひらの撮影を行う掌撮影モードとを前記判定に基づき相互に切り替える手段と、
    を備えたことを特徴とする認証用撮像装置。
  2. 前記請求項に記載の認証用撮像装置において、
    前記照合認証部は、個人認証用に登録された指血管パターンおよび掌血管パターン画像を相互に対応させて記憶する生体情報記憶手段と、前記登録された指血管パターン画像基づき前記撮影された指血管パターンの照合を行い予め設定された特徴情報が一致する指血管パターンを抽出する照合手段とを有し、
    前記照合手段が、前記抽出された各指血管パターンに対応した掌血管パターンと前記撮影された掌血管パターンとの照合を行い当該照合結果に基づき個人認証判定を行う掌認証判定機能を備えたこと特徴とする認証用撮像装置。
  3. 前記請求項に記載の認証用撮像装置において、
    前記照合認証部は、個人認証用に登録された指血管パターンおよび掌紋画像を相互に対応させて記憶する生体情報記憶手段と、前記登録された指血管パターン画像に基づき前記撮影された指血管パターンの照合を行い予め設定された特徴情報が一致する指血管パターンを抽出する照合手段とを有し、
    前記照合手段が、前記抽出された各指血管パターン画像に対応した掌紋画像と前記撮影された掌紋との照合を行い当該照合結果に基づき個人認証判定を行う掌認証判定機能を備えたこと特徴とする認証用撮像装置。
  4. 前記請求項に記載の認証用撮像装置において、
    前記照合認証部は、個人認証用に登録された指紋および掌血管パターンを相互に対応させて記憶する生体情報記憶手段と、前記登録された指紋画像に基づき前記撮影された指紋の照合を行い予め設定された特徴情報が一致する指紋画像を抽出する照合手段とを有し、
    前記照合手段が、前記抽出された各指紋画像に対応した掌血管パターン画像と前記撮影された掌血管パターンとの照合を行い当該照合結果に基づき個人認証判定を行う掌認証判定機能を備えたこと特徴とする認証用撮像装置。
  5. 前記請求項に記載の認証用撮像装置において、
    前記照合認証部は、個人認証用に登録された指紋および掌紋を相互に対応させて記憶する生体情報記憶手段と、前記登録された指紋画像に基づき前記撮影された指紋の照合を行い予め設定された特徴情報が一致する指紋画像を抽出する照合手段とを有し、
    前記照合手段が、前記抽出された各指紋画像に対応した掌紋画像と前記撮影された掌紋との照合を行い当該照合結果に基づき個人認証判定を行う掌認証判定機能を備えたこと特徴とする認証用撮像装置。
  6. 前記請求項に記載の認証用撮像装置において、
    前記照合認証部は、個人認証用に登録された指血管パターン、指紋、および掌紋を相互に対応させて記憶する生体情報記憶手段と、前記登録された指血管パターンおよび指紋画像に基づき前記撮影された指紋の照合を行い予め設定された特徴情報が一致する指血管パターンおよび指紋画像を抽出する照合手段とを有し、
    前記照合手段が、前記抽出された指血管パターンおよび指紋画像に対応した掌紋画像と前記撮影された掌紋との照合を行い当該照合結果に基づき個人認証判定を行う掌認証判定機能を備えたこと特徴とする認証用撮像装置。
  7. 前記請求項に記載の認証用撮像装置において、
    前記照合認証部は、個人認証用に登録された指血管パターン、掌血管パターン、および掌紋を相互に対応させて記憶する生体情報記憶手段と、前記登録された指血管パターン画像に基づき前記撮影された指血管パターンの照合を行い予め設定された特徴情報が一致する指血管パターン画像を抽出する照合手段とを有し、
    前記照合手段が、前記抽出された各指血管パターン画像に対応した掌血管パターンおよび掌紋画像と前記撮影された掌血管パターンおよび掌紋との照合を行い当該照合結果に基づき個人認証判定を行う掌認証判定機能を備えたこと特徴とする認証用撮像装置。
  8. 前記請求項に記載の認証用撮像装置において、
    前記照合認証部は、個人認証用に登録された指紋、掌血管パターン、および掌紋を相互に対応させて記憶する生体情報記憶手段と、前記登録された指紋画像に基づき前記撮影された指紋の照合を行い予め設定された特徴情報が一致する指紋画像を抽出する照合手段とを有し、
    前記照合手段が、前記抽出された各指紋画像に対応した掌血管パターンおよび掌紋画像と前記撮影された掌血管パターンおよび掌紋との照合を行い当該照合結果に基づき個人認証判定を行う掌認証判定機能を備えたこと特徴とする認証用撮像装置。
  9. 前記請求項に記載の認証用撮像装置において、
    前記照合認証部は、個人認証用に登録された指血管パターン、指紋、掌血管パターン、および掌紋を相互に対応させて記憶する生体情報記憶手段と、前記登録された指血管パターンおよび指紋画像に基づき前記撮影された指紋の照合を行い予め設定された特徴情報が一致する指血管パターンおよび指紋画像を抽出する照合手段とを有し、
    前記照合手段が、前記抽出された各指紋画像に対応した掌血管パターンおよび掌紋画像と前記撮影された掌血管パターンおよび掌紋との照合を行い当該照合結果に基づき個人認証判定を行う掌認証判定機能を備えたこと特徴とする認証用撮像装置。
  10. 手のひらを撮像可能にガイドする掌ガイドと、指を撮影可能にガイドする指ガイドとを有し、手のひらと指とを撮像する単一の撮像部を備えた認証用撮像装置にあって、指および手のひらを撮像し予め登録された画像に基づき個人認証判定を行う認証用撮像方法において、
    前記撮影された指撮影画像と予め登録された登録指画像との照合を行い近似する特徴情報を有する認証対象候補を選出
    撮像された映像内における左右両端近傍の予め設定された画像領域の白黒階調に基づき撮像中の撮像対象が指であるか掌であるかの判定を行い、
    前記撮像部に予め設定された撮影モードを指の撮影を行う指撮影モードと手のひらの撮影を行う掌撮影モードとを前記判定に基づき相互に切り替えて撮影を行い、
    前記選出された認証対象候補の予め登録された登録掌画像とを照合し個人認証判定を行うことを特徴とする認証用撮像方法。
  11. 手のひらを撮像可能にガイドする掌ガイドと、指を撮影可能にガイドする指ガイドとを有し、手のひらと指とを撮像する単一の撮像部を備えた認証用撮像装置にあって、指および手のひらを撮像し予め登録された画像に基づき個人認証判定を行うための認証用撮像プログラムにおいて、
    前記撮影された指撮影画像と予め登録された登録指画像との照合を行い近似する特徴情報を有する認証対象候補を選出する指画像照合選出機能と、
    撮像された映像内における左右両端近傍の予め設定された画像領域の白黒階調に基づき撮像中の撮像対象が指であるか掌であるかの判定を行う指掌判定機能と、
    前記撮像部に予め設定された撮影モードを指の撮影を行う指撮影モードと手のひらの撮影を行う掌撮影モードとを前記判定に基づき相互に切り替えて撮影を行う撮影モード切替機能と、
    前記選出された認証対象候補の予め登録された登録掌画像とを照合し個人認証判定を行掌認証判定機能と、
    をコンピュータに実行させることを特徴とする認証用撮像プログラム。
JP2008100872A 2008-04-08 2008-04-08 認証用撮像装置、認証用撮像方法、および認証用撮像プログラム Expired - Fee Related JP4548504B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008100872A JP4548504B2 (ja) 2008-04-08 2008-04-08 認証用撮像装置、認証用撮像方法、および認証用撮像プログラム
US12/412,864 US7792337B2 (en) 2008-04-08 2009-03-27 Imaging apparatus and method for authentication of user
TW098111195A TWI393066B (zh) 2008-04-08 2009-04-03 用來鑑定使用者之成像設備及方法
CN2013101409016A CN103353932A (zh) 2008-04-08 2009-04-08 成像设备和成像方法
CN2009101338993A CN101556648B (zh) 2008-04-08 2009-04-08 成像设备和用于验证使用者的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008100872A JP4548504B2 (ja) 2008-04-08 2008-04-08 認証用撮像装置、認証用撮像方法、および認証用撮像プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010091820A Division JP4849181B2 (ja) 2010-04-12 2010-04-12 認証用撮像装置、認証用撮像方法、および認証用撮像プログラム

Publications (2)

Publication Number Publication Date
JP2009252052A JP2009252052A (ja) 2009-10-29
JP4548504B2 true JP4548504B2 (ja) 2010-09-22

Family

ID=41133330

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008100872A Expired - Fee Related JP4548504B2 (ja) 2008-04-08 2008-04-08 認証用撮像装置、認証用撮像方法、および認証用撮像プログラム

Country Status (4)

Country Link
US (1) US7792337B2 (ja)
JP (1) JP4548504B2 (ja)
CN (2) CN103353932A (ja)
TW (1) TWI393066B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011243042A (ja) * 2010-05-19 2011-12-01 Nec Corp 生体撮像装置、及び生体撮像方法
WO2014080487A1 (ja) * 2012-11-22 2014-05-30 富士通株式会社 情報処理装置、生体部位判定プログラムおよび生体部位判定方法
US9773151B2 (en) 2014-02-06 2017-09-26 University Of Massachusetts System and methods for contactless biometrics-based identification
US10599932B2 (en) 2014-06-09 2020-03-24 Lawrence Livermore National Security, Llc Personal electronic device for performing multimodal imaging for non-contact identification of multiple biometric traits
US9659205B2 (en) 2014-06-09 2017-05-23 Lawrence Livermore National Security, Llc Multimodal imaging system and method for non-contact identification of multiple biometric traits
WO2016063971A1 (ja) 2014-10-24 2016-04-28 日本電気株式会社 生体撮像装置、生体撮像方法、および、プログラム
JP6182556B2 (ja) * 2015-02-09 2017-08-16 東芝テック株式会社 情報処理装置及びセキュリティプログラム
USD814548S1 (en) 2016-08-11 2018-04-03 Gemalto Sa Capture device
USD815147S1 (en) 2016-08-12 2018-04-10 Gemalto Sa Display screen with graphical user interface
USD830412S1 (en) 2016-08-15 2018-10-09 Gemalto Sa Display screen with graphical user interface
USD801971S1 (en) 2016-09-19 2017-11-07 Gemalt Sa Capture device
USD844606S1 (en) * 2017-04-26 2019-04-02 Gemalto Sa Capture device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005235011A (ja) * 2004-02-20 2005-09-02 Dainippon Printing Co Ltd 携帯型情報記憶媒体、認証システム、携帯型情報記憶媒体のプログラム及び認証方法
JP2007200051A (ja) * 2006-01-27 2007-08-09 Hitachi Eng Co Ltd 個人認証装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0721373A (ja) 1993-06-17 1995-01-24 Asahi Optical Co Ltd 個人識別装置
DE19818229A1 (de) * 1998-04-24 1999-10-28 Hauke Rudolf System zur berührungslosen Hand- und Fingerlinien-Erkennung
JP4281272B2 (ja) 2001-09-14 2009-06-17 三菱電機株式会社 指紋画像撮像方法、指紋画像取得方法、指紋画像撮像装置および個人識別装置
JP4546169B2 (ja) * 2004-06-28 2010-09-15 富士通株式会社 手のひら認証用撮像装置
JP4601380B2 (ja) 2004-10-08 2010-12-22 富士通株式会社 生体認証システムの登録方法、生体認証システム及びそのプログラム
WO2007001025A1 (ja) * 2005-06-29 2007-01-04 Kyocera Corporation 生体認証装置
CN100405391C (zh) * 2005-10-14 2008-07-23 北京海鑫科金高科技股份有限公司 一种活体指掌纹采集方法
JP4679349B2 (ja) * 2005-11-22 2011-04-27 Necカシオモバイルコミュニケーションズ株式会社 撮像装置及びレンズの移動制御方法
CN101004789B (zh) * 2006-01-17 2010-05-12 郭岳衡 手指静脉图像识别方法
JP4929805B2 (ja) * 2006-04-11 2012-05-09 沖電気工業株式会社 自動取引装置
JP4933914B2 (ja) * 2007-02-08 2012-05-16 日立オムロンターミナルソリューションズ株式会社 認証装置
TWM319480U (en) * 2007-02-16 2007-09-21 Nano Gate Optoelectronic Robot Image recognition apparatus for finger blood vessel
TWI334578B (en) * 2007-08-28 2010-12-11 Univ Nat Pingtung Sci & Tech Identifying method for fingerprints and palm print

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005235011A (ja) * 2004-02-20 2005-09-02 Dainippon Printing Co Ltd 携帯型情報記憶媒体、認証システム、携帯型情報記憶媒体のプログラム及び認証方法
JP2007200051A (ja) * 2006-01-27 2007-08-09 Hitachi Eng Co Ltd 個人認証装置

Also Published As

Publication number Publication date
US20090252387A1 (en) 2009-10-08
JP2009252052A (ja) 2009-10-29
CN101556648A (zh) 2009-10-14
US7792337B2 (en) 2010-09-07
TW200945246A (en) 2009-11-01
CN101556648B (zh) 2013-05-22
CN103353932A (zh) 2013-10-16
TWI393066B (zh) 2013-04-11

Similar Documents

Publication Publication Date Title
JP4548504B2 (ja) 認証用撮像装置、認証用撮像方法、および認証用撮像プログラム
JP5186929B2 (ja) 認証用撮像装置
JP6650946B2 (ja) モバイル・デバイスを用いてキャプチャしたイメージを使用する指紋ベースのユーザ認証を実行するためのシステムおよび方法
CN110326001B (zh) 使用利用移动设备捕捉的图像执行基于指纹的用户认证的系统和方法
KR101050301B1 (ko) 지정맥 인증 장치
US9672341B2 (en) Systems and methods for spoof detection in iris based biometric systems
US20160078271A1 (en) Touchless fingerprinting acquisition and processing application for mobile devices
JP4849181B2 (ja) 認証用撮像装置、認証用撮像方法、および認証用撮像プログラム
US9514375B2 (en) Multi-biometric authentication apparatus, and multi-biometric authentication system
JP6160148B2 (ja) 生体情報入力装置、生体情報入力プログラム、生体情報入力方法
JP2008198083A (ja) 個人識別装置
JP4945505B2 (ja) 生体情報処理装置
JP5791119B2 (ja) 認証用撮像装置及び認証用撮像方法
JP2005292994A (ja) 人物認識装置と通行制御装置
JP7104940B2 (ja) 掌紋認証装置及び掌紋認証方法
KR101021838B1 (ko) 사용자 인증 촬상 장치 및 방법
EP3627380B1 (en) A method of verifying the acquisition of an individual's biometric data
JP2010165132A (ja) 個人識別装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100615

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100628

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4548504

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees