JPWO2008090608A1 - 画像読取装置、画像読取プログラム、画像読取方法 - Google Patents

画像読取装置、画像読取プログラム、画像読取方法 Download PDF

Info

Publication number
JPWO2008090608A1
JPWO2008090608A1 JP2008554932A JP2008554932A JPWO2008090608A1 JP WO2008090608 A1 JPWO2008090608 A1 JP WO2008090608A1 JP 2008554932 A JP2008554932 A JP 2008554932A JP 2008554932 A JP2008554932 A JP 2008554932A JP WO2008090608 A1 JPWO2008090608 A1 JP WO2008090608A1
Authority
JP
Japan
Prior art keywords
image
extrapolation
reading apparatus
relative position
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008554932A
Other languages
English (en)
Other versions
JP4611427B2 (ja
Inventor
幸弘 安孫子
幸弘 安孫子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2008090608A1 publication Critical patent/JPWO2008090608A1/ja
Application granted granted Critical
Publication of JP4611427B2 publication Critical patent/JP4611427B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1335Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

相対的に移動している対象物の部分を順次読み取ることにより得られる第1画像を複数取得する指紋センサ1と、第1画像の外挿を行うことにより該第1画像の画像範囲を拡張した画像である第2画像を生成する外挿部3と、第1画像及び第2画像の少なくともいずれかからなる複数の画像に基づいて、第1画像または第2画像間の相対位置を算出する相対位置検出部4とを備えた。

Description

本発明は、相対移動する対象物から複数の部分画像を順次読み取る画像読取装置、画像読取プログラム、画像読取方法に関するものである。
携帯電話やPDA(Personal Digital Assistant)などの小型情報機器は、近年の高機能化に伴い、ネットワークに接続されたり大量の個人情報などを格納したりすることができるようになり、これらの機器におけるセキュリティ性能の向上の要求が極めて高くなっている。このような機器においてセキュリティを確保するために、従来から広く用いられているパスワードやID(Identification)カードなどによる個人認証を採用することが考えられる。しかし、パスワードやIDカードは盗用される危険性が高いので、より信頼性の高い個人認証(機器のユーザが、予め登録されたユーザ本人であることの認証)を実現することが強く望まれている。
このような要望に対し、生体情報(バイオメトリクス)による個人認証は、信頼性が高く、上述の要望に応えられるものと考えられる。特に、生体情報として指紋を用いた場合には利便性も高い。
生体情報として指紋を用いて個人認証を行う場合、静電容量式指紋センサや光学式指紋センサにより、被認証者の指から指紋(指紋センサの採取面に接触しうる隆線と同採取面に接触しない谷線とから成る紋様)を画像情報として採取する。そして、その指紋画像の前景(例えば隆線像)から特徴情報(例えば分岐点や端点の位置情報)を抽出し、抽出された特徴情報と予め登録されている被認証者の登録特徴情報とを照合することにより、被認証者が本人であるか否かの判定、つまり個人認証を行っている。
ところで、被認証者から指紋画像を採取する一般的な指紋センサ(以下、平面型指紋センサという場合がある)は、通常、指の大きさよりも大きいセンサ面(採取面)を有している。しかし、近年、指紋センサを携帯電話やPDAといった小型情報機器に搭載するために、センサ面の大きさを指の大きさよりも小さくし、そのセンサ面を通じて連続的に採取された複数の部分画像を統合して指紋全体の画像を得ることが行われている。
このような状況に対応した指紋センサとして、スウィープ型のものがある(例えば特許文献1、特許文献2、特許文献3、特許文献4参照)。このスウィープ型指紋センサは、指の長さよりも十分に短く、小面積の矩形採取面(センサ面/撮像面)を有している。そして、指を採取面に対して移動させるか、または、採取面(指紋センサ)を指に対して移動させるかしながら、指紋センサによって、指の指紋について複数の部分画像を連続的に採取し、採取された複数の部分画像から、指の指紋画像の全体を再構成することが行われている。このように再構成された指紋画像から、特徴点(隆線の分岐点や端点)の情報を抽出・生成し、その情報に基づいて上記個人認証が行われることになる。なお、上述のような、採取面に対する指の相対位置を変化させること(相対移動)のことを「スウィープ(sweep)」または「スライド(slide)」と呼ぶ。
また、スウィープ型の指紋センサをポインティングデバイスに利用する技術がある(例えば、特許文献5参照)。
特開平10−091769号公報 特開2003−208620号公報 特開2006−107366号公報 特開2003−248820号公報 特開2001−307078号公報
しかしながら、上述した特許文献1、特許文献2、特許文献3、特許文献4の技術において、採取した指紋の部分画像から指紋全体の情報を得る際、部分画像同士に重なり部分があることが必要である。同様に、特許文献5の技術においても、指の移動方向及び方向を測定するためには、部分画像同士に重なり部分があることが必要である。
本発明は上述した問題点を解決するためになされたものであり、取得された部分画像同士に重なりのない場合であっても部分画像同士の位置関係を検出することができる画像読取装置、画像読取プログラム、画像読取方法を提供することを目的とする。
上述した課題を解決するため、本発明は、相対的に移動している対象物の部分を順次読み取ることにより得られる画像である第1画像を複数取得する取得部と、前記第1画像の外挿を行うことにより該第1画像の画像範囲を拡張した画像である第2画像を生成する外挿部と、前記第1画像及び前記第2画像の少なくともいずれかからなる複数の画像に基づいて、該第1画像または該第2画像間の相対位置を算出する算出部とを備えたものである。
また、本発明は、相対的に移動している対象物の部分を順次読み取ることにより得られる画像である第1画像を複数取得する取得ステップと、前記第1画像へ画像の外挿を行うことにより該第1画像の画像範囲を拡張した画像である第2画像を生成する外挿ステップと、前記第1画像及び前記第2画像の少なくともいずれかからなる複数の画像に基づいて、該第1画像または該第2画像間の相対位置を算出する算出ステップとをコンピュータに実行させるものである。
また、本発明は、相対的に移動している対象物の部分を順次読み取ることにより得られる画像である第1画像を複数取得する取得ステップと、前記第1画像へ画像の外挿を行うことにより該第1画像の画像範囲を拡張した画像である第2画像を生成する外挿ステップと、前記第1画像及び前記第2画像の少なくともいずれかからなる複数の画像に基づいて、該第1画像または該第2画像間の相対位置を算出する算出ステップとを実行するものである。
実施の形態1に係る指紋読取装置の構成の一例を示すブロック図である。 実施の形態1に係る指紋読取装置の動作の一例を示すフローチャートである。 実施の形態1に係る指紋センサの動作の一例を示す平面図である。 実施の形態1に係る部分画像の一例を示す図である。 実施の形態1に係る外挿部分の一例を示す概念図である。 実施の形態1に係る外挿処理の動作の一例を示すフローチャートである。 低分解能画像におけるエッジ方向の一例を示す概念図である。 高分解能画像におけるエッジ方向の一例を示す概念図である。 実施の形態1に係るエッジ方向検出処理の動作の一例を示すフローチャートである。 実施の形態1に係る骨格線の一例を示す概念図である。 実施の形態1に係る骨格線検出処理の動作の一例を示すフローチャートである。 実施の形態1に係る周波数情報を用いる外挿処理の一例を示す概念図である。 実施の形態1に係る周波数情報を用いる外挿処理の動作の一例を示すフローチャートである。 実施の形態1に係る第1ケースの一例を示す概念図である。 実施の形態1に係る第2ケースの一例を示す概念図である。 実施の形態1に係る第3ケースの一例を示す概念図である。 実施の形態1に係る部分画像と外挿部分の位置関係の一例を示す概念図である。 実施の形態1に係る指紋読取装置の動作の別の一例を示すフローチャートである。 実施の形態2に係る指紋読取装置の構成の一例を示すブロック図である。 実施の形態2に係る指紋読取装置の動作の一例を示すフローチャートである。 実施の形態2に係る出力情報の形式の一例を示す表である。 実施の形態2に係る出力情報のヘッダ部の形式の一例を示す表である。 実施の形態2に係る出力情報の部分画像情報の形式の一例を示す表である。
以下、本発明の実施の形態について図面を参照しつつ説明する。
実施の形態1.
本実施の形態においては、本発明の画像読取装置を指紋読取装置に適用した場合について説明する。本実施の形態に係る指紋読取装置は、指の移動に伴って指紋の部分画像(第1画像)を複数取得し、複数の部分画像から指紋の全体画像を再構成し、出力する。なお、読み取る対象物は、掌紋、指静脈、手のひら静脈など他の生体情報を用いても良い。
まず、本実施の形態に係る指紋読取装置の構成について説明する。
図1は、本実施の形態に係る指紋読取装置の構成の一例を示すブロック図である。この指紋読取装置は、指紋センサ1(取得部)、予測部2(指示部)、外挿部3、相対位置検出部4(算出部)、再構成部5(合成部)を備える。
次に、本実施の形態に係る指紋読取装置の動作について説明する。
図2は、本実施の形態に係る指紋読取装置の動作の一例を示すフローチャートである。まず、各部は、初期設定を行う(S11)。次に、予測部2は、過去に算出された部分画像の相対位置から、次に取得する部分画像の相対位置の予測を行う予測処理を行う(S12)。但し、まだ複数の部分画像の相対位置が取得されていない場合、予測部2は動作しない。
次に、指紋センサ1は、部分画像を取得する部分画像取得処理を行い(S13、取得ステップ)、予測部2は、予測処理により予測された位置に基づいて外挿処理を行うか否かの判定を行う外挿判定処理を行う(S14)。外挿処理を行うと判定された場合(S14,Y)、外挿部3は、部分画像の外挿を行うことにより部分画像から拡張画像(第2画像)を生成する外挿処理を行い(S15、外挿ステップ)、次の処理へ移行し、外挿処理を行わないと判定された場合(S14,N)、次の処理へ移行する。次に、相対位置検出部4は、部分画像及び拡張画像に基づいて部分画像または拡張画像の間の相対位置を検出する相対位置検出処理を行う(S16、算出ステップ)。
ここで、部分画像取得処理には、前処理があってもよい。例えば、一般的なノイズ除去処理や、指紋センサ1のデバイスの特性に合わせた特性補償処理などが前処理にあたる。デバイスの特性上、指紋センサ1上を通過する生体の移動速度などによって、画像が伸縮歪みを起こしたり、スキュー歪みを起こしたりする場合には、相対位置検出処理のあとで、歪み補正処理等の後処理があってもよい。
次に、予測部2は、対象物(指)が移動しているか否かの判定を行い、移動していると判定された場合(S17,対象物が移動している)、次の処理12へ戻り、停止していると判定された場合(S17,対象物が停止している)、次の処理へ移行する。
次に、再構成部5は、相対位置等に基づく状態が所定の条件を満たしているか否かの判断を行う(S18)。所定の条件を満たしていない場合(S18,所定の条件を満たしていない)、処理S12へ戻る。所定の条件を満たしている場合(S18,所定の条件を満たしている)、再構成部5は、部分画像の相対位置に基づいて複数の部分画像を合成し、指紋の全体画像を生成する再構成処理を行い(S21)、全ての部分画像を処理したか否かの判断を行う(S22)。全ての部分画像を処理していない場合(S22,全ての部分画像を処理していない)、処理S21へ戻り、再構成部5は、次の部分画像の処理を行い、全ての部分画像を処理した場合(S22,全ての部分画像を処理した)、全体画像を出力情報として出力し、このフローは終了する。なお、請求項における指示ステップは、処理S12,14に対応する。
ここで、再構成部5が得られる状態としては、生体情報の接触範囲、面積、移動速度平均、移動速度ばらつき、移動方向、移動方向ばらつきなどがある。処理S11において、再構成部5は、これらの状態に対する閾値を所定の条件として設定する。また、処理S11は、処理S12〜S16の繰り返し回数の上限値を設定し、処理S13は、繰り返し回数が上限値を超えた場合に生体が停止したとみなして、次の処理に進んでもよい。
次に、指紋センサ1について説明する。
指紋センサ1は、スウィープ型であり、被検者の指紋(生体情報)を映像化し、指紋から複数の部分画像を断続的に検出するものであり、指紋センサ1に対して相対的に移動している指(生体部位)を読み取り、二次元配列状の部分画像を断続的に複数取得するものである。
指紋センサ1は、例えば、静電容量式、感熱式、電界式、光学式のいずれかの検出方法がある。指紋は、被検者の外皮上に形成されており、センサ面に接触しうる隆線(接触部分)とセンサ面に接触しない谷線(非接触部分/空隙部分)とからなる紋様である。指紋センサは、センサ面に接触する隆線部分とセンサ面に接触しない谷線部分とで検知感度が異なることを利用して、指紋の部分画像を二値以上の多値画像として採取する。例えば、静電容量型や電界型の指紋センサから取得される多値画像では、センサからの距離に応じて輝度が異なっており、通常、センサとの距離が近い隆線部分が低輝度で表示され、センサとの距離が遠い谷線部分が高輝度で表示される。
指紋の読み取りの際、利用者は、指紋センサのセンサ面上を指で触れながら、指の根元側から指先側へ、より具体的には第一関節付近から指先側へ、指の右側から左側へなど任意の方向に指を移動させる。ただし、指紋センサ側を指に対して移動させる機構を備えた場合は、利用者は指を移動させる必要はない。図3は、本実施の形態に係る指紋センサの動作の一例を示す平面図である。以降、本実施の形態では、この図に示すように利用者が指を第一関節付近から指先に向けてスライドする場合について説明する。指紋センサ1は、時刻t0,…t−3,t−2,t−1,tにおいてそれぞれの位置の部分画像を取得する。
次に、相対位置検出部4について説明する。
相対位置検出部4は、指紋センサ1によって取得された指紋の部分画像毎に、指紋センサ1に対する指の相対位置、すなわち相対移動距離を検出するものである。相対位置は、言い換えれば、部分画像または拡張画像である2枚の画像において対応する部位がぴったりと重なる位置である。具体的に述べると、相対位置検出部4は、残差逐次検定法による非類似度もしくは相互相関法による類似度を算出し、前者では極小値が得られる相対位置を、後者では極大値が得られる相対位置を算出する。
まず、残差逐次検定法について説明する。
図4は、本実施の形態に係る部分画像の一例を示す図である。この図に示すように、時刻tに取得された部分画像I0(サイズがM×N画素)と時刻t+Δt
に取得された部分画像I1(サイズがM×N画素)を用いる。また、右方向への座標をi、下方向への座標をjとすると、部分画像I0(i,j)、部分画像I1(i,j)、0≦i<M、0≦j<Nで表される。また、部分画像I0(i,j)において左上の座標を(0,0)とする着目領域(重なり部分)をI0(0.0)(サイズがma×nb画素)で表し、部分画像I1(i,j)において左上の座標を(a,b)とする着目領域(重なり部分)をI1(a.b)(サイズがma×nb画素)で表す。また、部分画像I0に対する部分画像I1の相対位置(相対的なずれ量)を(a,b)で表す。ここで、着目領域I0(0.0)と着目領域I1(a.b)の非類似度R(ab)を次式のようにして算出する。
(a,b)=ΣΣ|I1(a,b)(i,j)−I0(0,0)(i,j)|/(ma×nb),ただしa<0,b<0
(a,b)=ΣΣ|I1(0,b)(i,j)−I0(a,0)(i,j)|/(ma×nb),ただしa≧0,b<0
(a,b)=ΣΣ|I1(a,0)(i,j)−I0(0,b)(i,j)|/(ma×nb),ただしa<0,b≧0
(a,b)=ΣΣ|I1(0,0)(i,j)−I0(a,b)(i,j)|/(ma×nb),ただしa≧0,b≧0
ここで、iは0≦i<ma、jは0≦i<nbであって、Ik(i,j)は輝度値を表す。Σ記号は、i,jのそれぞれに関して前述の範囲で総和を求める操作を表す。なお、スライド方向が、所定の範囲に限定できる場合には、上述した4つの式の中からいずれか1つ以上の式を選ぶことができる。また、aとbは、所定の範囲に限定してもよい。さらに、aとbの境界条件などについては逸脱しない範囲で変形してもよい。いずれにしても、相対位置検出部4は、非類似度R(ab)が極小値Rmin(a,b)となる相対位置(a,b)を出力する。
次に、相互相関法について説明する。
残差逐次検定法と同様、部分画像I0、部分画像I1、着目領域(重なり部分)I0(0.0)、着目領域(重なり部分)I1(a.b)を用いる。ここでは、着目領域I0(0.0)と着目領域I1(a.b)の類似度R(a,b)を次式のようにして算出する。
(a,b)=ΣΣ{I1(a,b)(i,j)−E(I1(a,b))}{I0(0,0)(i,j)−E(I0(0,0))}/√(V(I1(a,b))×V(I0(0,0))),ただしa<0,b<0
R(a,b)=ΣΣ{I1(0,b)(i,j)−E(I1(0,b))}{I0(a,0)(i,j)−E(I0(a,0))}/√(V(I1(0,b))×V(I0(a,0))),ただしa≧0,b<0
(a,b)=ΣΣ{I1(a,0)(i,j)−E(I1(a,0))}{I0(0,b)(i,j)−E(I0(0,b))}/√(V(I1(a,0))×V(I0(0,b))),ただしa<0,b≧0
(a,b)=ΣΣ{I1(0,0)(i,j)−E(I1(0,0))}{I0(a,b)(i,j)−E(I0(a,b))}/√(V(I1(0,0))×V(I0(a,b))),ただしa≧0,b≧0
ここで、E(Ik)=ΣΣIk(i,j)/(ma×nb),
V(Ik)=ΣΣ{Ik(i,j)−E(Ik)}2
表記方法は、残差逐次推定法の説明と同様である。なお、スライド方向が、所定の範囲に限定できる場合には、上述した4つの式の中からいずれか1つ以上の式を選ぶことができる。また、aとbは、所定の範囲に限定してもよい。さらに、aとbの境界条件などについては逸脱しない範囲で変形してもよい。いずれにしても、相対位置検出部4は、類似度R(ab)が極大値Rmax(a,b)となる相対位置(a,b)を出力する。
指紋センサ1の感度を一定に保つ場合や部分画像にノイズが少ない場合には、計算量が少ない残差逐次検定法が有利である。一方、指紋センサ1の感度が変わる場合や部分画像にノイズが乗りやすい場合には、計算量が多いもののノイズの影響を受けにくい傾向を持つ相互相関法が有利である。このような相対位置の算出方法は、指紋センサ1の特性や使い方に応じて適宜選択してもよい。
次に、外挿部3について説明する。
外挿部3は、指紋センサ1により出力された部分画像に対して、その画像範囲(検出範囲)の外側の領域へ画像を延長する外挿(extrapolation)処理を行う。図5は、本実施の形態に係る外挿部分の一例を示す概念図である。外挿とは、この図のように、指紋センサ1により出力された部分画像(実線枠内)の情報に基づいて、その外側のデータ(破線枠内)である外挿部分を推測し、部分画像に外挿部分を付加することにより、部分画像の画像範囲を拡張した拡張画像を生成することである。また、外挿部3は、予測部2から指示される画像拡張範囲への外挿を行う。
図6は、本実施の形態に係る外挿処理の動作の一例を示すフローチャートである。まず、外挿部3は、部分画像から生体部位がもつ特徴を抽出する(S31)。次に、外挿部3は、この特徴が連続するように外挿し(S32)、部分画像と外挿部分を結合して拡張画像とする(S33)。繰り返し回数が所定の上限値を超えない場合(S34,Y)、外挿部3は部分画像の代わりに拡張画像に対して処理S31〜S33を繰り返すことにより外挿部分を拡張し、繰り返し回数が所定の上限値を超えた場合(S34,N)、このフローは終了する。繰り返し回数の上限値は、部分画像同士の間隙の許容幅に依存する。更に、この許容幅は、指紋読取装置の出力情報を用いた個人認証における本人拒否率および他人受入率などの認証性能に依存する。
基本的には、1回の外挿につき、1画素分の領域(1ライン)を外挿する。相対位置検出部4での誤りが急激に増加しない範囲、もしくは指紋読取装置の出力情報を用いた個人認証における本人拒否率および他人受入率などの認証性能が劣化しない範囲であれば、2画素以上の領域(2ライン以上)を外挿してもよい。
外挿には、種々の情報の連続性を利用することができる。具体的には、生体部位が持つ特徴の連続性である。特徴として、例えば、輝度情報、エッジ情報、骨格線(細線)情報、周波数や位相情報などがある。ここでは、スウィープ方向あるいは、基準軸に沿った輝度の変化を利用する。基準軸とは、例えば一般的なスウィープ型指紋センサであれば、センサ面の短軸方向を指す。輝度の変化は、指紋センサ1の特性にも依存するものの、概ね短軸方向に沿って連続している。
生体情報が指紋である場合、紋様が隆線と谷線とから構成されることを利用し、隆線と谷線とを分けるエッジの形状を利用できる。なぜならば、基本的には指紋センサの特性として、隆線が低輝度で出力されるセンサであれば谷線は高輝度で出力され、隆線が高輝度で出力されるセンサであれば谷線は低輝度で出力される、それぞれの輝度は連続しているためである。エッジを算出方法としては、二値化したときの隆線の輪郭線をエッジとしてもよい。この場合、計算量が小さいため、携帯電話機やPDA(Personal Digital Assistance)などの比較的CPUの性能が低い機器においても、負荷が少なくなる。二値化方法としては、しきい値法、浮動しきい値法、p−tile法など既知の手法を用いることが可能である。輪郭線以外にも、2次元分布における一次微分の稜線、もしくは2次元分布における2次微分のゼロクロス点の連続性を用いてもよい。
さらに、生体情報が指紋である場合、隆線または谷線の骨格線形状もしくは細線形状を利用できる。骨格線は稜線追跡処理で得られるパターンでもよく、両端のエッジまで等距離である点を追跡して得られるパターンでもよい。細線は、二値化した指紋画像に対して縮退処理を繰り返し、これ以上縮退できない状態になったときのパターンとして得られる。
エッジ方向や骨格線、細線の方向から外挿部分を推定する場合には、画素単位の微細な形状は重要ではなく、大局的な隆線または谷線の流れが重要であるので、方向データは複数点から計算する。具体的には、特徴点群の座標から直線回帰等を行って線分の勾配を算出する。
生体情報は、時々刻々と変化しており、個人差も大きい。さらには、指紋センサ1の方式によって感度が異なる。したがって、予め学習しておいてもよいが、生体情報を検出しながら外挿に必要なパラメータを修正できる適応的な手法が望ましい。具体的には、線形予測法によるもの、ベイズ推測によるものが利用できる。ベイズ推測とは、観測値に基づいて条件付確率を計算する方法であって、2つの独立な事象X、YについてYが与えられた場合にXが起こる条件付確率Pは、次式で表される。
P(X|Y)=P(Y|X)P(X)/P(Y)
例えば、指紋の周期性を利用して、隆線部分から輝度が増加していくとき、谷線部分から輝度が減少していくときといった、指紋の紋様の特徴で周期性を利用できる箇所に着目し、確率密度P(X|Y)を算出する。ただし、これらは、予測に必要なデータが多いことから比較的処理時間のかかる行列演算処理が必要となる。そこで、輝度やエッジ方向(骨格線方向・細線方向)に対して、多項式関数を当てはめて予測する。一般的に、多項式当てはめは、次数が高くなるほど不安定になるといわれており、外挿部分の誤差が増大する恐れがある。よって、1次ないし2次の多項式に当てはめる。多項式当てはめには、最小自乗法を利用できる。
次に、処理S31における特徴としてエッジ方向を検出するエッジ方向検出処理について説明する。
エッジ方向とは、隆線の輪郭線の接線方向を指し、より具体的には、谷線との間の境界線の接線方向でもよく、隆線の端部分に沿った方向でもよい。図7は、低分解能画像におけるエッジ方向の一例を示す概念図である。この図に示すように、隆線は概念的には、ある一定の幅を持った滑らかな曲線とみなすことができる。図8は、高分解能画像におけるエッジ方向の一例を示す概念図である。500dpi程度より高分解能の指紋センサ1を用いる場合、この図に示すようにエッジは僅かに波打っている。
ここで、エッジ方向検出処理について説明する。図9は、本実施の形態に係るエッジ方向検出処理の動作の一例を示すフローチャートである。外挿部3は、検出されたエッジ画像に低域通過フィルタを施し(S51)、一次微分値のマップを作成し(S52)、一次微分値の極大値を連続してつないだ稜線をエッジとして検出し(S53)、その接線方向をエッジ方向とし(S54)、このフローは終了する。そのほかの処理方法としては、二次微分値のマップを作成し、二次微分値から元の画像の変曲点を検出して、その接線方向をエッジ方向としてもよい。
この場合、外挿部3は、処理S32において、部分画像または拡張画像の辺縁におけるエッジ方向にエッジを延長するように外挿を行う。
また、外挿部3は、生体情報の特徴としてエッジを利用する場合には、エッジとエッジとの間に挟まれた画素に対して、エッジをまたがない範囲で外挿することによって、単なる1次元あるいは2次元の一般的な外挿に伴って生じるアーティファクトを減らすことができ、相対位置検出部4で検出される相対位置の誤差を減らすことができる。このとき、外挿部3は、エッジの近傍の画素に対して、外挿したエッジの方向に沿って外挿することによって、エッジ近傍の輝度の勾配が緩やかな場合に対して、外挿の誤差によって生じるアーティファクトを減らすことができ、相対位置検出部4で検出される相対位置の誤差を減らすことができる。
次に、処理S31における特徴として骨格線方向を検出する骨格線方向検出処理について説明する。
本実施の形態において、骨格線とは、隆線の幅を1画素幅に細線化したものと定義する。図10は、本実施の形態に係る骨格線の一例を示す概念図である。具体的には、対になる2つのエッジがある場合、それぞれのエッジからの距離が等しい線が骨格線となる。なお、部分画像の辺と隆線が交わる部位の近傍の場合、骨格線が辺の影響を極力受けないように検出する必要がある。つまり、部分画像の辺と隆線が交わる部位でエッジがあるとすると、この図に点線で示すように、境界線と部分画像の辺に挟まれた部分では、期待される骨格線と異なる誤った骨格線が検出される恐れがある。したがって、部分画像の辺の影響を受けずに骨格線を検出することが重要である。
ここで、骨格線方向検出処理について説明する。図11は、本実施の形態に係る骨格線検出処理の動作の一例を示すフローチャートである。外挿部3は、部分画像に低域通過フィルタを施し(S71)、上述した処理S52,S53によりエッジの検出を行い(S72)、検出されたエッジと対になるエッジがあるか否かの判断を行う(S73)。対になるエッジがない場合(S73,N)、外挿部3は、そのエッジにマークを付け(S74)、次の処理へ移行し、対になるエッジがある場合(S73,Y)、外挿部3は、中点(=骨格線)を検出し(S75)、次の処理へ移行する。次に、外挿部3は、全てのエッジをチェックしたか否かの判断を行い、チェックしていないエッジがある場合(S81,N)、処理S73へ戻り、次のエッジについての処理を行い、全てのエッジをチェックした場合(S81,Y)、次の処理へ移行する。
次に、外挿部3は、マーク付きのエッジの近傍において骨格線検出済みのエッジを検出し(S82)、骨格線がエッジ方向の法線と交わるまで、エッジ方向と平行に延長させる(S83)。次に、外挿部3は、マーク付きのエッジの近傍において骨格線検出済みのエッジが存在するか否かの判断を行い、存在する場合(S84,Y)、処理S82へ戻り、存在しない場合(S84,N)、骨格線の接線方向を検出し(S85)、このフローは終了する。
この場合、外挿部3は、処理S32において、部分画像または拡張画像の辺縁における骨格線方向に骨格線を延長するように外挿を行う。
なお、上述したエッジと骨格線の両方を用いて外挿処理を行っても良い。
次に、部分画像の周波数領域の情報である周波数情報を用いる外挿処理について説明する。
図12は、本実施の形態に係る周波数情報を用いる外挿処理の一例を示す概念図である。この図に示すように、外挿領域(斜線で示した領域)を求めるために、部分画像内に参照領域(図中の点線で囲まれた領域)を設定する。ここで、参照領域のサイズはN×N画素とし、Nは2n(n=0、1、2、…)とする。これに対して外挿領域を囲むようにして、参照領域と同サイズの予測領域(図中の実線で囲まれた領域)を設定する。予測領域と参照領域は、位置の差、すなわち位相差が既知であるので、参照領域からフーリエ変換で求められた周波数情報に対して、この位相差を反映させることで参照領域を予測することができる。参照領域を2次元とする場合には、フーリエ変換が直交変換であるため、横方向について1次元のフーリエ変換を行ったあと、縦方向にフーリエ変換をすればよい。
図13は、本実施の形態に係る周波数情報を用いる外挿処理の動作の一例を示すフローチャートである。まず、外挿部3は、部分画像に低域通過フィルタを施す(S91)。次に、外挿部3は、得られた部分画像に外挿領域を設定し(S92)、参照領域を設定し(S93)、予測領域を設定し(S94)、外挿領域を計算する(S95)。次に、外挿部3は、全ての外挿領域を計算したか否かの判断を行い、計算していない外挿領域がある場合(S96,N)、処理S92へ戻り、次の外挿領域についての処理を行い、全ての外挿領域を計算した場合(S96,Y)、このフローは終了する。外挿部3は、フーリエ変換等により部分画像を周波数領域に変換した周波数情報を取得する。取得される周波数情報は、振幅と位相を有する。例えば、高速フーリエ変換は、処理の負荷が比較的低いので有用である。
つまり、外挿部3は、外挿すべき範囲全体に対して、外挿領域を僅かずつずらしながら外挿領域を求める処理を繰り返す。このとき、外挿領域を参照領域と同じ幅とし、参照領域と重複しない範囲に設定することで、計算量を小さくすることができる。しかし、隣接する外挿領域同士の境界部分で輝度の変化が不連続になる恐れがある。そこで、この例に示すように、外装領域の幅を参照領域の1/4、(または1/2)の幅となるように設定し、隣接する外挿領域の、それぞれの参照領域が重複するようにすることで、外挿領域同士の境界部分において輝度変化の不連続性を低減することができる。また、周波数情報を用いる外挿処理は、部分画像の周期性を用いるため、1ラインずつ外挿するのではなく、所定のライン数を外挿することができる。
次に、外挿による誤差について説明する。
相対位置検出部4で算出される非類似度もしくは類似度は、外挿部分では外挿による誤差の影響を受ける。2つの部分画像(第1部分画像と第2部分画像)の位置関係には、次の3つのケースがある。図14は、本実施の形態に係る第1ケースの一例を示す概念図である。図15は、本実施の形態に係る第2ケースの一例を示す概念図である。図16は、本実施の形態に係る第3ケースの一例を示す概念図である。これらの図において、実線で囲われた領域が部分画像であり、点線で囲われた領域(斜線で示された領域)が外挿部分である。第1ケースは、第1部分画像と第2部分画像の重なりがあるケースである。第2ケースは、第1部分画像と第2部分画像の外挿部分との重なりがあるケースである。第3ケースは、第1部分画像の外挿部分と第2部分画像の外挿部分との重なりがあるケースである。従来の技術では、第1ケースの場合しか部分画像同士の位置関係を検出することができなかった。
これらの3つのケースを全て同じように扱って非類似度もしくは類似度を算出すると、外挿部分の誤差の影響により、正しくない結果が得られる場合がある。そこで、非類似度もしくは類似度に対して、外挿部分が寄与する度合いを小さく設定してもよい。例えば、非類似度は、次式により算出される。
(ab)=W00(ab)+W11(ab)+W22(ab)/(cΣWk
kは係数、Rk(ab)は相対位置(a、b)のときの局所的な非類似度を表す。k=0は、I0、I1がともに部分画像である場合を示す。k=1は、I0が部分画像でI1が外挿部分、もしくはその逆である場合を示し、W1>W0である。k=2は、I0、I1がともに外挿部分である場合を示し、W2>W1である。cは、定数である。
また、局所的な非類似度は、上述した残差逐次推定法により算出される。
また、類似度は、次式により算出される。
(ab)=W00(ab)+W11(ab)+W22(ab)/(cΣWk
ここで、Wkは係数、Rk(ab)は相対位置(a、b)のときの局所的な類似度を表す。k=0は、I0、I1がともに部分画像である場合を示す。k=1は、I0が部分画像でI1が外挿部分、もしくはI1が部分画像でI0が外挿部分である場合を示し、W1<W0である。k=2は、I0、I1がともに外挿部分である場合を示し、W2<W1である。cは、定数である。
また、局所的な類似度は、上述した相互相関法により算出される。
上述した外挿部3によれば、指紋センサ1に対する指の移動速度が速かったり、指紋センサ1の端部に汚れが付着したりした場合に、相対位置検出部4が相対位置を検出できる範囲を拡大することにより、読み取りエラーを低減し、ユーザの利便性を向上させることができる。
また、単なる1次元あるいは2次元の一般的な外挿方法だけでなく、生体情報の特徴としてエッジ情報を利用することにより、外挿の誤差によって生じるアーティファクトを減らすことができ、相対位置検出部4により検出される相対位置の誤差を減らすことができる。同様に、骨格線ないし細線を利用することにより、外挿の誤差によって生じるアーティファクトを減らすことができ、相対位置検出部4により検出される相対位置の誤差を減らすことができる。また、周波数情報を利用することにより、外挿の誤差によって生じるアーティファクトを減らすことができ、相対位置検出部4により検出される相対位置の誤差を減らすことができる。また、外挿を繰り返すことによって外挿部分の面積を広げ、生体部位のより速い動きや、より広い面積の汚れによる広範囲の欠落があっても、相対位置検出部4で相対位置を検出することができ、ユーザの利便性を向上させることができる。
次に、予測部2について説明する。
予測部2は、相対位置検出部4で過去に計算された相対位置に基づいて、外挿部3が外挿処理を行う箇所を限定する。これにより、外挿処理にかかる時間が軽減される。時刻tに採取された部分画像と、時刻t+Δtに採取された部分画像
から相対位置rt+Δt(i,j)を算出する場合、Δtが十分に小さいという前
提が成り立つときには慣性の法則に従って、時刻t−Δtに採取された部分画像
と、時刻tに採取された部分画像から検出された相対位置rt(i,j)に対してrt+Δt(i,j)は大きく逸脱しないとみなすことができる。
図17は、本実施の形態に係る部分画像と外挿部分の位置関係の一例を示す概念図である。この図は、時刻t−Δtに採取された部分画像It-Δt、時刻tに
採取された部分画像It、時刻t+Δtに採取された部分画像It+Δtの相対位
置を示す。Δtが十分に小さいという前提が成り立つとき、慣性の法則に従って
、時刻t−Δtに採取された部分画像It-Δtと時刻tに採取された部分画像I
tから算出された相対位置rt(i,j)に対して、時刻tに採取された部分画像Itと時刻t+Δtに採取された部分画像It+Δtから算出される相対位置r
t+Δt(i,j)は大きく逸脱しないと見なすことができる。よって、相対位置
t+Δt(i,j)を算出する際には、時刻tに採取された部分画像Itに対し
てはrtと同じ側の辺縁に外挿すれば、部分画像Itの他の辺縁に外挿する必要はない。また、時刻t+Δtに採取された部分画像It+Δtに対してはrtと逆
側の辺縁に外挿すれば良い。
また、予測部2は、上述した予測に基づいて、外挿が必要であるか否かの判定を行う。外挿が必要であると判定した場合、予測部2は、上述した予測に基づいて、外挿部3へ外挿部分の位置、外挿部分のサイズ、外挿の繰り返し回数等を示す画像拡張範囲を指示する。
なお、本実施の形態において、予測部2は、直前に取得された部分画像の相対位置に基づいて次の外挿部分を決定したが、過去の複数の部分画像の相対位置に基づいて次の外挿部分を決定しても良い。また、予測部2による外挿部分の限定を行わず、外挿部3が部分画像の全ての辺縁に対する外挿を行っても良い。また、予測部2による外挿判定処理を行わず、全ての部分画像に対して外挿を行っても良い。
上述した予測部2によれば、指紋センサ1が検出する画像に対して、外挿部3が外挿する範囲を限定することにより、処理の負荷を低く抑えることができる。また、予測部2が次に指紋センサ1で読み取られる画像の相対位置を予測し、外挿すべきか否かを判定することで、外挿が必要な状況、つまり画像同士の重なり部分がない場合、あるいは、重なり部分があってもその面積が小さい場合のいずれかの状況において、外挿部3による外挿処理を行い、画像同士の重なり部分の面積が十分である場合には外挿部3による外挿処理を行わないようにする。これにより、携帯電話やPDAなどの比較的処理能力の低いCPUを搭載した機器において処理の負荷が高くなって処理時間がかかることを避けることができ、ユーザの利便性を向上させることができる。
次に、再構成部5について説明する。
再構成部5は、複数の部分画像の相対位置に基づいて、複数の部分画像を配置し、1つの全体画像を生成し、出力情報として出力する。また、再構成部5は、配置した部分画像に間隙がある場合、部分画像間の内挿を行い、間隙を埋める。
なお、上述した指紋読取装置は、部分画像毎に、外挿処理や相対位置検出処理を行うとしたが、複数の部分画像を取得した後に、外挿処理や相対位置検出処理を行っても良い。図18は、本実施の形態に係る指紋読取装置の動作の別の一例を示すフローチャートである。まず、処理S11は、図2と同様である。次に、指紋センサ1は、部分画像取得処理を行い(S112)、対象物(指)が移動しているか否かの判断を行い、移動していると判定された場合(S113,対象物が移動している)、次の処理112へ戻り、停止していると判定された場合(S113,対象物が停止している)、次の処理へ移行する。
次に、予測部2は、過去に算出された部分画像の相対位置から、次に取得する部分画像の相対位置の予測を行う予測処理を行う(S121)。次に、予測部2は、予測処理により予測された位置に基づいて外挿処理を行うか否かの判定を行う外挿判定処理を行う(S122)。外挿処理を行うと判定された場合(S122,Y)、外挿部3は、部分画像の外挿を行う外挿処理を行い(S123)、次の処理へ移行し、外挿処理を行わないと判定された場合(S122,N)、次の処理へ移行する。次に、相対位置検出部4は、部分画像及び拡張画像に基づいて部分画像または拡張画像の間の相対位置を検出する相対位置検出処理を行う(S124)。
次に、再構成部5は、部分画像の相対位置に基づいて複数の部分画像を合成し、出力画像を生成する再構成処理を行い(S125)、全ての部分画像を処理したか否かの判断を行う(S126)。全ての部分画像を処理していない場合(S126,全ての部分画像を処理していない)、処理S121へ戻り、再構成部5は、次の部分画像の処理を行い、全ての部分画像を処理した場合(S126,全ての部分画像を処理した)、次の処理へ移行する。次に、再構成部5は、取得した相対位置等の状態が所定の条件を満たしているか否かの判断を行う(S127)。所定の条件を満たしていない場合(S127,所定の条件を満たしていない)、処理S112へ戻る。所定の条件を満たしている場合(S127,所定の条件を満たしている)、このフローは終了する。
この動作によれば、指紋センサ1による部分画像の取得の度の処理の負荷を軽減することができ、部分画像の取得の間隔を短縮することができる。
実施の形態2.
本実施の形態においては、実施の形態1と同様、本発明を指紋読取装置に適用した場合について説明する。本実施の形態に係る指紋読取装置は、指の移動に伴って指紋の部分画像を複数取得し、部分画像及び相対位置に関する情報を出力する。
図19は、本実施の形態に係る指紋読取装置の構成の一例を示すブロック図である。この図において、図1と同一符号は図1に示された対象と同一又は相当物を示しており、ここでの説明を省略する。この図は、図1と比較すると、再構成部5の代わりに情報生成部6(出力部)を備える。
図20は、本実施の形態に係る指紋読取装置の動作の一例を示すフローチャートである。処理S11〜S17は、図2と同様である。次に、情報生成部6は、相対位置等に基づく状態が所定の条件を満たしているか否かの判断を行う(S23)。所定の条件を満たしていない場合(S23,所定の条件を満たしていない)、処理S12へ移行する。所定の条件を満たしている場合(S23,所定の条件を満たしている)、情報生成部6は、指紋センサ1の出力と相対位置検出部4の出力に基づいて出力情報を生成する情報生成処理を行い(S24)、このフローは終了する。
次に、情報生成部6について説明する。
情報生成部6により生成される出力情報の形式は、相対位置や部分画像などを要素とする配列である。図21は、本実施の形態に係る出力情報の形式の一例を示す表である。この出力情報は、ヘッダ部、部分画像に対応する部分画像情報を有する。ヘッダ部は、出力情報全体の属性をまとめたものである。指紋センサ1により取得された部分画像とその付加情報が、1枚目からN枚目まで続けて配置される。
図22は、本実施の形態に係る出力情報のヘッダ部の形式の一例を示す表である。このヘッダは、デバイス種別、画像種別、画像の解像度、量子化レベル数、画像情報の数、画像の垂直方向サイズ、画像の水平方向サイズを有する。デバイス種別は、指紋センサ1となるデバイスの種類を示すIDもしくは文字列である。画像種別は、デバイスが生体情報を読み取る方式を表すIDもしくは文字列である。解像度はデバイスの解像度を表す数値であり、通常はdpi(dot-per-inch)あるいはppcm(pixel-per-centimeter)が用いられる。量子化レベル数は、階調数ともいう。単位はbitあるいは無名数である。画像情報の数とは、ヘッダ部に続いて格納される部分画像の総数である。なお、この例では省略しているが、ヘッダ部は、各項目の数値の単位を識別するための情報を属性値として格納してもよい。
図23は、本実施の形態に係る出力情報の部分画像情報の形式の一例を示す表である。この部分画像情報は、垂直方向移動量、水平方向移動量、タイムスタンプ1、タイムスタンプ2、指紋センサ1の感度設定、外挿の有無、部分画像を有する。垂直方向移動量は、対象の部分画像について直前の部分画像に対する相対位置であって、その垂直方向成分を表す。垂直方向移動量は、同様に水平方向成分を表す。タイムスタンプ1とタイムスタンプ2は、それぞれ読取開始時刻と読取終了時刻を表す。1枚目の部分画像の読取開始時刻からの相対的な読取開始時刻と読取完了時刻を得ることができるのであれば、時刻に限るものではない。例えば、タイムスタンプ1は、直前に取得した部分画像の読取開始時刻からの差分でもよい。また、タイムスタンプ2は、読取開始時刻からの差分でもよい。また、タイムスタンプ1及びタイムスタンプ2は、部分画像内の画素の読み取り時刻の違いによる部分画像の歪みの補正に用いられる。
情報生成部6が部分画像と相対位置を外部の情報処理装置へ出力することにより、この情報処理装置は、部分画像を再構成することができる。また、情報生成部6が垂直方向移動量及び水平方向移動量を外部の情報処理装置へ出力することにより、指紋読取装置を情報処理装置のポインティングデバイスとして利用することができる。なお、情報生成部6は、垂直方向移動量や水平方向移動量等の相対位置の情報だけを出力しても良い。
この情報生成部6によれば、相対位置検出部4で検出された相対位置とともに、外挿部3で得られる骨格線情報ないし細線情報のいずれかを部分画像とともに出力する、あるいは部分画像の代わりに出力することができる。これにより、指紋読取装置の出力情報を用いて個人認証を行う認証装置において、画像から骨格線情報ないし細線情報を抽出する計算を低減させることができる。あるいは、認証装置が指紋読取装置の出力情報である骨格線情報ないし細線情報をそのまま利用することで、再度骨格線情報ないし細線情報の検出処理を省くことができる。従って、例えば携帯電話やPDAのように比較的処理能力の低いCPUが搭載された機器において計算量の多い骨格線情報ないし細線情報の検出にかかる時間を短縮あるいは省くことができ、ユーザの利便性を向上させることができる。
なお、情報生成部6は、処理S23の判定を行わず、部分画像毎の出力情報を生成し、指紋読取装置は、処理S12〜S17、S24を繰り返しても良い。これにより、指紋読取装置は、ポインティングデバイスとして用いられる場合等において、継続して相対位置の情報を出力することができる。
なお、情報生成部6は、部分画像の代わりに外挿処理で検出された骨格線の情報を骨格線情報として出力しても良い。この場合、情報生成部6は、出力情報のヘッダ部に骨格線の情報であることを示す識別子を含めても良い。また、情報生成部6は、骨格線情報を木構造として出力しても良い。木構造とは、節点と線で表されるデータ形式を指す。例えば、指紋の場合、節点は、いわゆる端点や分岐点、さらに骨格線の変曲点である。このとき端点は線を1つだけ持つもの、分岐点は線を3つ持つもの、変曲点は線を2つ持つものと定義できる。節点は、部分画像の原点を基準にした座標を属性として持つ。さらに、情報生成部6は、節点に繋がる線の数と、それらの線を一意に決定する識別番号とを属性として出力情報に持たせてもよい。また、情報生成部6は、節点に対して、部分画像の範囲内で一意に決まる識別番号を属性として持たせても良い。また、線は方向を属性として持つ。線の両端に繋がった節点の識別番号を属性として持たせてもよい。また、部分画像の端部において、骨格線は部分画像の範囲外に伸びているが、部分画像の四辺上と骨格線が交わる点を節点とみなす。
なお、本実施の形態においては、固定の取得部(指紋センサ1)に対して対象物(指)が移動する場合について説明したが、固定の対象物に対して取得部が移動しても良いし、対象物と取得部の両方が移動することにより互いに相対移動しても良い。
なお、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。上述した実施の形態では、対象物が人の指であり、指紋画像を採取する場合について説明したが、本発明は、これに限定されるものではなく、血管パターン画像を採取する場合、さらに対象物としての手のひらから、掌紋画像や血管パターン画像等を採取する場合にも上述と同様に適用され、上述と同様の作用効果を得ることができる。例えば、対象物が血管パターンである場合、上述した実施の形態の説明において指紋の隆線にあたる部分が血管部分、背景ないし谷線にあたる説明が非血管部分として、同様に適用することができる。
また、本実施の形態に係る画像読取装置は、情報処理装置に容易に適用することができ、情報処理装置の性能をより高めることができる。ここで、情報処理装置には、例えばPC(Personal Computer)、PDA、携帯電話機等が含まれ得る。
更に、画像読取装置を構成するコンピュータにおいて上述した各ステップを実行させるプログラムを、画像読取プログラムとして提供することができる。上述したプログラムは、コンピュータにより読取り可能な記録媒体に記憶させることによって、画像読取装置を構成するコンピュータに実行させることが可能となる。ここで、上記コンピュータにより読取り可能な記録媒体としては、ROMやRAM等のコンピュータに内部実装される内部記憶装置、CD−ROMやフレキシブルディスク、DVDディスク、光磁気ディスク、ICカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。
以上説明したように、本発明によれば、取得された部分画像同士に重なりのない場合であっても部分画像同士の位置関係を検出することができる。

Claims (20)

  1. 相対的に移動している対象物の部分を順次読み取ることにより得られる画像である第1画像を複数取得する取得部と、
    前記第1画像の外挿を行うことにより該第1画像の画像範囲を拡張した画像である第2画像を生成する外挿部と、
    前記第1画像及び前記第2画像の少なくともいずれかからなる複数の画像に基づいて、該第1画像または該第2画像間の相対位置を算出する算出部と
    を備える画像読取装置。
  2. 請求項1に記載の画像読取装置において、
    更に、前記算出部により算出された相対位置に基づいて、前記算出部により相対位置が算出されていない第1画像を対象とする外挿に関する指示を前記外挿部へ行う指示部を備えることを特徴とする画像読取装置。
  3. 請求項2に記載の画像読取装置において、
    前記指示部は、前記対象の第1画像と過去の第1画像の相対位置に基づいて前記対象の第1画像の取得時における前記相対移動の方向を予測し、該相対移動の方向に基づいて前記対象の第1画像に対する外挿部分の位置を決定し、前記外挿部へ指示することを特徴とする画像読取装置。
  4. 請求項3に記載の画像読取装置において、
    前記指示部は、前記取得部により連続して取得された2つの第1画像である第3画像及び第4画像に対して、前記第3画像に対する外挿部分を第4画像の方向に決定すると共に、前記第4画像に対する外挿部分を第3画像の方向に決定することを特徴とする画像読取装置。
  5. 請求項2に記載の画像読取装置において、
    前記指示部は、前記対象の第1画像と過去の第1画像の相対位置に基づいて前記対象の第1画像の相対位置の予測を行い、該予測に基づいて前記対象の第1画像の外挿が必要であると判定した場合、前記外挿部に対して前記対象の第1画像の外挿の指示を行うことを特徴とする画像読取装置。
  6. 請求項5に記載の画像読取装置において、
    前記指示部は、前記算出部により相対位置が算出された第1画像または第2画像と、前記予測された前記対象の第1画像との間の重なりが無い、または該重なりが所定の範囲より小さい場合、前記対象の第1画像の外挿が必要であると判定することを特徴とする画像読取装置。
  7. 請求項6に記載の画像読取装置において、
    前記指示部は、前記算出部により算出された第1画像または第2画像の相対位置と、前記予測された前記対象の第1画像の相対位置とに基づいて、前記対象の第1画像への外挿部分の画像拡張範囲を前記外挿部へ指示することを特徴とする画像読取装置。
  8. 請求項2に記載の画像読取装置において、
    前記外挿部は、第2画像への外挿を行うことにより該第2画像のサイズを更に拡張することを特徴とする画像読取装置。
  9. 請求項1に記載の画像読取装置において、
    前記対象物は、生体部位であり、
    前記外挿部は、前記生体部位の特徴に基づいて第1画像への外挿を行うことを特徴とする画像読取装置。
  10. 請求項9に記載の画像読取装置において、
    前記特徴は、第1画像におけるエッジの連続性、第1画像における骨格線の連続性、第1画像の周波数領域の連続性の少なくともいずれかであることを特徴とする画像読取装置。
  11. 請求項1に記載の画像読取装置において、
    更に、第1画像及び該第1画像の相対位置の少なくともいずれかを出力する出力部を備えることを特徴とする画像読取装置。
  12. 請求項1に記載の画像読取装置において、
    更に、前記複数の第1画像と該第1画像の相対位置に基づいて、前記複数の第1画像を合成した画像を生成する合成部を備えることを特徴とする画像読取装置。
  13. 相対的に移動している対象物の部分を順次読み取ることにより得られる画像である第1画像を複数取得する取得ステップと、
    前記第1画像へ画像の外挿を行うことにより該第1画像の画像範囲を拡張した画像である第2画像を生成する外挿ステップと、
    前記第1画像及び前記第2画像の少なくともいずれかからなる複数の画像に基づいて、該第1画像または該第2画像間の相対位置を算出する算出ステップと
    をコンピュータに実行させる画像読取プログラム。
  14. 請求項13に記載の画像読取プログラムにおいて、
    更に、前記算出ステップにより算出された相対位置に基づいて、前記算出ステップにより相対位置が算出されていない第1画像を対象とする外挿に関する指示を行い、前記外挿ステップ及び前記算出ステップを行わせる指示ステップをコンピュータに実行させることを特徴とする画像読取プログラム。
  15. 請求項14に記載の画像読取プログラムにおいて、
    前記指示ステップは、前記対象の第1画像と過去の第1画像の相対位置に基づいて前記対象の第1画像の取得時における前記相対移動の方向を予測し、該相対移動の方向に基づいて前記対象の第1画像に対する外挿部分の位置を決定し、前記外挿ステップへ指示することを特徴とする画像読取プログラム。
  16. 請求項15に記載の画像読取プログラムにおいて、
    前記指示ステップは、前記取得ステップにより連続して取得された2つの第1画像である第3画像及び第4画像に対して、前記第3画像に対する外挿部分を第4画像の方向に決定すると共に、前記第4画像に対する外挿部分を第3画像の方向に決定することを特徴とする画像読取プログラム。
  17. 請求項14に記載の画像読取プログラムにおいて、
    前記指示ステップは、前記対象の第1画像と過去の第1画像の相対位置に基づいて前記対象の第1画像の相対位置の予測を行い、該予測に基づいて前記対象の第1画像の外挿が必要であると判定した場合、前記外挿ステップに対して前記対象の第1画像の外挿の指示を行うことを特徴とする画像読取プログラム。
  18. 請求項1に記載の画像読取装置において、
    前記対象物は、生体部位であり、
    前記外挿部は、前記生体部位の特徴に基づいて第1画像の外挿を行うことを特徴とする画像読取装置。
  19. 請求項18に記載の画像読取装置において、
    前記特徴は、第1画像におけるエッジの連続性、第1画像における骨格線の連続性、第1画像の周波数領域の連続性の少なくともいずれかであることを特徴とする画像読取装置。
  20. 相対的に移動している対象物の部分を順次読み取ることにより得られる画像である第1画像を複数取得する取得ステップと、
    前記第1画像へ画像の外挿を行うことにより該第1画像の画像範囲を拡張した画像である第2画像を生成する外挿ステップと、
    前記第1画像及び前記第2画像の少なくともいずれかからなる複数の画像に基づいて、該第1画像または該第2画像間の相対位置を算出する算出ステップと
    を実行する画像読取方法。
JP2008554932A 2007-01-24 2007-01-24 画像読取装置、画像読取プログラム、画像読取方法 Expired - Fee Related JP4611427B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2007/051105 WO2008090608A1 (ja) 2007-01-24 2007-01-24 画像読取装置、画像読取プログラム、画像読取方法

Publications (2)

Publication Number Publication Date
JPWO2008090608A1 true JPWO2008090608A1 (ja) 2010-05-13
JP4611427B2 JP4611427B2 (ja) 2011-01-12

Family

ID=39644190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008554932A Expired - Fee Related JP4611427B2 (ja) 2007-01-24 2007-01-24 画像読取装置、画像読取プログラム、画像読取方法

Country Status (6)

Country Link
US (1) US8358870B2 (ja)
EP (1) EP2128817B1 (ja)
JP (1) JP4611427B2 (ja)
KR (1) KR101035930B1 (ja)
CN (1) CN101517612B (ja)
WO (1) WO2008090608A1 (ja)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229184B2 (en) 2004-04-16 2012-07-24 Validity Sensors, Inc. Method and algorithm for accurate finger motion tracking
US8447077B2 (en) 2006-09-11 2013-05-21 Validity Sensors, Inc. Method and apparatus for fingerprint motion tracking using an in-line array
US8131026B2 (en) * 2004-04-16 2012-03-06 Validity Sensors, Inc. Method and apparatus for fingerprint image reconstruction
US8175345B2 (en) 2004-04-16 2012-05-08 Validity Sensors, Inc. Unitized ergonomic two-dimensional fingerprint motion tracking device and method
US8358815B2 (en) 2004-04-16 2013-01-22 Validity Sensors, Inc. Method and apparatus for two-dimensional finger motion tracking and control
WO2006041780A1 (en) 2004-10-04 2006-04-20 Validity Sensors, Inc. Fingerprint sensing assemblies comprising a substrate
TWM324255U (en) * 2007-02-16 2007-12-21 A Data Technology Co Ltd Portable storage device with fingerprint identification function
US8290150B2 (en) 2007-05-11 2012-10-16 Validity Sensors, Inc. Method and system for electronically securing an electronic device using physically unclonable functions
US8276816B2 (en) 2007-12-14 2012-10-02 Validity Sensors, Inc. Smart card system with ergonomic fingerprint sensor and method of using
US8204281B2 (en) 2007-12-14 2012-06-19 Validity Sensors, Inc. System and method to remove artifacts from fingerprint sensor scans
US8116540B2 (en) 2008-04-04 2012-02-14 Validity Sensors, Inc. Apparatus and method for reducing noise in fingerprint sensing circuits
DE112009001794T5 (de) 2008-07-22 2012-01-26 Validity Sensors, Inc. System, Vorrichtung und Verfahren zum Sichern einer Vorrichtungskomponente
US8391568B2 (en) 2008-11-10 2013-03-05 Validity Sensors, Inc. System and method for improved scanning of fingerprint edges
US8278946B2 (en) 2009-01-15 2012-10-02 Validity Sensors, Inc. Apparatus and method for detecting finger activity on a fingerprint sensor
US8600122B2 (en) 2009-01-15 2013-12-03 Validity Sensors, Inc. Apparatus and method for culling substantially redundant data in fingerprint sensing circuits
US8374407B2 (en) 2009-01-28 2013-02-12 Validity Sensors, Inc. Live finger detection
US9274553B2 (en) 2009-10-30 2016-03-01 Synaptics Incorporated Fingerprint sensor and integratable electronic display
US9336428B2 (en) 2009-10-30 2016-05-10 Synaptics Incorporated Integrated fingerprint sensor and display
US8791792B2 (en) 2010-01-15 2014-07-29 Idex Asa Electronic imager using an impedance sensor grid array mounted on or about a switch and method of making
US8421890B2 (en) 2010-01-15 2013-04-16 Picofield Technologies, Inc. Electronic imager using an impedance sensor grid array and method of making
US8866347B2 (en) 2010-01-15 2014-10-21 Idex Asa Biometric image sensing
US9666635B2 (en) 2010-02-19 2017-05-30 Synaptics Incorporated Fingerprint sensing circuit
US8716613B2 (en) 2010-03-02 2014-05-06 Synaptics Incoporated Apparatus and method for electrostatic discharge protection
US9001040B2 (en) 2010-06-02 2015-04-07 Synaptics Incorporated Integrated fingerprint sensor and navigation device
US8331096B2 (en) 2010-08-20 2012-12-11 Validity Sensors, Inc. Fingerprint acquisition expansion card apparatus
JP2012091288A (ja) * 2010-10-27 2012-05-17 Makino Milling Mach Co Ltd 工具寸法の測定方法及び測定装置
CN103180094B (zh) * 2010-10-22 2015-10-21 株式会社牧野铣床制作所 工具尺寸的测定方法及测定装置
TWI510756B (zh) * 2010-10-27 2015-12-01 尼康股份有限公司 A shape measuring device, a shape measuring method, a manufacturing method and a program for a structure
JP5653184B2 (ja) * 2010-11-11 2015-01-14 三菱電機株式会社 画像処理装置及び方法
JP5641059B2 (ja) 2010-12-29 2014-12-17 富士通株式会社 生体情報登録装置及び生体情報登録方法
US20140010295A1 (en) * 2011-01-21 2014-01-09 Thomson Licensing Methods and Apparatus for Geometric-Based Intra Prediction
US8594393B2 (en) 2011-01-26 2013-11-26 Validity Sensors System for and method of image reconstruction with dual line scanner using line counts
US8538097B2 (en) 2011-01-26 2013-09-17 Validity Sensors, Inc. User input utilizing dual line scanner apparatus and method
GB2489100A (en) 2011-03-16 2012-09-19 Validity Sensors Inc Wafer-level packaging for a fingerprint sensor
US8836478B2 (en) * 2011-09-25 2014-09-16 Authentec, Inc. Electronic device including finger sensor and related methods
US10043052B2 (en) 2011-10-27 2018-08-07 Synaptics Incorporated Electronic device packages and methods
US9195877B2 (en) 2011-12-23 2015-11-24 Synaptics Incorporated Methods and devices for capacitive image sensing
US9785299B2 (en) 2012-01-03 2017-10-10 Synaptics Incorporated Structures and manufacturing methods for glass covered electronic devices
US9137438B2 (en) 2012-03-27 2015-09-15 Synaptics Incorporated Biometric object sensor and method
US9268991B2 (en) 2012-03-27 2016-02-23 Synaptics Incorporated Method of and system for enrolling and matching biometric data
US9251329B2 (en) 2012-03-27 2016-02-02 Synaptics Incorporated Button depress wakeup and wakeup strategy
US9600709B2 (en) 2012-03-28 2017-03-21 Synaptics Incorporated Methods and systems for enrolling biometric data
US9152838B2 (en) 2012-03-29 2015-10-06 Synaptics Incorporated Fingerprint sensor packagings and methods
JP5930808B2 (ja) * 2012-04-04 2016-06-08 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
EP2958052B1 (en) 2012-04-10 2020-10-07 Idex Asa Biometric sensing
US9665762B2 (en) 2013-01-11 2017-05-30 Synaptics Incorporated Tiered wakeup strategy
CN103235936A (zh) * 2013-04-24 2013-08-07 北京东方金指科技有限公司 掌纹采集装置
US9390306B2 (en) * 2013-09-06 2016-07-12 Apple Inc. Finger biometric sensor including circuitry for acquiring finger biometric data based upon finger stability and related methods
JP6069581B2 (ja) * 2014-03-25 2017-02-01 富士通フロンテック株式会社 生体認証装置、生体認証方法、及びプログラム
EP3125193B1 (en) * 2014-03-25 2020-12-23 Fujitsu Frontech Limited Biometric authentication device, biometric authentication method, and program
JP6431044B2 (ja) * 2014-03-25 2018-11-28 富士通フロンテック株式会社 生体認証装置、生体認証方法、及びプログラム
KR102212632B1 (ko) * 2014-05-12 2021-02-08 삼성전자주식회사 지문 인식 방법 및 이를 수행하는 전자 장치
US9785818B2 (en) 2014-08-11 2017-10-10 Synaptics Incorporated Systems and methods for image alignment
SE1451336A1 (en) * 2014-11-07 2016-05-08 Fingerprint Cards Ab Enrolling templates for biometric authentication
US10217257B1 (en) * 2015-03-17 2019-02-26 Amazon Technologies, Inc. Process for contextualizing continuous images
US9792485B2 (en) 2015-06-30 2017-10-17 Synaptics Incorporated Systems and methods for coarse-to-fine ridge-based biometric image alignment
US10331936B2 (en) * 2015-07-14 2019-06-25 Idex Asa Duplicate pattern reconstructions
WO2017022548A1 (ja) * 2015-07-31 2017-02-09 株式会社ディー・ディー・エス 情報処理プログラム及び情報処理装置
US9785819B1 (en) 2016-06-30 2017-10-10 Synaptics Incorporated Systems and methods for biometric image alignment
US10127681B2 (en) 2016-06-30 2018-11-13 Synaptics Incorporated Systems and methods for point-based image alignment
KR102582973B1 (ko) * 2017-02-03 2023-09-26 삼성전자 주식회사 지문 센서를 제어하기 위한 장치 및 그 방법
SE1750155A1 (sv) * 2017-02-17 2018-08-18 Fingerprint Cards Ab Enabling identification of fingerprints from captured imagesusing contour points
US10282618B2 (en) * 2017-03-22 2019-05-07 Cisco Technology, Inc. Multi-blend fingerprinting
TWI681342B (zh) * 2018-12-11 2020-01-01 瑞昱半導體股份有限公司 物件位置判斷電路
US20220318353A1 (en) * 2019-06-28 2022-10-06 Telefonaktiebolaget Lm Ericsson (Publ) Control of User Profiles based on Biometrical User Authentication in an Electronic User Device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091769A (ja) * 1996-06-14 1998-04-10 Thomson Csf 指紋読み取りシステム
JP2003248820A (ja) * 2002-02-25 2003-09-05 Fujitsu Ltd 画像連結方法、プログラム及び装置
JP2004351039A (ja) * 2003-05-30 2004-12-16 Aloka Co Ltd 超音波診断装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4698843A (en) * 1985-08-19 1987-10-06 Rca Corporation Method for compensating for void-defects in images
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
US6317508B1 (en) 1998-01-13 2001-11-13 Stmicroelectronics, Inc. Scanning capacitive semiconductor fingerprint detector
JP3738629B2 (ja) * 1999-11-25 2006-01-25 三菱電機株式会社 携帯型電子機器
EP1111909A1 (de) * 1999-12-23 2001-06-27 Philips Patentverwaltung GmbH Vorrichtung und Verfahren zur Darstellung eines aus mehreren Teilbereichen zusammengesetzten Bildes
US6643389B1 (en) 2000-03-28 2003-11-04 Stmicroelectronics, Inc. Narrow array capacitive fingerprint imager
WO2002071331A2 (en) * 2001-03-07 2002-09-12 Pulsent Corporation Predictive edge extension into uncovered regions
JP3902473B2 (ja) 2002-01-17 2007-04-04 富士通株式会社 生体情報を用いた本人認証方法
JP4027118B2 (ja) 2002-02-25 2007-12-26 富士通株式会社 本人認証方法、プログラム及び装置
JP4022861B2 (ja) 2002-04-10 2007-12-19 日本電気株式会社 指紋認証システム、指紋認証方法及び指紋認証プログラム
JP3859673B2 (ja) * 2002-09-17 2006-12-20 富士通株式会社 生体情報取得装置および生体情報による認証装置
JP2004110438A (ja) 2002-09-18 2004-04-08 Nec Corp 画像処理装置、画像処理方法及びプログラム
JP4262471B2 (ja) 2002-11-12 2009-05-13 富士通株式会社 生体特徴データ取得装置
DE10255072A1 (de) * 2002-11-25 2004-06-17 Sensovation Ag Verfahren zum Erfassen einer Eigenschaft mindestens eines Gegenstands
JP3710452B2 (ja) 2003-03-11 2005-10-26 キヤノン株式会社 画像読み取り装置、データ補間方法及び制御プログラム
JP2005004718A (ja) 2003-05-16 2005-01-06 Canon Inc 信号処理装置及び制御方法
TWI236636B (en) 2003-05-20 2005-07-21 Lightuning Tech Inc Sweep-type fingerprint sensor module and a sensing method therefor
JP2005063020A (ja) 2003-08-08 2005-03-10 Canon Inc 認識装置
EP1671260B1 (en) * 2003-10-01 2014-06-11 Authentec, Inc. Methods for finger biometric processing and associated finger biometric sensors
JP3924558B2 (ja) * 2003-11-17 2007-06-06 富士通株式会社 生体情報採取装置
DE10358738B3 (de) * 2003-12-11 2005-06-02 Smiths Heimann Biometrics Gmbh Verfahren und Anordnung zur elektronischen Aufnahme abgerollter Fingerabdrücke
JP2005235157A (ja) 2004-01-23 2005-09-02 Sony Corp 指紋センサー、指紋照合装置および指紋読み取り方法
JP2005222472A (ja) 2004-02-09 2005-08-18 Sony Corp 指紋センサー、指紋照合装置および指紋読み取り方法
JP4462988B2 (ja) 2004-04-13 2010-05-12 Necインフロンティア株式会社 指紋読取方法および指紋読取システム
JP4411150B2 (ja) 2004-06-30 2010-02-10 Necインフロンティア株式会社 画像構成方法、指紋画像構成装置およびプログラム
JP4411152B2 (ja) 2004-07-05 2010-02-10 Necインフロンティア株式会社 指紋読取方法、指紋読取システム及びプログラム
JP4404706B2 (ja) 2004-07-07 2010-01-27 Necインフロンティア株式会社 指紋入力方法、指紋入力装置、指紋認証方法、指紋認証システム及びプログラム
JP2006107366A (ja) 2004-10-08 2006-04-20 Fujitsu Ltd 生体情報入力装置,生体認証装置,生体情報処理方法,生体情報処理プログラムおよび同プログラムを記録したコンピュータ読取可能な記録媒体
US7359555B2 (en) * 2004-10-08 2008-04-15 Mitsubishi Electric Research Laboratories, Inc. Detecting roads in aerial images using feature-based classifiers
US7565548B2 (en) * 2004-11-18 2009-07-21 Biogy, Inc. Biometric print quality assurance
US20060285729A1 (en) * 2005-06-15 2006-12-21 Kim Taek S Fingerprint recognition system and method
US20090175539A1 (en) * 2008-01-09 2009-07-09 Authorizer Technologies, Inc. Method and system for swipe sensor image alignment using fourier phase analysis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091769A (ja) * 1996-06-14 1998-04-10 Thomson Csf 指紋読み取りシステム
JP2003248820A (ja) * 2002-02-25 2003-09-05 Fujitsu Ltd 画像連結方法、プログラム及び装置
JP2004351039A (ja) * 2003-05-30 2004-12-16 Aloka Co Ltd 超音波診断装置

Also Published As

Publication number Publication date
EP2128817A1 (en) 2009-12-02
KR101035930B1 (ko) 2011-05-23
JP4611427B2 (ja) 2011-01-12
CN101517612B (zh) 2012-05-30
WO2008090608A1 (ja) 2008-07-31
US8358870B2 (en) 2013-01-22
US20090279742A1 (en) 2009-11-12
KR20090098894A (ko) 2009-09-17
EP2128817B1 (en) 2019-04-03
CN101517612A (zh) 2009-08-26
EP2128817A4 (en) 2014-07-02

Similar Documents

Publication Publication Date Title
JP4611427B2 (ja) 画像読取装置、画像読取プログラム、画像読取方法
KR101639986B1 (ko) 지문 등록 및 인증 속도 향상을 위한 지문 정보 프로세싱 방법 및 그 장치
US9087228B2 (en) Method and apparatus for authenticating biometric scanners
JP4883185B2 (ja) 生体情報読取装置,生体情報読取方法,及び生体情報読取プログラム
US8306327B2 (en) Adaptive partial character recognition
JP5240082B2 (ja) 生体認証装置、認証精度評価装置及び生体認証方法
CN113569868B (zh) 一种目标检测方法、装置及电子设备
JP5040835B2 (ja) 生体情報読取装置、生体情報読取方法および生体情報読取プログラム
EP3698272A1 (en) Differentiating between live and spoof fingers in fingerprint analysis by machine learning
Nagwanshi et al. Biometric authentication using human footprint
JP2007156655A (ja) 変動領域検出装置及びその方法
Spreeuwers Breaking the 99% barrier: optimisation of three‐dimensional face recognition
US11972630B2 (en) Cross-matching contactless fingerprints against legacy contact-based fingerprints
Nguyen et al. Universal fingerprint minutiae extractor using convolutional neural networks
JP2006018754A (ja) 指紋読取方法、指紋読取システム及びプログラム
Scheidat et al. Biometric authentication based on 2D/3D sensing of forensic handwriting traces
Joshi et al. On estimating uncertainty of fingerprint enhancement models
JP2022003451A (ja) 最適解獲得プログラム、最適解獲得方法および情報処理装置
Tiwari et al. A blind blur detection scheme using statistical features of phase congruency and gradient magnitude
JP2006277146A (ja) 照合方法および照合装置
KR20230111010A (ko) 관절 예측을 위한 학습 데이터 생성 방법 및 장치
US9390347B2 (en) Recognition device, method, and computer program product
KR20170041593A (ko) 지문 등록 및 인증 속도 향상을 위한 방법 및 장치
JP4372402B2 (ja) 個人識別装置
JP5396960B2 (ja) 画像処理プログラム、画像処理方法および画像処理装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101012

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101013

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4611427

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees