JPH0922406A - パターン照合装置 - Google Patents
パターン照合装置Info
- Publication number
- JPH0922406A JPH0922406A JP8107244A JP10724496A JPH0922406A JP H0922406 A JPH0922406 A JP H0922406A JP 8107244 A JP8107244 A JP 8107244A JP 10724496 A JP10724496 A JP 10724496A JP H0922406 A JPH0922406 A JP H0922406A
- Authority
- JP
- Japan
- Prior art keywords
- fourier
- dimensional
- pattern
- data
- registered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Complex Calculations (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
2次元離散的フーリエ変換(DFT)を施して照合フー
リエ画像データを作成する(図1(f))。この照合フ
ーリエ画像データと同様の処理を施して作成されている
登録指紋の登録フーリエ画像データ(図1(b))とを
合成し、この合成フーリエ画像データ(図1(d))に
対して振幅抑制処理(log処理)を行ったうえ、DF
Tを施す。このDFTの施された合成フーリエ画像デー
タ(図1(h))に出現する相関成分エリアS0よりそ
の相関成分の強度の高い上位n画素を抽出し、この抽出
したn画素の相関成分の強度の平均を相関値としてしき
い値と比較する。相関値がしきい値よりも高ければ登録
指紋と照合指紋とは一致したと判断する。
Description
に基づいてN次元のパターン〔例えば、音声(1次
元)、指紋(2次元)、立体(3次元)〕の照合を行う
パターン照合装置に関するものである。
入退室管理、コンピュータ端末や銀行の金融端末へのア
クセス管理などの個人認識を必要とする分野において、
これまでの暗証番号やIDカードに代わって、音声照合
装置や指紋照合装置が採用されつつある。
期大会」で報告された豊田晴義らによる「位相変調型液
晶空間光変調器を用いた指紋認識システム(文献1)」
に示された実験システムを示す図である。同図におい
て、1はCRT、2−1,2−2は位相変調型液晶空間
光変調器、3はレンズ、4−1,4−2はフーリエレン
ズ、5−1〜5−3はハーフミラー、6は全反射ミラ
ー、7はフォトダイオード、Lはレーザ光である。
指紋(登録指紋)をCCDカメラ(図示せず)で撮して
記憶する。そして、照合する指の指紋(照合指紋)をC
CDカメラで撮し、登録指紋の画像と照合指紋の画像を
左右に並置して1つの入力画像とし(図9(a)参
照)、この入力画像をCRT1の画面上に映し出す。こ
のCRT1の画面上に映し出された入力画像は、位相変
調型液晶空間光変調器2−1,フーリエ変換レンズ4−
1を通過すると、干渉し合って縦縞模様を作る。
(空間周波数の分離)が行われ、図9(a)に示された
入力画像は同図(b)に示されるようなフーリエ像とな
る。このフーリエ像では中心部に空間周波数の低周波成
分が現れる。そして、このフーリエ像が、位相変調型液
晶空間光変調器2−2,フーリエ変換レンズ4−2を通
過し、第2回目の光フーリエ変換が行われる。これによ
り、図9(b)に示されたフーリエ像は、同図(c)に
示されるようなフーリエ像となる。このフーリエ像で
は、空間周波数の低周波成分が中心部に現れ、高周波数
成分が左右に分かれた形て現れる。
合には、左右の相関成分エリアS1,S2の光強度が強
くなる。フォトダイオード7は、左右の相関成分エリア
S1,S2のうち例えば左側の相関成分エリアS1にそ
の受光面が位置するように、設けられている。これによ
り、フォトダイオード7の検出する相関成分エリアS1
の光強度がしきい値より強ければ、すなわち相関ピーク
が出現していれば、登録指紋と照合指紋とが一致してい
ると判断することができる。
うな従来の指紋照合方法によると、相関成分エリアS1
全体の光強度をフォトダイオード7で検出するものとし
ているため、すなわち相関成分エリアS1内の光強度の
平均値を検出するものとしているため、相関成分エリア
S1を構成する画素中に存在する光強度の低い画素の影
響を受けてS/N比が悪化し、照合精度が悪化する。ま
た、登録指紋の採取時と照合指紋の採取時の照度の違い
によっても、照合精度が悪化する。すなわち、登録指紋
の採取時と照合指紋の採取時の照度差が大きいと、本人
の指紋でも同一と認識することができない。
ずれると相関ピークの出現する位置もずれるが、従来の
指紋照合方法では、相関ピークを捉えるのにフォトダイ
オード7を用いているので、これに対応することができ
ない虞れがあった。すなわち、S/N比を良くするため
にフォトダイオードの面積を狭くすると相関ピークの位
置ずれに対応できず、また、この位置ずれに対応させる
ためにフォトダイオードの面積を広くするとS/N比が
悪化することになり、双方を両立できないという問題が
あった。
素子を用い、その受光面積を広くすれば、上述した照合
精度の悪化や照合指紋の位置ずれに対処することは可能
であるが、フォトダイオードに比べてCCDは極めて高
価であり、装置全体が大幅なコストアップとなる。
型液晶空間光変調器やフーリエ変換レンズを必要とし、
これらを組み合わせて光学系を製作することは精度的に
も難しく、またこれらの素子はそれ自体高価なものであ
るため、システムとして高価にならざるを得ない。
なされたもので、その目的とするところは、照合精度が
高く、照合パターンのずれにも対応でき、且つ安価なパ
ターン照合装置を提供することにある。
るために、第1発明(請求項1に係る発明)は、登録パ
ターンのN次元パターンデータにN次元離散的フーリエ
変換を施して登録フーリエN次元パターンデータを作成
し、照合パターンのN次元パターンデータにN次元離散
的フーリエ変換を施して照合フーリエN次元パターンデ
ータを作成し、登録フーリエN次元パターンデータと照
合フーリエN次元パターンデータとを合成し、これによ
って得られる合成フーリエN次元パターンデータに対し
て振幅抑制処理を行ったうえN次元離散的フーリエ変換
を施し、このN次元離散的フーリエ変換の施された合成
フーリエN次元パターンデータに出現する相関成分エリ
アのN次元パターンデータを構成する個々のデータ毎の
相関成分の強度に基づいて登録パターンと照合パターン
との照合を行うようにしたものである。
発明における「合成フーリエN次元パターンデータに対
して振幅抑制処理を行ったうえN次元離散的フーリエ変
換を施す」のに代えて、「合成フーリエN次元パターン
データに対して振幅抑制処理を行ったうえN次元離散的
逆フーリエ変換を施す」ようにしたものである。
のN次元パターンデータにN次元離散的フーリエ変換が
施されて照合フーリエN次元パターンデータが作成さ
れ、この照合フーリエN次元パターンデータと同様の処
理を施して作成されている登録パターンの登録フーリN
次元パターンデータとが合成され、この合成フーリエN
次元パターンデータに対してlog処理や√処理等の振
幅抑制処理が行われたうえN次元離散的フーリエ変換
(N次元離散的逆フーリエ変換)が施され、このN次元
離散的フーリエ変換(N次元離散的逆フーリエ変換)の
施された合成フーリエN次元パターンデータに出現する
相関成分エリアのN次元パターンデータを構成する個々
のデータ毎の相関成分の強度に基づいて、登録パターン
と照合パターンとの照合が行われる。
パターンのN次元パターンデータにN次元離散的フーリ
エ変換を施してから振幅抑制処理を行うことにより登録
フーリエN次元パターンデータを作成し、照合パターン
のN次元パターンデータにN次元離散的フーリエ変換を
施してから振幅抑制処理を行うことにより照合フーリエ
N次元パターンデータを作成し、登録フーリエN次元パ
ターンデータと照合フーリエN次元パターンデータとを
合成し、これによって得られる合成フーリエN次元パタ
ーンデータに対してN次元離散的フーリエ変換を施し、
このN次元離散的フーリエ変換の施された合成フーリエ
N次元パターンデータに出現する相関成分エリアのN次
元パターンデータを構成する個々のデータ毎の相関成分
の強度に基づいて登録パターンと照合パターンとの照合
を行うようにしたものである。
発明における「合成フーリエN次元パターンデータにN
次元離散的フーリエ変換を施す」のに代えて、「合成フ
ーリエN次元パターンデータにN次元離散的逆フーリエ
変換を施す」ようにしたものである。
のN次元パターンデータにN次元離散的フーリエ変換が
施されてからlog処理や√処理等の振幅抑制処理が行
われることにより照合フーリエN次元パターンデータが
作成され、この照合フーリエN次元パターンデータと同
様の処理を施して作成されている登録パターンの登録フ
ーリエN次元パターンデータとが合成され、この合成フ
ーリエN次元パターンデータにN次元離散的フーリエ変
換(N次元離散的逆フーリエ変換)が施され、このN次
元離散的フーリエ変換(N次元離散的逆フーリエ変換)
の施された合成フーリエN次元パターンデータに出現す
る相関成分エリアのN次元パターンデータを構成する個
々のデータ毎の相関成分の強度に基づいて、登録パター
ンと照合パターンとの照合が行われる。
き詳細に説明する。
ターンの照合)〕図2はこの発明の一実施の形態を示す
指紋照合装置のブロック構成図である。同図において1
0は操作部、20はコントロール部であり、操作部10
にはテンキー10−1,ディスプレイ(LCD)10−
2と共に指紋センサ10−3が設けられている。指紋セ
ンサ10−3は光源10−31,プリズム10−32,
CCDカメラ10−33を備えてなる。コントロール部
20は、CPUを有してなる制御部20−1と、ROM
20−2と、RAM20−3と、ハードディスク(H
D)20−4と、フレームメモリ(FM)20−5と、
外部接続部(I/F)20−6と、フーリエ変換部(F
FT)20−7とを備えてなり、ROM20−2には登
録プログラムと照合プログラムが格納されている。
利用者の指紋は次のようにして登録される。すなわち、
運用する前に、利用者は、テンキー10−1を用いて自
己に割り当てられたIDナンバを入力のうえ(図3に示
すステップ301)、指紋センサ10−3のプリズム1
0−32上に指を置く。プリズム10−32には光源1
0−31から光が照射されており、プリズム10−32
の面に接触しない指紋の凹部(谷線部)では、光源10
−31からの光は全反射し、CCDカメラ10−33に
至る。逆にプリズム10−32の面に接触する指紋の凸
部(隆線部)では全反射条件がくずれ、光源10−31
からの光は散乱する。これにより、指紋の谷線部は明る
く、隆線部は暗い、コントラストのある指紋の紋様が採
取される。この採取された指紋(登録指紋)の紋様は、
A/D変換により、320×400画素,256階調の
濃淡画像(画像データ:2次元パターンデータ)とし
て、コントロール部20へ与えられる。
えられる登録指紋の画像データをフレームメモリ20−
5を介して取り込み(ステップ302)、この取り込ん
だ登録指紋の画像データに対し縮小処理を行う(ステッ
プ303)。この縮小処理は、320×400画素,2
56階調の原画像データに対し、そのx方向(横方向)
については左右の端を32画素づつ除いて4画素ビッチ
で間引くことにより、そのy方向(縦方向)については
上下の端を8画素づつ除いて3画素ピッチで間引くこと
により行う。これにより、登録指紋の画像データが、6
4×128画素,256階調の画像データに縮小される
(図5参照)。
登録指紋の画像データ(図1(a)参照)をフーリエ変
換部20−7へ送り、この登録指紋の画像データに2次
元離散的フーリエ変換(DFT)を施す(ステップ30
4)。これにより、図1(a)に示された登録指紋の画
像データは、同図(b)に示されるようなフーリエ画像
データ(登録フーリエ画像データ)となる。制御部20
−1は、このフーリエ画像データを登録指紋の原画像デ
ータとして、ハードディスク20−4内にIDナンバと
対応させてファイル化する(ステップ305)。
は、例えば「コンピュータ画像処理入門、日本工業技術
センター編、総研出版(株)発行、P.44〜45(文
献2)」等に説明されている。
利用者の指紋の照合は次のようにして行われる。すなわ
ち、運用中、利用者は、テンキー10−1を用いて自己
に割り当てられたIDナンバを入力のうえ(図4に示す
ステップ401)、指紋センサ10−3のプリズム10
−32上に指を置く。これにより、指紋の登録の場合と
同様にして、採取された指紋(照合指紋)の紋様が、3
20×400画素,256階調の濃淡画像(画像デー
タ:2次元パターンデータ)として、コントロール部2
0へ与えられる。
してIDナンバが与えられると、ハードディスク20−
4内にファイル化されている登録指紋から、そのIDナ
ンバに対応する登録指紋のフーリエ画像データを読み出
す(ステップ402)。また、制御部20−1は、操作
部10より与えられる照合指紋の画像データをフレーム
メモリ20−5を介して取り込み(ステップ403)、
この取り込んだ照合指紋の画像データに対してステップ
303で行ったと同様の縮小処理を行う(ステップ40
4)。これにより、照合指紋の画像データが、64×1
28画素,256階調の画像データに縮小される。
照合指紋の画像データ(図1(e)参照)をフーリエ変
換部20−7へ送り、この照合指紋の画像データに2次
元離散的フーリエ変換(DFT)を施す(ステップ40
5)。これにより、図1(e)に示された照合指紋の画
像データは、同図(f)に示されるようなフーリエ画像
データ(照合フーリエ画像データ)となる。
で得た照合指紋のフーリエ画像データとステップ402
で読み出した登録指紋のフーリエ画像データとを合成し
(ステップ406)、合成フーリエ画像データを得る。
指紋のフーリエ画像データをA・ejθとし、登録指紋
のフーリエ画像データをB・ejφとした場合、A・B
・ej(θ-φ) で表される。但し、A,B,θ,φとも
周波数(フーリエ)空間(u,v)の関数とする。
α2 +jβ2 とすると、A=(α1 2+β1 2)1/2,B=
(α2 2+β2 2)1/2,θ=tan-1(β1 /α1),φ=
tan-1(β2 /α2 )となる。この(1)式を計算す
ることにより合成フーリエ画像データを得る。
θ・e-jφ=A・ejθ・B・e-jφ=(α1 +j
β1 )・(α2 −jβ2 )=(α1 ・α2 +β1 ・
β2 )+j(α2 ・β1 −α1 ・β2 )として、合成フ
ーリエ画像データを求めるようにしてもよい。
て合成フーリエ画像データを得た後、振幅抑制処理を行
う(ステップ407)。この実施の形態では、振幅抑制
処理として、log処理を行う。すなわち、前述した合
成フーリエ画像データの演算式であるA・B・ej(θ-
φ)のlogをとり、log(A・B)・ej(θ-φ)と
することにより、振幅であるA・Bをlog(A・B)
に抑制する(A・B>log(A・B))。
エ画像データを示す。振幅抑制処理を施した合成フーリ
エ画像データでは登録指紋の採取時と照合指紋の採取時
の照度差による影響が小さくなる。すなわち、振幅抑制
処理を行うことにより、各画素のスペクトラム強度が抑
圧され、飛び抜けた値がなくなり、より多くの情報が有
効となる。また、振幅抑制処理を行うことにより、指紋
情報の内、個人情報である特徴点(端点,分岐点)や隆
線の特徴(渦,分岐)がより強調され、一般的指紋情報
である隆線全体の流れ・方向が抑えられる。
としてlog処理を行うものとしたが、√処理を行うよ
うにしてもよい。また、log処理や√処理に限らず、
振幅を抑制することができればどのような処理でもよ
い。振幅抑制で全ての振幅を例えば1にすると、すなわ
ち位相のみにすると、log処理や√処理等に比べ、計
算量を減らすことができるという利点とデータが少なく
なるという利点がある。
後、制御部20−1は、その振幅抑制処理を行った合成
フーリエ画像データをフーリエ変換部20−7へ送り、
第2回目の2次元離散的フーリエ変換(DFT)を施す
(ステップ408)。これにより、図1(d)に示され
た合成フーリエ画像データは、同図(h)に示されるよ
うな合成フーリエ画像データとなる。
8で得られた合成フーリエ画像データを取り込み、この
合成フーリエ画像データより所定の相関成分エリアの各
画素の相関成分の強度(振幅)をスキャンし、各画素の
相関成分の強度のヒストグラムを求め、このヒストグラ
ムより相関成分の強度の高い上位n画素(この実施の形
態では、8画素)を抽出し、この抽出したn画素の相関
成分の強度(相関ピーク)の平均を相関値(スコア)と
して求める(ステップ409)。ここで、上記相関成分
エリアは、図1(h)に示される合成フーリエ画像デー
タに対し、白い点線で囲んだ領域S0として定められて
いる。この相関成分エリアS0の一部における各画素の
相関成分の強度の数値例を図6に示す。この図におい
て、○で囲んだ値が、上位8画素の相関成分の強度であ
る。
9で得た相関値を予め定められているしきい値と比較し
(ステップ410)、相関値がしきい値以上であれば、
登録指紋と照合指紋とが一致したと判断し(ステップ4
11)、その旨の表示を行うと共に電気錠用の出力を送
出する。相関値がしきい値以下であれば、登録指紋と照
合指紋とが一致しないと判断し(ステップ412)、そ
の旨の表示を行ったうえ、ステップ401へ戻る。
サンプルとして20〜50歳代の男女10人の人指し指
の指紋を各10回入力して得た合計100指をそれぞれ
登録と照合に用いて1万回の照合を行い、この照合結果
から求めている。本人対本人、本人対他人、それぞれの
相関値の相対度数分布図を図7に示す。X軸は本人対本
人の組合せにおける相関値の平均値μと標準偏差σで表
した相関度を示し、Y軸は相対度数を示している。他人
排他率が100%となる所の相関値をしきい値として用
いる。なお、他人排他率は100%でなくても良く、目
的に合わせて任意の率に定めれば良い。
本人対本人、本人対他人、それぞれの相関値の相対度数
分布図を示す。この実施の形態では、ステップ407で
振幅抑制処理を行っているので、合成フーリエ画像デー
タにおける登録指紋の採取時と照合指紋の採取時の照度
差による影響が小さくなり、また指紋情報の内、個人情
報である特徴点(端点,分岐点)や隆線の特徴(渦,分
岐)がより強調され、照合精度が格段にアップする。す
なわち、図8では他人排他率100%のときの本人認識
率が6.6%であるが、図7では他人排他率100%の
ときの本人認識率は93.1%となる。
る指紋照合装置によると、照合指紋の画像データに2次
元離散的フーリエ変換が施されて照合フーリエ画像デー
タが作成され、この照合フーリエ画像データと同様の処
理を施して作成されている登録指紋の登録フーリエ画像
データとが合成され、この合成フーリエ画像データに対
して振幅抑制処理が行われたうえ2次元離散的フーリエ
変換が施され、この2次元離散的フーリエ変換の施され
た合成フーリエ画像データに出現する相関成分エリアS
0よりその相関成分の強度の高い上位n画素が抽出さ
れ、この抽出されたn画素の相関成分の強度の平均が相
関値としてしきい値と比較され、登録指紋と照合指紋と
の照合が行われるものとなり、相関成分エリアS0を構
成する画素中の相関成分の強度の低いものを除去して指
紋照合が行われるため、また振幅抑制処理を行うことに
よって照度補正がなされるため、従来の光フーリエ変換
を行う方法に比して、照合精度が飛躍的に向上するもの
となる。
処理を加えるだけでよく、位相変調型液晶空間光変調器
やフーリエ変換レンズを必要としないので、低価格化を
促進することができる。また、画像処理技術によって相
関成分エリアS0は自在に設定可能であり、相関成分エ
リアS0を広くして、照合指紋の位置ずれにも簡単に対
応することができる。
によれば、入力される画像データに対して2次元離散的
フーリエ変換を施して相関値を求める方式であるので、
同じ画像処理技術でも端点や分岐点などの特徴点を抽出
する方式に比して、その処理が簡単となり、指紋照合ス
ピードがアップする。
の画像データと登録指紋の画像データとが別個に2次元
離散的フーリエ変換されるので、登録指紋の画像データ
が加工されて再生しにくく、すなわち登録指紋の画像デ
ータの復元が困難となり、悪用されることを未然に防止
することが可能となる。
分エリアS0の各画素から相関成分の強度の高い上位n
画素を抽出しその平均を相関値としたが、その上位n画
素の相関成分の強度の加算値を相関値としてもよい。ま
た、しきい値を越える全ての画素の相関成分の強度を加
算し、その加算値を相関値としたり、その加算値の平均
を相関値とするなどとしてもよい。また、各画素の相関
成分の強度のうち1つでもしきい値以上のものがあれば
「一致」と判断してもよく、しきい値を越えるものがn
個以上であれば「一致」と判断する等、種々の判定方法
が考えられる。
フーリエ変換をフーリエ変換部20−7において行うも
のとしたが、CPU20−1内で行うものとしてもよ
い。また、この実施の形態では、登録指紋の画像データ
に対しステップ303で縮小処理を行うようにしたが、
登録指紋のフーリエ画像データを読み出した後の段階
(ステップ402と403との間)で縮小処理を行うよ
うにしてもよい。また、登録指紋や照合指紋の画像デー
タに対しては必ずしも縮小処理を行わなくてもよく、入
力画像データをそのまま用いてフーリエ画像データを作
成するようにしてもよい。縮小処理を行うようにすれ
ば、その分、入力画像データの処理に際して用いる画像
メモリの容量を少なくすることができる。
ステップ408にて2次元離散的フーリエ変換を行うよ
うにしたが、2次元離散的フーリエ変換ではなく2次元
離散的逆フーリエ変換を行うようにしてもよい。すなわ
ち、振幅抑制処理の施された合成フーリエ画像データに
対して2次元離散的フーリエ変換を行うのに代えて、2
次元離散的逆フーリエ変換を行うようにしてもよい。2
次元離散的フーリエ変換と2次元離散的逆フーリエ変換
とは、定量的にみて照合精度は変わらない。2次元離散
的逆フーリエ変換については、先の文献2に説明されて
いる。
リエ画像データに対して振幅抑制処理を施して2次元離
散的フーリエ変換を行うようにしたが(ステップ40
7,408)、合成前の登録指紋および照合指紋のフー
リエ画像データにそれぞれ振幅抑制処理を行った後に合
成するようにしてもよい。すなわち、図9(a)に示す
ように、図3のステップ304と305との間に振幅抑
制処理を行うステップ306を設け、図9(b)に示す
ように、図4のステップ406と407とを入れ替える
ようにしてもよい。
幅抑制処理によって、図1(c)に示すような振幅抑制
処理の施された登録指紋のフーリエ画像データ(登録フ
ーリエ画像データ)が得られ、ステップ406と407
との入れ替えによって、図1(g)に示すような振幅抑
制処理の施された照合指紋のフーリエ画像データ(照合
フーリエ画像データ)が得られる。そして、それぞれ振
幅抑制処理の施された登録指紋および照合指紋のフーリ
エ画像データが合成され、図1(d)に示されるような
合成フーリエ画像データが得られる。
抑制率は、合成フーリエ画像データとしてから振幅抑制
処理を行う場合(図4)に対して小さい。したがって、
合成フーリエ画像データとしてから振幅抑制処理を行う
(図4)方が、振幅抑制処理を行ってから合成フーリエ
画像データとする方法(図9)に比べて、その照合精度
がアップする。なお、振幅抑制処理を行ってから合成フ
ーリエ画像データとする場合(図9)にも、合成フーリ
エ画像データに対して2次元離散的フーリエ変換ではな
く、2次元離散的逆フーリエ変換を行うようにしてもよ
い。
場合の指紋照合過程の各画像を図1と対応して示す。図
1は照合指紋が本人である場合の指紋照合過程の各画像
であり、照合指紋が本人である場合には相関成分エリア
S0に相関成分の強度の高い部分が生じるが、照合指紋
が他人である場合には生じない。
う場合を例として説明したが、声紋照合を行う場合にも
同様にして適用することができ、指紋,声紋に拘らず画
像データとして取り扱うことのできる各種の2次元パタ
ーンの照合に用いることができる。
ンを画像として得るものとしたが、必ずしも画像として
得るようにしなくてもよい。例えば、振動検出器を各場
所に2次元的に配置し、この2次元的に配置された振動
検出器により得られる2次元パターン(地震波)を照合
パターンとし、予め登録されているパターンと照合する
ようにしてもよい。また、各部位に流量計測器を2次元
的に配置し、この2次元的に配置された流量計測器によ
り得られる2次元パターン(流量分布)を照合パターン
とし、予め登録されているパターンと照合するようにし
てもよい。
ターンの照合)〕図12はこの発明の他の実施の形態を
示す音声照合装置のブロック構成図である。同図におい
て100は操作部、200はコントロール部であり、操
作部100にはテンキー100−1,ディスプレイ(L
CD)100−2と共にマイク100−3が設けられて
いる。コントロール部200は、CPUを有してなる制
御部200−1と、ROM200−2と、RAM200
−3と、ハードディスク(HD)200−4と、A/D
変換器200−5と、外部接続部(I/F)200−6
と、フーリエ変換部(FFT)200−7とを備えてな
り、ROM200−2には登録プログラムと照合プログ
ラムが格納されている。
利用者の音声は次のようにして登録される。すなわち、
運用する前に、利用者は、テンキー10−1を用いて自
己に割り当てられたIDナンバを入力のうえ(図13に
示すステップ131)、マイク100−3を介して予め
定められた言葉を発声する。この登録音声はマイク10
0−3によって電気信号の波形に変換され、音声信号デ
ータ(1次元パターンデータ)として、コントロール部
200へ与えられる。
り与えられる登録音声の音声信号データをA/D変換器
200−5を介して取り込む(ステップ132)。そし
て、制御部200−1は、この登録音声の音声信号デー
タ(図11(a)参照)をフーリエ変換部200−7へ
送り、この登録音声の音声信号データに1次元離散的フ
ーリエ変換(DFT)を施す(ステップ133)。これ
により、図11(a)に示された登録音声の音声信号デ
ータは、同図(b)に示されるようなフーリエ音声信号
データ(登録フーリエ音声信号データ)となる。制御部
200−1は、このフーリエ音声信号データを登録音声
の原音声信号データとして、ハードディスク200−4
内にIDナンバと対応させてファイル化する(ステップ
134)。
利用者の音声の照合は次のようにして行われる。すなわ
ち、運用中、利用者は、テンキー100−1を用いて自
己に割り当てられたIDナンバを入力のうえ(図14に
示すステップ141)、マイク100−3を介して登録
時と同じ言葉を発声する。この照合音声はマイク100
−3によって電気信号の波形に変換され、登録音声の場
合と同様、音声信号データ(1次元パターンデータ)と
して、コントロール部200へ与えられる。
を介してIDナンバが与えられると、ハードディスク2
00−4内にファイル化されている登録音声から、その
IDナンバに対応する登録音声のフーリエ音声信号デー
タ(原音声信号データ)を読み出す(ステップ14
2)。
より与えられる照合音声の音声信号データをA/D変換
器200−5を介して取り込む(ステップ143)。そ
して、制御部200−1は、この照合音声の音声信号デ
ータ(図1(e)参照)をフーリエ変換部200−7へ
送り、この照合音声の音声信号データに1次元離散的フ
ーリエ変換(DFT)を施す(ステップ144)。これ
により、図1(e)に示された照合音声の音声信号デー
タは、同図(f)に示されるようなフーリエ音声信号デ
ータ(照合フーリエ音声信号データ)となる。
4で得た照合音声のフーリエ音声信号データとステップ
142で読み出した登録音声のフーリエ音声信号データ
とを合成し(ステップ145)、合成フーリエ音声信号
データを得る。
照合音声のフーリエ音声信号データをA・ejθとし、
登録音声のフーリエ音声信号データをB・ejφとした
場合、A・B・ej(θ-φ) で表される。但し、A,
B,θ,φとも周波数(フーリエ)空間(u,v)の関
数とする。
α2 +jβ2 とすると、A=(α1 2+β1 2)1/2,B=
(α2 2+β2 2)1/2,θ=tan-1(β1 /α1),φ=
tan-1(β2 /α2 )となる。この(1)式を計算す
ることにより合成フーリエ音声信号データを得る。
θ・e-jφ=A・ejθ・B・e-jφ=(α1 +j
β1 )・(α2 −jβ2 )=(α1 ・α2 +β1 ・
β2 )+j(α2 ・β1 −α1 ・β2 )として、合成フ
ーリエ音声信号データを求めるようにしてもよい。
して合成フーリエ音声信号データを得た後、振幅抑制処
理を行う(ステップ146)。この実施の形態では、振
幅抑制処理として、log処理を行う。すなわち、前述
した合成フーリエ音声信号データの演算式であるA・B
・ej(θ-φ)のlogをとり、log(A・B)・ej
(θ-φ) とすることにより、振幅であるA・Bをlog
(A・B)に抑制する(A・B>log(A・B))。
リエ音声信号データを示す。振幅抑制処理を施した合成
フーリエ音声信号データでは登録音声の入力時と照合音
声の入力時の音声の強度差による影響が小さくなる。す
なわち、振幅抑制処理を行うことにより、音声信号デー
タを構成する個々のデータ(音素)のスペクトラム強度
が抑圧され、飛び抜けた値がなくなり、より多くの情報
が有効となる。また、振幅抑制処理を行うことにより、
音声情報の内、個人認識に必要な情報である特徴的な部
分がより強調され、共通にみられる音声情報が抑えられ
る。
としてlog処理を行うものとしたが、√処理を行うよ
うにしてもよい。また、log処理や√処理に限らず、
振幅を抑制することができればどのような処理でもよ
い。
後、制御部200−1は、その振幅抑制処理を行った合
成フーリエ音声信号データをフーリエ変換部200−7
へ送り、第2回目の1次元離散的フーリエ変換(DF
T)を施す(ステップ147)。これにより、図11
(d)に示された合成フーリエ音声信号データは、同図
(h)に示されるような合成フーリエ音声信号データと
なる。
47で得られた合成フーリエ音声信号データを取り込
み、この合成フーリエ音声信号データより所定の相関成
分エリアの各音素の相関成分の強度(振幅)をスキャン
し、各音素の相関成分の強度のヒストグラムを求め、こ
のヒストグラムより相関成分の強度の高い上位n音素
(この実施の形態では、4音素)を抽出し、この抽出し
たn音素の相関成分の強度(相関ピーク)の平均を相関
値(スコア)として求める(ステップ148)。
(h)に示される合成フーリエ音声信号データに対し、
領域Saとして定められている。この相関成分エリアS
aの一部における各音素の相関成分の強度の数値例を図
15に示す。この図において、○で囲んだ値が、上位4
音素の相関成分の強度である。
48で得た相関値を予め定められているしきい値と比較
し(ステップ149)、相関値がしきい値以上であれ
ば、登録音声と照合音声とが一致したと判断し(ステッ
プ150)、その旨の表示を行うと共に電気錠用の出力
を送出する。相関値がしきい値以下であれば、登録音声
と照合音声とが一致しないと判断し(ステップ15
1)、その旨の表示を行ったうえ、ステップ141へ戻
る。
サンプルとして20〜50歳代の男女10人の同じ言葉
の発声を各10回入力して得た合計100音声をそれぞ
れ登録と照合に用いて1万回の照合を行い、この照合結
果から求めている。他人排他率が100%となる所の相
関値をしきい値として用いる。なお、他人排他率は10
0%でなくても良く、目的に合わせて任意の率に定めれ
ば良い。
幅抑制処理を行っているので、合成フーリエ音声信号デ
ータにおける登録音声の入力時と照合音声の入力時の音
声の強度差による影響が小さくなり、また音声情報の
内、個人認識に必要な情報である特徴的な部分がより強
調され、照合精度が格段にアップする。
る音声照合装置によると、照合音声の音声信号データに
1次元離散的フーリエ変換が施されて照合フーリエ音声
信号データが作成され、この照合フーリエ音声信号デー
タと同様の処理を施して作成されている登録音声の登録
フーリエ音声信号データとが合成され、この合成フーリ
エ音声信号データに対して振幅抑制処理が行われたうえ
1次元離散的フーリエ変換が施され、この1次元離散的
フーリエ変換の施された合成フーリエ音声信号データに
出現する相関成分エリアSaよりその相関成分の強度の
高い上位n音素が抽出され、この抽出されたn音素の相
関成分の強度の平均が相関値としてしきい値と比較さ
れ、登録音声と照合音声との照合が行われるものとな
り、相関成分エリアSaを構成する音素中の相関成分の
強度の低いものを除去して音声照合が行われるため、ま
た振幅抑制処理を行うことによって音声の強度補正がな
されるため、照合精度が飛躍的に向上するものとなる。
音声信号処理を加えるだけでよく、低価格化を促進する
ことができる。また、音声信号処理技術によって相関成
分エリアSaは自在に設定可能であり、相関成分エリア
Saを広くして、照合音声の時間ずれにも簡単に対応す
ることができる。また、この実施の形態による音声照合
装置によれば、入力される音声信号データに対して1次
元離散的フーリエ変換を施して相関値を求める方式であ
るので、同じ音声処理技術でも特徴的な部分を抽出する
方式に比して、その処理が簡単となり、音声照合スピー
ドがアップする。また、この実施の形態によれば、照合
音声の音声信号データと登録音声の音声信号データとが
別個に1次元離散的フーリエ変換されるので、登録音声
の音声信号データが加工されて再生しにくく、すなわち
登録音声の音声信号データの復元が困難となり、悪用さ
れることを未然に防止することが可能となる。
分エリアSaの各音素から相関成分の強度の高い上位n
音素を抽出しその平均を相関値としたが、その上位n音
素の相関成分の強度の加算値を相関値としてもよい。ま
た、しきい値を越える全ての音素の相関成分の強度を加
算し、その加算値を相関値としたり、その加算値の平均
を相関値とするなどとしてもよい。また、各音素の相関
成分の強度のうち1つでもしきい値以上のものがあれば
「一致」と判断してもよく、しきい値を越えるものがn
個以上であれば「一致」と判断する等、種々の判定方法
が考えられる。
フーリエ変換をフーリエ変換部200−7において行う
ものとしたが、CPU200−1内で行うものとしても
よい。また、この実施の形態では、図14に示したステ
ップ147にて1次元離散的フーリエ変換を行うように
したが、1次元離散的フーリエ変換ではなく1次元離散
的逆フーリエ変換を行うようにしてもよい。すなわち、
振幅抑制処理の施された合成フーリエ音声信号データに
対して1次元離散的フーリエ変換を行うのに代えて、1
次元離散的逆フーリエ変換を行うようにしてもよい。1
次元離散的フーリエ変換と1次元離散的逆フーリエ変換
とは、定量的にみて照合精度は変わらない。
リエ音声信号データに対して振幅抑制処理を施して1次
元離散的フーリエ変換を行うようにしたが(ステップ1
46,147)、合成前の登録音声および照合音声のフ
ーリエ音声信号データにそれぞれ振幅抑制処理を行った
後に合成するようにしてもよい。すなわち、図16
(a)に示すように、図13のステップ133と134
との間に振幅抑制処理を行うステップ135を設け、図
16(b)に示すように、図14のステップ145と1
46とを入れ替えるようにしてもよい。
幅抑制処理によって、図11(c)に示すような振幅抑
制処理の施された登録音声のフーリエ音声信号データ
(登録フーリエ音声信号データ)が得られ、ステップ1
45と146との入れ替えによって、図11(g)に示
すような振幅抑制処理の施された照合音声のフーリエ音
声信号データ(照合フーリエ音声信号データ)が得られ
る。そして、それぞれ振幅抑制処理の施された登録音声
および照合音声のフーリエ音声信号データが合成され、
図11(d)に示されるような合成フーリエ音声信号デ
ータが得られる。
幅の抑制率は、合成フーリエ音声信号データとしてから
振幅抑制処理を行う場合(図14)に対して小さい。し
たがって、合成フーリエ音声信号データとしてから振幅
抑制処理を行う(図14)方が、振幅抑制処理を行って
から合成フーリエ音声信号データとする方法(図16)
に比べて、その照合精度がアップする。なお、振幅抑制
処理を行ってから合成フーリエ音声信号データとする場
合(図16)にも、合成フーリエ音声信号データに対し
て2次元離散的フーリエ変換ではなく、2次元離散的逆
フーリエ変換を行うようにしてもよい。
場合の音声照合過程の各音声信号を図11と対応して示
す。図11は照合音声が本人である場合の音声照合過程
の各音声信号であり、照合音声が本人である場合には相
関成分エリアSaに相関成分の強度の高い部分が生じる
が、照合音声が他人である場合には生じない。
ターンの照合について、前述した実施の形態2では2次
元パターンの照合について説明したが、N次元のパター
ンの照合についても同様にして行うことが可能である。
発明によれば、N次元離散的フーリエ変換(N次元離散
的逆フーリエ変換)の施された合成フーリエN次元パタ
ーンデータに出現する相関成分エリアのN次元パターン
データを構成する個々のデータ毎の相関成分の強度に基
づいて登録パターンと照合パターンとの照合が行われる
ものとなり、また振幅抑制処理を行うことによって照度
補正や音声の強度補正等の補正が行われるものとなり、
照合精度を飛躍的に向上させることが可能となる。
あり、相関成分エリアを広くして、照合パターンのずれ
にも簡単に対応することが可能となる。すなわち、S/
N比と照合パターンのずれの問題を両立させることがで
きる。また、照合パターンのN次元パターンデータと登
録パターンのN次元パターンデータとが別個にN次元離
散的フーリエ変換されるので、登録パターンのN次元パ
ターンデータが加工されて再生しにくく、すなわち登録
パターンのN次元パターンデータの復元が困難となり、
悪用されることを未然に防止することが可能となる。
ーリエN次元パターンデータに対して振幅抑制処理を行
うものとしているので、振幅抑制処理を行ってから合成
フーリエN次元パターンデータを得る第3発明(第4発
明)に対し、さらに照合精度をアップすることができ
る。
過程を説明する図である。
明するためのフローチャートである。
明するためのフローチャートである。
の図である。
成分の強度の数値例を示す図である。
他人、それぞれの相関値の相対度数分布図である。
人、本人対他人、それぞれの相関値の相対度数分布図で
ある。
び指紋照合動作の他の例を説明するためのフローチャー
トである。
の各画像を図1と対応して示す図である。
合過程を説明する図である。
る。
説明するためのフローチャートである。
説明するためのフローチャートである。
関成分の強度の数値例を示す図である。
および音声照合動作の他の例を説明するためのフローチ
ャートである。
の各音声信号を図11と対応して示す図である。
た指紋認識システムの実験システムを示す図である。
するための図である。
キー、10−2…ディスプレイ(LCD)、10−3…
指紋センサ、10−31…光源、10−32,プリズ
ム、10−33…CCDカメラ、20−1…制御部、2
0−2…ROM、20−3…RAM、20−4…ハード
ディスク(HD)、20−5…フレームメモリ(F
M)、20−6…外部接続部(I/F)、20−7…フ
ーリエ変換部(FFT)、100…操作部、200…コ
ントロール部、100−1…テンキー、100−2…デ
ィスプレイ(LCD)、100−3…マイク、200−
1…制御部、200−2…ROM、200−3…RA
M、200−4…ハードディスク(HD)、200−5
…A/D変換器、200−6…外部接続部(I/F)、
200−7…フーリエ変換部(FFT)。
Claims (4)
- 【請求項1】 登録パターンのN次元パターンデータに
N次元離散的フーリエ変換を施して登録フーリエN次元
パターンデータを作成する登録フーリエパターンデータ
作成手段と、 照合パターンのN次元パターンデータにN次元離散的フ
ーリエ変換を施して照合フーリエN次元パターンデータ
を作成する照合フーリエパターンデータ作成手段と、 前記登録フーリエN次元パターンデータと前記照合フー
リエN次元パターンデータとを合成し、これによって得
られる合成フーリエN次元パターンデータに対して振幅
抑制処理を行ったうえN次元離散的フーリエ変換を施す
パターン処理手段と、 このパターン処理手段によってN次元離散的フーリエ変
換の施された合成フーリエN次元パターンデータに出現
する相関成分エリアのN次元パターンデータを構成する
個々のデータ毎の相関成分の強度に基づいて前記登録パ
ターンと前記照合パターンとの照合を行うパターン照合
手段とを備えたことを特徴とするパターン照合装置。 - 【請求項2】 登録パターンのN次元パターンデータに
N次元離散的フーリエ変換を施して登録フーリエN次元
パターンデータを作成する登録フーリエパターンデータ
作成手段と、 照合パターンのN次元パターンデータにN次元離散的フ
ーリエ変換を施して照合フーリエN次元パターンデータ
を作成する照合フーリエパターンデータ作成手段と、 前記登録フーリエN次元パターンデータと前記照合フー
リエN次元パターンデータとを合成し、これによって得
られる合成フーリエN次元パターンデータに対して振幅
抑制処理を行ったうえN次元離散的逆フーリエ変換を施
すパターン処理手段と、 このパターン処理手段によってN次元離散的逆フーリエ
変換の施された合成フーリエN次元パターンデータに出
現する相関成分エリアのN次元パターンデータを構成す
る個々のデータ毎の相関成分の強度に基づいて前記登録
パターンと前記照合パターンとの照合を行うパターン照
合手段とを備えたことを特徴とするパターン照合装置。 - 【請求項3】 登録パターンのN次元パターンデータに
N次元離散的フーリエ変換を施してから振幅抑制処理を
行うことにより登録フーリエN次元パターンデータを作
成する登録フーリエパターンデータ作成手段と、 照合パターンのN次元パターンデータにN次元離散的フ
ーリエ変換を施してから振幅抑制処理を行うことにより
照合フーリエN次元パターンデータを作成する照合フー
リエパターンデータ作成手段と、 前記登録フーリエN次元パターンデータと前記照合フー
リエN次元パターンデータとを合成し、これによって得
られる合成フーリエN次元パターンデータに対してN次
元離散的フーリエ変換を施すパターン処理手段と、 このパターン処理手段によってN次元離散的フーリエ変
換の施された合成フーリエN次元パターンデータに出現
する相関成分エリアのN次元パターンデータを構成する
個々のデータ毎の相関成分の強度に基づいて前記登録パ
ターンと前記照合パターンとの照合を行うパターン照合
手段とを備えたことを特徴とするパターン照合装置。 - 【請求項4】 登録パターンのN次元パターンデータに
N次元離散的フーリエ変換を施してから振幅抑制処理を
行うことにより登録フーリエN次元パターンデータを作
成する登録フーリエパターンデータ作成手段と、 照合パターンのN次元パターンデータにN次元離散的フ
ーリエ変換を施してから振幅抑制処理を行うことにより
照合フーリエN次元パターンデータを作成する照合フー
リエパターンデータ作成手段と、 前記登録フーリエN次元パターンデータと前記照合フー
リエN次元パターンデータとを合成し、これによって得
られる合成フーリエN次元パターンデータに対してN次
元離散的逆フーリエ変換を施すパターン処理手段と、 このパターン処理手段によってN次元離散的逆フーリエ
変換の施された合成フーリエN次元パターンデータに出
現する相関成分エリアのN次元パターンデータを構成す
る個々のデータ毎の相関成分の強度に基づいて前記登録
パターンと前記照合パターンとの照合を行うパターン照
合手段とを備えたことを特徴とするパターン照合装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10724496A JP3930067B2 (ja) | 1995-05-02 | 1996-04-26 | パターン照合装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10852695 | 1995-05-02 | ||
JP7-108526 | 1995-05-02 | ||
JP10724496A JP3930067B2 (ja) | 1995-05-02 | 1996-04-26 | パターン照合装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0922406A true JPH0922406A (ja) | 1997-01-21 |
JP3930067B2 JP3930067B2 (ja) | 2007-06-13 |
Family
ID=26447283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10724496A Expired - Fee Related JP3930067B2 (ja) | 1995-05-02 | 1996-04-26 | パターン照合装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3930067B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005101313A1 (ja) * | 2004-04-13 | 2005-10-27 | Nikon Corporation | テンプレートマッチング装置 |
JP2005339098A (ja) * | 2004-05-26 | 2005-12-08 | Yamatake Corp | パターン照合装置 |
US7646883B2 (en) | 2006-02-17 | 2010-01-12 | Kabushiki Kaisha Toshiba | Digital watermark detection method and apparatus |
US8750640B2 (en) | 2010-02-02 | 2014-06-10 | Azbil Corporation | Image processing device, image processing method, and image processing program, for correlating images with noise using weighting relative to spatial frequencies |
WO2019123917A1 (ja) * | 2017-12-22 | 2019-06-27 | 日本電気株式会社 | 画像照合装置 |
JPWO2020230320A1 (ja) * | 2019-05-16 | 2020-11-19 |
-
1996
- 1996-04-26 JP JP10724496A patent/JP3930067B2/ja not_active Expired - Fee Related
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005101313A1 (ja) * | 2004-04-13 | 2005-10-27 | Nikon Corporation | テンプレートマッチング装置 |
JP2005339098A (ja) * | 2004-05-26 | 2005-12-08 | Yamatake Corp | パターン照合装置 |
US7646883B2 (en) | 2006-02-17 | 2010-01-12 | Kabushiki Kaisha Toshiba | Digital watermark detection method and apparatus |
US8750640B2 (en) | 2010-02-02 | 2014-06-10 | Azbil Corporation | Image processing device, image processing method, and image processing program, for correlating images with noise using weighting relative to spatial frequencies |
WO2019123917A1 (ja) * | 2017-12-22 | 2019-06-27 | 日本電気株式会社 | 画像照合装置 |
JPWO2019123917A1 (ja) * | 2017-12-22 | 2020-11-19 | 日本電気株式会社 | 画像照合装置 |
US11227196B2 (en) | 2017-12-22 | 2022-01-18 | Nec Corporation | Image collating device |
JPWO2020230320A1 (ja) * | 2019-05-16 | 2020-11-19 | ||
WO2020230320A1 (ja) * | 2019-05-16 | 2020-11-19 | 日本電気株式会社 | 画像照合装置 |
US20220198777A1 (en) * | 2019-05-16 | 2022-06-23 | Nec Corporation | Image matching apparatus |
US11989925B2 (en) | 2019-05-16 | 2024-05-21 | Nec Corporation | Image matching apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP3930067B2 (ja) | 2007-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5915034A (en) | Pattern collation apparatus based on spatial frequency characteristics | |
JP4015362B2 (ja) | 空間周波数成分による指紋の分類 | |
Jain et al. | Introduction to biometrics | |
CA2256672C (en) | Biometric recognition using a classification neural network | |
WO2005086091A1 (ja) | 指紋掌紋画像処理システムおよび指紋掌紋画像処理方法 | |
JP3574301B2 (ja) | パターン照合装置 | |
KR100240295B1 (ko) | 패턴대조장치 | |
JP3393691B2 (ja) | 照合装置 | |
JP3035654B2 (ja) | パターン抽出装置 | |
JPH0922406A (ja) | パターン照合装置 | |
JP3235075B2 (ja) | パターン照合装置 | |
JP3254622B2 (ja) | パターン照合装置 | |
JPH07254062A (ja) | 指紋照合装置 | |
JPH1055442A (ja) | パターン照合装置 | |
JP3263913B2 (ja) | パターン照合装置 | |
JP3252252B2 (ja) | パターン照合装置 | |
JPH11134498A (ja) | パターン照合装置 | |
JPH113423A (ja) | 画像照合装置及び照合方法並びに照合プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
Ito et al. | A dental radiograph recognition system using phase-only correlation for human identification | |
JP4246607B2 (ja) | パターン照合装置 | |
JP2738906B2 (ja) | 照合装置 | |
JP2001022924A (ja) | パターン照合装置 | |
Damodaram et al. | Multi-Modal Biometric System using Iris, Face and Fingerprint Images for High-Security Application | |
Thansy et al. | Digital Holographic Technique Based Fingerprint Authentication for Criminal Investigation | |
JPS5932064A (ja) | 指紋特徴抽出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040727 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041227 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050118 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050304 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070308 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100316 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120316 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130316 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140316 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |