JP3534537B2 - 形状マッチング方法および装置 - Google Patents

形状マッチング方法および装置

Info

Publication number
JP3534537B2
JP3534537B2 JP13968096A JP13968096A JP3534537B2 JP 3534537 B2 JP3534537 B2 JP 3534537B2 JP 13968096 A JP13968096 A JP 13968096A JP 13968096 A JP13968096 A JP 13968096A JP 3534537 B2 JP3534537 B2 JP 3534537B2
Authority
JP
Japan
Prior art keywords
pattern
input pattern
input
standard
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP13968096A
Other languages
English (en)
Other versions
JPH09305760A (ja
Inventor
徹 若原
和己 小高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP13968096A priority Critical patent/JP3534537B2/ja
Publication of JPH09305760A publication Critical patent/JPH09305760A/ja
Application granted granted Critical
Publication of JP3534537B2 publication Critical patent/JP3534537B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、計算機によるパタ
ーン認識、動画像解析、ステレオビジョンなどの分野に
おいてパターンの変位・変形を、2次元平面上の2つの
点集合間での点対応づけにより決定するパターンマッチ
ング方法および装置に関する。
【0002】
【従来の技術】従来、形状マッチング技術には、大別し
て、 (1) 組合せ探索型 (2) エネルギー最小化型 という2種類のアプローチがある。
【0003】前者は、点数の階乗オーダーの組合せ総数
の中から最適解を探すため、本質的に処理量の発散の問
題がある。この処理量の発散を避けるためには、適当な
拘束条件を用いた探索木の枝刈りが必須となる。こうし
た制約下で、これまで、2つの点集合が合同変換(回転
・平行移動)のもとで一致するかどうかを判定する問
題、および相似変換(回転・伸縮・平行移動)のもとで
一致するかどうかを判定する問題、については点数のべ
き乗オーダーの処理量での解法アルゴリズムが報告され
ている(例えば、梅山伸二、“点パターンマッチングア
ルゴリズム、”信学論(D−II)、vol.J72−
D−II,no.2,pp.218−228,Feb.
1989を参照のこと)。しかし、枝刈りをするための
拘束条件に汎用性を持たせにくい、依然として処理量が
多い、相似変換にさらに歪みを加えたアフィン変換につ
いては未だ解法アルゴリズムが発見されていない、等の
問題点があった。
【0004】一方、後者は力学系のエネルギー最小化問
題として定式化し、変分法、弛緩法や動的計画法を用
い、微小変位の反復適用により局所的に連続なマッチン
グを決定する。これら従来技術については、例えば、坂
上、横矢、“弛緩法と正則化、”情報処理、vol.3
0,no.9,pp.1047−1057,Sept.
1989,及び大田、山田、“動的計画法によるパター
ンマッチング、”情報処理、vol.30,no.9,
pp.1058−1066,Sept.1989,を参
照のこと。こうした技術は、マッチング問題を解析的あ
るいは代数的に扱える点に強みがあるが、有限変位に対
して微小変位の積み重ねで最適マッチングの大局解を求
めることは原理的に困難であった。これに対し、有限変
位を扱うために、パターンの各点の近傍毎に最適な局所
的アフィン変換を代数的に決定する手法(特願昭63−
281985)が提案された。しかし、この手法では、
近傍の大きさパラメータの制御に試行錯誤を要する、点
単位にアフィン変換を決定するために処理量が膨大化す
る、等の問題点があった。
【0005】
【発明が解決しようとする課題】以上述べたように、パ
ターンの変位・変形を2つの点集合間での点対応づけに
より決定する形状マッチング技術として、組合せ探索型
で適当な拘束条件による探索木の枝刈りを実行する手法
やエネルギー最小化型で微小変位の積み重ねで局所連続
なマッチングを実現するあるいは局所的アフィン変換を
用いる手法が考えられてきた。
【0006】しかし、それぞれに欠点が残り、実用的な
処理量で、微小でない有限かつ広い範囲の変位・変形を
扱える手法が提案されるに至っていない。
【0007】本発明の目的は、パターン間で任意のアフ
ィン変換(回転・伸縮・歪み・平行移動)で表現される
広い範囲の変位・変形を扱い、該アフィン変換を重み付
き最小2乗法の反復適用により実用的な処理量で厳密に
決定し、該アフィン変換で変形した変形入力パターンと
標準パターンとの間での点対応づけに基づく安定かつ高
精度な形状マッチングを実現する形状マッチング方法お
よび装置を提供することにある。
【0008】
【課題を解決するための手段】本発明の形状マッチング
方法は、2次元平面上の点集合で表わされる入力パター
ンSと標準パターンRとの形状マッチングを行なう方法
であって、入力パターンSにアフィン変換を施して変形
入力パターンS’を生成する第1の手順と、変形入力パ
ターンS’の各点から標準パターンR内の最隣接点まで
の最隣接点間距離の平均値と、標準パターンRの各点か
ら変形入力パターンS’内の最隣接点までの最隣接点間
距離の平均値との和を、変形入力パターンS’と標準パ
ターンRのパターン間距離D 1 として算出する第2の手
順と、パターン間距離D 1 が所定の基準を満たす変形入
力パターンS’を求める第3の手順と、第3の手順で求
めた変形入力パターンS’と標準パターンRの間での最
隣接点対を形状マッチング結果として出力する第4の手
順を有する。
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】本発明の実施形態によれば、入力パターン
Sと標準パターンRのパターン間距離D 0 を第2の手順
と同様にして求め、第3の手順では、パターン間距離D
1 とD 0 を比較して、D 1 がD 0 から減少している場合には
変形入力パターンS’を改めて入力パターンSとみなし
て第1の手順から処理を繰り返し、D 1 がD 0 から減少し
ていない場合にはこのときの変形入力パターンS’と標
準パターンRの間での最隣接点対を形状マッチング結果
としてを採用する。
【0018】また、本発明の形状マッチング装置は、2
次元の平面上の点集合で表わされる入力パターンSと標
準パターンRとの形状マッチングを行なう装置であっ
て、入力パターンSにアフィン変換を施して変形入力パ
ターンS’を生成する変形入力パターン生成手段と、変
形入力パターンS’の各点から標準パターンR内の最隣
接点までの最隣接点間距離の平均値と、標準パターンR
の各点から変形入力パターンS’内の最隣接点までの最
隣接点間距離の平均値との和を、変形入力パターンS’
と標準パターンRのパターン間距離D 1 として算出する
パターン間距離算出手段と、パターン間距離D 1 が所定
の基準を満たす変形入力パターンS’を求め、該変形入
力パターンS’と標準パターンRの間での最隣接点対を
形状マッチング結果として出力するマッチング結果出力
手段を有する。
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【0038】
【0039】
【0040】
【0041】
【0042】
【0043】
【0044】
【0045】
【0046】
【0047】
【0048】
【0049】本発明の第1の特徴は、変位・変形の範囲
として任意のアフィン変換を扱うことにある。従来技術
で対象となった合同変換、相似変換に比べて変位・変形
の許容範囲がはるかに拡がる。
【0050】本発明の第2の特徴は、アフィン変換成分
を重み付き最小2乗法の反復適用で厳密に決定すること
にある。特に、実用的な処理量でこれを実現する。ま
た、前記処理には制御用の任意パラメータを一切含まな
い汎用的手法になっている。
【0051】このように、本発明は、任意のアフィン変
換という広い範囲の変位・変形に対して実用的な処理量
で最適な点対応づけを決定する汎用的な形状マッチング
手法であり、上述した従来技術の問題点を解決してい
る。
【0052】
【発明の実施の形態】次に、本発明の実施形態について
図面を参照して詳細に説明する。
【0053】図1は本発明の一実施形態の形状マッチン
グ装置の構成図である。
【0054】本形状マッチング装置は入力パターン構成
点格納部1と標準パターン構成点格納部2と点間重み係
数算出部3とアフィン変換成分連立一次方程式生成部4
とアフィン変換成分決定部5と変形入力パターン生成部
6とパターン間距離算出部7と収束判定部8で構成され
ている。
【0055】以下、各部の機能について具体的に説明す
る。
【0056】入力パターン構成点格納部1は、2次元平
面上の点集合で表わされる入力パターン
【0057】
【外1】 を構成する各点の位置ベクトルの集合
【0058】
【外2】 が格納される。ここで、
【0059】
【外3】 の第i点の位置ベクトルを表わし、XおよびY座標値が
格納される。ただし、点の順序づけは任意である。mは
入力パターン
【0060】
【外4】 の総点数を表わす。
【0061】標準パターン構成点格納部2は、同じく2
次元平面上の点集合で表わされる標準パターン
【0062】
【外5】 を構成する各点の位置ベクトルの集合
【0063】
【外6】 が格納される。ここで、
【0064】
【外7】 の第j点の位置ベクトルを表わし、XおよびY座標値が
格納される。ただし、点の順序づけは任意である。nは
標準パターン
【0065】
【外8】 の総点数を表わす。
【0066】点間重み係数算出部3は
【0067】
【外9】 の各構成点の間での点間距離
【0068】
【外10】 に基づくガウス関数型重み係数
【0069】
【外11】 を次式により算出する。ただし
【0070】
【外12】 はベクトルのノルムを表わし、例えばユークリッドノル
ムを用いればよい。
【0071】
【数1】 ここで、
【0072】
【外13】 は入力パターン
【0073】
【外14】 と標準パターン
【0074】
【外15】 の間での一方パターンの各点から他方パターン内で最も
近い点までの最隣接点間距離の平均値になっており、ア
フィン変換前のパターン間距離を与える。式(1)によ
り算出された重み係数
【0075】
【外16】 はアフィン変換成分連立方程式生成部4へ送出される。
【0076】アフィン変換成分連立方程式生成部4は、
標準パターンとの重なりを最大にするような入力パター
ンに対するアフィン変換成分
【0077】
【外17】 を決定するための連立一次方程式を生成する。ここで、
Aは2行2列の行列で位置ベクトルの回転・伸縮・歪み
操作を表わし、
【0078】
【外18】 は位置ベクトルの平行移動を表わし、入力パターン
【0079】
【外19】 を構成する各点
【0080】
【外20】 に変換される。ここで、標準パターンとの重なりを最大
にするような入力パターンに対するアフィン変換成分
【0081】
【外21】 は次式の目的関数Ψを最小にするものとする。明らか
に、Ψは重み係数
【0082】
【外22】 を用いた重み付き最小2乗法になっている。
【0083】
【数2】 上式(3)のΨを最小にするような最適なアフィン変換
成分
【0084】
【外23】 は、Ψを
【0085】
【外24】 の各成分で偏微分した値が零になる条件から決定され
る。
【0086】
【数3】 なる未知のアフィン変換成分
【0087】
【外25】 に関する6元連立一次方程式が得られる。ただし、tは
ベクトルの転置を表わす。ここで、式(4)には制御用
の任意パラメータが一切含まれない点が大きな利点であ
る。上式(4)により生成されたアフィン変換成分連立
方程式はアフィン変換成分決定部5へ送出される。
【0088】アフィン変換成分決定部5は、アフィン変
換成分連立方程式生成部4から送出された連立一次方程
式(4)を公知の数値解法、例えばガウスの消去法(岩
波講座 応用数学「線形計算」第1章、岩波書店、19
94を参照のこと)により解いて入力パターン
【0089】
【外26】 に対する最適なアフィン変換成分
【0090】
【外27】 を決定する。こうして得られたアフィン変換成分は変形
入力パターン生成部6へ送出される。
【0091】変形入力パターン生成部6は、アフィン変
換成分決定部5から送出されたアフィン変換成分
【0092】
【外28】 を用いて入力パターン
【0093】
【外29】 を次式により
【0094】
【外30】 に変形する。
【0095】
【数4】 上式(5)により変形入力パターン
【0096】
【外31】 が生成され、変形入力パターン
【0097】
【外32】 はパターン間距離算出部7へ送出される。
【0098】パターン間距離算出部7は変形入力パター
【0099】
【外33】 と標準パターン
【0100】
【外34】 の間での最隣接点距離の平均値をパターン間距離
【0101】
【外35】 として次式により算出する。
【0102】
【数5】 同様に、アフィン変換前の入力パターン
【0103】
【外36】 と標準パターン
【0104】
【外37】 の間での最隣接点間距離の平均値をパターン間距離
【0105】
【外38】 として前述の式(2)により算出する。
【0106】これらアフィン変換操作の前後でのパター
ン間距離の値
【0107】
【外39】 は収束判定部8へ送出される。
【0108】収束判定部8は、パターン間距離算出部7
から送出された2つのパターン間距離
【0109】
【外40】 を比較し、
【0110】
【外41】 から減少していない場合には変形入力パターン
【0111】
【外42】 と標準パターン
【0112】
【外43】 の間で最隣接点対を決定して形状マッチング結果として
出力する。一方、
【0113】
【外44】 から減少している場合には変形入力パターン
【0114】
【外45】 を改めて入力パターン
【0115】
【外46】 と見なして重み付き最小2乗法で決定されるアフィン変
換操作を再び施し、変換後のパターン間距離
【0116】
【外47】 が変換前のパターン間距離
【0117】
【外48】 から減少しなくなるまでこの操作を反復する。こうして
パターン間距離
【0118】
【外49】 が単調に減少し、収束した時点で2パターン間の最隣接
点対を形状マッチング結果として出力し、動作を終了す
る。
【0119】図2は2次元平面上の文字パターン「型」
を例に、同図(a)に入力パターン(構成点を○で記
す)、同図(b)に標準パターン(構成点を◎で記す)
と入力パターンを重ねたものを示す。但し、●は入力パ
ターンと標準パターンの間で重なった点を示す。同図
(c)〜(f)には、入力パターンにアフィン変換操作
を反復回数=1、3、7、15だけ施した際の変形入力
パターンと標準パターンを重ねた図を示す。図中、
“・”は入力パターンの元の構成点の位置を示す。但
し、この例では反復回数=15でパターン間距離の減少
が収束し、アフィン変換操作の反復が終了している。
【0120】図2より、アフィン変換が反復されていく
につれて、図2(c)の状態から図2(f)の最終状態
へ向けて重なり点(●で記す)が増大していき、図2
(f)の最終状態では変形入力パターンのほとんどの構
成点が標準パターンに重なっている。こうして最終状態
(図2(f))における最隣接点対が形状マッチング結
果として出力される。この図のように入力パターンにか
なり大きな変形が含まれる場合も、上記アフィン変換操
作の反復により正しい形状マッチングが実現されている
ことがわかる。
【0121】
【発明の効果】以上説明したように、本発明によれば、
任意のアフィン変換成分(回転・伸縮・歪み・平行移
動)を含む入力パターンに対して、該アフィン変換を重
み付き最小2乗法の反復適用により実用的な処理量で厳
密に算出して、該アフィン変換で変形した変形入力パタ
ーンと標準パターンとの間で最隣接点対を決定すること
により、安定かつ高精度な形状マッチングを行うことが
可能である。特に、重み付き最小2乗法が連立一次方程
式の解法に帰着できるため、手順が単純で処理量も少な
くて済む。さらに、アフィン変換の算出処理の中に制御
用の任意パラメータが一切含まれないため、極めて汎用
的な形状マッチング技術になっている。
【0122】このように、広くパターン間の変位・変形
の抽出が2つの点集合間の点対応づけと考えられる以
上、本発明は任意のアフィン変換という広い範囲の変位
・変形に対して少ない処理量で高精度な点対応づけを可
能とする汎用的な形状マッチングの技術を提供してい
る。このため、パターン認識における文字・図形の変形
抽出や動画像理解における変位・変形の抽出、3次元奥
行知覚におけるステレオビジョンの対応点検出の分野に
適用される場合に利点が極めて大きい。
【図面の簡単な説明】
【図1】本発明の一実施形態の形状マッチング装置の構
成図である。
【図2】アフィン変換操作の反復による点対応づけの動
作を説明するための具体例を示す図である。 1 入力パターン構成点格納部 2 標準パターン構成点格納部 3 点間重み係数算出部 4 アフィン変換成分連立一次方程式生成部 5 アフィン変換成分決定部 6 変形入力パターン生成部 7 パターン間距離算出部 8 収束判定部
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平2−127783(JP,A) 特開 平5−28274(JP,A) 特開 平3−172978(JP,A) 若原他,大局的アフィン変換を用いた 形状マッチング,電子情報通信学会技術 研究報告,日本,社団法人電子情報通信 学会,1996年 5月16日,PRMU96− 2,pp.9−16 (58)調査した分野(Int.Cl.7,DB名) G06T 7/00 300 G06K 9/62 640 JICSTファイル(JOIS)

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 2次元平面上の点集合で表わされる入力
    パターンSと標準パターンRとの形状マッチングを行な
    う方法であって、 入力パターンSにアフィン変換を施して変形入力パター
    ンS’を生成する第1の手順と、 変形入力パターンS’の各点から標準パターンR内の最
    隣接点までの最隣接点間距離の 平均値と、標準パターン
    Rの各点から変形入力パターンS’内の最隣接点までの
    最隣接点間距離の平均値との和を、変形入力パターン
    S’と標準パターンRのパターン間距離D 1 として算出
    する第2の手順と、 パターン間距離D 1 が所定の基準を満たす変形入力パタ
    ーンS’を求める第3の手順と、 前記第3の手順で求めた変形入力パターンS’と標準パ
    ターンRの間での最隣接点対を形状マッチング結果とし
    て出力する第4の手順を有する形状マッチング方法。
  2. 【請求項2】 入力パターンSと標準パターンRのパタ
    ーン間距離D 0 を前記第2の手順においてパターン間距
    離D 1 と同様にして求め、前記第3の手順では、前記パ
    ターン間距離D 1 とD 0 を比較して、D 1 がD 0 から減少し
    ている場合には変形入力パターンS’を改めて入力パタ
    ーンSとみなして前記第1の手順からの処理を繰り返
    し、D 1 がD 0 から減少していない場合にはこのときの変
    形入力パターンS’と標準パターンRの間での最隣接点
    対を形状マッチング結果として出力する、請求項1記載
    の形状マッチング方法。
  3. 【請求項3】 2次元平面上の点集合で表わされる入力
    パターンSと標準パターンRとの形状マッチングを行な
    う装置であって、 入力パターンSにアフィン変換を施して変形入力パター
    ンS’を生成する変形入力パターン生成手段と、 変形入力パターンS’の各点から標準パターンR内の最
    隣接点までの最隣接点間距離の平均値と、標準パターン
    Rの各点から変形入力パターンS’内の最隣接点までの
    最隣接点間距離の平均値との和を、変形入力パターン
    S’と標準パターンRのパターン間距離D 1 として算出
    するパターン間距離算出手段と、 パターン間距離D 1 が所定の基準を満たす変形入力パタ
    ーンS’を求め、該変形入力パターンS’と標準パター
    ンRの間での最隣接点対を形状マッチング結果として出
    力するマッチング結果出力手段を有する形状マッチング
    装置。
  4. 【請求項4】 前記パターン間距離算出手段は、入力パ
    ターンSと標準パターンRのパターン間距離D 0 をパタ
    ーン間距離D 1 と同様にして求め、前記マッチング結果
    出力手段は、前記パターン間距離D 1 とD 0 を比較して、
    1 がD 0 から減少している場合には変形入力パターン
    S’を改めて入力パターンSとみなして前記変形入力パ
    ターン生成手段に入力し、D 1 がD 0 から減少していない
    場合にはこのときの変形入力パターンS’と標準パター
    ンRの間での最隣接点対をマッチング結果として出力す
    る、請求項3記載の形状マッチング装置。
JP13968096A 1996-05-10 1996-05-10 形状マッチング方法および装置 Expired - Fee Related JP3534537B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13968096A JP3534537B2 (ja) 1996-05-10 1996-05-10 形状マッチング方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13968096A JP3534537B2 (ja) 1996-05-10 1996-05-10 形状マッチング方法および装置

Publications (2)

Publication Number Publication Date
JPH09305760A JPH09305760A (ja) 1997-11-28
JP3534537B2 true JP3534537B2 (ja) 2004-06-07

Family

ID=15250932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13968096A Expired - Fee Related JP3534537B2 (ja) 1996-05-10 1996-05-10 形状マッチング方法および装置

Country Status (1)

Country Link
JP (1) JP3534537B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE514377C2 (sv) * 1998-08-26 2001-02-19 Gunnar Sparr Teckenigenkänning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
若原他,大局的アフィン変換を用いた形状マッチング,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,1996年 5月16日,PRMU96−2,pp.9−16

Also Published As

Publication number Publication date
JPH09305760A (ja) 1997-11-28

Similar Documents

Publication Publication Date Title
Sadraddini et al. Linear encodings for polytope containment problems
US8379014B2 (en) System and method for 3D object recognition
CN112669359B (zh) 一种三维点云配准方法、装置、设备及存储介质
Wu Recovering parametric geons from multiview range data
CN110189366B (zh) 一种激光粗配准方法、装置、移动终端及存储介质
US7158677B2 (en) Matching of discrete curves under affine transforms
Mittrapiyanumic et al. Calculating the 3d-pose of rigid-objects using active appearance models
CN107945120B (zh) 基于样本块的旋转及缩放图像修复方法
CN113313200B (zh) 一种基于法向约束的点云精匹配方法
Wang et al. Multi-view point clouds registration method based on overlap-area features and local distance constraints for the optical measurement of blade profiles
JP3534537B2 (ja) 形状マッチング方法および装置
Makovetskii et al. An algorithm for rough alignment of point clouds in three-dimensional space
CN115601408B (zh) 一种基于粒子群优化和拓扑图的点云配准方法
CN116604212A (zh) 一种基于面阵结构光的机器人焊缝识别方法和系统
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质
Wadenbäck et al. Recovering planar motion from homographies obtained using a 2.5-point solver for a polynomial system
Dong et al. Pose estimation of components in 3c products based on point cloud registration
CN114926488A (zh) 基于广义Hough模型和改进金字塔搜索加速的工件定位方法
Lu et al. Fast point cloud registration algorithm using multiscale angle features
Stylianou et al. Shape feature extraction
Ai et al. Indoor Scene Registration Based on Key Points Sampling and Hierarchical Feature Learning
CN117370592B (zh) 一种基于机器学习的零件相似性识别方法
CN117283551A (zh) 一种基于特征匹配的机器人三维摆放位置误差校正的方法
Zheng et al. Adaptively determining degrees of implicit polynomial curves and surfaces
Zhang et al. 3D Point Cloud Classification Method Based on Multiple Attention Mechanism and Dynamic Graph Convolution

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040309

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090319

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090319

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100319

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees