JP3554106B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP3554106B2
JP3554106B2 JP13139496A JP13139496A JP3554106B2 JP 3554106 B2 JP3554106 B2 JP 3554106B2 JP 13139496 A JP13139496 A JP 13139496A JP 13139496 A JP13139496 A JP 13139496A JP 3554106 B2 JP3554106 B2 JP 3554106B2
Authority
JP
Japan
Prior art keywords
image
sensor
optical system
optical axis
prism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP13139496A
Other languages
English (en)
Other versions
JPH09293136A (ja
Inventor
輝芳 鷲澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP13139496A priority Critical patent/JP3554106B2/ja
Publication of JPH09293136A publication Critical patent/JPH09293136A/ja
Application granted granted Critical
Publication of JP3554106B2 publication Critical patent/JP3554106B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Input (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は画像処理装置に関し、特に2次元の物体情報を極座標変換して入力し、特徴量抽出、符号化、パターン認識等の画像処理を行う際に好適なもので、画像の認識を目的とするシステムの入力系、例えば産業用ロボットの入力系、文字認識システムの入力系に用いられる。
【0002】
【従来の技術】
従来、2次元画像を極座標変換するには、以下のように、大きく分けて2通りの方式がある:
▲1▼ センサで2次元直交座標に基づいてサンプリングしたあと、デジタル画像処理で変換する。(以下、デジタル方式と呼ぶ)
▲2▼ センサでサンプリングするまでに極座標変換する。(以下、アナログ方式と呼ぶ)
デジタル方式による極座標変換では、もともと2次元直交座標系でサンプリングされた信号を、計算によって極座標系に変換するので、円周方向の精度が、原点に近づくにつれて極端に劣化する。例えば原点に最も近い位置でのサンプル点はせいぜい8個である。
【0003】
このような欠点を解決するのが、アナログ方式である。そして、このアナログ方式による極座標変換には、光学系によるものと、センサによるものがある。
【0004】
光学系によるものは、例えば、文献[CW. Shin and S. Inokuchi:”A New Retina−Like Visual Sensor Performing the Polar Transform”,MVA’94 IAPR Workshop on Machine Vision Applications, pp.52−−56,(Dec.,1994)]に説明されている。
【0005】
このシステムは、回転するドーフェプリズムと固定されたラインセンサを用いている。ドーフェプリズムはこれを角度θ回転させるとプリズムを通る光束による像が2θ回転する光学要素である。上記システムはこれを用いて、固定されたラインセンサ上に結像する像を回転させ、実空間上での放射線状のサンプリングを実現している。
【0006】
一方センサによるものは、例えば文献[M. Tastarelli: ”Active/space−variant object recognition”, Image and Vision Computing, vol.13, no.3,(Apr.,1995)]に説明されている。ここでは2次元アレイセンサの配置そのものを極座標変換に適するように設計している。即ち、2次元アレイセンサを構成する個々のセンサの並び方を不均一にしている。
【0007】
【発明が解決しようとする課題】
上記従来例は以下の様な課題を有する(図7参照)。
【0008】
1. 図7はアナログ方式のうち光学系によるシステムにおいて、物体平面上でラインセンサによって画像の輝度情報(物体情報)を取り込む状況の説明図である。ラインセンサは多数の単位センサを一列に並べて構成している。図中、楕円で表した大きさは各単位センサが物体平面において輝度データを検出する範囲(各センサの入力範囲)である。ラインセンサは物体平面上において図の同心円と放射線との交点においてサンプリングするので、光軸中心付近でのサンプリング周期は確かに小さくなるが、ラインセンサのフィルタ特性、即ちラインセンサを構成している個々のセンサの入射角度に対する感度特性は何ら改善されていないから、中心部で検出できる信号のナイキスト周波数は、このセンサの周波数特性に制限される。
【0009】
物体平面における単位センサの入力範囲は単位センサの大きさや光学系全体の収差補正の程度によって変わり、単位センサの大きさが小さく且つ光学系全体の収差補正が良好ならば、単位センサの入力範囲は小さくなり、極座標変換の精度は良くなる。しかし、この単位センサの入力範囲は光軸からの距離によらず一定なので円周方向の角度に関するナイキスト周波数〔cycle/deg〕は光軸からの距離に依存し、光軸に近付くにつれて低くなり相対的に極座標変換の精度が低下することになる。
【0010】
つまり、例えば、ラインセンサを構成する各単位センサの入力範囲特性が、全ての単位センサに関して同じ特性を持っており、その分散が、光軸から最も離れた単位センサのセンサ間ピッチ、即ち空間サンプリング周期と同じ値であったとすると、このようなシステムで得られる信号が持つ情報は、同じ空間サンプリング周期の通常の2次元直交座標系アレイセンサで入力された信号が持つ情報と殆ど変わらない。
【0011】
即ち空間サンプリング周期を如何に高くしても、センサによって画像の空間周波数の高周波数成分がカットされてしまっては何の効果もない。
【0012】
2. アナログ方式のうち特殊な配列の2次元アレイセンサを用いる方式では、空間サンプリング周期の問題が直接的に影響する。即ち、2次元アレイセンサを構成する個々の単位センサは有限の大きさを持っており、光軸中心部でも、その大きさで、単位センサ間のピッチ、即ち空間サンプリング周期の下限を制限してしまう。もちろんセンサの空間周波数特性によっても制限されてしまう。
【0013】
本発明は、光学系によって2次元の物体情報を極座標に変換して取り込む際、円錐反射部材を使用して画面周辺部より画面中心に向かうに従って像を円周方向に大きく拡大し、これによって極座標の円周方向に沿っての角度に関する信号サンプリング間隔を一様にし、もって円周方向に沿った角度に関するナイキスト周波数〔cycle/deg〕を光軸からの距離によらず略一定とする画像処理装置の提供を目的とする。
【0014】
【課題を解決するための手段】
請求項1の発明の画像処理装置は、物体の像を結像する像側の主光線が光軸に
対し平行なテレセントリックな光学系の結像面の近傍に該光軸に中心軸を重ねて
円錐反射部材と、
該光学系と該円錐反射部材の間に像回転手段と、
該円錐反射部材の側方に
該光軸に向けて受光面を配置した多数の単位センサより成るラインセンサとを
配置し、物体からの光線を該光学系を介し、
該像回転手段を回転させつつ該円錐反射部材で反射せしめて該ラインセンサで受光して物体情報を極座標に変換して取り込むことを特徴としている。
【0015】
請求項2の発明は、請求項1の発明において前記光学系は物体の像を中間結像するレンズと、該中間結像した像を再結像させると共に再結像する像側の主光線を前記光軸に対し平行にする平行化光学系を有することを特徴としている。
請求項3の発明は、請求項2の発明において前記像回転手段はドーフェプリズムを有することを特徴としている。
【0016】
【発明の実施の形態】
図1は本発明の実施形態1の要部概略図である。又、図2は実施形態1の光学系の断面図である。図中の各要素を説明する。
101.魚眼レンズ系(魚眼レンズ): レンズA,絞り、レンズBは魚眼レンズ系101 を構成している。絞りの口径は小さく、魚眼レンズ系101 を出た光束の立体角を極めて小さいものとしている。魚眼レンズ101 は、画像処理の性質によって様々な特性のレンズを用いてよい。 魚眼レンズで変換された後の極座標系の動径であるt は、魚眼レンズ101 の特性により光軸に対する光線の入射角度φを用いて、以下のような関係になる:
(a) 正射影レンズ t=2ξsin(φ),
(b) 等距離射影レンズ t= ξφ,
(c) 等立体角射影レンズ t=2ξsin(φ/2),
(d) 立体射影レンズ t=2ξtan(φ/2).
なお、魚眼レンズ系101 は回転対称であるので、図及び以下の説明は、全て動径方向に限って行う。又、魚眼レンズ系101 の前面に仮想的に物体平面Ω を設定している。
105.平行化光学系: 魚眼レンズ系101 の後ろに射出光束の主光線を光軸に対し平行にする平行化光学系105 を配置している。なお、図1に示す平面Ω は平行化光学系105 の前側主平面である。又、図1の平行化光学系105 は1枚のレンズで示しているが、実際には図2に示すように像側にテレセントリックなレンズであり、魚眼レンズ系101 の焦点に形成される中間像を後述する円錐反射板102 の底辺に相当する位置に再結像している。
なお、魚眼レンズ系101 と平行化光学系105 は光学系の一要素を構成しており、該光学系は像側の主光線が光軸に対し平行なテレセントリック光学系となっている。
102.円錐反射板(円錐反射部材): 平行化光学系105 からの平行射出光を光軸に対して直角方向に放射線状に反射する反射板であり、該円錐反射板の中心軸を光軸に重ねて配置している。例えば図1の平面Ω において、極座標(r, θ) の点で交わる光線は、円錐反射板102 の頂点から距離r 、角度θの点において、その点と円錐反射板の回転軸を含む平面上、回転軸と反対方向に垂直に反射される。
103.円管2次元アレイセンサ: 円管2次元アレイセンサ103 は円管形状のセンサであり、受光面を円管の中心線に向けた多数の単位センサより成る2次元アレイセンサを円管の内側に配置したもので、該中心線を光軸に重ねて設定している。このセンサは円錐反射板102 により放射線状に反射された光を受光する。
【0017】
実空間の物体平面Ω 上の光軸中心O から光軸に垂直に伸びる半直線OAの投影像は、円管2次元アレイセンサ103 の内表面上では、長手方向に平行な線分O’A’となる。
【0018】
図3は円管2次元アレイセンサ103 の構成説明図であり、図には3つの構成例を図示している。
(a) 図3(A) に示す円管2次元アレイセンサは、多数の単位センサより構成されるラインセンサを、円筒部材の内側に受光面を内側に向けて隙間無く並べて接着して構成している。
(b) 図3(B) に示す円管2次元アレイセンサは多数の単位センサより構成されるラインセンサを透明な円管部材の外側に受光面を内側に向けて隙間無く並べて接着して構成している。
(c) 図3(C) に示す円管2次元アレイセンサはラインセンサのかわりに、光ファイバを用いて構成している。即ち、透明な円管部材の外側に多数の光ファイバーをその端面を内側に向けて隙間無く並べて接着し、円管の側面で1直線上に並ぶファイバー群をその順序で平面状の2次元アレイセンサの1列上に導光する。なお、この場合単位センサの大きさとしては光ファイバーの端面の大きさをとる。
104.画像信号バッファ: 円管2次元アレイセンサ103 が受光して出力する画像信号を受け取り、不図示の画像処理手段に出力する。
【0019】
図4は上記構成による物体、像の状態の推移の説明図である。図4(A) は物体平面Ω に置かれた物体画像であり、これを入力画像とすると、魚眼レンズ系101 を通過した平面Ω 上では図4(B) に示す画像が得られ、円管2次元アレイセンサ103 による出力画像は図4(C) となる。
本実施形態は、魚眼レンズ系101 の後ろに平行化光学系105 を設けて、魚眼レンズ101 から射出する光束の主線を光軸に対して平行に変換し、該光線を円錐反射板102 で反射させて円管2次元アレイセンサ103 で受光し、画像信号(物体情報)を極座標系で画像信号バッファ104 へ入力する。この時、物体からの光束は円管2次元アレイセンサ103 の手前で円錐反射板102 で反射され、光軸付近の物体からの光線は円錐反射板102 の曲率の大きい部分で反射されるので円管2次元アレイセンサ103 の周方向へ大きく拡大される。反対に物体周辺部からの光線は円錐反射板102 の曲率の小さい部分で反射されるので円管2次元アレイセンサ103 の周方向へはあまり拡大されない。その結果、本実施形態においては従来のアナログ式の極座標変換方式と比べて特に画面中心付近を高解像度で極座標変換するので、光軸付近の画像の円周方向に沿った角度に関する空間周波数の高周波成分まで取り込むことができる。
【0020】
本実施形態は単位センサの感度特性及び大きさによる検出周波数に対する制限を受けずに極座標変換を行うことが出来る。
【0021】
又、光学系として魚眼レンズを用い、画像処理に線形フィルタを用いることによって、入力画像の多重解像度空間での近似表現即ち認識に都合の良い特徴量を得ることが出来る。
【0022】
図5は本発明の実施形態2の要部概略図である。本実施形態はセンサを1つのラインセンサとし、平行化光学系105 と円錐反射板102 との間にドーフェプリズム(像回転手段)を設け、該ドーフェプリズムを回転させて光学系で結像する像を回転させてラインセンサで受光する点が実施形態1と異なっている。本実施形態の各要素を説明する。
203.ドーフェプリズム: ドーフェプリズムとは図5に示すような台形をしたプリズムであり、ドーフェプリズムを角度θ回転させると、該プリズムを通過して形成される出力像は入力像に対して2θ回転する。従って本実施形態のドーフェプリズムを180 °回転すれば物体の像は360 °回転し、本プリズムを1回転させると物体の像は2回転する。
204.ドーフェプリズム回転機構: ドーフェプリズムを光軸に対して回転させる機構である。
205.ラインセンサ: 多数の単位センサを1次元的に並べたラインセンサであり、円錐反射板102 の側方に配置している。
207.ドーフェプリズム回転制御手段: ドーフェプリズムの回転と、ラインセンサの出力信号のバッファへの記録タイミングを制御する。
206.画像信号バッファ:ラインセンサ205 が検出する検出信号とドーフェプリズム回転制御手段207 からの角度情報をもとに、検出信号を2次元画像信号として格納するバッファである。
【0023】
本実施形態の作用を説明する。
【0024】
魚眼レンズ系101 の焦点に中間像を結像し、この中間像を平行化光学系105 が円錐反射板102 の底辺に相当する位置に再結像させる作用は実施形態1と同じである。
【0025】
物体の画像信号の取り込みは次のステップで行う。
【0026】
ステップ 1. ドーフェプリズムがある基準位置に位置するとき、ラインセンサ205で検出される信号は物体平面Ω 上で光軸との交叉点O からある方向に伸びる半直線上の輝度分布である。これを物体平面上での極座標のx軸とする。
【0027】
ステップ 2. ドーフェプリズム回転制御手段207 は、ラインセンサの画素数分の信号を読み出す間、ドーフェプリズムプリズム回転機構204 を静止させている。その間にラインセンサ205 の検出信号は画像信号バッファ206 に格納される。
【0028】
ステップ 3. 1ライン分の信号が画像信号バッファ206 に格納されると、ドーフェプリズム回転制御手段207 は、ドーフェプリズム回転機構204 を制御して予め設定された角度Δθだけ、ドーフェプリズムを回転させる。これによって、ラインセンサ205 は、物体平面Ω 上でx軸から2Δθの方向の半直線上の輝度信号を検出することになる。
【0029】
ステップ 4. 上記操作を、ドーフェプリズム203 の回転角度が180 度になるまで繰り返す。
【0030】
以上で、1画面分の画像信号(物体情報)を極座標系で画像信号バッファ206 へ入力した。
【0031】
ステップ 5.次いで、ステップ 1に戻り、ドーフェプリズム203 が180 °回転した位置を基準位置として次の1画面分の画像信号の読み出しを行う。
【0032】
この動作を繰り返すことによって効率的に極座標変換された画像信号を読みだすことができる。
【0033】
本実施形態は物体平面Ω 上でO 点を1端とする1放射線上の物体をラインセンサ上に結像してその輝度分布を計測することを前記O 点を固定して前記放射線を回転して順次計測してゆき、物体平面Ω 全体についてその輝度情報を得るのである。この時、前記1放射線上の物体からの光束はラインセンサ205 の手前で円錐反射板102 で反射され、光軸付近の物体からの光線は円錐反射板102 の曲率の大きい部分で反射されるのでラインセンサ205 に直交する方向へ大きく拡大される。反対に物体周辺部からの光線は円錐反射板102 の曲率の小さい部分で反射されるのでラインセンサに直交する方向へはあまり拡大されない。その結果、本実施形態においては従来のアナログ式の極座標変換方式と比べて特に画面中心付近を高解像度で極座標変換するので、画像の空間周波数の高周波成分まで取り込むことができる。
【0034】
本実施形態は単位センサの感度特性及び大きさによる検出周波数に対する制限を受けずに極座標変換を行うことが出来る。
【0035】
又、光学系として魚眼レンズを用い、画像処理に線形フィルタを用いることによって、入力画像の多重解像度空間での近似表現即ち認識に都合の良い特徴量を得ることが出来る。
【0036】
図6は本発明の実施形態3の要部概略図である。本実施形態3は実施形態1の円錐反射板の頂点部分に回転軸を中心とする穴を開け、その後ろの円錐反射板の底辺に相当する位置にに平板状の2次元アレイセンサを配置したものである。図中の各要素を説明する。
302.円錐反射板: 頂点部分に回転軸を中心とする半径R の穴を設けた円錐反射板。
303.円管2次元アレイセンサ: 構造的には実施形態1の円管2次元アレイセンサ103 と同じであるが、円錐反射板302 の長さが短いので、これに相応して長さが短い。
304.2次元アレイセンサ: 円錐反射板302 の底辺に相当する位置に設けて、円錐反射板302 の穴を通過してこの上に形成される画像を2次元直交座標系で取り込む。
305.画像信号バッファ: 本実施形態の画像信号バッファは円管2次元アレイセンサ303 からの極座標系に変換された画像信号と2次元アレイセンサ304 からの2次元直交座標系の画像信号を取り込む。
【0037】
本実施形態の作用を説明する。物体から出て魚眼レンズ系101 を通り、平行化光学系105 で平行にされた平行光線のうち、光軸から半径R より小さい範囲の光線は、円錐反射板302 の穴を通り抜けて2次元アレイセンサ304 に入射する。一方、光軸から半径R 以上の範囲の光線は円錐反射板302 によって反射され、円管2次元アレイセンサ303 に入射する。
【0038】
そこで、物体平面Ω 上では光軸との交点O を中心として半径OBの円の範囲は2次元アレイセンサ304 によって2次元直交座標系に基づく画像信号(物体情報)を画像信号バッファ305 に入力し、半径OBより外側の周辺部は円錐反射板302 と円管2次元アレイセンサ303 によって極座標系に変換された画像信号(物体情報)画像信号バッファ305 に入力する。
【0039】
パターン認識の観点からは画像がそのまま回転・移動しても認識結果が変わらないシステムが望まれる。極座標表示は、パターン(画像)の原点周りの回転及び拡大(ただし対数変換が必要)に強いが、パターンの2次元平行移動には弱い課題を持っている。
【0040】
本実施形態は物体平面Ω 上の光軸付近では画像の2次元平行移動に対して強く、又周辺部では画像の回転や拡大に強いパターン認識装置(画像処理装置)となっている。
【0041】
【発明の効果】
本発明は以上の構成により、光学系によって2次元の物体情報を極座標に変換して取り込む際、円錐反射部材を使用して画面周辺部より画面中心に向かうに従って像を円周方向に大きく拡大し、これによって極座標の円周方向に沿っての信号サンプリング間隔を一様にし、もって円周方向に沿った角度に関するナイキスト周波数〔cycle/deg〕を光軸からの距離によらず略一定とする画像処理装置を達成する。
【0042】
又、穴を設けた円錐反射部材を介して2次元画像の光軸付近は2次元直交座標系によって画像信号を取り込み、周辺部では円錐反射部材と円管2次元アレイセンサによって極座標系に変換された画像信号を取り込むことにより、光軸付近で画像の2次元平行移動に強く、又周辺部では画像の回転や拡大に強い画像処理装置を提供できる。
【図面の簡単な説明】
【図1】本発明の実施形態1の要部概略図
【図2】実施形態1の光学系の断面図
【図3】円管2次元アレイセンサの構成説明図
【図4】実施形態1による物体、像の状態の推移の説明図
【図5】本発明の実施形態2の要部概略図
【図6】本発明の実施形態3の要部概略図
【図7】従来例の課題説明図
【符号の説明】
101 魚眼レンズ系
102 円錐反射板
103 円管2次元アレイセンサ
104 画像信号バッファ
105 平行化光学系
203 ドーフェプリズム
204 ドーフェプリズム回転機構
205 ラインセンサ
206 画像信号バッファ
207 ドーフェプリズム回転制御手段
302 穴を開けた円錐反射板
303 円管2次元アレイセンサ
304 2次元アレイセンサ
305 画像信号バッファ

Claims (3)

  1. 物体の像を結像する像側の主光線が光軸に対し平行なテレセ
    ントリックな光学系の結像面の近傍に該光軸に中心軸を重ねて円錐反射部材と、
    該光学系と該円錐反射部材の間に像回転手段と、
    該円錐反射部材の側方に
    該光軸に向けて受光面を配置した多数の単位センサより成るラインセンサとを
    配置し、物体からの光線を該光学系を介し、
    該像回転手段を回転させつつ該円錐反射部材で反射せしめて該ラインセンサで受光して物体情報を極座標に変換して取り込むことを特徴とする画像処理装置。
  2. 前記光学系は物体の像を中間結像するレンズと、該中間結像
    した像を再結像させると共に再結像する像側の主光線を前記光軸に対し平行にす
    る平行化光学系を有することを特徴とする請求項1の画像処理装置。
  3. 前記像回転手段はドーフェプリズムを有することを特徴とす
    る請求項2の画像処理装置。
JP13139496A 1996-04-26 1996-04-26 画像処理装置 Expired - Fee Related JP3554106B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13139496A JP3554106B2 (ja) 1996-04-26 1996-04-26 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13139496A JP3554106B2 (ja) 1996-04-26 1996-04-26 画像処理装置

Publications (2)

Publication Number Publication Date
JPH09293136A JPH09293136A (ja) 1997-11-11
JP3554106B2 true JP3554106B2 (ja) 2004-08-18

Family

ID=15056952

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13139496A Expired - Fee Related JP3554106B2 (ja) 1996-04-26 1996-04-26 画像処理装置

Country Status (1)

Country Link
JP (1) JP3554106B2 (ja)

Also Published As

Publication number Publication date
JPH09293136A (ja) 1997-11-11

Similar Documents

Publication Publication Date Title
US6480287B2 (en) Three dimensional scanning system
JP2006276012A (ja) 物体の六つの自由度を求めるための測定システム
JP2007057305A (ja) 筒内検査装置
US5076689A (en) Off axis mirror alignment
US6912055B2 (en) Spherical form measuring and analyzing method
EP0110937B1 (en) Apparatus for measuring the dimensions of cylindrical objects by means of a scanning laser beam
JP3554106B2 (ja) 画像処理装置
US6788807B1 (en) Three dimensional information measurement method and apparatus
JPS63191006A (ja) 屈曲棒または屈曲管の形状測定装置
US5600123A (en) High-resolution extended field-of-view tracking apparatus and method
US3762819A (en) Optical angle measuring system
KR20230105705A (ko) 회전프리즘과 빔축소부를 이용한 표면 스캐너
CN111045220A (zh) 一种变焦光学系统光轴与视轴对准方法
JPH10246706A (ja) 光学部材検査装置
JP2020060480A (ja) 偏心量測定方法
WO2024004166A1 (ja) 距離測定装置
JPS62502421A (ja) 二次元の対象物を整向、検査及び/または測定するための装置
JP4176899B2 (ja) 走査光学系における走査位置測定方法及び装置
JP2007218647A (ja) 検査装置
JPH03248043A (ja) 光走査装置
JPH0362213B2 (ja)
JPS6230931A (ja) 結像光学系の光学性能測定装置
JPH0238806A (ja) 表面状態検出用光学的距離センサの構成
JP3004794B2 (ja) 表面検査用カメラ機構及び表面検査方法
JPH0943527A (ja) 走査ビームの測定評価方法および測定評価装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040506

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090514

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100514

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100514

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110514

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees