JPH0799327B2 - カメラの焦点距離較正方法及び装置 - Google Patents

カメラの焦点距離較正方法及び装置

Info

Publication number
JPH0799327B2
JPH0799327B2 JP5008997A JP899793A JPH0799327B2 JP H0799327 B2 JPH0799327 B2 JP H0799327B2 JP 5008997 A JP5008997 A JP 5008997A JP 899793 A JP899793 A JP 899793A JP H0799327 B2 JPH0799327 B2 JP H0799327B2
Authority
JP
Japan
Prior art keywords
focal length
camera
vanishing point
calibration
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP5008997A
Other languages
English (en)
Other versions
JPH06221832A (ja
Inventor
健一 金谷
慎一 大中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP5008997A priority Critical patent/JPH0799327B2/ja
Publication of JPH06221832A publication Critical patent/JPH06221832A/ja
Publication of JPH0799327B2 publication Critical patent/JPH0799327B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、画像に写っている物体
の3次元位置や方向を計算するにあたって必要な、カメ
ラの焦点距離較正方法に関し、特に最小の誤差で焦点距
離を得るための、カメラの焦点距離較正方法及び装置に
関する。
【0002】
【従来の技術】従来、この種のカメラの焦点距離較正方
法は、例えば、「1991年12月、日本ロボット学会
誌、第9巻 第7号 813〜829頁」に示されるよ
うに、カメラから取得された画像によって、工業製品の
自動検査・組立や移動ロボットの制御などを目的とする
際に、基本となるカメラパラメータ(焦点距離,視点の
3次元位置,カメラ座標系の3次元方向など)のうち、
最も基本となるカメラの焦点距離の較正方法として用い
られている。このカメラの焦点距離較正方法について、
図4を参照して説明する。
【0003】図4にあるようなカメラの撮像モデル5を
考える。Z軸がカメラの光軸と一致するようにXYZ座
標系をとり、原点0をレンズの中心とみなし、平面Z=
fを画像面とする。fはレンズの中心と撮像面との距離
であり、「焦点距離」と呼ぶ。
【0004】正方格子51を描いた表示板を用意し、そ
の画像を入力する。正方格子51は画像面上に投影さ
れ、投影像52を生ずる。この投影像52の直線部分の
エッジを画像処理によって検出し、直線を最小2乗法に
よって当てはめる。
【0005】ここで、焦点距離fを求めるために、仮の
【0006】
【外1】
【0007】を用いて、消失点P1 ,P2
【0008】
【外2】
【0009】を最小2乗法によって推定する。ただし、
図4にあるように、画像上の点Pi の「Nベクトル」と
は、視点から点Pi へ向う単位ベクトルである。
【0010】焦点距離fは、
【0011】
【数1】
【0012】を解くことによって求まる。ただし、
【0013】
【外3】
【0014】である。
【0015】つぎに焦点距離fの分散V[f]を計算す
る。それは
【0016】
【数2】
【0017】で求まる。ここで、
【0018】
【外4】
【0019】に対する共分散行列であり、
【0020】
【数3】
【0021】で定義される。ただし、
【0022】
【外5】
【0023】であり、E[・・・]は期待値を表す。
【0024】以上を撮像角度を変えながら繰り返し、異
なる撮像角度に対する複数の焦点距離と各々の焦点距離
に対する分散を得る。測定をn回行ったとし、得られた
焦点距離と分散をfi ,V[fi ],i=1,・・・,
nとすると、最も確からしい
【0025】
【外6】
【0026】は、最小2乗法により次のように求まる。
【0027】
【数4】
【0028】である。
【0029】
【発明が解決しようとする課題】以上に述べた従来技術
によると、カメラから入力された画像によりカメラの焦
点距離を求めるには、 1.式(1)により焦点距離fを求め、 2.式(2)により分散V[f]を求め、 3.異なる撮像角度に対して手順1、2を行い、 4.式(3)、(4)により最も確からしい
【0030】
【外7】
【0031】を得る、のように手順を踏む必要があり、
手間がかかる。また、求められた焦点距離がどの程度信
頼できるか明らかでない。さらに、較正用パターンとし
て正方格子を用いているが、これは信頼性の高い焦点距
離を得るためには最適なものではない。
【0032】本発明の目的は、較正用パターンとして斜
方格子を用い、1回の測定により、正方格子を用いる方
法よりも、信頼性の高い焦点距離を得ることのできる、
カメラの焦点距離較正方法を提供することにある。
【0033】また、本発明の他の目的は、カメラの焦点
距離をその信頼区間と共に得ることができる較正方法を
提供することにある。
【0034】さらに、本発明の他の目的は、このような
方法を実施するカメラの焦点距離較正装置を提供するこ
とにある。
【0035】
【課題を解決するための手段】本発明は、平面上に描か
れた焦点距離較正用パターンをカメラで撮像して得られ
る画像からカメラの焦点距離を得る、カメラの焦点距離
較正方法において、平面上に描かれた2組の斜交した平
行線からなる較正用格子パターンをカメラで撮像し、入
力画像から、撮像された前記2組の平行線の消失点を計
算し、前記消失点から焦点距離を計算することを特徴と
する。
【0036】また、本発明は、平面上に描かれた焦点距
離較正用パターンをカメラで撮像して得られる画像から
カメラの焦点距離を得る、カメラの焦点距離較正装置に
おいて、平面上に描かれた2組の斜交した平行線からな
る較正用格子パターンと、この較正用格子パターンを撮
像するカメラと、入力画像から、撮像された前記2組の
平行線の消失点を計算する消失点演算手段と、前記消失
点から焦点距離を計算する焦点距離演算手段とを備える
ことを特徴とする。
【0037】
【作用】本発明における、3次元空間中の2次元平面上
に描かれた格子パターンから焦点距離を求める方法と、
信頼性の高い焦点距離を得るための格子パターンの構成
と撮像方法について、図5,図6,図7,図8,図9を
参照して述べる。
【0038】3次元空間に置かれた平面上に、N本の平
行線Li ,i=1,・・・,Nと、N′本の平行線
i ′,i=1,・・・,N′がある。このとき、画像
上のLi,Li ′の射影をli ,li ′とする。
【0039】li を延長してできる交点、すなわち消失
点の
【0040】
【外8】
【0041】とする。図5に示すように、直線li
【0042】
【外9】
【0043】とすると、
【0044】
【外10】
【0045】は次式により求めることができる。
【0046】
【数5】
【0047】ただしwi は直線li を当てはめたエッジ
の長さ(単位は画素)、
【0048】
【外11】
【0049】はその方向を示す単位ベクトルであり、
【0050】
【外12】
【0051】はその中心点のNベクトルである。また、
fは焦点距離の推定値であり、適当な値を用いればよ
い。
【0052】ここで、直線li の消失点の
【0053】
【外13】
【0054】を次の「くりこみ法」によって計算する。
【0055】「くりこみ法」: 1.c=1、Wi =1,i=1,・・・,Nとおく。
【0056】2.
【0057】
【外14】
【0058】を次のように計算する。
【0059】
【数6】
【0060】そして、その最小固有値λm 、対応する
【0061】
【外15】
【0062】を計算する。
【0063】3.c、Wi を次のように更新する。
【0064】
【数7】
【0065】4.更新が収束していなければ2へ戻る。
収束していれば
【0066】
【外16】
【0067】である。
【0068】そして、
【0069】
【外17】
【0070】の最大固有値λu 、対応する
【0071】
【外18】
【0072】中間固有値λv 、対応する
【0073】
【外19】
【0074】を計算する。
【0075】5.
【0076】
【外20】
【0077】を次式により計算する。
【0078】
【数8】
【0079】以上から、直線li
【0080】
【外21】
【0081】が求まる。
【0082】上では、「くりこみ法」を用いる方法を述
べたが、これとは別に、「モーメント行列」を用いる方
法もある。「モーメント行列」Mは、
【0083】
【数9】
【0084】で定義される。ここで、重みWi
【0085】
【数10】
【0086】で与えられ、消失点の
【0087】
【外22】
【0088】は、この「モーメント行列」を対角化した
ときの最小固有値に対応する固有ベクトルになる。この
方法で注意すべきことは、重みの式に求めるべき
【0089】
【外23】
【0090】が含まれていることである。ただし、実際
の計算においては、重みに含まれる
【0091】
【外24】
【0092】として、全ての重みを1として計算した推
定値を用いれば十分である。このときにも、「くりこみ
法」の場合と同様に、最大固有値λu と対応する
【0093】
【外25】
【0094】中間固有値λv と対応する
【0095】
【外26】
【0096】を計算し、式(9)によって共分散行列を
計算する。
【0097】図6を参照し、「くりこみ法」または「モ
ーメント行列」を用いる方法で得られる3つの固有ベク
トル、
【0098】
【外27】
【0099】について述べる。まず、最大固有値に対応
する
【0100】
【外28】
【0101】は、直線li の仮想的な中心線lG のNベ
クトルであり、中間固有値に対応する
【0102】
【外29】
【0103】に等しい。
【0104】さて、以上により直線li
【0105】
【外30】
【0106】と、その
【0107】
【外31】
【0108】が求められた。これと同じ操作を直線
i ′に対しても行い、
【0109】
【外32】
【0110】を求める。
【0111】次に焦点距離の求め方について述べる。図
7に示すように、3次元空間中で、斜方格子の交わる角
度をαとする。求められた2つの消失点の
【0112】
【外33】
【0113】を
【0114】
【数11】
【0115】とする。はじめに3つの量A、B、Cを定
義する。
【0116】
【数12】
【0117】次に、2次方程式
【0118】
【数13】
【0119】の二つの解を計算し、そのうち
【0120】
【数14】
【0121】であるものを選ぶ。すると、真の
【0122】
【外34】
【0123】は次式により求まる:
【0124】
【数15】
【0125】焦点距離fの分散V[f]は、
【0126】
【外35】
【0127】を用いて、
【0128】
【数16】
【0129】で与えられ、焦点距離の水準(100−
a)%の信頼区間は
【0130】
【数17】
【0131】で与えられる。λa は標準正規分布のa%
点である。(例えばλ5 =1.96)。また、κは「解
像度定数」と呼ばれる定数であり、
【0132】
【数18】
【0133】で表される量である。εは「画像精度」と
呼ばれる定数であり、各エッジ点の平均的ズレ(標準偏
差)を画素の単位で表したものである。γは「エッジ密
度」すなわち単位長さ当たりのエッジ点の数(単位は画
素の逆数)である。κは通常κ=1として差し支えな
い。
【0134】次に、焦点距離の分散V[f]を最も小さ
くするような、平行線の配置について述べる。φi
【0135】
【外36】
【0136】の間の角度とし、θi をi番目のエッジの
中心点の
【0137】
【外37】
【0138】と消失点の
【0139】
【外38】
【0140】のなす角度とする。このとき、消失点の
【0141】
【外39】
【0142】は次のように書くことができる。
【0143】
【数19】
【0144】上式をV[f]の表式に代入すると、
【0145】
【数20】
【0146】を得る。各エッジの中点が画像原点の近傍
にあれば、θi ,θi ′はそれぞれ図8にあるθ,θ′
で近似できる。したがって、
【0147】
【数21】
【0148】となる。
【0149】図8を参照して、空間中におかれた格子パ
ターンの配置について考える。rを視点と格子パターン
の中心の距離、lを格子パターンの大きさ、dを各々の
格子の間隔とする。
【0150】
【外40】
【0151】は2つの消失点に対応するNベクトルであ
り、これは空間中のそれぞれの平行線の方向ベクトルに
なっているので、θとθ′で、カメラによる撮像方向
と、較正用パターンが描かれている平面の関係を規定で
きる。
【0152】このとき、焦点距離の分散V[f]は
【0153】
【数22】
【0154】と表される。ただし、
【0155】
【数23】
【0156】である。
【0157】この分散V[f]は、
【0158】
【数24】
【0159】のとき最小となる。図9に示すように、カ
メラにより取得された画像上での、格子の交わる角度を
γとすると、
【0160】
【数25】
【0161】が成り立つ。
【0162】以上から分散V[f]を最小にする角度α
は、
【0163】
【数26】
【0164】と求まり、これに対応する格子パターンの
最適配置は、
【0165】
【数27】
【0166】となる。また、このときγ=90度であ
る。
【0167】したがって、焦点距離の分散を最小にす
る、すなわち最も信頼性の高い焦点距離を得るための較
正用パターンとして、2組の平行線の交わる角度が式
(31)のαであるものを用いる。さらに、較正用パタ
ーンに対するカメラの撮像方向としては、図8に示す
θ,θ′が、式(32)の値を持つようにすればよい。
しかし、このように配置するよりも、撮像した画像中の
格子線の交わる角度γが、上に示したように、90度に
なるようにパターンを配置するほうが簡単である。
【0168】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。図2に、本発明における較正用格子パター
ンの例を示す。図2を参照すると、較正用格子パターン
の例は、向かい合う辺の中点を結ぶ線分を有する菱形で
ある。この較正用格子パターンは、焦点距離の分散を最
小にするために、式(31)に示されるように2sin
-1√(3/10)度の角度を有するものである。
【0169】図3に、入力画像4を示す。図3を参照す
ると、入力画像4は、90度の角度を有するように撮像
される。
【0170】図1は、本発明の実施例を示すブロック図
である。図1を参照すると、本発明の実施例は、データ
入力装置1と、プログラム制御により動作するデータ処
理装置2と、ディスプレイ装置等の出力装置3とから構
成される。
【0171】データ入力装置1は、較正用格子パターン
11と、その較正用格子パターン11を撮像する手段で
あり、かつ、焦点距離を求めるべきカメラ12とを備え
る。
【0172】データ処理装置2は、カメラ12により入
力された画像から、画像処理によって格子線のエッジを
求めるエッジ検出手段21と、消失点のNベクトル及び
そのNベクトルの分散を計算する消失点算出手段22
と、消失点のNベクトルから焦点距離を計算する焦点距
離算出手段23と、消失点のNベクトルと、Nベクトル
の分散と、焦点距離の値から焦点距離の分散を計算する
分散算出手段24と、焦点距離の分散から焦点距離の信
頼区間を計算する信頼区間算出手段25とを備える。
【0173】次に、図1、図2、及び図3を参照して、
本実施例の動作について説明する。
【0174】カメラ12によって取得された較正用斜方
格子パターン11の入力画像4は、出力装置3とエッジ
検出手段21に供給される。
【0175】エッジ検出手段21では、入力画像4から
画像処理により、直線のエッジを検出し、各エッジの方
向ベクトルと、中心点のNベクトルと、画素単位の長さ
が計算される。
【0176】消失点算出手段22では、式(6)にした
がって、仮の焦点距離fを用いて直線の
【0177】
【外41】
【0178】を計算し、「くりこみ法」を用いて、最小
固有値λm と対応する
【0179】
【外42】
【0180】最大固有値λu と対応する
【0181】
【外43】
【0182】中間固有値λv と対応する
【0183】
【外44】
【0184】を計算し、式(9)によって
【0185】
【外45】
【0186】を計算する。
【0187】焦点距離算出手段23では、式(12)〜
(19)により、
【0188】
【外46】
【0189】が計算される。
【0190】分散算出手段24では式(20)により、
焦点距離算出手段23で算出された
【0191】
【外47】
【0192】を計算する。
【0193】信頼区間算出手段25では、式(21)に
より焦点距離算出手段23で算出された
【0194】
【外48】
【0195】の信頼区間が計算される。
【0196】以上の実施例では、画像処理によって格子
線のエッジを抽出したが、これは入力画像を見て人間が
行っても良い。また、消失点の算出には「くりこみ法」
を用いたが、これは式(10)、(11)に示した「モ
ーメント行列」の方法を用いても実施することができ
る。
【0197】
【発明の効果】以上説明したように、本発明によるカメ
ラの焦点距離較正方法及び装置では、平面上に描かれた
斜方格子を用いることによって、従来のように複数の測
定をすることなく、1回の測定によって、正方格子を用
いるよりも信頼性の高い焦点距離と、さらに焦点距離の
信頼区間を得ることができる。
【図面の簡単な説明】
【図1】本発明の実施例を示すブロック図である。
【図2】焦点距離較正用格子パターンの例を示す説明図
である。
【図3】格子パターンの入力画像を示す説明図である。
【図4】撮像モデルを示す説明図である。
【図5】エッジのNベクトルと方向ベクトルを示す説明
図である。
【図6】3つの固有ベクトルを示す説明図である。
【図7】角度αを示す説明図である。
【図8】格子パターンの配置を示す説明図である。
【図9】角度γを示す説明図である。
【符号の説明】
1 データ入力装置 2 データ処理装置 3 出力装置 11 較正用斜方格子パタン 12 カメラ 21 エッジ検出手段 22 消失点算出手段 23 焦点距離算出手段 24 分散算出手段 25 信頼区間算出手段
フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 17/00 K

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】平面上に描かれた焦点距離較正用パターン
    をカメラで撮像して得られる画像からカメラの焦点距離
    を得る、カメラの焦点距離較正方法において、 平面上に描かれた2組の斜交した平行線からなる較正用
    格子パターンをカメラで撮像し、 入力画像から、撮像された前記2組の平行線の消失点を
    計算し、 前記消失点から焦点距離を計算することを特徴とするカ
    メラの焦点距離較正方法。
  2. 【請求項2】前記較正用斜方格子パターンにおける2組
    の平行線が2sin-1√(3/10)の角度を有し、カ
    メラによる入力画像において2組の平行線が直角に交わ
    ることを特徴とする請求項1記載のカメラの焦点距離較
    正方法。
  3. 【請求項3】「くりこみ法」により消失点を計算するこ
    とを特徴とする、請求項1又は2記載のカメラの焦点距
    離較正方法。
  4. 【請求項4】「モーメント行列の方法」により消失点を
    計算することを特徴とする、請求項1又は2記載のカメ
    ラの焦点距離較正方法。
  5. 【請求項5】平面上に描かれた焦点距離較正用パターン
    をカメラで撮像して得られる画像からカメラの焦点距離
    を得る、カメラの焦点距離較正装置において、 平面上に描かれた2組の斜交した平行線からなる較正用
    格子パターンと、 この較正用格子パターンを撮像するカメラと、 入力画像から、撮像された前記2組の平行線の消失点を
    計算する消失点演算手段と、 前記消失点から焦点距離を計算する焦点距離演算手段と
    を備えることを特徴とするカメラの焦点距離較正装置。
  6. 【請求項6】前記焦点距離演算手段が、 前記消失点演算手段により求められた消失点から、焦点
    距離を計算する焦点距離算出手段と、 焦点距離の分散を計算する分散算出手段と、 焦点距離の分散から焦点距離の信頼区間を計算する信頼
    区間算出手段とを有することを特徴とする請求項5記載
    のカメラの焦点距離較正装置。
  7. 【請求項7】前記較正用斜方格子パターンにおける2組
    の平行線が2sin-1√(3/10)の角度を有し、カ
    メラによる入力画像において2組の平行線が直角に交わ
    ること特徴とする請求項5又は6記載のカメラの焦点距
    離較正装置。
  8. 【請求項8】前記消失点演算手段が、 画像処理により入力画像から格子線を抽出するエッジ検
    出手段と、 前記エッジ検出手段により得られる格子線から消失点を
    求める消失点演算手段とを有することを特徴とする請求
    項5又は6又は7記載のカメラの焦点距離較正装置。
  9. 【請求項9】前記消失点演算手段が、「くりこみ法」に
    より消失点を計算することを特徴とする、請求項5又は
    6又は7記載のカメラの焦点距離較正装置。
  10. 【請求項10】前記消失点演算手段が、「モーメント行
    列の方法」により消失点を計算することを特徴とする、
    請求項5又は6又は7記載のカメラの焦点距離較正装
    置。
JP5008997A 1993-01-22 1993-01-22 カメラの焦点距離較正方法及び装置 Expired - Fee Related JPH0799327B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5008997A JPH0799327B2 (ja) 1993-01-22 1993-01-22 カメラの焦点距離較正方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5008997A JPH0799327B2 (ja) 1993-01-22 1993-01-22 カメラの焦点距離較正方法及び装置

Publications (2)

Publication Number Publication Date
JPH06221832A JPH06221832A (ja) 1994-08-12
JPH0799327B2 true JPH0799327B2 (ja) 1995-10-25

Family

ID=11708333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5008997A Expired - Fee Related JPH0799327B2 (ja) 1993-01-22 1993-01-22 カメラの焦点距離較正方法及び装置

Country Status (1)

Country Link
JP (1) JPH0799327B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100711206B1 (ko) * 2005-05-04 2007-04-24 한국과학기술연구원 체크보드 형태의 교차점 자동 추출 방법
JP2010048553A (ja) * 2006-12-19 2010-03-04 Panasonic Corp 複眼測距装置の検査方法およびそれに用いるチャート
US8102516B2 (en) 2008-02-26 2012-01-24 Panasonic Corporation Test method for compound-eye distance measuring apparatus, test apparatus, and chart used for the same
WO2021113810A1 (en) * 2019-12-06 2021-06-10 Mashgin, Inc. System and method for identifying items

Also Published As

Publication number Publication date
JPH06221832A (ja) 1994-08-12

Similar Documents

Publication Publication Date Title
US20200096317A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
KR100386090B1 (ko) 동심원 패턴을 이용한 카메라 내부변수 보정시스템 및카메라 보정방법
CN102472609A (zh) 位置和姿势校准方法及设备
JP2011179907A (ja) 位置姿勢計測装置、位置姿勢計測方法およびプログラム
KR20130138247A (ko) 신속 3d 모델링
WO2020031950A1 (ja) 計測校正装置、計測校正方法、及びプログラム
CN102289803A (zh) 图像处理设备、图像处理方法及程序
CN107680139A (zh) 一种远心双目立体视觉测量系统的通用性标定方法
WO2023273108A1 (zh) 单目测距方法、装置及智能装置
CN104794718A (zh) 一种单图像ct机房监控摄像机标定的方法
Svoboda et al. Matching in catadioptric images with appropriate windows, and outliers removal
CN111105467A (zh) 一种图像标定方法、装置及电子设备
JP3696336B2 (ja) カメラのキャリブレーション方法
CN113658279A (zh) 相机内参和外参估算方法、装置、计算机设备及存储介质
JPH0799327B2 (ja) カメラの焦点距離較正方法及び装置
CN116563370A (zh) 基于单目计算机视觉的测距方法和测速方法
JP2005275789A (ja) 三次元構造抽出方法
JP2011022084A (ja) 三次元姿勢測定装置および三次元姿勢測定方法
JP3207023B2 (ja) 画像計測装置の校正方法
JP2003331263A (ja) カメラ画像−実空間座標対応付けマップ生成方法、カメラ画像−実空間座標対応付けマップ生成装置、プログラムおよび記録媒体
JPH04264207A (ja) 多視点ステレオ画像計測方法
JPH076769B2 (ja) 物体計測装置
JPH0835828A (ja) 3次元計測装置のキャリブレーション方法
JP4332629B2 (ja) 量子化誤差を軽減する距離計測方法及び距離計測システム
CN117611680A (zh) 光平面标定方法、装置和电子设备

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Effective date: 20031211

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20031212

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081226

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091226

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 6

Free format text: PAYMENT UNTIL: 20091226

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101226

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 7

Free format text: PAYMENT UNTIL: 20101226

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 8

Free format text: PAYMENT UNTIL: 20111226

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 8

Free format text: PAYMENT UNTIL: 20111226

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 9

Free format text: PAYMENT UNTIL: 20121226

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131226

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees