JP3388684B2 - 3次元形状測定方法 - Google Patents

3次元形状測定方法

Info

Publication number
JP3388684B2
JP3388684B2 JP05056697A JP5056697A JP3388684B2 JP 3388684 B2 JP3388684 B2 JP 3388684B2 JP 05056697 A JP05056697 A JP 05056697A JP 5056697 A JP5056697 A JP 5056697A JP 3388684 B2 JP3388684 B2 JP 3388684B2
Authority
JP
Japan
Prior art keywords
dimensional
measured
image
lattice
dimensional shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP05056697A
Other languages
English (en)
Other versions
JPH10246612A (ja
Inventor
光夫 武田
雅也 木下
全 顧
英明 高井
洋祐 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Opton Co Ltd
Original Assignee
Opton Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Opton Co Ltd filed Critical Opton Co Ltd
Priority to JP05056697A priority Critical patent/JP3388684B2/ja
Publication of JPH10246612A publication Critical patent/JPH10246612A/ja
Application granted granted Critical
Publication of JP3388684B2 publication Critical patent/JP3388684B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、3次元形状の被測
定物に格子パターンを投影し、この投影像から被測定物
の形状を測定する3次元形状測定方法に関する。
【0002】
【従来の技術】従来より、被測定物に格子状のパターン
を投影し、被測定物各部の高さ分布に応じて変形した格
子像から3次元形状を測定するモアレ法やヘテロダイン
法が知られている。モアレ法では変形格子像に基準格子
を重ねることにより被測定物の高さ分布の等高線を与え
るモアレ縞を発生させて高さ分布を求めている。ヘテロ
ダイン法では基準格子を無変調の空間的キャリア周波数
信号と考え、変形格子像を空間的に位相変調されたキャ
リア信号とみなして変形量を位相として検出することに
より被測定物の高さ分布を求めている。
【0003】
【発明が解決しようとする課題】これらの測定方法は、
面の形状が滑らかて各部が相互に連続に接続された被測
定物に対しては有効であるが、大きな不連続段差をもつ
被測定物や各部が相互に接続点をもたない孤立した面か
ら構成されるような被測定物の形状を測ることができな
い。モアレ法の場合は、不連続な等高縞の縞次数を一意
に決定できないためであり、また、ヘテロダイン法の場
合は、(−π、π]の主値の範囲に折り畳まれて検出さ
れる位相分布から不連続物体の高さ分布を一意に決定す
ることができないためである。このような不連続段差を
もつ被測定物を測定するため、種類の異なる複数の格子
状のパターンを遂次投影して得られる複数の変形格子像
から物体形状を求める方法や、白色光源や波長可変レー
ザー光源を用いた干渉計測法がある。
【0004】しかし、前者は複数の格子状パターンを逐
次的に投影して変形格子像を記録する必要があるため
に、高速運動中や高速変形中の被測定物の瞬時形状を調
べるような瞬時性を要する計測に対応できないという難
点があり、後者はさらに振動や空気のゆらぎによる千渉
縞の乱れを防ぐための除振台等を必要とするという問題
があった。
【0005】本発明の課題は、大きな不連続段差をもつ
被測定物や各部が相互に接続点をもたない孤立した面か
ら構成されるような被測定物を、瞬時に測定することが
でき、振動や空気の微小ゆらぎなどの影響を受けにくい
3次元形状測定方法を提供することにある。
【0006】
【課題を解決するための手段】かかる課題を達成すべ
く、本発明は課題を解決するため次の手段を取った。即
ち、3次元形状の被測定物に格子パターンを投影し、こ
の格子像から前記被測定物の3次元形状の測定値を得る
3次元形状測定方法において、周期と向きとが互いに異
なる複数の1次元格子を重畳させた2次元格子パターン
を前記被測定物に投影し、前記被測定物の3次元形状に
応じて変形した2次元格子像を撮像し、該2次元格子像
から前記各1次元格子成分毎に位相を検出し、該各位相
に基づいて前記測定値を得ることを特徴とする3次元形
状測定方法がそれである。
【0007】また、前記2次元格子パターンを投影する
投影器の投影レンズと前記2次元格子パターンを撮像す
るカメラの結像レンズとの中心を結ぶ直線が、前記被測
定物を置いた参照平面と平行となるようにすることが好
ましい。更に、前記両レンズの中心を結ぶ直線方向の前
記各一次元格子の周期比は、素数比であることが好まし
い。
【0008】
【発明の実施の形態】以下本発明の実施の形態を図面に
基づいて詳細に説明する。図1(A)は、本実施形態に
用いられる2次元格子1の拡大図である。この実施形態
では、図1(B)に示すように、縦方向の条線の周期的
繰り返し(周期=d1 )による1次元格子2と、図1
(C)に示すように、斜め方向の条線の周期的繰り返し
(周期=d2 )による1次元格子3の両者を重畳して多
重度2の2次元格子1を形成している。
【0009】尚、条線に限らず、ドットにより形成して
もよく、あるいは、異なる方向の条線をもつ1次元格子
を重畳させて多重度を増すこともできる。また、1次元
格子2,3としては不要な高調波成分を含まない正弦波
格子が理想的であるが、信号処理の段階で不要な高調波
成分を除去することにより、製作の容易な矩形格子を用
いることもできる。
【0010】後述する投影レンズ5と結像レンズ9との
中心を結ぶ直線方向の各1次元格子2,3の各周期d
1,d2は、物体の高さを位相値に変換する計測感度に
対応するので、これらは異なる値になるようにする。こ
の実施形態では、異なる位相感度の複数の計側データを
統合して高さ分布を求める方法として合同法を用いるた
めにd1:d2を3:7の素数比とした。
【0011】この2次元格子1を、図2に示すように、
光源4で照明し、投影レンズ5により3個の被測定物6
a,6b,7上に投影する。3個の被測定物6a,6
b,7は、相互に接続点を持たない孤立した面からなる
物体である。この3個の被測定物6a,6b,7は、参
照平面8上に置かれており、参照平面8は高さ計測の基
準面を与える。
【0012】結像レンズ9は被測定物6a,6b,7及
び参照平面8上の2次元格子パターンを2次元格子像1
0としてイメージセンサ11上に結像する。イメージセ
ンサ11からの画像データは画像処理回路12に入力さ
れる。投影レンズ5と結像レンズ9の投影中心を結ぶ直
線を参照平面8に平行にして参照平面8が高さ計測の基
準面となるようにする。
【0013】更に、結像レンズ9の光軸は参照平面8に
垂直であり、投影レンズ5と結像レンズ9の投影中心を
結ぶ直線が水平方向になるように配置する。こうするこ
とにより、被測定物6a,6b,7の高さを位相値に変
換する計測感度比が各1次元格子2,3の水平方向の周
期比d1:d2により決定され、縦方向の周期比には依
存しなくなるので1次元格子2,3を重畳し多重化する
際の条線の頃き角の選択の自由度が生じる。この条線の
傾き角の選択の自由度を利用して、各1次元格子2,3
の空間周波数スペクトル成分が互いに分離するように条
線方向を選び、空間周波教フィルタによるスペクトルの
選択的な抽出ができるようにする。
【0014】図3に示すように、本実施形態における一
方の被測定物6aは高さ20mmの円柱体であり、他方
の被測定物6bは高さが30mmの直方体である。これ
らは、縁に沿って大きな不運続段差をもち、両者は相互
に接続点をもたない孤立した面から構成されている。他
の一つの被測定物7は、頂上の高さが25mmの山型の
連続な高さ分布の円錐体である。
【0015】この両被測定物6a,6b,7に、図2に
示すように、光源4により2次元格子1の格子パターン
を投影する。そして、この2次元格子像10をイメージ
センサ11により撮像する。2次元格子像10は、図4
に示すように、被測定物6a,6b,7の3次元形状に
応じて変形しており、水平方向の周期比がd1:d2=
3:7で、縦方向の条線と斜め方向の条線からなる2つ
の1次元格子2,3が多重に重畳されている。
【0016】被測定物の高さh(x,y) により位相変調さ
れた格子像パターンg(x,y) は下記(1)式で表され
る。ここでfXk,fYkは空間周波数、r(x,y)は被測定物
表面の反射率である。
【0017】
【数1】
【0018】フーリエ変換法の空間周波数フィルタリン
グによりφk(x,y)を分離して個別に取り出すことができ
るが、得られる各々のhk(x,y)は△hk (下記(2)
式)の主値に折り畳まれているのでこれらのデータはそ
れぞれ△hk を法とする合同系を作っている。x方向の
周期比を互いに素で最も簡単な整数mk に対してそれぞ
れ下記(3)となるように選んでおくと、下記(4)、
(5)式はmk (=△hk /α)を法とする連立合同系
(下記(6)式)を作り上げるので、結局被測定物の高
さh(x,y) はこの連立合同方程式の解法に帰着される。
【0019】
【数2】
【0020】イメージセンサ11からの2次元格子像パ
ターンは、画像処理回路12に入力されて、図8に示す
処理が行われる。画像処理回路12では、この2次元格
子像10に応じた画像データを2次元フーリエ変換し
て、空間周波数スペクトルの強度分布を得る(ステップ
100)。
【0021】図5はこの2次元フーリエ変換することに
より得られた空間周波数スペクトルの強度分布の斜視図
である。縦方向の条線の1次元格子2の空間周波数スペ
クトル13、13’と斜め方向の1次元格子3の空間周
波数スペクトル14、14’は、2次元空間周波数領域
でこのように分離されるので、各1次元格子2,3の空
間周波数に対応したスペクトル成分を空間周波数フィル
タにより選択的に抽出する(ステップ110)。
【0022】次に、選択抽出した空間周波数スペクトル
の2次元フーリエ逆変換を行い(ステップ120)、位
相をヘテロダイン検出する(ステップ130)。本実施
形態では2つの1次元格子2,3を多重化したが、図5
のスペクトル分布から明らかなように、さらに多くの1
次元格子を多重化してスペクトルを分離することもでき
る。
【0023】ステップ110〜130の処理を繰り返し
実行して、全ての多重化スペクトルに対して位相の検出
を行い(ステップ140)、全ての多重化スペクトルに
対して位相を得た後は、既存の方法により高さ分布を求
める(ステップ150)。異なる位相感度の複数の計測
データを統合して高さ分布を求める方法としては、多波
長千渉計測における合同法や合致法等の既存の方法を用
いることができる。
【0024】ヘテロダイン検出された位相は(−π、
π]の主値の範囲に折り畳まれているが、被測定物6
a,6b,7の高さを位相値に変換する計側感度が各1
次元格子2,3の水平方向の周期に応じて3:7と異な
るために、図6に示すように、各周波数スペクトルごと
に異なる高さ範囲に折り畳まれた3次元形状分布が得ら
れる。
【0025】3次元形状分布15は条線が縦方向の1次
元格子2のスペクトル成分13をフィルタで取り出しヘ
テロダイン検出して得られた高さ分布であり、高さが3
mmの範囲に折り畳まれている。一方、3次元形状分布
16は条線が斜め方向の1次元格子3のスペクトル成分
14をフィルタで取り出しヘテロダイン検出して得られ
た高さ分布てあり、高さが7mmの範囲に折り畳まれて
いる。このように、図4に示した単独の2次元格子像1
0から同時に2つの異なる感度の計測データを取得する
ことができる。多重化度を高めればさらに多くの異なる
感度の計測データを得ることができる。
【0026】本発明による空間周波数多重化を行わない
従来のヘテロダイン法では、図6の折り畳まれた高さ分
布15または16のいずれか一方のみが得られることに
なる。図3の被測定物6a,6bのように、縁に沿って
大きな不連続段差をもち、相互に接続点をもたない孤立
した面から構成されている物体の場合は、両高さ分布1
5,16の折り畳まれた高さ分布のいずれか1つだけか
らは、その3次元形状を一意に決定することができな
い。したがって、本発明の方法により、単独の2次元格
子像10から同時に複数の異なる感度の計測データを取
得することが不可欠である。
【0027】3:7の高さ感度比で折り畳まれた図6の
2つの高さ分布15と16のデータを統合して3次元形
状を求める方法として、多波長干渉計測の分野でよく知
られた合同法を用いると図7に示すように3次元形状分
布を正しく求めることができる。
【0028】また、空間周波数多重化2次元格子像10
を2次元フーリエ変換しフィルタリングして、所望のス
ペクトル成分を選択的に抽出するのと全く等価な処理を
2次元格子像に対する直接演算により実現することもで
きる。即ち、図9に示すように、所望のスペクトルを選
択的に抽出するのに用いた2次元フィルタ窓関数を逆フ
ーリエ変換して2次元インパルス応答関数を得て(ステ
ップ200)、それを空間周波数多重化2次元格子像に
直接2次元コンボルーション演算することによっても各
1次元格子の空間周波数に対応したスペクトル成分を選
択的に抽出することができる(ステップ210)。尚、
以下の処理(ステップ130〜150)は、前述した処
理と同じであるので、説明を省略する。
【0029】本発明は、被測定物6a,6b,7の3次
元形状に応じて変形した空間周波数多重化2次元格子像
10を画像処理回路12に取り込み、各1次元格子2,
3の空間周波数に対応したスペクトル成分を空間周波数
フィルタにより選択的に抽出し、その位相を個別にヘテ
ロダイン検出する。
【0030】この空間周波数フィルタリングは、変形格
手像を2次元フーリエ変換した周波数スペクトル領域で
行うか、あるいは、それと同等な2次元コンボルーショ
ン演算を2次元格子像に対して直接実行する。ヘテロダ
イン検出されたこれらの位相は(−π、π]の主値の範
囲に折り畳まれているが、被測定物6a,6b,7の高
さを位相値に変換する計測感度が各1次元格子2,3の
空間周波数に応じて異なるために、各周波数スペクトル
ごとに異なる高さ範囲に折り畳まれた3次元形状分布が
得られる。
【0031】このため、それぞれの1次元格子2,3の
スペクトル成分から得られる複数の計測データを統合す
ることにより、不連続段差や孤立した物体面の有無に関
わらず、各単独の計測点ごとにその高さを個別に決定す
ることができる。また、1回の格子パターン投影で瞬時
計測することができるため、高速運動中や高速変形中の
不連続物体の瞬時形状の計測を可能にする。
【0032】以上本発明はこの様な実施形態に何等限定
されるものではなく、本発明の要旨を逸脱しない範囲に
おいて種々なる態様で実施し得る。
【0033】
【発明の効果】以上詳述したように本発明の3次元形状
測定方法は、大きな不連続段差をもつ被測定物や各部が
相互に接続点をもたない孤立した面から構成されるよう
な被測定物の3次元形状を、1回の格子パターン投影で
瞬時計測することができるため、従来法で困難であった
高速運動中や高速変形中の不連続物体の瞬時形状の計測
を可能にするという効果を奏する。干渉計測法と異なり
振動や空気の微小ゆらぎなどの影響を受けにくいので除
振台などを必要とせず、産業の現場における計測を可能
にする。また、本発明による空間周波数多重化格子は、
多重化した各1次元格子成分から異なる計測感度の位相
を取り出す手段として、ヘテロダイン法を用いることが
できるので、ヘテロダイン法の特徴である高分解能と本
発明の特色である測定のダイナミックレンジの拡大が同
時に達成される。
【図面の簡単な説明】
【図1】本発明の一実施形態としての3次元形状測定方
法に用いる2次元格子の拡大説明図である。
【図2】本実施形態の3次元形状測定方法を用いた装置
の概略光製図である。
【図3】本実施形態の被測定物の斜視図である。
【図4】本実施形態の2次元格子像の説明図である。
【図5】本実施形態の被測定物の空間周波数スペクトル
の強度分布を示す斜視図である。
【図6】本実施形態の異なる感度で折り畳まれた高さ分
布の斜視図である。
【図7】本実施形態の3次元形状測定方法により得られ
た計測結果の斜視図である。
【図8】本実施形態の画像処理回路で行われるフーリエ
変換処理の一例を示すフローチャートである。
【図9】本実施形態の画像処理回路で行われるコンボル
ーション処理の一例を示すフローチャートである。
【符号の説明】
1…2次元格子 2,3…1次元格子 4…光源 5…投影レンズ 6a,6b,7…被測定物 8…参照平面 9…結像レンズ 10…2次元格子像 11…イメージセンサ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 高井 英明 神奈川県横浜市神奈川区西寺尾3−18− 30−V107 (72)発明者 高橋 洋祐 千葉県千葉市若宮区小倉台1741−1− 317 (56)参考文献 特開 平4−220510(JP,A) 特開 昭63−44107(JP,A) 特開 昭61−260107(JP,A) (58)調査した分野(Int.Cl.7,DB名) G01B 11/24 G01B 11/25 G06T 1/00 315

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 3次元形状の被測定物に格子パターンを
    投影し、この格子像から前記被測定物の3次元形状の測
    定値を得る3次元形状測定方法において、 周期と向きとが互いに異なる複数の1次元格子を重畳さ
    せた2次元格子パターンを前記被測定物に投影し、前記
    被測定物の3次元形状に応じて変形した2次元格子像を
    撮像し、該2次元格子像から前記各1次元格子成分毎に
    位相を検出し、該各位相に基づいて前記測定値を得るこ
    とを特徴とする3次元形状測定方法。
  2. 【請求項2】 前記2次元格子パターンを投影する投影
    器の投影レンズと前記2次元格子パターンを撮像するカ
    メラの結像レンズとの中心を結ぶ直線が、前記被測定物
    を置いた参照平面と平行であることを特徴とする請求項
    1記載の3次元形状測定方法。
  3. 【請求項3】 前記両レンズの中心を結ぶ直線方向の前
    記各一次元格子の周期比が、素数比であることを特徴と
    する請求項1又は請求項2記載の3次元形状測定方法。
JP05056697A 1997-03-05 1997-03-05 3次元形状測定方法 Expired - Fee Related JP3388684B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05056697A JP3388684B2 (ja) 1997-03-05 1997-03-05 3次元形状測定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05056697A JP3388684B2 (ja) 1997-03-05 1997-03-05 3次元形状測定方法

Publications (2)

Publication Number Publication Date
JPH10246612A JPH10246612A (ja) 1998-09-14
JP3388684B2 true JP3388684B2 (ja) 2003-03-24

Family

ID=12862565

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05056697A Expired - Fee Related JP3388684B2 (ja) 1997-03-05 1997-03-05 3次元形状測定方法

Country Status (1)

Country Link
JP (1) JP3388684B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010236880A (ja) * 2009-03-30 2010-10-21 Toyota Motor Corp 自動車ボディ表面欠陥検査方法、及び自動車ボディ表面欠陥検査装置
CN105203047A (zh) * 2014-06-18 2015-12-30 沈阳同联集团高新技术有限公司 一种远心条纹相位测量装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19932590A1 (de) * 1999-07-13 2001-01-18 Lissotschenko Vitalij Vorrichtung zur Erzeugung von Linien oder Liniengruppen elektromagnetischer Strahlung des optischen Spektralbereichs
JP3519698B2 (ja) 2001-04-20 2004-04-19 照明 與語 3次元形状測定方法
US7286246B2 (en) 2003-03-31 2007-10-23 Mitutoyo Corporation Method and apparatus for non-contact three-dimensional surface measurement
JP4633101B2 (ja) * 2007-10-15 2011-02-16 ビジュアツール株式会社 立体形状計測装置および立体形状計測方法
KR20110018696A (ko) * 2009-08-18 2011-02-24 주식회사 이턴 입체 영상 처리 장치 및 방법
JP5743419B2 (ja) * 2010-04-18 2015-07-01 国立大学法人宇都宮大学 形状測定方法及び装置並びに歪み測定方法及び装置
JP6403776B2 (ja) * 2013-08-19 2018-10-10 ビーエーエスエフ ソシエタス・ヨーロピアBasf Se 光学検出器
WO2016138143A1 (en) * 2015-02-25 2016-09-01 Oculus Vr, Llc Using intensity variations in a light pattern for depth mapping of objects in a volume
JP6909378B2 (ja) * 2016-09-14 2021-07-28 高知県公立大学法人 検査システム
CN108303038B (zh) * 2017-12-21 2020-02-21 天津大学 基于二维光学点阵的反射型面形测量方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010236880A (ja) * 2009-03-30 2010-10-21 Toyota Motor Corp 自動車ボディ表面欠陥検査方法、及び自動車ボディ表面欠陥検査装置
CN105203047A (zh) * 2014-06-18 2015-12-30 沈阳同联集团高新技术有限公司 一种远心条纹相位测量装置
CN105203047B (zh) * 2014-06-18 2018-09-28 沈阳华慧高新技术有限公司 一种远心条纹相位测量装置

Also Published As

Publication number Publication date
JPH10246612A (ja) 1998-09-14

Similar Documents

Publication Publication Date Title
JP3519698B2 (ja) 3次元形状測定方法
US6229913B1 (en) Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
JP3388684B2 (ja) 3次元形状測定方法
US8462207B2 (en) Depth ranging with Moiré patterns
US5202749A (en) Process and device for observing moire patterns of surfaces to be tested by application of the moire method using phase shifting
JPS58122409A (ja) 光セクシヨニング法
JPH09507293A (ja) 形状測定システム
JP2005520142A (ja) 物体の絶対座標測定方法および装置
CN111947600B (zh) 基于相位级次代价滤波的鲁棒立体相位展开方法
KR100484637B1 (ko) 다중채널 위상천이 모아레 기법을 이용한 3차원 형상측정기 및 그 방법
CN110631487B (zh) 一种利用激光散斑自相关技术测量横向微位移的方法
Bertani et al. High-resolution optical topography applied to ancient painting diagnostics
JP2538435B2 (ja) 縞位相分布解析方法および縞位相分布解析装置
JP5412959B2 (ja) 光応用計測装置
US7304745B2 (en) Phase measuring method and apparatus for multi-frequency interferometry
JP3595736B2 (ja) 非接触形状測定方法
KR100540192B1 (ko) 3차원 형상 측정 장치 및 측정 방법
JP2008170281A (ja) 形状測定装置及び形状測定方法
JP2001356010A (ja) 三次元形状測定装置
JPH0587541A (ja) 2次元情報測定装置
JP2717407B2 (ja) カメラ歪測定装置
JP4210236B2 (ja) 光学的形状測定方法
Wei et al. High-Resolution Wafer Surface Topology Measurement Using Phase-Shifting Shadow Moiré Technique
Chen et al. One-Shot Three-Dimensional Surface Profilometry Using DMD-Based Two-Frequency Moiré and Fourier Transform Technique
CN116222443A (zh) 基于结构光的单频率四步相移三维测量方法

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S303 Written request for registration of pledge or change of pledge

Free format text: JAPANESE INTERMEDIATE CODE: R316303

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

S303 Written request for registration of pledge or change of pledge

Free format text: JAPANESE INTERMEDIATE CODE: R316303

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090117

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090117

Year of fee payment: 6

S303 Written request for registration of pledge or change of pledge

Free format text: JAPANESE INTERMEDIATE CODE: R316311

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090117

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100117

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100117

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees