JP3872333B2 - 物体表面形状計測装置 - Google Patents

物体表面形状計測装置 Download PDF

Info

Publication number
JP3872333B2
JP3872333B2 JP2001374636A JP2001374636A JP3872333B2 JP 3872333 B2 JP3872333 B2 JP 3872333B2 JP 2001374636 A JP2001374636 A JP 2001374636A JP 2001374636 A JP2001374636 A JP 2001374636A JP 3872333 B2 JP3872333 B2 JP 3872333B2
Authority
JP
Japan
Prior art keywords
light receiving
receiving element
surface shape
light
column
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001374636A
Other languages
English (en)
Other versions
JP2003172611A (ja
Inventor
宗則 宅見
晴義 豊田
直久 向坂
誠一郎 水野
千代春 堀口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2001374636A priority Critical patent/JP3872333B2/ja
Publication of JP2003172611A publication Critical patent/JP2003172611A/ja
Application granted granted Critical
Publication of JP3872333B2 publication Critical patent/JP3872333B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Input (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photo Coupler, Interrupter, Optical-To-Optical Conversion Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、物体の表面形状を非接触で取得する物体表面形状計測装置に関し、特に、光切断法により表面形状の計測を行う物体表面形状計測装置に関する。
【0002】
【従来の技術】
非接触で物体の物体の表面形状を取得する方法として光切断法が知られている。図1は、光切断法の基本原理を示す図である。移動ステージ4上に移動可能に配置された被測定物3に対してスリット光源2からシート状のスリット光20を照射し、別の方向に配置したセンサ1によって被測定物4の表面上に投影されているスリット光20の光像21を撮像することで、あたかも光で被測定物を切断するかのようにしてその切断面を観察するものである。
【0003】
被測定物4の表面上に照射するスリット光20を走査して、多数の切断面画像を取得することにより、物体の三次元形状情報を取得することが可能となる。図1の例では、被測定物3を移動ステージ4上で移動させることで、スリット光20を被測定物3上で相対的に移動させることにより、この走査を行っている。
【0004】
このようにして三次元形状情報を正確かつ高速に取得するためには、各切断面画像を高速で取得、処理する必要があり、フレーム速度の低い通常のテレビカメラでは困難である。
【0005】
そこで、切断面画像取得を高速化するために、高速読み出しが可能な撮像装置を用いる技術が開発されており、例えば、特開平6−137822号公報に開示されている技術では、並列読み出し可能な撮像素子を用いることで高速での切断面画像取得を可能としている。
【0006】
【発明が解決しようとする課題】
このようにして得られる切断面画像中の切断面像とは、スリット光の被測定物表面での反射光の光像であるから、その明るさは、被測定物表面の材質や、表面の状態、スリット光の照射角度および撮像方向(すなわち光の照射方向と反射方向)によって大きく変化する。物体の三次元形状情報を取得するためには、切断面画像中の切断面位置情報を精度良く取得する必要があるが、このように反射光の明るさが大きく変化する場合には、明るさに応じた適応的な感度調整を行う必要がある。
【0007】
感度調整の方法としてはAGC(Auto Gain Control:自動利得制御)回路による手法が知られているが、こうしたAGC回路による調整は、フレーム画像全体の輝度を調整するのには適しているが、特に、切断面部分に明暗のある場合のように一画像中に明るい画像と暗い画像が混在しているような場合には、感度調整によってかえって切断面位置を特定することが難しくなる場合がある。その結果、正確な三次元形状情報を取得することが困難になる。
【0008】
そこで本発明は、高速で正確に物体の表面形状情報を取得することが可能な物体表面形状計測装置を提供することを課題とする。
【0009】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る物体表面形状計測装置は、(1)被測定物に対してスリット光を照射するスリット光照射手段と、(2)複数の受光素子が2次元状に配列されて形成され、スリット光照射方向とは異なる角度方向から被測定物に投影されているスリット光の像を撮像する少なくとも一つの受光素子アレイと、(3)受光素子アレイの受光素子一行ごとに1個ずつ設けられ、行内の受光素子から順次読み出された出力信号を増幅あるいは減衰させるゲイン可変のアンプを複数個配列させたアンプアレイと、(4)対応するアンプから出力される出力信号をアナログ・デジタル変換するA/D変換器が複数個配列させたA/D変換器アレイと、(5)受光素子アレイの同一列の受光素子に対応する出力デジタル信号を基にしてアンプのゲインを調整する感度制御装置と、(6)受光素子アレイの同一列の受光素子に対応する出力デジタル信号を基にして列毎の画像の重心位置を演算する演算器と、を備えていることを特徴とする。
【0010】
本発明によれば、アンプ、A/D変換器アレイを行毎に配置することで、複数行の受光素子の出力信号を同時に読み出し、画像信号を高速で取得することが可能である。さらに、画面内の列の出力デジタル信号を基にして次ないし数ライン先の列のゲイン調整を行うことで、同一画面内に明るい部分と暗い部分とが混在している場合でも部分に応じて適応的な感度調整を行うことが可能である。また、列毎の画像の重心位置を内部で演算することで、物体の表面形状を高速で演算することができる。このとき、感度調整された画像を基にして演算を行うため、重心位置の算出を精度良く行うことができ、物体表面形状の計測精度が向上する。
【0011】
A/D変換器は、出力デジタル信号にアンプのゲインに関する情報を付加して出力するものでもよい。このようにすると、列毎にゲインをコントロールする前の生の画像データを復元することが容易になるため、他の画像処理を併用することが容易になる。
【0012】
演算器は、A/D変換器の出力デジタル信号から列の0次モーメントを求める0次モーメント演算器と、列の1次モーメントを求める1次モーメント演算器と、これらを基にして列の重心を求める重心演算器を有することが好ましい。このようにすると、列の重心を高速に求めることができ、物体表面形状を高速に測定することが可能となる。
【0013】
受光素子の撮像面に投影されるスリット光のライン方向と、受光素子の各行方向とを略平行に配置していることが好ましい。このようにすると、撮像される切断面の光像は受光素子の行方向に略一致するため、その空間位置認識が容易になる。
【0014】
スリット光と被測定物とを相対的に移動させる移動手段をさらに備え、移動に応じて受光素子アレイにより複数の切断面画像を取得するようにすると、被測定物全体の表面形状を連続的に測定でき、その3次元形状の計測を行うことができる。
【0015】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【0016】
図2は、本発明に係る物体表面形状計測装置の第1の実施形態を示すブロック構成図である。この装置は図1に示される光切断法の原理によって三次元形状を計測するものである。本実施形態のセンサ1は、切断画像を取得するための光検出部10と、制御部15とから構成される。このうち、光検出部10は、n1個×n2個(X方向×Y方向)の2次元状に配置された受光素子110からなる受光素子アレイ11と、受光素子アレイ11の1行ごとに対応して受光素子110から出力された電荷を電圧信号に変換するn2個のチャージアンプ120からなる並列アンプ12と、チャージアンプ120からの出力信号をそれぞれA/D変換するn2個のA/D変換器130からなるA/D変換器アレイ13と、各A/D変換器130毎に設けられたスイッチ140によって構成され、信号の順次転送を行う転送スイッチ群14とから構成される。一方、制御回路15は、駆動信号を発生させる駆動信号発生回路151と、チャージアンプ120を制御する感度制御回路152と、感度制御回路152で用いる感度制御情報を演算するための感度制御情報演算器153とから構成されている。
【0017】
図3は、受光素子110の構成を示す回路図である。各受光素子110は、光電変換部(PD)111とコンデンサ(Cd)112、読み出しスイッチ(SW)113から構成されており、PD111とCd112は一端が接続され、それぞれの他端が接地されている。両者の接続部の先にSW113が配置され、その先は対応するチャージアンプ120へと接続されている。
【0018】
図4は、チャージアンプ120の構成を示す回路図である。チャージアンプ120は、OPアンプ121と3つのSW122〜124と2つの容量の異なるコンデンサCd125、126から構成されている。OPアンプ121の正入力端には受光素子110の出力信号が入力され、負入力端には基準電圧が入力されている。各SW122〜124は、OPアンプ121の正入力端と出力端の間に並列で接続されており、SW123とCd125、SW124とCd126とが直列に接続されている。そして、制御回路15からの制御信号によって各SW122〜124の開閉が制御される。
【0019】
次に、本実施形態の動作を説明する。制御部15は、移動ステージ2上で被測定物3を所定の微小量ずつステップ移動させてスリット光20の走査を行い、各移動の間にセンサ1により1画面ずつ切断面画像を取得することで多数の切断面画像を取得する。そして、取得した多数の切断面画像から被測定物3表面の空間位置情報を求めることで被測定物3の三次元形状情報を算出する。
【0020】
ここで、図5は光検出部10に入射するスリット光像21と受光素子アレイ11の受光素子110の配列方向との関係を示す図である。図では、被測定物3表面が平らな鏡面であり、スリット光20に対して直交して配置された場合を示している。各受光素子アレイは、スリット光像21に対して同一のチャージアンプ120を共用する受光素子110の配列方向、つまり行方向(X方向)が一致するように配置されることが好ましい。
【0021】
図6は切断面画像の取得動作のフローチャートである。本フローチャートは1画面分の切断面画像取得動作である。まず、ステップS1では、全てのチャージアンプ120のSW122、SW124をOFFにして、SW123をONにする(図4参照)。これによりチャージアンプ120の正入力端と出力端の間にはCd125のみが接続されることになる。ステップS2では呼び出し列を示す変数iに初期値0を設定する。
【0022】
次に、ステップS3ではi列(列位置を0〜n1−1列で示す)の受光素子110のSW113を閉じる(図3参照)。SW113を開いた状態では、PD111に入射した光量に応じた電荷がCd112に蓄積される。SW113を閉じることでこうして蓄積された電荷がチャージアンプ120へと転送される。つまり、この操作によりi列の受光素子110の出力信号が対応するチャージアンプ120へとそれぞれ転送されることになる。
【0023】
ステップS4では、こうして転送された出力信号がアンプ120によって電荷−電圧変換される。ここで、チャージアンプ120のゲインGはCd125、126の接続状態に応じて変化する。具体的には、受光素子110側のCd112の容量をCp、Cd125、126それぞれの容量をCa1、Ca2で表すと、SW123のみがONの場合、つまりCd125のみが接続されている場合のゲインGは、G=Cp/Ca1で、SW124のみがONの場合、つまりCd126のみが接続されている場合のゲインGは、G=Cp/Ca2で、SW123、124がONの場合、つまりCd125、126がともに接続されている場合のゲインGは、G=Cp/(Ca1+Ca2)で表されることになる。SW123のみが閉じられている状態では、Cd112から送られてきた電荷はCd125へと転送される。そして、OPアンプ120はゲインG=Cp/Ca1で増幅あるいは減衰し、電圧に変換した出力信号をA/D変換器130へとそれぞれ出力する。
【0024】
ステップS5では、各A/D変換器130が送られてきたアナログ信号をデジタル信号へと変換する。ステップS6では、SW140を第0行から順に第n2−1行までON−OFF切り返していくことで、行の順番に1列分の各デジタル信号を出力する。
【0025】
こうして出力されたデジタル信号は分岐されて一方が制御部15の感度制御情報演算器153へと入力される。ステップS7ではこの感度制御情報演算器153において特徴量fを演算する。特徴量としては、被測定物3の表面の反射率、形状、材質等の特性に合わせて入力された1列分の画像信号の信号値のうち最大値、平均値、総和、所定の閾値を越えた画素数等を用いればよい。
【0026】
ステップS8では、感度制御回路152がこうして求めた特徴量fと第1の閾値fth1とを比較する。fがfth1を越えていた場合にはステップS9へと移行してチャージアンプ120のSW124がOFFであればONにする。これにより、チャージアンプ120のゲインGを小さく変更した後、ステップS12へと移行する。一方、ステップS8でfがfth1以下であった場合にはステップS10へと移行して今度は特徴量fと第2の閾値fth2とを比較する。ここで、fth1>fth2の関係がある。fがfth2以上であった場合にはステップS12へと移行する。一方、fがfth2未満であった場合には、ステップS11へと移行してチャージアンプ120のSW124がでONであればOFFにする。これにより、チャージアンプ120のゲインGを大きく変更した後、ステップS12へと移行する。
【0027】
ステップS12では、全アンプ120のSW122を一時的にONにすることで接続されているCd125、126の電荷をリセットする。そして、ステップS13でiに1を加算した後、ステップS14へと移行し、iがn1に達していない場合には、ステップS3へと戻り処理を繰り返すことで次の列の処理を行う。iがn1に達した場合には、一画面分の読み出し処理を終了したとして処理を終了する。
【0028】
このように前の列の読み出し結果を基にして次の列の読み出しの際のアンプのゲインを調整するため、1画面中で適応的な感度調整を行うことができる。図7は、本実施形態によって取得した切断面画像と従来の取得方法による切断面画像の画像を比較した例である。図7(a)は切断面画像の取得状況を示す図であり、被測定物3として動物のぬいぐるみを用いており、スリット光20はこのぬいぐるみの胴部分と両腕部分に照射されている。図7(b)は感度を最大とした場合(本実施形態では、SW123を常にON、SW124を常にOFFにした場合に相当)、図7(c)は感度を最低とした場合(本実施形態では、SW123、124をともにONにした場合に相当)、図7(d)は上述の感度制御を行った場合のそれぞれの取得切断面画像を示している。図7(b)に示される感度最大の場合には、脇などの陰になりやすい部分の切断面画像も取得しやすい一方で、胴体中央部などの入射光があたりやすい部分では逆に出力が飽和して計測精度が大幅に劣化してしまう。図7(c)に示される感度最低の場合には、出力の飽和は抑制できるが、脇などの陰になりやすい部分では十分な出力が得られない。これに対して、図7(d)に示される感度を可変にした場合は、出力の飽和を抑制する一方、脇などの陰になりやすい部分でも十分な出力が得られ、適応的な感度調整が行えることが確認できた。
【0029】
以上の説明では、2段階にアンプのゲインを切り換える例を説明したが、例えば、SW123、SW124のいずれか若しくはその両方がONの3段階に切り換えるようにしてもよく、さらに多数のコンデンサとスイッチを組み合わせて多段階の切り替えが行えるようにしてもよい。さらに、設定されるゲインGが一定値G0に対してG=G0×2nの関係を保つよう各コンデンサの容量関係を設定し、このゲインのn部分に該当するデータを各列のデジタル信号に付加して出力すれば、その列のデジタル信号をnビットシフトさせることで列毎の感度補正を行っていない画像を得ることができるので、他の画像処理と組み合わせる場合に好適である。
【0030】
次に、本発明に係る三次元形状計測装置の第2の実施形態について説明する。図8はこの第2の実施形態のセンサ1部分の概略構成図である。第1の実施形態では、実際の三次元形状情報は取得した切断面画像を基にして図示していないパソコンやEWS等の計算機により形状情報を取得するものである。これに対して、図8に示される第2の実施形態では演算装置を内蔵している点が相違する。
【0031】
モーメント演算部16は高さ情報の基となる列の0次モーメントM0(i)を求める0次モーメント演算器16と1次モーメントM1(i)を求める1次モーメント演算器17とを有する。重心演算部17はこれらの結果から列内の重心位置P(i)を求めるものである。M0(i)、M1(i)、P(i)は以下の式により演算できる。
【0032】
【数1】
Figure 0003872333
式からわかるように各演算部16、17は簡単な加算、積算回路を組み合わせることで構成することが可能であり、光検出部10とワンチップ化することも可能である。このような構成によって、高速で精度のよい測定を実現することが可能である。特に、画像メモリや画像バッファを余分に用意する必要がないので、装置の大幅なコストダウンを図ることができる。
【0033】
以上の説明では、被測定物3を移動させる場合を例に説明してきたが、スリット光源2自体を駆動することで、あるいは、スリット光20を光学系によって移動させることで被測定物3を移動させることなく、スリット光20自体の照射位置を変更して走査を行ってもよい。
【0034】
また、移動手段を設けない場合には、連続的な切断面画像取得はできないが、特定の切断面の切断面画像を取得することにより、その位置における表面形状の測定を行うことができる。
【0035】
【発明の効果】
以上説明したように本発明によれば、2次元に配列された受光素子で光切断法の切断面画像を取得する際に、一列の読み出し結果を基にして後続の列を読み出す際のアンプのゲインを調整することで適応的な感度調整を行うことができる。
【図面の簡単な説明】
【図1】光切断法の原理を説明する図である。
【図2】本発明に係る物体表面形状計測装置のブロック構成図である。
【図3】受光素子の構成を示す回路図である。
【図4】チャージアンプの構成を示す回路図である。
【図5】光検出部に入射するスリット光像と受光素子の配列方向との関係を示す図である。
【図6】切断面画像の取得動作のフローチャートである。
【図7】本実施形態によって取得した切断面画像と従来の取得方法による切断面画像の画像を比較した例である。
【図8】第2の実施形態のセンサ部分の概略構成図である。
【符号の説明】
1…センサ、2…スリット光源、3…被測定物、4…移動ステージ、10…光検出部、11…受光素子アレイ、12…アンプアレイ、13…A/D変換器アレイ、14…転送スイッチ群、15…制御回路、16…モーメント演算部、17…重心演算部、110…受光素子、111…PD、112、125、126…コンデンサ、113、122〜124、140…スイッチ、120…チャージアンプ、121…OPアンプ、130…A/D変換器、151…駆動信号発生回路、152…感度制御回路、153…感度制御情報演算器。

Claims (5)

  1. 光切断法により被測定物の表面形状を測定する物体表面形状計測装置であって、
    被測定物に対してスリット光を照射するスリット光照射手段と、
    複数の受光素子が2次元状に配列されて形成され、前記スリット光照射方向とは異なる角度方向から被測定物に投影されているスリット光の像を撮像する少なくとも一つの受光素子アレイと、
    前記受光素子アレイの受光素子一行ごとに1個ずつ設けられ、行内の受光素子から順次読み出された出力信号を増幅あるいは減衰させて出力するゲイン可変のアンプを複数個配列させたアンプアレイと、
    対応する前記アンプから出力される出力信号をアナログ・デジタル変換して出力するA/D変換器が複数個配列させたA/D変換器アレイと、
    前記受光素子アレイの同一列の受光素子に対応する出力デジタル信号を基にして前記アンプのゲインを調整する感度制御装置と、
    前記受光素子アレイの同一列の受光素子に対応する出力デジタル信号を基にして列毎の画像の重心位置を演算する演算器と、
    を備えていることを特徴とする物体表面形状計測装置。
  2. 前記A/D変換器は、出力デジタル信号にアンプのゲインに関する情報を付加して出力する請求項1記載の物体表面形状計測装置。
  3. 前記演算器は、前記A/D変換器の出力デジタル信号から列の0次モーメントを求める0次モーメント演算器と、列の1次モーメントを求める1次モーメント演算器と、これらを基にして列の重心を求める重心演算器を有する請求項1または2に記載の物体表面形状計測装置。
  4. 前記受光素子の撮像面に投影される前記スリット光のライン方向と、前記受光素子の各行方向とを略平行に配置している請求項1〜3に記載の物体表面形状計測装置。
  5. 前記スリット光と被測定物とを相対的に移動させる移動手段をさらに備え、移動に応じて前記受光素子アレイにより複数の切断面画像を取得することを特徴とする請求項1〜4のいずれかに記載の物体表面形状計測装置。
JP2001374636A 2001-12-07 2001-12-07 物体表面形状計測装置 Expired - Fee Related JP3872333B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001374636A JP3872333B2 (ja) 2001-12-07 2001-12-07 物体表面形状計測装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001374636A JP3872333B2 (ja) 2001-12-07 2001-12-07 物体表面形状計測装置

Publications (2)

Publication Number Publication Date
JP2003172611A JP2003172611A (ja) 2003-06-20
JP3872333B2 true JP3872333B2 (ja) 2007-01-24

Family

ID=19183171

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001374636A Expired - Fee Related JP3872333B2 (ja) 2001-12-07 2001-12-07 物体表面形状計測装置

Country Status (1)

Country Link
JP (1) JP3872333B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4773802B2 (ja) * 2005-11-16 2011-09-14 パナソニック電工Sunx株式会社 変位センサ
JP2008309709A (ja) * 2007-06-15 2008-12-25 Yokohama Rubber Co Ltd:The 長尺物の外観検査装置
US8265373B2 (en) 2007-06-15 2012-09-11 The Yokohama Rubber Co., Ltd. Method and apparatus for inspecting appearance of long-length objects
JP2008309714A (ja) * 2007-06-15 2008-12-25 Yokohama Rubber Co Ltd:The 長尺物の外観検査方法及びその装置
JP4544272B2 (ja) * 2007-06-15 2010-09-15 横浜ゴム株式会社 長尺物の外観検査方法及びその装置
JP5419659B2 (ja) * 2009-12-04 2014-02-19 キヤノン株式会社 撮像装置
JP6385190B2 (ja) 2014-08-04 2018-09-05 キヤノン株式会社 光電変換装置の駆動方法、光電変換装置、および撮像システム

Also Published As

Publication number Publication date
JP2003172611A (ja) 2003-06-20

Similar Documents

Publication Publication Date Title
US11457168B2 (en) Image sensor and image capturing apparatus
US6750437B2 (en) Image pickup apparatus that suitably adjusts a focus
US11539907B2 (en) Image sensor and image capturing apparatus
US6801255B2 (en) Image pickup apparatus
EP3324614B1 (en) Imaging apparatus
JP4463457B2 (ja) 固体撮像装置及び測距装置
JPH07504303A (ja) 微小画像信号の動的補正方法と装置
JP3872333B2 (ja) 物体表面形状計測装置
US7369162B2 (en) Image sensing apparatus
JP3308146B2 (ja) 固体撮像装置
WO2010007962A1 (ja) 固体撮像装置
JP2001346106A (ja) 撮像装置
JP4928069B2 (ja) 撮像装置及び撮像システム
US6097021A (en) Apparatus and method for a managed integration optical sensor array
JP4928068B2 (ja) 撮像装置及び撮像システム
JP2007104445A (ja) イメージセンサの固定パターンノイズ除去装置
US11778346B2 (en) Image processing device, image processing method, and storage medium
JP3065699B2 (ja) 合焦位置検出装置
JPH06224762A (ja) 画像入力装置
JP3885984B2 (ja) 画像読取装置
JP4863340B2 (ja) 画像計測カメラ
JP2002366930A (ja) 画像計測カメラ
JP2022092710A (ja) 放射線撮像装置、放射線撮像システム、放射線撮像装置の制御方法、および、プログラム
de Lima Monteiro et al. CMOS technology in Hartmann-Shack wavefront sensing
JP2005020503A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061019

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3872333

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091027

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101027

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111027

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111027

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121027

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121027

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131027

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees