JP3554760B2 - 共焦点顕微鏡装置 - Google Patents

共焦点顕微鏡装置 Download PDF

Info

Publication number
JP3554760B2
JP3554760B2 JP34253897A JP34253897A JP3554760B2 JP 3554760 B2 JP3554760 B2 JP 3554760B2 JP 34253897 A JP34253897 A JP 34253897A JP 34253897 A JP34253897 A JP 34253897A JP 3554760 B2 JP3554760 B2 JP 3554760B2
Authority
JP
Japan
Prior art keywords
objective lens
image
sample
confocal microscope
confocal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP34253897A
Other languages
English (en)
Other versions
JPH11174334A (ja
Inventor
健雄 田名網
信一郎 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Priority to JP34253897A priority Critical patent/JP3554760B2/ja
Priority to US09/209,580 priority patent/US6300618B1/en
Publication of JPH11174334A publication Critical patent/JPH11174334A/ja
Application granted granted Critical
Publication of JP3554760B2 publication Critical patent/JP3554760B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20Binocular arrangements
    • G02B21/22Stereoscopic arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0072Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • G02B21/0084Details of detection or image processing, including general computer control time-scale detection, e.g. strobed, ultra-fast, heterodyne detection

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Lenses (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、共焦点顕微鏡を用いて被試験対象物の3次元表示を行う共焦点顕微鏡装置に関し、更に詳しくは、高分解能と深い焦点深度を高速でリアルタイムに実現し、リアルタイム3次元表示を光学的に行うための改善に関するものである。
【0002】
【従来の技術】
従来のこの種の共焦点顕微鏡装置の一例を図7に示す。光学顕微鏡10に搭載された共焦点スキャナ20により試料11の像をとらえ、この像をカメラ30で撮影する。共焦点スキャナ20にはレーザ発生器50より発生したレーザ光が供給されている。
【0003】
カメラ30の出力信号はコンバータ40によりデジタル信号に変換され、コンピュータ60の記憶手段(図示せず)に格納される。
【0004】
光学顕微鏡10において、試料11を搭載するステージ12は、移動機構13(図では煩雑さを避けるために光学顕微鏡1から分離して描いてある)により光軸方向(Z軸方向)に移動可能になっており、その移動機構13はパルスモータ(図示せず)を用いてステージ12の回転ノブ(図示せず)を回すことによりステージ12をZ軸方向に移動するように構成されている。
【0005】
さて、共焦点スキャナ20により光軸に直角な方向(XY軸方向)に光走査すると、試料11のスライス像が得られる。このとき、移動機構13によりステージ12をZ軸方向に少しずつ移動させて多数のスライス像を採取し、その後コンピュータ60で再構築することにより試料11の3次元画像を得ることができる。
【0006】
【発明が解決しようとする課題】
しかしながら、前記のような構成の共焦点顕微鏡装置では次のような課題があった。
(1) 移動機構13がパルスモータ駆動のために生ずる課題
▲1▼ステージ12全体を上下させるが、重量が大きく慣性も大きいため高速では移動できず、時間もかかる。
▲2▼正確でない。すなわち、ステージ12の回転ノブをパルスモータで回すため、脱調(パルスモータが動いたつもりが実際には動いていない)や、回転ノブとステージ12を連結するラックピニオン部での動きにヒステリシスがあり、本当に動いたかどうか分からず移動が正確でない。
▲3▼通常パルスモータは外形が大きく、取り付けも困難である。
【0007】
(2) コンピュータ60で3次元画像再構築をするために生じる課題
▲1▼時間がかかる。通常、1枚の画像を得るのに数分ないし数十分かかる。
▲2▼3次元画像再構築用のソフトウェアが高価であり、また操作が難しい。
【0008】
本発明の目的は、このような課題を解決するもので、光軸方向の走査を高速に行い、リアルタイム3次元表示を容易に行うことのできる共焦点顕微鏡装置を提供することにある。
【0009】
【課題を解決するための手段】
このような目的を達成するために、請求項1に記載の発明では、共焦点スキャナにより光ビームで試料面を走査し試料のスライス像を得ることのできる共焦点顕微鏡装置において、前記スライス像を撮像装置で撮影する際または前記スライス像を直接肉眼により観察する際の、NTSCまたはPALによる1画像積算時間よりも速く対物レンズを光軸方向に走査する対物レンズ移動機構を具備したことを特徴とする。
【0010】
請求項1に記載の発明では、対物レンズ移動機構を備え、これにより対物レンズを光軸方向に走査する。このとき、対物レンズを、撮像装置あるいは肉眼により1画像を観察する際の、NTSCによる1画像積算時間(ほぼ33 mS /画面)またはPALによる1画像積算時間(40mS/画面)よりも速く走査する。これによりリアルタイムで深い焦点深度の画像を見ることができ、試料のリアルタイム3次元表示を実現できる。
【0011】
【発明の実施の形態】
以下図面を用いて本発明を詳しく説明する。図1は本発明に係る共焦点顕微鏡装置の一実施例を示す要部構成図である。図において、共焦点スキャナ20部分は周知の構成であり、集光ディスク22、ピンホールディスク23、ビームスプリッタ25およびレンズ26より構成される。
【0012】
集光ディスク22は、通常マイクロレンズ(図示せず)が複数個配列され、ピンホールディスク23の各ピンホール(複数のピンホールが配列されている)に光ビーム(ここではレーザ光)21を集光するように形成されている。ピンホールディスク23は集光ディスク22と平行に連結されており、同一軸の周りを等速度で一体に回転できるようになっている。光軸に直角な面(XY軸平面)で回転中のピンホールディスク23から出射された光は顕微鏡10に入射し、試料11面を走査する。
【0013】
ビームスプリッタ25は集光ディスク22とピンホールディスク23の間に配置され、顕微鏡10からの戻り光を反射する。この反射光はレンズ26を介して撮像装置(例えばカメラ)30の受像面に入射する。
【0014】
顕微鏡10には対物レンズ移動機構15が設けられ、対物レンズ14を光軸方向(Z軸方向)に移動させ得るようになっている。対物レンズ移動機構(以下単に移動機構という)15としては、例えばピエゾ素子およびその駆動手段で構成することができ、外部からの駆動信号によりピエゾ素子を駆動して対物レンズ14をZ軸方向に自在に移動させることができる。
【0015】
このような構成における動作を次に説明する。レーザ光21は集光ディスク22のマイクロレンズによってピンホールディスク23のピンホール24に集光される。ピンホール24を通過したレーザ光は、対物レンズ14によりピンホールディスク23と共役な位置にある試料11内の走査面16上の集光点17に集束する。
【0016】
集光ディスク22およびピンホールディスク23が回転することにより試料11面の走査面16上が光走査され、試料面からの反射光は再度対物レンズ14とピンホールディスク23を通過した後、ビームスプリッタ25で反射し、レンズ26によりカメラ30の受像面に結像する。
【0017】
このとき、対物レンズ14は移動機構15によって駆動されており、駆動1周期にわたって対物レンズ14の深さ方向の位置Z,Z,Z,...Zでのスライス像がカメラ30で撮影される。
図2は上記のスライス像についての説明図であり、同図(a)はZ軸方向の各スライス画像、同図(b)は試料とスライス面との関係を示す図である。なお、図2(a)におけるZsumはZ,Z,Z,...Zのスライス像を重ねあわせた合成画像である。
なお、対物レンズ14はカメラや肉眼で1画像を見る際の1画像積算時間よりも速く走査して、各スライス像を得ている。
【0018】
ここで、カメラ30をNTSC(30画/秒)とし、対物レンズ14をZ1
2,Z3,...Znのストロークに対して30Hzで動かすとZ1,Z2,Z3,...Znの合成画像がカメラ30によりリアルタイムで撮像できる。
また、カメラ30がPAL方式(25画/秒、すなわち40 mS /画面)のものである場合は、対物レンズ14をZ 1 ,Z 2 ,Z 3 ,...Z n のストロークに対して25Hzで動かすと、上記と同様にZ 1 ,Z 2 ,Z 3 ,...Z n の合成画像がカメラ30によりリアルタイムで撮像できる。
なお、カメラ30に代えて肉眼で覗いても同様にリアルタイムで合成画像を見ることができる。
【0019】
なお、従来の非共焦点顕微鏡においても深い焦点深度は可能であるが、全体に不明瞭なボケた画像しか得られない。共焦点顕微鏡では全体にピントのあった明瞭な画像(スライス像)が得られる利点がある。
また、共焦点顕微鏡ではスライス像しか見えないため、はじめに位置を決める段階では非共焦点像で全体を見た後共焦点に光学的に切換えるようにしていたが、本発明における位置決めでは移動機構15の動作/停止を制御する電気信号の切換えのみで済むという利点がある。
【0020】
なお、対物レンズ14の動きは図3に示すように1周期(時間t)で1往復(対物レンズの振れ幅a)するため、換言すれば1周期で2枚の合成画像が得られるため、15Hzで対物レンズ14を動かすようにしても実質上問題はない。一般に、走査時間は画像積算時間の整数倍として差し支えない。
【0021】
また、ピンホールディスク23から対物レンズ14までの間にチューブレンズを挿入し、対物レンズを上下に移動しても常に対物レンズ14の焦点位置にビームが集束するようにしておいて何ら差し支えない。
【0022】
更に、上記動作に同期してステージ12(図6参照)を光軸と直角な方向(横方向)に動かせば、試料11を斜めから見た積算像が得られる。図4の(a)〜(c)はスライス像、同図(d)は試料の外観図である。図4(a)はステージ12を初期位置に固定にして真上から(図4(d)のD1方向から)見たときのスライス像、同図(b)はステージ12を右方へ移動させながら見たとき(図4(d)のD2方向から見たとき)のスライス像、同図(c)はステージ12を左方へ移動させながら見たとき(同図(d)のD3方向から見たとき)のスライス像である。
【0023】
このようにステージ12を横に走査させることにより試料11を斜めから見た画像をリアルタイムで得ることができる。
ここで、上記Z方向走査を30Hz、図4の(a)〜(c)への変化を例えば1Hz程度で行うと、あたかも試料11がゆっくりと左右に振れたように見え、動的立体視により立体感が得られる。なお、上記横方向へ移動させる対象は試料11に限定されない。対物レンズ、チューブレンズ、共焦点スキャナ、カメラのいずれを横移動させても上記と同様の結果が得られる。要するに、試料と撮像装置の横方向の相対位置を変化させれば上記の結果が得られる。
【0024】
また、レーザ光の強度あるいはカメラ30の感度を制御し得る制御機構を設け、Z軸方向移動に応じてレーザ光の強度あるいはカメラ30の感度を増減するようにしてもよい。
このような制御機構により、図5(a)に示すようにピエゾ素子の駆動電圧の増加に連れて、換言すれば試料11に対する共焦点平面位置の深さ(これを試料深さと呼ぶ)が深くなるに連れてレーザ光の強度あるいはカメラ30の感度を大きくするか、または図5(b)に示すように試料深さが浅くなるに従ってレーザ光の強度あるいはカメラ30の感度が小さくなるようにしてもよい。
【0025】
図6(a)は図5(a)のような制御の場合に得られるスライス像、図6(b)は図5(b)のような制御の場合に得られるスライス像をそれぞれ概念的に表わしたものである。図6では、レーザ光の強度あるいはカメラ30の感度と実線の太さを対応させて示してある。
手前を明るく奥を暗くすることによって人間は立体感を感じるため、上記のようにすることにより立体感のある画像表示を容易に得ることができる。
【0026】
なお、以上の説明は、本発明の説明および例示を目的として特定の好適な実施例を示したに過ぎない。したがって本発明は、上記実施例に限定されることなく、その本質から逸脱しない範囲で更に多くの変更、変形をも含むものである。
【0027】
【発明の効果】
以上説明したように本発明によれば次のような効果がある。
請求項1に記載の発明によれば、光軸方向に1画像積算時間と同等以上の速度で対物レンズを走査することにより、リアルタイムで深い焦点深度の画像が容易に得られる。
【0028】
請求項2または4に記載の発明によれば、対物レンズの走査時間を1画像積算時間の整数倍とすることによりフレームずれのない画像を容易に得ることができる。
【0029】
請求項3に記載の発明によれば、光軸方向に1画像積算時間と同等以上の速度で対物レンズを走査すると共に、対物レンズの光軸方向走査と同期して試料を搭載したステージを光軸と直角な方向に走査することにより、試料の動的立体視ができ、立体感のある画像が得られる。
【0030】
請求項5に記載の発明によれば、1画像積算時間よりも速く対物レンズを光軸方向に走査すると共に、共焦点平面位置に応じて前記光ビーム強度または撮像装置の感度を増加または減少させることにより、前後関係を持った立体感のある画像が得られるので深さ方向で異なる反応をしている試料の共焦点画像をリアルタイムで測定できるばかりでなく、観測目標が深さ方向に移動する場合でも共焦点画像取り込み範囲内であれば常に動向を把握できるという効果がある。
【図面の簡単な説明】
【図1】本発明に係る共焦点顕微鏡装置の一実施例を示す要部構成図である。
【図2】スライス像についての説明図である。
【図3】対物レンズの動きの一例を示す図である。
【図4】ステージを横移動させた場合の説明図である。
【図5】レーザ光の強度あるいはカメラの感度の制御態様を示す図である。
【図6】図5の制御態様に対応したスライス像の概念図である。
【図7】従来の共焦点顕微鏡装置の一例を示す構成図である。
【符号の説明】
10 顕微鏡
11 試料
12 ステージ
14 対物レンズ
15 対物レンズ移動機構
16 走査面
17 集光点
20 共焦点スキャナ
21 レーザ光
22 集光ディスク
23 ピンホールディスク
24 ピンホール
25 ビームスプリッタ
26 レンズ
30 カメラ

Claims (5)

  1. 共焦点スキャナにより光ビームで試料面を走査し試料のスライス像を得ることのできる共焦点顕微鏡装置において、
    前記スライス像を撮像装置で撮影する際または前記スライス像を直接肉眼により観察する際の、NTSCまたはPALによる1画像積算時間よりも速く対物レンズを光軸方向に走査する対物レンズ移動機構を具備したことを特徴とする共焦点顕微鏡装置。
  2. 前記対物レンズの移動機構は、前記対物レンズの走査時間を1画像積算時間の整数倍としたことを特徴とする請求項1記載の共焦点顕微鏡装置。
  3. 共焦点スキャナにより光ビームで試料面を走査し試料のスライス像を得ることのできる共焦点顕微鏡装置において、
    前記スライス像を撮像装置で撮影する際または前記スライス像を直接肉眼により観察する際の、NTSCまたはPALによる1画像積算時間よりも速く対物レンズを光軸方向に走査する対物レンズ移動機構と、
    前記対物レンズ移動機構による光軸方向走査と同期して前記試料を搭載したステージを光軸と直角な方向に走査する横方向走査手段を具備したことを特徴とする共焦点顕微鏡装置。
  4. 前記対物レンズの移動機構は、前記対物レンズの走査時間を1画像積算時間の整数倍としたことを特徴とする請求項3記載の共焦点顕微鏡装置。
  5. 共焦点スキャナにより光ビームで試料面を走査し試料のスライス像を得ることのできる共焦点顕微鏡装置において、
    前記スライス像を撮像装置で撮影する際または前記スライス像を直接肉眼で観察する際の、NTSCまたはPALによる1画像積算時間よりも速く対物レンズを光軸方向に走査する対物レンズ移動機構と、
    前記光軸方向に走査するときの共焦点平面位置に応じて前記光ビーム強度または撮像装置の感度を増加または減少させる制御手段を具備したことを特徴とする共焦点顕微鏡装置。
JP34253897A 1997-12-12 1997-12-12 共焦点顕微鏡装置 Expired - Fee Related JP3554760B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP34253897A JP3554760B2 (ja) 1997-12-12 1997-12-12 共焦点顕微鏡装置
US09/209,580 US6300618B1 (en) 1997-12-12 1998-12-11 High speed 3-dimensional confocal microscopic equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34253897A JP3554760B2 (ja) 1997-12-12 1997-12-12 共焦点顕微鏡装置

Publications (2)

Publication Number Publication Date
JPH11174334A JPH11174334A (ja) 1999-07-02
JP3554760B2 true JP3554760B2 (ja) 2004-08-18

Family

ID=18354530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34253897A Expired - Fee Related JP3554760B2 (ja) 1997-12-12 1997-12-12 共焦点顕微鏡装置

Country Status (2)

Country Link
US (1) US6300618B1 (ja)
JP (1) JP3554760B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3736213B2 (ja) * 1999-07-15 2006-01-18 横河電機株式会社 共焦点光スキャナ
US6734962B2 (en) * 2000-10-13 2004-05-11 Chemimage Corporation Near infrared chemical imaging microscope
GB2373945A (en) * 2001-03-29 2002-10-02 Isis Innovation Stereo microscopy
US7495778B2 (en) 2001-09-11 2009-02-24 Leica Microsystems Cms Gmbh Method and device for optically examining an object
US7756357B2 (en) * 2003-07-01 2010-07-13 Olympus Corporation Microscope system for obtaining high and low magnification images
DE102004014048B4 (de) * 2004-03-19 2008-10-30 Sirona Dental Systems Gmbh Vermessungseinrichtung und Verfahren nach dem Grundprinzip der konfokalen Mikroskopie
JP2005275199A (ja) * 2004-03-26 2005-10-06 Yokogawa Electric Corp 3次元共焦点顕微鏡システム
US20060098194A1 (en) * 2004-11-08 2006-05-11 David Tuschel Method and apparatus for determining change in an attribute of a sample during nucleation, aggregation, or chemical interaction
US7046359B2 (en) * 2004-06-30 2006-05-16 Chemimage Corporation System and method for dynamic chemical imaging
US7394542B2 (en) 2004-08-18 2008-07-01 Chemimage Corporation Method and apparatus for chemical imaging in a microfluidic circuit
US7580126B2 (en) * 2004-06-30 2009-08-25 Chemimage Corp. Method and apparatus for producing a streaming Raman image of nucleation, aggregation, and chemical interaction
DE102004059526B4 (de) * 2004-12-09 2012-03-08 Sirona Dental Systems Gmbh Vermessungseinrichtung und Verfahren nach dem Grundprinzip der konfokalen Mikroskopie
JP2007139884A (ja) * 2005-11-15 2007-06-07 Olympus Corp 共焦点走査型顕微鏡
EP1970668A1 (de) * 2007-03-14 2008-09-17 Alicona Imaging GmbH Verfahren und Apparat zur optischen Messung der Topografie einer Probe
JP2010066575A (ja) * 2008-09-11 2010-03-25 Yokogawa Electric Corp 共焦点光スキャナ
US8275226B2 (en) * 2008-12-09 2012-09-25 Spectral Applied Research Ltd. Multi-mode fiber optically coupling a radiation source module to a multi-focal confocal microscope
US8254023B2 (en) * 2009-02-23 2012-08-28 Visiongate, Inc. Optical tomography system with high-speed scanner
WO2011069261A1 (en) * 2009-12-08 2011-06-16 Spectral Applied Research Inc. Imaging distal end of multimode fiber
US9606343B2 (en) 2011-05-06 2017-03-28 Visitech International Ltd Enhancing spatial resolution utilizing multibeam confocal scanning systems
JP2013058956A (ja) * 2011-09-09 2013-03-28 Sony Corp 情報処理装置、情報処理方法、プログラム及び情報処理システム
DE102015112960B3 (de) 2015-08-06 2016-10-20 Till I.D. Gmbh Vorrichtung für die konfokale Beleuchtung einer Probe
CN109307481B (zh) * 2018-11-13 2020-02-04 北京理工大学 高速传感共焦显微测量方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4863252A (en) * 1988-02-11 1989-09-05 Tracor Northern, Inc. Objective lens positioning system for confocal tandem scanning reflected light microscope
JPH03134607A (ja) * 1989-10-20 1991-06-07 Fuji Photo Film Co Ltd 共焦点走査型顕微鏡
WO1998041158A1 (en) * 1997-03-19 1998-09-24 Lucid Technologies, Inc. Cellular surgery utilizing confocal microscopy

Also Published As

Publication number Publication date
US6300618B1 (en) 2001-10-09
JPH11174334A (ja) 1999-07-02

Similar Documents

Publication Publication Date Title
JP3554760B2 (ja) 共焦点顕微鏡装置
US6038067A (en) Scanning computed confocal imager
US6778323B2 (en) Confocal microscope
US6160908A (en) Confocal microscope and method of generating three-dimensional image using confocal microscope
US20050211872A1 (en) Optical-scanning examination apparatus
WO1991010394A1 (en) Imaging apparatus and methods utilizing scannable microlaser source
JP2005529669A5 (ja)
US6248995B1 (en) Confocal microscopic equipment
JP2006106378A (ja) 共焦点顕微鏡
US20150131148A1 (en) Spinning disk confocal using paired microlens disks
JP2006504140A (ja) ランダムアクセス高速度共焦点顕微鏡
JP2004329360A (ja) 眼科装置
JP2971554B2 (ja) レーザー走査方式眼底カメラ
JP3585018B2 (ja) 共焦点装置
CN107991766A (zh) 一种具有三维成像能力的显微镜和成像方法
JP3736213B2 (ja) 共焦点光スキャナ
KR20010034046A (ko) 다수의 스캐닝 빔을 갖는 공초점 현미경
US11137587B2 (en) Light sheet microscope and microscopic method using a light sheet microscope
JP2000275534A (ja) 共焦点顕微鏡
JPH07178053A (ja) 光走査眼科装置
JP5822067B2 (ja) 顕微鏡装置
JP2005279122A (ja) 眼底撮影装置
JPH10123425A (ja) ズーム機能付き蛍光顕微鏡
JPH1138324A (ja) レーザ走査顕微鏡
JPH09251128A (ja) 光学顕微鏡

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040408

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080521

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090521

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100521

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100521

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110521

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140521

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees