JP4050039B2 - Scanning confocal microscope and its image construction method - Google Patents
Scanning confocal microscope and its image construction method Download PDFInfo
- Publication number
- JP4050039B2 JP4050039B2 JP2001338216A JP2001338216A JP4050039B2 JP 4050039 B2 JP4050039 B2 JP 4050039B2 JP 2001338216 A JP2001338216 A JP 2001338216A JP 2001338216 A JP2001338216 A JP 2001338216A JP 4050039 B2 JP4050039 B2 JP 4050039B2
- Authority
- JP
- Japan
- Prior art keywords
- sample
- image
- confocal microscope
- scanning confocal
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Microscoopes, Condenser (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、共焦点効果を利用した走査型共焦点顕微鏡及びその画像構築方法に関する。
【0002】
【従来の技術】
一般に、走査型共焦点顕微鏡はディスク走査型とレーザ走査型の2つがよく知られている。このうちディスク走査型共焦点顕微鏡は、通常の顕微鏡と比較して横方向分解能が高いだけでなく、試料の光軸方向(以下、「Z方向」という)に非常に高いセクショニング効果を持つという大きな特徴を有している。そして、この特徴を用いて画像処理装置と組み合わせることによって、試料を三次元の画像として構築することが可能となっている。
【0003】
図11は、従来のディスク走査型共焦点顕微鏡の構成を示す図である。
【0004】
光源1から放射された照明光は、コリメータレンズ2を通してハーフミラー3に入射し、ここで反射された光は回転ディスク4を照明する。この回転ディスク4には螺旋状に複数のピンホールが設けられたニポウディスクと呼ばれるもの、またはスリットパターンが形成されたものなどが用いられている。ここではニポウディスクを用いているものとし、この回転ディスク4は、モータ5の回転軸5aに取り付けられて所定の回転速度で回転する。このため、回転ディスク4に照射された照明光は、この回転ディスク4に形成された複数のピンホールを通過し、対物レンズ6によって試料7上に結像される。
【0005】
試料7からの反射光は、再び対物レンズ6、回転ディスク4のピンホールを通過してハーフミラー3を透過し、集光レンズ8によって撮像部9に結像される。撮像部9は試料7からの反射光を撮像してその輝度信号をコンピュータ10に対して出力する。
【0006】
コンピュータ10は、撮像部9から出力された輝度信号を取り込み記憶し画像処理を行って所望の画像データを得てモニタ11に表示すると共に、Z駆動部12に対して駆動信号を出力して、光学系の一部あるいは全体と試料とを光軸方向に相対的に移動させ試料の合焦点位置を変化させる。ここでは、対物レンズ6のみを移動させるように構成しているが、例えば試料7を積載したステージを光軸方向に移動させるように構成しても良い。そして、Z方向の位置情報である合焦点位置も前述の画像データと対応付けられてコンピュータ10に記録される。
【0007】
このように構成されたディスク走査型共焦点顕微鏡では、対物レンズ6が移動することによって撮像部9に入射する光量は変化し、試料の表面に焦点が合ったときにその入射光量(輝度)は最大となる。撮像部9に備えられた撮像素子の各画素は試料7の各位置からの光量に対応した輝度信号を出力するため、各画素毎に最大輝度を示すZ方向位置を求めることによって試料7の三次元形状を得ることができ、また各画素の最大輝度値のみで画像を構築することで、試料7の全表面に焦点が合った焦点深度の深い画像を構築することもできる。
【0008】
【発明が解決しようとする課題】
このようにして得られる画像が精度の良い明瞭なものとなるためには、輝度値とZ方向位置の関係を示す曲線(以下、「I−Zカーブ」という)が急峻な特性をもつことが必要とされる。
【0009】
図12は、I−Zカーブを示す図である。
【0010】
図12の(1)は、狭波長帯域における特性として、緑(G)色の波長のI−Zカーブを示している。この図では最大輝度を示す輝度値のピークを明瞭に判別することができる。これに対し、通常の光学系において照明光の波長帯域に制限を設けない場合は、主として対物レンズ6で発生する色収差の影響によって、得られるI−Zカーブが緩やかなピークをもつ特性になってしまう。図12の(2)は、レンズの色収差によって赤(R)、緑(G)、青(B)の各波長で最大輝度を示す位置が異なっている状況と、その結果、それらを合成した白色光のI−Zカーブではピークが緩やかなものとなっている状況を示している。
【0011】
このため、光源あるいは撮像手段において波長フィルタを挿入するなどして、狭波長帯域を使用することにより、急峻なI−Zカーブを得る手法がとられている。そうした場合、構築された三次元画像はより精度の良いものとなるが、色情報が再現できないため、試料表面の疵や付着物といった、色により識別することができる欠陥などが識別しづらくなるといった問題が生じ、試料の外観検査には使用できない。
【0012】
また、ある選択の波長帯域により撮像した場合は、試料によっては使用している波長帯域での反射率が低く、信号レベルが低下し、S/N比が悪化する結果、逆に精度の良い三次元画像が構築できなくなる可能性もある。
【0013】
本発明は、係る事情に鑑みてなされたものであって、通常の照明を用いた場合であっても、急峻なI−Zカーブが得られるとともに、S/N比の悪化を防止して精度の良い三次元画像を得ることができ、さらに試料表面の色情報を再現することもできる走査型共焦点顕微鏡及びその画像構築方法を提供することを目的とする。
【0014】
【課題を解決するための手段】
上記課題を解消するため、本発明は、試料上の焦点面を光軸方向に変化させつつ前記試料の観察像を得て、前記試料の三次元画像或いは焦点深度の深い画像を構築する走査型共焦点顕微鏡であって、前記試料からの光を光電変換して光の波長帯域の異なる複数の輝度信号を出力する撮像手段と、前記撮像手段から出力される光の波長帯域の異なる複数の輝度信号から最適な波長帯域の輝度信号を選択する選択手段と、該選択部によって選択された前記最適な波長帯域の輝度信号を利用して前記試料の三次元画像或いは焦点深度の深い画像を構築する画像構築手段とを備えた走査型共焦点顕微鏡である。
また本発明は、試料上の焦点面を光軸方向に変化させつつ前記試料の観察像を得て、前記試料の三次元画像或いは焦点深度の深い画像を構築する走査型共焦点顕微鏡であって、所定のパターンを有するマスクパターン部材と、照明光を放射する照明手段と、該照明手段から放射された照明光を前記マスクパターン部材を介して前記試料上に結像する対物レンズと、前記試料からの反射光を光電変換して光の波長帯域の異なる複数の輝度信号を出力する撮像手段と、該撮像手段によって光電変換されて出力される、光の波長帯域の異なる複数の輝度信号から、最適な波長帯域の輝度信号を選択する選択手段と、該選択手段によって選択された前記最適な波長帯域の輝度信号を利用して前記試料の三次元画像或いは焦点深度の深い画像を構築する画像構築手段とを備えた走査型共焦点顕微鏡である。
【0015】
また本発明は、上記記載の発明である走査型共焦点顕微鏡において、画像構築手段は、撮像手段の撮像素子の画素毎に最適な波長帯域の輝度信号の最大輝度とその最大輝度を与える前記光軸方向の位置であるZ方向位置とを求めそれを利用して三次元画像或いは焦点深度の深い画像を構築する走査型共焦点顕微鏡である。
【0016】
また本発明は、上記記載の発明である走査型共焦点顕微鏡において、選択手段は、画素毎に最適な波長帯域の輝度信号を選択し、画像構築手段は、それぞれの波長帯域間の色収差情報に基づいて光軸方向の位置であるZ方向位置を補正する走査型共焦点顕微鏡である。
【0017】
また本発明は、上記記載の発明である走査型共焦点顕微鏡において、撮像手段がカラー撮像素子を備えた走査型共焦点顕微鏡である。
【0018】
また本発明は、上記記載の発明である走査型共焦点顕微鏡において、更に、複数の色フィルタを備え、複数の色フィルタを切り替えることによって複数の輝度信号を得る走査型共焦点顕微鏡である。
また、上記走査型共焦点顕微鏡のマスクパターン部材は、ピンホールディスク又はスリットディスクである。
また、上記走査型共焦点顕微鏡のマスクパターン部材は、所定のパターンが変化することで光の透過と遮断とが制御できる部材である。
【0019】
また本発明は、試料上の焦点面を光軸方向に変化させつつ試料の観察像を得て、試料の三次元画像或いは焦点深度の深い画像を構築する走査型共焦点顕微鏡の画像構築方法であって、試料からの光が光電変換されて出力される、光の波長帯域の異なる複数の輝度信号から、最適な波長帯域の輝度信号を選択し、この選択した最適な波長帯域の輝度信号を利用して前記試料の三次元画像或いは焦点深度の深い画像を構築する走査型共焦点顕微鏡の画像構築方法である。
また、本発明は、試料上の焦点面を光軸方向に変化させつつ前記試料の観察像を得て、前記試料の三次元画像或いは焦点深度の深い画像を構築する走査型共焦点顕微鏡の画像構築方法であって、マスクパターン部材の所定のパターンを介して照明手段から放射された照明光が前記対物レンズを通して前記試料上に結像され、前記試料からの反射光が撮像部に入射され、該撮像部によって光電変換されて出力される、光の波長帯域の異なる複数の輝度信号から、最適な波長帯域の輝度信号を選択し、該選択した前記最適な波長帯域の輝度信号を利用して前記試料の三次元画像或いは焦点深度の深い画像を構築する走査型共焦点顕微鏡の画像構築方法である。
ここで、「光の波長帯域」とはその光を構成する波長の内主たる成分を構成する波長の帯域のことを言っており、「光の波長帯域が異なる」とは、その光の最大輝度を与える波長帯域が重複してなく、相互の光の波長帯域に一部重複する部分が存していても、その重複している割合が小さいことを言う。
【0020】
【発明の実施の形態】
図1は、本発明の第1の実施の形態に係る走査型共焦点顕微鏡の構成を示す図である。
【0021】
本図では図11と同一機能を有する部分については同一符号を付し、その詳細な説明は省略する。
【0022】
光源1から放射された照明光は、コリメータレンズ2、ハーフミラー3を通して複数のピンホールが形成された回転ディスク4を照射する。この回転ディスク4は、モータ5の回転軸5aに取り付けられて所定の回転速度で回転しており、この回転ディスク4に形成された複数のピンホールを通過した照明光が、対物レンズ6によって試料7上に結像される。
【0023】
試料7からの反射光は、再び対物レンズ6、回転ディスク4のピンホールを通過してハーフミラー3を透過し、集光レンズ8によってカラー撮像部19に結像される。コンピュータ20は、カラー撮像部19に備えられたカラー撮像素子から出力された輝度信号(R、G、B信号)を取り込み画像処理を施し、画像あるいは演算結果をモニタ11に表示する。
【0024】
Z駆動部12は、コンピュータ20からの指令により、光学系の一部あるいは全体と試料とを光軸方向に相対的に移動させ試料の合焦点位置を変化させる。本実施の形態では、対物レンズ6のみを移動させるように構成している。
【0025】
また、コンピュータ20には波長選択部21からの信号が入力されており、カラー撮像部19のカラー撮像素子から読み込まれたRGB輝度信号の内、三次元画像構築の際に使用する波長帯域を選択できるように構成されている。尚、本実施形態では波長選択部21をコンピュータ20と分離して構成しているが、これに限定されずコンピュータ20上で動作するソフトウェアとして構成しても良い。
【0026】
図2は、本発明の走査型共焦点顕微鏡によって試料の三次元画像を構築する方法を説明する図である。
【0027】
図2の(1)は、試料7の平面図と断面図を示す図であり、平面図中に示す斜線部が凸部である三次元(立体)構造となっている。この図中の2点(ア、イ)間の高さΔZを求める場合を例にとって説明する。
【0028】
図2の(2)は、カラー撮像素子の2点(ア、イ)に対応したそれぞれの画素でのカラー輝度信号R、G、B信号のI−Zカーブを示したものである。このR、G、B信号の内いずれかを選択してそのピーク位置のZ方向の差(ΔZ)を求めれば正確なΔZを求めることができる。
【0029】
ここで図に示す例の場合、R信号が大きくG、B信号が小さくなっている。これは試料7の表面の色による影響で、試料7の表面が赤っぽい場合にはこのようにG、B信号が小さくなってしまう。従って、この試料7に対してG信号を用いてΔZを求める場合は、R信号を用いる場合と比べてS/N比が低くΔZの精度が悪化する。この現象は、R、G、B信号を用いる場合のみでなく、例えば光源に色フィルタを挿入して照明を狭帯域に絞って使用する場合についても同様に発生するものである。
【0030】
そこで、本実施の形態では、波長選択部21がR、G、B信号のいずれかを選択し、コンピュータ20は選択された信号を用いて三次元画像を構築するように構成している。
【0031】
図3は、波長選択部21の概略の動作手順を示すフロー図である。
【0032】
波長選択部21は、カラー撮像部19のカラー撮像素子の所定の画素又は所定の領域内の画素についてR、G、B信号毎にI−Zカーブを作成する(S1)。そして、これらのI−Zカーブのピーク輝度をR、G、B信号毎に求め(S2)、最大のピーク輝度を与えるR、G、B信号を選択する(S3)。そして選択した信号をコンピュータ20に指示する(S4)。
【0033】
ここで、ピーク輝度に基づいて信号を選択したがこの例に限定されず、ピーク輝度、S/N比、半値全巾などの尖頭度指数に基づいた所定のアルゴリズムから信号を選択しても良く、また操作者が試料7の色を判断して信号を選択し波長選択部21に指定入力するように構成しても良い。
【0034】
図4は、コンピュータ20の概略の動作手順を示すフロー図である。
【0035】
コンピュータ20は、波長選択部21によって選択された信号を用いて各画素毎に最大輝度を与えるZ方向位置を求め(S11)、この位置情報に基づいて三次元画像を構築する(S12)。そして更にこの情報に基づいて、指定された2点(ア、イ)間の距離を算出する(S13)。
【0036】
図2の(3)は、選択された最良のS/N比を与えるR信号に基づいてΔZを算出した状態を示している。
【0037】
次に、コンピュータ20は、カラー画像の作成を開始する。先ず、各画素毎に、R、G、B信号のピーク輝度である最大輝度を求める(S14)。そして、選択された信号(本形態ではR信号)の最大輝度を与えるZ方向位置において、他の信号(G、B信号)も最大輝度を持つようにデータを構成し(S15)、このR、G、B信号の最大輝度を用いてカラー情報を作成して三次元画像に反映する(S16)。
【0038】
以上説明したように、本実施の形態による走査型共焦点顕微鏡によれば、試料7に対応して適切な波長帯域を選択可能に構成しているため、S/N比の良い信号を用いて精度良く三次元画像を構築することができ、更にその三次元画像をカラーで表示することができる。この結果、試料7の三次元計測と欠陥検出のような外観検査を同時に実施することができる。
【0039】
尚、本実施の形態では、コンピュータ20の処理によって三次元画像にカラー情報を反映したが、光学系において非共焦点観察光路への切換が可能な構成として、非共焦点画像を反映するなどして実際の色に近い色を再現するように構成することが可能である。
【0040】
例えば、選択された波長帯域の輝度信号を用いた三次元画像構築動作と並行してあるいはその動作とは別のタイミングにおいて、回転ディスク4を介さない状態でのカラー画像(非共焦点画像)をZ方向位置に対応つけて収集して、それらの画像情報を組み合わせることで、三次元画像にカラー画像を反映するように構成することもできる。
【0041】
また、本実施の形態においては、カラー撮像部19のカラー撮像素子はRGB信号を出力するものを例に記載したが、この例に限定されず、カラー撮像素子の出力信号からRGB信号が抽出できるものであれば本発明を適用することは可能である。従って、YUV出力やNTSC出力のカラー撮像素子を用い、それらの出力を用いてRGB信号を抽出して使用するように構成しても良い。
【0042】
図5は、本発明の第2の実施の形態に係る走査型共焦点顕微鏡の構成を示す図である。本図においては、図1、図11と同一機能の部分には同一符号を付してその詳細な説明は省略する。
【0043】
本実施の形態の走査型共焦点顕微鏡は、撮像部9にモノクロの撮像素子を使用し、光源1の後段の光路に色フィルタユニット24を挿入した構成である。そして、この色フィルタユニット24はモータ23の回転軸23aに取り付けられコンピュータ20の指令によって回転するように構成されている。
【0044】
図6は、色フィルタユニット24の構成を示す図である。
【0045】
色フィルタユニット24は赤、緑、青の波長帯域の3つのフィルタが設けられており、所定位置に回転されることによって光路内に何れかのフィルタが挿入されるように構成されている。
【0046】
図7は、コンピュータ20の概略の動作手順を示すフロー図である。
【0047】
コンピュータ20は色フィルタユニット24を回転して、色フィルタを切り替える(S21)。そして、選択された狭波長帯域の照明の下で試料7の輝度信号を撮像部9の撮像素子から読み出して記憶する(S22)。この処理を、所定の色フィルタについて繰り返してその輝度信号を撮像部9の撮像素子から読み出し、全ての所定色フィルタの輝度信号について処理が完了した場合は(S23)、Z駆動部12を動作させて対物レンズ6を所定距離移動させ(S24)、そしてこの処理を対物レンズ6が所定範囲の移動を完了するまで繰り返す(S25)。
【0048】
以上の処理によって、必要な輝度信号がコンピュータに読み込まれたため、前述と同様の処理(S1〜S16)によって三次元画像を構築することができる(S26)。
【0049】
本実施の形態では、色フィルタを用いて照明光の波長帯域を選択しているため、第1の実施の形態と比べて各種波長帯域を自由に選択することができる。従って、選択できる波長帯域も3つに限るものではなく、例えばI−Zカーブを急峻にするために狭波長帯域のフィルタを多く用意して、R、G、Bの波長帯域よりも細かく波長帯域を選択するようにし、精度を高めるように構成することもできる。そして、細かく多数の波長帯を選択する場合は色フィルタユニット24にはその波長帯の数だけ色フィルタを配置する。
【0050】
以上説明したように、本第2の実施の形態による走査型共焦点顕微鏡によれば、第1の実施の形態と同様に試料7に応じた波長帯域を選択可能としているためS/N比の良い信号を用いて精度良く三次元画像を構築することが可能になると共に、第1の実施の形態と比べると処理時間は要するが三次元画像に試料7の色を反映することができ、この結果、試料7の三次元計測と欠陥検出のような外観検査を同時に行うことができる。
【0051】
特に本実施の形態においては、波長帯域の幅や数を自由に設定して選択することができるために、より試料に適した波長帯域を用いて測定することができ更に測定精度を高めることが可能となる。
【0052】
図8は、第3の実施の形態に係る走査型共焦点顕微鏡を示す図である。本図においては、図1、図5、図11と同一機能の部分には同一符号を付してその詳細な説明は省略する。
【0053】
本実施の形態では、撮像手段にカラー撮像部19を使用し、コンピュータ30はカラー撮像部19に備えられたカラー撮像素子からのカラー輝度信号(R、G、B信号)を入力するように構成され、また、コンピュータ30には波長選択部31と色収差記憶部32とが組み込まれている。
【0054】
波長選択部31は、コンピュータ30に取り込まれたカラー輝度信号より、各画素毎あるいは指定された領域毎にR信号、G信号、B信号を比較して、最大輝度値を有する信号を選択することで、各画素毎に、試料7の対応する個所毎に最適な波長帯域を選択する。
【0055】
色収差記憶部32には色収差を補正するため、それぞれの波長帯域間の色収差情報である位置補正値が格納されており、波長選択部31はこの位置補正値を用いて色収差による位置ずれを補正する機能を更に備えている。
【0056】
尚、本実施の形態では、波長選択部31はコンピュータ30内で動作するソフトウェアで実現し、色収差記憶部32はコンピュータ30内のメモリで実現しているが、これらの機能はハードウエアによって構成することも可能である。
【0057】
図9は、本第3の実施の形態により試料の三次元画像を構築する方法を説明する図である。
【0058】
図9の(1)は、試料7の平面図と断面図を示す図であり、平面図中に示す斜線部が凸部である三次元(立体)構造となっている。この図中の2点(ア、ウ)間の高さΔZを求める場合を例にとって説明する。
【0059】
図9の(2)は、カラー撮像素子の2点(ア、ウ)に対応したそれぞれの画素でのカラー輝度信号R、G、B信号のI−Zカーブを示したものである。このR、G、B信号の内いずれかを選択してそのピーク位置のZ方向の差(ΔZ)を求めれば正確なΔZを求めることができる。
【0060】
ここで図に示す例の場合、点アの場所では、R信号が大きくG、B信号が小さくなっている。これは試料7の表面の色による影響で、試料7の表面が赤っぽい場合にはこのようにG、B信号が小さくなってしまう。これに対して、点ウの場所では、G信号が大きくR、B信号が小さくなっている。試料7の表面が緑っぽい場合にはこのようにR、B信号が小さくなってしまう。
【0061】
従って、この試料7に対して使用する波長帯域を予め緑と選択して、画面全体に対して同じ緑の波長帯域を適用したのでは、点ウに対しては最適な選択となっているが、点アに対してはS/N比の悪い信号を用いて輝度値のピーク位置を求めることとなり精度の低下を生じる結果となる。
【0062】
そこで、本実施の形態では、波長選択部31が各画素毎にR、G、B信号のいずれかを選択するように構成している。
【0063】
図10は、波長選択部31の概略の動作手順を示すフロー図である。
【0064】
波長選択部31は、カラー撮像素子の各画素毎に、各R、G、B信号毎の最大輝度を求め三次元画像構築に使用する信号を選択する(S31)。そして、選択した信号の最大輝度を与えるZ方向位置を求める(S32)。
【0065】
このようにして、画面内の全ての場所においてS/N比が最も良い信号を使用して輝度値のピークを求めることができる。しかしながら、前述したように、通常の光学系においては色収差が発生するため、異なる波長帯域のピーク間のZ方向距離を求めた場合は誤差を生じることとなる。
【0066】
図9の(3)は、色収差の影響を説明する図である。
【0067】
本図では、R信号とG信号を用いて距離を算出しているため、その値はΔZ1となり、真の値であるΔZと比べるとZRGだけ色収差の影響を受けた誤差を生じている。
【0068】
このため波長選択部31は、色収差記憶部32からそれぞれの波長帯域間の色収差情報である位置補正値を抽出する(S33)。この位置補正値は、R信号とB信号のZ方向位置を、それぞれG信号のZ位置を基準として補正する。従って選択された信号がR信号の場合は、位置補正値であるZRGをZ方向位置に加算し、選択された信号がB信号の場合は、位置補正値であるZGBをZ方向位置から減算することでG信号のZ位置に換算することができる。
【0069】
尚、位置補正値は使用する対物レンズ6に対応する固有の値をもつが、本実施例ではこの値は各々1種類のみでなく、画素毎にその値を定めて記憶しても良く、また所定の領域毎にその値を定めて記憶しても良い。
【0070】
こうして、選択された各信号から求められたZ方向位置を位置補正値で補正した(S34)後、そのZ方向位置を用いて前述の三次元画像構築処理を実行する(S35)。
【0071】
以上のように、本発明の実施の形態によれば、画素毎あるいは指定された領域毎に使用する波長帯域を選択できる構成としたので、常にS/N比の良い信号を採用することが可能となり、正確な三次元画像が構築でき、精度良く三次元計測を行うことが可能となる。また、第1の実施の形態と同様に、試料の色を再現できるので欠陥検出のような外観検査を同時に実施することができる。
【0072】
尚、本実施の形態においては、撮像手段にカラー撮像素子を用い、使用する波長帯域は輝度信号のR信号、G信号、B信号により決まる3つの波長帯域を使用する構成としたが、それに限らず、例えば第2の実施の形態の場合と同様に、複数の色フィルタを光路内に配置して、配置する色フィルタによって決まる波長帯域を使用するように構成しても良く、その場合は波長毎に画像を取り込まなければならないので処理時間を要するが、より高精度に三次元形状を計測することが可能となる。
【0073】
尚、本実施の形態においては、例えば螺旋状にピンホールを配した回転ディスク4を用いて構成したが、スリットを配した回転ディスクであっても良い。また、本発明は回転を要件とするものではなく、所定のパターンが変化することで光の透過と遮断が制御できるようなマスクパターン部材をもちいて構成することもできる。このようなものとしては、例えば回転ディスク4の代わりに液晶を用いて構成する場合などが該当する。
【0074】
【発明の効果】
以上説明したように本発明の走査型共焦点顕微鏡及びその画像構築方法によれば、精度の良い三次元画像を得ることができ、さらに試料表面の色情報を再現することもできる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る走査型共焦点顕微鏡の構成を示す図。
【図2】本発明の走査型共焦点顕微鏡によって試料の三次元画像を構築する方法を説明する図。
【図3】波長選択部の概略の動作手順を示すフロー図。
【図4】コンピュータの概略の動作手順を示すフロー図。
【図5】本発明の第2の実施の形態に係る走査型共焦点顕微鏡の構成を示す図。
【図6】色フィルタユニットの構成を示す図。
【図7】コンピュータの概略の動作手順を示すフロー図。
【図8】第3の実施の形態に係る走査型共焦点顕微鏡を示す図。
【図9】第3の実施の形態により試料の三次元画像を構築する方法を説明する図。
【図10】波長選択部の概略の動作手順を示すフロー図。
【図11】従来のディスク走査型共焦点顕微鏡の構成を示す図。
【図12】I−Zカーブを示す図。
【符号の説明】
1…光源
2…回転ディスク4
6…対物レンズ
7…試料
9…撮像部
10…コンピュータ
11…モニタ
12…Z駆動部
20…コンピュータ
21…波長選択部
24…色フィルタユニット
30…コンピュータ
31…波長選択部
32…色収差記憶部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a scanning confocal microscope using a confocal effect.And its image construction methodAbout.
[0002]
[Prior art]
In general, two types of scanning confocal microscopes, a disk scanning type and a laser scanning type, are well known. Of these, the disk scanning confocal microscope not only has a higher lateral resolution than a normal microscope, but also has a very high sectioning effect in the direction of the optical axis of the sample (hereinafter referred to as the “Z direction”). It has characteristics. By using this feature and combining with an image processing apparatus, it is possible to construct a sample as a three-dimensional image.
[0003]
FIG. 11 is a diagram showing a configuration of a conventional disk scanning confocal microscope.
[0004]
The illumination light emitted from the
[0005]
The reflected light from the
[0006]
The
[0007]
In the disk scanning confocal microscope configured as described above, the amount of light incident on the
[0008]
[Problems to be solved by the invention]
In order for the image obtained in this way to be clear with high accuracy, a curve indicating the relationship between the luminance value and the position in the Z direction (hereinafter referred to as “I-Z curve”) has a steep characteristic. Needed.
[0009]
FIG. 12 is a diagram illustrating an IZ curve.
[0010]
(1) in FIG. 12 shows an IZ curve of a green (G) wavelength as a characteristic in a narrow wavelength band. In this figure, the peak of the luminance value indicating the maximum luminance can be clearly discriminated. On the other hand, when the wavelength band of illumination light is not limited in a normal optical system, the obtained IZ curve has a characteristic having a gentle peak mainly due to the influence of chromatic aberration generated in the
[0011]
For this reason, a technique has been adopted in which a steep IZ curve is obtained by using a narrow wavelength band by inserting a wavelength filter in a light source or imaging means. In such a case, the constructed three-dimensional image is more accurate, but the color information cannot be reproduced, so it is difficult to identify defects that can be identified by color, such as wrinkles and deposits on the sample surface. Problems arise and cannot be used for visual inspection of samples.
[0012]
In addition, when imaging is performed in a selected wavelength band, depending on the sample, the reflectance in the used wavelength band is low, the signal level is lowered, and the S / N ratio is deteriorated. There is a possibility that the original image cannot be constructed.
[0013]
The present invention has been made in view of such circumstances, and even when ordinary illumination is used, a steep I-Z curve can be obtained and the S / N ratio can be prevented from deteriorating with accuracy. Scanning confocal microscope that can obtain a good 3D image and can reproduce color information on the sample surfaceAnd its image construction methodThe purpose is to provide.
[0014]
[Means for Solving the Problems]
In order to solve the above problems, the present invention provides:A scanning confocal microscope that obtains an observation image of the sample while changing a focal plane on the sample in an optical axis direction, and constructs a three-dimensional image of the sample or an image with a deep focal depth. An imaging unit that photoelectrically converts light and outputs a plurality of luminance signals having different wavelength bands of light, and output from the imaging unitA selection means for selecting a luminance signal having an optimum wavelength band from a plurality of luminance signals having different wavelength bands of light;Selected by the selectorUsing a luminance signal in the optimum wavelength bandOf the sampleIt is a scanning confocal microscope provided with an image construction means for constructing a three-dimensional image or an image with a deep focal depth.
The present invention also provides a scanning confocal microscope that obtains an observation image of the sample while changing a focal plane on the sample in the optical axis direction, and constructs a three-dimensional image of the sample or an image with a deep focal depth. A mask pattern member having a predetermined pattern, illumination means for emitting illumination light, an objective lens for imaging the illumination light emitted from the illumination means on the sample via the mask pattern member, and the sample Imaging means for photoelectrically converting reflected light from the light and outputting a plurality of luminance signals having different light wavelength bands; and a plurality of luminance signals having different light wavelength bands that are photoelectrically converted and output by the imaging means, A selection unit that selects a luminance signal in an optimal wavelength band, and a three-dimensional image of the sample or an image with a deep focal depth are constructed using the luminance signal in the optimal wavelength band selected by the selection unit. It is a scanning confocal microscope equipped with an image construction unit.
[0015]
According to the present invention, in the scanning confocal microscope according to the above-described invention, the image construction unit includes the maximum luminance of the luminance signal in the optimum wavelength band for each pixel of the imaging element of the imaging unit and the light that provides the maximum luminance. This is a scanning confocal microscope that obtains a Z-direction position, which is an axial position, and uses this to construct a three-dimensional image or an image with a deep focal depth.
[0016]
According to the present invention, in the scanning confocal microscope according to the above-described invention, the selection unit selects a luminance signal in an optimum wavelength band for each pixel, and the image construction unit displays chromatic aberration information between the respective wavelength bands. This is a scanning confocal microscope that corrects the position in the Z direction, which is the position in the optical axis direction, based on it.
[0017]
Further, the present invention is the scanning confocal microscope according to the above-described scanning confocal microscope, wherein the imaging means includes a color imaging element.
[0018]
Further, the present invention provides a scanning confocal microscope which is the invention described above,Furthermore,With multiple color filters,pluralColor filterBy switchingIt is a scanning confocal microscope that obtains a plurality of luminance signals.
The mask pattern member of the scanning confocal microscope is a pinhole disk or a slit disk.
Further, the mask pattern member of the scanning confocal microscope is a member that can control transmission and blocking of light by changing a predetermined pattern.
[0019]
The present invention also provides an image construction method for a scanning confocal microscope that obtains an observation image of a sample while changing the focal plane on the sample in the optical axis direction, and constructs a three-dimensional image of the sample or an image with a deep focal depth. The light from the sample is photoelectrically converted and output, and the brightness signal in the optimum wavelength band is selected from the plurality of brightness signals in different wavelength bands of light, and the brightness signal in the selected optimum wavelength band is selected. It is an image construction method of a scanning confocal microscope that constructs a three-dimensional image of the sample or an image with a deep focal depth by using the sample.
The present invention also provides an image of a scanning confocal microscope that obtains an observation image of the sample while changing the focal plane on the sample in the optical axis direction, and constructs a three-dimensional image of the sample or an image with a deep focal depth. In the construction method, the illumination light emitted from the illumination unit through the predetermined pattern of the mask pattern member is imaged on the sample through the objective lens, and the reflected light from the sample is incident on the imaging unit, A luminance signal in the optimum wavelength band is selected from a plurality of luminance signals that are photoelectrically converted by the imaging unit and output in different wavelength bands of light, and the selected luminance signal in the optimum wavelength band is used. It is an image construction method of a scanning confocal microscope that constructs a three-dimensional image of the sample or an image having a deep focal depth.
Here, the “wavelength band of light” refers to the wavelength band that constitutes the main component of the wavelengths that make up the light, and “the wavelength band of light is different” means that the maximum luminance of the light This means that even if there is a portion that overlaps in the wavelength band of the mutual light, the overlapping ratio is small.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a diagram showing a configuration of a scanning confocal microscope according to the first embodiment of the present invention.
[0021]
In this figure, portions having the same functions as those in FIG. 11 are denoted by the same reference numerals, and detailed description thereof is omitted.
[0022]
The illumination light emitted from the
[0023]
The reflected light from the
[0024]
In response to a command from the
[0025]
The
[0026]
FIG. 2 is a diagram for explaining a method for constructing a three-dimensional image of a sample by the scanning confocal microscope of the present invention.
[0027]
(1) in FIG. 2 is a diagram showing a plan view and a cross-sectional view of the
[0028]
(2) in FIG. 2 shows the IZ curves of the color luminance signals R, G, and B at the respective pixels corresponding to the two points (a, i) of the color image sensor. If any one of the R, G, and B signals is selected and the difference (ΔZ) in the Z direction between the peak positions is obtained, the accurate ΔZ can be obtained.
[0029]
In the example shown in the figure, the R signal is large and the G and B signals are small. This is due to the influence of the color of the surface of the
[0030]
Therefore, in the present embodiment, the
[0031]
FIG. 3 is a flowchart showing a schematic operation procedure of the
[0032]
The
[0033]
Here, the signal is selected based on the peak luminance. However, the present invention is not limited to this example, and the signal may be selected from a predetermined algorithm based on the peak degree index such as the peak luminance, the S / N ratio, and the full width at half maximum. Alternatively, the operator may determine the color of the
[0034]
FIG. 4 is a flowchart showing a schematic operation procedure of the
[0035]
The
[0036]
(3) of FIG. 2 shows a state in which ΔZ is calculated based on the R signal that gives the selected best S / N ratio.
[0037]
Next, the
[0038]
As described above, according to the scanning confocal microscope according to the present embodiment, since an appropriate wavelength band can be selected corresponding to the
[0039]
In the present embodiment, the color information is reflected in the three-dimensional image by the processing of the
[0040]
For example, a color image (non-confocal image) in a state where the
[0041]
Further, in the present embodiment, the color image pickup device of the color
[0042]
FIG. 5 is a diagram showing a configuration of a scanning confocal microscope according to the second embodiment of the present invention. In this figure, parts having the same functions as those in FIGS. 1 and 11 are denoted by the same reference numerals, and detailed description thereof is omitted.
[0043]
The scanning confocal microscope of the present embodiment has a configuration in which a monochrome imaging device is used for the
[0044]
FIG. 6 is a diagram illustrating the configuration of the
[0045]
The
[0046]
FIG. 7 is a flowchart showing a schematic operation procedure of the
[0047]
The
[0048]
Since the necessary luminance signal is read into the computer by the above processing, a three-dimensional image can be constructed by the same processing (S1 to S16) as described above (S26).
[0049]
In the present embodiment, since the wavelength band of the illumination light is selected using the color filter, various wavelength bands can be freely selected as compared with the first embodiment. Therefore, the number of wavelength bands that can be selected is not limited to three. For example, in order to make the IZ curve steep, many narrow wavelength band filters are prepared, and the wavelength bands are finer than the R, G, and B wavelength bands. It is also possible to configure so as to increase the accuracy. When a large number of wavelength bands are selected, color filters are arranged in the
[0050]
As described above, according to the scanning confocal microscope according to the second embodiment, since the wavelength band corresponding to the
[0051]
In particular, in the present embodiment, the width and number of wavelength bands can be freely set and selected, so that measurement can be performed using a wavelength band more suitable for the sample, and the measurement accuracy can be further improved. It becomes possible.
[0052]
FIG. 8 is a diagram showing a scanning confocal microscope according to the third embodiment. In this figure, parts having the same functions as those in FIG. 1, FIG. 5, and FIG.
[0053]
In the present embodiment, the
[0054]
The
[0055]
In order to correct the chromatic aberration, the chromatic
[0056]
In the present embodiment, the
[0057]
FIG. 9 is a diagram for explaining a method for constructing a three-dimensional image of a sample according to the third embodiment.
[0058]
(1) in FIG. 9 is a diagram showing a plan view and a cross-sectional view of the
[0059]
(2) of FIG. 9 shows the IZ curves of the color luminance signals R, G, and B at the respective pixels corresponding to the two points (a, c) of the color image sensor. If any one of the R, G, and B signals is selected and the difference (ΔZ) in the Z direction between the peak positions is obtained, the accurate ΔZ can be obtained.
[0060]
In the example shown in the figure, the R signal is large and the G and B signals are small at the point a. This is due to the influence of the color of the surface of the
[0061]
Therefore, if the wavelength band to be used for this
[0062]
Therefore, in this embodiment, the
[0063]
FIG. 10 is a flowchart showing a schematic operation procedure of the
[0064]
The
[0065]
In this way, the peak of the luminance value can be obtained using a signal having the best S / N ratio at all locations in the screen. However, as described above, since chromatic aberration occurs in a normal optical system, an error occurs when the Z direction distance between peaks in different wavelength bands is obtained.
[0066]
(3) of FIG. 9 is a figure explaining the influence of chromatic aberration.
[0067]
In this figure, since the distance is calculated using the R signal and the G signal, the value is ΔZ1, which is Z compared with ΔZ which is a true value.RGOnly errors that are affected by chromatic aberration are produced.
[0068]
Therefore, the
[0069]
The position correction value has a specific value corresponding to the
[0070]
Thus, after correcting the position in the Z direction obtained from each selected signal with the position correction value (S34), the above-described 3D image construction processing is executed using the position in the Z direction (S35).
[0071]
As described above, according to the embodiment of the present invention, since the wavelength band to be used can be selected for each pixel or for each designated region, a signal having a good S / N ratio can always be adopted. Thus, an accurate three-dimensional image can be constructed, and three-dimensional measurement can be performed with high accuracy. Further, as in the first embodiment, since the color of the sample can be reproduced, an appearance inspection such as defect detection can be performed at the same time.
[0072]
In this embodiment, a color imaging device is used as the imaging means, and the wavelength band to be used is configured to use three wavelength bands determined by the R signal, G signal, and B signal of the luminance signal. For example, as in the case of the second embodiment, a plurality of color filters may be arranged in the optical path so as to use a wavelength band determined by the arranged color filters. Since an image has to be captured every time, processing time is required, but a three-dimensional shape can be measured with higher accuracy.
[0073]
In the present embodiment, for example, the
[0074]
【The invention's effect】
As described above, the scanning confocal microscope of the present inventionAnd its image construction methodTherefore, it is possible to obtain a highly accurate three-dimensional image and to reproduce color information on the sample surface.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a scanning confocal microscope according to a first embodiment of the present invention.
FIG. 2 is a view for explaining a method for constructing a three-dimensional image of a sample by the scanning confocal microscope of the present invention.
FIG. 3 is a flowchart showing a schematic operation procedure of a wavelength selection unit.
FIG. 4 is a flowchart showing a schematic operation procedure of the computer.
FIG. 5 is a diagram showing a configuration of a scanning confocal microscope according to a second embodiment of the present invention.
FIG. 6 is a diagram illustrating a configuration of a color filter unit.
FIG. 7 is a flowchart showing a general operation procedure of the computer.
FIG. 8 shows a scanning confocal microscope according to a third embodiment.
FIG. 9 is a view for explaining a method of constructing a three-dimensional image of a sample according to the third embodiment.
FIG. 10 is a flowchart showing a schematic operation procedure of a wavelength selection unit.
FIG. 11 is a diagram showing a configuration of a conventional disk scanning confocal microscope.
FIG. 12 is a diagram showing an IZ curve.
[Explanation of symbols]
1 ... Light source
2 ...
6 ... Objective lens
7 ... Sample
9 ... Imaging unit
10 ... Computer
11 ... Monitor
12 ... Z drive unit
20 ... Computer
21 ... Wavelength selector
24 ... Color filter unit
30 ... Computer
31 ... Wavelength selector
32. Chromatic aberration storage unit
Claims (10)
前記試料からの光を光電変換して光の波長帯域の異なる複数の輝度信号を出力する撮像手段と、 Imaging means for photoelectrically converting light from the sample and outputting a plurality of luminance signals having different wavelength bands of light;
前記撮像手段から出力される光の波長帯域の異なる複数の輝度信号から、最適な波長帯域の輝度信号を選択する選択手段と、 A selection unit that selects a luminance signal having an optimum wavelength band from a plurality of luminance signals having different wavelength bands of light output from the imaging unit;
該選択部によって選択された前記最適な波長帯域の輝度信号を利用して前記試料の三次元画像或いは焦点深度の深い画像を構築する画像構築手段と、を具備することを特徴とする走査型共焦点顕微鏡。 An image construction means for constructing a three-dimensional image of the sample or an image with a deep focal depth using the luminance signal of the optimum wavelength band selected by the selection section. Focus microscope.
所定のパターンを有するマスクパターン部材と、 A mask pattern member having a predetermined pattern;
照明光を放射する照明手段と、 Illumination means for emitting illumination light;
該照明手段から放射された照明光を前記マスクパターン部材を介して前記試料上に結像する対物レンズと、 An objective lens for imaging the illumination light emitted from the illumination means on the sample through the mask pattern member;
前記試料からの反射光を光電変換して光の波長帯域の異なる複数の輝度信号を出力する撮像手段と、 Imaging means for photoelectrically converting reflected light from the sample and outputting a plurality of luminance signals having different wavelength bands of light;
該撮像手段によって光電変換されて出力される、光の波長帯域の異なる複数の輝度信号から、最適な波長帯域の輝度信号を選択する選択手段と、 Selection means for selecting a luminance signal in an optimum wavelength band from a plurality of luminance signals having different wavelength bands of light, which are photoelectrically converted by the imaging means and output;
該選択手段によって選択された前記最適な波長帯域の輝度信号を利用して前記試料の三次元画像或いは焦点深度の深い画像を構築する画像構築手段と、を具備することを特徴とする走査型共焦点顕微鏡。 And an image construction means for constructing a three-dimensional image of the sample or an image with a deep focal depth using the luminance signal of the optimum wavelength band selected by the selection means. Focus microscope.
前記画像構築手段は、前記複数の輝度信号のそれぞれの波長帯域間の色収差情報に基づいて前記光軸方向の位置であるZ方向位置を補正することを特徴とする請求項1又は2記載の走査型共焦点顕微鏡。 3. The scanning according to claim 1, wherein the image construction unit corrects a position in the Z direction which is a position in the optical axis direction based on chromatic aberration information between wavelength bands of the plurality of luminance signals. Type confocal microscope.
前記試料からの光が光電変換されて出力される、光の波長帯域の異なる複数の輝度信号から、最適な波長帯域の輝度信号を選択し、該選択した前記最適な波長帯域の輝度信号を利用して前記試料の三次元画像或いは焦点深度の深い画像を構築する、ことを特徴とする走査型共焦点顕微鏡の画像構築方法。 The light from the sample is photoelectrically converted and output from a plurality of luminance signals having different wavelength bands of light, and the luminance signal of the optimal wavelength band is selected, and the selected luminance signal of the optimal wavelength band is used. Then, an image construction method for a scanning confocal microscope, characterized in that a three-dimensional image of the sample or an image having a deep focal depth is constructed.
マスクパターン部材の所定のパターンを介して照明手段から放射された照明光が前記対物レンズを通して前記試料上に結像され、前記試料からの反射光が撮像部に入射され、該撮像部によって光電変換されて出力される、光の波長帯域の異なる複数の輝度信号から、最適な波長帯域の輝度信号を選択し、該選択した前記最適な波長帯域の輝度信号を利用して前記試料の三次元画像或いは焦点深度の深い画像を構築することを特徴とする走査型共焦点顕微鏡の画像構築方法。 Illumination light emitted from the illumination means through a predetermined pattern of the mask pattern member is imaged on the sample through the objective lens, and reflected light from the sample is incident on the imaging unit, and photoelectric conversion is performed by the imaging unit. A luminance signal having an optimum wavelength band is selected from a plurality of luminance signals having different wavelength bands of light, and the three-dimensional image of the sample is selected using the selected luminance signal having the optimum wavelength band. Alternatively, an image construction method for a scanning confocal microscope, comprising constructing an image having a deep focal depth.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001338216A JP4050039B2 (en) | 2001-11-02 | 2001-11-02 | Scanning confocal microscope and its image construction method |
PCT/JP2002/011204 WO2003038503A1 (en) | 2001-11-02 | 2002-10-29 | Scanning con-focal microscope |
TW091132300A TWI257008B (en) | 2001-11-02 | 2002-10-31 | Scanning con-focal microscope |
US10/833,234 US7630538B2 (en) | 2001-11-02 | 2004-04-27 | Confocal scanning microscope |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001338216A JP4050039B2 (en) | 2001-11-02 | 2001-11-02 | Scanning confocal microscope and its image construction method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003140050A JP2003140050A (en) | 2003-05-14 |
JP2003140050A5 JP2003140050A5 (en) | 2005-07-07 |
JP4050039B2 true JP4050039B2 (en) | 2008-02-20 |
Family
ID=19152746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001338216A Expired - Fee Related JP4050039B2 (en) | 2001-11-02 | 2001-11-02 | Scanning confocal microscope and its image construction method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4050039B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4885439B2 (en) * | 2003-11-21 | 2012-02-29 | オリンパス株式会社 | Color image acquisition method and confocal laser microscope |
JP4883751B2 (en) * | 2005-06-17 | 2012-02-22 | レーザーテック株式会社 | 3D shape measuring apparatus and 3D shape measuring method |
JP2007225789A (en) * | 2006-02-22 | 2007-09-06 | Olympus Corp | Measuring microscope |
JP2008032951A (en) * | 2006-07-28 | 2008-02-14 | Nikon Corp | Optical device |
KR102242559B1 (en) | 2014-12-01 | 2021-04-20 | 삼성전자주식회사 | optical inspecting apparatus |
WO2016121685A1 (en) | 2015-01-28 | 2016-08-04 | 株式会社東京精密 | Laser dicing device |
WO2021070259A1 (en) * | 2019-10-08 | 2021-04-15 | 株式会社日立ハイテク | Analysis device and analysis method |
-
2001
- 2001-11-02 JP JP2001338216A patent/JP4050039B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003140050A (en) | 2003-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8330087B2 (en) | Spectral imaging system with dynamic optical correction | |
JP4883751B2 (en) | 3D shape measuring apparatus and 3D shape measuring method | |
JP5118948B2 (en) | Magnification observation apparatus, magnification image observation method, magnification image observation program | |
US6337474B1 (en) | Scanning microscope | |
JP4996304B2 (en) | Scanning microscope and its adjustment method | |
JP4936841B2 (en) | Confocal microscope, confocal microscope operation method, confocal microscope operation program, computer-readable recording medium, and recorded apparatus | |
JP4050039B2 (en) | Scanning confocal microscope and its image construction method | |
JP2007139884A (en) | Confocal scanning microscope | |
JP4725967B2 (en) | Minute height measuring device and displacement meter unit | |
JP4214363B2 (en) | Image pickup apparatus having optical system with image magnification correction function | |
US7589330B2 (en) | Ultraviolet microscope apparatus | |
JP4180322B2 (en) | Confocal microscope system and computer program for parameter setting | |
JP4576112B2 (en) | Confocal laser microscope | |
JP5019279B2 (en) | Confocal microscope and method for generating focused color image | |
JP4185711B2 (en) | Microscope with multiple light sources | |
CN114460020B (en) | Hyperspectral scanning system and method based on digital micro-reflector | |
JP4185712B2 (en) | Color microscope | |
JP2004170572A (en) | Confocal microscopic system having image connecting function, light quantity eccentricity correcting method and computer program | |
JP2003140050A5 (en) | Scanning confocal microscope and its image construction method | |
JP3091255B2 (en) | Multi focus camera | |
JP4044914B2 (en) | Scanning microscope | |
JP2004029373A (en) | Color microscope | |
CN116113864A (en) | Surgical microscope with at least two camera devices | |
JP4536845B2 (en) | Confocal microscope | |
Awamura et al. | Color laser microscope |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041102 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071128 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4050039 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131207 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |