JP4050039B2 - Scanning confocal microscope and its image construction method - Google Patents

Scanning confocal microscope and its image construction method Download PDF

Info

Publication number
JP4050039B2
JP4050039B2 JP2001338216A JP2001338216A JP4050039B2 JP 4050039 B2 JP4050039 B2 JP 4050039B2 JP 2001338216 A JP2001338216 A JP 2001338216A JP 2001338216 A JP2001338216 A JP 2001338216A JP 4050039 B2 JP4050039 B2 JP 4050039B2
Authority
JP
Japan
Prior art keywords
sample
image
confocal microscope
scanning confocal
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001338216A
Other languages
Japanese (ja)
Other versions
JP2003140050A (en
JP2003140050A5 (en
Inventor
泰央 西山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2001338216A priority Critical patent/JP4050039B2/en
Priority to PCT/JP2002/011204 priority patent/WO2003038503A1/en
Priority to TW091132300A priority patent/TWI257008B/en
Publication of JP2003140050A publication Critical patent/JP2003140050A/en
Priority to US10/833,234 priority patent/US7630538B2/en
Publication of JP2003140050A5 publication Critical patent/JP2003140050A5/en
Application granted granted Critical
Publication of JP4050039B2 publication Critical patent/JP4050039B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、共焦点効果を利用した走査型共焦点顕微鏡及びその画像構築方法に関する。
【0002】
【従来の技術】
一般に、走査型共焦点顕微鏡はディスク走査型とレーザ走査型の2つがよく知られている。このうちディスク走査型共焦点顕微鏡は、通常の顕微鏡と比較して横方向分解能が高いだけでなく、試料の光軸方向(以下、「Z方向」という)に非常に高いセクショニング効果を持つという大きな特徴を有している。そして、この特徴を用いて画像処理装置と組み合わせることによって、試料を三次元の画像として構築することが可能となっている。
【0003】
図11は、従来のディスク走査型共焦点顕微鏡の構成を示す図である。
【0004】
光源1から放射された照明光は、コリメータレンズ2を通してハーフミラー3に入射し、ここで反射された光は回転ディスク4を照明する。この回転ディスク4には螺旋状に複数のピンホールが設けられたニポウディスクと呼ばれるもの、またはスリットパターンが形成されたものなどが用いられている。ここではニポウディスクを用いているものとし、この回転ディスク4は、モータ5の回転軸5aに取り付けられて所定の回転速度で回転する。このため、回転ディスク4に照射された照明光は、この回転ディスク4に形成された複数のピンホールを通過し、対物レンズ6によって試料7上に結像される。
【0005】
試料7からの反射光は、再び対物レンズ6、回転ディスク4のピンホールを通過してハーフミラー3を透過し、集光レンズ8によって撮像部9に結像される。撮像部9は試料7からの反射光を撮像してその輝度信号をコンピュータ10に対して出力する。
【0006】
コンピュータ10は、撮像部9から出力された輝度信号を取り込み記憶し画像処理を行って所望の画像データを得てモニタ11に表示すると共に、Z駆動部12に対して駆動信号を出力して、光学系の一部あるいは全体と試料とを光軸方向に相対的に移動させ試料の合焦点位置を変化させる。ここでは、対物レンズ6のみを移動させるように構成しているが、例えば試料7を積載したステージを光軸方向に移動させるように構成しても良い。そして、Z方向の位置情報である合焦点位置も前述の画像データと対応付けられてコンピュータ10に記録される。
【0007】
このように構成されたディスク走査型共焦点顕微鏡では、対物レンズ6が移動することによって撮像部9に入射する光量は変化し、試料の表面に焦点が合ったときにその入射光量(輝度)は最大となる。撮像部9に備えられた撮像素子の各画素は試料7の各位置からの光量に対応した輝度信号を出力するため、各画素毎に最大輝度を示すZ方向位置を求めることによって試料7の三次元形状を得ることができ、また各画素の最大輝度値のみで画像を構築することで、試料7の全表面に焦点が合った焦点深度の深い画像を構築することもできる。
【0008】
【発明が解決しようとする課題】
このようにして得られる画像が精度の良い明瞭なものとなるためには、輝度値とZ方向位置の関係を示す曲線(以下、「I−Zカーブ」という)が急峻な特性をもつことが必要とされる。
【0009】
図12は、I−Zカーブを示す図である。
【0010】
図12の(1)は、狭波長帯域における特性として、緑(G)色の波長のI−Zカーブを示している。この図では最大輝度を示す輝度値のピークを明瞭に判別することができる。これに対し、通常の光学系において照明光の波長帯域に制限を設けない場合は、主として対物レンズ6で発生する色収差の影響によって、得られるI−Zカーブが緩やかなピークをもつ特性になってしまう。図12の(2)は、レンズの色収差によって赤(R)、緑(G)、青(B)の各波長で最大輝度を示す位置が異なっている状況と、その結果、それらを合成した白色光のI−Zカーブではピークが緩やかなものとなっている状況を示している。
【0011】
このため、光源あるいは撮像手段において波長フィルタを挿入するなどして、狭波長帯域を使用することにより、急峻なI−Zカーブを得る手法がとられている。そうした場合、構築された三次元画像はより精度の良いものとなるが、色情報が再現できないため、試料表面の疵や付着物といった、色により識別することができる欠陥などが識別しづらくなるといった問題が生じ、試料の外観検査には使用できない。
【0012】
また、ある選択の波長帯域により撮像した場合は、試料によっては使用している波長帯域での反射率が低く、信号レベルが低下し、S/N比が悪化する結果、逆に精度の良い三次元画像が構築できなくなる可能性もある。
【0013】
本発明は、係る事情に鑑みてなされたものであって、通常の照明を用いた場合であっても、急峻なI−Zカーブが得られるとともに、S/N比の悪化を防止して精度の良い三次元画像を得ることができ、さらに試料表面の色情報を再現することもできる走査型共焦点顕微鏡及びその画像構築方法を提供することを目的とする。
【0014】
【課題を解決するための手段】
上記課題を解消するため、本発明は、試料上の焦点面を光軸方向に変化させつつ前記試料の観察像を得て、前記試料の三次元画像或いは焦点深度の深い画像を構築する走査型共焦点顕微鏡であって、前記試料からの光を光電変換して光の波長帯域の異なる複数の輝度信号を出力する撮像手段と、前記撮像手段から出力される光の波長帯域の異なる複数の輝度信号から最適な波長帯域の輝度信号を選択する選択手段と、該選択部によって選択された前記最適な波長帯域の輝度信号を利用して前記試料の三次元画像或いは焦点深度の深い画像を構築する画像構築手段とを備えた走査型共焦点顕微鏡である。
また本発明は、試料上の焦点面を光軸方向に変化させつつ前記試料の観察像を得て、前記試料の三次元画像或いは焦点深度の深い画像を構築する走査型共焦点顕微鏡であって、所定のパターンを有するマスクパターン部材と、照明光を放射する照明手段と、該照明手段から放射された照明光を前記マスクパターン部材を介して前記試料上に結像する対物レンズと、前記試料からの反射光を光電変換して光の波長帯域の異なる複数の輝度信号を出力する撮像手段と、該撮像手段によって光電変換されて出力される、光の波長帯域の異なる複数の輝度信号から、最適な波長帯域の輝度信号を選択する選択手段と、該選択手段によって選択された前記最適な波長帯域の輝度信号を利用して前記試料の三次元画像或いは焦点深度の深い画像を構築する画像構築手段とを備えた走査型共焦点顕微鏡である。
【0015】
また本発明は、上記記載の発明である走査型共焦点顕微鏡において、画像構築手段は、撮像手段の撮像素子の画素毎に最適な波長帯域の輝度信号の最大輝度とその最大輝度を与える前記光軸方向の位置であるZ方向位置とを求めそれを利用して三次元画像或いは焦点深度の深い画像を構築する走査型共焦点顕微鏡である。
【0016】
また本発明は、上記記載の発明である走査型共焦点顕微鏡において、選択手段は、画素毎に最適な波長帯域の輝度信号を選択し、画像構築手段は、それぞれの波長帯域間の色収差情報に基づいて光軸方向の位置であるZ方向位置を補正する走査型共焦点顕微鏡である。
【0017】
また本発明は、上記記載の発明である走査型共焦点顕微鏡において、撮像手段がカラー撮像素子を備えた走査型共焦点顕微鏡である。
【0018】
また本発明は、上記記載の発明である走査型共焦点顕微鏡において、更に、複数の色フィルタを備え、複数の色フィルタを切り替えることによって複数の輝度信号を得る走査型共焦点顕微鏡である。
また、上記走査型共焦点顕微鏡のマスクパターン部材は、ピンホールディスク又はスリットディスクである。
また、上記走査型共焦点顕微鏡のマスクパターン部材は、所定のパターンが変化することで光の透過と遮断とが制御できる部材である。
【0019】
また本発明は、試料上の焦点面を光軸方向に変化させつつ試料の観察像を得て、試料の三次元画像或いは焦点深度の深い画像を構築する走査型共焦点顕微鏡の画像構築方法であって、試料からの光が光電変換されて出力される、光の波長帯域の異なる複数の輝度信号から、最適な波長帯域の輝度信号を選択し、この選択した最適な波長帯域の輝度信号を利用して前記試料の三次元画像或いは焦点深度の深い画像を構築する走査型共焦点顕微鏡の画像構築方法である。
また、本発明は、試料上の焦点面を光軸方向に変化させつつ前記試料の観察像を得て、前記試料の三次元画像或いは焦点深度の深い画像を構築する走査型共焦点顕微鏡の画像構築方法であって、マスクパターン部材の所定のパターンを介して照明手段から放射された照明光が前記対物レンズを通して前記試料上に結像され、前記試料からの反射光が撮像部に入射され、該撮像部によって光電変換されて出力される、光の波長帯域の異なる複数の輝度信号から、最適な波長帯域の輝度信号を選択し、該選択した前記最適な波長帯域の輝度信号を利用して前記試料の三次元画像或いは焦点深度の深い画像を構築する走査型共焦点顕微鏡の画像構築方法である。
ここで、「光の波長帯域」とはその光を構成する波長の内主たる成分を構成する波長の帯域のことを言っており、「光の波長帯域が異なる」とは、その光の最大輝度を与える波長帯域が重複してなく、相互の光の波長帯域に一部重複する部分が存していても、その重複している割合が小さいことを言う。
【0020】
【発明の実施の形態】
図1は、本発明の第1の実施の形態に係る走査型共焦点顕微鏡の構成を示す図である。
【0021】
本図では図11と同一機能を有する部分については同一符号を付し、その詳細な説明は省略する。
【0022】
光源1から放射された照明光は、コリメータレンズ2、ハーフミラー3を通して複数のピンホールが形成された回転ディスク4を照射する。この回転ディスク4は、モータ5の回転軸5aに取り付けられて所定の回転速度で回転しており、この回転ディスク4に形成された複数のピンホールを通過した照明光が、対物レンズ6によって試料7上に結像される。
【0023】
試料7からの反射光は、再び対物レンズ6、回転ディスク4のピンホールを通過してハーフミラー3を透過し、集光レンズ8によってカラー撮像部19に結像される。コンピュータ20は、カラー撮像部19に備えられたカラー撮像素子から出力された輝度信号(R、G、B信号)を取り込み画像処理を施し、画像あるいは演算結果をモニタ11に表示する。
【0024】
Z駆動部12は、コンピュータ20からの指令により、光学系の一部あるいは全体と試料とを光軸方向に相対的に移動させ試料の合焦点位置を変化させる。本実施の形態では、対物レンズ6のみを移動させるように構成している。
【0025】
また、コンピュータ20には波長選択部21からの信号が入力されており、カラー撮像部19のカラー撮像素子から読み込まれたRGB輝度信号の内、三次元画像構築の際に使用する波長帯域を選択できるように構成されている。尚、本実施形態では波長選択部21をコンピュータ20と分離して構成しているが、これに限定されずコンピュータ20上で動作するソフトウェアとして構成しても良い。
【0026】
図2は、本発明の走査型共焦点顕微鏡によって試料の三次元画像を構築する方法を説明する図である。
【0027】
図2の(1)は、試料7の平面図と断面図を示す図であり、平面図中に示す斜線部が凸部である三次元(立体)構造となっている。この図中の2点(ア、イ)間の高さΔZを求める場合を例にとって説明する。
【0028】
図2の(2)は、カラー撮像素子の2点(ア、イ)に対応したそれぞれの画素でのカラー輝度信号R、G、B信号のI−Zカーブを示したものである。このR、G、B信号の内いずれかを選択してそのピーク位置のZ方向の差(ΔZ)を求めれば正確なΔZを求めることができる。
【0029】
ここで図に示す例の場合、R信号が大きくG、B信号が小さくなっている。これは試料7の表面の色による影響で、試料7の表面が赤っぽい場合にはこのようにG、B信号が小さくなってしまう。従って、この試料7に対してG信号を用いてΔZを求める場合は、R信号を用いる場合と比べてS/N比が低くΔZの精度が悪化する。この現象は、R、G、B信号を用いる場合のみでなく、例えば光源に色フィルタを挿入して照明を狭帯域に絞って使用する場合についても同様に発生するものである。
【0030】
そこで、本実施の形態では、波長選択部21がR、G、B信号のいずれかを選択し、コンピュータ20は選択された信号を用いて三次元画像を構築するように構成している。
【0031】
図3は、波長選択部21の概略の動作手順を示すフロー図である。
【0032】
波長選択部21は、カラー撮像部19のカラー撮像素子の所定の画素又は所定の領域内の画素についてR、G、B信号毎にI−Zカーブを作成する(S1)。そして、これらのI−Zカーブのピーク輝度をR、G、B信号毎に求め(S2)、最大のピーク輝度を与えるR、G、B信号を選択する(S3)。そして選択した信号をコンピュータ20に指示する(S4)。
【0033】
ここで、ピーク輝度に基づいて信号を選択したがこの例に限定されず、ピーク輝度、S/N比、半値全巾などの尖頭度指数に基づいた所定のアルゴリズムから信号を選択しても良く、また操作者が試料7の色を判断して信号を選択し波長選択部21に指定入力するように構成しても良い。
【0034】
図4は、コンピュータ20の概略の動作手順を示すフロー図である。
【0035】
コンピュータ20は、波長選択部21によって選択された信号を用いて各画素毎に最大輝度を与えるZ方向位置を求め(S11)、この位置情報に基づいて三次元画像を構築する(S12)。そして更にこの情報に基づいて、指定された2点(ア、イ)間の距離を算出する(S13)。
【0036】
図2の(3)は、選択された最良のS/N比を与えるR信号に基づいてΔZを算出した状態を示している。
【0037】
次に、コンピュータ20は、カラー画像の作成を開始する。先ず、各画素毎に、R、G、B信号のピーク輝度である最大輝度を求める(S14)。そして、選択された信号(本形態ではR信号)の最大輝度を与えるZ方向位置において、他の信号(G、B信号)も最大輝度を持つようにデータを構成し(S15)、このR、G、B信号の最大輝度を用いてカラー情報を作成して三次元画像に反映する(S16)。
【0038】
以上説明したように、本実施の形態による走査型共焦点顕微鏡によれば、試料7に対応して適切な波長帯域を選択可能に構成しているため、S/N比の良い信号を用いて精度良く三次元画像を構築することができ、更にその三次元画像をカラーで表示することができる。この結果、試料7の三次元計測と欠陥検出のような外観検査を同時に実施することができる。
【0039】
尚、本実施の形態では、コンピュータ20の処理によって三次元画像にカラー情報を反映したが、光学系において非共焦点観察光路への切換が可能な構成として、非共焦点画像を反映するなどして実際の色に近い色を再現するように構成することが可能である。
【0040】
例えば、選択された波長帯域の輝度信号を用いた三次元画像構築動作と並行してあるいはその動作とは別のタイミングにおいて、回転ディスク4を介さない状態でのカラー画像(非共焦点画像)をZ方向位置に対応つけて収集して、それらの画像情報を組み合わせることで、三次元画像にカラー画像を反映するように構成することもできる。
【0041】
また、本実施の形態においては、カラー撮像部19のカラー撮像素子はRGB信号を出力するものを例に記載したが、この例に限定されず、カラー撮像素子の出力信号からRGB信号が抽出できるものであれば本発明を適用することは可能である。従って、YUV出力やNTSC出力のカラー撮像素子を用い、それらの出力を用いてRGB信号を抽出して使用するように構成しても良い。
【0042】
図5は、本発明の第2の実施の形態に係る走査型共焦点顕微鏡の構成を示す図である。本図においては、図1、図11と同一機能の部分には同一符号を付してその詳細な説明は省略する。
【0043】
本実施の形態の走査型共焦点顕微鏡は、撮像部9にモノクロの撮像素子を使用し、光源1の後段の光路に色フィルタユニット24を挿入した構成である。そして、この色フィルタユニット24はモータ23の回転軸23aに取り付けられコンピュータ20の指令によって回転するように構成されている。
【0044】
図6は、色フィルタユニット24の構成を示す図である。
【0045】
色フィルタユニット24は赤、緑、青の波長帯域の3つのフィルタが設けられており、所定位置に回転されることによって光路内に何れかのフィルタが挿入されるように構成されている。
【0046】
図7は、コンピュータ20の概略の動作手順を示すフロー図である。
【0047】
コンピュータ20は色フィルタユニット24を回転して、色フィルタを切り替える(S21)。そして、選択された狭波長帯域の照明の下で試料7の輝度信号を撮像部9の撮像素子から読み出して記憶する(S22)。この処理を、所定の色フィルタについて繰り返してその輝度信号を撮像部9の撮像素子から読み出し、全ての所定色フィルタの輝度信号について処理が完了した場合は(S23)、Z駆動部12を動作させて対物レンズ6を所定距離移動させ(S24)、そしてこの処理を対物レンズ6が所定範囲の移動を完了するまで繰り返す(S25)。
【0048】
以上の処理によって、必要な輝度信号がコンピュータに読み込まれたため、前述と同様の処理(S1〜S16)によって三次元画像を構築することができる(S26)。
【0049】
本実施の形態では、色フィルタを用いて照明光の波長帯域を選択しているため、第1の実施の形態と比べて各種波長帯域を自由に選択することができる。従って、選択できる波長帯域も3つに限るものではなく、例えばI−Zカーブを急峻にするために狭波長帯域のフィルタを多く用意して、R、G、Bの波長帯域よりも細かく波長帯域を選択するようにし、精度を高めるように構成することもできる。そして、細かく多数の波長帯を選択する場合は色フィルタユニット24にはその波長帯の数だけ色フィルタを配置する。
【0050】
以上説明したように、本第2の実施の形態による走査型共焦点顕微鏡によれば、第1の実施の形態と同様に試料7に応じた波長帯域を選択可能としているためS/N比の良い信号を用いて精度良く三次元画像を構築することが可能になると共に、第1の実施の形態と比べると処理時間は要するが三次元画像に試料7の色を反映することができ、この結果、試料7の三次元計測と欠陥検出のような外観検査を同時に行うことができる。
【0051】
特に本実施の形態においては、波長帯域の幅や数を自由に設定して選択することができるために、より試料に適した波長帯域を用いて測定することができ更に測定精度を高めることが可能となる。
【0052】
図8は、第3の実施の形態に係る走査型共焦点顕微鏡を示す図である。本図においては、図1、図5、図11と同一機能の部分には同一符号を付してその詳細な説明は省略する。
【0053】
本実施の形態では、撮像手段にカラー撮像部19を使用し、コンピュータ30はカラー撮像部19に備えられたカラー撮像素子からのカラー輝度信号(R、G、B信号)を入力するように構成され、また、コンピュータ30には波長選択部31と色収差記憶部32とが組み込まれている。
【0054】
波長選択部31は、コンピュータ30に取り込まれたカラー輝度信号より、各画素毎あるいは指定された領域毎にR信号、G信号、B信号を比較して、最大輝度値を有する信号を選択することで、各画素毎に、試料7の対応する個所毎に最適な波長帯域を選択する。
【0055】
色収差記憶部32には色収差を補正するため、それぞれの波長帯域間の色収差情報である位置補正値が格納されており、波長選択部31はこの位置補正値を用いて色収差による位置ずれを補正する機能を更に備えている。
【0056】
尚、本実施の形態では、波長選択部31はコンピュータ30内で動作するソフトウェアで実現し、色収差記憶部32はコンピュータ30内のメモリで実現しているが、これらの機能はハードウエアによって構成することも可能である。
【0057】
図9は、本第3の実施の形態により試料の三次元画像を構築する方法を説明する図である。
【0058】
図9の(1)は、試料7の平面図と断面図を示す図であり、平面図中に示す斜線部が凸部である三次元(立体)構造となっている。この図中の2点(ア、ウ)間の高さΔZを求める場合を例にとって説明する。
【0059】
図9の(2)は、カラー撮像素子の2点(ア、ウ)に対応したそれぞれの画素でのカラー輝度信号R、G、B信号のI−Zカーブを示したものである。このR、G、B信号の内いずれかを選択してそのピーク位置のZ方向の差(ΔZ)を求めれば正確なΔZを求めることができる。
【0060】
ここで図に示す例の場合、点アの場所では、R信号が大きくG、B信号が小さくなっている。これは試料7の表面の色による影響で、試料7の表面が赤っぽい場合にはこのようにG、B信号が小さくなってしまう。これに対して、点ウの場所では、G信号が大きくR、B信号が小さくなっている。試料7の表面が緑っぽい場合にはこのようにR、B信号が小さくなってしまう。
【0061】
従って、この試料7に対して使用する波長帯域を予め緑と選択して、画面全体に対して同じ緑の波長帯域を適用したのでは、点ウに対しては最適な選択となっているが、点アに対してはS/N比の悪い信号を用いて輝度値のピーク位置を求めることとなり精度の低下を生じる結果となる。
【0062】
そこで、本実施の形態では、波長選択部31が各画素毎にR、G、B信号のいずれかを選択するように構成している。
【0063】
図10は、波長選択部31の概略の動作手順を示すフロー図である。
【0064】
波長選択部31は、カラー撮像素子の各画素毎に、各R、G、B信号毎の最大輝度を求め三次元画像構築に使用する信号を選択する(S31)。そして、選択した信号の最大輝度を与えるZ方向位置を求める(S32)。
【0065】
このようにして、画面内の全ての場所においてS/N比が最も良い信号を使用して輝度値のピークを求めることができる。しかしながら、前述したように、通常の光学系においては色収差が発生するため、異なる波長帯域のピーク間のZ方向距離を求めた場合は誤差を生じることとなる。
【0066】
図9の(3)は、色収差の影響を説明する図である。
【0067】
本図では、R信号とG信号を用いて距離を算出しているため、その値はΔZ1となり、真の値であるΔZと比べるとZRGだけ色収差の影響を受けた誤差を生じている。
【0068】
このため波長選択部31は、色収差記憶部32からそれぞれの波長帯域間の色収差情報である位置補正値を抽出する(S33)。この位置補正値は、R信号とB信号のZ方向位置を、それぞれG信号のZ位置を基準として補正する。従って選択された信号がR信号の場合は、位置補正値であるZRGをZ方向位置に加算し、選択された信号がB信号の場合は、位置補正値であるZGBをZ方向位置から減算することでG信号のZ位置に換算することができる。
【0069】
尚、位置補正値は使用する対物レンズ6に対応する固有の値をもつが、本実施例ではこの値は各々1種類のみでなく、画素毎にその値を定めて記憶しても良く、また所定の領域毎にその値を定めて記憶しても良い。
【0070】
こうして、選択された各信号から求められたZ方向位置を位置補正値で補正した(S34)後、そのZ方向位置を用いて前述の三次元画像構築処理を実行する(S35)。
【0071】
以上のように、本発明の実施の形態によれば、画素毎あるいは指定された領域毎に使用する波長帯域を選択できる構成としたので、常にS/N比の良い信号を採用することが可能となり、正確な三次元画像が構築でき、精度良く三次元計測を行うことが可能となる。また、第1の実施の形態と同様に、試料の色を再現できるので欠陥検出のような外観検査を同時に実施することができる。
【0072】
尚、本実施の形態においては、撮像手段にカラー撮像素子を用い、使用する波長帯域は輝度信号のR信号、G信号、B信号により決まる3つの波長帯域を使用する構成としたが、それに限らず、例えば第2の実施の形態の場合と同様に、複数の色フィルタを光路内に配置して、配置する色フィルタによって決まる波長帯域を使用するように構成しても良く、その場合は波長毎に画像を取り込まなければならないので処理時間を要するが、より高精度に三次元形状を計測することが可能となる。
【0073】
尚、本実施の形態においては、例えば螺旋状にピンホールを配した回転ディスク4を用いて構成したが、スリットを配した回転ディスクであっても良い。また、本発明は回転を要件とするものではなく、所定のパターンが変化することで光の透過と遮断が制御できるようなマスクパターン部材をもちいて構成することもできる。このようなものとしては、例えば回転ディスク4の代わりに液晶を用いて構成する場合などが該当する。
【0074】
【発明の効果】
以上説明したように本発明の走査型共焦点顕微鏡及びその画像構築方法によれば、精度の良い三次元画像を得ることができ、さらに試料表面の色情報を再現することもできる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る走査型共焦点顕微鏡の構成を示す図。
【図2】本発明の走査型共焦点顕微鏡によって試料の三次元画像を構築する方法を説明する図。
【図3】波長選択部の概略の動作手順を示すフロー図。
【図4】コンピュータの概略の動作手順を示すフロー図。
【図5】本発明の第2の実施の形態に係る走査型共焦点顕微鏡の構成を示す図。
【図6】色フィルタユニットの構成を示す図。
【図7】コンピュータの概略の動作手順を示すフロー図。
【図8】第3の実施の形態に係る走査型共焦点顕微鏡を示す図。
【図9】第3の実施の形態により試料の三次元画像を構築する方法を説明する図。
【図10】波長選択部の概略の動作手順を示すフロー図。
【図11】従来のディスク走査型共焦点顕微鏡の構成を示す図。
【図12】I−Zカーブを示す図。
【符号の説明】
1…光源
2…回転ディスク4
6…対物レンズ
7…試料
9…撮像部
10…コンピュータ
11…モニタ
12…Z駆動部
20…コンピュータ
21…波長選択部
24…色フィルタユニット
30…コンピュータ
31…波長選択部
32…色収差記憶部
[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to a scanning confocal microscope using a confocal effect.And its image construction methodAbout.
[0002]
[Prior art]
In general, two types of scanning confocal microscopes, a disk scanning type and a laser scanning type, are well known. Of these, the disk scanning confocal microscope not only has a higher lateral resolution than a normal microscope, but also has a very high sectioning effect in the direction of the optical axis of the sample (hereinafter referred to as the “Z direction”). It has characteristics. By using this feature and combining with an image processing apparatus, it is possible to construct a sample as a three-dimensional image.
[0003]
FIG. 11 is a diagram showing a configuration of a conventional disk scanning confocal microscope.
[0004]
The illumination light emitted from the light source 1 enters the half mirror 3 through the collimator lens 2, and the light reflected here illuminates the rotating disk 4. As the rotating disk 4, a so-called nippo disk in which a plurality of pinholes are spirally provided, or a slit pattern is used. Here, it is assumed that a Nipkow disk is used, and the rotating disk 4 is attached to the rotating shaft 5a of the motor 5 and rotates at a predetermined rotation speed. For this reason, the illumination light irradiated on the rotating disk 4 passes through a plurality of pinholes formed on the rotating disk 4 and is imaged on the sample 7 by the objective lens 6.
[0005]
The reflected light from the sample 7 passes through the objective lens 6 and the pinhole of the rotating disk 4 again, passes through the half mirror 3, and forms an image on the imaging unit 9 by the condenser lens 8. The imaging unit 9 images the reflected light from the sample 7 and outputs the luminance signal to the computer 10.
[0006]
The computer 10 captures and stores the luminance signal output from the imaging unit 9, performs image processing, obtains desired image data, displays it on the monitor 11, and outputs a drive signal to the Z drive unit 12. A part or the whole of the optical system and the sample are relatively moved in the optical axis direction to change the focal position of the sample. Although only the objective lens 6 is moved here, for example, a stage on which the sample 7 is loaded may be moved in the optical axis direction. The in-focus position, which is position information in the Z direction, is also recorded in the computer 10 in association with the image data.
[0007]
In the disk scanning confocal microscope configured as described above, the amount of light incident on the imaging unit 9 changes as the objective lens 6 moves, and the amount of incident light (luminance) when the surface of the sample is focused is Maximum. Since each pixel of the image sensor provided in the imaging unit 9 outputs a luminance signal corresponding to the amount of light from each position of the sample 7, the third order of the sample 7 is obtained by obtaining a Z-direction position indicating the maximum luminance for each pixel. An original shape can be obtained, and by constructing an image only with the maximum luminance value of each pixel, it is possible to construct an image with a deep focal depth that is in focus on the entire surface of the sample 7.
[0008]
[Problems to be solved by the invention]
In order for the image obtained in this way to be clear with high accuracy, a curve indicating the relationship between the luminance value and the position in the Z direction (hereinafter referred to as “I-Z curve”) has a steep characteristic. Needed.
[0009]
FIG. 12 is a diagram illustrating an IZ curve.
[0010]
(1) in FIG. 12 shows an IZ curve of a green (G) wavelength as a characteristic in a narrow wavelength band. In this figure, the peak of the luminance value indicating the maximum luminance can be clearly discriminated. On the other hand, when the wavelength band of illumination light is not limited in a normal optical system, the obtained IZ curve has a characteristic having a gentle peak mainly due to the influence of chromatic aberration generated in the objective lens 6. End up. (2) in FIG. 12 shows a situation in which the position showing the maximum luminance at each wavelength of red (R), green (G), and blue (B) is different depending on the chromatic aberration of the lens, and as a result, white that combines them. The light IZ curve shows a situation where the peak is gentle.
[0011]
For this reason, a technique has been adopted in which a steep IZ curve is obtained by using a narrow wavelength band by inserting a wavelength filter in a light source or imaging means. In such a case, the constructed three-dimensional image is more accurate, but the color information cannot be reproduced, so it is difficult to identify defects that can be identified by color, such as wrinkles and deposits on the sample surface. Problems arise and cannot be used for visual inspection of samples.
[0012]
In addition, when imaging is performed in a selected wavelength band, depending on the sample, the reflectance in the used wavelength band is low, the signal level is lowered, and the S / N ratio is deteriorated. There is a possibility that the original image cannot be constructed.
[0013]
The present invention has been made in view of such circumstances, and even when ordinary illumination is used, a steep I-Z curve can be obtained and the S / N ratio can be prevented from deteriorating with accuracy. Scanning confocal microscope that can obtain a good 3D image and can reproduce color information on the sample surfaceAnd its image construction methodThe purpose is to provide.
[0014]
[Means for Solving the Problems]
In order to solve the above problems, the present invention provides:A scanning confocal microscope that obtains an observation image of the sample while changing a focal plane on the sample in an optical axis direction, and constructs a three-dimensional image of the sample or an image with a deep focal depth. An imaging unit that photoelectrically converts light and outputs a plurality of luminance signals having different wavelength bands of light, and output from the imaging unitA selection means for selecting a luminance signal having an optimum wavelength band from a plurality of luminance signals having different wavelength bands of light;Selected by the selectorUsing a luminance signal in the optimum wavelength bandOf the sampleIt is a scanning confocal microscope provided with an image construction means for constructing a three-dimensional image or an image with a deep focal depth.
  The present invention also provides a scanning confocal microscope that obtains an observation image of the sample while changing a focal plane on the sample in the optical axis direction, and constructs a three-dimensional image of the sample or an image with a deep focal depth. A mask pattern member having a predetermined pattern, illumination means for emitting illumination light, an objective lens for imaging the illumination light emitted from the illumination means on the sample via the mask pattern member, and the sample Imaging means for photoelectrically converting reflected light from the light and outputting a plurality of luminance signals having different light wavelength bands; and a plurality of luminance signals having different light wavelength bands that are photoelectrically converted and output by the imaging means, A selection unit that selects a luminance signal in an optimal wavelength band, and a three-dimensional image of the sample or an image with a deep focal depth are constructed using the luminance signal in the optimal wavelength band selected by the selection unit. It is a scanning confocal microscope equipped with an image construction unit.
[0015]
According to the present invention, in the scanning confocal microscope according to the above-described invention, the image construction unit includes the maximum luminance of the luminance signal in the optimum wavelength band for each pixel of the imaging element of the imaging unit and the light that provides the maximum luminance. This is a scanning confocal microscope that obtains a Z-direction position, which is an axial position, and uses this to construct a three-dimensional image or an image with a deep focal depth.
[0016]
According to the present invention, in the scanning confocal microscope according to the above-described invention, the selection unit selects a luminance signal in an optimum wavelength band for each pixel, and the image construction unit displays chromatic aberration information between the respective wavelength bands. This is a scanning confocal microscope that corrects the position in the Z direction, which is the position in the optical axis direction, based on it.
[0017]
Further, the present invention is the scanning confocal microscope according to the above-described scanning confocal microscope, wherein the imaging means includes a color imaging element.
[0018]
Further, the present invention provides a scanning confocal microscope which is the invention described above,Furthermore,With multiple color filters,pluralColor filterBy switchingIt is a scanning confocal microscope that obtains a plurality of luminance signals.
  The mask pattern member of the scanning confocal microscope is a pinhole disk or a slit disk.
  Further, the mask pattern member of the scanning confocal microscope is a member that can control transmission and blocking of light by changing a predetermined pattern.
[0019]
The present invention also provides an image construction method for a scanning confocal microscope that obtains an observation image of a sample while changing the focal plane on the sample in the optical axis direction, and constructs a three-dimensional image of the sample or an image with a deep focal depth. The light from the sample is photoelectrically converted and output, and the brightness signal in the optimum wavelength band is selected from the plurality of brightness signals in different wavelength bands of light, and the brightness signal in the selected optimum wavelength band is selected. It is an image construction method of a scanning confocal microscope that constructs a three-dimensional image of the sample or an image with a deep focal depth by using the sample.
  The present invention also provides an image of a scanning confocal microscope that obtains an observation image of the sample while changing the focal plane on the sample in the optical axis direction, and constructs a three-dimensional image of the sample or an image with a deep focal depth. In the construction method, the illumination light emitted from the illumination unit through the predetermined pattern of the mask pattern member is imaged on the sample through the objective lens, and the reflected light from the sample is incident on the imaging unit, A luminance signal in the optimum wavelength band is selected from a plurality of luminance signals that are photoelectrically converted by the imaging unit and output in different wavelength bands of light, and the selected luminance signal in the optimum wavelength band is used. It is an image construction method of a scanning confocal microscope that constructs a three-dimensional image of the sample or an image having a deep focal depth.
  Here, the “wavelength band of light” refers to the wavelength band that constitutes the main component of the wavelengths that make up the light, and “the wavelength band of light is different” means that the maximum luminance of the light This means that even if there is a portion that overlaps in the wavelength band of the mutual light, the overlapping ratio is small.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a diagram showing a configuration of a scanning confocal microscope according to the first embodiment of the present invention.
[0021]
In this figure, portions having the same functions as those in FIG. 11 are denoted by the same reference numerals, and detailed description thereof is omitted.
[0022]
The illumination light emitted from the light source 1 irradiates the rotating disk 4 in which a plurality of pinholes are formed through the collimator lens 2 and the half mirror 3. The rotating disk 4 is attached to the rotating shaft 5a of the motor 5 and is rotated at a predetermined rotation speed. Illumination light that has passed through a plurality of pinholes formed in the rotating disk 4 is sampled by the objective lens 6. 7 is imaged.
[0023]
The reflected light from the sample 7 passes through the objective lens 6 and the pinhole of the rotating disk 4 again, passes through the half mirror 3, and forms an image on the color imaging unit 19 by the condenser lens 8. The computer 20 takes in luminance signals (R, G, B signals) output from a color image sensor provided in the color imaging unit 19, performs image processing, and displays an image or a calculation result on the monitor 11.
[0024]
In response to a command from the computer 20, the Z drive unit 12 moves part or all of the optical system and the sample relative to each other in the optical axis direction to change the focal position of the sample. In the present embodiment, only the objective lens 6 is moved.
[0025]
The computer 20 also receives a signal from the wavelength selection unit 21 and selects a wavelength band to be used when constructing a three-dimensional image from among the RGB luminance signals read from the color imaging device of the color imaging unit 19. It is configured to be able to. In the present embodiment, the wavelength selection unit 21 is configured separately from the computer 20, but is not limited thereto, and may be configured as software that operates on the computer 20.
[0026]
FIG. 2 is a diagram for explaining a method for constructing a three-dimensional image of a sample by the scanning confocal microscope of the present invention.
[0027]
(1) in FIG. 2 is a diagram showing a plan view and a cross-sectional view of the sample 7, and has a three-dimensional (three-dimensional) structure in which the hatched portion shown in the plan view is a convex portion. A case where the height ΔZ between two points (A, A) in this figure is obtained will be described as an example.
[0028]
(2) in FIG. 2 shows the IZ curves of the color luminance signals R, G, and B at the respective pixels corresponding to the two points (a, i) of the color image sensor. If any one of the R, G, and B signals is selected and the difference (ΔZ) in the Z direction between the peak positions is obtained, the accurate ΔZ can be obtained.
[0029]
In the example shown in the figure, the R signal is large and the G and B signals are small. This is due to the influence of the color of the surface of the sample 7, and thus the G and B signals become small when the surface of the sample 7 is reddish. Therefore, when ΔZ is obtained for the sample 7 using the G signal, the S / N ratio is lower and the accuracy of ΔZ is worse than when the R signal is used. This phenomenon occurs not only when the R, G, and B signals are used, but also when, for example, a color filter is inserted into the light source and the illumination is narrowed down and used.
[0030]
Therefore, in the present embodiment, the wavelength selection unit 21 selects any one of the R, G, and B signals, and the computer 20 is configured to construct a three-dimensional image using the selected signals.
[0031]
FIG. 3 is a flowchart showing a schematic operation procedure of the wavelength selector 21.
[0032]
The wavelength selection unit 21 creates an I-Z curve for each of the R, G, and B signals for a predetermined pixel of the color imaging device of the color imaging unit 19 or a pixel in a predetermined region (S1). Then, the peak luminance of these I-Z curves is obtained for each of the R, G, and B signals (S2), and the R, G, and B signals that give the maximum peak luminance are selected (S3). Then, the selected signal is instructed to the computer 20 (S4).
[0033]
Here, the signal is selected based on the peak luminance. However, the present invention is not limited to this example, and the signal may be selected from a predetermined algorithm based on the peak degree index such as the peak luminance, the S / N ratio, and the full width at half maximum. Alternatively, the operator may determine the color of the sample 7, select a signal, and specify and input the signal to the wavelength selection unit 21.
[0034]
FIG. 4 is a flowchart showing a schematic operation procedure of the computer 20.
[0035]
The computer 20 uses the signal selected by the wavelength selection unit 21 to obtain a Z-direction position that gives the maximum luminance for each pixel (S11), and constructs a three-dimensional image based on this position information (S12). Further, based on this information, the distance between the designated two points (a, i) is calculated (S13).
[0036]
(3) of FIG. 2 shows a state in which ΔZ is calculated based on the R signal that gives the selected best S / N ratio.
[0037]
Next, the computer 20 starts creating a color image. First, for each pixel, the maximum luminance that is the peak luminance of the R, G, and B signals is obtained (S14). Then, the data is configured so that the other signals (G and B signals) also have the maximum luminance at the position in the Z direction that gives the maximum luminance of the selected signal (R signal in this embodiment) (S15). Color information is created using the maximum luminance of the G and B signals and reflected in the three-dimensional image (S16).
[0038]
As described above, according to the scanning confocal microscope according to the present embodiment, since an appropriate wavelength band can be selected corresponding to the sample 7, a signal having a good S / N ratio is used. A three-dimensional image can be constructed with high accuracy, and the three-dimensional image can be displayed in color. As a result, a three-dimensional measurement of the sample 7 and an appearance inspection such as defect detection can be performed simultaneously.
[0039]
In the present embodiment, the color information is reflected in the three-dimensional image by the processing of the computer 20, but the non-confocal image is reflected as a configuration capable of switching to the non-confocal observation optical path in the optical system. Thus, it can be configured to reproduce a color close to the actual color.
[0040]
For example, a color image (non-confocal image) in a state where the rotating disk 4 is not interposed is used in parallel with or at a timing different from the operation of constructing the three-dimensional image using the luminance signal of the selected wavelength band. A color image can be reflected on the three-dimensional image by collecting the image information in correspondence with the Z-direction position and combining the image information.
[0041]
Further, in the present embodiment, the color image pickup device of the color image pickup unit 19 is described as an example that outputs RGB signals, but is not limited to this example, and RGB signals can be extracted from the output signals of the color image pickup devices. The present invention can be applied as long as it is one. Therefore, a color image sensor of YUV output or NTSC output may be used, and RGB signals may be extracted and used using those outputs.
[0042]
FIG. 5 is a diagram showing a configuration of a scanning confocal microscope according to the second embodiment of the present invention. In this figure, parts having the same functions as those in FIGS. 1 and 11 are denoted by the same reference numerals, and detailed description thereof is omitted.
[0043]
The scanning confocal microscope of the present embodiment has a configuration in which a monochrome imaging device is used for the imaging unit 9 and a color filter unit 24 is inserted in the optical path downstream of the light source 1. The color filter unit 24 is attached to the rotating shaft 23a of the motor 23 and is configured to rotate according to a command from the computer 20.
[0044]
FIG. 6 is a diagram illustrating the configuration of the color filter unit 24.
[0045]
The color filter unit 24 is provided with three filters of red, green, and blue wavelength bands, and is configured such that any one of the filters is inserted into the optical path by being rotated to a predetermined position.
[0046]
FIG. 7 is a flowchart showing a schematic operation procedure of the computer 20.
[0047]
The computer 20 rotates the color filter unit 24 to switch the color filter (S21). Then, the luminance signal of the sample 7 is read out from the imaging device of the imaging unit 9 and stored under illumination of the selected narrow wavelength band (S22). This process is repeated for a predetermined color filter, and the luminance signal is read out from the image sensor of the imaging unit 9, and when the processing is completed for all the luminance signals of the predetermined color filter (S23), the Z driving unit 12 is operated. The objective lens 6 is moved by a predetermined distance (S24), and this process is repeated until the objective lens 6 completes the movement of the predetermined range (S25).
[0048]
Since the necessary luminance signal is read into the computer by the above processing, a three-dimensional image can be constructed by the same processing (S1 to S16) as described above (S26).
[0049]
In the present embodiment, since the wavelength band of the illumination light is selected using the color filter, various wavelength bands can be freely selected as compared with the first embodiment. Therefore, the number of wavelength bands that can be selected is not limited to three. For example, in order to make the IZ curve steep, many narrow wavelength band filters are prepared, and the wavelength bands are finer than the R, G, and B wavelength bands. It is also possible to configure so as to increase the accuracy. When a large number of wavelength bands are selected, color filters are arranged in the color filter unit 24 by the number of the wavelength bands.
[0050]
As described above, according to the scanning confocal microscope according to the second embodiment, since the wavelength band corresponding to the sample 7 can be selected as in the first embodiment, the S / N ratio can be selected. It is possible to construct a three-dimensional image with good accuracy using a good signal, and the processing time is longer than in the first embodiment, but the color of the sample 7 can be reflected in the three-dimensional image. As a result, the appearance inspection such as three-dimensional measurement and defect detection of the sample 7 can be performed simultaneously.
[0051]
In particular, in the present embodiment, the width and number of wavelength bands can be freely set and selected, so that measurement can be performed using a wavelength band more suitable for the sample, and the measurement accuracy can be further improved. It becomes possible.
[0052]
FIG. 8 is a diagram showing a scanning confocal microscope according to the third embodiment. In this figure, parts having the same functions as those in FIG. 1, FIG. 5, and FIG.
[0053]
In the present embodiment, the color imaging unit 19 is used as an imaging unit, and the computer 30 is configured to input color luminance signals (R, G, B signals) from a color imaging device provided in the color imaging unit 19. In addition, the computer 30 includes a wavelength selection unit 31 and a chromatic aberration storage unit 32.
[0054]
The wavelength selection unit 31 selects the signal having the maximum luminance value by comparing the R signal, the G signal, and the B signal for each pixel or for each designated area from the color luminance signal captured by the computer 30. Thus, an optimum wavelength band is selected for each corresponding portion of the sample 7 for each pixel.
[0055]
In order to correct the chromatic aberration, the chromatic aberration storage unit 32 stores a position correction value that is chromatic aberration information between the respective wavelength bands, and the wavelength selection unit 31 corrects a positional shift caused by the chromatic aberration using the position correction value. It also has a function.
[0056]
In the present embodiment, the wavelength selection unit 31 is realized by software operating in the computer 30, and the chromatic aberration storage unit 32 is realized by memory in the computer 30, but these functions are configured by hardware. It is also possible.
[0057]
FIG. 9 is a diagram for explaining a method for constructing a three-dimensional image of a sample according to the third embodiment.
[0058]
(1) in FIG. 9 is a diagram showing a plan view and a cross-sectional view of the sample 7, and has a three-dimensional (three-dimensional) structure in which the hatched portion shown in the plan view is a convex portion. An example of obtaining the height ΔZ between two points (A, C) in this figure will be described.
[0059]
(2) of FIG. 9 shows the IZ curves of the color luminance signals R, G, and B at the respective pixels corresponding to the two points (a, c) of the color image sensor. If any one of the R, G, and B signals is selected and the difference (ΔZ) in the Z direction between the peak positions is obtained, the accurate ΔZ can be obtained.
[0060]
In the example shown in the figure, the R signal is large and the G and B signals are small at the point a. This is due to the influence of the color of the surface of the sample 7, and thus the G and B signals become small when the surface of the sample 7 is reddish. On the other hand, at the point C, the G signal is large and the R and B signals are small. When the surface of the sample 7 is greenish, the R and B signals are thus reduced.
[0061]
Therefore, if the wavelength band to be used for this sample 7 is selected in advance as green and the same green wavelength band is applied to the entire screen, it is an optimal choice for point c. For point A, the peak position of the luminance value is obtained using a signal with a poor S / N ratio, resulting in a decrease in accuracy.
[0062]
Therefore, in this embodiment, the wavelength selection unit 31 is configured to select one of R, G, and B signals for each pixel.
[0063]
FIG. 10 is a flowchart showing a schematic operation procedure of the wavelength selector 31.
[0064]
The wavelength selection unit 31 obtains the maximum luminance for each R, G, and B signal for each pixel of the color image sensor, and selects a signal used for 3D image construction (S31). Then, a Z-direction position that gives the maximum luminance of the selected signal is obtained (S32).
[0065]
In this way, the peak of the luminance value can be obtained using a signal having the best S / N ratio at all locations in the screen. However, as described above, since chromatic aberration occurs in a normal optical system, an error occurs when the Z direction distance between peaks in different wavelength bands is obtained.
[0066]
(3) of FIG. 9 is a figure explaining the influence of chromatic aberration.
[0067]
In this figure, since the distance is calculated using the R signal and the G signal, the value is ΔZ1, which is Z compared with ΔZ which is a true value.RGOnly errors that are affected by chromatic aberration are produced.
[0068]
Therefore, the wavelength selection unit 31 extracts a position correction value that is chromatic aberration information between the respective wavelength bands from the chromatic aberration storage unit 32 (S33). This position correction value corrects the Z direction positions of the R signal and the B signal with reference to the Z position of the G signal. Therefore, if the selected signal is an R signal, the position correction value ZRGIs added to the position in the Z direction, and if the selected signal is a B signal, the position correction value ZGBCan be converted into the Z position of the G signal by subtracting.
[0069]
The position correction value has a specific value corresponding to the objective lens 6 to be used. In this embodiment, this value is not limited to one type, but may be determined and stored for each pixel. The value may be determined and stored for each predetermined area.
[0070]
Thus, after correcting the position in the Z direction obtained from each selected signal with the position correction value (S34), the above-described 3D image construction processing is executed using the position in the Z direction (S35).
[0071]
As described above, according to the embodiment of the present invention, since the wavelength band to be used can be selected for each pixel or for each designated region, a signal having a good S / N ratio can always be adopted. Thus, an accurate three-dimensional image can be constructed, and three-dimensional measurement can be performed with high accuracy. Further, as in the first embodiment, since the color of the sample can be reproduced, an appearance inspection such as defect detection can be performed at the same time.
[0072]
In this embodiment, a color imaging device is used as the imaging means, and the wavelength band to be used is configured to use three wavelength bands determined by the R signal, G signal, and B signal of the luminance signal. For example, as in the case of the second embodiment, a plurality of color filters may be arranged in the optical path so as to use a wavelength band determined by the arranged color filters. Since an image has to be captured every time, processing time is required, but a three-dimensional shape can be measured with higher accuracy.
[0073]
In the present embodiment, for example, the rotating disk 4 having pinholes arranged spirally is used, but a rotating disk having slits may be used. In addition, the present invention does not require rotation, and can be configured using a mask pattern member that can control transmission and blocking of light by changing a predetermined pattern. Such a case corresponds to, for example, a case where a liquid crystal is used instead of the rotating disk 4.
[0074]
【The invention's effect】
As described above, the scanning confocal microscope of the present inventionAnd its image construction methodTherefore, it is possible to obtain a highly accurate three-dimensional image and to reproduce color information on the sample surface.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a scanning confocal microscope according to a first embodiment of the present invention.
FIG. 2 is a view for explaining a method for constructing a three-dimensional image of a sample by the scanning confocal microscope of the present invention.
FIG. 3 is a flowchart showing a schematic operation procedure of a wavelength selection unit.
FIG. 4 is a flowchart showing a schematic operation procedure of the computer.
FIG. 5 is a diagram showing a configuration of a scanning confocal microscope according to a second embodiment of the present invention.
FIG. 6 is a diagram illustrating a configuration of a color filter unit.
FIG. 7 is a flowchart showing a general operation procedure of the computer.
FIG. 8 shows a scanning confocal microscope according to a third embodiment.
FIG. 9 is a view for explaining a method of constructing a three-dimensional image of a sample according to the third embodiment.
FIG. 10 is a flowchart showing a schematic operation procedure of a wavelength selection unit.
FIG. 11 is a diagram showing a configuration of a conventional disk scanning confocal microscope.
FIG. 12 is a diagram showing an IZ curve.
[Explanation of symbols]
1 ... Light source
2 ... Rotating disk 4
6 ... Objective lens
7 ... Sample
9 ... Imaging unit
10 ... Computer
11 ... Monitor
12 ... Z drive unit
20 ... Computer
21 ... Wavelength selector
24 ... Color filter unit
30 ... Computer
31 ... Wavelength selector
32. Chromatic aberration storage unit

Claims (10)

試料上の焦点面を光軸方向に変化させつつ前記試料の観察像を得て、前記試料の三次元画像或いは焦点深度の深い画像を構築する走査型共焦点顕微鏡であって、A scanning confocal microscope that obtains an observation image of the sample while changing a focal plane on the sample in the optical axis direction, and constructs a three-dimensional image of the sample or an image with a deep focal depth,
前記試料からの光を光電変換して光の波長帯域の異なる複数の輝度信号を出力する撮像手段と、  Imaging means for photoelectrically converting light from the sample and outputting a plurality of luminance signals having different wavelength bands of light;
前記撮像手段から出力される光の波長帯域の異なる複数の輝度信号から、最適な波長帯域の輝度信号を選択する選択手段と、  A selection unit that selects a luminance signal having an optimum wavelength band from a plurality of luminance signals having different wavelength bands of light output from the imaging unit;
該選択部によって選択された前記最適な波長帯域の輝度信号を利用して前記試料の三次元画像或いは焦点深度の深い画像を構築する画像構築手段と、を具備することを特徴とする走査型共焦点顕微鏡。  An image construction means for constructing a three-dimensional image of the sample or an image with a deep focal depth using the luminance signal of the optimum wavelength band selected by the selection section. Focus microscope.
試料上の焦点面を光軸方向に変化させつつ前記試料の観察像を得て、前記試料の三次元画像或いは焦点深度の深い画像を構築する走査型共焦点顕微鏡であって、A scanning confocal microscope that obtains an observation image of the sample while changing a focal plane on the sample in the optical axis direction, and constructs a three-dimensional image of the sample or an image with a deep focal depth,
所定のパターンを有するマスクパターン部材と、  A mask pattern member having a predetermined pattern;
照明光を放射する照明手段と、  Illumination means for emitting illumination light;
該照明手段から放射された照明光を前記マスクパターン部材を介して前記試料上に結像する対物レンズと、  An objective lens for imaging the illumination light emitted from the illumination means on the sample through the mask pattern member;
前記試料からの反射光を光電変換して光の波長帯域の異なる複数の輝度信号を出力する撮像手段と、  Imaging means for photoelectrically converting reflected light from the sample and outputting a plurality of luminance signals having different wavelength bands of light;
該撮像手段によって光電変換されて出力される、光の波長帯域の異なる複数の輝度信号から、最適な波長帯域の輝度信号を選択する選択手段と、  Selection means for selecting a luminance signal in an optimum wavelength band from a plurality of luminance signals having different wavelength bands of light, which are photoelectrically converted by the imaging means and output;
該選択手段によって選択された前記最適な波長帯域の輝度信号を利用して前記試料の三次元画像或いは焦点深度の深い画像を構築する画像構築手段と、を具備することを特徴とする走査型共焦点顕微鏡。  And an image construction means for constructing a three-dimensional image of the sample or an image with a deep focal depth using the luminance signal of the optimum wavelength band selected by the selection means. Focus microscope.
前記画像構築手段は、前記撮像手段の撮像画素の画素毎に、前記最適な波長帯域の輝度信号の最大輝度と、該最大輝度を与える前記光軸方向位置であるZ方向位置とを求め、前記最大輝度及び前記Z方向位置を利用して前記試料の三次元画像或いは焦点深度の深い画像を構築することを特徴とする請求項1又は2記載の走査型共焦点顕微鏡。The image construction means obtains, for each pixel of the imaging pixels of the imaging means, a maximum luminance of the luminance signal in the optimum wavelength band, and a Z direction position that is the optical axis direction position that gives the maximum luminance, and The scanning confocal microscope according to claim 1, wherein a three-dimensional image of the sample or an image with a deep focal depth is constructed using the maximum brightness and the position in the Z direction. 前記選択手段は、前記撮像手段の撮像素子の画素毎に前記最適な波長帯域の輝度信号を選択し、The selection unit selects a luminance signal of the optimum wavelength band for each pixel of the image sensor of the imaging unit,
前記画像構築手段は、前記複数の輝度信号のそれぞれの波長帯域間の色収差情報に基づいて前記光軸方向の位置であるZ方向位置を補正することを特徴とする請求項1又は2記載の走査型共焦点顕微鏡。  3. The scanning according to claim 1, wherein the image construction unit corrects a position in the Z direction which is a position in the optical axis direction based on chromatic aberration information between wavelength bands of the plurality of luminance signals. Type confocal microscope.
前記撮像手段は、カラー撮像素子であることを特徴とする請求項1又は2記載の走査型共焦点顕微鏡。The scanning confocal microscope according to claim 1, wherein the image pickup unit is a color image pickup device. 更に、複数の色フィルタを有し、前記複数の色フィルタを切り替えることによって前記複数の輝度信号を得ることを特徴とする請求項1又は2記載の走査型共焦点顕微鏡。The scanning confocal microscope according to claim 1, further comprising a plurality of color filters, wherein the plurality of luminance signals are obtained by switching the plurality of color filters. 前記マスクパターン部材は、ピンホールディスク又はスリットディスクであることを特徴とする請求項2記載の走査型共焦点顕微鏡。3. The scanning confocal microscope according to claim 2, wherein the mask pattern member is a pinhole disk or a slit disk. 前記マスクパターン部材は、所定のパターンが変化することで光の透過と遮断とが制御できる部材であることを特徴とする請求項2記載の走査型共焦点顕微鏡。The scanning confocal microscope according to claim 2, wherein the mask pattern member is a member capable of controlling transmission and blocking of light by changing a predetermined pattern. 試料上の焦点面を光軸方向に変化させつつ前記試料の観察像を得て、前記試料の三次元画像或いは焦点深度の深い画像を構築する走査型共焦点顕微鏡の画像構築方法であって、An image construction method of a scanning confocal microscope that obtains an observation image of the sample while changing a focal plane on the sample in the optical axis direction, and constructs a three-dimensional image of the sample or an image with a deep focal depth,
前記試料からの光が光電変換されて出力される、光の波長帯域の異なる複数の輝度信号から、最適な波長帯域の輝度信号を選択し、該選択した前記最適な波長帯域の輝度信号を利用して前記試料の三次元画像或いは焦点深度の深い画像を構築する、ことを特徴とする走査型共焦点顕微鏡の画像構築方法。  The light from the sample is photoelectrically converted and output from a plurality of luminance signals having different wavelength bands of light, and the luminance signal of the optimal wavelength band is selected, and the selected luminance signal of the optimal wavelength band is used. Then, an image construction method for a scanning confocal microscope, characterized in that a three-dimensional image of the sample or an image having a deep focal depth is constructed.
試料上の焦点面を光軸方向に変化させつつ前記試料の観察像を得て、前記試料の三次元画像或いは焦点深度の深い画像を構築する走査型共焦点顕微鏡の画像構築Image construction of a scanning confocal microscope that obtains an observation image of the sample while changing the focal plane on the sample in the optical axis direction and constructs a three-dimensional image of the sample or an image with a deep focal depth. 方法であって、A method,
マスクパターン部材の所定のパターンを介して照明手段から放射された照明光が前記対物レンズを通して前記試料上に結像され、前記試料からの反射光が撮像部に入射され、該撮像部によって光電変換されて出力される、光の波長帯域の異なる複数の輝度信号から、最適な波長帯域の輝度信号を選択し、該選択した前記最適な波長帯域の輝度信号を利用して前記試料の三次元画像或いは焦点深度の深い画像を構築することを特徴とする走査型共焦点顕微鏡の画像構築方法。  Illumination light emitted from the illumination means through a predetermined pattern of the mask pattern member is imaged on the sample through the objective lens, and reflected light from the sample is incident on the imaging unit, and photoelectric conversion is performed by the imaging unit. A luminance signal having an optimum wavelength band is selected from a plurality of luminance signals having different wavelength bands of light, and the three-dimensional image of the sample is selected using the selected luminance signal having the optimum wavelength band. Alternatively, an image construction method for a scanning confocal microscope, comprising constructing an image having a deep focal depth.
JP2001338216A 2001-11-02 2001-11-02 Scanning confocal microscope and its image construction method Expired - Fee Related JP4050039B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2001338216A JP4050039B2 (en) 2001-11-02 2001-11-02 Scanning confocal microscope and its image construction method
PCT/JP2002/011204 WO2003038503A1 (en) 2001-11-02 2002-10-29 Scanning con-focal microscope
TW091132300A TWI257008B (en) 2001-11-02 2002-10-31 Scanning con-focal microscope
US10/833,234 US7630538B2 (en) 2001-11-02 2004-04-27 Confocal scanning microscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001338216A JP4050039B2 (en) 2001-11-02 2001-11-02 Scanning confocal microscope and its image construction method

Publications (3)

Publication Number Publication Date
JP2003140050A JP2003140050A (en) 2003-05-14
JP2003140050A5 JP2003140050A5 (en) 2005-07-07
JP4050039B2 true JP4050039B2 (en) 2008-02-20

Family

ID=19152746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001338216A Expired - Fee Related JP4050039B2 (en) 2001-11-02 2001-11-02 Scanning confocal microscope and its image construction method

Country Status (1)

Country Link
JP (1) JP4050039B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4885439B2 (en) * 2003-11-21 2012-02-29 オリンパス株式会社 Color image acquisition method and confocal laser microscope
JP4883751B2 (en) * 2005-06-17 2012-02-22 レーザーテック株式会社 3D shape measuring apparatus and 3D shape measuring method
JP2007225789A (en) * 2006-02-22 2007-09-06 Olympus Corp Measuring microscope
JP2008032951A (en) * 2006-07-28 2008-02-14 Nikon Corp Optical device
KR102242559B1 (en) 2014-12-01 2021-04-20 삼성전자주식회사 optical inspecting apparatus
WO2016121685A1 (en) 2015-01-28 2016-08-04 株式会社東京精密 Laser dicing device
WO2021070259A1 (en) * 2019-10-08 2021-04-15 株式会社日立ハイテク Analysis device and analysis method

Also Published As

Publication number Publication date
JP2003140050A (en) 2003-05-14

Similar Documents

Publication Publication Date Title
US8330087B2 (en) Spectral imaging system with dynamic optical correction
JP4883751B2 (en) 3D shape measuring apparatus and 3D shape measuring method
JP5118948B2 (en) Magnification observation apparatus, magnification image observation method, magnification image observation program
US6337474B1 (en) Scanning microscope
JP4996304B2 (en) Scanning microscope and its adjustment method
JP4936841B2 (en) Confocal microscope, confocal microscope operation method, confocal microscope operation program, computer-readable recording medium, and recorded apparatus
JP4050039B2 (en) Scanning confocal microscope and its image construction method
JP2007139884A (en) Confocal scanning microscope
JP4725967B2 (en) Minute height measuring device and displacement meter unit
JP4214363B2 (en) Image pickup apparatus having optical system with image magnification correction function
US7589330B2 (en) Ultraviolet microscope apparatus
JP4180322B2 (en) Confocal microscope system and computer program for parameter setting
JP4576112B2 (en) Confocal laser microscope
JP5019279B2 (en) Confocal microscope and method for generating focused color image
JP4185711B2 (en) Microscope with multiple light sources
CN114460020B (en) Hyperspectral scanning system and method based on digital micro-reflector
JP4185712B2 (en) Color microscope
JP2004170572A (en) Confocal microscopic system having image connecting function, light quantity eccentricity correcting method and computer program
JP2003140050A5 (en) Scanning confocal microscope and its image construction method
JP3091255B2 (en) Multi focus camera
JP4044914B2 (en) Scanning microscope
JP2004029373A (en) Color microscope
CN116113864A (en) Surgical microscope with at least two camera devices
JP4536845B2 (en) Confocal microscope
Awamura et al. Color laser microscope

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071128

R151 Written notification of patent or utility model registration

Ref document number: 4050039

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101207

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111207

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111207

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121207

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131207

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees