JP4274592B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP4274592B2 JP4274592B2 JP25855697A JP25855697A JP4274592B2 JP 4274592 B2 JP4274592 B2 JP 4274592B2 JP 25855697 A JP25855697 A JP 25855697A JP 25855697 A JP25855697 A JP 25855697A JP 4274592 B2 JP4274592 B2 JP 4274592B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical system
- image processing
- focal position
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Liquid Crystal (AREA)
- Studio Devices (AREA)
- Microscoopes, Condenser (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、光軸方向に高さを有する３次元物体の観察画像を生成するための画像処理装置に関する。
【０００２】
【従来の技術】
一般に、解像度にすぐれ、且つ明るさの大きな画像を光学的に取込むためには、開口の大きな光学素子を用いた結像光学系が必要である。ところが、レンズに代表される結像用光学素子は、開口が大きくなると焦点深度が浅くなることから、このような焦点深度が浅いままで、顕微鏡における検査観察において、例えば半導体ウェハのパターン、凹凸のある生物標本、ＬＣＤパネル検査など、光軸方向に高さを有する３次元物体の観察を行なうと、観察画像にぼけ画像が混在して解像度が著しく劣化するため、かかる観察画像に基づいた検査過程に支障をきたす虞があった。
【０００３】
そこで従来、このような３次元物体の画像を一括して観察可能にするため、焦点深度を拡大することが考えられ、このような焦点深度を拡大する方法として、合焦位置の異なる観察画像を加え合わせ、得られた画像に適当な画像処理を行なうことにより、解像度や明るさを損なうことなく焦点深度の深い画像を再生するようにしたものがある。
【０００４】
つまり、このような考えに基づくものとして、特開平８−３１７２７３号公報に開示されるように、標本の合焦面合わせを行なうようにステージを駆動しながら、テレビカメラにより標本画像を撮像し、このテレビカメラで得られた標本画像をメモリに記憶し、さらに記憶画像に対する加算タイミングで標本画像と記憶画像を加算し、この加算画像を回復処理することで、合焦位置の異なる複数の画像を加算した焦点深度の深い画像を得るようにしたもの、あるいは、特開平８−２９４０３５号公報に開示されるように、合焦時のコントラストが高く輝度変化の激しい部分についてはコントラスト情報に基づく焦点位置検出を行ない、残った部分については、輝度処理に基づく焦点位置検出を行ない、これらより得られた画像を合成して最終合焦画像を得るようにしたものなどがある。
【０００５】
【発明が解決しようとする課題】
しかしながら、これら従来のものは、いずれも合焦位置の異なる複数の画像を取込むのに、試料ステージまたは顕微鏡の光学系部分を機械的に動かすようにしているため、これらを精度よく駆動するための構成の複雑な機械的駆動機構が必要となり、装置の大型化とともに、価格的にも高価になってしまう。また、これらステージまたは顕微鏡の光学系部分を直接動かすことは、観察対象を振動させる振動源にもなる。このことは、観察対象に対してマニピュレータやピンセットによる作業を可能にした作業用顕微鏡などの場合、観察対象が振動により移動してマニピュレータやピンセットに誤って触れてしまい、作業をやり直ししなければならなくなるなど、作業上の効率低下を招く虞もあった。
【０００６】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、振動の発生源を無くすことができると共に、装置構成の簡易化を図りながら、３次元物体の正確で鮮明な観察画像を得ることが可能な画像処理装置を提供することにある。
【０００９】
【課題を解決するための手段】
請求項１記載の発明は、複屈折結晶による二重焦点光学系と、この二重焦点光学系の焦点位置を機械振動を発することなく切換える焦点位置切換手段と、上記二重焦点光学系で得られる画像をそれぞれ撮像する単一の撮像手段と、上記焦点位置切換手段により切換えられる二重焦点光学系のそれぞれの焦点位置の画像を上記撮像手段から取込んで各別に記憶する記憶手段と、この記憶手段に記憶された異なる焦点位置の画像の各画素の輝度を所定のしきい値との関係から比較選択して画像を再合成する画像処理手段と、この画像処理手段により再合成された画像を表示する表示手段とを具備し、上記焦点位置切換手段は、二重焦点光学系の複屈折結晶の光学軸に平行な直線偏光が透過される偏光板と、この偏光板を透過する光の偏光方向を制御信号に応じて回転させる液晶素子を有する偏光フィルタからなることを特徴とする。
【００１０】
このような構成とした結果、機械的な動作を伴わずに焦点位置を切換えることができ、２つの合焦位置の画像を機械的振動を発生させることなく取込むことができることに加えて、焦点位置切換手段として複雑な機械的駆動機構を用いることなく、二重焦点光学系の焦点位置を切換えることができる。
【００１１】
請求項２記載の発明は、上記請求項１記載の発明において、上記画像処理手段は、予め異なる大きさのしきい値が設定され、これらのしきい値に対し各焦点位置の画像の対応する画素の輝度を比較すると共に、この比較結果に基づいて、いずれか一方の画素を選択し画像を再合成することを特徴とする。
【００１２】
このような構成とした結果、上記請求項１記載の発明の作用に加えて、取込まれた２つの画像の各画素の輝度をしきい値と比較選択し、それぞれの画像のぼけ部分を低減させて画像を再合成するため、従来の顕微鏡の分解能、作動距離を維持したまま２倍の高さの３次元物体の鮮明な観察画像を得ることができる。
【００１３】
請求項３記載の発明は、上記請求項１記載の発明において、上記二重焦点光学系の対物レンズと上記撮像手段との間に配置され、上記焦点位置切換手段により切換えられる二重焦点光学系のそれぞれの焦点位置の画像の結像倍率が等しくなるように透過光の偏光方向に応じて該対物レンズと撮像手段との間の空気換算長を調節する単一の結像倍率調節手段をさらに具備したことを特徴とする。
【００１４】
このような構成とした結果、上記請求項１記載の発明の作用に加えて、二重焦点光学系の２つの焦点による像の結像倍率が等しくなるため、それぞれの像による画像を再合成したときの画像上の長さが不一致となってしまうことがなく、３次元物体の正確で鮮明な観察画像を得ることができる。
【００１５】
請求項４記載の発明は、上記請求項３記載の発明において、上記結像倍率調節手段は、上記対物レンズの光学軸と直交または平行な光学軸を有する複屈折結晶による平行平板からなることを特徴とする。
このような構成とした結果、上記請求項３記載の発明の作用に加えて、上記結像倍率調節手段を簡易な構成で実現することができる。
【００１６】
【発明の実施の形態】
（第１の実施の形態）
以下本発明の第１の実施の形態に係る画像処理装置を図面に従って説明する。
図１は画像処理装置全体の概略構成を示している。同図において１は顕微鏡であり、この顕微鏡１は、複屈折結晶である水晶を硝材として用いた二重焦点光学系２と、この二重焦点光学系２の焦点位置を切換えるための偏光板３、液晶素子４により構成される偏光フィルタ５と、この偏光フィルタ５を駆動する液晶駆動回路６を有し、さらに二重焦点光学系２により結像される像を撮像する撮像手段７を有している。
【００１７】
ここで、二重焦点光学系２は、焦点ＯＡ（下側の焦点），ＯＢ（上側の焦点）のそれぞれの焦点深度ＤＡ，ＤＢが連続するように設計されたものである。つまり、このような複屈折結晶を硝材とするレンズは、菊田久男・岩田耕一「複屈折レンズの光線追跡」、光技術コンタクト、Ｖｏｌ．３１．Ｎｏ５、ｐ２４７〜２５９（１９９３）に記載されているように、複屈折結晶の光学軸に対する入射光線の偏光方向の違いにより２つの位置で焦点を結ぶようになっていて、このとき、それぞれの光線を常光線、異常光線と呼び、レンズの形状を図２に示すようにすると、常光線での焦点距離ｆo 及び異常光線での焦点距離ｆe は、
ｆo ＝ｒ1 ・ｒ2 ／((ｎo −１)(ｒ1 −ｒ2 )) …(1)
ｆe ＝ｒ1 ・ｒ2 ／((ｎe −１)(ｒ1 −ｒ2 )) …(2)
（但し、ｒ1 ，ｒ2 ：レンズの曲率半径、
ｎo ：常光線に対する屈折率、
ｎe ：異常光線に対する屈折率。）
で与えられるようになり、これにより、これら焦点距離ｆo ，ｆe を適当に設計することで、焦点ＯＡ，ＯＢのそれぞれの焦点深度ＤＡ，ＤＢが連続するように設計することが可能になる。
【００１８】
なお、二重焦点光学系２に使用する複屈折結晶としては、水晶に限らず、方解石など、複屈折結晶であるならば制限がないものとする。
また、偏光フィルタ５は、偏光板３を複屈折結晶の光学軸Ｃ（図２参照）に対し平行な方向に配置していて、常時、偏光板３を透過する光が二重焦点光学系２の複屈折結晶の光学軸に平行な直線偏光になるように設定され、液晶駆動回路６により液晶素子４を駆動して液晶の配向を切換えることにより、偏光板３を通った光の偏光方向が９０°回転されるようにしている。この場合の液晶駆動回路６による液晶駆動は、後述するコントローラ９の指示により行なわれる。
【００１９】
なお、偏光板３の偏光方向は、複屈折結晶の光学軸Ｃに対し平行な方向に配置する例を述べたが、この偏光方向は、光学軸Ｃに垂直な方向でも構わない。また、偏光板３の偏光方向を回転させる手段は、液晶に限らず、電気的に偏光方向を変えられるものならば、特に限定しない。
【００２０】
一方、撮像手段７には、切換スイッチ８を接続している。この切換スイッチ８は、コントローラ９からの切換信号により上述した液晶駆動回路６による液晶駆動と同期して出力先を切換えるようにしている。
【００２１】
そして、この切換スイッチ８の出力先には、第１のフレームメモリ１０と第２のフレームメモリ１１を接続している。これら第１のフレームメモリ１０及び第２のフレームメモリ１１は、焦点位置の異なる２つの画像を各別に記憶するものである。
【００２２】
これら第１のフレームメモリ１０及び第２のフレームメモリ１１には、輝度比較回路１２を接続している。この輝度比較回路１２は、これら第１のフレームメモリ１０及び第２のフレームメモリ１１に記憶された焦点位置の異なる２つの画像の各画素の輝度を比較選択するもので、予め、コントローラ９によってしきい値Ｌ1 ，Ｌ2 （Ｌ1 ＜Ｌ2 ）を設定されていて、これらのしきい値Ｌ1 ，Ｌ2 に対し各焦点位置の画像の対応する画素の輝度を比較すると共に、この比較結果に基づいていずれか一方の画素を選択し画像の再合成を行なうようにしている。
【００２３】
そして、輝度比較回路１２には、第３のフレームメモリ１３を接続し、この第３のフレームメモリ１３に表示手段１４を介してモニタ１５を接続している。
第３のフレームメモリ１３は、輝度比較回路１２での再合成により画像データを記憶するようにしている。表示手段１４は、第３のフレームメモリ１３に記憶された画像データを表示信号に変換するもので、この表示信号に基づいた画像をモニタ１５に表示するようになっている。
【００２４】
次に以上のように構成した本実施の形態の動作を説明する。
まず、試料として図示しない３次元物体を顕微鏡１の図示しない試料ステージ上に載置するとともに、試料が二重焦点光学系２の焦点深度ＤＡ，ＤＢの範囲に位置するように試料ステージの高さを調整する。
【００２５】
この状態で、試料の観察画像は、偏光フィルタ５及び二重焦点光学系２を通って撮像手段７の撮像面に結像され撮像される。この場合、二重焦点光学系２前面に配置される偏光フィルタ５の液晶素子４は、コントローラ９の指示により液晶駆動回路６によって繰り返し駆動され、液晶の配向を切換えられるので、偏光板３を透過する光の偏光方向も切換えられるようになり、これに伴い二重焦点光学系２の焦点位置は、焦点位置ＯＡ（下側の焦点），ＯＢ（上側の焦点）の間で切換えられる。
【００２６】
また、この二重焦点光学系２の焦点位置の切換えと同期してコントローラ９より切換信号が切換スイッチ８に送られる。これにより、撮像手段７により、焦点位置ＯＡ焦点深度ＤＡ内の試料の観察画像と焦点位置ＯＢ焦点深度ＤＢ内の試料の観察画像が交互に撮像される。
【００２７】
同時に、切換スイッチ８の切換動作に応じて第１のフレームメモリ１０及び第２のフレームメモリ１１に送出され、焦点位置ＯＡ焦点深度ＤＡ内の試料の鮮明な画像が第１のフレームメモリ１０に、焦点位置ＯＢ焦点深度ＤＢ内の試料の鮮明な画像が第２のフレームメモリ１１にそれぞれ記憶される。
【００２８】
次に、これら第１のフレームメモリ１０及び第２のフレームメモリ１１に記憶された画像は、輝度比較回路１２に送られ、比較され選択される。この場合、輝度比較回路１２には、コントローラ９によってしきい値Ｌ1 、Ｌ2 を設定されている。この場合、輝度比較回路１２は、図３（ａ）に示すように第１のフレームメモリ１０に記憶されたある画素の輝度をＡ、同図（ｂ）に示すように第２のフレームメモリ１１に記憶された対応する画素の輝度をＢとすると、同図（ｃ）に示すように、これらの輝度Ａ，Ｂを比較するとともに、これらのいずれか一方を選択することで画像を再合成する。
【００２９】
輝度比較回路１２での比較選択の方法をさらに詳しく述べると、以下の３通りの条件がある。
（１）Ａ，Ｂ両方の輝度がしきい値Ｌ1 より小さい時は、合焦している画素の輝度と焦点の合っていない画素の輝度を比較すると、焦点の合っていない方の画素は注目している画素周辺の輝度の高いぼけ像のもれが加算されるため輝度が高くなる。そこで、Ａ，Ｂを比較したときに、輝度の低い方の画素を選択する。
【００３０】
（２）ＡまたはＢの少なくともどちらか一方がＬ1 とＬ2 の間にあるときは、その部分の画素の輝度がある程度高い場合を表しているのであり、注目している画素以外のぼけ像のもれの影響は少ない。一般に焦点の合っている画素と焦点の合っていない画素を比較すると、焦点が合っている画素のほうが輝度が高いので、Ａ，Ｂを比較したときに、輝度の高い方の画素を選択する。
【００３１】
（３）Ａ，Ｂのどちらか一方がＬ2 を越えている場合、その画素の部分の反射率が高いことを示しており、観察している試料の形状によっては、焦点の合っている画素と焦点の合っていない画素を比較すると、合っていない画素のほうが輝度が高くなる場合がある。この場合は、Ａ，Ｂを比較したときに、輝度の低い方の画素を選択する。
【００３２】
以上の３つの条件で比較を行なうが、（１）（３）のＡ，Ｂの輝度と画像のぼけの状態がこの条件に当てはまらない場合がある。このような場合は、最終的に得られる画像にぼけ像が乗り不鮮明な部分が出てくる。このときは、Ｌ1 ，Ｌ2 を調整することにより、Ｌ1 ，Ｌ2 による領域を設定し直す。これには、観察者が画像観察を行ないながらコントローラ９によりＬ1 、Ｌ2 の設定を行なうようになる。つまり、（１）の条件に合わない場合、すなわちＡ，Ｂのどちらかの輝度が著しく高いが、焦点の合っている画像と合っていない画像を比較すると合っている画像のほうが輝度が高くならない場合は、Ｌ2 の値を大きくするように調整すれば、誤ったＡ，Ｂの選択を回避することができる。また、（３）の条件に合わない場合、すなわちＡ，Ｂのどちらかの輝度が著しく低く、焦点の合っている画素と合っていない画素を比較すると、合っていない画素のほうが輝度が高くならない場合は、Ｌ1 の値を小さくすれば、誤ったＡ，Ｂの選択を回避することができる。これらのしきい値Ｌ1 ，Ｌ2 の設定は、観察を行なったときの不自然な画像の分布面積から観察者が容易に適正な値を決めることができる。
【００３３】
図４はこのような条件に基づいた具体的な比較フローを説明するもので、まず、ステップ４０１で輝度ＡとＢを比較し、Ｂ＞Ａならば、ステップ４０２で輝度Ｂとしきい値Ｌ1 を比較する。そして、Ｂ＜Ｌ1 ならば、ステップ４０３に進み、輝度Ａの画素を選択する。これをルート１とする。
【００３４】
また、ステップ４０２でＢ＞Ｌ1 を判断したならば、ステップ４０４で輝度Ｂの画素を選択し、次いで、ステップ４０５で輝度Ｂとしきい値Ｌ2 を比較する。そして、Ｂ＜Ｌ2 ならば、ステップ４０６に進み、輝度Ｂの画素を選択する。これをルート２とする。
【００３５】
また、ステップステップ４０５で、Ｂ＞Ｌ2 を判断したならば、ステップ４０７に進み、輝度Ａの画素を選択する。これをルート３とする。
一方、上記ステップ４０１でＢ＜Ａを判断した場合は、ステップ４０８で輝度Ａとしきい値Ｌ1 を比較する。そして、Ａ＜Ｌ1 ならば、ステップ４０９に進み、輝度Ｂの画素を選択する。これをルート４とする。
【００３６】
また、上記ステップ４０８でＡ＞Ｌ1 を判断したならば、ステップ４１０で輝度Ａの画素を選択し、次いで、ステップ４１１で輝度Ａとしきい値Ｌ2 を比較する。そして、Ａ＜Ｌ2 ならば、ステップ４１２に進み、輝度Ａの画素を選択する。これをルート５とする。
【００３７】
また、上記ステップ４１１で、Ａ＞Ｌ2 を判断したならば、ステップ４１３にに進み、輝度Ｂの画素を選択する。これをルート６とする。
これにより、輝度Ａ，Ｂとしきい値Ｌ1 ，Ｌ2 の関係と、選択される結果の関係は図５に示すようになる。この場合、ルート１〜６についてしきい値Ｌ1 ，Ｌ2 に対する輝度Ａ，Ｂの関係が図示されていて、このうち丸で囲んである方が選択結果である。
【００３８】
このような輝度比較回路１２での比較選択は、第１のフレームメモリ１０及び第２のフレームメモリ１１に記憶された画像の対応する全ての画素について行なわれ、この結果として、再合成された画像が第３のフレームメモリ１３に記憶され、さらに、この第３のフレームメモリ１３に記憶された画像は、表示手段１４で表示信号に変換されモニタ１５に表示されるようになる。
【００３９】
この結果、例えば図６に示すように高い面Ｘと低い面Ｙを有する試料２１について、図示矢印方向から観察を行なったとすると、第１のフレームメモリ１０には二重焦点光学系２の焦点位置ＯＡ焦点深度ＤＡ内の観察画像として図７（ａ）に示すように低い面Ｙに焦点の合った画像が取込まれ（この場合、同図の破線で示す高い面Ｘは、ぼけ画像となる。）、また、第２のフレームメモリ１１には二重焦点光学系２の焦点位置ＯＢ焦点深度ＤＢ内の観察画像として同図（ｂ）に示すように高い面Ｘに焦点の合った画像が取込まれる（この場合、同図の破線で示す低い面Ｙは、ぼけ画像となる。）。
【００４０】
そして、これら第１のフレームメモリ１０及び第２のフレームメモリ１１の画像が輝度比較回路１２で比較選択されることにより、第３のフレームメモリ１３には同図（ｃ）に示すように高い面Ｘと低い面Ｙともに焦点の合った画像が取込まれ、これがモニタ１５に表示されることになる。
【００４１】
したがって、このようにすれば、複屈折結晶である水晶を硝材として用いた二重焦点光学系２の焦点位置を、液晶素子４による液晶の配向の切換えにより、偏光板３を透過される光の偏光方向を９０°回転させることで切換えるようにしたので、機械的な動作を伴わずに焦点位置を切換えることができ、２つの合焦位置の画像を機械的振動を発生させることなく取込むことができ、これにより、このときの振動により観察対象が移動してマニピュレータやピンセットに触れるなどして作業をやり直しするような不都合がなくなり、かかる観察作業の効率低下を回避できる。
【００４２】
また、二重焦点光学系２の焦点位置の切換えを偏光板３と液晶素子４からなる偏光フィルタ５を用いることで、かかる焦点位置切換手段として複雑な機械的駆動機構を必要とすることなく、二重焦点光学系の焦点位置の切換えを行なうことができるようになり、その分装置構成の簡単化を実現できると共に、価格的にも安価にできる。
【００４３】
さらに輝度比較回路１２では、焦点位置の異なる２つの画像の各画素の輝度をしきい値と比較選択し、それぞれの画像のぼけ部分を低減させて画像を再合成することにより、従来の顕微鏡の分解能、作動距離を維持したまま２倍の高さの３次元物体の鮮明な観察画像を得られる。
【００４４】
なお、上述した実施の形態では、複屈折結晶を用いた二重焦点光学系と偏光板及び液晶素子により構成される偏光フィルタを用いる構成としたが、例えば、特開昭６０−５０５１０号公報に開示される液晶レンズに置き換えても、同様な効果が期待できる。
【００４５】
（第２の実施の形態）
以下本発明の第２の実施の形態に係る画像処理装置を図面に従って説明する。図８は画像処理装置全体の概略構成を示しており、基本的な構成及び動作は上記図１に示したものと同様であるので、同一部分には同一符号を付してその説明は省略する。
【００４６】
しかして、二重焦点光学系２と撮像手段７の間に複屈折結晶、例えば方解石による平行平板３１を配置する。この平行平板３１は、方解石の光軸が二重焦点光学系２の観察光軸と直交するように配置されるもので、使用する複屈折結晶は方解石に限らず、他のものであってもよい。
【００４７】
次に上記のように構成した本実施の形態の特に観察光学系の動作について図９乃至図１１を用いて説明する。図１０は本実施の形態の光学系部分であり、図１１は説明のために図１０から方解石の平行平板３１を取り除いた時の結像関係を示す図である。なお、図１１では偏光板３及び液晶素子４は省略している。
【００４８】
説明を容易にするために、撮像手段７としてＣＣＤカメラを用い、モニタ１５上に表示出力する際に試料を５０倍で観察できる、ビデオ倍率６０倍のビデオ顕微鏡について考えるものとする。このとき、光学系に要求される倍率は−０．８３倍程度とする。
【００４９】
複屈折結晶を硝材とするレンズは、上記第１の実施の形態で説明した如く複屈折結晶の光学軸に対する入射光線の偏光方向の違いにより２つの位置で焦点を結ぶようになっており、レンズの形状を上記図２に示すようにすると、常光線での焦点距離ｆo 及び異常光線での焦点距離ｆe は、上記式（１）及び（２）で表わすことができる。
【００５０】
硝材に屈折率ｎo ：１．５４４、ｎe ：１．５５３の水晶を用いて、−ｒ1 ＝ｒ2 ＝６６．８５１［ｍｍ］の二重焦点光学系２の焦点距離を計算すると、ｆo ＝６１．４４［ｍｍ］、ｆe ＝６０．４４［ｍｍ］となる。一般にレンズの結像関係は図９に示すように記号を定めると、結像倍率をβとして
ｚ＝−ｆ／β、ｚ′＝−β・ｆ′
となる。
【００５１】
二重焦点光学系２の光学軸に平行な偏光をもつ光線を光線Ａ、垂直な偏光をもつ光線を光線Ｂとし、それぞれの結像関係を図１１に示すように定めると、
ｚＡ＝−ｆo ／β、ｚＡ′＝−β・ｆo ′、 …(3)
ｚＢ＝−ｆe ／β、ｚＢ′＝−β・ｆe ′ …(4)
となる。
【００５２】
したがって、光線Ａ、光線Ｂによる結像倍率が−０．８３となるようにするためには、ｚＡ，ｚＡ′，ｚＢ，ｚＢ′はｚＡ＝−７４．０２［ｍｍ］、ｚＡ′＝５１．００［ｍｍ］、ｚＢ＝−７２．８２［ｍｍ］、ｚＢ′＝５０．１７［ｍｍ］とすればよい。このとき光線Ａと光線Ｂの物点位置は２．２［ｍｍ］離れ、焦点深度を拡大することができる反面、結像面が１．８３［ｍｍ］離れることとなる。
【００５３】
次に図１０に示すように方解石の平行平板３１が二重焦点光学系２と撮像手段７の間に配置されている状態について考える。平行平板３１は、その光学軸が光線Ａの偏光方向に対しては直交するように、そして光線Ｂの偏光方向に対しては平行になるように配置される。
【００５４】
そのため、平行平板３１は光線Ａに対しては異常光線として屈折率１．４８６の媒質として、光線Ｂに対しては常光線として屈折率１．６５８の媒質としてふるまう。このとき、結像位置の空気換算長は図１１に示すように平行平板３１がない結像位置と等しくならなければならない。
【００５５】
光線Ａ，Ｂの結像位置が等しくなるためには、二重焦点光学系２と撮像手段７の間隔をｚ′、その光線Ａ，Ｂに対する空気換算長をｚＡ″，ｚＢ″、平行平板３１の厚さをｄ、常光線に対する屈折率をｎo ′、異常光線に対する屈折率をｎe ′とすると、以下の式が成り立つ。すなわち、
ｚＡ″＝ｚ′−ｄ＋（ｄ／ｎe ′） …(5)
ｚＢ″＝ｚ′−ｄ＋（ｄ／ｎo ′） …(6)
上記図１１で示したように光線Ａ，Ｂの結像倍率を−０．８３とするためには、光線Ａ，Ｂに対する二重焦点光学系２と撮像手段７の間の空気換算長がそれぞれ
ｚＡ″＝ｚＡ′＋ｆo ′＝１１２．４４［ｍｍ］ …(7)
ｚＢ″＝ｚＢ′＋ｆe ′＝１１０．６１［ｍｍ］ …(8)
である必要がある。
【００５６】
したがって、これらから二重焦点光学系２と撮像手段７の間隔ｚ′と平行平板３１の厚さｄを求めると、ｚ′＝１２１．０［ｍｍ］、ｄ＝２６．２［ｍｍ］となり、ｚ′とｄを設計によって求めることができることがわかる。
【００５７】
このため、二重焦点光学系２と撮像手段７の間隔ｚ′を１２１．０［ｍｍ］とし、そこへ厚さ２６．２［ｍｍ］の平行平板３１を挿入すると、二重焦点光学系２と撮像手段７の換算長は光線Ａについては１１２．４４［ｍｍ］、光線Ｂについては１１０．６１［ｍｍ］となる。このことから、光線Ａと光線Ｂは物体上で２．２［ｍｍ］離れた位置の像が共に結合倍率−０．８３で撮像手段７の素子上に結像され、倍率の等しい像を取り込むことができるものとなる。
【００５８】
なお、液晶素子４により切換えられながら撮像手段７により撮像した画像の処理については上記第１の実施の形態と同様であるので、その説明は省略する。
このように、２つの合焦位置で得る像の結像倍率を等しくすることができるので、その２つの画像を取込んで合成した場合でも、得られる再合成画像上の各部位の長さが全て正確に一致するため、３次元物体のきわめて正確で鮮明な観察画像を得ることができる。
なお、本発明は上記第１及び第２の実施の形態に限定するものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能であるものとする。
【００６０】
【発明の効果】
請求項１記載の発明によれば、機械的な動作を伴わずに焦点位置を切換えることができ、２つの合焦位置の画像を機械的振動を発生させることなく取込むことができることに加えて、焦点位置切換手段として複雑な機械的駆動機構を用いることなく、二重焦点光学系の焦点位置を切換えることができる。
【００６１】
請求項２記載の発明によれば、上記請求項１記載の発明の効果に加えて、取込まれた２つの画像の各画素の輝度をしきい値と比較選択し、それぞれの画像のぼけ部分を低減させて画像を再合成するため、従来の顕微鏡の分解能、作動距離を維持したまま２倍の高さの３次元物体の鮮明な観察画像を得ることができる。
【００６２】
請求項３記載の発明によれば、上記請求項１記載の発明の効果に加えて、二重焦点光学系の２つの焦点による像の結像倍率が等しくなるため、それぞれの像による画像を再合成したときの画像上の長さが不一致となってしまうことがなく、３次元物体の正確で鮮明な観察画像を得ることができる。
請求項４記載の発明によれば、上記請求項４記載の発明の効果に加えて、上記結像倍率調節手段を簡易な構成で実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る概略構成を示す図。
【図２】同実施の形態に係る二重焦点光学系を説明するための図。
【図３】同実施の形態に係る輝度比較回路の動作を説明するための図。
【図４】同実施の形態に係る輝度比較回路の動作を説明するフローチャート。
【図５】同実施の形態に係る輝度比較回路の動作を説明するための図。
【図６】同実施の形態に係る具体的観察試料を示す図。
【図７】同実施の形態に係る具体的観察試料の観察画像例を示す図。
【図８】本発明の第２の実施の形態に係る概略構成を示す図。
【図９】同実施の形態に係る観察光学系の動作を説明する図。
【図１０】同実施の形態に係る観察光学系の動作を説明する図。
【図１１】同実施の形態に係る観察光学系の動作を説明する図。
【符号の説明】
１…顕微鏡
２…二重焦点光学系
３…偏光板
４…液晶素子
５…偏光フィルタ
６…液晶駆動回路
７…撮像手段
８…切換スイッチ
９…コントローラ
１０…第１のフレームメモリ
１１…第２のフレームメモリ
１２…輝度比較回路
１３…第３のフレームメモリ
１４…表示手段
１５…モニタ
２１…試料
３１…平行平板
【発明の属する技術分野】
本発明は、光軸方向に高さを有する３次元物体の観察画像を生成するための画像処理装置に関する。
【０００２】
【従来の技術】
一般に、解像度にすぐれ、且つ明るさの大きな画像を光学的に取込むためには、開口の大きな光学素子を用いた結像光学系が必要である。ところが、レンズに代表される結像用光学素子は、開口が大きくなると焦点深度が浅くなることから、このような焦点深度が浅いままで、顕微鏡における検査観察において、例えば半導体ウェハのパターン、凹凸のある生物標本、ＬＣＤパネル検査など、光軸方向に高さを有する３次元物体の観察を行なうと、観察画像にぼけ画像が混在して解像度が著しく劣化するため、かかる観察画像に基づいた検査過程に支障をきたす虞があった。
【０００３】
そこで従来、このような３次元物体の画像を一括して観察可能にするため、焦点深度を拡大することが考えられ、このような焦点深度を拡大する方法として、合焦位置の異なる観察画像を加え合わせ、得られた画像に適当な画像処理を行なうことにより、解像度や明るさを損なうことなく焦点深度の深い画像を再生するようにしたものがある。
【０００４】
つまり、このような考えに基づくものとして、特開平８−３１７２７３号公報に開示されるように、標本の合焦面合わせを行なうようにステージを駆動しながら、テレビカメラにより標本画像を撮像し、このテレビカメラで得られた標本画像をメモリに記憶し、さらに記憶画像に対する加算タイミングで標本画像と記憶画像を加算し、この加算画像を回復処理することで、合焦位置の異なる複数の画像を加算した焦点深度の深い画像を得るようにしたもの、あるいは、特開平８−２９４０３５号公報に開示されるように、合焦時のコントラストが高く輝度変化の激しい部分についてはコントラスト情報に基づく焦点位置検出を行ない、残った部分については、輝度処理に基づく焦点位置検出を行ない、これらより得られた画像を合成して最終合焦画像を得るようにしたものなどがある。
【０００５】
【発明が解決しようとする課題】
しかしながら、これら従来のものは、いずれも合焦位置の異なる複数の画像を取込むのに、試料ステージまたは顕微鏡の光学系部分を機械的に動かすようにしているため、これらを精度よく駆動するための構成の複雑な機械的駆動機構が必要となり、装置の大型化とともに、価格的にも高価になってしまう。また、これらステージまたは顕微鏡の光学系部分を直接動かすことは、観察対象を振動させる振動源にもなる。このことは、観察対象に対してマニピュレータやピンセットによる作業を可能にした作業用顕微鏡などの場合、観察対象が振動により移動してマニピュレータやピンセットに誤って触れてしまい、作業をやり直ししなければならなくなるなど、作業上の効率低下を招く虞もあった。
【０００６】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、振動の発生源を無くすことができると共に、装置構成の簡易化を図りながら、３次元物体の正確で鮮明な観察画像を得ることが可能な画像処理装置を提供することにある。
【０００９】
【課題を解決するための手段】
請求項１記載の発明は、複屈折結晶による二重焦点光学系と、この二重焦点光学系の焦点位置を機械振動を発することなく切換える焦点位置切換手段と、上記二重焦点光学系で得られる画像をそれぞれ撮像する単一の撮像手段と、上記焦点位置切換手段により切換えられる二重焦点光学系のそれぞれの焦点位置の画像を上記撮像手段から取込んで各別に記憶する記憶手段と、この記憶手段に記憶された異なる焦点位置の画像の各画素の輝度を所定のしきい値との関係から比較選択して画像を再合成する画像処理手段と、この画像処理手段により再合成された画像を表示する表示手段とを具備し、上記焦点位置切換手段は、二重焦点光学系の複屈折結晶の光学軸に平行な直線偏光が透過される偏光板と、この偏光板を透過する光の偏光方向を制御信号に応じて回転させる液晶素子を有する偏光フィルタからなることを特徴とする。
【００１０】
このような構成とした結果、機械的な動作を伴わずに焦点位置を切換えることができ、２つの合焦位置の画像を機械的振動を発生させることなく取込むことができることに加えて、焦点位置切換手段として複雑な機械的駆動機構を用いることなく、二重焦点光学系の焦点位置を切換えることができる。
【００１１】
請求項２記載の発明は、上記請求項１記載の発明において、上記画像処理手段は、予め異なる大きさのしきい値が設定され、これらのしきい値に対し各焦点位置の画像の対応する画素の輝度を比較すると共に、この比較結果に基づいて、いずれか一方の画素を選択し画像を再合成することを特徴とする。
【００１２】
このような構成とした結果、上記請求項１記載の発明の作用に加えて、取込まれた２つの画像の各画素の輝度をしきい値と比較選択し、それぞれの画像のぼけ部分を低減させて画像を再合成するため、従来の顕微鏡の分解能、作動距離を維持したまま２倍の高さの３次元物体の鮮明な観察画像を得ることができる。
【００１３】
請求項３記載の発明は、上記請求項１記載の発明において、上記二重焦点光学系の対物レンズと上記撮像手段との間に配置され、上記焦点位置切換手段により切換えられる二重焦点光学系のそれぞれの焦点位置の画像の結像倍率が等しくなるように透過光の偏光方向に応じて該対物レンズと撮像手段との間の空気換算長を調節する単一の結像倍率調節手段をさらに具備したことを特徴とする。
【００１４】
このような構成とした結果、上記請求項１記載の発明の作用に加えて、二重焦点光学系の２つの焦点による像の結像倍率が等しくなるため、それぞれの像による画像を再合成したときの画像上の長さが不一致となってしまうことがなく、３次元物体の正確で鮮明な観察画像を得ることができる。
【００１５】
請求項４記載の発明は、上記請求項３記載の発明において、上記結像倍率調節手段は、上記対物レンズの光学軸と直交または平行な光学軸を有する複屈折結晶による平行平板からなることを特徴とする。
このような構成とした結果、上記請求項３記載の発明の作用に加えて、上記結像倍率調節手段を簡易な構成で実現することができる。
【００１６】
【発明の実施の形態】
（第１の実施の形態）
以下本発明の第１の実施の形態に係る画像処理装置を図面に従って説明する。
図１は画像処理装置全体の概略構成を示している。同図において１は顕微鏡であり、この顕微鏡１は、複屈折結晶である水晶を硝材として用いた二重焦点光学系２と、この二重焦点光学系２の焦点位置を切換えるための偏光板３、液晶素子４により構成される偏光フィルタ５と、この偏光フィルタ５を駆動する液晶駆動回路６を有し、さらに二重焦点光学系２により結像される像を撮像する撮像手段７を有している。
【００１７】
ここで、二重焦点光学系２は、焦点ＯＡ（下側の焦点），ＯＢ（上側の焦点）のそれぞれの焦点深度ＤＡ，ＤＢが連続するように設計されたものである。つまり、このような複屈折結晶を硝材とするレンズは、菊田久男・岩田耕一「複屈折レンズの光線追跡」、光技術コンタクト、Ｖｏｌ．３１．Ｎｏ５、ｐ２４７〜２５９（１９９３）に記載されているように、複屈折結晶の光学軸に対する入射光線の偏光方向の違いにより２つの位置で焦点を結ぶようになっていて、このとき、それぞれの光線を常光線、異常光線と呼び、レンズの形状を図２に示すようにすると、常光線での焦点距離ｆo 及び異常光線での焦点距離ｆe は、
ｆo ＝ｒ1 ・ｒ2 ／((ｎo −１)(ｒ1 −ｒ2 )) …(1)
ｆe ＝ｒ1 ・ｒ2 ／((ｎe −１)(ｒ1 −ｒ2 )) …(2)
（但し、ｒ1 ，ｒ2 ：レンズの曲率半径、
ｎo ：常光線に対する屈折率、
ｎe ：異常光線に対する屈折率。）
で与えられるようになり、これにより、これら焦点距離ｆo ，ｆe を適当に設計することで、焦点ＯＡ，ＯＢのそれぞれの焦点深度ＤＡ，ＤＢが連続するように設計することが可能になる。
【００１８】
なお、二重焦点光学系２に使用する複屈折結晶としては、水晶に限らず、方解石など、複屈折結晶であるならば制限がないものとする。
また、偏光フィルタ５は、偏光板３を複屈折結晶の光学軸Ｃ（図２参照）に対し平行な方向に配置していて、常時、偏光板３を透過する光が二重焦点光学系２の複屈折結晶の光学軸に平行な直線偏光になるように設定され、液晶駆動回路６により液晶素子４を駆動して液晶の配向を切換えることにより、偏光板３を通った光の偏光方向が９０°回転されるようにしている。この場合の液晶駆動回路６による液晶駆動は、後述するコントローラ９の指示により行なわれる。
【００１９】
なお、偏光板３の偏光方向は、複屈折結晶の光学軸Ｃに対し平行な方向に配置する例を述べたが、この偏光方向は、光学軸Ｃに垂直な方向でも構わない。また、偏光板３の偏光方向を回転させる手段は、液晶に限らず、電気的に偏光方向を変えられるものならば、特に限定しない。
【００２０】
一方、撮像手段７には、切換スイッチ８を接続している。この切換スイッチ８は、コントローラ９からの切換信号により上述した液晶駆動回路６による液晶駆動と同期して出力先を切換えるようにしている。
【００２１】
そして、この切換スイッチ８の出力先には、第１のフレームメモリ１０と第２のフレームメモリ１１を接続している。これら第１のフレームメモリ１０及び第２のフレームメモリ１１は、焦点位置の異なる２つの画像を各別に記憶するものである。
【００２２】
これら第１のフレームメモリ１０及び第２のフレームメモリ１１には、輝度比較回路１２を接続している。この輝度比較回路１２は、これら第１のフレームメモリ１０及び第２のフレームメモリ１１に記憶された焦点位置の異なる２つの画像の各画素の輝度を比較選択するもので、予め、コントローラ９によってしきい値Ｌ1 ，Ｌ2 （Ｌ1 ＜Ｌ2 ）を設定されていて、これらのしきい値Ｌ1 ，Ｌ2 に対し各焦点位置の画像の対応する画素の輝度を比較すると共に、この比較結果に基づいていずれか一方の画素を選択し画像の再合成を行なうようにしている。
【００２３】
そして、輝度比較回路１２には、第３のフレームメモリ１３を接続し、この第３のフレームメモリ１３に表示手段１４を介してモニタ１５を接続している。
第３のフレームメモリ１３は、輝度比較回路１２での再合成により画像データを記憶するようにしている。表示手段１４は、第３のフレームメモリ１３に記憶された画像データを表示信号に変換するもので、この表示信号に基づいた画像をモニタ１５に表示するようになっている。
【００２４】
次に以上のように構成した本実施の形態の動作を説明する。
まず、試料として図示しない３次元物体を顕微鏡１の図示しない試料ステージ上に載置するとともに、試料が二重焦点光学系２の焦点深度ＤＡ，ＤＢの範囲に位置するように試料ステージの高さを調整する。
【００２５】
この状態で、試料の観察画像は、偏光フィルタ５及び二重焦点光学系２を通って撮像手段７の撮像面に結像され撮像される。この場合、二重焦点光学系２前面に配置される偏光フィルタ５の液晶素子４は、コントローラ９の指示により液晶駆動回路６によって繰り返し駆動され、液晶の配向を切換えられるので、偏光板３を透過する光の偏光方向も切換えられるようになり、これに伴い二重焦点光学系２の焦点位置は、焦点位置ＯＡ（下側の焦点），ＯＢ（上側の焦点）の間で切換えられる。
【００２６】
また、この二重焦点光学系２の焦点位置の切換えと同期してコントローラ９より切換信号が切換スイッチ８に送られる。これにより、撮像手段７により、焦点位置ＯＡ焦点深度ＤＡ内の試料の観察画像と焦点位置ＯＢ焦点深度ＤＢ内の試料の観察画像が交互に撮像される。
【００２７】
同時に、切換スイッチ８の切換動作に応じて第１のフレームメモリ１０及び第２のフレームメモリ１１に送出され、焦点位置ＯＡ焦点深度ＤＡ内の試料の鮮明な画像が第１のフレームメモリ１０に、焦点位置ＯＢ焦点深度ＤＢ内の試料の鮮明な画像が第２のフレームメモリ１１にそれぞれ記憶される。
【００２８】
次に、これら第１のフレームメモリ１０及び第２のフレームメモリ１１に記憶された画像は、輝度比較回路１２に送られ、比較され選択される。この場合、輝度比較回路１２には、コントローラ９によってしきい値Ｌ1 、Ｌ2 を設定されている。この場合、輝度比較回路１２は、図３（ａ）に示すように第１のフレームメモリ１０に記憶されたある画素の輝度をＡ、同図（ｂ）に示すように第２のフレームメモリ１１に記憶された対応する画素の輝度をＢとすると、同図（ｃ）に示すように、これらの輝度Ａ，Ｂを比較するとともに、これらのいずれか一方を選択することで画像を再合成する。
【００２９】
輝度比較回路１２での比較選択の方法をさらに詳しく述べると、以下の３通りの条件がある。
（１）Ａ，Ｂ両方の輝度がしきい値Ｌ1 より小さい時は、合焦している画素の輝度と焦点の合っていない画素の輝度を比較すると、焦点の合っていない方の画素は注目している画素周辺の輝度の高いぼけ像のもれが加算されるため輝度が高くなる。そこで、Ａ，Ｂを比較したときに、輝度の低い方の画素を選択する。
【００３０】
（２）ＡまたはＢの少なくともどちらか一方がＬ1 とＬ2 の間にあるときは、その部分の画素の輝度がある程度高い場合を表しているのであり、注目している画素以外のぼけ像のもれの影響は少ない。一般に焦点の合っている画素と焦点の合っていない画素を比較すると、焦点が合っている画素のほうが輝度が高いので、Ａ，Ｂを比較したときに、輝度の高い方の画素を選択する。
【００３１】
（３）Ａ，Ｂのどちらか一方がＬ2 を越えている場合、その画素の部分の反射率が高いことを示しており、観察している試料の形状によっては、焦点の合っている画素と焦点の合っていない画素を比較すると、合っていない画素のほうが輝度が高くなる場合がある。この場合は、Ａ，Ｂを比較したときに、輝度の低い方の画素を選択する。
【００３２】
以上の３つの条件で比較を行なうが、（１）（３）のＡ，Ｂの輝度と画像のぼけの状態がこの条件に当てはまらない場合がある。このような場合は、最終的に得られる画像にぼけ像が乗り不鮮明な部分が出てくる。このときは、Ｌ1 ，Ｌ2 を調整することにより、Ｌ1 ，Ｌ2 による領域を設定し直す。これには、観察者が画像観察を行ないながらコントローラ９によりＬ1 、Ｌ2 の設定を行なうようになる。つまり、（１）の条件に合わない場合、すなわちＡ，Ｂのどちらかの輝度が著しく高いが、焦点の合っている画像と合っていない画像を比較すると合っている画像のほうが輝度が高くならない場合は、Ｌ2 の値を大きくするように調整すれば、誤ったＡ，Ｂの選択を回避することができる。また、（３）の条件に合わない場合、すなわちＡ，Ｂのどちらかの輝度が著しく低く、焦点の合っている画素と合っていない画素を比較すると、合っていない画素のほうが輝度が高くならない場合は、Ｌ1 の値を小さくすれば、誤ったＡ，Ｂの選択を回避することができる。これらのしきい値Ｌ1 ，Ｌ2 の設定は、観察を行なったときの不自然な画像の分布面積から観察者が容易に適正な値を決めることができる。
【００３３】
図４はこのような条件に基づいた具体的な比較フローを説明するもので、まず、ステップ４０１で輝度ＡとＢを比較し、Ｂ＞Ａならば、ステップ４０２で輝度Ｂとしきい値Ｌ1 を比較する。そして、Ｂ＜Ｌ1 ならば、ステップ４０３に進み、輝度Ａの画素を選択する。これをルート１とする。
【００３４】
また、ステップ４０２でＢ＞Ｌ1 を判断したならば、ステップ４０４で輝度Ｂの画素を選択し、次いで、ステップ４０５で輝度Ｂとしきい値Ｌ2 を比較する。そして、Ｂ＜Ｌ2 ならば、ステップ４０６に進み、輝度Ｂの画素を選択する。これをルート２とする。
【００３５】
また、ステップステップ４０５で、Ｂ＞Ｌ2 を判断したならば、ステップ４０７に進み、輝度Ａの画素を選択する。これをルート３とする。
一方、上記ステップ４０１でＢ＜Ａを判断した場合は、ステップ４０８で輝度Ａとしきい値Ｌ1 を比較する。そして、Ａ＜Ｌ1 ならば、ステップ４０９に進み、輝度Ｂの画素を選択する。これをルート４とする。
【００３６】
また、上記ステップ４０８でＡ＞Ｌ1 を判断したならば、ステップ４１０で輝度Ａの画素を選択し、次いで、ステップ４１１で輝度Ａとしきい値Ｌ2 を比較する。そして、Ａ＜Ｌ2 ならば、ステップ４１２に進み、輝度Ａの画素を選択する。これをルート５とする。
【００３７】
また、上記ステップ４１１で、Ａ＞Ｌ2 を判断したならば、ステップ４１３にに進み、輝度Ｂの画素を選択する。これをルート６とする。
これにより、輝度Ａ，Ｂとしきい値Ｌ1 ，Ｌ2 の関係と、選択される結果の関係は図５に示すようになる。この場合、ルート１〜６についてしきい値Ｌ1 ，Ｌ2 に対する輝度Ａ，Ｂの関係が図示されていて、このうち丸で囲んである方が選択結果である。
【００３８】
このような輝度比較回路１２での比較選択は、第１のフレームメモリ１０及び第２のフレームメモリ１１に記憶された画像の対応する全ての画素について行なわれ、この結果として、再合成された画像が第３のフレームメモリ１３に記憶され、さらに、この第３のフレームメモリ１３に記憶された画像は、表示手段１４で表示信号に変換されモニタ１５に表示されるようになる。
【００３９】
この結果、例えば図６に示すように高い面Ｘと低い面Ｙを有する試料２１について、図示矢印方向から観察を行なったとすると、第１のフレームメモリ１０には二重焦点光学系２の焦点位置ＯＡ焦点深度ＤＡ内の観察画像として図７（ａ）に示すように低い面Ｙに焦点の合った画像が取込まれ（この場合、同図の破線で示す高い面Ｘは、ぼけ画像となる。）、また、第２のフレームメモリ１１には二重焦点光学系２の焦点位置ＯＢ焦点深度ＤＢ内の観察画像として同図（ｂ）に示すように高い面Ｘに焦点の合った画像が取込まれる（この場合、同図の破線で示す低い面Ｙは、ぼけ画像となる。）。
【００４０】
そして、これら第１のフレームメモリ１０及び第２のフレームメモリ１１の画像が輝度比較回路１２で比較選択されることにより、第３のフレームメモリ１３には同図（ｃ）に示すように高い面Ｘと低い面Ｙともに焦点の合った画像が取込まれ、これがモニタ１５に表示されることになる。
【００４１】
したがって、このようにすれば、複屈折結晶である水晶を硝材として用いた二重焦点光学系２の焦点位置を、液晶素子４による液晶の配向の切換えにより、偏光板３を透過される光の偏光方向を９０°回転させることで切換えるようにしたので、機械的な動作を伴わずに焦点位置を切換えることができ、２つの合焦位置の画像を機械的振動を発生させることなく取込むことができ、これにより、このときの振動により観察対象が移動してマニピュレータやピンセットに触れるなどして作業をやり直しするような不都合がなくなり、かかる観察作業の効率低下を回避できる。
【００４２】
また、二重焦点光学系２の焦点位置の切換えを偏光板３と液晶素子４からなる偏光フィルタ５を用いることで、かかる焦点位置切換手段として複雑な機械的駆動機構を必要とすることなく、二重焦点光学系の焦点位置の切換えを行なうことができるようになり、その分装置構成の簡単化を実現できると共に、価格的にも安価にできる。
【００４３】
さらに輝度比較回路１２では、焦点位置の異なる２つの画像の各画素の輝度をしきい値と比較選択し、それぞれの画像のぼけ部分を低減させて画像を再合成することにより、従来の顕微鏡の分解能、作動距離を維持したまま２倍の高さの３次元物体の鮮明な観察画像を得られる。
【００４４】
なお、上述した実施の形態では、複屈折結晶を用いた二重焦点光学系と偏光板及び液晶素子により構成される偏光フィルタを用いる構成としたが、例えば、特開昭６０−５０５１０号公報に開示される液晶レンズに置き換えても、同様な効果が期待できる。
【００４５】
（第２の実施の形態）
以下本発明の第２の実施の形態に係る画像処理装置を図面に従って説明する。図８は画像処理装置全体の概略構成を示しており、基本的な構成及び動作は上記図１に示したものと同様であるので、同一部分には同一符号を付してその説明は省略する。
【００４６】
しかして、二重焦点光学系２と撮像手段７の間に複屈折結晶、例えば方解石による平行平板３１を配置する。この平行平板３１は、方解石の光軸が二重焦点光学系２の観察光軸と直交するように配置されるもので、使用する複屈折結晶は方解石に限らず、他のものであってもよい。
【００４７】
次に上記のように構成した本実施の形態の特に観察光学系の動作について図９乃至図１１を用いて説明する。図１０は本実施の形態の光学系部分であり、図１１は説明のために図１０から方解石の平行平板３１を取り除いた時の結像関係を示す図である。なお、図１１では偏光板３及び液晶素子４は省略している。
【００４８】
説明を容易にするために、撮像手段７としてＣＣＤカメラを用い、モニタ１５上に表示出力する際に試料を５０倍で観察できる、ビデオ倍率６０倍のビデオ顕微鏡について考えるものとする。このとき、光学系に要求される倍率は−０．８３倍程度とする。
【００４９】
複屈折結晶を硝材とするレンズは、上記第１の実施の形態で説明した如く複屈折結晶の光学軸に対する入射光線の偏光方向の違いにより２つの位置で焦点を結ぶようになっており、レンズの形状を上記図２に示すようにすると、常光線での焦点距離ｆo 及び異常光線での焦点距離ｆe は、上記式（１）及び（２）で表わすことができる。
【００５０】
硝材に屈折率ｎo ：１．５４４、ｎe ：１．５５３の水晶を用いて、−ｒ1 ＝ｒ2 ＝６６．８５１［ｍｍ］の二重焦点光学系２の焦点距離を計算すると、ｆo ＝６１．４４［ｍｍ］、ｆe ＝６０．４４［ｍｍ］となる。一般にレンズの結像関係は図９に示すように記号を定めると、結像倍率をβとして
ｚ＝−ｆ／β、ｚ′＝−β・ｆ′
となる。
【００５１】
二重焦点光学系２の光学軸に平行な偏光をもつ光線を光線Ａ、垂直な偏光をもつ光線を光線Ｂとし、それぞれの結像関係を図１１に示すように定めると、
ｚＡ＝−ｆo ／β、ｚＡ′＝−β・ｆo ′、 …(3)
ｚＢ＝−ｆe ／β、ｚＢ′＝−β・ｆe ′ …(4)
となる。
【００５２】
したがって、光線Ａ、光線Ｂによる結像倍率が−０．８３となるようにするためには、ｚＡ，ｚＡ′，ｚＢ，ｚＢ′はｚＡ＝−７４．０２［ｍｍ］、ｚＡ′＝５１．００［ｍｍ］、ｚＢ＝−７２．８２［ｍｍ］、ｚＢ′＝５０．１７［ｍｍ］とすればよい。このとき光線Ａと光線Ｂの物点位置は２．２［ｍｍ］離れ、焦点深度を拡大することができる反面、結像面が１．８３［ｍｍ］離れることとなる。
【００５３】
次に図１０に示すように方解石の平行平板３１が二重焦点光学系２と撮像手段７の間に配置されている状態について考える。平行平板３１は、その光学軸が光線Ａの偏光方向に対しては直交するように、そして光線Ｂの偏光方向に対しては平行になるように配置される。
【００５４】
そのため、平行平板３１は光線Ａに対しては異常光線として屈折率１．４８６の媒質として、光線Ｂに対しては常光線として屈折率１．６５８の媒質としてふるまう。このとき、結像位置の空気換算長は図１１に示すように平行平板３１がない結像位置と等しくならなければならない。
【００５５】
光線Ａ，Ｂの結像位置が等しくなるためには、二重焦点光学系２と撮像手段７の間隔をｚ′、その光線Ａ，Ｂに対する空気換算長をｚＡ″，ｚＢ″、平行平板３１の厚さをｄ、常光線に対する屈折率をｎo ′、異常光線に対する屈折率をｎe ′とすると、以下の式が成り立つ。すなわち、
ｚＡ″＝ｚ′−ｄ＋（ｄ／ｎe ′） …(5)
ｚＢ″＝ｚ′−ｄ＋（ｄ／ｎo ′） …(6)
上記図１１で示したように光線Ａ，Ｂの結像倍率を−０．８３とするためには、光線Ａ，Ｂに対する二重焦点光学系２と撮像手段７の間の空気換算長がそれぞれ
ｚＡ″＝ｚＡ′＋ｆo ′＝１１２．４４［ｍｍ］ …(7)
ｚＢ″＝ｚＢ′＋ｆe ′＝１１０．６１［ｍｍ］ …(8)
である必要がある。
【００５６】
したがって、これらから二重焦点光学系２と撮像手段７の間隔ｚ′と平行平板３１の厚さｄを求めると、ｚ′＝１２１．０［ｍｍ］、ｄ＝２６．２［ｍｍ］となり、ｚ′とｄを設計によって求めることができることがわかる。
【００５７】
このため、二重焦点光学系２と撮像手段７の間隔ｚ′を１２１．０［ｍｍ］とし、そこへ厚さ２６．２［ｍｍ］の平行平板３１を挿入すると、二重焦点光学系２と撮像手段７の換算長は光線Ａについては１１２．４４［ｍｍ］、光線Ｂについては１１０．６１［ｍｍ］となる。このことから、光線Ａと光線Ｂは物体上で２．２［ｍｍ］離れた位置の像が共に結合倍率−０．８３で撮像手段７の素子上に結像され、倍率の等しい像を取り込むことができるものとなる。
【００５８】
なお、液晶素子４により切換えられながら撮像手段７により撮像した画像の処理については上記第１の実施の形態と同様であるので、その説明は省略する。
このように、２つの合焦位置で得る像の結像倍率を等しくすることができるので、その２つの画像を取込んで合成した場合でも、得られる再合成画像上の各部位の長さが全て正確に一致するため、３次元物体のきわめて正確で鮮明な観察画像を得ることができる。
なお、本発明は上記第１及び第２の実施の形態に限定するものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能であるものとする。
【００６０】
【発明の効果】
請求項１記載の発明によれば、機械的な動作を伴わずに焦点位置を切換えることができ、２つの合焦位置の画像を機械的振動を発生させることなく取込むことができることに加えて、焦点位置切換手段として複雑な機械的駆動機構を用いることなく、二重焦点光学系の焦点位置を切換えることができる。
【００６１】
請求項２記載の発明によれば、上記請求項１記載の発明の効果に加えて、取込まれた２つの画像の各画素の輝度をしきい値と比較選択し、それぞれの画像のぼけ部分を低減させて画像を再合成するため、従来の顕微鏡の分解能、作動距離を維持したまま２倍の高さの３次元物体の鮮明な観察画像を得ることができる。
【００６２】
請求項３記載の発明によれば、上記請求項１記載の発明の効果に加えて、二重焦点光学系の２つの焦点による像の結像倍率が等しくなるため、それぞれの像による画像を再合成したときの画像上の長さが不一致となってしまうことがなく、３次元物体の正確で鮮明な観察画像を得ることができる。
請求項４記載の発明によれば、上記請求項４記載の発明の効果に加えて、上記結像倍率調節手段を簡易な構成で実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る概略構成を示す図。
【図２】同実施の形態に係る二重焦点光学系を説明するための図。
【図３】同実施の形態に係る輝度比較回路の動作を説明するための図。
【図４】同実施の形態に係る輝度比較回路の動作を説明するフローチャート。
【図５】同実施の形態に係る輝度比較回路の動作を説明するための図。
【図６】同実施の形態に係る具体的観察試料を示す図。
【図７】同実施の形態に係る具体的観察試料の観察画像例を示す図。
【図８】本発明の第２の実施の形態に係る概略構成を示す図。
【図９】同実施の形態に係る観察光学系の動作を説明する図。
【図１０】同実施の形態に係る観察光学系の動作を説明する図。
【図１１】同実施の形態に係る観察光学系の動作を説明する図。
【符号の説明】
１…顕微鏡
２…二重焦点光学系
３…偏光板
４…液晶素子
５…偏光フィルタ
６…液晶駆動回路
７…撮像手段
８…切換スイッチ
９…コントローラ
１０…第１のフレームメモリ
１１…第２のフレームメモリ
１２…輝度比較回路
１３…第３のフレームメモリ
１４…表示手段
１５…モニタ
２１…試料
３１…平行平板
Claims (4)
- 複屈折結晶による二重焦点光学系と、
この二重焦点光学系の焦点位置を機械振動を発することなく切換える焦点位置切換手段と、
上記二重焦点光学系で得られる画像をそれぞれ撮像する単一の撮像手段と、
上記焦点位置切換手段により切換えられる二重焦点光学系のそれぞれの焦点位置の画像を上記撮像手段から取込んで各別に記憶する記憶手段と、
この記憶手段に記憶された異なる焦点位置の画像の各画素の輝度を所定のしきい値との関係から比較選択して画像を再合成する画像処理手段と、
この画像処理手段により再合成された画像を表示する表示手段と
を具備し、
上記焦点位置切換手段は、二重焦点光学系の複屈折結晶の光学軸に平行な直線偏光が透過される偏光板と、この偏光板を透過する光の偏光方向を制御信号に応じて回転させる液晶素子を有する偏光フィルタからなる
ことを特徴とする画像処理装置。 - 上記画像処理手段は、予め異なる大きさのしきい値が設定され、これらのしきい値に対し各焦点位置の画像の対応する画素の輝度を比較すると共に、この比較結果に基づいて、いずれか一方の画素を選択し画像を再合成することを特徴とする請求項１記載の画像処理装置。
- 上記二重焦点光学系の対物レンズと上記撮像手段との間に配置され、上記焦点位置切換手段により切換えられる二重焦点光学系のそれぞれの焦点位置の画像の結像倍率が等しくなるように透過光の偏光方向に応じて該対物レンズと撮像手段との間の空気換算長を調節する単一の結像倍率調節手段をさらに具備したことを特徴とする請求項１記載の画像処理装置。
- 上記結像倍率調節手段は、上記対物レンズの光学軸と直交または平行な光学軸を有する複屈折結晶による平行平板からなることを特徴とする請求項３記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25855697A JP4274592B2 (ja) | 1997-05-13 | 1997-09-24 | 画像処理装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9-122210 | 1997-05-13 | ||
| JP12221097 | 1997-05-13 | ||
| JP25855697A JP4274592B2 (ja) | 1997-05-13 | 1997-09-24 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1132251A JPH1132251A (ja) | 1999-02-02 |
| JP4274592B2 true JP4274592B2 (ja) | 2009-06-10 |
Family
ID=26459379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25855697A Expired - Fee Related JP4274592B2 (ja) | 1997-05-13 | 1997-09-24 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4274592B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007240709A (ja) * | 2006-03-07 | 2007-09-20 | Matsushita Electric Ind Co Ltd | 多焦点眼鏡 |
| KR101398475B1 (ko) * | 2007-11-21 | 2014-05-26 | 삼성전자주식회사 | 디지털 영상 처리장치 및 그 제어방법 |
| JP2009169096A (ja) * | 2008-01-16 | 2009-07-30 | Fujifilm Corp | 撮像デバイス |
| JP5022964B2 (ja) * | 2008-03-28 | 2012-09-12 | 株式会社東芝 | 立体映像表示装置及び立体映像表示方法 |
| US8508589B2 (en) * | 2010-08-30 | 2013-08-13 | General Electric Company | Imaging systems and associated methods thereof |
| WO2013088861A1 (ja) | 2011-12-16 | 2013-06-20 | オリンパスメディカルシステムズ株式会社 | 深度拡大装置 |
| CN104603668B (zh) * | 2012-06-07 | 2017-03-15 | 索尼公司 | 图像处理装置、图像处理程序及图像处理方法 |
| JP6351105B2 (ja) * | 2014-09-29 | 2018-07-04 | オリンパス株式会社 | 画像処理装置、撮像装置および画像処理方法 |
| CN115037850B (zh) * | 2021-03-05 | 2023-10-20 | 电子科技大学 | 基于液晶透镜的图像采集方法、装置、设备及存储介质 |
| EP4167010A1 (en) * | 2021-10-13 | 2023-04-19 | Abberior Instruments GmbH | Focusing device, focusing system, microscope and method for imaging and/or localizing molecules or particles in a sample |
-
1997
- 1997-09-24 JP JP25855697A patent/JP4274592B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1132251A (ja) | 1999-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9245317B2 (en) | Optically enhanced digital imaging system | |
| US7248403B2 (en) | Microscopic image capture apparatus and microscopic image capturing method | |
| KR910000617B1 (ko) | 영상 픽업 장치 | |
| JP5532459B2 (ja) | 顕微鏡システム | |
| JP4274592B2 (ja) | 画像処理装置 | |
| US6233035B1 (en) | Image recording apparatus and image reproducing apparatus | |
| JP2001238229A (ja) | 立体画像撮影装置及び立体画像表示装置並びに立体画像撮影表示システム | |
| JPH11127382A (ja) | 画像処理装置 | |
| JPH1172717A (ja) | 顕微鏡デジタル写真撮影システム | |
| JP5730696B2 (ja) | 画像処理装置および画像表示システム | |
| JP3816615B2 (ja) | 基板検査装置 | |
| JP2000278558A (ja) | 顕微鏡用デジタルカメラ | |
| US7605353B2 (en) | Method and apparatus for creating high-quality digital images | |
| KR20050093877A (ko) | 광경로 제어를 통해 깊이감이 향상된 입체 디스플레이시스템 | |
| KR20010086239A (ko) | 광파이버관찰용 화상처리장치와 그것을 구비한광파이버융착접속장치 | |
| JP2010119029A (ja) | 撮像装置 | |
| JP2002354319A (ja) | 顕微鏡電子カメラ | |
| JP2005107361A (ja) | 走査型画像表示装置およびそれを有する映像撮影装置 | |
| JPH05227460A (ja) | 大きな焦点深度を得るための撮像方法及び大きな焦点深度が得られる撮像システム | |
| JP2006235488A (ja) | 走査型画像観察装置 | |
| JPH05127087A (ja) | 顕微鏡システム | |
| JP2003195217A (ja) | 画像記録装置及び画像再生装置 | |
| JP2012032963A (ja) | 偏光撮影装置 | |
| JPH02272413A (ja) | 顕微鏡装置 | |
| JP2001333312A (ja) | 電子双眼鏡 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051101 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051227 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060425 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060623 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060712 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20061208 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090303 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130313 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140313 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |