JP4217427B2

JP4217427B2 - Microscope imaging device

Info

Publication number: JP4217427B2
Application number: JP2002154187A
Authority: JP
Inventors: 真治松下
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2002-05-28
Filing date: 2002-05-28
Publication date: 2009-02-04
Anticipated expiration: 2022-05-28
Also published as: JP2003344782A

Description

【０００１】
【発明の属する技術分野】
本発明は、顕微鏡に付属する撮像装置に関し、具体的には、撮像装置の撮像素子の出力信号を用いて標本への合焦情報を表示する方法に関する。
【０００２】
【従来の技術】
顕微鏡用撮像装置や画像測定装置の撮像素子の出力信号を用いて標本への合焦情報を表示する方法として、以下のような技術が知られている。
【０００３】
特開平１１−２８３０３５号公報には、画像のコントラスト値を示すインジケータ表示させるフォーカス調整装置が開示されている。この装置において、画像の最大コントラスト時に１００％表示になるようにコントラスト値を表示させており、コントラスト値を粗い単位で表示する粗スケールと細かい単位で表示する細スケールとを組み合わせて、ピーク時において正確な合焦位置に合わせこむのを容易にしている。
【０００４】
しかし、特開平１１−２８３０３５号公報に開示された技術では、インジケータの表示は、一旦ピーク値が検出された時のピーク位置におけるコントラスト値や、コントラスト曲線を推定して求められたピーク位置におけるコントラスト値を１００％として行われる。このため、顕微鏡の観察条件を変更する操作、例えば標本を変更する等の操作を検鏡者が行ったときに、前回観察した時のピーク位置におけるコントラスト値が高く、次の観察ではピーク位置におけるコントラスト値が低くなった場合には、インジケータの表示が低いところでしか振れない。このため、フォーカシングしにくくなってしまい、これを防ぐには記憶されているコントラスト値の最大値を手動でリセットするなどの余分な作業が必要となる。
【０００５】
また、特開２０００−２７８５５８号公報には、顕微鏡の接眼レンズ側とカメラ側の焦点位置を一致させるための調整方法が開示されており、標本への合焦情報がモニタにインジケータ表示され、これを見ながらカメラの結像レンズを調整することにより焦点合わせが行われる。
【０００６】
しかし、特開２０００−２７８５５８号公報に開示された技術では、標本への合焦情報はモニタにインジケータ表示されるが、コントラスト値の大小に関係なく、一定のコントラスト値により正規化して表示されるため、標本によってはインジケータの表示が低いところでしか振れず、フォーカス位置が見つけにくい可能性が高い。すなわち、特開２０００−２７８５５８号公報に示された技術では、フォーカスインジケータＯＮ直後のコントラスト値で正規化するので、サンプルの変更や対物レンズの変更などによって、インジケータが低いところでしか振れない可能性がある。
【０００７】
【発明が解決しようとする課題】
上記の課題を解決するために、本発明は、顕微鏡の観察条件や標本が変更された場合でも、それぞれに対応してフォーカスインジケータのスケールを変更し、フォーカシングし易い顕微鏡用撮像装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明による顕微鏡用撮像装置は、顕微鏡による観察像の撮像に適用される撮像手段と、前記撮像手段より出力される撮像画像のコントラスト値を算出するコントラスト算出手段と、前記コントラスト値を表示するコントラスト表示手段とを備え、前記コントラスト値表示手段で表示中のコントラスト値が所定の最小しきい値より低い場合、若しくは、表示中のコントラスト値が所定の最大値より大きい場合には、前記撮像手段で撮像された画像のコントラスト値を正規化して表示することを特徴とする。
【０００９】
本発明による別の顕微鏡用撮像装置は、顕微鏡による観察像の撮像に適用される撮像手段と、前記撮像手段より出力される撮像画像のコントラスト値を算出するコントラスト算出手段と、前記コントラスト値を表示するコントラスト表示手段とを備え、前記撮像画像の露出時間の時間変化量が所定値を超えるとき、前記撮像手段で撮像された画像のコントラスト値を正規化して表示することを特徴とする。
【００１０】
本発明によるまた別の顕微鏡用撮像装置は、顕微鏡による観察像の撮像に適用される撮像手段と、前記撮像手段より出力される撮像画像のコントラスト値を算出するコントラスト算出手段と、前記コントラスト値を表示するコントラスト表示手段とを備え、前記コントラスト値の時間変化量が基準値以下であるとき、前記撮像手段で撮像された画像のコントラスト値を正規化して表示することを特徴とする。
【００１４】
【発明の実施の形態】
図面を参照して本発明の実施の形態を説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る顕微鏡用撮像装置が適用される顕微鏡システムの構成を示す図である。図１において、顕微鏡本体１には、試料ステージ２６上に載置された試料３に対向するように対物レンズ２７が配置されている。また、この対物レンズ２７を介した観察光軸上の顕微鏡本体１上部には、三眼鏡筒ユニット５が配置されている。また、三眼鏡筒ユニット５を介して接眼レンズユニット６が配置されていると共に、三眼鏡筒ユニット５の上部には、結像レンズユニット１００を介して撮像装置３６が配置されている。
【００１５】
図２は、図１に示す顕微鏡システムの詳細な構成を示す図である。図２に示す顕微鏡システムは、例えば、透過明視野観察、暗視野観察、位相差観察、微分干渉観察、蛍光観察などの各種の検鏡法を適宜選択することが可能に構成されている。
図２に示す顕微鏡システムは、照明系として、透過照明光学系１１及び落射照明光学系１２を備えている。
透過照明光学系１１は、透過照明用光源１３と、コレクタレンズ１４と、透過用フィルタユニット１５と、透過視野絞り１６と、透過シャッタ１６１と、折曲げミラー１７と、透過開口絞り１８と、コンデンサ光学素子ユニット１９と、トップレンズユニット２０とを備えている。透過照明用光源１３から照射される透過照明光の光路上に、透過照明用光源１３側からコレクタレンズ１４からトップレンズユニット２０の各光学素子が順に配置されている。なお、コレクタレンズ１４は、透過照明用光源１３から透過照明光を集光する。
落射照明光学系１２は、落射照明用光源２１と、落射用フィルタユニット２２と、落射シャッタ２３と、落射視野絞り２４と、落射開口絞り２５とを備えている。落射照明用光源２１から照射される落射照明光の光路上に、落射照明用光源２１側から落射用フィルタユニット２２から落射開口絞り２５の各光学素子が順に配置されている。
【００１６】
透過照明光学系１１と落射照明光学系１２との光軸が重なる観察光路Ｓ上に、試料ステージ２６と、レボルバ２８と、対物レンズ側光学素子ユニット２９と、キューブユニット３０と、ビームスプリッタ３１とが配置されている。試料ステージ２６には、観察の対象となる標本が載置される。レボルバ２８には、対物レンズ２７が複数装着され、このレボルバ２８により、１つの対物レンズ２７が回転動作で選択され観察光路Ｓ上に位置される。キューブユニット３０は、例えば透過明視野観察または蛍光観察などの各種検鏡法に応じて観察光路Ｓ上のダイクロイックミラーを切り替える。ビームスプリッタ３１は、三眼鏡筒ユニット５内に配置されており、観察光路Ｓを、接眼レンズ方向への第１の観察光路Ｓ′と、撮像装置３６方向への第２の観察光路Ｓ″に分岐する。
【００１７】
第１の観察光路Ｓ′上には、接眼レンズ６ａが配置されており、接眼レンズ６ａを通過した観察光は検鏡者によって観察される。また、第２の観察光路Ｓ″上には、中間変倍光学系（ズーム鏡筒）３３及び写真接眼レンズユニット３５からなる結像レンズユニット１００と、撮像装置３６とが配置されており、観察光が撮像装置３６によって撮影可能となっている。なお、撮像装置３６は、詳細は後述する図示しない表示部を備えており、この表示部に、現在のコントラスト値が合焦状態であるかどうかを示すフォーカスインジケータが表示される。
【００１８】
中間変倍光学系（ズーム鏡筒）３３は、撮像装置３６で撮像される像を変倍するための変倍ズームレンズ３３ａを内蔵している。なお、中間変倍が不要な場合は、この中間変倍光学系（ズーム鏡筒）３３を取り外すことができる。撮像装置３６は、その内部に撮像素子４２を備えている。
【００１９】
対物レンズ２７からの観察光は、写真接眼レンズユニット３５内の写真接眼レンズ３５ａによって撮像素子４２の撮像面に結像する。なお、透過照明光学系１１における透過用フィルタユニット１５、透過視野絞り１６、透過シャッタ１６１、透過開口絞り１８、コンデンサ光学素子ユニット１９、及びトップレンズユニット２０、落射照明光学系１２における落射用フィルタユニット２２、落射シャッタ２３、落射視野絞り２４、及び落射開口絞り２５、レボルバ２８、対物レンズ側光学素子ユニット２９、キューブユニット３０、ビームスプリッタ３１、及び中間変倍光学系（ズーム鏡筒）３３は、駆動回路部３７からの各駆動信号によって図示しない各モータにより駆動される。
【００２０】
また、レボルバ２８、対物レンズ側光学素子ユニット２９及び写真接眼レンズユニット３５には、それぞれ、対物レンズ検出部３８、リタデーション調整動作検出部３９及び写真接眼レンズ検出部４０が配置されている。対物レンズ検出部３８は、観察光路Ｓ上に位置される対物レンズ２７の種類を検出する。リタデーション調整動作検出部３９は、リタデーション調整動作を検出する。また、写真接眼レンズ検出部４０は、写真接眼レンズの種類を検出する。
【００２１】
顕微鏡コントロール部４１は、顕微鏡全体の動作を制御する。顕微鏡コントロール部４１には、透過照明用光源１３、落射照明用光源２１、駆動回路部３７、対物レンズ検出部３８、リタデーション調整動作検出部３９、写真接眼レンズ検出部４０、及び撮像装置３６が接続されている。
【００２２】
顕微鏡コントロール部４１は、検鏡者による図示しない操作部の操作に従って、透過照明用光源１３及び落射照明用光源２１の調光を行う。更に、顕微鏡コントロール部４１は、駆動回路部３７に対して各種の制御指示を行う。加えて、顕微鏡コントロール部４１は、透過照明用光源１３及び落射照明用光源２１に対する制御状態や、駆動回路部３７に対する制御状態を始めとして、対物レンズ検出部３８、リタデーション調整動作検出部３９、及び写真接眼レンズ検出部４０からの検出情報を撮像装置３６へ出力することにより、撮像装置３６におけるフォーカスインジケータ表示を自動設定する。
【００２３】
図３を参照して、第１の実施形態に係るフォーカスインジケータ表示時における信号の流れを説明する。図３は、本発明の第１の実施形態に係る顕微鏡における各検出部と撮像装置３６の概略構成とを示す図である。
撮像装置３６は、撮像素子４２と、Ａ／Ｄ変換器４３と、タイミングジェネレータ４４と、フレームメモリ４５と、メモリコントローラ４６と、コントラスト演算部４７と、表示部４８と、制御部４９を備えている。顕微鏡は、対物レンズ検出部５０と、写真接眼レンズ検出部５１と、検鏡法検出部５２とを備えている。
上記のような構成において、撮像素子４２は、顕微鏡からの入射光を電気信号に変換する。なお、タイミングジェネレータ４４によって、撮像素子４２の駆動タイミング信号が発生される。この撮像素子４２から出力された電気的アナログ信号は、Ａ／Ｄ変換器４３で、デジタル信号に変換される。Ａ／Ｄ変換されたデジタル信号はフレームメモリ４５に記憶される。また、メモリコントローラ４６は、フレームメモリ４５の書き込み／読み出しアドレスを制御する。コントラスト演算部４７は、メモリコントローラ４６を介して読み出しアドレスを指定して、指定したアドレスから撮影画像データを読み出して画像のコントラスト値を計算する。表示部４８は、撮影画像と共にコントラスト演算部４７で計算されたコントラスト値をフォーカスインジケータ表示として表示する。なお、制御部４９は、撮像装置３６の諸部位の制御を行う。
また、対物レンズ検出部５０は、現在、光路に配置されている対物レンズの種類を検出する。写真接眼レンズ検出部５１は、写真接眼レンズの倍率を検出する。検鏡法検出部５２は、明視野、暗視野、蛍光、偏光、微分干渉等の検鏡法の切り替えを検出する。
【００２４】
上記のように構成された第１の実施形態に係る撮像装置３６を含む顕微鏡システムにおいて、フォーカスインジケータ表示に係る動作を説明する。
検鏡者は、顕微鏡１を操作して、標本３を観察すると共に、必要に応じて撮像装置３６で画像を記録する。観察および記録の際は標本３にピントを合わせる必要があるが、このピント合わせを容易にするため、以下のようなフォーカスインジケータ表示が行われる。
【００２５】
まず、タイミングジェネレータ４４から発生された信号に応じて撮影が行われると、撮像素子４２に標本３の画像に応じた電荷が蓄積される。撮像素子４２に蓄積された電荷（電気信号）は、撮影の終了後に撮像素子４２から読み出されて、Ａ／Ｄ変換器４３に入力する。Ａ／Ｄ変換器４３は、撮像素子４２から入力した画像信号をアナログ／デジタル変換によりデジタル信号（デジタル画像データ）に変換する。このデジタル画像データは、フレームメモリ４５に格納される。メモリコントローラ４６によって、フレームメモリ４５の書き込み／読み出しを制御することにより、撮像素子４２からの画像データをリアルタイムにフレームメモリ４５に記録すると同時に表示部４８にリアルタイム画像を表示する。
【００２６】
コントラスト演算部４７は、フレームメモリ４５から記録された画像データを読み出して、コントラスト値を計算する。コントラスト演算部４７で計算されたコントラスト値は、表示部４８に表示される。この場合において、コントラスト値の表示を、例えば、棒グラフなどを用いて、視覚的にそのコントラスト値の大きさが分かるような表示を行うとフォーカシングがやり易い。
【００２７】
図４は、コントラスト特性を示す図である。図４において、縦軸はコントラスト値であり、横軸はＺ方向（光軸に沿った方向）におけるステージ位置を示す。
コントラスト値は、例えば隣り合う画素データの差の２乗和などにより求められ、図４に示すように標本に焦点が合った位置（すなわち、合焦位置）で最も高い値を示す。このコントラスト値は、画像の空間周波数が高い低倍観察時は比較的高く、高倍観察時は低い値になる傾向があるが、標本の種類や、観察方法などによりその値は大きく異なる。このため、第１の実施形態では、次のような制御が行われる。
インジケータを表示開始した値を元に、過去のコントラスト値の最大値（ＭＡＸ値）に基づいてコントラスト値を正規化して表示する（図５（ａ））。従って、現在のコントラスト値は、０からＭＡＸ値との間に表示される。ここで、コントラスト値が、ＭＡＸ値を越えた場合には（図５（ｂ））、インジケータの表示が飽和し、表示ができなくなってしまう。従って、この場合には、正規化するための基準値を新たな（現在の）最大のコントラスト値で置き換えて（図５（ｃ））、グラフが飽和しないようにする〈以後、このインジケータの正規化値を再設定することをインジケータの「リセット」と称する〉。この時、現在の最大コントラスト値をそのまま１００％とすると、またコントラスト値が１００％を越えるおそれが出てくるため、例えば、インジケータの８０％の位置をリセット位置として、リセット位置に現在のコントラスト値がくるようにする。このように、コントラスト値がＭＡＸ値を越える場合に加えて、対物レンズ検出部５０、写真接眼レンズ検出部５１、検鏡法検出部５２の検出結果により、それ以降のコントラスト値が変化することが予想される場合に、インジケータのリセットを行うことが好ましい。
また、インジケータの表示幅が小さく（狭く）、表示が見にくい場合が考えられる。この場合には、例えば、インジケータの表示が２０％以下であれば、インジケータのリセットを行って、表示を見やすくすることが好ましい。
【００２８】
図６及び図７を用いて、第１の実施形態の具体的な処理について説明する。図６は、コントラスト計算処理に係るフローチャートである。
コントラスト値の計算は、１フレーム分の画像がフレームメモリ４５に蓄えられた時点で開始されるため、通常タイミングジェネレータから出力される垂直同期信号などを用いて割り込み処理として行われる。
まず、割り込みが発生すると、コントラスト演算部４７は、メモリコントローラ４６を介してフレームメモリ４５から画像データを読み出して（ステップＡ１）、コントラスト値を計算する（ステップＡ２）。コントラスト演算部４７で計算されたコントラスト値は、現在のコントラスト値として更新・保存されて（ステップＡ３）、割り込み処理を終了する。
【００２９】
図７は、図６のフローチャートに従って計算されたコントラスト値の表示処理に係るフローチャートである。
表示処理が開始されると、現在のコントラスト値（インジケータ上ではインジケータ現在値：Ｅｖａｌ＿ｃｕｒ）が過去のコントラスト値の最大値（インジケータ上ではインジケータ最大値：Ｅｖａｌ＿ｍａｘ）よりも大きいか否か（Ｅｖａｌ＿ｃｕｒ＞Ｅｖａｌ＿ｍａｘ？）が判定される（ステップＢ１）。現在のコントラスト値の方が大きい場合、インジケータが飽和しているかどうか（Ｅｖａｌ＿ｃｕｒ＞Ｅｖａｌ＿ＭＡＸ？）、すなわち、現在のコントラスト値がインジケータの１００％表示を越えているかどうか、が判定される（ステップＢ２）。ステップＢ２において、インジケータが飽和している場合には、インジケータがリセットされる（ステップＢ３）。この場合において、インジケータのリセットは、所定の値（例えば、８０％）をインジケータ現在値（Ｅｖａｌ＿ｃｕｒ）とインジケータ最大値（Ｅｖａｌ＿ｍａｘ）に代入することによって行われる。すなわち、現在のコントラスト値をインジケータの、例えば、８０％表示位置とする。これにより、これ以降において、現在のコントラスト値より高いコントラスト値が検出された場合でも、インジケータのリセットをその都度行う必要がなくなる。なお、ステップＢ２において、インジケータが飽和していない場合は現在のコントラスト値を最大値に更新する（Ｅｖａｌ＿ｍａｘ＝Ｅｖａｌ＿ｃｕｒ：ステップＢ４）。
【００３０】
ステップＢ１において、現在のコントラスト値が最大値に満たなかった場合には、現在のコントラスト値が最小しきい値（ＭＩＮ値：例えば、インジケータ表示の２０％）以下であるかどうかが判定される（ステップＢ５）。ステップＢ５において、現在のコントラスト値がＭＩＮ値以下である場合には、インジケータの振れが小さすぎるため、インジケータのリセットを行う（ステップＢ３）。この場合においても、例えば、現在のコントラスト値をインジケータの、例えば、８０％表示位置とする。
【００３１】
ステップＢ５において、現在のコントラスト値が最小しきい値より大きい場合には、対物レンズの切り替えを検出したかどうかが判定される（ステップＢ６）。ステップＢ６において、対物レンズの切り替えを検出した場合、インジケータのリセットを行う（ステップＢ３）。以下、写真接眼レンズの切り替えを検出した場合〈ステップＢ７〉や、検鏡切り替えを検出した場合（ステップＢ８）についても、対物レンズの切り替えを検出した場合と同様に、インジケータのリセットを行い（ステップＢ３）、いずれの切り替えも検出していない場合は処理を終了する。
【００３２】
上記の第１の実施形態で説明したインジケータのＭＩＮ値（２０％）や、リセット後の設定値（８０％）は一例であり、任意に設定可能である。また、これらのパラメータを複数用意して、対物レンズ、写真接眼レンズ、検鏡法ごとに、設定値を切り替えることも可能である。また、計算されたコントラスト値に対してオフセット値の演算などにより、インジケータの反応を鋭敏にすることも考えられる。
【００３３】
また、第１の実施形態のようにインジケータのリセットを自動で行う他、操作部にフォーカスインジケータのリセットボタンを設けたり、メニューからの操作によってインジケータのリセットを行うことも可能であるし、例えば半導体検査工程などのように、観察方法、標本が特定されている場合はインジケータのリセットを行わないようにすることも可能である。
【００３４】
更に、フォーカスインジケータのリセットのタイミングはセンサにより顕微鏡のそれそれの部位が動作完了したことを検出するのみならす、電動顕微鏡では、それそれの部位の切り替えスイッチが押下された時点でインジケータのリセットを行っても良い。また、顕微鏡の観察条件ごとにカメラの設定が保存されている場合は、そのデータが読み出されたときにインジケータのリセットを行うことも可能である。
【００３５】
（第２の実施形態）
第２の実施形態に係る顕微鏡システムの構成およびその詳細構成は、図１及び図２と同一であるため、図示及び説明を省略する。
図８を参照して、第２の実施形態に係るフォーカスインジケータ表示時における信号の流れを説明する。図８は、第２の実施形態に係る撮像装置３６の概略構成を示す図である。なお、図８において、図３と同じ部分には、同じ符号を付し、詳細な説明を省略する。
第２の実施形態では、第１の実施形態に係る撮像装置３６にＡＥ演算部５３が追加されている。また、顕微鏡１に備えられた対物レンズ検出部５０と、写真接眼レンズ検出部５１と、検鏡法検出部５２からの各検出部からの信号入力を行わない構成となっている。本構成において、ＡＥ演算部５３は、最適な露出時間を計算する。
【００３６】
上記のように構成された第２の実施形態に係る撮像装置３６において、フォーカスインジケータ表示に係る動作を説明する。
検鏡者は、顕微鏡１を操作して、標本３を観察すると共に、必要に応じて撮像装置３６で画像を記録する。観察および記録の際は標本３にピントを合わせる必要があるが、このピント合わせを容易にするため、以下のようなフォーカスインジケータ表示が行われる。
【００３７】
まず、タイミングジェネレータ４４から発生された信号に応じて撮影が行われると、撮像素子４２に標本３の画像に応じた電荷が蓄積される。撮像素子４２に蓄積された電荷（電気信号）は、撮影の終了後に撮像素子４２から読み出されて、Ａ／Ｄ変換器４３に入力する。Ａ／Ｄ変換器４３は、撮像素子４２から入力した画像信号をアナログ／デジタル変換によりデジタル信号（デジタル画像データ）に変換する。このデジタル画像データは、フレームメモリ４５に格納される。メモリコントローラ４６によって、フレームメモリ４５の書き込み／読み出しを制御することにより、撮像素子４２からの画像データをリアルタイムにフレームメモリ４５に記録すると同時に表示部４８にリアルタイム画像を表示する。
【００３８】
コントラスト演算部４７は、フレームメモリ４５から記録された画像データを読み出して、コントラスト値を計算する。コントラスト演算部４７で計算されたコントラスト値は、表示部４８に表示される。一方、フレームメモリ４５から読み出されたデータはＡＥ演算部５３に入力し、当該データに基づいて最適な露出時間が計算される。計算された露出時間は制御部４９によりタイミングジェネレータ４４に設定され、次回からの撮影に使用されると共に、露出時間が大きく変動した場合は、顕微鏡の観察条件が変化したか、標本が切り替えられたと判断し、フォーカスインジケータのリセットを行う。
【００３９】
図９及び図１０を用いて、第２の実施形態の具体的な処理について説明する。図９及び図１０において、図３及び図７と同じ部分には、それぞれ同じ符号を付している。図９は、コントラスト計算処理に係るフローチャートである。
図９に示すコントラスト値計算は、第１の実施形態と同様に割り込み処理として行われる。まず、割り込みが発生すると、コントラスト演算部４７は、メモリコントローラ４６を介してフレームメモリ４５から画像データを読み出して（ステップＡ１）、コントラスト値を計算する（ステップＡ２）。コントラスト演算部４７で計算されたコントラスト値は、現在のコントラスト値として更新・保存される（ステップＡ３）。ステップＡ１でフレームメモリ４５から読み出された画像データは、コントラスト演算部４７以外に、ＡＥ演算部５３にも入力され、ＡＥ演算部５３で露出時間が計算される（ステップＣ１）。ＡＥ演算部５３で計算された露出時間は、現在の露出時間として更新・保存される（ステップＣ２）。以上の一連の処理を行い、割り込みを終了する（ステップＡ４）。
【００４０】
図１０は、図９のフローチャートに従って計算されたコントラスト値の表示処理に係るフローチャートである。
表示処理が開始されてから、ステップＢ５までの処理は、図７と同様である。すなわち、表示処理が開始されると、現在のコントラスト値が過去のコントラスト値の最大値よりも大きいか否かが判定される（ステップＢ１）。現在のコントラスト値の方が大きい場合、インジケータが飽和しているかどうかが判定される（ステップＢ２）。ステップＢ２において、インジケータが飽和している場合には、インジケータがリセットされる（ステップＢ３）。なお、ステップＢ２において、インジケータが飽和していない場合は現在のコントラスト値を最大値に更新する（ステップＢ４）。ステップＢ１において、現在のコントラスト値が最大値に満たなかった場合には、現在のコントラスト値が最小しきい値以下であるかどうかが判定される（ステップＢ５）。ステップＢ５において、現在のコントラスト値がＭＩＮ値以下である場合には、インジケータのリセットを行う（ステップＢ３）。
【００４１】
ステップＢ５において、現在のコントラスト値が最小しきい値より大きい場合には、ＡＥ演算部５３で求めた今回の露出時間と前回の露出時間を比較する（ステップＤ１）。今回の露出時間と前回の露出時間との差（の絶対値）が、露出変化判定しきい値以上の場合には（例えば、±２ＥＶ以上）、顕微鏡の観察条件もしくは標本が切り替えられたものと判断して、この後のコントラスト値の変化に対応するためインジケータのリセットを行う。なお、ステップＤ１において、今回の露出時間と前回の露出時間との差が、しきい値より小さい場合には、処理を終了する。
【００４２】
上記の第２の実施形態においては、今回の露出時間と前回の露出時間との差が±２ＥＶ以上の時をインジケータをリセットする場合の判定基準としたが、このしきい値は、任意に設定可能としても良い。また、今回の露出時間と前回の露出時間との差ではなく、露出時間の履歴を長く取り、以前のデータ（或いは、その累積データ）と比較判定することで、撮影画像などに混入したノイズなどによる露出時間演算結果のノイズを除去し、観察条件切り替えまたは標本切り替えを正確に判定することも可能である。
【００４３】
また、第２の実施形態のようにインジケータのリセットを自動で行う他、第１の実施形態と同様に、操作部にフォーカスインジケータのリセットボタンを設けたり、メニューからの操作によってインジケータのリセットを行うことも可能であるし、例えば半導体検査工程などのように、観察方法、標本が特定されている場合はインジケータのリセットを行わないようにすることも可能である。
【００４４】
（第３の実施形態）
第３の実施形態に係る顕微鏡システムの構成およびその詳細構成は、図１及び図２と同一であるため、図示及び説明を省略する。
図１１を参照して、第３の実施形態に係るフォーカスインジケータ表示時における信号の流れを説明する。図１１は、第３の実施形態に係る撮像装置３６の概略構成を示す図である。なお、図１１において、図８と同じ部分には、同じ符号を付し、詳細な説明を省略する。
第３の実施形態では、撮像装置３６は、第２の実施形態に係るＡＥ演算部５３に代えて、タイマカウント部５４を備えている。このタイマカウント部５４は、コントラスト値の履歴を時間と関連付けるため、定期的なタイミングでカウントアップする。
【００４５】
上記のように構成された第３の実施形態に係る撮像装置３６において、フォーカスインジケータ表示に係る動作を説明する。
検鏡者は、顕微鏡１を操作して、標本３を観察すると共に、必要に応じて撮像装置３６で画像を記録する。観察および記録の際は標本３にピントを合わせる必要があるが、このピント合わせを容易にするため、以下のようなフォーカスインジケータ表示が行われる。
【００４６】
まず、タイミングジェネレータ４４から発生された信号に応じて撮影が行われると、撮像素子４２に標本３の画像に応じた電荷が蓄積される。撮像素子４２に蓄積された電荷（電気信号）は、撮影の終了後に撮像素子４２から読み出されて、Ａ／Ｄ変換器４３に入力する。Ａ／Ｄ変換器４３は、撮像素子４２から入力した画像信号をアナログ／デジタル変換によりデジタル信号（デジタル画像データ）に変換する。このデジタル画像データは、フレームメモリ４５に格納される。メモリコントローラ４６によって、フレームメモリ４５の書き込み／読み出しを制御することにより、撮像素子４２からの画像データをリアルタイムにフレームメモリ４５に記録すると同時に表示部４８にリアルタイム画像を表示する。
【００４７】
コントラスト演算部４７は、フレームメモリ４５から記録された画像データを読み出して、コントラスト値を計算する。コントラスト演算部４７で計算されたコントラスト値は、表示部４８に表示される。この時、タイマカウント部５４は、所定の時間間隔毎に（すなわち、定期的なタイミングで）、当該時刻と累積カウント値が、当該時刻に応じたコントラスト値と共に履歴データとして保存される。そして、一定期間コントラスト値の変化がない場合には、合焦位置近傍のフォーカス微調整期間であるものと判断し、インジケータのリセットを行う。
【００４８】
図１２を用いて、第３の実施形態の具体的な処理について説明する。図１２において、図７と同じ部分には、同じ符号を付している。
なお、本実施形態の説明において、過去５秒間のコントラスト値の変化量がしきい値以下（５％）の場合をインジケータのリセット条件とするものとして説明する。なお、コントラスト値の計算は、第１の実施形態と同様に、割り込み処理として行われる（図６）。従って、コントラスト値の計算については、図示及び説明は省略する。
【００４９】
図１２は、計算されたコントラスト値の表示処理に係るフローチャートである。
表示処理が開始されてから、ステップＢ５までの処理は、図７と同様である。すなわち、表示処理が開始されると、現在のコントラスト値が過去のコントラスト値の最大値よりも大きいか否かが判定される（ステップＢ１）。現在のコントラスト値の方が大きい場合、インジケータが飽和しているかどうかが判定される（ステップＢ２）。ステップＢ２において、インジケータが飽和している場合には、インジケータがリセットされる（ステップＢ３）。そして、連続リセット用カウンタのカウント値をリセット（ｃｏｕｎｔ＝０）する（ステップＥ４）。ここで、連続リセット用カウンタとは、コントラスト値の変化履歴がしきい値以下に収まっている時間を示す変数で、図示しないタイマ割り込み処理により、一定期間ごとにカウントアップ（インクリメント）される。このカウンタが連続リセット時間（すなわち、所定カウント値：ＣＯＵＮＴ＿ＣＯＮＴ）以上になると、インジケータがリセットされる。なお、ステップＢ２において、インジケータが飽和していない場合は現在のコントラスト値を最大値に更新する（ステップＢ４）。ステップＢ１において、現在のコントラスト値が最大値に満たなかった場合には、現在のコントラスト値が最小しきい値以下であるかどうかが判定される（ステップＢ５）。ステップＢ５において、現在のコントラスト値がＭＩＮ値以下である場合には、インジケータのリセットを行う（ステップＢ３）。
【００５０】
ステップＢ５において、現在のコントラスト値が最小しきい値より大きい場合には、以下のように、コントラスト値の過去履歴の判定を行う。まず、現在のコントラスト値を用いて最大値、ｍｉｎ値の過去履歴を更新し（ステップＥ１）、過去履歴が連続リセット用変化量しきい値以下であるかどうかを判定する（ステップＥ２）。ステップＥ２において、過去履歴がしきい値以上の場合には、カウント値をリセットして終了する（ステップＥ４）。一方、ステップＥ２において、過去履歴がしきい値以下の場合には、どれだけの期間連続しているか判定する（ステップＥ３）。
【００５１】
ステップＥ３において、タイマのカウンタ値が連続リセット時間（ＣＯＵＮＴ＿ＣＯＮＴ）をこえていた場合、インジケータのリセットが行われ（ステップＢ３）、続いてカウンタがリセットされて（ステップＥ４）終了する。タイマのカウンタ値が連続リセット時間に満たない場合は何もせずに終了する。
【００５２】
【発明の効果】
本発明ぼ各実施形態によれば、（１）フォーカスインジケータが常に表示の高い位置で振れるため、フォーカシングがやり易い。（２）フォーカスインジケータのリセットが自動で行われるため、手動でのリセットが発生せず、使いやすい。等の効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る顕微鏡用撮像装置が適用される顕微鏡システムの構成を示す図。
【図２】図１に示す顕微鏡システムの詳細な構成を示す図。
【図３】本発明の第１の実施形態に係る顕微鏡における各検出部と撮像装置の概略構成とを示す図。
【図４】コントラスト特性を示す図。
【図５】本発明の実施形態に係るインジケータ表示の一例を示す図。
【図６】コントラスト計算処理に係るフローチャート。
【図７】図６のフローチャートに従って計算されたコントラスト値の表示処理に係るフローチャート。
【図８】第２の実施形態に係る撮像装置の概略構成を示す図。
【図９】コントラスト計算処理に係るフローチャート。
【図１０】図９のフローチャートに従って計算されたコントラスト値の表示処理に係るフローチャート。
【図１１】第３の実施形態に係る撮像装置の概略構成を示す図。
【図１２】計算されたコントラスト値の表示処理に係るフローチャート。
【符号の説明】
１…顕微鏡
３…試料（標本）
５…三眼鏡筒ユニット
６…接眼レンズユニット
６ａ…接眼レンズ
１１…透過照明光学系
１２…落射照明光学系
１３…透過照明用光源
１４…コレクタレンズ
１５…透過用フィルタユニット
１７…ミラー
１９…コンデンサ光学素子ユニット
２０…トップレンズユニット
２１…落射照明用光源
２２…落射用フィルタユニット
２３…落射シャッタ
２６…試料ステージ
２７…対物レンズ
２８…レボルバ
２９…対物レンズ側光学素子ユニット
３０…キューブユニット
３１…ビームスプリッタ
３３…中間変倍光学系
３３ａ…変倍ズームレンズ
３５…写真接眼レンズユニット
３５ａ…写真接眼レンズ
３６…撮像装置
３７…駆動回路部
３８…対物レンズ検出部
３９…リタデーション調整動作検出部
４０…写真接眼レンズ検出部
４１…顕微鏡コントロール部
４２…撮像素子
４３…Ｄ変換器
４４…タイミングジェネレータ
４５…フレームメモリ
４６…メモリコントローラ
４７…コントラスト演算部
４８…表示部
４９…制御部
５０…対物レンズ検出部
５１…写真接眼レンズ検出部
５２…検鏡法検出部
５３…ＡＥ演算部
５４…タイマカウント部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus attached to a microscope, and more specifically, to a method for displaying focusing information on a specimen using an output signal of an imaging element of the imaging apparatus.
[0002]
[Prior art]
The following techniques are known as methods for displaying in-focus information on a specimen using an output signal of an imaging device of a microscope imaging device or an image measuring device.
[0003]
Japanese Patent Application Laid-Open No. 11-283035 discloses a focus adjustment device that displays an indicator indicating the contrast value of an image. In this device, the contrast value is displayed so that the image is displayed at 100% at the maximum contrast of the image, and a combination of a coarse scale for displaying the contrast value in a coarse unit and a fine scale for displaying the fine value in a fine unit is used. This makes it easy to adjust to the exact in-focus position.
[0004]
However, in the technique disclosed in Japanese Patent Application Laid-Open No. 11-283035, the indicator is displayed with the contrast value at the peak position once the peak value is detected, or the contrast at the peak position obtained by estimating the contrast curve. The value is set as 100%. Therefore, when the spectrographer performs an operation to change the observation conditions of the microscope, for example, to change the specimen, the contrast value at the peak position at the previous observation is high. When the contrast value is low, it can be shaken only when the indicator display is low. For this reason, focusing becomes difficult, and to prevent this, extra work such as manually resetting the maximum value of the stored contrast value is required.
[0005]
Japanese Patent Laid-Open No. 2000-278558 discloses an adjustment method for matching the focal positions of the eyepiece side and camera side of a microscope, and information on focusing on a sample is displayed on an indicator by an indicator. Focusing is performed by adjusting the imaging lens of the camera while viewing the image.
[0006]
However, in the technique disclosed in Japanese Patent Laid-Open No. 2000-278558, the focus information on the specimen is displayed as an indicator on the monitor, but is normalized and displayed with a constant contrast value regardless of the contrast value. Therefore, there is a high possibility that the focus position is difficult to find because the sample can only shake when the indicator display is low. That is, in the technique disclosed in Japanese Patent Application Laid-Open No. 2000-278558, normalization is performed with the contrast value immediately after the focus indicator is turned on, so that there is a possibility that the indicator can be shaken only when the indicator is low due to sample change or objective lens change. is there.
[0007]
[Problems to be solved by the invention]
In order to solve the above-described problems, the present invention provides a microscope imaging apparatus that is easy to focus by changing the scale of the focus indicator corresponding to each of the observation conditions and specimens of the microscope, even if the microscope observation conditions and specimen are changed. With the goal.
[0008]
[Means for Solving the Problems]
  The imaging device for a microscope according to the present invention is an imaging device that is applied to imaging an observation image by a microscope.Means, contrast calculation means for calculating a contrast value of a captured image output from the imaging means, and contrast display means for displaying the contrast value.,When the contrast value being displayed by the contrast value display means is lower than a predetermined minimum threshold value, or when the contrast value being displayed is larger than a predetermined maximum value,ImagingmeansThe contrast value of the image picked up in (1) is normalized and displayed.
[0009]
  Another imaging device for a microscope according to the present invention is an imaging applied to imaging of an observation image by a microscope.Means, contrast calculation means for calculating a contrast value of a captured image output from the imaging means, and contrast display means for displaying the contrast value.,When the amount of change in exposure time of the captured image exceeds a predetermined value,ImagingmeansThe contrast value of the image picked up in (1) is normalized and displayed.
[0010]
  Another imaging device for a microscope according to the present invention is an imaging device applied to imaging an observation image by a microscope.Means, contrast calculation means for calculating a contrast value of a captured image output from the imaging means, and contrast display means for displaying the contrast value.,When the time change amount of the contrast value is equal to or less than a reference value,ImagingmeansThe contrast value of the image picked up in (1) is normalized and displayed.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a diagram showing a configuration of a microscope system to which the microscope imaging apparatus according to the first embodiment of the present invention is applied. In FIG. 1, an objective lens 27 is arranged in the microscope main body 1 so as to face the sample 3 placed on the sample stage 26. A trinocular tube unit 5 is disposed on the upper part of the microscope main body 1 on the observation optical axis via the objective lens 27. An eyepiece unit 6 is disposed via the trinocular tube unit 5, and an imaging device 36 is disposed above the trinocular tube unit 5 via the imaging lens unit 100.
[0015]
      FIG. 2 is a diagram showing a detailed configuration of the microscope system shown in FIG. The microscope system shown in FIG. 2 is configured to be able to appropriately select various spectroscopic methods such as transmitted bright field observation, dark field observation, phase difference observation, differential interference observation, and fluorescence observation.
The microscope system shown in FIG. 2 includes a transmission illumination optical system 11 and an epi-illumination optical system 12 as an illumination system.
The transmission illumination optical system 11 includes a transmission illumination light source 13, a collector lens 14, a transmission filter unit 15, a transmission field stop 16, a transmission shutter 161, a bending mirror 17, a transmission aperture stop 18, and a condenser. An optical element unit 19 and a top lens unit 20 are provided. On the optical path of the transmitted illumination light emitted from the transmitted illumination light source 13, the optical elements of the collector lens 14 to the top lens unit 20 are sequentially arranged from the transmitted illumination light source 13 side. The collector lens 14 collects the transmitted illumination light from the transmitted illumination light source 13.
The epi-illumination optical system 12 includes an epi-illumination light source 21, an epi-illumination filter unit 22, an epi-illumination shutter 23, an epi-illumination field stop 24, and an epi-illumination aperture stop 25. On the optical path of the epi-illumination light emitted from the epi-illumination light source 21, the optical elements of the epi-illumination filter unit 22 to the epi-illumination aperture stop 25 are sequentially arranged from the epi-illumination light source 21 side.
[0016]
On the observation optical path S where the optical axes of the transmitted illumination optical system 11 and the epi-illumination optical system 12 overlap, the sample stage 26, the revolver 28, the objective lens side optical element unit 29, the cube unit 30, and the beam splitter 31 Is arranged. A specimen to be observed is placed on the sample stage 26. A plurality of objective lenses 27 are mounted on the revolver 28, and the single revolver 28 selects one objective lens 27 by the rotation operation and is positioned on the observation optical path S. The cube unit 30 switches the dichroic mirror on the observation optical path S according to various spectroscopic methods such as transmission bright field observation or fluorescence observation. The beam splitter 31 is disposed in the trinocular tube unit 5, and the observation optical path S is changed to a first observation optical path S ′ toward the eyepiece lens and a second observation optical path S ″ toward the imaging device 36. Branch.
[0017]
An eyepiece lens 6a is disposed on the first observation light path S ′, and the observation light that has passed through the eyepiece lens 6a is observed by the spectrographer. In addition, on the second observation optical path S ″, an imaging lens unit 100 including an intermediate variable magnification optical system (zoom lens barrel) 33 and a photographic eyepiece lens unit 35, and an image pickup device 36 are arranged. The light can be photographed by the imaging device 36. The imaging device 36 includes a display unit (not shown), which will be described in detail later, and whether or not the current contrast value is in focus on the display unit. A focus indicator is displayed.
[0018]
The intermediate variable magnification optical system (zoom lens barrel) 33 includes a variable magnification zoom lens 33 a for changing the magnification of an image picked up by the image pickup device 36. If intermediate zooming is not required, the intermediate zooming optical system (zoom lens barrel) 33 can be removed. The imaging device 36 includes an imaging element 42 therein.
[0019]
The observation light from the objective lens 27 forms an image on the imaging surface of the image sensor 42 by the photographic eyepiece lens 35 a in the photographic eyepiece unit 35. The transmission filter unit 15 in the transmission illumination optical system 11, the transmission field stop 16, the transmission shutter 161, the transmission aperture stop 18, the condenser optical element unit 19, the top lens unit 20, and the incident light filter unit in the incident illumination optical system 12. 22, an epi-illumination shutter 23, an epi-illumination field stop 24, an epi-illumination aperture stop 25, a revolver 28, an objective lens side optical element unit 29, a cube unit 30, a beam splitter 31, and an intermediate variable power optical system (zoom lens barrel) 33 It is driven by each motor (not shown) by each drive signal from the drive circuit unit 37.
[0020]
The revolver 28, the objective lens side optical element unit 29, and the photographic eyepiece unit 35 are provided with an objective lens detector 38, a retardation adjustment operation detector 39, and a photographic eyepiece detector 40, respectively. The objective lens detection unit 38 detects the type of the objective lens 27 positioned on the observation optical path S. The retardation adjustment operation detector 39 detects a retardation adjustment operation. Further, the photographic eyepiece detection unit 40 detects the type of photographic eyepiece.
[0021]
The microscope control unit 41 controls the operation of the entire microscope. Connected to the microscope control unit 41 are a transmission illumination light source 13, an epi-illumination light source 21, a drive circuit unit 37, an objective lens detection unit 38, a retardation adjustment operation detection unit 39, a photographic eyepiece detection unit 40, and an imaging device 36. Has been.
[0022]
The microscope control unit 41 performs light control of the transmitted illumination light source 13 and the epi-illumination light source 21 according to an operation of an operation unit (not shown) by the spectroscope. Furthermore, the microscope control unit 41 gives various control instructions to the drive circuit unit 37. In addition, the microscope control unit 41 includes an objective lens detection unit 38, a retardation adjustment operation detection unit 39, and a control state for the transmitted illumination light source 13 and the epi-illumination light source 21 and a control state for the drive circuit unit 37. By outputting detection information from the photographic eyepiece detection unit 40 to the imaging device 36, the focus indicator display in the imaging device 36 is automatically set.
[0023]
With reference to FIG. 3, a signal flow when the focus indicator according to the first embodiment is displayed will be described. FIG. 3 is a diagram illustrating a schematic configuration of each detection unit and the imaging device 36 in the microscope according to the first embodiment of the present invention.
The imaging device 36 includes an imaging element 42, an A / D converter 43, a timing generator 44, a frame memory 45, a memory controller 46, a contrast calculation unit 47, a display unit 48, and a control unit 49. Yes. The microscope includes an objective lens detection unit 50, a photographic eyepiece detection unit 51, and a microscopic detection unit 52.
In the configuration as described above, the image sensor 42 converts incident light from the microscope into an electrical signal. The timing generator 44 generates a drive timing signal for the image sensor 42. The electrical analog signal output from the image sensor 42 is converted into a digital signal by the A / D converter 43. The A / D converted digital signal is stored in the frame memory 45. The memory controller 46 controls the write / read address of the frame memory 45. The contrast calculation unit 47 designates a read address via the memory controller 46, reads the photographed image data from the designated address, and calculates the contrast value of the image. The display unit 48 displays the contrast value calculated by the contrast calculation unit 47 together with the captured image as a focus indicator display. The control unit 49 controls various parts of the imaging device 36.
The objective lens detection unit 50 detects the type of the objective lens currently arranged in the optical path. The photographic eyepiece detection unit 51 detects the magnification of the photographic eyepiece. The spectroscopic detection unit 52 detects switching of spectroscopic methods such as bright field, dark field, fluorescence, polarization, and differential interference.
[0024]
In the microscope system including the imaging device 36 according to the first embodiment configured as described above, an operation related to the focus indicator display will be described.
The spectroscope operates the microscope 1 to observe the specimen 3 and records an image with the imaging device 36 as necessary. At the time of observation and recording, it is necessary to focus on the specimen 3, but in order to facilitate this focusing, the following focus indicator display is performed.
[0025]
First, when shooting is performed in accordance with a signal generated from the timing generator 44, charges corresponding to the image of the specimen 3 are accumulated in the image sensor 42. The electric charge (electrical signal) accumulated in the image sensor 42 is read from the image sensor 42 after the photographing is finished and is input to the A / D converter 43. The A / D converter 43 converts the image signal input from the image sensor 42 into a digital signal (digital image data) by analog / digital conversion. The digital image data is stored in the frame memory 45. By controlling writing / reading of the frame memory 45 by the memory controller 46, the image data from the image sensor 42 is recorded in the frame memory 45 in real time, and at the same time, a real-time image is displayed on the display unit 48.
[0026]
The contrast calculation unit 47 reads the image data recorded from the frame memory 45 and calculates the contrast value. The contrast value calculated by the contrast calculation unit 47 is displayed on the display unit 48. In this case, if the display of the contrast value is performed using a bar graph or the like so that the magnitude of the contrast value can be visually recognized, focusing is easy.
[0027]
FIG. 4 is a diagram showing contrast characteristics. In FIG. 4, the vertical axis represents the contrast value, and the horizontal axis represents the stage position in the Z direction (direction along the optical axis).
The contrast value is obtained by, for example, the sum of squares of differences between adjacent pixel data, and shows the highest value at the position where the sample is focused (that is, the in-focus position) as shown in FIG. This contrast value tends to be relatively high during low magnification observation where the spatial frequency of the image is high and low during high magnification observation, but the value varies greatly depending on the type of specimen, the observation method, and the like. For this reason, in the first embodiment, the following control is performed.
Based on the value at which the display of the indicator is started, the contrast value is normalized based on the past maximum contrast value (MAX value) and displayed (FIG. 5A). Therefore, the current contrast value is displayed between 0 and the MAX value. Here, when the contrast value exceeds the MAX value (FIG. 5B), the display of the indicator is saturated and the display cannot be performed. Therefore, in this case, the reference value for normalization is replaced with a new (current) maximum contrast value (FIG. 5C) so that the graph is not saturated. Resetting the threshold value is referred to as “resetting” the indicator>. At this time, if the current maximum contrast value is assumed to be 100% as it is, the contrast value may exceed 100%. For example, the position of 80% of the indicator is set as the reset position, and the current contrast value is set at the reset position. To come. In this way, in addition to the case where the contrast value exceeds the MAX value, the subsequent contrast value may change depending on the detection results of the objective lens detection unit 50, the photographic eyepiece lens detection unit 51, and the microscopic method detection unit 52. It is preferable to reset the indicator when expected.
In addition, the display width of the indicator is small (narrow), and it may be difficult to see the display. In this case, for example, if the indicator display is 20% or less, it is preferable to reset the indicator to make the display easier to see.
[0028]
Specific processing of the first embodiment will be described with reference to FIGS. 6 and 7. FIG. 6 is a flowchart relating to contrast calculation processing.
Since the calculation of the contrast value is started when an image for one frame is stored in the frame memory 45, it is performed as an interrupt process using a vertical synchronization signal output from a normal timing generator.
First, when an interrupt occurs, the contrast calculation unit 47 reads image data from the frame memory 45 via the memory controller 46 (step A1), and calculates a contrast value (step A2). The contrast value calculated by the contrast calculation unit 47 is updated / saved as the current contrast value (step A3), and the interrupt process ends.
[0029]
FIG. 7 is a flowchart relating to a display process of contrast values calculated according to the flowchart of FIG.
When the display process is started, whether or not the current contrast value (indicator current value: Eval_cur) is greater than the past maximum contrast value (indicator maximum value: Eval_max on the indicator) (Eval_cur> Eval_max). ?) Is determined (step B1). If the current contrast value is greater, it is determined whether the indicator is saturated (Eval_cur> Eval_MAX?), That is, whether the current contrast value exceeds the 100% display of the indicator (step B2). . In step B2, if the indicator is saturated, the indicator is reset (step B3). In this case, the indicator is reset by substituting a predetermined value (for example, 80%) into the indicator current value (Eval_cur) and the indicator maximum value (Eval_max). That is, the current contrast value is set to the indicator display position, for example, 80%. As a result, thereafter, even when a contrast value higher than the current contrast value is detected, it is not necessary to reset the indicator each time. If the indicator is not saturated in step B2, the current contrast value is updated to the maximum value (Eval_max = Eval_cur: step B4).
[0030]
In step B1, when the current contrast value is less than the maximum value, it is determined whether or not the current contrast value is equal to or less than a minimum threshold value (MIN value: for example, 20% of the indicator display) (step B1). Step B5). In step B5, if the current contrast value is less than or equal to the MIN value, the indicator shake is too small and the indicator is reset (step B3). Also in this case, for example, the current contrast value is set as an indicator display position, for example, 80%.
[0031]
In step B5, if the current contrast value is larger than the minimum threshold value, it is determined whether or not switching of the objective lens is detected (step B6). When switching of the objective lens is detected in step B6, the indicator is reset (step B3). Hereinafter, when the switching of the photographic eyepiece lens is detected <Step B7> and when the microscopic switching is detected (Step B8), the indicator is reset in the same manner as when the switching of the objective lens is detected (Step B7). B3) If no switching is detected, the process is terminated.
[0032]
The MIN value (20%) of the indicator described in the first embodiment and the set value (80%) after reset are merely examples, and can be arbitrarily set. It is also possible to prepare a plurality of these parameters and switch the setting values for each objective lens, photographic eyepiece lens, and microscopic method. It is also conceivable that the response of the indicator is made sensitive by calculating an offset value with respect to the calculated contrast value.
[0033]
In addition to automatically resetting the indicator as in the first embodiment, it is possible to provide a reset button for the focus indicator on the operation unit, or to reset the indicator by an operation from a menu. It is also possible not to reset the indicator when an observation method or specimen is specified as in the inspection process.
[0034]
Furthermore, the timing of resetting the focus indicator is only to detect that the operation of the corresponding part of the microscope is completed by the sensor. In the electric microscope, the indicator is reset when the changeover switch of the corresponding part is pressed. May be. In addition, when the camera settings are stored for each observation condition of the microscope, the indicator can be reset when the data is read out.
[0035]
(Second Embodiment)
Since the configuration and detailed configuration of the microscope system according to the second embodiment are the same as those in FIGS. 1 and 2, illustration and description thereof are omitted.
With reference to FIG. 8, a signal flow when the focus indicator according to the second embodiment is displayed will be described. FIG. 8 is a diagram illustrating a schematic configuration of the imaging device 36 according to the second embodiment. In FIG. 8, the same parts as those in FIG. 3 are denoted by the same reference numerals, and detailed description thereof is omitted.
In the second embodiment, an AE calculation unit 53 is added to the imaging device 36 according to the first embodiment. The objective lens detection unit 50, the photographic eyepiece lens detection unit 51, and the spectroscopic detection unit 52 provided with the microscope 1 are configured not to input signals from the detection units. In this configuration, the AE calculation unit 53 calculates an optimal exposure time.
[0036]
In the imaging device 36 according to the second embodiment configured as described above, an operation related to focus indicator display will be described.
The spectroscope operates the microscope 1 to observe the specimen 3 and records an image with the imaging device 36 as necessary. At the time of observation and recording, it is necessary to focus on the specimen 3, but in order to facilitate this focusing, the following focus indicator display is performed.
[0037]
First, when shooting is performed in accordance with a signal generated from the timing generator 44, charges corresponding to the image of the specimen 3 are accumulated in the image sensor 42. The electric charge (electrical signal) accumulated in the image sensor 42 is read from the image sensor 42 after the photographing is finished and is input to the A / D converter 43. The A / D converter 43 converts the image signal input from the image sensor 42 into a digital signal (digital image data) by analog / digital conversion. The digital image data is stored in the frame memory 45. By controlling writing / reading of the frame memory 45 by the memory controller 46, the image data from the image sensor 42 is recorded in the frame memory 45 in real time, and at the same time, a real-time image is displayed on the display unit 48.
[0038]
The contrast calculation unit 47 reads the image data recorded from the frame memory 45 and calculates the contrast value. The contrast value calculated by the contrast calculation unit 47 is displayed on the display unit 48. On the other hand, the data read from the frame memory 45 is input to the AE calculation unit 53, and the optimum exposure time is calculated based on the data. The calculated exposure time is set in the timing generator 44 by the control unit 49 and used for the next imaging. When the exposure time fluctuates greatly, the observation condition of the microscope has changed or the sample has been switched. Judge and reset the focus indicator.
[0039]
Specific processing of the second embodiment will be described with reference to FIGS. 9 and 10. 9 and 10, the same portions as those in FIGS. 3 and 7 are denoted by the same reference numerals. FIG. 9 is a flowchart relating to contrast calculation processing.
The contrast value calculation shown in FIG. 9 is performed as an interrupt process as in the first embodiment. First, when an interrupt occurs, the contrast calculation unit 47 reads image data from the frame memory 45 via the memory controller 46 (step A1), and calculates a contrast value (step A2). The contrast value calculated by the contrast calculation unit 47 is updated / saved as the current contrast value (step A3). The image data read from the frame memory 45 in step A1 is input to the AE calculation unit 53 in addition to the contrast calculation unit 47, and the exposure time is calculated by the AE calculation unit 53 (step C1). The exposure time calculated by the AE calculation unit 53 is updated / saved as the current exposure time (step C2). The series of processes described above are performed, and the interrupt is terminated (step A4).
[0040]
FIG. 10 is a flowchart according to the display processing of the contrast value calculated according to the flowchart of FIG.
The processing from the start of the display processing to step B5 is the same as in FIG. That is, when the display process is started, it is determined whether or not the current contrast value is larger than the maximum value of the past contrast values (step B1). If the current contrast value is greater, it is determined whether the indicator is saturated (step B2). In step B2, if the indicator is saturated, the indicator is reset (step B3). If the indicator is not saturated in step B2, the current contrast value is updated to the maximum value (step B4). In step B1, if the current contrast value is less than the maximum value, it is determined whether or not the current contrast value is less than or equal to the minimum threshold value (step B5). In step B5, if the current contrast value is less than or equal to the MIN value, the indicator is reset (step B3).
[0041]
In step B5, if the current contrast value is larger than the minimum threshold value, the present exposure time obtained by the AE calculation unit 53 is compared with the previous exposure time (step D1). If the difference (absolute value) between the current exposure time and the previous exposure time is greater than or equal to the exposure change determination threshold (for example, ± 2 EV or more), the microscope observation conditions or sample is switched. Judgment is made and the indicator is reset in order to cope with the subsequent change of the contrast value. In step D1, if the difference between the current exposure time and the previous exposure time is smaller than the threshold value, the process ends.
[0042]
In the above second embodiment, when the difference between the current exposure time and the previous exposure time is ± 2 EV or more is used as a criterion for resetting the indicator, this threshold is arbitrarily set. It may be possible. Also, it is not the difference between the current exposure time and the previous exposure time, but a long history of exposure time is taken and compared with previous data (or its accumulated data), noise mixed into the photographed image, etc. It is also possible to accurately determine the observation condition switching or the sample switching by removing the noise of the exposure time calculation result by.
[0043]
In addition to automatically resetting the indicator as in the second embodiment, as in the first embodiment, a reset button for the focus indicator is provided on the operation unit, or the indicator is reset by an operation from the menu. It is also possible to prevent the indicator from being reset when an observation method or specimen is specified, such as in a semiconductor inspection process.
[0044]
(Third embodiment)
Since the configuration and detailed configuration of the microscope system according to the third embodiment are the same as those in FIGS. 1 and 2, illustration and description thereof are omitted.
With reference to FIG. 11, a signal flow when the focus indicator according to the third embodiment is displayed will be described. FIG. 11 is a diagram illustrating a schematic configuration of the imaging device 36 according to the third embodiment. In FIG. 11, the same parts as those in FIG. 8 are denoted by the same reference numerals, and detailed description thereof is omitted.
In the third embodiment, the imaging device 36 includes a timer count unit 54 instead of the AE calculation unit 53 according to the second embodiment. The timer count unit 54 counts up at a regular timing in order to associate the history of contrast values with time.
[0045]
In the imaging device 36 according to the third embodiment configured as described above, an operation related to focus indicator display will be described.
The spectroscope operates the microscope 1 to observe the specimen 3 and records an image with the imaging device 36 as necessary. At the time of observation and recording, it is necessary to focus on the specimen 3, but in order to facilitate this focusing, the following focus indicator display is performed.
[0046]
First, when shooting is performed in accordance with a signal generated from the timing generator 44, charges corresponding to the image of the specimen 3 are accumulated in the image sensor 42. The electric charge (electrical signal) accumulated in the image sensor 42 is read from the image sensor 42 after the photographing is finished and is input to the A / D converter 43. The A / D converter 43 converts the image signal input from the image sensor 42 into a digital signal (digital image data) by analog / digital conversion. The digital image data is stored in the frame memory 45. By controlling writing / reading of the frame memory 45 by the memory controller 46, the image data from the image sensor 42 is recorded in the frame memory 45 in real time, and at the same time, a real-time image is displayed on the display unit 48.
[0047]
The contrast calculation unit 47 reads the image data recorded from the frame memory 45 and calculates the contrast value. The contrast value calculated by the contrast calculation unit 47 is displayed on the display unit 48. At this time, the timer count unit 54 stores the time and the accumulated count value as history data together with the contrast value corresponding to the time at predetermined time intervals (that is, at regular timing). If there is no change in the contrast value for a certain period, it is determined that the focus fine adjustment period is in the vicinity of the in-focus position, and the indicator is reset.
[0048]
A specific process according to the third embodiment will be described with reference to FIG. In FIG. 12, the same parts as those in FIG.
In the description of the present embodiment, the case where the amount of change in the contrast value in the past 5 seconds is equal to or less than the threshold value (5%) will be described as the indicator reset condition. Note that the calculation of the contrast value is performed as an interrupt process as in the first embodiment (FIG. 6). Therefore, illustration and description of the calculation of the contrast value are omitted.
[0049]
FIG. 12 is a flowchart according to the display processing of the calculated contrast value.
The processing from the start of the display processing to step B5 is the same as in FIG. That is, when the display process is started, it is determined whether or not the current contrast value is larger than the maximum value of the past contrast values (step B1). If the current contrast value is greater, it is determined whether the indicator is saturated (step B2). In step B2, if the indicator is saturated, the indicator is reset (step B3). Then, the count value of the continuous reset counter is reset (count = 0) (step E4). Here, the continuous reset counter is a variable indicating the time during which the contrast history of the contrast value remains below a threshold value, and is counted up (incremented) at regular intervals by a timer interrupt process (not shown). When this counter reaches a continuous reset time (ie, a predetermined count value: COUNT_CONT), the indicator is reset. If the indicator is not saturated in step B2, the current contrast value is updated to the maximum value (step B4). In step B1, if the current contrast value is less than the maximum value, it is determined whether or not the current contrast value is less than or equal to the minimum threshold value (step B5). In step B5, if the current contrast value is less than or equal to the MIN value, the indicator is reset (step B3).
[0050]
In step B5, when the current contrast value is larger than the minimum threshold value, the past history of the contrast value is determined as follows. First, the past history of the maximum value and the min value is updated using the current contrast value (step E1), and it is determined whether or not the past history is equal to or less than the continuous reset change amount threshold (step E2). In step E2, if the past history is equal to or greater than the threshold value, the count value is reset and the process ends (step E4). On the other hand, if the past history is equal to or less than the threshold value in step E2, it is determined how long the history has continued (step E3).
[0051]
In step E3, when the counter value of the timer exceeds the continuous reset time (COUNT_CONT), the indicator is reset (step B3), and then the counter is reset (step E4) and the process ends. If the timer counter value is less than the continuous reset time, the process ends without doing anything.
[0052]
【The invention's effect】
According to the embodiments of the present invention, (1) the focus indicator is always shaken at a high display position, so that focusing is easy. (2) Since the focus indicator is automatically reset, manual reset does not occur and it is easy to use. Etc. are obtained.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a microscope system to which a microscope imaging apparatus according to a first embodiment of the present invention is applied.
FIG. 2 is a diagram showing a detailed configuration of the microscope system shown in FIG.
FIG. 3 is a diagram showing a schematic configuration of each detection unit and an imaging apparatus in the microscope according to the first embodiment of the present invention.
FIG. 4 is a diagram showing contrast characteristics.
FIG. 5 is a view showing an example of indicator display according to the embodiment of the present invention.
FIG. 6 is a flowchart according to contrast calculation processing.
FIG. 7 is a flowchart relating to display processing of contrast values calculated according to the flowchart of FIG. 6;
FIG. 8 is a diagram showing a schematic configuration of an imaging apparatus according to a second embodiment.
FIG. 9 is a flowchart related to contrast calculation processing;
FIG. 10 is a flowchart relating to display processing of contrast values calculated according to the flowchart of FIG. 9;
FIG. 11 is a diagram showing a schematic configuration of an imaging apparatus according to a third embodiment.
FIG. 12 is a flowchart relating to display processing of a calculated contrast value.
[Explanation of symbols]
1 ... Microscope
3 ... Sample (specimen)
5. Trinocular tube unit
6 ... Eyepiece unit
6a ... Eyepiece
11 ... Transmission illumination optical system
12 ... Epi-illumination optical system
13 ... Light source for transmitted illumination
14 ... Collector lens
15 ... Transmission filter unit
17 ... Mirror
19 ... Condenser optical element unit
20 ... Top lens unit
21 ... Epi-illumination light source
22 ... Filter unit for incident light
23. Epi-illumination shutter
26 ... Sample stage
27 ... Objective lens
28 ... Revolver
29 ... Objective lens side optical element unit
30 ... Cube unit
31 ... Beam splitter
33 ... Intermediate variable magnification optical system
33a ... Variable magnification zoom lens
35 ... Photo eyepiece unit
35a ... Photography eyepiece
36 ... Imaging device
37 ... Drive circuit section
38 ... Objective lens detector
39: Retardation adjustment operation detector
40 ... Photo eyepiece detection unit
41 ... Microscope control section
42. Imaging element
43 ... D converter
44 ... Timing generator
45 ... Frame memory
46 ... Memory controller
47. Contrast calculation section
48 ... Display section
49. Control unit
50: Objective lens detector
51 ... Photo eyepiece detection unit
52 ... Microscopic detection part
53 ... AE calculation unit
54. Timer count section

Claims

An imaging unit that is applied to capture an observation image by a microscope, a contrast calculation unit that calculates a contrast value of a captured image output from the imaging unit, and a contrast display unit that displays the contrast value ,
When the contrast value being displayed by the contrast value display means is lower than a predetermined minimum threshold value, or when the contrast value being displayed is larger than a predetermined maximum value , the contrast of the image picked up by the image pickup means A microscope imaging apparatus characterized by normalizing and displaying values.

An imaging unit that is applied to capture an observation image by a microscope, a contrast calculation unit that calculates a contrast value of a captured image output from the imaging unit, and a contrast display unit that displays the contrast value ,
An imaging apparatus for a microscope characterized by normalizing and displaying a contrast value of an image captured by the imaging unit when a temporal change amount of an exposure time of the captured image exceeds a predetermined value .

An imaging unit that is applied to capture an observation image by a microscope, a contrast calculation unit that calculates a contrast value of a captured image output from the imaging unit, and a contrast display unit that displays the contrast value ,
An imaging apparatus for a microscope characterized by normalizing and displaying a contrast value of an image captured by the imaging unit when a temporal change amount of the contrast value is equal to or less than a reference value .

When the displayed contrast value is lower than a predetermined minimum threshold value, or when the displayed contrast value is larger than a predetermined maximum value, the contrast value of the image captured by the imaging unit is normalized and displayed. The imaging apparatus for a microscope according to claim 2 or 3, wherein

The contrast display means microscope imaging apparatus as set forth various Motomeko 1, characterized in that it comprises resetting the focus indicator to one of four.

The contrast display means microscope imaging apparatus according to any one of claims 1-5, characterized in that the display is normalized in a predetermined display position of less than 100% of the display range of the contrast display unit.