JP6438276B2 - 顕微鏡システム - Google Patents

Description

本発明は、顕微鏡システムに関するものである。

従来、光学顕微鏡等の測定装置に搭載されているオートフォーカス装置においては、標本の画像のコントラストを演算し、得られたコントラストを用いた評価値に基づいてオートフォーカスを行う手法や、画像の空間周波数を解析し、得られた空間周波数のスペクトル強度を用いた評価値に基づいてオートフォーカスを行う手法が知られている（例えば、特許文献１，２参照。）。

特開２００２−１６２５５８号公報 特開２００６−３０１２７０号公報

しかしながら、蛍光観察のように微弱光を観察する場合には、露出時間が数十秒に及ぶ場合があり、観察画像の取得を待ってフォーカス調整を行うのでは時間がかかってしまうという問題がある。一方、フォーカス調整中は露出時間を短くすることも考えられるが、微弱光に対して十分な露出時間をとらない場合にはＳＮ比が低下し、精度よくフォーカス調整を行うことができないという不都合がある。

本発明は上述した事情に鑑みてなされたものであって、微弱光を観察する場合に、短時間かつ高精度にフォーカス調整を行うことができる顕微鏡システムを提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、対物レンズを含み、標本の画像を取得する顕微鏡本体と、該顕微鏡本体により焦点位置を前記対物レンズの光軸に沿う方向に移動させながら取得された画像内に設定された評価領域において、フォーカス評価値を算出する評価値算出部と、前記フォーカス評価値を算出するための画像を取得する際の露出時間を、前記標本の観察に必要な画像を取得する際の露出時間よりも短く設定するように、前記顕微鏡本体を制御する制御部と、前記評価値算出部により算出されたフォーカス評価値を時系列に表示する表示部とを備える顕微鏡システムを提供する。

本態様によれば、顕微鏡本体において標本に対するフォーカス調整が開始されると、顕微鏡本体により焦点位置が移動させられながら標本の画像が取得され、評価値算出部により、画像内に設定された評価領域におけるフォーカス評価値が算出される。そして、算出されたフォーカス評価値が、表示部に時系列に表示されることにより、観察者は、フォーカス評価値の時間変化を視覚的に確認することができ、フォーカス評価値が極大値となる焦点位置を容易に発見することができる。

この場合において、フォーカス評価値を算出する画像を取得するための露出時間を、標本の観察に必要な画像を取得するための露出時間より十分に短くしても、評価領域におけるフォーカス評価値の時間変化を表示することにより、フォーカス評価値が極大値となる焦点位置を顕在化させることができる。したがって、微弱光を観察する場合において、標本の観察に必要な画像を取得するための露出時間を待たずに取得されたＳＮ比の低い画像を用いても、十分に短い時間で高精度にフォーカス調整を行うことができる。

上記態様においては、前記評価値算出部が、取得された画像内に設定された複数の前記評価領域において前記フォーカス評価値を算出してもよい。
このようにすることで、顕微鏡本体により焦点位置を移動させながら画像内の複数位置におけるフォーカス評価値の時間変化を視覚的に確認することができる。したがって、微弱光を撮影した画像においてターゲット部位の位置を特定できない場合においても、フォーカス評価値の時間変化を表示することにより、標本面と標本面以外の物体面のフォーカス状態を識別することができる。

また、上記態様においては、複数の前記評価領域の中から前記フォーカス評価値が所定の閾値を超える前記評価領域を選択する評価領域選択部を備え、前記表示部が、前記評価領域選択部により選択された評価領域の前記フォーカス評価値を表示してもよい。

このようにすることで、評価領域選択部によりフォーカス評価値が所定の閾値を超える評価領域のみが選択される。そして、選択された評価領域のフォーカス評価値が、表示部に時系列に表示されることにより、ターゲット部位の存在する可能性の高い評価領域のフォーカス評価値の時間変化を視覚的に確認することができる。すなわち、ターゲット部位の存在する可能性の低い評価領域におけるフォーカス評価値を表示対象から除くことにより、フォーカス調整作業を容易にすることができる。

また、上記態様においては、複数の前記評価領域について前記評価値算出部により算出されたフォーカス評価値の所定時間範囲内における変化量を算出し、該変化量に基づいて前記所定の閾値を設定する評価値変化量算出部を備えていてもよい。
このようにすることで、評価値変化量算出部により評価領域毎に算出された所定時間範囲内におけるフォーカス評価値の変化量に基づいて、評価領域選択部により評価領域を選択する際に用いる所定の閾値を適正な値に設定することができる。

また、上記態様においては、前記評価値算出部により検出されたフォーカス評価値が極大値であることを判定する極大値判定部と、該極大値判定部により極大値であると判定された前記フォーカス評価値が所定の閾値を超えている場合に、合焦状態であることを報知する合焦報知部とを備えていてもよい。

このようにすることで、フォーカス評価値が、極大値判定部により極大値であると判定され、かつ、所定の閾値を超えている場合に、合焦状態であることが合焦報知部により報知されることにより、観察者がより容易に合焦状態を確認することができる。

また、上記態様においては、前記顕微鏡本体が、焦点位置を所定範囲内において複数回移動させ、前記合焦報知部により報知された合焦状態を識別情報とともに記憶する合焦状態記憶部と、該合焦状態記憶部により記憶された合焦状態が、前記合焦報知部により再度報知されたときに、前記合焦状態記憶部に記憶されている識別情報を報知する識別情報報知部とを備えていてもよい。

このようにすることで、最初の焦点位置の移動において合焦状態が報知されたときに、その合焦状態が識別情報とともに合焦状態記憶部に記憶され、再度その焦点位置を通過する際に同じ合焦状態が報知された場合に、識別情報報知部により識別情報が報知される。例えば、顕微鏡本体において標本に対して焦点位置が往復させられる場合に、往路で２回合焦状態が報知された場合には、各報知時における合焦状態が、識別情報「ＴａｒｇｅｔＡ」、「ＴａｒｇｅｔＢ」とともに合焦状態記憶部に記憶されるものとすると、復路では、各合焦位置において識別情報が「ＴａｒｇｅｔＢ」、「ＴａｒｇｅｔＡ」の順に報知され、観察者がより容易に合焦状態を確認することができる。

本発明によれば、微弱光を観察する場合に、短時間かつ高精度にフォーカス調整を行うことができるという効果を奏する。

本発明の一実施形態に係る顕微鏡システムを示す全体構成図である。 図１の顕微鏡システムにより取得された画像上に設定された評価領域を示す図である。 図１の顕微鏡システムにより取得された合焦状態の画像例を示す図である。 図２のＲの範囲の各評価領域におけるフォーカス評価値の時系列データを示す図である。 （ａ）〜（ｅ）励起光の標本に対する焦点位置を順次ずらした状態をそれぞれ示す側面図である。 カバーガラスに付着したゴミを示す図である。 図５（ｂ）の焦点位置において取得された蛍光画像を示す図である。 図５（ｄ）の焦点位置において取得された蛍光画像を示す図である。 図４の時系列データに識別情報を表示した一例を示す図である。 フォーカス評価値が極大値となる状態を文字表示で報知した一例を示す図である。 図４のフォーカス評価値の差分値の時系列データのグラフを示す図である。 本発明の一実施形態の変形例に係る顕微鏡システムのコンピュータ部分のみを示す部分構成図である。

本発明の一実施形態に係る顕微鏡システム１について、図面を参照して以下に説明する。
本実施形態に係る顕微鏡システム１は、標本Ａに励起光Ｌを照射して蛍光を観察する蛍光顕微鏡システムであって、図１に示されるように、顕微鏡本体２と、該顕微鏡本体２に接続される処理装置３と、該処理装置３に接続されたコンピュータ４とを備えている。

顕微鏡本体２は、標本Ａを搭載するステージ５と、照明光を射出する透過照明光源６および落射照明光源７と、透過照明光源６からの照明光を標本Ａに照射するコンデンサレンズ８と、落射照明光源７からの照明光を標本Ａに照射するとともに、標本Ａからの蛍光を集光する対物レンズ９と、対物レンズ９により集光された蛍光を撮影するカメラ（撮像手段）１０とを備えている。

図中、符号１１はミラー、符号１２はレンズ、符号１３は視野絞り、符号１４は開口絞り、符号１５は対物レボルバ、符号１６は蛍光キューブ、符号１７は蛍光キューブ１６がセットされるターレット、符号１８は三眼鏡筒、符号１９は接眼レンズである。三眼鏡筒１８は、光路を１００％接眼レンズ１９へ出力する光路と、接眼レンズ１９とカメラ１０とへ５０％ずつ振り分ける光路と、１００％カメラ１０へ出力する光路とを切り替えることができるようになっている。

処理装置３は、カメラ１０内の撮像素子（例えばＣＣＤ）から出力された信号を画像信号化する前処理部２０と、該前処理部２０から出力された画像信号をディジタル信号に変換するＡ／Ｄ変換部２１と、Ａ／Ｄ変換部２１から出力された画像信号に対してＲＧＢ補間、色マトリクス補正、階調変換等の画像処理を施すＲＧＢ補間部２２、色マトリクス補正部２３、階調補正部２４として機能するとともに、フォーカス評価値を算出するフォーカス評価値算出部（評価値算出部）２５として機能する画像処理部２６と、コンピュータ４との情報のやりとりを行うＩ／Ｆ部２７と、Ｉ／Ｆ部２７を介して入力されてくるコンピュータ４からの指令信号によって、顕微鏡本体２および画像処理部２６を制御する制御部２８とを備えている。

ここで、処理装置３は、カメラ１０と別々としてもよいし、カメラ１０に内蔵させてもよい。処理装置３をカメラ１０に内蔵させる場合、制御部２８がカメラ１０のみを制御するカメラ制御部として機能し、このカメラ制御部とは別にカメラ１０を除く顕微鏡本体２のみを制御する顕微鏡制御部を新たに備える。顕微鏡制御部は、コンピュータ４からの指令信号によって、カメラ１０を除く顕微鏡本体２を制御する。

コンピュータ４は、例えばパーソナルコンピュータであり、顕微鏡本体２を操作する指示を入力する入力部２９と、処理装置３から送られてくる情報を表示するモニタ（表示部）３１とを備えている。

画像処理部２６は、カメラ１０により取得され、前処理部２０およびＡ／Ｄ変換部２１を介して入力されてきた画像内に、例えば、図２に示されるように複数の評価領域Ａ０１〜Ａ２０を設定し、各評価領域においてフォーカス評価値を算出するようになっている。フォーカス評価値としては標準偏差が採用されている。

コンピュータ４から蛍光観察の指示が入力されたときには、制御部２８は、顕微鏡本体２を制御して、撮像素子による露出時間を数十秒（例えば、２０秒）に設定するようになっている。そして、撮像素子により取得され、前処理部２０およびＡ／Ｄ変換部２１を通過した画像信号に対し、画像処理部２６を制御して、ＲＧＢ補間、色マトリクス補正、階調変換等の画像処理を施させるようになっている。

一方、コンピュータ４からフォーカス調整の指示が入力されたときには、制御部２８は、顕微鏡本体２を制御して、撮像素子による露出時間を数分の１秒（例えば、１／１０秒）に設定し、数十〜数百倍（例えば、２００倍）の増幅処理を行うように設定するとともに、ステージ５を制御して、対物レンズ９の光軸に沿う方向に往復移動させるようになっている。そして、撮像素子により逐次取得され、前処理部２０およびＡ／Ｄ変換部２１を通過した画像信号に対し、フォーカス評価値を算出させるようになっている。

算出されたフォーカス評価値は、逐次、制御部２８およびＩ／Ｆ部２７を介してコンピュータ４に送られ、コンピュータ４において、図４に示されるような時系列のグラフが作成されて、モニタ３１に表示されるようになっている。

このように構成された本実施形態に係る顕微鏡システム１の作用について以下に説明する。
本実施形態に係る顕微鏡システム１を用いて標本Ａの蛍光観察を行うには、標本Ａをステージ５にセットした状態で、観察者は、まず、コンピュータ４の入力部２９からフォーカス調整の指令を入力する。

フォーカス調整の指令はコンピュータ４から処理装置３に送られ、Ｉ／Ｆ部２７を介して制御部２８に入力される。制御部２８は、顕微鏡本体２を制御して標本Ａの画像を逐次出力させるとともに、画像処理部２６を制御してフォーカス評価値を算出させる。

さらに具体的には、制御部２８は、対物レンズ９の焦点位置Ｏ近傍に標本Ａが配置される初期位置にステージ５を移動させるとともに、撮像素子を制御して数分の１秒の露出時間で、数フレーム／秒（例えば、１０フレーム／秒）のフレームレートで撮影を行わせる。取得された画像は画像処理部２６に送られてフォーカス評価値である標準偏差が算出される。

例えば、図３に示される標本Ａをステージ５に載せてフォーカス調整の指令が入力されると、対物レンズ９の光軸方向に沿って，ステージ５を図５（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）、（ｄ）、（ｃ）、（ｂ）、（ａ）の順に移動させながら撮影が行われ、逐次取得された各画像に対して算出された標準偏差を時系列に並べることにより図４のグラフが作成されつつモニタ３１に表示される。図４のグラフは、説明を簡略にするために、図２のＲの範囲の評価領域について算出された標準偏差のみを示している。
標本Ａとしては、スライドガラス３２とカバーガラス３３との間に配置されており、カバーガラス３３の上に、図６に示されるようなゴミＸが付着しているものを例示する。

標本Ａに合焦している図５（ｂ）の状態では、図７に示されるような標本Ａの蛍光画像が取得され、カバーガラス３３の上面に合焦している図５（ｄ）の状態では、図８に示されるようにゴミＸが明るく光った蛍光画像が取得されている。
その結果、フォーカス評価値である標準偏差は、図４に示されるように、時刻ｔ１の時点で評価領域Ａ０７，Ａ１０において極大値となり、時刻ｔ２の時点で評価領域Ａ０８において極大値となっている。

さらに時間が経過すると、時刻ｔ３の時点で評価領域Ａ０８における標準偏差が極大値となり、時刻ｔ４の時点で評価領域Ａ０７，Ａ１０における標準偏差が極大値となっている。
スライドガラス３２およびカバーガラス３３の表面で強い蛍光が検出されることが分かっているため、ステージ５の移動方向と蛍光の発生する順序とから、評価領域Ａ０７，Ａ１０における極大値が標本Ａの蛍光画像の標準偏差であり、評価領域Ａ０８における極大値はゴミＸの蛍光画像の標準偏差であることが分かる。

したがって、観察者は評価領域Ａ０７，Ａ１０に極大値が現れるようにステージ５を移動させれば、対物レンズ９に対して図５（ｂ）の状態に標本Ａを配置することができ、全ての標本Ａに合焦した、図７に示されるような標本Ａの蛍光画像を取得可能なフォーカス調整を行うことができる。
そして、このようにしてフォーカス調整を行った後に、コンピュータ４の入力部２９から蛍光観察の指示を入力することにより、露出時間が数十秒に設定されて、鮮明な蛍光画像を取得することができる。

このように、本実施形態に係る顕微鏡システム１によれば、画像範囲内に設定した評価領域におけるフォーカス評価値を時系列に表示することで、フォーカス評価値の算出にＳＮ比の悪い画像を用いても、フォーカス評価値の時間変化によって容易に合焦状態となる位置を確認することができる。特に、フォーカス評価値として小さい評価領域の標準偏差を採用することにより、ノイズに強く、かつ、画像の変化に敏感な出力を得ることができて、精度よくフォーカス調整を行うことができるという利点がある。

なお、本実施形態においては、フォーカス評価値として、標準偏差を採用したが、これに代えて、分散、平均値あるいはコントラスト値、空間周波数解析結果等を採用してもよい。

また、本実施の形態においては、ステージ５は、制御部２８で制御することによって対物レンズ９の光軸方向に移動させているが、これに代えて、観察者が手動で操作することによって対物レンズ９の光軸方向に移動させるようにしてもよい。

また、本実施形態においては、特定の評価領域について算出したフォーカス評価値を時系列に表示することとしたが、これに代えて、変化量の大きなフォーカス評価値を選択して表示することにしてもよい。この場合には、コンピュータ４は、図１２に示されるように、全ての評価領域について画像処理部２６により算出されたフォーカス評価値の所定時間範囲内における変動量（変化量）を算出し、変動量に基づいて所定の閾値を設定する評価値変化量算出部４１と、評価値変化量算出部４１により設定された所定の閾値を超える評価領域を全ての評価領域の中から選択する評価領域選択部４２とを備えていてもよい。
このようにすることで、評価値変化量算出部４１により評価領域毎に算出された所定時間範囲内におけるフォーカス評価値の変動量に基づいて、評価領域選択部４２により評価領域を選択する際に用いる所定の閾値を適正な値に設定することができる。

処理装置３から出力されてくる全ての評価領域についてのフォーカス評価値について、例えば、コンピュータ４は、明らかに合焦されていない位置におけるフォーカス評価値の変動量と平均値とを算出し、その平均値と変動量との和を閾値として、該閾値を超えるフォーカス評価値が算出される評価領域について、フォーカス評価値を時系列に表示することにすればよい。

すなわち、各評価領域Ａ０１〜Ａ２０における閾値Ｔｈ_Ｎは、
Ｔｈ_Ｎ＝ＭＡＸ（Ｆ_Ｎｔ）−ＭＩＮ（Ｆ_Ｎｔ）＋ＡＶＥＲＡＧＥ（Ｆ_Ｎｔ） （１）
ここで、Ｆ_Ｎｔは、時刻ｔにおけるフォーカス評価値である。

時刻ｔを、フレームレートをステップとした時間とし、フレームレートを１０フレーム／秒、閾値評価時間を１０秒とすると、ｔ＝０，０．１，…，１０秒となる。
これらの時刻で、Ｆ_Ｎｔ＞Ｔｈ_Ｎとなる評価領域を抽出する。
このようにすることで、焦点位置を変化させる範囲にわたってフォーカス評価値が変化しない領域、すなわち、ターゲット部位が存在しない領域のフォーカス評価値がモニタ３１に表示されないようにして、ターゲット部位の存在する領域のみのフォーカス調整を行うことができる。これにより、観察者が、ターゲット部位を特定し易くして、フォーカス調整を容易にすることができる。

また、本実施形態においては、フォーカス評価値が所定の閾値より大きな極大値を有する場合に、その変化のパターンを識別し、フォーカス調整の過程で同じパターンでフォーカス評価値が変化したときに、それを観察者に報知することにしてもよい。

例えば、図５（ｂ）の合焦状態では、図７に示されるように、評価領域Ａ０５，Ａ０７，Ａ１０，Ａ１１，Ａ１４，Ａ１８が抽出され、図５（ｄ）の合焦状態では、図８に示されるように、評価領域Ａ０８のみが抽出される。そこで、コンピュータ４は、図１２に示されるように、最初に合焦状態が検出されたときに、抽出された評価領域の組合せあるいはフォーカス評価値の値を、例えば、「ＴａｒｇｅｔＡ」、「ＴａｒｇｅｔＢ」という識別情報とともに記憶する合焦状態記憶部４３と、次に、同じ組み合わせの領域で極大値が抽出されたときに、図９に符号Ｐで示されるように、識別情報「ＴａｒｇｅｔＡ」、「ＴａｒｇｅｔＢ」を時系列のグラフに重ねて表示する識別情報報知部４４とを備えていてもよい。

あるいは、時系列のグラフとは別に、フォーカス評価値が極大値となる状態で、音、光、文字、振動等の他の任意の報知手段によって報知することにしてもよい。図１０は、時系列のグラフとは別に、符号Ｑで示されるように、識別情報「Ｐｏｓｉｔｉｏｎ：ＴａｒｇｅｔＢ」を文字表示することにより報知した例である。
このようにすることで、観察者は、より簡便にフォーカス評価値が変化したことを認識することができ、フォーカス調整を容易に行うことができるという利点がある。

また、標準偏差のようなフォーカス評価値について、閾値によって極大値を判定することが困難な場合もある。このように場合には、コンピュータ４は、図１２に示されるように、フォーカス評価値が算出される都度に、その直前に算出されたフォーカス評価値との差分をとり、差分値がプラスからマイナスに反転する位置でフォーカス評価値が極大値となることを検出する極大値判定部４５と、該極大値判定部４５において極大値が検出されたときに、これを報知する合焦報知部４６とを備えていてもよい。

例えば、上記実施形態の図４に示されるフォーカス評価値の差分値を算出すると、図１１の通りとなる。これにより、極大値判定部４５は、フォーカス評価値が極大値となった時点を容易に検出することができ、合焦報知部４６によって、合焦状態を明確に表示することができる。

なお、合焦報知部４６は、極大値となった時点のフォーカス評価値が上述した（１）を満足するか否かによって合焦しているか否かを判断してもよいし、時刻ｔにおけるフォーカス評価値の差分値ΔＦ_Ｎｔを用いて、下式（２）、（３）により閾値ＴｈＰΔ_Ｎ，ＴｈＭΔ_Ｎを算出し、
ＴｈＰΔ_Ｎ＝ＡＶＥＲＡＧＥ（ΔＦ_Ｎｔ）＋ＭＡＸ（ΔＦ_Ｎｔ）−ＭＩＮ（ΔＦ_Ｎｔ） （２）
ＴｈＭΔ_Ｎ＝ＡＶＥＲＡＧＥ（ΔＦ_Ｎｔ）−ＭＡＸ（ΔＦ_Ｎｔ）＋ＭＩＮ（ΔＦ_Ｎｔ） （３）
以下の条件式を満足することを条件として，合焦状態であることを報知してもよい．
ΔＦ_Ｎｔ＞ＴｈＰΔ_Ｎ、ΔＦ_{Ｎｔ＋STEP}＜ＴｈＭΔ_Ｎ
ここで、ΔＦ_{Ｎｔ＋STEP}は、極大値であることが判定された時点の次の時点におけるフォーカス評価値の差分値を示している。

また、本実施形態の変形例では、評価値変化量算出部４１、評価領域選択部４２、合焦状態記憶部４３、識別情報報知部４４、極大値判定部４５および合焦報知部４６のそれぞれの機能を実現させるためのコンピュータプログラムが、コンピュータ４にインストールされている。

また、画像処理部２６を構成するハードウェアとしては、例えば汎用コンピュータまたはパーソナルコンピュータ等のようにコンピュータプログラムによって作動する汎用的な処理装置を用いることができる。従って、画像処理部２６をコンピュータ４に内蔵させることもできる。

１ 顕微鏡システム
２ 顕微鏡本体
２５ フォーカス評価値算出部（評価値算出部）
３１ モニタ（表示部）
Ａ 標本

Claims (6)

1. 対物レンズを含み、標本の画像を取得する顕微鏡本体と、
   該顕微鏡本体により焦点位置を前記対物レンズの光軸に沿う方向に移動させながら視野範囲内に設定された評価領域において、フォーカス評価値を算出する評価値算出部と、
   前記フォーカス評価値を算出するための画像を取得する際の露出時間を、前記標本の観察に必要な画像を取得する際の露出時間よりも短く設定するように、前記顕微鏡本体を制御する制御部と、
   前記評価値算出部により算出されたフォーカス評価値を時系列に表示する表示部とを備える顕微鏡システム。
2. 前記評価値算出部が、前記視野範囲内に設定された複数の前記評価領域において前記フォーカス評価値を算出する請求項１に記載の顕微鏡システム。
3. 複数の前記評価領域の中から前記フォーカス評価値が所定の閾値を超える前記評価領域を選択する評価領域選択部を備え、
   前記表示部が、前記評価領域選択部により選択された評価領域の前記フォーカス評価値を表示する請求項２に記載の顕微鏡システム。
4. 複数の前記評価領域について前記評価値算出部により算出されたフォーカス評価値の所定時間範囲内における変化量を算出し、該変化量に基づいて前記所定の閾値を設定する評価値変化量算出部を備える請求項３に記載の顕微鏡システム。
5. 前記評価値算出部により検出されたフォーカス評価値が極大値であることを判定する極大値判定部と、
   該極大値判定部により極大値であると判定された前記フォーカス評価値が所定の閾値を超えている場合に、合焦状態であることを報知する合焦報知部とを備える請求項１から請求項４のいずれかに記載の顕微鏡システム。
6. 前記顕微鏡本体が、焦点位置を所定範囲内において複数回移動させ、
   前記合焦報知部により報知された合焦状態を識別情報とともに記憶する合焦状態記憶部と、
   該合焦状態記憶部により記憶された合焦状態が、前記合焦報知部により再度報知されたときに、前記合焦状態記憶部に記憶されている識別情報を報知する識別情報報知部とを備える請求項５に記載の顕微鏡システム。

Images