JP5846895B2 - 画像処理システム及びそれを備えた顕微鏡システム - Google Patents

Description

本発明は、画像処理システム及びそれを備えた顕微鏡システムに関する。

一般に、顕微鏡の光学系は、デジタルカメラの光学系に比べて像の拡大率が大きい。このため、顕微鏡撮影においては、カメラの撮像素子のサンプリング帯域に対して、顕微鏡の光学系の帯域がそれほど高くない場合がある。また、光学系の帯域は、光学系の開口数や倍率等によって変化し得る。例えば顕微鏡がズーム光学系を有する場合にも、その光学系の帯域は変化する。

画像の帯域コントラストに基づいて合焦を評価する場合、光学系の帯域が変化すると正確な合焦評価が行えないおそれがある。コントラストに基づく合焦評価における誤差は、例えば画像の帯域が低周波であるにも関わらず高周波のフィルタを用いてしまうことで、ノイズなど被写体の構造とは関係ない要因に基づくコントラストを評価することで起こり得る。

コントラストに基づく合焦評価は、例えば高さ情報の取得にも用いられ得る。高さ情報の取得は、例えば、被写体像を複数の結像面で撮影した後に被写体の各位置の高さを推定するために、各位置について合焦している画像をこの複数の画像から選択する場合に用いられ得る。また、高さ情報の取得は、被写体像を複数の結像面で撮影した後に、被写体の各位置について合焦している画像をこの複数の画像から選択し、それらを合成して全焦点画像を作成する場合に用いられ得る。

例えば特許文献１には、光学系の帯域変化を考慮して全焦点画像の作成の後に回復フィルタによる処理を行うことに係る技術が開示されている。この技術において、回復フィルタの係数は、対物レンズの倍率や開口数といった光学系の設定に応じて決められている。

特開平９−２９８６８２号公報

上記特許文献１に開示されている技術のように、特定帯域を回復するためには、点像分布関数の空間分布を特定する必要がある。また、このような回復フィルタを周波数空間に拡張した場合においても、各周波数における変調伝達関数の分布形状が特定されないと、回復フィルタの係数を決定できない。これらのような処理は複雑である。さらに、対物レンズや中間拡大の倍率の組み合わせが多くなると、その組み合わせに応じてテーブルを更新する必要がある。また、ズームレンズを用いることで中間拡大倍率が無段階に近い場合、膨大なデータが必要となる。このような複雑な計算とテーブルによる関係の設定によれば、処理が冗長となる。これに対して、エッジ成分の強度を測定することでコントラストを評価する場合、光学系の帯域が所定の帯域内に入っているか否かを特定するだけでよく、回復フィルタを用いる場合のように厳密な量的関係を必要としない。

そこで本発明は簡易な方法で、光学系の設定が変更された際にこの光学系の帯域を考慮したコントラスト評価を行うことができる画像処理システム及びそれを備えた顕微鏡システムを提供することを目的とする。

前記目的を果たすため、本発明の一態様によれば、画像処理システムは、光学系を介した標本の画像を取得する取得部と、前記光学系の情報に基づいて、前記画像のカットオフ周波数を取得するカットオフ周波数取得部と、前記カットオフ周波数に基づいて、前記画像に対するコントラスト評価に用いる評価パラメータを決定するパラメータ決定部と、前記評価パラメータに基づいて前記画像に対する前記コントラスト評価を行い、コントラスト評価値を算出するコントラスト評価部と、前記コントラスト評価値に基づいて、前記画像の合焦を評価する合焦評価部と、を具備することを特徴とする。

また、本発明の一態様によれば、顕微鏡システムは、上記の画像処理システムを備えることを特徴とする。

本発明によれば、光学系の情報に基づいてカットオフ周波数を取得し、このカットオフ周波数に応じて決定した評価パラメータに基づいてコントラスト評価値を算出するので、簡易な方法で光学系の設定が変更された際にこの光学系の帯域を考慮したコントラスト評価を行うことができる画像処理システム及びそれを備えた顕微鏡システムを提供できる。

本発明の第１の実施形態に係る顕微鏡システムの構成例を示すブロック図。 第１の実施形態に係る顕微鏡システムの構成例を示すブロック図。 光学系に応じた周波数とコントラストとの関係を説明するための概略図。 第１の実施形態に係るフィルタカーネルの構成例を示す図。 第１の実施形態に係る各フィルタカーネルの周波数特性の一例の概略を示す図。 第１の実施形態の変形例に係る顕微鏡システムの構成例を示すブロック図。 第１の実施形態の変形例に係る各フィルタの周波数特性の一例の概略を示す図。 第２の実施形態に係る顕微鏡システムの構成例を示すブロック図。 第３の実施形態に係る顕微鏡システムの構成例を示すブロック図。 第３の実施形態に係るＤＣＴ処理後に得られるテーブルの一例の概略を示す図。 第３の実施形態に係るＤＣＴ処理後に得られるテーブルの量子化後テーブルの一例の概略を示す図。

［第１の実施形態］
本発明の第１の実施形態について図面を参照して説明する。図１は、本実施形態に係る顕微鏡システム１００の構成例の概略を示す。この図に示すように、顕微鏡システム１００は、顕微鏡１１０を有する。顕微鏡１１０は、例えばデジタル顕微鏡である。顕微鏡１１０は、ＬＥＤ光源１１１と、照明光学系１１２と、光路制御素子１１３と、対物レンズ１１４と、図示しないステージ上に載置された標本面１１５と、観察光学系１１８と、撮像面１１９と、画像取得部１２０とを有する。観察光学系１１８は、ズーム光学系１１６と、結像光学系１１７とを有する。観察光路には、標本面１１５から撮像面１１９に向かって、対物レンズ１１４と、光路制御素子１１３と、ズーム光学系１１６と、結像光学系１１７とが、この順に配置されている。

ＬＥＤ光源１１１から射出された照明光は、照明光学系１１２を介して、光路制御素子１１３に入射する。光路制御素子１１３は、照明光を観察光路上の対物レンズ１１４に向けて反射する。照明光は、対物レンズ１１４を介して標本面１１５に配置された標本に照射される。

標本に照明光が照射されると、標本から観察光が生じる。ここで、観察光は反射光や蛍光等である。観察光は、光路制御素子１１３に入射する。光路制御素子１１３は、照明光の場合と異なり、観察光を透過させて、観察光をズーム光学系１１６及び結像光学系１１７を有する観察光学系１１８に入射させる。このように光路制御素子１１３は、入射光の特性に応じて、入射光を反射又は透過させる光学素子である。光路制御素子１１３には、例えば、入射光の偏光方向に応じて入射光を反射又は透過させるワイヤーグリッドや偏光ビームスプリッタ（ＰＢＳ）等の偏光素子が用いられ得る。なお、この光路制御素子１１３は、例えば、入射光の周波数に応じて入射光を反射又は透過させるダイクロイックミラー等を用いても良い。

観察光学系１１８は、観察光を撮像面１１９に集光させ、標本の像を撮像面１１９に結像させる。画像取得部１２０は、撮像面１１９に結像した画像に基づく画像信号を生成し、この画像信号を顕微鏡画像として出力する。

顕微鏡システム１００は、画像入力部２１０と、記憶部２２０と、コントローラ２３０と、光学帯域情報取得部２４０と、パラメータ制御部２５０と、コントラスト評価部２６０と、合焦評価部２７０と、３Ｄ形状推定部２８０と、画像合成部２９０と、入力部３００とを備える画像処理システム２００を有する。画像入力部２１０は、画像取得部１２０から顕微鏡画像を取得し、取得した顕微鏡画像を記憶部２２０に出力する。記憶部２２０は、入力された顕微鏡画像を一時記憶する。記憶部２２０は、コントラスト評価部２６０からの要求に応じて、記憶した顕微鏡画像をコントラスト評価部２６０に出力する。

入力部３００は、例えば顕微鏡システム１００の操作に係るユーザの指示を受け取る。入力部３００は、受け取ったユーザの指示をコントローラ２３０に出力する。コントローラ２３０は、顕微鏡１１０の各部の動作を制御する。コントローラ２３０は、顕微鏡１１０の制御において、入力部３００から入力されたユーザの指示を用いる。本実施形態では、顕微鏡システム１００は、同一標本について、異なる焦点面において撮像した複数の顕微鏡画像を取得する。このため、コントローラ２３０は、顕微鏡１１０の光学系を制御して焦点面を徐々に変化させながら、各焦点面における標本の画像を画像取得部１２０に取得させる。具体的には、例えばコントローラ２３０は、顕微鏡１１０のステージの高さ、又は、対物レンズの高さの位置を変化させながら、画像取得部１２０に画像を取得させる。その結果、記憶部２２０には、同一の標本について焦点面が異なる複数の顕微鏡画像が記憶される。

コントローラ２３０は、光学帯域情報取得部２４０からの要求に応じて顕微鏡１１０の各種光学系のパラメータを光学帯域情報取得部２４０に出力する。光学系のパラメータには、例えば、対物光学系、照明光学系、ズーム光学系、結像光学系のパラメータが含まれる。なお、コントローラ２３０は、顕微鏡１１０の光学系を制御しているので、これら光学系のパラメータに係る情報を有している。

光学帯域情報取得部２４０は、コントローラ２３０から各種光学系のパラメータを取得する。光学帯域情報取得部２４０は、取得した光学系のパラメータをパラメータ制御部２５０に出力する。パラメータ制御部２５０は、カットオフ周波数取得部２５１と、パラメータ決定部２５６とを有する。カットオフ周波数取得部２５１は、光学帯域情報取得部２４０から入力された光学系のパラメータを取得する。カットオフ周波数取得部２５１は、取得した光学系のパラメータに基づいて、後述する光学系のカットオフ周波数の情報を取得する。カットオフ周波数取得部２５１は、取得した光学系のカットオフ周波数を、パラメータ決定部２５６に出力する。パラメータ決定部２５６は、取得した光学系のカットオフ周波数に基づいて、コントラスト評価部２６０が用いるコントラスト評価パラメータを決定し、決定したコントラスト評価パラメータをコントラスト評価部２６０に出力する。

コントラスト評価部２６０は、パラメータ決定部２５６からコントラスト評価パラメータを取得し、記憶部２２０から焦点面が異なる複数の顕微鏡画像を取得する。コントラスト評価部２６０は、取得した複数の顕微鏡画像のそれぞれについて、取得したコントラスト評価パラメータに基づいて、顕微鏡画像中の各位置のコントラスト評価値を算出する。コントラスト評価値については、後に詳述する。コントラスト評価部２６０は、顕微鏡画像と算出したコントラスト評価値とを合焦評価部２７０に出力する。

合焦評価部２７０は、コントラスト評価部２６０から入力されたコントラスト評価値に基づいて、複数の顕微鏡画像のそれぞれについて画像中の各画素についての合焦を評価し、合焦している画素を選択する。合焦評価部２７０は、合焦している画素とその画像が撮像された際の焦点面の情報とに基づいて、画像中の各画素に対応する高さを推定する。合焦評価部２７０は、合焦の評価結果と、画像中の各画素に係る高さ情報と、複数の顕微鏡画像とを３Ｄ形状推定部２８０に出力する。

３Ｄ形状推定部２８０は、合焦評価部２７０から入力された高さ情報に基づいて、高さ情報の最適化を行い、標本の３次元形状を推定する。３Ｄ形状推定部２８０は、推定した標本の３次元形状と複数の顕微鏡画像とを画像合成部２９０に出力する。画像合成部２９０は、３Ｄ形状推定部２８０から入力された標本の３次元形状と複数の顕微鏡画像とに基づいて、焦点面が異なる複数の顕微鏡画像を合成して合成画像を作成する。この合成画像は、例えば３次元再構成画像や、全焦点画像等である。画像合成部２９０は、作成した合成画像を、例えば、表示させるために表示部に出力したり、記憶させるために記憶装置に出力する等を行う。

本実施形態の顕微鏡システム１００についてより詳細に説明する。本実施形態の顕微鏡システム１００の構成の概略は、図２のように表される。なお、図１と同様の構成に対しては、同様の処理を行うものとして、説明を省略する。この図に示すように、本実施形態では、パラメータ決定部２５６はフィルタ帯域制御部２５７を有する。フィルタ帯域制御部２５７は、光学系のカットオフ周波数に基づいて、フィルタの帯域を算出し、コントラスト評価パラメータとして機能するフィルタを決定する。

本実施形態では、コントラスト評価部２６０は、フィルタリング部２６１と、評価部２６２とを有する。フィルタリング部２６１は、フィルタ帯域制御部２５７が決定したフィルタを用いて各顕微鏡画像に対してフィルタリング処理を行う。評価部２６２は、フィルタリング部２６１によるフィルタリング処理の結果に基づいて各画像のコントラストを評価する。

本実施形態に係る顕微鏡システム１００の動作を説明する。標本面１１５を有する標本は、図示しないステージ上に配置される。コントローラ２３０は、顕微鏡１１０を制御する。コントローラ２３０は、例えば標本面１１５の位置を光軸方向に徐々に変化させ、標本に対する光学系の焦点面を徐々に変化させる。具体的には、例えばコントローラ２３０は、顕微鏡１１０のステージの高さ、対物レンズの高さ又はフォーカスレンズの位置を変化させる。このとき、コントローラ２３０は、各焦点面における標本の顕微鏡画像を画像取得部１２０に順次取得させる。画像入力部２１０は、画像取得部１２０から各焦点面における標本の顕微鏡画像を取得する。画像入力部２１０は、取得した顕微鏡画像を記憶部２２０に出力する。記憶部２２０は、画像入力部２１０から入力された複数の顕微鏡画像を記憶する。

コントローラ２３０は、光学帯域情報取得部２４０の要求に応じて顕微鏡画像取得時の顕微鏡１１０の各種光学系に係る情報を光学帯域情報取得部２４０に出力する。ここで、光学帯域情報取得部２４０は、光学系のパラメータである対物レンズ１１４の開口数ＮＡ_ｏｂｊと観察光学系１１８の総合倍率である像倍率βと、ＬＥＤ光源１１１が射出する照明光の波長λとを取得する。光学帯域情報取得部２４０は、これら光学系パラメータをカットオフ周波数取得部２５１に出力する。

カットオフ周波数取得部２５１は、取得した光学系パラメータを用いて、例えば下記式（１）に基づいてカットオフ周波数Ｆｃを算出する。
なお、開口数については、厳密には対物レンズの開口数のみならず照明側のコンデンサレンズの開口数も関係する。しかしながらここでは、照明がインコヒーレントであり、標本が散乱体であり、照明側の開口数を考慮しなくてもよい場合を想定している。

なお、像倍率βが低い場合、すなわち低倍率のときは、高周波成分が多く含まれ、像倍率βが高い場合、すなわち高倍率のときは、高周波成分は減少する。上記式（１）は、このこともよく表している。

レンズの変調伝達関数（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ；ＭＴＦ）を考慮しない場合における、像倍率βに応じた周波数とコントラストとの関係の概略を図３に示す。この図では、βが１の場合と５の場合とを示している。ここで、コントラストＣは、下記式（２）で表される。
ここで、Ｌ０は明暗のチャートにおける明の周波数０における輝度レベルを、Ｄ０は暗の周波数０における輝度レベルを、Ｌｆは周波数ｆにおける明領域の輝度レベルを、Ｄｆは周波数ｆにおける暗領域の輝度レベルをそれぞれ表す。

コントラストが０となる周波数が、カットオフ周波数Ｆｃと定義されている。カットオフ周波数取得部２５１は、算出したカットオフ周波数Ｆｃをパラメータ決定部２５６のフィルタ帯域制御部２５７に出力する。なお、波長λは、照明光の波長によらず、例えば５５０ｎｍといった所定の値としてもよい。

フィルタ帯域制御部２５７は、光学帯域情報取得部２４０から入力されたカットオフ周波数Ｆｃを用いて、例えば下記式（３）に基づいて、パラメータＡ１，Ａ２及びＡ３を算出する。
ここでＦ１は所定の定数である。また、Ａ１＋Ａ２＝Ａ３である。

フィルタ帯域制御部２５７は、パラメータＡ１、Ａ２及びＡ３と図４の右辺に示す第１のフィルタカーネルＫ１と、第２のフィルタカーネルＫ２と、第３のフィルタカーネルＫ３とを用いて、図４の左辺に示すようなコントラスト評価パラメータとしてのフィルタカーネルＫを作成する。第１のフィルタカーネルＫ１のスペクトルをＳ１、第２のフィルタカーネルＫ２のスペクトルをＳ２、第３のフィルタカーネルＫ３のスペクトルをＳ３としたとき、各スペクトルの例の概略を図５に示す。この図に示すように、各フィルタカーネルは、第３のフィルタカーネルＫ３＞第２のフィルタカーネルＫ２＞第１のフィルタカーネルＫ１の順に、高周波の利得が高い。

上記式（３）に示される通り、カットオフ周波数Ｆｃが高いほど、すなわち顕微鏡１１０の光学系の帯域が高いほど、Ａ１が小さく、Ａ２が大きくなる。したがって、顕微鏡１１０の光学系の帯域が高いほど、高周波の利得が高い第２のカーネルＫ２の重みが増すことになる。すなわち、顕微鏡１１０の光学系の帯域が高いほど、フィルタカーネルＫは、高周波の利得が高くなる。フィルタ帯域制御部２５７は、作成したフィルタカーネルＫをコントラスト評価部２６０のフィルタリング部２６１に出力する。

フィルタリング部２６１は、記憶部２２０から焦点面が異なる複数の顕微鏡画像を取得する。フィルタリング部２６１は、これら顕微鏡画像のそれぞれの画像中の各画素について、フィルタ帯域制御部２５７から入力されたフィルタカーネルＫを用いて、フィルタリング処理を行う。フィルタリング部２６１は、フィルタリング処理前の各顕微鏡画像とフィルタリング処理後の各結果とを、コントラスト評価部２６０内の評価部２６２に出力する。

評価部２６２は、フィルタリング部２６１から入力されたフィルタリング処理後の結果に基づいて、各顕微鏡画像の各画素について、コントラスト評価値を算出する。評価部２６２は、算出した各画素のコントラスト評価値と各顕微鏡画像とを合焦評価部２７０に出力する。

合焦評価部２７０は、評価部２６２から取得したコントラスト評価値に基づいて、合焦を評価する。例えば合焦評価部２７０は、焦点面が異なる複数の顕微鏡画像のそれぞれについて、コントラスト評価値が所定の閾値より高い画素を合焦している画素として特定する。合焦評価部２７０は、焦点面が異なる複数の顕微鏡画像のうち合焦している画素と、その画素が含まれる画像が取得された際の焦点面に係る情報から、その画素に対応する点について、標本の高さを推定する。合焦評価部２７０は、各画素に係る高さ情報と焦点面が異なる複数の顕微鏡画像とを３Ｄ形状推定部２８０に出力する。

３Ｄ形状推定部２８０は、合焦評価部２７０から入力された標本の高さに係る情報に基づいて、平滑化等の高さ情報の最適化を行い、標本の３次元形状を推定する。３Ｄ形状推定部２８０は、推定した標本の３次元形状と焦点面が異なる複数の顕微鏡画像とを画像合成部２９０に出力する。

画像合成部２９０は、３Ｄ形状推定部２８０から入力された標本の３次元形状と複数の顕微鏡画像とに基づいて、焦点面が異なる複数の顕微鏡画像を合成して合成画像を作成する。例えば合成画像が３次元再構成画像であれば、３次元形状とその３次元形状の各部に係る合焦している画像を合成させた合成画像を作成する。また、例えば合成画像が全焦点画像であれば、各画素についてその高さに相当する焦点面を有する顕微鏡画像から抽出した画像を組み合わせて、全ての画素について合焦している画像を合成する。画像合成部２９０は、作成した合成画像を表示部や記憶装置に出力する。通常の顕微鏡画像は被写界深度が浅いため、被写界深度よりも大きな高さがある標本の像は、通常の顕微鏡画像によってはユーザに認識されにくい。これに対して３次元再構成画像や全焦点画像によれば、被写界深度よりも大きな高さがある標本の像が、容易にユーザに認識され得る。

このように、例えば画像入力部２１０は、光学系を介した標本の画像を取得する取得部として機能する。例えばカットオフ周波数取得部２５１は、画像を取得した際の光学系の情報に基づいて、画像のカットオフ周波数を取得するカットオフ周波数取得部として機能する。例えばパラメータ決定部２５６は、カットオフ周波数に基づいて、画像に対するコントラスト評価に用いる評価パラメータを決定するパラメータ決定部として機能する。例えばコントラスト評価部２６０は、決定された評価パラメータに基づいて画像に対するコントラスト評価を行い、コントラスト評価値を算出するコントラスト評価部として機能する。例えば合焦評価部２７０は、コントラスト評価値に基づいて、画像の合焦を評価する合焦評価部として機能する。例えば画像合成部２９０は、全焦点画像作成部又は３次元再構成画像作成部として機能する。

本実施形態によれば、フィルタ帯域制御部２５７で作成されたフィルタを用いてフィルタリング部２６１においてフィルタリング処理が行われる。ここで、フィルタ帯域制御部２５７は、顕微鏡１１０の光学系のパラメータを用いてフィルタを決定している。一般に高周波数に対して高いスペクトルを有するフィルタが用いられた方が、コントラスト評価についてより正確な評価結果が得られる。一方で、顕微鏡１１０の光学系の帯域よりも高周波なフィルタが用いられると、例えばノイズといった被写体の構造とは無関係な要因による誤ったコントラスト評価値が得られてしまう。本実施形態によれば、顕微鏡１１０の光学系の帯域を考慮して、顕微鏡１１０で得られる帯域のうち、できるだけ高い周波数が利用されるようにフィルタが作成されるので、より正確なコントラスト評価がなされ得る。その結果、顕微鏡システム１００は、精度のよい３次元再構築画像や全焦点画像を作成することができる。顕微鏡１１０の光学系にズーム光学系が含まれている場合、ズーム光学系の焦点距離に応じて開口数が変化し顕微鏡画像の帯域が変化するので、本実施形態は特に効果を奏する。

なお、本実施形態では、各画素について複数の顕微鏡画像のうちいずれかの画像で合焦していると考えられる。このため、上記式（１）でカットオフ周波数Ｆｃを評価することに問題はない。また、本実施形態では、画素毎にフィルタリング処理がなされているが、複数の画素からなる画素領域ごとにフィルタリング処理がなされてもよい。

また、本実施形態では、標本によっても帯域が変化することは考慮されていない。しかしながら、標本の媒質の種類や、切片の厚さ等によっても取得される顕微鏡画像の帯域は変化する。このような標本の違いに由来する画像の帯域の違いが、カットオフ周波数の取得に考慮されてもよい。また、例えば半導体の配線パターンの観察等においては、標本によって配線パターンの間隔は予め明らかであるので、例えばこの間隔が画像の帯域に考慮されることもできる。このように標本の特性が考慮される場合、入力部３００は、ユーザによって入力される標本に関する情報を取得し、それをコントローラ２３０に出力する。カットオフ周波数取得部２５１は、光学帯域情報取得部２４０を介してコントローラ２３０から、顕微鏡１１０の光学系のパラメータとともに標本の情報を取得する。カットオフ周波数取得部２５１は、光学系のパラメータと標本の特性と考慮してカットオフ周波数Ｆｃを取得する。標本の特性が考慮されてカットオフ周波数Ｆｃが決定されることで、コントラスト評価の精度が更に向上する。このように、例えば入力部３００は、標本の光学特性情報を取得する標本情報取得部として機能する。

［第１の実施形態の変形例］
第１の実施形態の変形例について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本変形例に係る顕微鏡システムの構成例の概略を図６に示す。この図に示すように、本変形例に係るフィルタリング部２６１には、平滑化処理部２６３と微分演算処理部２６４とが設けられている。

本変形例に係る平滑化処理部２６３は、ガウシアンフィルタを用いたフィルタリング処理を行う。このため、フィルタ帯域制御部２５７は、カットオフ周波数取得部２５１から取得したカットオフ周波数Ｆｃを用いて、コントラスト評価パラメータとしての例えば下記式（４）に示すようなガウシアンフィルタＧを作成する。
ここで、Ａ４、Ａ５及びＡ６はそれぞれ下記式（５）で表される。
ここで、Ｆ２及びＦ３は、所定の定数である。

上記式（４）の第２式の第１項の周波数特性Ｓ４と、第２項の周波数特性Ｓ５と、第３項の周波数特性Ｓ６との概略を図７に示す。この図に示すように、第３項の周波数特性Ｓ６＞第２項の周波数特性Ｓ５＞第１項の周波数特性Ｓ４の順に、高周波の利得が高い特性となっている。上記式（５）に示される通り、カットオフ周波数Ｆｃが高いほど、すなわち顕微鏡１１０の光学系の帯域が高いほど、Ａ４が小さく、Ａ５及びＡ６が大きくなる。したがって、顕微鏡１１０の光学系の帯域が高いほど、ガウシアンフィルタＧは高周波の利得が高くなる。

本変形例では、フィルタ帯域制御部２５７は、上記式（４）で表されるガウシアンフィルタＧを平滑化処理部２６３に出力する。平滑化処理部２６３は、フィルタ帯域制御部２５７から入力された上記式（４）で表されるガウシアンフィルタＧを用いて記憶部２２０から取得した顕微鏡画像の各画素に対してフィルタリング処理を行う。平滑化処理部２６３は、ガウシアンフィルタＧによるフィルタリング処理した結果を微分演算処理部２６４に出力する。

微分演算処理部２６４は、平滑化処理部２６３から入力された結果に対してラプラシアンフィルタを用いたフィルタリング処理を行う。ここで、微分演算処理部２６４は、例えば下記式（６）で表されるラプラシアンフィルタＬを用いる。
微分演算処理部２６４は、ラプラシアンフィルタＬによるフィルタリング処理した結果を評価部２６２に出力する。すなわち、平滑化処理部２６３と微分演算処理部２６４とを有するフィルタリング部２６１に入力された画像Ｉ_ｉｎは、下記式（７）によりＩ_ｏｕｔとなる。
ここで＊はたたみこみを表す。

評価部２６２には、上記のＩ_ｏｕｔが入力される。評価部２６２は、Ｉ_ｏｕｔを用いて所定の領域のＩ_ｏｕｔの絶対値の合計を用いて合焦を評価する。すなわち、コントラスト評価値Ｐ（ｘ，ｙ）は、下記式（８）で表される。
ここで、ｘ，ｙはブロックの位置を表し、ｉ，ｊは画素位置を表す。評価部２６２は、算出した各画素のコントラスト評価値Ｐ（ｘ，ｙ）と各顕微鏡画像とを合焦評価部２７０に出力する。その他の動作は、第１の実施形態の場合と同様である。

本変形例によっても、光学系のパラメータに応じて例えば上記式（４）で表されるガウシアンフィルタＧが調整される。したがって、第１の実施形態の場合と同様に、本顕微鏡システム１００は精度が高いコントラスト評価を行うことができ、第１の実施形態の場合と同様の効果を得ることができる。

［第２の実施形態］
本発明の第２の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本実施形態に係る顕微鏡システム１００の構成例の概略を図８に示す。この図に示すように、本実施形態に係るフィルタリング部２６１は、フィルタバンクを有する。すなわち、フィルタリング部２６１は、第１のフィルタ２６５と、第２のフィルタ２６６と、第３のフィルタ２６７とを有する。また、パラメータ決定部２５６は、重み付け決定部２５８を有する。

パラメータ決定部２５６の重み付け決定部２５８は、カットオフ周波数取得部２５１から取得したカットオフ周波数Ｆｃに基づいて、下記式（９）によりコントラスト評価パラメータとしての重み付け係数Ａ７、Ａ８及びＡ９を算出する。
ここで、Ｆ５及びＦ６は、それぞれ所定の定数である。重み付け決定部２５８は、算出した重み付け係数Ａ７、Ａ８及びＡ９をフィルタリング部２６１に出力する。

フィルタリング部２６１が有する第１のフィルタ２６５と、第２のフィルタ２６６と、第３のフィルタ２６７とは、予め定められている互いに異なるフィルタである。ここで、各フィルタの帯域は、第１のフィルタ２６５の帯域＜第２のフィルタ２６６の帯域＜第３のフィルタ２６７の帯域の関係を有する。フィルタリング部２６１は、記憶部２２０から取得した顕微鏡画像を、第１のフィルタ２６５、第２のフィルタ２６６、第３のフィルタ２６７のそれぞれでフィルタリング処理する。

フィルタリング部２６１は、第１のフィルタ２６５によるフィルタリング結果に重み付け決定部から取得した重み付け係数Ａ７を掛け合わせる。同様に、フィルタリング部２６１は、第２のフィルタ２６６によるフィルタリング結果に重み付け係数Ａ８を掛け合わせ、第３のフィルタ２６７によるフィルタリング結果に重み付け係数Ａ９を掛け合わせる。フィルタリング部２６１は、各フィルタによるフィルタリング結果に各重み付け係数を掛け合わせたものを全て足し合わせて、フィルタリング処理後の結果として、それを評価部２６２に出力する。

なお、本実施形態では、Ａ７＋Ａ８＋Ａ９＝１となっており、利得は１である。上記式（９）に示される通り、カットオフ周波数Ｆｃが高いほど、すなわち顕微鏡１１０の光学系の帯域が高いほど、Ａ７が小さく、Ａ８及びＡ９が大きくなる。したがって、顕微鏡１１０の光学系の帯域が高いほど、高周波の利得が高くなる。

評価部２６２は、フィルタリング部２６１から入力されたフィルタリング処理後の結果に基づいて、各顕微鏡画像の各画素について、コントラスト評価値を算出する。評価部２６２は、算出した各画素のコントラスト評価値と各顕微鏡画像とを合焦評価部２７０に出力する。その他の動作は、第１の実施形態の場合と同様である。

本実施形態によっても、第１の実施形態の場合と同様に、光学系のパラメータに応じてフィルタリング処理後の結果が調整される。したがって、第１の実施形態の場合と同様に、本顕微鏡システム１００は、精度が高いコントラスト評価を行うことができ、第１の実施形態の場合と同様の効果を得ることができる。

なお、本実施形態では、フィルタリング部２６１が有するフィルタは、第１のフィルタ２６５、第２のフィルタ２６６、及び第３のフィルタ２６７の３つであるが、フィルタの数はいくつでもよい。また、本実施形態では、各フィルタによるフィルタリング処理の結果に、各重み付け係数を乗じているが、各フィルタリング処理の結果に各重み付け係数が反映されればどのような方法が用いられてもよい。例えば、各重み付け係数によって、各フィルタが補正されるように構成されてもよい。

［第３の実施形態］
本発明の第３の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本実施形態では、コントラスト評価部２６０において、正規直交基底変換による周波数分解が用いられる。本実施形態に係る顕微鏡システム１００の構成例の概略を図９に示す。この図に示すように、パラメータ決定部２５６は、係数重み付け部２５９を有する。また、コントラスト評価部は、直交変換処理部２６８と評価部２６２とを有する。

コントラスト評価部２６０の直交変換処理部２６８は、記憶部２２０から取得した顕微鏡画像に対して、例えば離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；ＤＣＴ）処理を行う。直交変換処理部２６８は、例えば、顕微鏡画像の８画素×８画素のセル毎にＤＣＴ処理を行う。直交変換処理部２６８によるＤＣＴにより、セル毎に例えば図１０に示すようなＤＣＴのテーブルが得られる。図１０に示すテーブルにおいて、左右方向は縦方向の周波数毎の強度を示し、左ほど低い周波数を示し、右ほど高い周波数を示す。一方、図１０に示すテーブルにおいて上下方向は横方向の周波数毎の強度を示し、上ほど低い周波数を示し、下ほど高い周波数を示す。

直交変換処理部２６８は、図１０に示すようなＤＣＴ処理後に得られるテーブルに対して量子化テーブルによる量子化を行う。さらに、パラメータ制御部２５０の係数重み付け部２５９からコントラスト評価パラメータとしてのカットオフ係数を取得する。

パラメータ制御部２５０の係数重み付け部２５９は、カットオフ周波数取得部２５１からカットオフ周波数Ｆｃを取得する。係数重み付け部２５９は、カットオフ周波数ＦｃとＦ７＋ｎ×Ｆ８とを比較することでカットオフ係数を決定する。ここで、Ｆ７及びＦ８は、それぞれ所定の定数である。カットオフ係数は、例えば下記のように決定される。
Ｆｃ＞Ｆ７＋Ｆ８のとき、カットオフ係数＝Ａ１０、
Ｆｃ＞Ｆ７＋２×Ｆ８のとき、カットオフ係数＝Ａ１１、
Ｆｃ＞Ｆ７＋３×Ｆ８のとき、カットオフ係数＝Ａ１２、
Ｆｃ＞Ｆ７＋４×Ｆ８のとき、カットオフ係数＝Ａ１３、
とする。ここで、Ａ１０、Ａ１１、Ａ１２及びＡ１３は、それぞれ所定の定数である。ここで、カットオフ係数は、カットオフ周波数Ｆｃが低いほど低くなるように設定されている。係数重み付け部２５９は、決定したカットオフ係数を直交変換処理部２６８に出力する。

係数重み付け部２５９からカットオフ係数を取得した直交変換処理部２６８は、量子化テーブルによる量子化を行ったテーブルについて下記を行う。このテーブルについて左上を原点として、横方向の位置をｐ、縦方向の位置をｑとしたときにｐ＋ｑがカットオフ係数より大きい場合、その値すなわちＤＣＴ係数を０とする。その結果、例えば図１１に示すような量子化後テーブルが得られる。この図の例では、カットオフ係数が６であり、ｐ＋ｑが６より大きい場合に、ＤＣＴ係数が０となる。直交変換処理部２６８は、図１１に示すような量子化後テーブルを評価部２６２に出力する。

評価部２６２は、直交変換処理部２６８から入力された量子化後テーブルに基づいて、各顕微鏡画像の各セルについて、コントラスト評価値を算出する。評価部２６２は、算出した各セルのコントラスト評価値と各顕微鏡画像とを合焦評価部２７０に出力する。その他の動作は、第１の実施形態の場合と同様である。

本実施形態によっても、第１の実施形態の場合と同様に、光学系のパラメータに応じてＤＣＴ係数が変化する。例えばカットオフ周波数Ｆｃが低いとき、０となるＤＣＴ係数の数は多い。その結果、本顕微鏡システム１００は精度が高いコントラスト評価を行うことができ、第１の実施形態の場合と同様の効果が得られる。

本実施形態で示したＤＣＴ係数を０と決定する方法は一例であり、カットオフ周波数Ｆｃが低いほど低周波数のＤＣＴ係数のみを残して高周波数のＤＣＴ係数を０とするように決定する方法であればどのような方法を用いてもよい。また、ＤＣＴ係数を０とするのみならず、カットオフ周波数が低いほど高周波数のＤＣＴ係数の影響が小さくなるように、ＤＣＴ係数に乗じる重み係数を異なるものとするようにしてもよい。また、ＤＣＴの代わりに、Ｈａｄａｍａｒｄ変換やＷａｖｅｌｅｔ変換を用いてもよい。Ｈａｄａｍａｒｄ変換やＷａｖｅｌｅｔ変換を用いても、本実施形態と同様の効果が得られる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても、発明が解決しようとする課題の欄で述べられた課題が解決でき、かつ、発明の効果が得られる場合には、この構成要素が削除された構成も発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００…顕微鏡システム、１１０…顕微鏡、１１１…ＬＥＤ光源、１１２…照明光学系、１１３…光路制御素子、１１４…対物レンズ、１１５…標本面、１１６…ズーム光学系、１１７…結像光学系、１１８…観察光学系、１１９…撮像面、１２０…画像取得部、２００…画像処理システム、２１０…画像入力部、２２０…記憶部、２３０…コントローラ、２４０…光学帯域情報取得部、２５０…パラメータ制御部、２５１…カットオフ周波数取得部、２５６…パラメータ決定部、２５７…フィルタ帯域制御部、２５８…重み付け決定部、２６０…コントラスト評価部、２６１…フィルタリング部、２６２…評価部、２６３…平滑化処理部、２６４…微分演算処理部、２６５…第１のフィルタ、２６６…第２のフィルタ、２６７…第３のフィルタ、２６８…直交変換処理部、２７０…合焦評価部、２８０…３Ｄ形状推定部、２９０…画像合成部、３００…入力部。

Claims (16)

1. 光学系を介した標本の画像を取得する取得部と、
   前記光学系の情報に基づいて、前記画像のカットオフ周波数を取得するカットオフ周波数取得部と、
   前記カットオフ周波数に基づいて、前記画像に対するコントラスト評価に用いる評価パラメータを決定するパラメータ決定部と、
   前記評価パラメータに基づいて前記画像に対する前記コントラスト評価を行い、コントラスト評価値を算出するコントラスト評価部と、
   前記コントラスト評価値に基づいて、前記画像の合焦を評価する合焦評価部と、
   を具備することを特徴とする画像処理システム。
2. 前記取得部は、同一の標本について互いに異なる焦点位置を有する複数の画像を取得し、
   前記コントラスト評価部は、前記複数の画像の各画素の前記コントラスト評価値を算出し、
   前記合焦評価部は、前記コントラスト評価値に基づいて、前記画像のうち合焦している前記画素又は複数の前記画素からなる画素領域を選択する
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記パラメータ決定部は、前記カットオフ周波数に基づいて、フィルタの帯域を前記評価パラメータとして決定し、
   前記コントラスト評価部は、前記画像に対して前記帯域のフィルタを用いたフィルタリング処理を行い、該フィルタリング処理によって得られた値に基づいて前記コントラスト評価値を算出する
   ことを特徴とする請求項１又は２に記載の画像処理システム。
4. 前記パラメータ決定部は、前記カットオフ周波数が高いほど前記帯域が高くなるように前記帯域を決定することを特徴とする請求項３に記載の画像処理システム。
5. 前記コントラスト評価部は、異なる帯域を持つ複数のフィルタを有しており、
   前記パラメータ決定部は、前記カットオフ周波数に基づいて、前記複数のフィルタのそれぞれに対する重み付け係数を、前記評価パラメータとして決定し、
   前記コントラスト評価部は、前記画像に対する前記複数のフィルタを用いたフィルタリング処理を行い、該フィルタリング処理によって得られた値に前記重み付け係数を反映させた前記コントラスト評価値を算出する
   ことを特徴とする請求項１又は２に記載の画像処理システム。
6. 前記パラメータ決定部は、前記カットオフ周波数に基づいて、カットオフ係数を前記評価パラメータとして決定し、
   前記コントラスト評価部は、前記画像に対して正規直交基底変換を施して正規直交基底変換係数を取得し、該正規直交基底変換係数に対して前記カットオフ係数を反映させて前記コントラスト評価値を算出する
   ことを特徴とする請求項１又は２に記載の画像処理システム。
7. 前記正規直交基底変換は、離散コサイン変換であることを特徴とする請求項６に記載の画像処理システム。
8. 前記正規直交基底変換は、Ｈａｄａｍａｒｄ変換であることを特徴とする請求項６に記載の画像処理システム。
9. 前記正規直交基底変換は、Ｗａｖｅｌｅｔ変換であることを特徴とする請求項６に記載の画像処理システム。
10. 前記パラメータ決定部は、前記カットオフ周波数が高いほど高周波数の前記正規直交基底変換係数の重みが高くなるように前記カットオフ係数を決定することを特徴とする請求項６乃至９のうち何れか１項に記載の画像処理システム。
11. 前記標本の光学特性情報を取得する標本情報取得部をさらに具備し、
    前記カットオフ周波数取得部は、前記カットオフ周波数を取得する際に、前記光学特性情報を用いる
    ことを特徴とする請求項１乃至１０のうち何れか１項に記載の画像処理システム。
12. 前記合焦評価部によって選択された画素と、該画素に対応する前記焦点位置とに基づいて、全焦点画像を作成する全焦点画像作成部をさらに具備することを特徴とする請求項２に記載の画像処理システム。
13. 前記合焦評価部によって選択された画素と、該画素に対応する前記焦点位置とに基づいて、３次元再構成画像を作成する３次元再構成画像作成部をさらに具備することを特徴とする請求項２に記載の画像処理システム。
14. 前記光学系の情報は、対物レンズの開口数ＮＡ_ｏｂｊと、前記画像の倍率βと、所定の波長λとを含み、
    前記カットオフ周波数取得部は、前記カットオフ周波数をＦｃとしたときに、
    に基づいて、前記カットオフ周波数を取得する、
    ことを特徴とする請求項１乃至１３のうち何れか１項に記載の画像処理システム。
15. 請求項１乃至１４のうち何れか１項に記載の画像処理システムを備える顕微鏡システム。
16. 前記光学系は、変倍光学系を含むことを特徴とする請求項１５に記載の顕微鏡システム。