JP6588527B2 - モジュール式デジタル顕微鏡において照明に依存する収差を補正するための方法、デジタル顕微鏡、及びデータ処理プログラム - Google Patents

Description

本発明は、電動ズーム装置と交換可能な対物レンズとを備えるモジュール式デジタル顕微鏡において照明に依存する収差を補正する方法に関する。さらに、本発明は、この方法を実施するためのデジタル顕微鏡およびデータ処理プログラムに関する。

デジタル顕微鏡では、特に、装置間で交換可能な対物レンズおよび電動ズーム系を使用する際に、かつ実際のズーム設定によって、異なる強度で形成される、照明に依存する系統的な収差が発生する。

このような照明に依存する系統的な収差は、例えば、特に焦点距離の比較的長い対物レンズの場合に問題となるか、かつ／または同軸反射光照明の使用を不可能にする同軸反射光照明における反射となり得る。

顕微鏡において照明タイプは頻繁に組み合わせられるので、これらの収差は、異なるサイズで組み合わせる際に確実に発生し得る。
光学システム、特にデジタルカメラ技術における画像補正のための様々な方法が知られている。例えば、撮影用レンズの場合には、ケラレが画像エラー（コマ（Ｋｏｍａ））の補正手段として使用される。

さらに、撮影用レンズにおける複数の反射のデジタル補正の試みがある。画像を撮影する際のアーチファクトを補正するために、暗い画像を再現する方法が慣習的である。
「マシンビジョン」の適用領域からの画像記録システムは、米国特許出願公開第２００２／００４１３８３号明細書（特許文献１）から公知である。このシステムでは、カメラ、対物レンズ、照明およびコンピュータシステムによるすべての幾何学的歪みを測定し、デジタル的に補正して、歪みのないデジタル画像を正しい倍率で算出する必要がある。画像は修正され、かつ、すべて同じ倍率にスケーリングされる。異なる収差の同時補正が行われる。システム較正は、２つのカメラが必要とされる特別な幾何学的較正マスクおよび／または照明較正マスクを用いて行われる。この記載された方法は非常に高価である。

顕微鏡で同軸の反射光照明を使用する場合、光はビーム分割器によって観察ビーム経路に結合される。光が物体に当たる前に、光は観察レンズの少なくとも１つの光学的な能動素子を通過する。光の特定の部分は、このような素子の境界面（特に光軸の近傍）で反射され、観察レンズによって対象物から伝播された有用な光と混合される。この反射光は、いわゆるトップ照明反射を形成する。

モジュール式ズーム系では、トップ照明反射が、同じ構造を有する別の対物レンズへの変更中およびズーム中にその形状、色および強度を変化させる特定の対物レンズにおいて生じることがある。

米国特許出願公開第２００２／００４１３８３号明細書

反射を伴う同軸明視野照明下の顕微鏡画像を示す。 補正方法を使用した場合の図１による顕微鏡画像を示す。

本発明は、照明依存性収差を補正するための、特に、電動ズーム系および交換対物レンズを備えたモジュール式に構成されたデジタル顕微鏡における同軸反射光照明によって生じるトップ照明反射を補正するための方法、およびデジタル顕微鏡およびこの方法を実施するためのデータ処理プログラムに関する。

この課題の解決策は、請求項１の特徴を有する方法、請求項９の特徴を有するデジタル顕微鏡、および請求項１０の特徴を有するデータ処理プログラムによって達成される。
本発明の方法を使用することができるデジタル顕微鏡は、好ましくは交換可能な対物レンズ、好ましくは電動ズーム系、同軸反射光照明装置、デジタル画像検出ユニット、画像処理ユニットおよび制御ユニットを含む。本発明の補正方法は、好ましくはコントローラ（ＦＰＧＡ）に実装されるという点で画像処理ユニット内で実行される。

本発明の方法は、好ましくは較正データ記録として画像処理ユニットに記憶される較正データの使用に基づく。
較正データ記録は、対物レンズとズームの各組み合わせについて決定され、データメモリに記憶される。対物レンズが電子インターフェースを含むので、制御ユニットは、使用されている特定の対物レンズを認識し、フィッティング較正データ記録を選択することができる。較正データ記録が依然として特定の構成に対して存在していない場合、制御ユニットは以下のように較正手順を実行する。

反射光の照射は、可能な電流供給のある値（好ましくは４０％）に調整される。この値に対するデジタル制御値が記憶される。光学デバイスは、物体が画像の焦点にないように配置される（最大デフォーカシング）。最大のデフォーカシングは、できるだけ非反射性になるようにコーティングされたマット較正キャップが対物レンズに設置されているということでも達成することができる。対物レンズ保護カバーは、対応する形状の内面を較正キャップとして使用することもできる。

トップ照明反射の画像がセンサ上に生成される。光学デバイスの周囲の空間を適切に暗くする必要がある可能性がある。
ここで、ｎ個の指定されたズーム位置に連続的に接近し、最小ズーム及び最大ズームはいずれの場合にもズーム位置として含まれなければならない。システムは、好ましくは自動的に開口および積分時間を決定し、特定のトップ照明反射の画像が、ズーム位置ごとに記録され、続いて、積分時間およびズーム位置と共に記憶される。

本発明の方法の特に好ましい実施形態では、画像は、例示的な実施形態を用いて後述するように、低解像度で毎回スケーリングされる。この目的のために、好ましくは事前にディープ・パス・フィルタリングされる。一方では、較正生成器は、メモリ要件が低くても有利に格納することができ、その結果、ライブ補正方法をさらに迅速に実行することができる。

本発明の補正方法は、ライブ画像モードで有利に使用することができ、以下に説明するステップを含む。
最初に、較正データ記録が、現在のモジュール（ズームおよび対物レンズ）の組み合わせのために制御ユニットまたは画像処理ユニットのメモリに存在するかどうかのチェックが行われる。そうでなければ、前述の較正が実行される。

現在のズーム位置は、画像検出ユニットに描画された画像に対して決定される。
さらに、直接照明の実際の電流供給値および画像検出ユニットの実際の積分時間が決定される。補正係数は、較正状態と実際の状態とを関係に置くこのデータから算出される。

反射画像は、ズーム位置に隣接する較正画像からのズーム係数に応じて算出される。これは、例えば、凸状の線形結合で行うことができる。
反射画像は、適応された反射画像に対する補正係数を用いて、好ましくは乗算によって算出される。

適応された反射画像は、続いて、現在検出された画像から、すなわち、オーバードライブされていないピクセルから減算される。
その後、元の輝度を再設定または近似するために差分画像には係数の乗算が行われる。

較正画像が低い分解能で存在する場合、双線形補間は、加重画像抽出のために完全な解像度で全ピクセルに使用されるように反射画像を提供する。
本発明の方法のいくつかの有利な態様および実施形態を、特に好ましい実施形態を用いて以下に詳細に説明する。

本発明の方法は、この実施形態では、対物レンズを有する光学ユニットと、電動ズーム系と、画像センサを有する画像検出ユニットと、画像処理ユニットとを備えるデジタル顕微鏡において使用される。光学ユニットは、同軸明視野照明装置を含み、かつモータによって高さを調節可能なスタンドに配置される。さらに、デジタル顕微鏡は、水平面内および垂直方向に移動することができ、かつ制御ユニットを含むオブジェクトテーブルを備える。さらに、デジタル顕微鏡は、好ましくはＰＣと接続されるユーザーインターフェースを備える。

最初に、較正データ記録を生成する変形例について説明する。
制御ユニットには較正ルーチンが記憶され、較正手順のステップが実施される。最初に、対物レンズが顕微鏡内で新たなものであるかどうかのチェックが行われる。このために、使用された最後の１０個の対物レンズのシリアル番号が記憶されている「ＲＯＳ」メモリが、現在の対物レンズの有無についてチェックされる。メモリは、例えば、ＳＤカードまたは別の代替メモリ、または固定のシステムメモリであってもよい。対物レンズが既に判明している場合、この場合は較正データ記録が既に存在しているので、動作モードへの直接移行を行うことができる。

例えば、「しばらくお待ちください。較正反射補正」のような通信は、制御ユニットからユーザーインターフェースに送信され、好ましくはモニタ上に示される。
顕微鏡の光学ユニットの駆動装置は、最高位置に移動され、オブジェクトテーブルは最低位置に移動される。ズームは、対物レンズのタイプ、例えばβ＝０．５の間で任意に変化し得る最小値に調整される。既存の暗視野照明は、存在する場合には、オフにされる。同軸明視野照明装置は、所定の電流供給値（例えば、４０％）でオンされる。

一定の照度で異なるズーム位置にある９つの較正画像が取得される。ズーム位置は、最小の可能な倍率と最大の可能な倍率とを含み、最小の倍率は対物レンズのタイプに依存し、ズーム位置は、完全に視認可能な反射の領域においてより多くのサポート位置を有するべきである。これは通常、より小さい倍率段階では当てはまるが、大きな倍率の場合には、反射は「曇りのある輝き」として現れる傾向がある。０．５，０．５６５，０．８，１，１．４，１．９，３．５は、上述した実施形態におけるズーム位置である。較正画像は、メタデータとしてのその特定のシャッター速度とともに記憶される。シャッター速度は、好ましくは、較正モードにおいて自動的に決定される。シャッター速度を較正シャッター速度間で利用できるようにするために、複数のズーム位置に亘るシャッター速度の経過は、露光式によって近似される。これは好ましくは４次の多項式である。この露光式がズーム位置に対して正確な値を供給するために、実際のシャッター速度に適応される指数が決定され、較正画像には特定の指数が乗算される。シャッター速度が輝度に比例するというパラダイムは、慣習的にはＨＤＲ技術でも前提とされており、較正画像のシャッター速度の正確な対比式が得られる。

特に、急速なライブ補正モードを可能にするために、較正画像は、以下のように、各カラーチャンネルで処理される。
− 例えば、４０×４０ピクセルの移動２Ｄ平均値を用いることによってディープパスフィルタを使用する。

− 画像中心から始まり、画像を、各カラーチャネルに関する反射の１９×２７ピクセル画像にスケーリングする。各６０番目のピクセルは、画像中心を含むあらゆる方向に使用される。

− ９つのスケーリングされた較正画像、較正照度Ｌ＿ＣＢＦ、および９つの倍率段階にわたる露光時間Ｅ＿Ｒの適合のための５つの係数は、４次の多項式によって較正データ記録としてメモリに記憶される。

その後、ユーザーインターフェースへの「較正準備完了」の通知が行われる。
オプションのライブ反射補正は、顕微鏡操作で選択することができる。このオプションの選択において、露出時間Ｅ＿Ｎ、明視野照明の現在の供給値Ｌ＿ＢＦおよび現在のズーム位置が、各画像の取得時に決定される。これらの値は、部品が制御ユニットへの電子インターフェースを有するので、顕微鏡上で直接的に決定することができる。

一定の較正照度Ｌ＿ＣＢＦが較正データ記録から読み出され、現在のズーム位置に対する正しいシャッター速度Ｅ＿Ｒが決定される。Ｅ＿Ｒを決定するために、較正データ記録の５つの係数が読み出され、現在の倍率βのための多項式が計算される。

現在の倍率βが較正プロセスで使用される倍率でない場合、２つの隣接するズームステージが決定され、スケーリングされた反射画像が、関連する較正画像ｉｍａ、ｉｍｂの線形補間によって決定される。現在の倍率βが較正ズームステージの１つを正確に満たす場合、特定の較正画像は、スケーリングされるべく反射画像として使用される。

較正画像は、双線形補間によって元のサイズ、例えば、１２００ｘ１６００ピクセルに再計算される。これは、画像全体に対して行われる必要はなく、むしろ双線形補間が局所的に行われるため、（画像処理ユニット内で）「オンザフライ」で原画像ピクセルごとに行われる。

この状況は、ライブピクセルストリームのライン毎の処理を伴うＦＰＧＡ（フィールドプログラマブルゲートアレイ）における処理に準拠する。
解像度が向上した画像は、補正係数を表す以下の式に従って現在の較正データでスケーリングされる。

値０．９７は、要件に適合させることができる例示的な安全係数であるが、必須ではない。

このようにして修正された反射画像は、オーバードライブされていないピクセルのライブ画像から減算される。この減算は、ピクセル毎または行毎に行うことができる。
続いて、ダイナミックキャプチャーが拡張され、そのために、当業者に知られている異なる拡張方法を使用することができる。

前述の方法は、ライブ補正のために画像処理ユニットのハードウェアに実装するのが有利であるが、画像の後処理のために別個のソフトウェアで使用するのにも適している。
本発明の補正方法の効果を図面を用いて以下に示す。

図１における顕微鏡画像は明視野照明の反射を明確に示しており、ライブ反射補正を使用した場合、明視野照明の反射は、もはや図２では視認できない。

Claims (10)

1. 同軸明視野照明装置、電動ズーム装置、対物レンズ、デジタル画像検出ユニット及び画像処理ユニットを有するモジュール式デジタル顕微鏡において照明に依存する収差を補正するための方法であって、
   異なるズーム値β＿ｉに対する収差の複数の較正画像を含み、かつ各較正画像に関連する較正メタデータを含む較正データ記録をロードするステップと、
   画像と、該画像に関連し、かつズーム系の少なくとも１つのズーム位置β＿ａを含む画像メタデータとを取得するステップと、
   前記較正データ記録の前記較正メタデータと、前記画像メタデータとを使用して補正係数を決定するステップと、
   前記較正データ記録の前記複数の較正画像から前記少なくとも１つのズーム位置β＿ａに対する反射画像を決定するステップと、
   前記補正係数を用いて前記反射画像を補正することにより、補正された反射画像を算出するステップと、
   前記補正された反射画像を用いて、取得された画像の照明に依存する収差を補正するステップとを含む方法。
2. 前記画像メタデータは、明視野照明装置の照明強度（Ｌ＿ＢＦ）および画像検出ユニットの積分時間（Ｅ＿Ｎ）をさらに含む、請求項１に記載の方法。
3. 反射画像が、実際のズーム位置β＿ａのメタデータとして隣接するズーム位置β＿ｉを有する補間によって少なくとも２つの較正画像から算出される、請求項１に記載の方法。
4. 前記反射画像に前記補正係数が乗算される、請求項１に記載の方法。
5. 前記補正係数は、以下の式に従って算出され、
   Ｋは安全係数であり、Ｅ＿Ｒは所定の積分時間であり、Ｌ＿ＣＢＦは顕微鏡の較正調整の照射強度の現在値である、請求項２に記載の方法。
6. 前記画像メタデータのズーム位置β＿ａに対する前記所定の積分時間（Ｅ＿Ｒ）が、顕微鏡の較正調整の照射強度の前記現在値に基づいて算出される、請求項５に記載の方法。
7. 前記較正データ記録は、
   ａ） 反射光照明装置Ｌ＿ＣＢＦの所定の値を調整すること、
   ｂ） 最大のデフォーカスを調整すること、
   ｃ） 特定のズーム位置β＿Ｒを調整すること、
   ｄ） 画像を較正画像として取得すること、
   ｅ） 関連するズーム位置β＿Ｒおよび積分時間Ｅ＿Ｒを有する較正画像を較正データ記録に格納すること、
   ｆ） 最小および最大ズーム位置を含む異なるズーム位置β＿ｉについてステップｂ）〜ｅ）を繰り返すことによって準備される、請求項１に記載の方法。
8. ズーム位置に対して使用される積分時間を４次の多項式によって近似することによって、所定の積分時間を算出するステップと、
   前記所定の積分時間から指数を決定するステップと、
   較正画像に決定された指数を乗算するステップと
   をさらに含む、請求項７に記載の方法。
9. 対物レンズ、ズーム系、同軸直接照明装置、デジタル画像検出ユニット、画像処理ユニット、および制御ユニットを備えるデジタル顕微鏡であって、請求項１に記載の方法が前記画像処理ユニットに実装されているデジタル顕微鏡。
10. 請求項１に記載の方法を実行するためのプログラムコード手段を有するデータ処理プログラム。