JP6411115B2 - ズーム系を有するデジタル光学撮像システムを較正するための方法、ズーム系を有するデジタル光学撮像システムにおける収差を補正するための方法、及びデジタル光学撮像システム - Google Patents

Description

本発明は、デジタル光学撮像システムを較正するための方法、特にズーム系を有するデジタル光学撮像システム用の様々な光学ユニットで発生する収差を補正するための方法に関する。更に、本発明は、かかる方法が実行されるデジタル光学撮像システムに関する。

デジタル光学撮像システムは、交換可能なズーム系及び対物レンズを有するデジタル顕微鏡であるのが好ましい。しかしながら、撮像システムはまた、例えば様々な計測作業に使用されるように、対物レンズのないテレセントリック又は他のズーム系であっても良い。

説明は、以下でデジタル顕微鏡から進展するが、しかしながら、それは、本出願へのどんな限定も意味しない。
収差は、物点から現れる様々な光線が１つの像点に全く合焦されない場合に、発生する。最も重要な収差は、球面及び色収差である。球面及び色収差は、異なるガラスタイプの複数のレンズからなるシステムによって補正され、球面収差は、非球面レンズ又は勾配レンズによって補正される。ガラスプレート（平面プレート）は、画像平面シフト又は鮮明度の不足を生じ、それらは、開口角が増加するにつれて増加する。

レンズを使用する撮像は、多かれ少なかれ常に誤差にさらされる。レンズ数を増加させれば、補正は、改善可能である。光学ユニット及び取り付け台用のコストが増加する。例えば、色縁、又は像面湾曲として知られているものが、顕微鏡画像において発生する。対物レンズを巧みに構成することによって、かかる収差は、大部分は除去することができる。平面アクロマート、アポクロマートは、その例である。アポクロマート対物レンズにおいて、色縁は、対物レンズにおける異なるレンズの複雑な配置によって、顕微鏡画像において抑制される。平面アクロマートは、顕微鏡画像において通常発生する像面湾曲が除去されるように、補正される。

全ての対物レンズの中で、平面アポクロマートは、最も複雑な構成を有する。これらの対物レンズにおいて、像面湾曲は、平面アクロマートにおけるように、大部分は除去される。更に、通常発生する赤及び青の色縁は、非常に複雑な構成によって、これらの対物レンズにおいて防止される。前記対物レンズは、非常に高価で、最も高い要件を備えたカラー顕微鏡写真において主に用いられる。

ズーム系において、ズーム構成におけるセンタリングの差による収差もまた発生する（画像不安定性）。
特許文献１は、実体顕微鏡の倍率を較正するための方法を開示するが、そこにおいて倍率範囲全体にわたる較正は、最初の校正に基づいて導き出せるように意図されている。対物レンズ／アイピース基準測定ペアを用いて、顕微鏡上で予め指定される実際の倍率が、ズームを作動させることによって設定される。この場合に存在する個別ズームレンズの位置が捕捉され、名目倍率値が、各ズーム設定用に記憶される。実際の倍率を名目倍率と計算上比較することによって、ズーム範囲全体を較正するために用いられる補正率が計算される。

デジタル写真において、対物レンズの歪みは、例えばソフトウェアによって手動で補正することができるが、その場合に、カメラ及び対物レンズ用の広範囲なデータベースが利用可能でなければならない。対物レンズ補正（歪み、色収差、及び口径食）が、カメラのファームウェアを用いて、内部で部分的に実行される（例えばソニー）。

特許文献２は、ズーム光学ユニット及びデジタルカメラを有する顕微鏡システムを説明する。デジタルで撮影された画像は、それぞれの倍率による画像補正データに従って、補正ユニット（ＰＣ）において補正される。画像補正データは、ここでは標準背景画像の写真画像データである。各画像要素に対して、対象物画像及び標準背景画像による排他的ＯＲ関数が実行される。

特許文献３は、歪みのないデジタル画像を生成するための実行方法を有するデジタルカメラを開示するが、このデジタルカメラは、各場合に存在するカメラ対物レンズに適合された最適な画像歪み補正を可能にする。その方法において、各タイプのカメラ対物レンズ用の補正値は、一度実験的に決定され、その後、同じ対物レンズタイプの全てのデジタルカメラに記憶される。ここで、歪み関数は、設定焦点距離及び記録される対象物からの距離に依存し、定数から二次元マトリックスとして確認することができ、且つデジタルカメラに記憶することができる。ここで、係数は、記憶されたマトリックスからの補間によって確認することができる。

特許文献４及び特許文献５は、デジタルカメラ用の歪み補正方法を開示し、そこでは係数は、ズーム及び焦点設定に依存して表に記憶される。中間値が、高次多項式を用いた補間を通した補正において確認される。

デジタル顕微鏡法において、通常、対物レンズ及びズーム系は、互いの間で構成可能である。即ち、ズーム系は、異なる対物レンズと共に用いることができる。ズーム系及び対物レンズの両方が、異なる収差を引き起こすので、満足な画質を達成するために、異なる補正が必要である。

独国特許出願公開第１０２ ２５ １９３ Ａ１号明細書 独国特許第１０１ １４ ７５７ Ｂ４号明細書 独国特許出願公開第１０ ２０１０ ０２５ ８８８ Ａ１号明細書 米国特許出願公開第２００８／０２３９１０７ Ａ１号明細書 米国特許出願公開第２００９／０２６８０７８ Ａ１号明細書

"Ｔｈｅ Ｗｏｒｓｔ Ｄｉｓｔｏｒｔｉｏｎｓ ｏｆ Ａｓｔｒｏｍｅｔｒｉｃ Ｉｎｓｔｒｕｍｅｎｔｓ ａｎｄ Ｏｒｔｈｏｎｏｒｍａｌ Ｍｏｄｅｌｓ ｆｏｒ Ｒｅｃｔａｎｇｕｌａｒ Ｆｉｅｌｄｓ ｏｆ Ｖｉｅｗ"， Ｖａｌｅｒｉ Ｖ． Ｍａｋａｒｏｖ， Ｄａｎｉｅｌ Ｒ． Ｖｅｉｌｌｅｔｔｅ， Ｇｒｅｇｏｒｙ Ｓ． Ｈｅｎｎｅｓｓｙ， ＆ Ｂｅｎｊａｍｉｎ Ｆ． Ｌａｎｅ； Ｕｎｉｔｅｄ Ｓｔａｔｅｓ Ｎａｖａｌ Ｏｂｓｅｒｖａｔｏｒｙ， ３４５０ Ｍａｓｓａｃｈｕｓｅｔｔｓ Ａｖｅｎｕｅ ＮＷ， Ｗａｓｈｉｎｇｔｏｎ ＤＣ

本発明は、動作中に収差を補正できるようにするデジタル光学撮像システムを較正するための方法を特定する目的に基づいている。更なる目的は、デジタル光学撮像システムにおける収差を補正するための方法及びかかるデジタル光学撮像システムの製造の指定であり、そのデジタル光学撮像システムは、電動又は符号化されたズーム系及び恐らく対物レンズを含み、画像補正は、高い精度及び信頼性で、全てのズーム設定において行われるように意図されている。

この目的は、独立方法請求項１及び６の特徴を有する方法によって、及び請求項１１の特徴を有するデジタル光学撮像システムによって、本発明に従い達成される。
有利な構成実施形態が、従属クレームにおいて特定される。

デジタル光学撮像システムは、少なくとも１つのズーム系、画像センサ、及びデジタル画像処理用の論理ユニットを含む。撮像システムは、例えば対物レンズのないテレセントリック又は他のズーム系、さもなければデジタル顕微鏡とすることができる。

デジタル顕微鏡は、少なくとも１つの対物レンズ、電動ズーム系、画像センサ、及び画像処理用の論理ユニットを含む。論理ユニットは、光学エンジンとして周知のものに、ズーム系と一緒に配置されるのが好ましく、光学エンジンとして周知のものはまた、ズーム系用のモータコントローラ、並びに更なる制御及び評価コンポーネントを収容する。対物レンズは、光学エンジン上に交換可能に配置されるのが好ましい。有利なことに、対物レンズは、専用データメモリ及び電子インターフェースを有し、電子インターフェースを介して前記データメモリを読み出すことができる。

デジタル顕微鏡は、もちろんまた、顕微鏡コンポーネントを作動させるための制御ユニット、並びに動作、画像視聴、及び評価用の入力／出力ユニットをそれ自体周知の方法で含む。デジタル顕微鏡における入力／出力ユニットとしてのモニタ、キーボード、及び動作コンポーネントがまた、別個のコンポーネントとして存在できるという事実は明らかである。

デジタル顕微鏡はまた、モータを用いて置き換え可能な対象物ステージ、旋回スタンド、反射照明用の及び恐らく透過照明用の照明装置、並びにここでは言及されない更なるコンポーネントを有するのが好ましい。

しかしながら、前記コンポーネントは、本発明とは直接関係がなく、従って、詳細な説明は、この時点では省略された。
補正方法は、倍率及び補正データを、恐らく関係する対物レンズに関連して、ズームの駆動制御部に割り当てることに基づいている。

撮像される対象物のサイズは、ズームが画像中心を中心にして作動される場合に、比例して変化するように意図されている。好ましくは最大及び最小倍率において、基準対象物が撮像される。画像座標における変化から、この「中心点特性」を有する像点が、決定可能である。次に、画像又は記録は、常にその点と整列され、画像フィールドは、それによって対称に評価される。

デジタル顕微鏡又は別の撮像システムにおいて本発明によって補正方法を用いるために、第１に、初期較正プロセスが、各デジタル顕微鏡又は撮像システム用に要求され、そこで初期較正プロセス、使用されるズーム系及び恐らく対物レンズの実際の光学データ、並びに結果としての収差が確認される。

前記初期較正プロセスに関して、基準対象物が、周知の方法で対物レンズによって捕捉され得るように、対象物ステージに配置される。基準対象物は、固定的に画定された基準点を備えた基準パターンを有する。好ましくは、基準点は、等距離である。即ち、それらが、画定された等しい距離で基準対象物にわたって分配されるように位置する。基準点は、行及び列のアレイを形成するのが好ましい。

基準対象物の特に好ましい実施形態は、クロムがコーティングされたガラスプレートであり、そこではホールが基準点に設けられる。次に、前記ガラスプレートは、対物レンズから遠い側面から照明される。即ち、透過照明方法を用いて見られる。

次のステップにおいて、ズーム系の任意の第１のズーム設定、即ち、その正確な倍率（実際のズーム値β）が最初は知られていない任意の第１のズーム設定が作動される。好ましくは、最小又は最大可能倍率が選択される。前記第１のズーム設定において、基準画像が、画像センサに記録される。その目的のために、基準対象物の基準パターンが、画像センサ上に撮像される。

従って、特に好ましい基準対象物を用いる場合に、基準画像は黒であり、そのとき基準点は、理想的な場合に白色点である。
基準画像は、最初に、その３つの色成分に分解され、そのプロセスにおいて、３つのカラーチャネル基準画像Ｒ_ｒｅｄ、Ｒ_{ｇｒｅｅｎ}、Ｒ_ｂｌｕｅが生成され、好ましくは一時メモリに記憶される。

次のステップにおいて、基準画像は、中心に置かれる。これは、基準パターンに対応する理想画像を基準画像に合わせることによって行われる。そのプロセスにおいて、前記理想画像は、２つの画像間の最小のずれが達成されるまで、置き換えられ、恐らく回転される。次に、画像中心が確認される。このセンタリングは、緑のカラーチャネル基準画像Ｒ_{ｇｒｅｅｎ}を用いて行われるのが好ましい。何故なら、緑（又はグレートーンにおける緑の比率）が、人間の目において、明るさの知覚に対して、従ってまたコントラスト及び鮮明度の知覚に対して最大の貢献をなすからである。

最後に、基準点用のｎ位置誤差ベクトルが、理想画像からの高さ及び幅における位置のずれを決定することによって、各カラーチャネル基準画像用に確認される。位置誤差ベクトルは、基準表に記憶される。

基準パターンにおける実際の寸法の知識に基づいて、実際のズーム値βが、単純な方法で各ズーム設定用に確認され、且つ基準表に記憶され得る。
続いて、少なくとも２つの更なるズーム設定用の前述のステップが繰り返される。好ましくは、最小及び最大ズーム設定を含む７つ又は９つのズーム設定用の位置誤差ベクトルが確認される。

歪みモデルが、様々なズーム設定において位置誤差ベクトルから高次多項式を補間すること、及びカラーチャネル基準画像ごとに１１の位置誤差係数を確認することによって、基準表から形成される。更に、画像不安定性係数を確認することができ、且つ関連する倍率用のズームモータ位置を捕捉し、記憶することができる。

歪みモデル、即ち、係数、倍率、及び恐らく更なる値が、縮小ズーム表に記憶される。前記縮小ズーム表は、好ましくは４つの行を含み、且つ好ましくは三次回帰多項式の係数を含み、それは、任意の所望の倍率用の前記値の計算を可能にする。

縮小ズーム表は、任意の所望の倍率β用に以下の多項式を用いることによって拡張することができる。
歪み係数の大きさは、各ズーム位置ｉ用に決定されなければならない。倍率βは、各ズーム位置ｉに関連付けられる。その大きさは、縮小ズーム表におけるエントリを用いて、βから決定されるべきである。

ここで、歪み補正係数ａに対して、

が当てはまる。この式で、ｍは、３つのカラーチャンネルである赤、緑、青を示し、各場合におけるｎは、１〜１１の値を仮定する。

画像安定性補正係数Ｉに対して、

であり、この式で、ｍは、座標値Ｘ及びＹを仮定し、且つこの式においてｉ^０＝１．．．３であり、それは、縮小ズーム表における値である。

Ｉｘ及びＩｙは、決定された画像中心に対する中心対象物のずれを示し、且つ画像安定性補正に役立つ。
ズーム表は、固定的に計算してシステムのメモリに記憶することができ、又は実行時間に縮小ズーム表から計算することができ、その場合に好ましくは、次の形態を有する。

ズーム表の長さは、最大から最小までの達成可能な倍率を通るドライブの符号化に依存する。機械的な焦点調整を有するズーム系において、これは、ドライブ又はエンコーダのステップ数であっても良い。直接駆動を備えたシステムにおいて、これは、モータ制御表におけるエントリである。

ここでのズーム表は、好ましい一実施形態において、０．００１のステップサイズでβ＝５〜β＝０．５を通るＮ＝４５０１のエントリを有する。従って、高品質の画像補正が、任意の考えられる限りの可能なズーム位置に対して可能である。

倍率β及び補正係数ａ、Ｉに加えて、各倍率値用のモータ位置も、例えばまたズーム表に記憶することができる。
歪み補正モデルの確認は、非特許文献１に基づいている。

次に、本発明に従って編集されたズーム表は、歪み補正及び恐らくまた（ズーミング中に）「即座に」画像安定性補正を実行するために、且つ複雑なソフトウェア補正を実行する必要なしに、補正された画像をユーザに提供するために、顕微鏡の動作中に使用することができる。

方法は、論理ユニットによって光学エンジンのハードウェアに統合され、且つライブモード及び静止画像モードの両方で高品質画像を提供する。ハードウェア統合故に、方法は、ライブモード中に、ユーザがどんな時間的推移にも気づかないほど十分に高速である。

ノイズ除去、シャドー補正、白色平衡、色補正、画像安定化及びなどの、当業者に周知の典型的に用いられる補正方法もまた、この文脈で用いることができる。しかしながら、これは、絶対に必要なわけではなく、その理由で、これ以上詳細には説明されない。

有利なことに、固定された画像中心を用いるズーミングは、画像シフト補正故に保証される。ズームが作動されない場合に、画像安定性補正は、必要ではない。
極めて強力な歪み補正故に、デジタル顕微鏡においてより単純なレンズアセンブリを用いることが、ある状況下で可能であり、それは、より安価に、且つかなりより高速になり得る。

別の利点は、製造許容誤差とは無関係に、各ズームステージにおける正確な倍率が決定できるということである。これは、対物レンズの変更中にさえ、機器に記憶される縮小ズーム表の使用に故に、特別な手段なしに可能である。

本発明による補正方法の可能な一実施形態が、以下でより詳細に説明される。
本発明による補正方法は、画像センサによって記録された各画像に適用される。ここで補正は、ユーザに示されるか又は画像として記憶されるよりも大きな領域において、画像安定化及び画像回転などの特徴に適用されなければならない。方法は、それがハードウェアで実行される場合に、極めて高速である。

好ましい実施形態においてユーザ表示領域（ＵＤＲ）と呼ばれる領域は、１６００×１２００画素を有する。補正範囲領域又は歪み補正領域（ＤＣＲ）は、１７６０×１３２０画素の領域を含む。従って、この領域は、最終画像より約１０％大きい。ＤＣＲは、確認された画像中心に近い基準画素（ＲＰ）にある。基準画素は、画像中心の決定後の全方法中に固定される。

ＤＣＲの各画素位置（ｘ、ｙ）に対して、対応する「補正された」位置（ｘ_ｄ、ｙ_ｄ）が、事前に決定されて論理ユニットのメモリに記憶されたモデルを用いて、以下のように計算される。

この式で、３つのカラーチャネル基準画像である赤、緑、青用のインデックスｍが用いられ、ｒは、半径であり、ここで、

である。

ここで画素座標は、−１〜１の範囲において画定される正規化された座標である。
計算された補正位置における画像値は、初期画素位置（ｘ、ｙ）の結果として、好ましくは直線補間モデルを用いて計算される。隣接画素が、ここでは各場合において考慮される。

この手順は、３つの全てのカラーチャネル基準画像に対して繰り返され、画像は、カラーチャンネルを重畳することによって再度組み立てられ、ＵＤＲにトリミングされ、表示及び／又は記憶される。

補正された位置（ｘ_ｄ、ｙ_ｄ）が、ＤＣＲの外側に位置する場合に、画素は、ＮＩＬ又は「黒」に設定される。
トリミングされた画像の中心座標は、静止基準画素、画像安定性補正、及び任意の恐らく作動された画像安定化アルゴリズムに依存し、それらは、考慮される必要があり得る。
実際の倍率の確認及び出力並びに／又は記憶が、補正後に行われる。

Ｉ 画像安定性補正係数
ＩＸ 画像安定性補正係数
ＩＹ 画像安定性補正係数
Ｘ 座標値
ａ 歪み補正係数
ｉ ズーム位置
ｍ インデックス
ｎ 歪み補正係数

Claims (11)

1. 少なくとも１つの電動又は符号化ズーム系及び画像センサを含むデジタル光学撮像システムを較正するための方法であって、以下のステップ、
   − 基準対象物を前記撮像システムの下に配置するステップと、
   − 前記ズーム系のズーム設定を選択し、それを基準表に記憶するステップと、
   − 前記基準対象物を撮像することによって、基準画像を前記画像センサ上に記録するステップと、
   − 前記基準画像を少なくとも３つのカラーチャネル基準画像Ｒ_Ｒ Ｒ_Ｇ Ｒ_Ｂに分割するステップと、
   − 理想画像を前記基準画像に合わせ、且つ位置及び向きにおいて画像中心を確認するステップと、
   − 前記カラーチャネル基準画像のそれぞれにおいて、前記基準対象物の基準点用の位置誤差ベクトルを確認するステップと、
   − 確認された位置誤差ベクトルを基準表に記憶するステップと、
   − 少なくとも３つの異なるズーム設定用に前述のステップを繰り返すステップと、
   を含み、
   ｉベースズームステージ用のベースズーム表が、
   − 各カラーチャネル基準画像用に、基準パターンの変形を示す前記基準点の前記位置誤差ベクトルから歪み補正係数のａ _ｍ、ｎ を確認することであって、ｍ＝［Ｒ、Ｇ、Ｂ］であり、ｎ＝１．．．１１であることと、
   − 前記基準パターンの画像安定性のずれを示す画像安定性補正係数Ｉ _Ｘ 、Ｉ _Ｙ を確認することと、によって、前記基準表から編集されることを特徴とする、方法。
2. ズーム表が、以下の規則、
   に従って前記歪み補正係数ａ_ｍ、ｎを確認することによって、前記ベースズーム表から編集されることを特徴とする、請求項１に記載の方法。
3. ズーム表が、以下の規則、
   に従って前記画像安定性補正係数Ｉを確認することによって、前記ベースズーム表から編集されることを特徴とする、請求項１に記載の方法。
4. 各ズーム設定に対して、実際のズーム設定βが、確認され、前記基準表及び前記ベースズーム表に記憶されることを特徴とする、請求項１〜３のいずれか一項に記載の方法。
5. 少なくとも１つのズーム系及び画像センサを含むデジタル光学撮像システムにおける収差を補正するための方法であって、事前に決定されたズームステージ用の補正係数を含むズーム表が、前記撮像システムに記憶され、前記方法が、以下のステップ、
   − 対象物画像を捕捉するステップと、
   − 前記対象物画像を一時的に記憶するステップと、
   − 前記ズーム系のズーム設定を捕捉するステップと、
   − 前記ズーム設定用の歪み補正係数を確認するステップと、
   − 前記ズーム設定用の画像安定性補正係数を確認するステップと、
   − 前記歪み補正係数及び前記画像安定性補正係数を用いて、前記対象物画像を画素に関して補正するステップと、
   − 補正された対象物画像を出力するステップと、
   を含む方法。
6. 前記画像センサのユーザ表示領域より大きい前記対象物画像の補正領域が、選択されることを特徴とする、請求項５に記載の方法。
7. 前記画素に関する補正が、以下の関係、
   を用いて行われ、
   この式で、ｍ＝［赤、緑、青］であり、且つ
   であることを特徴とする、請求項５または６に記載の方法。
8. 前記画素に関する補正が、画素データの補間を含むことを特徴とする、請求項５〜７のいずれか一項に記載の方法。
9. 実際の倍率の確認及び出力並びに／又は記憶が、補正後に行われることを特徴とする、請求項５〜８のいずれか一項に記載の方法。
10. ズーム系、画像記録センサ、及びデジタル画像処理用の論理ユニットを有するデジタル光学撮像システムであって、前記論理ユニットが、請求項５〜９のいずれか一項に記載の方法を実行するように構成されるデジタル光学撮像システム。
11. 前記撮像システムが、対物レンズを含むデジタル顕微鏡であり、縮小ズーム表が、前記対物レンズ及び前記ズーム系に記憶され、且つ較正方法及び／又は補正方法において前記論理ユニットによって読み出されることを特徴とする、請求項１０に記載の撮像システム。