JP4136011B2

JP4136011B2 - 焦点深度伸長装置

Info

Publication number: JP4136011B2
Application number: JP10971496A
Authority: JP
Inventors: 貴米山; 林　　真市
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1996-04-30
Filing date: 1996-04-30
Publication date: 2008-08-20
Anticipated expiration: 2016-04-30
Also published as: US5933513A; JPH09298682A

Description

【０００１】
【発明の属する技術分野】
本発明は、厚みのある被写体物の各高さ位置にそれぞれ焦点が合った画像を含む複数枚の入力画像から被写体物の各高さ位置に焦点が合っていてあたかも焦点深度の伸長されたような画像を得ることのできる焦点深度伸長装置に関する。
【０００２】
【従来の技術】
被写体物をその入力画像を用いて解析する場合、得られた画像が明るく高解像度で、かつ焦点深度の深い画像であることが要求される。一般に、解像度に優れ、かつ高倍率で明るさの大きな画像を光学的に取込むためには開口の大きな光学素子を用いた結像光学系が必要である。
【０００３】
しかし、レンズに代表される結像用光学素子は、開口が大きくなると焦点深度が浅くなってしまう。したがって、大きな倍率を確保するために開口の大きい結像用光学素子を使用すると、焦点深度が浅くなることから光軸方向の異なる位置に被写体が存在していると片方にしかピントを合わせることができず、その他の部分の画像がぼけてしまう。
【０００４】
そこで、顕微鏡、カメラ、内視鏡等の画像機器を利用する分野においては、焦点深度を深くする種々の手段が考えられている。例えば、特開平１−３０９４７８号公報には、光軸方向の異なる位置にそれぞれ焦点の合った複数枚の画像を加算し、回復フィルタを用いて加算画像を回復処理することにより光軸方向の異なる位置にそれぞれ焦点の合った１枚の画像を復元する技術が開示されている。また、特開平１−３０９４７８号公報，特開平２−１９２２７６号公報には、上記回復フィルタを使わずに複数の画像のフーリエ変換を加重加算した後、逆フーリエ変換することにより光軸方向の異なる位置にそれぞれ焦点の合った１枚の画像を復元する技術が開示されている。
【０００５】
【発明が解決しようとする課題】
さて、回復フィルタ等の上記焦点深度伸長手段を顕微鏡画像の回復に適用する場合、顕微鏡特有の事情を考慮する必要がある。即ち、一般的に顕微鏡を使用してある標本を観察する場合、観察者は低倍率で標本の広い範囲から詳細に観察したい箇所を捜し、しかる後に主に対物レンズの切替えによって高倍率で上記箇所を詳細に観察するという作業を繰り返す。つまり、顕微鏡を使用するに当たっては、観察倍率の変換が頻繁に行われることが多い。
【０００６】
このとき、上記顕微鏡に組み込まれた撮像素子上の結像状態を考えると、該結像光学系の射出の開口数（ＮＡ′）が倍率変換に伴い変化する。即ち、倍率変換に伴い該撮像素子上の積算点像強度分布の広がりが変化する。ここで、積算点像強度分布とは、ある点についてピントがあっている状態から無限に離した状態までの全ての点像強度分布を積算したものをいうものとする。
【０００７】
ところで、上記焦点深度伸長において使用される回復フィルタは撮像素子上の積算点像強度分布の広がりに応じて決定されなければならない。即ち、回復フィルタは、該積算点像強度分布の広がりが該回復フィルタの設計値のそれに一致した時のみ良好な回復画像を与える。
【０００８】
このことを、図８を用いて具体的に説明する。
図８において、横軸は点像の中心からの規格化された距離、縦軸は中心の値を１に規格化された点像強度である。破線は合焦位置における理想的な点像強度分布であり各実線は回復フィルタが実際の積算点像強度分布の広がりに対し１／β倍の大きさを持った積算点像強度分布の広がりに対して設計されている時の回復された点像強度分布である。
【０００９】
同図に示すように、β＝１の時は理想的な回復画像が得られるが、βが１より小さい時は点像のまわりにリンギングを伴った像になり、βが１より大きい時は理想的な点像強度分布より広がった像となる。
【００１０】
以上の通り、回復フィルタは実際の積算点像強度分布が回復フィルタの設計値のそれと合致した時のみ良好な回復画像を与える。したがって、一つの回復フィルタのみを用意しただけでは、異なる観察倍率に対して全てに良好な回復画像を与える事はできない。
【００１１】
ところで、撮像素子上の積算点像強度分布の広がりは該結像系の射出の開口数ＮＡ′のみによって決まる訳ではなく、結像光学系の使用波長および該結像光学系の瞳関数によっても影響を受ける。したがって、それら各要素が回復フィルタの設計値と異なっても良好な回復画像を得られない。このため、例えば撮像素子にカラーＣＣＤ等を用いた場合、１つの回復フィルタのみでは回復像に色の滲みが現れる結果となる。
【００１２】
更に、顕微鏡による撮像に特有な問題として、以下の事が挙げられる。
即ち、顕微鏡による撮像においては標本の細い部分まで検出するため像の強拡大をすることが多いが、その際、撮像素子上の積算点像強度分布の広がりがかなり大きくなる事である。通常、回復フィルタはコスト面および計算時間面から７×７程度のマトリックスを用いる事が多いが、該積算点像強度分布の広がりが該マトリックスの大きさのそれを越えると良好な回復画像が得られなくなる。
【００１３】
良好な回復画像を得る為には、回復フィルタのマトリックスの大きさを積算点像強度分布の広がり以上にしなければならないが、そうすると計算時間および使用メモリーが該マトリックスのサイズの二乗に比例して増える事になり、好ましくない。
【００１４】
本発明は、以上のような実情に鑑みてなされたもので、結像光学系の射出の開口数、撮像素子の使用波長等の光学条件が変化した場合であっても、常に良好な回復画像を得ることのできる焦点深度伸長装置を提供することを目的とする。本発明は、強拡大した像に対しても小さなマトリックスで良好な回復画像を得ることのできる焦点深度伸長装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明は、物体の像を対物レンズを含む結像光学系を介して複数の受光素子からなる撮像手段へ投影し、当該物体像を撮像することにより画像として取り込む画像入力手段と、この画像入力手段から複数回に亘って取り込まれた対物レンズの光軸方向で異なる物体面に焦点の合った面像を含む複数の画像を加え合わせて積算画像にする画像積算手段と、この画像積算手段で取得された積算画像に対して空間周波数フィルタである回復フィルタを使用して回復処理する回復手段とを備えた焦点深度伸長装置において、複数の回復フィルタを有する係数格納テーブルを有し、結像光学系の変更に伴う受光素子上の点像強度分布の広がりと受光素子の大きさとの相対関係から係数格納テーブルを選択し、当該係数格納テーブルから相対関係に応じた回復フィルタを設定する回復フィルタ可変手段とを具備した焦点深度伸長装置である。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
（第１の実施の形態）
図１は本発明を落射観察用顕微鏡装置に適用した実施の形態を示す図である。
【００２１】
この落射観察用顕微鏡装置は、落射観察用顕微鏡とその周囲の電気回路とから構成されている。落射観察用顕微鏡は、顕微鏡本体の胴部１に対してステージ保持部材２が上下方向へ摺動自在に取付けられ、そのステージ保持部材２にステージ３が取り付けられている。ステージ３の上方に位置する胴部１の先端部にはレボルバ４が回転自在に取り付けられており、所定の対物レンズ５を光軸上に配置する様になっている。光軸上に配置された対物レンズ５の光軸上には接眼鏡筒８が設けられており、光軸を接眼レンズ７側と撮影ユニット側とに分枝している。また、レボルバ４と接眼鏡筒８との間には落射蛍光投光管が連結されており、その投光管端部には光源が取付けられている。投光管に形成されている光路上には減光フィルタ（ＮＤ）９、開口絞り（ＡＳ）１０および視野絞り（ＦＳ）１１が配置されている。
【００２２】
また、ランプ光源から発せられた照明光はＮＤ９，ＡＳ１０，ＦＳ１１を介し落射キューブ６によりその方向を変え、対物レンズ５を通じてサンプルＳに達する様になっている。サンプルＳからの光は再び対物レンズ５を介し、接眼部７および撮影ユニットＵの撮像素子であるＣＣＤ１２に結像する。
【００２３】
ＣＣＤ１２から出力される画像信号はビデオ信号入力部１３に入力され所定の処理を施される。ビデオ信号入力部１３において処理した画像信号はコントラスト演算部１４へ送出される。コントラスト演算部１４は、画像信号を所定の評価関数で評価して画像積算するべきか否かを判別する機能を備える。コントラスト演算部１４において画像積算する必要があると判断された画像信号はＣＰＵ１８の指示により画像積算部１５に転送され、そこで１フィールド画像の順次加算を行うものとする。
【００２４】
画像積算部１５で得られた積算画像は回復フィルタ部１６に転送され、１フィールド内の全ての部分に焦点があった画像に回復する回復フィルタによりフィルタ処理される。回復フィルタ部１６で回復された画像がＴＶモニタ１７に出力される。
【００２５】
ここで、回復フィルタ部１６に設定される回復フィルタはＣＰＵ１８から自在に変更できるようにしている。ＣＰＵ１８から高速にアクセス可能な周辺メモリ（例えばＲＯＭからなる）に、係数行列テーブル及び対物レンズ設定テーブルが格納されている。
【００２６】
図２に係数行列テーブルの構成を示している。同図に示すように、顕微鏡装置で予定されている対物レンズの種別（Ａ，Ｂ，Ｃ…）毎に準備されており、それぞれ中間倍率とＣＣＤ画素サイズ（ＣＣＤインチサイズ）との組み合わせに応じて、回復フィルタを構成する空間フィルタのフィルタ係数が行列形式（行列でマトリクスサイズが表現される）で設定されている。それぞれの係数行列は対応する光学条件で取得した積算画像を回復するのに最適なマトリクスサイズおよびフィルタ係数である。
【００２７】
対物レンズ設定テーブルは、レボルバ４の対物レンズ取付穴に対応してそこに取り付けられる対物レンズの倍率及び開口数（ＮＡ）が設定されている。対物レンズ設定テーブルの設定は検鏡者が顕微鏡装置を使用する前に入力する。
【００２８】
ＣＰＵ１８は光軸にどの対物レンズが入っているのか検出できる構成となっており、さらに焦準駆動部１９を介して焦準モータＭによりステージ保持部材２を上下できる仕組みとなっている。また、ＣＰＵ１８は装置全体を制御可能である外部Ｉ／Ｆ２０である外部コントローラあるいは外部Ｉ／Ｆ２０を介してパソコン２１とも接続可能となっている。
【００２９】
以上の様に構成された顕微鏡装置の動作内容が図３のフローチャートに示されている。
外部Ｉ／Ｆ２０よりＣＰＵ１８に対して画像回復処理のトリガが入力されると（ステップＳ１）、ＣＰＵ１８は現在のステージ位置において制御が可能であるか否かについてコントラスト演算部１４の出力から判断する（ステップＳ２）。コントラスト演算部１４の出力値が所定値よりも低い等制御不能である場合は、制御開始が不可能であることを検鏡者に伝えるメッセージを表示する（Ｓ２′）。メッセージの表示先はパソコン２１または図示しない専用の表示部である。
【００３０】
ステップＳ２の処理において制御可能であると判断した場合、ＣＰＵ１８は焦準駆動部１９を介してステージ３を所定方向に移動させ（ステップＳ３）、コントラスト演算部１４の出力からサンプル像が完全にぼけたことを認識できた位置でステージ移動を停止させる（ステップＳ４）。
【００３１】
ステップＳ５の処理においては、ステップＳ４でサンプル像が完全にぼけるまで移動させたステージ移動方向に対して反対方向にステージ３を駆動する。ステージ駆動後は、コントラスト演算部１４の出力に基づいて各ステージ位置において画像積算を開始すべきか否か判定し、コントラスト演算部１４の出力が画像積算すべき状態になったところでステージ駆動を停止する（ステップＳ６）。
【００３２】
あるステージ位置で画像積算開始と判定すると、ＣＣＤ１２で撮像されビデオ信号入力部１３で処理された画像データを画像積算部１５で積算する（ステップＳ７）。ステージ３を一定速度で駆動したまま（ステップＳ８）、ビデオ信号入力部１３から順次入力する各ステージ位置での画像を、積算終了指令が出力されるまで、逐次積算する。ＣＰＵ１８は画像積算中もコントラスト演算部１４からの出力を評価している。この評価値はステージ位置の変化と共に変化するので、評価値が所定の値となったところで積算終了判定する。この積算終了判定がなされるまで画像積算とステージ駆動をくり返す（ステップＳ９）。
【００３３】
画像積算が終了すると、画像積算部１５で積算した積算画像を回復フィルタ部１６に転送し、画面の全ての面にピントが合った画像を得るための回復処理が積算画像に対して施される（ステップＳ１０）。この回復フィルタ部１６で回復した画像をＴＶモニタ１７に出力して（ステップＳ１１）、一連の処理を終了することになる（ステップＳ１２）。
【００３４】
一方、この顕微鏡装置では各種光学条件の変化に対応して回復フィルタ部１６に設定される回復フィルタを常に最適な値に変更している。以下、図４を参照して回復フィルタの最適化処理について説明する。
【００３５】
上記ステップＳ１０において積算画像の回復処理が開始されると（ステップＳ２０）、ＣＰＵ１８はレボルバ４の対物レンズ取付穴を検出する等して光学条件の情報を収集する。
【００３６】
ステップＳ２１の処理において、レボルバ４の対物レンズ取付穴を検出して、その検出した対物レンズ取付穴に基づいて光軸上に配置されている対物レンズの設定情報（倍率及びＮＡ）を、対物レンズ設定テーブルより検索する。
【００３７】
次に、ＣＰＵ１８は撮影ユニットＵおよびその接眼レンズより中間倍率を検出し（ステップＳ２２）、さらに撮影ユニットＵのＣＣＤ１２の画素サイズを検出する（ステップＳ２３）。中間倍率及びＣＣＤ１２の画素サイズは検鏡者が事前に設定値として上記ＲＯＭに記憶させている。
【００３８】
以上のようにして光学条件の情報を収集したならば、ＣＰＵ１８は上記ＲＯＭに格納している係数行列テーブルから上記光学条件に適合した係数行列を選択する（ステップＳ２４）。上記したように係数行列テーブルには、対物レンズ毎に中間倍率とＣＣＤ画素サイズとの組み合わせに応じて、回復フィルタを構成する空間フィルタのマトリクスサイズ及びフィルタ係数が行列形式で設定されている。例えば、対物レンズＡに対する中間倍率とＣＣＤ画素サイズが変化した場合の行列が配置され、各々の行列はそのマトリクスサイズ及び係数が互いに異っている。
【００３９】
ＣＰＵ１８が光学条件に適した回復フィルタを選択した後、当該選択した回復フィルタを回復フィルタ部１６に設定する（ステップＳ２５）。この結果、回復フィルタ部１６に設定される回復フィルタのフィルタサイズ及びフィルタ係数が顕微鏡装置の光学条件に対応した最適な状態に変更される。
【００４０】
以上の回復フィルタの最適化処理が終了してから、実際に積算画像に対して回復フィルタを用いて画像回復処理を行う。
このように第１の実施の形態によれば、回復フィルタ可変手段として、結像光学系の射出の開口数に影響する対物レンズの倍率と開口数及び中間倍率に応じて回復フィルタを変更するので、撮像面上の点像強度分布に影響を与える結像光学系の出射の開口数により回復フィルタを可変でき回復処理が良好に行える。
【００４１】
また、顕微鏡装置の光学条件が変更されて例えば対物レンズの倍率、ＮＡが大きく変化した場合であっても、変更後の光学条件に応じた最適な回復フィルタが選択されるため、光学条件によらず解像度や明るさに優れ、かつ焦点深度の深い画像を常に得ることが可能となる。
【００４２】
なお、第１の実施の形態では光学条件に適した回復フィルタをテーブルより読み出しているが、これをＣＰＵイニシャル時に予め計算しておいても同様の効果を得ることができる。
【００４３】
また、図３のフローチャートにおけるステップＳ３，Ｓ４は、標本が完全にぼけた状態から積算開始の動作を行なわなくても、積算を開始する位置を積算前に検知していれば必要がなくなる。さらに、ステージ駆動による動作を行っているがこれを対物レンズ駆動としてもよい。
【００４４】
（第２の実施の形態）
次に、第２の実施の形態に係る顕微鏡装置について説明する。
なお、第２の実施の形態に係る顕微鏡装置は、光学系及びハードウェアの構成は前述した第１の実施の形態と同様である。
【００４５】
第２の実施の形態は、第１の実施の形態と同様にして回復フィルタを最適化すると共に、回復フィルタのマトリクスサイズ（フィルタサイズ）が大きくなるような場合に既定のマトリクスサイズでフィルタリングするため画素間引き数を決定するようにしたものである。
【００４６】
図５に第２の実施の形態における回復フィルタのマトリクスサイズを考慮した回復フィルタの最適化処理のためのフローチャートを示している。
画像積算が終了し、積算画像の回復処理が開始されると（ステップＳ３０）、ＣＰＵ１８はレボルバの対物レンズ取付穴と対物レンズの設定情報とを対応させた対物レンズ設定テーブルより光軸上に配置されている対物レンズの対物レンズ倍率とそのＮＡを検出する（ステップＳ３１）。次に、ＣＰＵ１８は撮影ユニットＵおよびその接眼レンズより中間倍率を検出し（ステップＳ３２）、さらに撮影ユニットＵのＣＣＤ１２の画素サイズを検出する（ステップＳ３３）。中間倍率とＣＣＤの画素サイズは検鏡者が事前に設定している。
【００４７】
以上のようにして光学条件の情報が得られた後、ＣＰＵ１８はその光学条件を基に上記ＲＯＭ上の係数行列テーブルから必要な情報を取り出すことになる。
ここで、回復フィルタ部１６に設定可能な回復フィルタのマトリクスサイズは限られており、ここでは最大でも５×５であるとする。回復フィルタのマトリクスサイズは、顕微鏡装置の光学条件により最適な大きさが一意的に定まるが、光学条件によっては５×５の最大許容サイズを大きく上回る可能性がある。例えば、９×９行列が必要な場合に対応するためには３×３のフィルタを図７（ニ）に示すように９個用いることが必要となる。しかし、フィルタを複数用いることは装置の大型化やコストアップに直結するので好ましくない。
【００４８】
そこで、図７（ハ）に示す様に画素を間引くことにより３×３フィルタで擬似的に９×９フィルタと同様な効果を得ようとするものである。また、画素間引き数を可変とすることで図７（イ），（ロ）の様に様々なマスクの大きさを擬似的に作成することができる。
【００４９】
すなわち、フィルタ係数と画素間引き数を最適化することにより、光学条件に適した回復処理を行うことが可能である。回復フィルタの最大サイズと各光学条件に適した最適回復フィルタのマトリクスサイズとは事前に計算で知ることができるので、最適回復フィルタのマトリクスサイズが回復フィルタの最大サイズを越えるものについて、回復フィルタの最大サイズの範囲内において最適回復フィルタのマスクの大きさを疑似的に作成できる画素間引き数を求めておく。このようにして求めた各光学条件に対応した画素間引き数は、図６に示すように係数行列テーブル上の該当箇所にフィルタ係数と共に設定しておく。
【００５０】
したがって、ＣＰＵ１８は光学条件を収集したならば、その光学条件を基に該当する係数行列テーブルから既定のマトリクスサイズの行列係数と画素間引き数を選択する（ステップＳ３４）。係数行列テーブルに画素間引きしていないマトリクスサイズで係数行列を登録している場合には、当該係数行列と一緒に登録されいる画素間引き数に基づいて画素間引きして既定のマトリクスサイズに抑えた行列係数を回復フィルタの係数として使用する。処理時間の短縮化を図るのであれば、画素間引き数を計算したときに当該画素間引き数で既定のマトリクスサイズに抑えた行列係数を記憶しておく。
【００５１】
以上のようにして、光学条件に基づいて既定のマトリクスサイズに抑えた行列係数と画素間引き数を回復フィルタ部１６に設定する。例えば、最適回復フィルタのマトリクスサイズが９×９の場合であれば、図７の（ハ）のように斜線で示す画素からなる３×３のフィルタ係数からなる回復フィルタを使用する。そして積算画像の９×９の画像範囲を当該画素間引き数で離散的に間引くことにより３×３のサイズに変換し、この３×３の画素に対して上記３×３の回復フィルタにて画像の回復処理を実行する。
【００５２】
このように第２の実施の形態によれば、光学条件である例えば対物レンズ倍率、ＮＡが大きく変化する様な顕微鏡においてもそれに応じた最適な回復フィルタに変更することができ、しかも回復フィルタのマスクサイズが既定の小さなマスクサイズを越えるような場合には回復フィルタを既定である小さなものに画素間引きにより構成できるため、光学条件によらず解像度や明るさに優れ、かつ焦点深度の深い画像をフィルタサイズを大きくしたり、又はフィルタ数を増加すること無く安価に提供できる。
【００５３】
なお、上記した本実の形態では、光学条件に適した回復フィルタをテーブルより読み出しているが、これをＣＰＵイニシャル時に予め計算したり、検鏡者が設定しても同様の効果を得ることができる。
【００５４】
（第３の実施の形態）
光の波長またはＲＧＢ等の波長範囲毎に回復フィルタを変更する。
撮像面上の点像強度分布は光の波長によっても影響を受けるので、波長によって回復フィルタを変更することにより良好な画像回復処理が可能になる。
【００５５】
具体的には、回復フィルタの係数行列テーブルを積算画像の複数の波長又はＲＧＢ等の波長範囲毎にそれぞれ独立に準備しておき、上記した光学条件の中にさらに使用波長条件まで加味して回復フィルタの係数行列を選択するようにする。
【００５６】
例えば、カラー画像の信号はもともとＲＧＢ信号に分離されているので、画像加算をＲＧＢそれぞれ独立して行い、その結果に対してＲＧＢそれぞれの波長に合わせて選択した回復フィルタを用いて回復処理を行うようにする。このとき、予め準備する回復フィルタの種類としては、図２又図６に表されたものに加えてそれぞれについてＲＧＢの各波長域に対して最適なように設定されたものを用意し、これをＲＯＭ等のメモリ内に格納しておいて必要に応じて選択するようにする。
【００５７】
（第４の実施の形態）
結像光学系の瞳関数に応じて回復フィルタを変更する。
撮像面上の点像強度分布は結像光学系の瞳関数によっても影響を受けるので、瞳関数に応じて回復フィルタを変更することにより良好な回復処理が可能になる。
【００５８】
たとえば、アポダイゼイションにより観察する場合は、瞳面上の透過率が周辺ほど低くなるようにするから、通常観察のように透過率が一定の場合とは瞳関数の振幅要素が異なることになる。したがって、たとえば回復フィルタ可変手段に対してアポダイゼイションに関する情報を入力し、これを加味して回復フィルタを可変させることにより、良好な画像処理が可能になる。
【００５９】
（第５の実施の形態）
また、対物レンズは種類によって収差が異なるが、この収差は瞳関数の位相要素に影響を与える。したがって、たとえば対物レンズのデータとして倍率や開口数のほかに収差に関する情報も入力しておき、これを加味して回復フィルタを可変させることにより、良好な画像処理が可能になる。
【００６０】
以上、実施の形態に基づいて本発明について説明してきたが、以下の発明も含む。
（１）前記回復フィルタ可変手段は、前記回復フィルタのフィルタ係数および／またはフィルタサイズを、前記結像光学系の射出の開口数の変化に応じて変更することを特徴とする請求項１記載の焦点深度伸長装置。
【００６１】
結像光学系の射出の開口数は、結像光学系中の対物レンズの倍率と開口数、中間倍率などに応じて変化するので、これらの情報をパラメータにして回復フィルタを変化させる。
（２）前記回復フィルタ可変手段は、前記回復フィルタのフィルタ係数および／またはフィルタサイズを、前記結像光学系の瞳関数の変化に応じて変更することを特徴とする請求項１記載の焦点深度伸長装置。
【００６２】
結像光学系の瞳関数は、結像光学系中の対物レンズの収差や瞳面での透過率に分布を持たせる場合等により変化するので、これらの情報をパラメータにして回復フィルタを変化させる。
（３）前記回復フィルタ可変手段は、前記回復フィルタのフィルタ係数および／またはフィルタサイズを、前記結像光学系中の使用対物レンズの種別に応じて変更することを特徴とする請求項１記載の焦点深度伸長装置。
【００６３】
結像光学系中の使用対物レンズの種別が変化すると、その倍率や開口に応じて結像光学系の射出の開口数が変化し、収差に応じて結像光学系の瞳関数が変化するので、これらの情報をパラメータにして回復フィルタを変化させる。
本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々変形実施可能である。
【００６４】
【発明の効果】
以上詳記したように本発明によれば、結像光学系の変更に伴う受光素子上の点像強度分布の広がりと受光素子の大きさとの相対関係から係数格納テーブルを選択し、当該係数格納テーブルから相対関係に応じた回復フィルタを設定することで、結像光学系の射出の開口数、受光素子の大きさや結象光学系における使用波長や瞳関数等の光学的条件が変化した場合でも、常に解像度や明るさに優れ、かつ焦点深度の深い画像を安価に得られる焦点深度伸長装置を提供することができる。
【図面の簡単な説明】
【図１】第１の実施の形態に係る顕微鏡装置の構成図である。
【図２】第１の実施の形態における係数行列テーブルの構成図である。
【図３】第１の実施の形態における画像の積算から積算画像の回復処理までを含んだ処理のフローチャートである。
【図４】第１の実施の形態における回復フィルタの最適化処理に関するフローチャートである。
【図５】第２の実施の形態における回復フィルタの最適化処理及び画像回復処理に関するフローチャートである。
【図６】第２の実施の形態における係数行列テーブルの構成図である。
【図７】第２の実施の形態における画素間引き処理を説明するための図である。
【図８】回復フィルタと撮像素子上の点像強度分布の広がりとの整合度に応じた回復画像の点像強度分布の状態を示す図である。
【符号の説明】
３…ステージ
４…レボルバ
５…対物レンズ
１２…ＣＣＤ
１３…ビデオ信号入力部
１４…コントラスト演算部
１５…画像積算部
１６…回復フィルタ部
１８…ＣＰＵ

Claims

物体の像を対物レンズを含む結像光学系を介して複数の受光素子からなる撮像手段へ投影し、当該物体像を撮像することにより画像として取り込む画像入力手段と、
この画像入力手段から複数回に亘って取り込まれた前記対物レンズの光軸方向で異なる物体面に焦点の合った面像を含む複数の画像を加え合わせて積算画像にする画像積算手段と、
この画像積算手段で取得された前記積算画像に対して空間周波数フィルタである回復フィルタを使用して回復処理する回復手段とを備えた焦点深度伸長装置において、
複数の前記回復フィルタを有する係数格納テーブルを有し、前記結像光学系の変更に伴う前記受光素子上の点像強度分布の広がりと前記受光素子の大きさとの相対関係から前記係数格納テーブルを選択し、当該係数格納テーブルから前記相対関係に応じた前記回復フィルタを設定する回復フィルタ可変手段と、
を具備したことを特徴とする焦点深度伸長装置。
前記回復フィルタ可変手段は、前記結像光学系の射出の開口数の変化に応じて前記回復手段の前記回復フィルタを変更することを特徴とする請求項１記載の焦点深度伸長装置。
前記回復フィルタ可変手段は、前記結像光学系の中間倍率に応じて前記回復フィルタを変更することを特徴とする請求項１記載の焦点深度伸長装置。
前記回復フィルタ可変手段は、前記撮像手段の前記受光素子の大きさに応じて前記回復フィルタを変更することを特徴とする請求項１記載の焦点深度伸長装置。
前記回復フィルタ可変手段は、前記結像光学系の前記対物レンズの倍率及び開口数に応じて前記回復フィルタを変更することを特徴とする請求項１記載の焦点深度伸長装置。
前記回復フィルタ可変手段は、前記回復処理の対象の対象となる前記積算画像の画素を間引き、離散的に前記回復フィルタを作用させることにより擬似的にフィルタサイズを変更することを特徴とする請求項１記載の焦点深度伸長装置。
前記回復フィルタ可変手段は、前記回復フィルタを前記回復処理の対象となる前記積算画像の複数の波長又はＲＧＢ等の波長範囲毎にそれぞれ独立に変更することを特徴とする請求項１記載の焦点深度伸長装置。
前記回復フィルタ可変手段は、前記結像光学系の瞳関数の変化に応じて前記回復フィルタを変更することを特徴とする請求項１記載の焦点深度伸長装置。