JP6643470B2

JP6643470B2 - デジタルホログラフィック撮像装置、撮像方法

Info

Publication number: JP6643470B2
Application number: JP2018518891A
Authority: JP
Inventors: 圭悟松尾
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2016-05-26
Filing date: 2016-05-26
Publication date: 2020-02-12
Anticipated expiration: 2036-05-26
Also published as: US20190086865A1; US11199812B2; WO2017203662A1; JPWO2017203662A1

Description

本発明は、デジタルホログラフィック撮像装置に関する。

細胞試料などの位相情報や強度情報を撮影するために、レンズフリーのデジタルホログラフィック撮像装置が利用される（たとえば特許文献１参照）。デジタルホログラフィック撮像装置は、被検物に照明光を照射し、その結果得られる干渉パターンを撮像素子によって測定し、干渉パターンから、演算処理によって被検物の位相情報あるいは強度情報を示す画像を再構成（Reconstruct）する。

特表２０１３−５０８７７５号公報

本発明者は、デジタルホログラフィック撮像装置について検討した結果、以下の課題を認識するに至った。

撮像素子の不良として、画素の欠陥（ホットピクセルあるいはデッドピクセル）が知られている。デジタルカメラやビデオカメラのように、被写体の像が撮像面上に結像されるデバイスでは、画素欠陥が存在した場合に、被写体の画像は画素欠陥に対応する箇所においてのみ画像情報が欠落し、画質が局所的に劣化する。したがってその部分を拡大すれば、画質の劣化は容易に認識できる。

一方、デジタルホログラフィック撮像装置において画素欠陥が存在すると、再構成処理（伝搬演算を含む）によって、局所的な画素欠陥の影響が、空間的に幅広い領域に広がることとなる。つまり、デジタルホログラフィック撮像装置では、画素欠陥によって、空間的に幅広い範囲で画質劣化が生ずるが、視覚的には劣化を識別しにくくなる。このことから本発明者が知る限り、デジタルホログラフィック撮像装置において画素欠陥が及ぼす画質の劣化について、対策の必要性が指摘されることはなく、あるいは見逃されていた。

本発明者は、細胞などの位相分布を詳細に再構成する際には、その影響が無視できないことを認識した。さらに、再構成処理において繰り返し演算が入ると画素欠陥の影響が強調されることも分かった。

本発明はかかる状況においてなされたものであり、そのある態様の例示的な目的のひとつは、画像劣化を抑制したデジタルホログラフィック撮像装置の提供にある。

本発明のある態様は、デジタルホログラフィック撮像装置に関する。デジタルホログラフィック撮像装置は、照明光を被検物に照射する照明部と、２次元状に配置された複数の画素を含み、被検物と作用した照明光が形成する干渉パターンの強度分布を撮像し、画像データを出力する撮像素子と、撮像素子の欠陥画素の位置を示す欠陥位置情報を取得する欠陥情報取得部と、画像データと欠陥位置情報にもとづいて、被検物を表す被写体画像を再構成する演算部と、を備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、などの間で変換したものもまた、本発明の態様として有効である。

本発明のある態様によれば、画質劣化を抑制できる。

実施の形態に係るデジタルホログラフィック撮像装置の基本構成を示す図である。デジタルホログラフィック撮像装置の原理を説明する図である。演算部による再構成の演算処理のフローチャートである。図４（ａ）〜（ｃ）は、画素欠陥の影響を説明する図である。図５（ａ）〜（ｄ）は、修正アルゴリズムによって再構成された被写体画像を示す図である。第１修正アルゴリズムを示すフローチャートである。補間画像データＩ_ＩＮＴ（ｘ，ｙ）の生成を説明する図である。第２修正アルゴリズムを示すフローチャートである。第３修正アルゴリズムを示すフローチャートである。第４修正アルゴリズムを示すフローチャートである。デジタルホログラフィック撮像装置の第１の構成例を示す図である。デジタルホログラフィック撮像装置の第２の構成例を示す図である。

（概要）
はじめに、本発明に係るいくつかの実施の形態の概要を説明する。

本発明のひとつの実施の形態は、デジタルホログラフィック撮像装置に関する。デジタルホログラフィック撮像装置は、照明光を被検物に照射する照明部と、２次元状に配置された複数の画素を含み、被検物と作用した照明光が形成する干渉パターンの強度分布を撮像し、画像データを出力する撮像素子と、撮像素子の欠陥画素の位置を示す欠陥位置情報を取得する欠陥情報取得部と、画像データと欠陥位置情報にもとづいて、被検物を表す被写体画像を再構成する演算部と、を備える。

この態様によると、画素欠陥に起因する画質の劣化を抑制できる。

演算部は、被写体画像の再構成のための繰り返し演算のループ中に、欠陥位置情報を利用してもよい。繰り返し演算のループにおいて、繰り返し毎に、画素欠陥の影響を取り除くことにより、より画質の劣化を抑制できる。

欠陥情報取得部は、被検物の測定に先立って特定された欠陥画素の位置を記憶する欠陥位置記憶部を含んでもよい。

欠陥情報取得部は、撮像素子の出力にもとづいて、欠陥画素の位置を特定してもよい。欠陥情報取得部は、撮像素子の出力を空間的に微分することにより、欠陥画素の位置を特定してもよい。欠陥情報取得部は、照明光の強度を既定値としたときに得られる各画素の画素値にもとづいて、欠陥画素の位置を特定してもよい。

演算部は、被写体画像の再構成のための繰り返し演算において、非欠陥画素（正常画素）については画像データの強度を用い、欠陥画素についてはそれまでの繰り返し演算で得られた強度を用いてもよい。

被写体画像の再構成のための繰り返し演算は、撮像素子が位置する第１面における複素振幅から被検物が位置する第２面における複素振幅を演算するステップと、第２面における複素振幅を、所定の制約条件にもとづいて更新するステップと、第２面における更新後の複素振幅から、第１面における複素振幅を演算するステップと、第１面における複素振幅を更新するステップであって、非欠陥画素の強度を、画像データの対応する画素の強度に置換し、欠陥画素の強度を維持するステップと、を含んでもよい。

演算部は、画像データの欠陥画素の強度をその周囲の画素の強度から補間して得られる補間画像データを、被写体画像の再構成のための繰り返し演算のループに入る前の初期画像として用いてもよい。

（実施の形態）
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

図１は、実施の形態に係るデジタルホログラフィック撮像装置２の基本構成を示す図である。図面に記載される各部材の寸法（厚み、長さ、幅など）は、理解の容易化のために適宜、拡大縮小されている場合がある。さらには複数の部材の寸法は、必ずしもそれらの大小関係を表しているとは限らず、図面上で、ある部材Ａが、別の部材Ｂよりも厚く（長く）描かれていても、部材Ａが部材Ｂよりも薄い（短い）こともあり得る。

デジタルホログラフィック撮像装置２は位相物体、振幅物体あるいはそれらの両方の特性を有する物体の観察に利用することができ、その観察対象は特に限定されない。本実施の形態では、観察対象（被検物４）として細胞のような位相物体を例とする。被検物４は、試料ホルダ６によって所定の位置に保持される。被検物４が位置する面を試料面（被写体面とも称される）８と称する。デジタルホログラフィック撮像装置２は、被検物４の位相分布を示す被写体画像Ｓ１を出力する。

デジタルホログラフィック撮像装置２は、照明部１０、撮像素子２０、演算部３０、表示装置４０、欠陥情報取得部７０を備える。デジタルホログラフィック撮像装置２は本質的にはレンズフリーの光学系で構成しうるが、必要に応じて図示しない光学系を有してもよい。

照明部１０は、可干渉性を有する照明光１２を被検物４に照射する。照明部１０の構成は特に限定されず、半導体レーザやＬＥＤを用いることができる。照明光１２は、平面波であってもよいし球面波であってもよいが、図１では平面波として示している。図中、光線を実線で、波面を点線で表すものとする。

図２は、デジタルホログラフィック撮像装置２の原理を説明する図である。位相物体である被検物４は、試料面８の第１方向（ｘ方向）およびそれと垂直な第２方向（ｙ方向）に位相分布φ（ｘ，ｙ）を有する。位相分布φ（ｘ，ｙ）は、被検物４の形状や構造、組成等に応じており、この位相分布φ（ｘ，ｙ）が、デジタルホログラフィック撮像装置２による観測対象である。被検物４を透過した照明光１４は、位相分布φ（ｘ，ｙ）に応じた位相シフトを受け、その波面が被検物４によって乱される。被検物４を透過後の照明光１４は、被検物４による擾乱（回折）を受けない光と、被検物４により回折された光を含んでおり、それらがｚ方向に距離ｚ_ｏｂｊ伝搬し、撮像素子２０の撮像面（光電変換面）２２に干渉パターン（光強度分布ともいう）Ｉ（ｘ，ｙ）を形成する。

図１に戻る。撮像素子２０は、ＣＣＤ（Charge Coupled Device）あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどであり、撮像面２２に２次元状に配置された複数の画素２４を含む。撮像素子２０は、被検物４と作用した照明光１４が形成する干渉パターンの強度分布Ｉ（ｘ，ｙ）を撮像し、画像データＳ２を生成する。図２に示すように撮像素子２０による撮像は、空間的なサンプリングに他ならない。サンプリング（量子化）された強度分布をＩ_Ｓ（ｘ，ｙ）と表記する。撮像素子２０から出力される画像データＳ２は、演算部３０に入力される。

欠陥情報取得部７０は、撮像素子２０の欠陥画素２４ｄの位置を示す欠陥位置情報Ｓ３を取得する。なお欠陥位置情報Ｓ３は、（i）欠陥画素のｘ座標とｙ座標のリストであってもよいし、（ii）１（もしくは０）が欠陥画素を、０（もしくは１）が正常画素を表すピクセルマップ（フレームデータ）であってもよい。あるいは（iii）全画素に通し番号を付しておき、欠陥画素の番号をリストしてもよい。このように欠陥位置情報Ｓ３のデータ形式は特に限定されない。

演算部３０は、画像データＳ２と欠陥位置情報Ｓ３にもとづいて、被検物４を表す被写体画像Ｓ１を演算処理によって再構成する。具体的には演算部３０は、画像データＳ２が示す強度分布Ｉ_Ｓ（ｘ，ｙ）を演算処理することにより、位相分布φ_Ｒ（ｘ，ｙ）を表す被写体画像Ｓ１を再生する。再構成された位相分布φ_Ｒ（ｘ，ｙ）は、被検物４の位相分布φ（ｘ，ｙ）に対応する。なお、演算部３０および欠陥情報取得部７０は、汎用コンピュータとソフトウェアプログラムの組み合わせであってもよいし、専用ハードウェアであってもよい。たとえば被写体画像Ｓ１の再構成には位相回復法（フーリエ反復法）などが利用可能である。

表示装置４０は、演算部３０が生成した被写体画像Ｓ１を表示する。また表示装置４０は、デジタルホログラフィック撮像装置２のユーザインタフェースとしての機能も有する。

演算部３０における再構成の演算処理を説明する。撮像素子２０から得られる画像データＳ２は、撮像面２２上の光強度分布Ｉ_Ｓ（ｘ，ｙ）を表しており、光の振幅情報√Ｉ_Ｓ（ｘ，ｙ）を含むが、光の位相情報が欠落している。再構成処理は、失われた位相情報を回復して、試料面８における位相分布φ（ｘ，ｙ）を再生することに他ならない。

図３は、演算部３０による再構成の演算処理のフローチャートである。理解の容易化および説明の簡潔化のために、ひとまず画素欠陥の影響を考慮しないこととする。演算部３０に、撮像面（第１面）２２上の光強度分布Ｉ_Ｓ（ｘ，ｙ）を示す画像データＳ２が入力される（Ｓ１００）。続いて撮像面２２上の位相分布ｐ（ｘ，ｙ）に初期値を与える（Ｓ１０２）。位相分布ｐ（ｘ，ｙ）の初期値はランダムでもよい。このときの撮像面２２上の複素振幅分布ｆ（ｘ，ｙ）を、式（１）にもとづいて演算する（Ｓ１０４）。

続いて、撮像面２２上の複素振幅分布ｆ（ｘ，ｙ）を、ｚ軸負方向に距離ｚ_ｏｂｊ、伝搬させ、試料面（第２面）８における複素振幅分布ｇ（ｘ’，ｙ’）を演算する（Ｓ１０６）。ここでの演算は、フレネル積分の式（２）を利用することができる。なお式（２）は、伝搬距離ｚがある程度大きいという近似を用いたものであるが、このような近似を用いずにｇ（ｘ’，ｙ’）を計算してもよい。

続いて試料面８での制約条件にもとづいて、試料面８での複素振幅分布ｇ（ｘ’，ｙ’）を修正し、更新する（Ｓ１０８）。たとえば被検物４が位相物体の場合、制約条件として、振幅分布が一定であることが利用でき、式（３）にしたがってｇ（ｘ’，ｙ’）の振幅情報を消去し、振幅が正規化される。

ただしａｒｇ（）は、複素数の位相を表す。

そして、ステップＳ１０８で得られた複素振幅ｇ（ｘ’，ｙ’）を、ｚ軸方向に、距離ｚ_ｏｂｊ伝搬させ、撮像面２２における複素振幅分布ｆ（ｘ，ｙ）を演算する（Ｓ１１０）。この演算にも、フレネル積分の式（４）を利用できる。

そして、所定の終了条件を満たしているか否かが判定される（Ｓ１１２）。終了条件は特に限定されない。たとえば繰り返し回数が所定値に達したことを終了条件としてもよい。あるいは、ステップＳ１１０で得られる複素振幅分布から計算される強度分布Ｉ（ｘ，ｙ）＝ｆ（ｘ，ｙ）・ｆ^＊（ｘ，ｙ）を計算し、計算された強度分布Ｉ（ｘ，ｙ）と画像データＳ２が示す強度分布の誤差が、所定値以下となったことを終了条件とすることもできる。ｆ^＊（ｘ，ｙ）は、ｆ（ｘ，ｙ）の複素共役を表す。あるいは、ステップＳ１０６で得られる複素振幅分布ｇ（ｘ’，ｙ’）の振幅分布が、十分に平坦化されていることを、終了条件とすることもできる。

ステップＳ１１２において終了条件が満たされないとき（Ｓ１１２のＮ）、複素振幅分布ｆ（ｘ，ｙ）を、測定された画像データＳ２の光強度分布Ｉ_Ｓ（ｘ，ｙ）を利用して修正、更新する。具体的には、式（５）にしたがい、位相分布を保持したまま、振幅分布を測定された強度分布Ｉ_Ｓ（ｘ，ｙ）に基づく分布√Ｉ_Ｓ（ｘ，ｙ）に置換する。

ステップＳ１１２において終了条件が満たされたとき（Ｓ１１２のＹ）、撮像面２２の複素振幅分布ｆ（ｘ，ｙ）を再定義し（Ｓ１１６）、それを試料面８に向けて逆伝搬演算して試料面８の複素振幅分布ｇ（ｘ’，ｙ’）を計算する（Ｓ１１８）。そして複素振幅分布ｇ（ｘ’，ｙ’）から式（６）にしたがって、被検物４の位相分布φ_Ｒ（ｘ，ｙ）を計算する（Ｓ１２０）。この位相分布φ_Ｒ（ｘ，ｙ）が、求めるべき被写体画像Ｓ１である。
φ_Ｒ（ｘ，ｙ）＝ａｒｇ（ｇ（ｘ’，ｙ’）） …（６）
以上が演算部３０による位相回復法による演算処理である。

上述のように式（１）および（５）において、すなわち、繰り返し演算Ｓ１０６〜Ｓ１１４の前段階の処理Ｓ１０４と、繰り返し演算のループ中の処理Ｓ１１４において、光強度分布Ｉ_Ｓ（ｘ，ｙ）が使用される。したがってこれらのステップにおいて、画素欠陥の影響を受けることとなる。図４（ａ）〜（ｃ）は、画素欠陥の影響を説明する図である。以降の図はシミュレーション結果を表す。図４（ａ）は、オリジナルの画像（位相分布φ（ｘ，ｙ））を表す。

図４（ｂ）は、欠陥画素が存在しない場合に、図３のフローチャートにもとづいて再構成した被写体画像を示す。図４（ａ）、（ｂ）の対比から、図３のフローチャートにもとづくシミュレーションで用いたアルゴリズムの正しさが確認される。

シミュレーションでは、撮像素子２０の総画素の内、１％に相当する画素に欠陥画素を設定した。図４（ｃ）は、欠陥画素が存在する場合に、図３のフローチャートにもとづいて再構成した被写体画像を示す。図４（ｃ）の被写体画像は、図４（ｂ）の被写体画像に比べて明らかに画質が劣化している。

実施の形態に係るデジタルホログラフィック撮像装置２では、図３をベースとして修正されたアルゴリズムが使用される。修正アルゴリズムでは、欠陥位置情報Ｓ３を利用することにより、被写体画像の画質を改善する。以下、いくつかの修正アルゴリズムを説明する。

（第１修正アルゴリズム）
図６は、第１修正アルゴリズムを示すフローチャートである。このフローチャートは、図３のフローチャートに加えて、補間処理Ｓ１０１をさらに備える。補間処理Ｓ１０１では、画像データＳ２が表す強度分布Ｉ_Ｓ（ｘ，ｙ）の欠陥画素の強度を、その周囲の非欠陥画素の強度から補間することにより、補間画像データＩ_ＩＮＴ（ｘ，ｙ）を生成する。そして、元の光強度分布Ｉ_Ｓ（ｘ，ｙ）に代えて、この補間画像データＩ_ＩＮＴ（ｘ、ｙ）が、繰り返し演算のループに入る前の初期画像として用いられる。具体的には、ステップＳ１０４ａにおいて、補間画像データＩ_ＩＮＴ（ｘ，ｙ）およびｐ（ｘ，ｙ）にもとづいて複素振幅分布ｆ（ｘ，ｙ）が計算される。第１修正アルゴリズムでは、繰り返し演算のループ中の処理Ｓ１１４では、測定された光強度分布Ｉ_Ｓ（ｘ，ｙ）がそのまま使用される。

図７は、補間画像データＩ_ＩＮＴ（ｘ，ｙ）の生成を説明する図である。撮像素子２０の欠陥画素２４ｄそれぞれの位置は、欠陥位置情報Ｓ３から取得可能である。欠陥画素２４ｄの画素値は、周囲の正常な画素の画素値から補間処理によって計算される。図７では、欠陥画素２４ｄを取り囲む８個の正常画素にもとづく補間処理を示すが、その限りではない。たとえば斜め方向を除外して、上下左右に隣接する正常画素の画素値を参照してもよいし、左右方向あるいは上下方向に隣接する正常画素の画素値を参照してもよい。あるいは８個よりも多い画素の画素値を参照してもよい。

図５（ａ）は、第１修正アルゴリズムにもとづいて再構成された被写体画像を示す図である。図４（ｃ）と対比すると、わずかながら画質の改善を認めることができる。

（第２修正アルゴリズム）
図８は、第２修正アルゴリズムを示すフローチャートである。第２修正アルゴリズムでは、繰り返し演算のループ中で欠陥位置情報Ｓ３が利用される。図８のフローチャートでは、図３の処理Ｓ１１４が修正されている。修正前の処理Ｓ１１４では、欠陥画素を含めた全画素について、強度を置換するものであった。これに対して修正後の処理Ｓ１１４ｍでは、欠陥位置情報Ｓ３を参照して欠陥画素を特定し、非欠陥画素については処理Ｓ１１４と同様に画像データＳ２の強度Ｉ_Ｓ（ｘ，ｙ）を用いて置換を行い、欠陥画素については置換を行わず、それまでの繰り返し演算で得られた強度を用いる。

図５（ｂ）は、第２修正アルゴリズムにもとづいて再構成された被写体画像を示す図である。図４（ｃ）と対比すると、著しい画質の改善を認めることができる。

（第３修正アルゴリズム）
図９は、第３修正アルゴリズムを示すフローチャートである。第３修正アルゴリズムは、第１修正アルゴリズムと第２修正アルゴリズムの組み合わせと把握することができる。すなわち、繰り返し演算のループに入る前の補間処理Ｓ１０１において、補間画像データＩ_ＩＮＴ（ｘ，ｙ）が生成され、それが繰り返し演算のループに入る前の初期画像として用いられる。

さらに繰り返し演算のループ中の処理Ｓ１１４ｍでは、非欠陥画素については処理Ｓ１１４と同様に画像データＳ２の強度Ｉ_Ｓ（ｘ，ｙ）を用いて置換を行い、欠陥画素については置換を行わず、それまでの繰り返し演算で得られた強度を用いる。

図５（ｃ）は、第３修正アルゴリズムにもとづいて再構成された被写体画像を示す図である。図４（ｃ）と対比すると、著しい画質の改善を認めることができる。第３修正アルゴリズムは、補間画像データＩ_ＩＮＴ（ｘ，ｙ）を用いたことにより、第２修正アルゴリズムよりも少ない繰り返し演算回数で、高い画質の改善を実現できる。

（第４修正アルゴリズム）
図１０は、第４修正アルゴリズムを示すフローチャートである。第４修正アルゴリズムでは、繰り返し演算のループに入る前の補間処理Ｓ１０１において、補間画像データＩ_ＩＮＴ（ｘ，ｙ）が生成され、それが繰り返し演算のループに入る前の初期画像として用いられる。さらに繰り返し演算のループ中の処理Ｓ１１４ｎでは、全画素について、補間画像データＩ_ＩＮＴ（ｘ，ｙ）を用いて置換を行っている。

図５（ｄ）は、第４修正アルゴリズムにもとづいて再構成された被写体画像を示す図である。図４（ｃ）と対比すると、著しい画質の改善を認めることができる。

図５（ａ）〜（ｄ）を対比すると、図５（ｂ）〜（ｃ）に示す第２〜第４修正アルゴリズムにおける画質の改善が著しいことがわかる。すなわち再構成演算のループ中において、欠陥位置情報Ｓ３を利用することが、画質改善にきわめて有効であることが示される。加えてループに入る前の初期画像の生成段階において欠陥位置情報Ｓ３を利用することにより、図５（ｃ）、（ｄ）に示すように高画質を得ることができる。

ループに入る前の初期画像の生成段階においてのみ欠陥位置情報Ｓ３を利用した場合においても、図５（ａ）に示すように画質を改善できる。

以上が欠陥位置情報Ｓ３の利用による画質の改善の効果である。

続いて、欠陥位置情報Ｓ３の生成、あるいは取得について説明する。図１１は、デジタルホログラフィック撮像装置の第１の構成例（２ａ）を示す図である。欠陥情報取得部７０ａは、欠陥位置記憶部７２を含む。この構成例では、欠陥画素の位置は、被検物４の測定に先立って特定されており、欠陥位置情報Ｓ３が欠陥位置記憶部７２に記憶されている。

画素欠陥の位置は、たとえば撮像素子２０の製造後の検査工程において特定することができる。したがって撮像素子２０のベンダーから、画素欠陥の位置情報の提供を受け、それを欠陥位置記憶部７２に格納しておけばよい。あるいは、デジタルホログラフィック撮像装置２の製造段階において、撮像素子２０の画素欠陥の位置を特定し、欠陥位置情報Ｓ３を欠陥情報取得部７０に格納しておいてもよい。

図１２は、デジタルホログラフィック撮像装置の第２の構成例（２ｂ）を示す図である。欠陥情報取得部７０ｂは、デジタルホログラフィック撮像装置２の製造段階、あるいは出荷後において、撮像素子２０の出力画像にもとづいて、欠陥画素の位置を特定する。すなわち撮像素子２０の製造段階で生じた画素欠陥のみでなく、経時劣化により生ずる画素欠陥も考慮することができる。

たとえば欠陥情報取得部７０ｂは、欠陥位置記憶部７２を含む。欠陥位置記憶部７２は、撮像素子２０の出力画像にもとづいて欠陥画素の位置を特定し、欠陥位置記憶部７２に書き込む。

欠陥画素が存在する箇所では、画素値が極大（ホットピクセル）あるいは極小（デッドピクセル）となって現れる場合がある。そこで欠陥位置記憶部７２は、撮像素子２０の出力を空間的に微分することにより、欠陥画素の位置を特定してもよい。画素欠陥の位置では、微分値の絶対値が大きくなるため、微分値をしきい値と比較することで、欠陥位置を特定できる。

あるいは微分値ではなく、各画素の画素値を直接しきい値と比較して、欠陥位置を特定してもよい。たとえば、所定の中間階調に相当する光を撮像素子２０に照射し、そのときの画素値が最大値あるいは最小値（もしくはそれらの近傍）となる画素を、欠陥画素と判定してもよい。

欠陥位置記憶部７２による欠陥画素の特定処理は、被検物４の観察のために撮影した画像データＳ２にもとづいて行ってもよい。画像データＳ２として記録される再構成前の干渉パターン（強度分布Ｉ_Ｓ（ｘ，ｙ））は、コントラストが低い場合が多い。したがって演算部３０による再構成演算の開始に先立って、画像データＳ２を空間微分し、欠陥位置を特定してもよい。あるいは画像データＳ２の各画素を、しきい値と比較することにより、欠陥位置を特定してもよい。

あるいは被検物４の観察のための撮影とは別に、欠陥位置を特定するための撮影を行ってもよい。この撮影は欠陥位置を特定しやすい条件で行うことが望ましい。たとえば被検物４および試料ホルダ６を取り除き、撮像面２２上に均一な強度分布を形成したときに得られる画像データにもとづいて、欠陥位置を特定してもよい。欠陥位置特定部７４は、照明光１２の強度を既定値（ゼロであってもよい）としたときに得られる各画素の画素値、あるいは空間微分値にもとづいて、欠陥画素の位置を特定することができる。

たとえば、中間階調に相当する光を撮像素子２０に照射し、欠陥位置特定部７４はそのとき得られる画像データにおいて画素値が最大値あるいは最小値（もしくはそれらの近傍）となる画素を、欠陥画素と判定してもよい。あるいは全画素を飽和される光を照射し、欠陥位置特定部７４は、画素値が非飽和を示す画素を欠陥画素と判定してもよい。あるいは完全な暗状態として、画素値が非ゼロの画素を欠陥画素と判定してもよい。もちろん、複数の条件で測定された画像データを組み合わせて欠陥位置を特定してもよい。

以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。

実施の形態では、被検物４が、位相分布を有する位相物体であるとしたが、被検物４は、強度分布を有する振幅物体であってもよいし、位相分布と強度分布を有してもよい。被検物４が振幅物体である場合、再構成演算における制約条件として、位相分布が一定であることが利用でき、式（７）にしたがってｇ（ｘ’，ｙ’）の位相情報を消去し、位相が正規化してもよい。
ｇ（ｘ’，ｙ’）←｛ｇ（ｘ’，ｙ’）・ｇ^＊（ｘ’，ｙ’）｝^１／２ …（７）

また、実施の形態では一枚の画像データＳ２から被写体画像φ_Ｒ（ｘ，ｙ）を再生したが、条件を変えて測定される複数の画像データＳ２にもとづいて、被写体画像φ_Ｒ（ｘ，ｙ）を再生してもよく、公知のアルゴリズムを用いることができる。

実施の形態では、被検物４の透過光を測定するデジタルホログラフィック撮像装置２を説明したが、反射光を測定するタイプであってもよい。

２…デジタルホログラフィック撮像装置、４…被検物、６…試料ホルダ、８…試料面、１０…照明部、１２，１４…照明光、２０…撮像素子、２２…撮像面、２４…画素、２４ｄ…欠陥画素、３０…演算部、４０…表示装置、７０…欠陥情報取得部、７２…欠陥位置記憶部、７４…欠陥位置特定部、Ｓ１…被写体画像、Ｓ２…画像データ、Ｓ３…欠陥位置情報。

本発明は、デジタルホログラフィック撮像装置に利用できる。

Claims

照明光を被検物に照射する照明部と、
２次元状に配置された複数の画素を含み、前記被検物と作用した前記照明光が形成する干渉パターンの強度分布を撮像し、画像データを出力する撮像素子と、
前記撮像素子の欠陥画素の位置を示す欠陥位置情報を取得する欠陥情報取得部と、
前記画像データと前記欠陥位置情報にもとづいて、前記被検物を表す被写体画像を再構成する演算部と、
を備え、
前記演算部は、前記被写体画像の再構成のための繰り返し演算のループ中に、前記欠陥位置情報を利用することを特徴とするデジタルホログラフィック撮像装置。
前記欠陥情報取得部は、前記被検物の測定に先立って特定された前記欠陥画素の位置を記憶する欠陥位置記憶部を含むことを特徴とする請求項１に記載のデジタルホログラフィック撮像装置。
前記欠陥情報取得部は、前記撮像素子の出力にもとづいて、前記欠陥画素の位置を特定することを特徴とする請求項１または２に記載のデジタルホログラフィック撮像装置。
前記欠陥情報取得部は、前記撮像素子の出力を空間的に微分することにより、前記欠陥画素の位置を特定することを特徴とする請求項３に記載のデジタルホログラフィック撮像装置。
前記欠陥情報取得部は、前記照明光の強度を既定値としたときに得られる各画素の画素値にもとづいて、前記欠陥画素の位置を特定することを特徴とする請求項３に記載のデジタルホログラフィック撮像装置。
前記演算部は、前記被写体画像の再構成のための繰り返し演算において、非欠陥画素については前記画像データの強度を用い、前記欠陥画素についてはそれまでの繰り返し演算で得られた強度を用いることを特徴とする請求項１から５のいずれかに記載のデジタルホログラフィック撮像装置。
前記被写体画像の再構成のための繰り返し演算は、
前記撮像素子が位置する第１面における複素振幅から前記被検物が位置する第２面における複素振幅を演算するステップと、
前記第２面における複素振幅を、所定の制約条件にもとづいて更新するステップと、
前記第２面における更新後の複素振幅から、前記第１面における複素振幅を演算するステップと、
前記第１面における複素振幅を更新するステップであって、非欠陥画素の強度を、前記画像データの対応する画素の強度に置換し、前記欠陥画素の強度を維持するステップと、
を含むことを特徴とする請求項１から６のいずれかに記載のデジタルホログラフィック撮像装置。
前記演算部は、前記画像データの前記欠陥画素の強度をその周囲の画素の強度から補間して得られる補間画像データを、前記被写体画像の再構成のための繰り返し演算のループに入る前の初期画像として用いることを特徴とする請求項１から７のいずれかに記載のデジタルホログラフィック撮像装置。
被検物を表す被写体画像を撮像する方法であって、
照明光を前記被検物に照射するステップと、
２次元状に配置された複数の画素を含む撮像素子を用いて、前記被検物と作用した前記照明光が形成する干渉パターンの強度分布を撮像し、画像データを生成するステップと、
前記撮像素子の欠陥画素の位置を示す欠陥位置情報を取得するステップと、
前記画像データと前記欠陥位置情報にもとづいて、前記被写体画像を再構成するステップと、
を備え、
前記被写体画像の再構成のための繰り返し演算のループ中に、前記欠陥位置情報が利用されることを特徴とする方法。