JP4479391B2 - Image processing apparatus, phase contrast microscope, and image processing method - Google Patents
Image processing apparatus, phase contrast microscope, and image processing method Download PDFInfo
- Publication number
- JP4479391B2 JP4479391B2 JP2004203683A JP2004203683A JP4479391B2 JP 4479391 B2 JP4479391 B2 JP 4479391B2 JP 2004203683 A JP2004203683 A JP 2004203683A JP 2004203683 A JP2004203683 A JP 2004203683A JP 4479391 B2 JP4479391 B2 JP 4479391B2
- Authority
- JP
- Japan
- Prior art keywords
- data group
- complex amplitude
- pixel data
- phase
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
Description
本発明は、物体の位相差画像を生成する画像処理装置、位相差顕微鏡、および、画像処理方法に関する。 The present invention relates to an image processing device, a phase contrast microscope, and an image processing method that generate a phase difference image of an object.
一般的な位相差顕微鏡には、結像光学系の瞳面に、位相板が配置されている(例えば非特許文献1,2を参照)。この位相板は、照明光学系の開口絞り(リング状やドット状など)と組み合わせて配置され、開口絞りに共役な部分(つまり物体からの直接光の通過部分)が位相シフト領域となっている。この位相差顕微鏡では、位相板に設けた位相シフト領域を介して物体からの直接光を取り込むと共に、位相板の他の領域(非シフト領域)を介して物体からの回折光を取り込み、両者の干渉により物体の位相差画像を得ている。
しかしながら、物体の位相差画像を得るためには、上記した専用の光学部材(位相板)が必要である。専用の光学部材(位相板)を省略すると、通常の光学顕微鏡と同様の構成になり、物体の明視野画像しか得られない。また、物体の明視野画像から画像処理によって位相差画像を推定しようとしても、明視野画像には位相情報が含まれないため、位相差画像の推定は不可能である。 However, in order to obtain a phase difference image of an object, the above-described dedicated optical member (phase plate) is necessary. If a dedicated optical member (phase plate) is omitted, the configuration is the same as that of a normal optical microscope, and only a bright field image of an object can be obtained. Further, even if an attempt is made to estimate a phase difference image from a bright field image of an object by image processing, the phase difference image cannot be estimated because the bright field image does not include phase information.
本発明の目的は、専用の光学部材(位相板)を用いることなく物体の位相差画像を生成できる画像処理装置、位相差顕微鏡、および、画像処理方法を提供することにある。 An object of the present invention is to provide an image processing apparatus, a phase contrast microscope, and an image processing method capable of generating a phase contrast image of an object without using a dedicated optical member (phase plate).
請求項1に記載の画像処理装置は、物体からの直接光と回折光とに基づいて結像光学系の像面に形成された物体像の複素振幅分布を表す第1データ群の各ピクセルデータを用いてフーリエ変換を行い、前記結像光学系の瞳面における複素振幅分布を表す第2データ群を生成する第1の処理手段と、前記第2データ群の各ピクセルデータのうち、前記瞳面における前記直接光の通過位置に対応するピクセルデータに対し、該ピクセルデータの複素振幅の位相を所定量だけシフトさせる処理を行い、第3データ群を生成する第2の処理手段と、前記第3データ群の各ピクセルデータを用いて逆フーリエ変換を行い、前記像面における複素振幅分布を表す第4データ群を生成する第3の処理手段と、前記第4データ群の各ピクセルデータを用い、該ピクセルデータの複素振幅の絶対値の二乗を求め、第5データ群を生成する第4の処理手段とを備えたものである。
The image processing apparatus according to
請求項2に記載の発明は、請求項1に記載の画像処理装置において、前記第2の処理手段は、前記直接光の通過位置に対応するピクセルデータの複素振幅の位相を所定量だけシフトさせる際、該複素振幅の振幅を小さくする処理も行い、前記第3データ群を生成するものである。
請求項3に記載の位相差顕微鏡は、請求項1または請求項2に記載の画像処理装置と、前記第5データ群の各ピクセルデータを表示する表示手段とを備えたものである。
According to a second aspect of the present invention, in the image processing apparatus according to the first aspect, the second processing unit shifts the phase of the complex amplitude of the pixel data corresponding to the passing position of the direct light by a predetermined amount. At this time, processing for reducing the amplitude of the complex amplitude is also performed to generate the third data group.
A phase-contrast microscope according to a third aspect includes the image processing apparatus according to the first or second aspect and display means for displaying each pixel data of the fifth data group.
請求項4に記載の発明は、請求項3に記載の位相差顕微鏡において、前記物体をパルス光によって照明する照明手段と、前記照明手段により照明されたときに前記物体から発生するパルス状の前記直接光と前記回折光とに基づいて、前記物体像を形成する結像光学系と、前記結像光学系の像面に入射するパルス光の電場の時間変化を測定する測定手段と、前記電場の時間変化をフーリエ変換し、各波長成分ごとに前記第1データ群を生成する生成手段とを備えたものである。 According to a fourth aspect of the present invention, in the phase-contrast microscope according to the third aspect, the illuminating means for illuminating the object with pulsed light, and the pulse-like shape generated from the object when illuminated by the illuminating means. An imaging optical system that forms the object image based on the direct light and the diffracted light, a measuring unit that measures a time change of an electric field of pulsed light incident on an image plane of the imaging optical system, and the electric field And a generation means for generating the first data group for each wavelength component.
請求項5に記載の発明は、請求項4に記載の位相差顕微鏡において、前記照明手段は、前記物体をテラヘルツ周波数領域のパルス光によって照明するものである。
請求項6に記載の画像処理方法は、物体からの直接光と回折光とに基づいて結像光学系の像面に形成された物体像の複素振幅分布を表す第1データ群の各ピクセルデータを用いてフーリエ変換を行い、前記結像光学系の瞳面における複素振幅分布を表す第2データ群を生成する第1の処理工程と、前記第2データ群の各ピクセルデータのうち、前記瞳面における前記直接光の通過位置に対応するピクセルデータに対し、該ピクセルデータの複素振幅の位相を所定量だけシフトさせる処理を行い、第3データ群を生成する第2の処理工程と、前記第3データ群の各ピクセルデータを用いて逆フーリエ変換を行い、前記像面における複素振幅分布を表す第4データ群を生成する第3の処理工程と、前記第4データ群の各ピクセルデータを用い、該ピクセルデータの複素振幅の絶対値の二乗を求め、第5データ群を生成する第4の処理工程とを備えたものである。
According to a fifth aspect of the present invention, in the phase contrast microscope according to the fourth aspect, the illumination unit illuminates the object with pulsed light in a terahertz frequency region.
The image processing method according to claim 6, wherein each pixel data of a first data group representing a complex amplitude distribution of an object image formed on an image plane of an imaging optical system based on direct light and diffracted light from an object. And a first processing step for generating a second data group representing a complex amplitude distribution on the pupil plane of the imaging optical system, and the pupil among the pixel data of the second data group. A second processing step of generating a third data group by performing a process of shifting the phase of the complex amplitude of the pixel data by a predetermined amount on the pixel data corresponding to the direct light passing position on the surface; A third processing step of performing a Fourier transform using each pixel data of the three data groups to generate a fourth data group representing a complex amplitude distribution in the image plane; and using each pixel data of the fourth data group The Kuseru calculates the square of the absolute value of the complex amplitude of the data, in which a fourth processing step of generating a fifth data group.
本発明によれば、専用の光学部材(位相板)を用いることなく物体の位相差画像を生成することができる。 According to the present invention, a phase difference image of an object can be generated without using a dedicated optical member (phase plate).
以下、図面を用いて本発明の実施形態を詳細に説明する。
本実施形態の位相差顕微鏡10は、図1に示す通り、イメージング装置11と、画像処理装置12と、表示装置13とで構成される。本実施形態の位相差顕微鏡10には、従来の一般的な位相差顕微鏡に必須の光学部材(位相板)が組み込まれていない。この位相差顕微鏡10は、イメージング装置11からの撮像信号を画像処理装置12に取り込み、画像処理によって被検物体10Aの位相差画像を生成するものである。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
As shown in FIG. 1, the phase-contrast microscope 10 of this embodiment includes an imaging device 11, an image processing device 12, and a
ここで、イメージング装置11について簡単に説明する。イメージング装置11の詳細は、例えば特開2002−98634号公報などに記載されている。
イメージング装置11では、フェムト秒パルスレーザ21から出射した光が半透過鏡22で2方向に分岐される(光L1,L2)。一方の光L1は、ミラー23を経て半導体基板24に入射する。半導体基板24には電極25が形成され、電極25には電源26から電圧が常時印加されている。このため、半導体基板24に光L1が入射した瞬間、電極25の間で放電が起こり、これが双極子となってテラヘルツ周波数領域のパルス光(テラヘルツパルス光)を放射する。
Here, the imaging device 11 will be briefly described. Details of the imaging apparatus 11 are described in, for example, Japanese Patent Application Laid-Open No. 2002-98634.
In the imaging apparatus 11, the light emitted from the
そして、このテラヘルツパルス光によって、被検物体10Aが全体的に照明される。テラヘルツパルス光による照明は、点光源照明(つまり平行光による照明)と同等である。また、本実施形態では、テラヘルツパルス光の進行方向が後述のレンズ27(結像光学系)の光軸に平行となっている。
テラヘルツパルス光によって被検物体10Aを照明したときに、被検物体10Aから発生する透過パルス光L3は、特殊プラスチック製(例えばポリエチレン製)のレンズ27で集光され、半透過鏡28を介して、電気光学効果を示す結晶29に入射する。このとき、結晶29(レンズ27の像面)には、透過パルス光L3による被検物体10Aの像(物体像)が形成される。また、結晶29上の各点では、物体像の明暗(つまり図2に例示した透過パルス光L3の電場の強弱)に応じて、“複屈折率の変調”が起こる。
Then, the
When the
なお、被検物体10Aからの透過パルス光L3には、パルス状の直接光と回折光とが含まれている。直接光は0次回折光のことである。直接光に対比して用いられる“回折光”は±1次以上の回折光のことである。本実施形態の位相差顕微鏡10では、レンズ27の瞳面27Aに位相板を配置しないため、被検物体10Aが微小な起伏(位相)構造を有する場合、透過パルス光L3の直接光と回折光の位相差が90度となる。したがって、直接光と回折光がレンズ27の像面(結晶29)で干渉しても、コントラストの高い物体像を得ることはできない。つまり、物体像のコントラストは低いと考えられる。
Note that the transmitted pulsed light L3 from the
そして、このような物体像の明暗に応じて結晶29に誘起された“複屈折率の変調”を検出するために、上記した半透過鏡22で分岐した他方の光L2をプローブ光として用いる。光L2のパルス幅はフェムト秒オーダである。光L2は、光遅延装置30を介した後(光L4)、ミラー31と半透過鏡28を介して結晶29に入射する。光L4が結晶29に入射する時刻t0+Δt(図2)は、上記の透過パルス光L3が結晶29に入射する時刻t0を基準とし、光遅延装置30によって自在に調整可能である。光遅延装置30の構成としては、例えば反射光学系で光路長を変化させるものが考えられる。
Then, in order to detect “modulation of the birefringence” induced in the
また、光L4は、直線偏光の状態で結晶29に入射する。そして、被検物体10Aからの透過パルス光L3により物体像の明暗に応じて結晶29に誘起された時刻t0+Δt(図2)における“複屈折率の変調”に応じて、光L4の偏光状態が変化する。さらに、この偏光状態の変化量は、偏光板32を介して光電場の強弱に変換され、イメージセンサ33により検出される。
The light L4 is incident on the
イメージセンサ33による検出信号は、光L4の偏光状態の変化量に比例し、また、結晶29の時刻t0+Δtにおける“複屈折率の変調”に比例し、また、結晶29上に形成された物体像の明暗に比例し、さらに、被検物体10Aからの透過パルス光L3(結晶29に入射する透過パルス光L3)の電場の時刻t0+Δtにおける瞬時値(実数)に比例している。この検出信号は、画像処理装置12に撮像信号として出力される。
The detection signal from the
画像処理装置12は、上記したイメージング装置11のイメージセンサ33からの撮像信号をデジタル化し、デジタルデータとして取り込む。したがって、画像処理装置12では、そのデジタルデータに応じて、被検物体10Aからの透過パルス光L3(結晶29に入射する透過パルス光L3)の電場の時刻t0+Δtにおける瞬時値(実数)を知ることができる。
The image processing device 12 digitizes the image pickup signal from the
さらに、イメージング装置11の光遅延装置30を用いて、光L4が結晶29に入射する時刻t0+Δt(図2)を調整しながら、同様のデジタルデータを画像処理装置12に取り込んでいく。これにより、被検物体10Aからの透過パルス光L3の1パルス幅内における電場の各瞬時値、つまり、電場の時間変化E(t)を測定することができる。透過パルス光L3の電場の時間変化E(t)は、結晶29上に形成された物体像の明暗の時間変化を表し、物体像の各位置ごとにピクセルデータの集合(データ群)として得られる。
Further, using the
このようにして電場の時間変化E(t)の測定が終了すると、画像処理装置12は、電場の時間変化E(t)を物体像の各位置ごとにフーリエ変換する(つまり分光する)。その結果、物体像の各位置において、透過パルス光L3を構成する種々の波長成分ごとに、次の式(1)の複素振幅E1(ω)を得ることができる。複素振幅E1(ω)のうち、|E1(ω)|は振幅を表し、ψ1は位相を表している。複素振幅E1(ω)は複素数である。 When the measurement of the electric field time change E (t) is completed in this way, the image processing apparatus 12 Fourier-transforms (that is, spectrally separates) the electric field time change E (t) for each position of the object image. As a result, the complex amplitude E 1 (ω) of the following equation (1) can be obtained for each of various wavelength components constituting the transmitted pulsed light L3 at each position of the object image. Of the complex amplitude E 1 (ω), | E 1 (ω) | represents the amplitude, and ψ 1 represents the phase. The complex amplitude E 1 (ω) is a complex number.
E1(ω)=ΣE(t)exp(−iωt)=|E1(ω)|exp(iψ1) …(1)
物体像の各位置における各波長成分の複素振幅E1(ω)も、ピクセルデータの集合(データ群)である。このうち、任意の1つの波長成分に関わるデータ群を抽出すると、これは、その波長成分の物体像(結晶29上に形成された被検物体10Aの像)の複素振幅分布を表すことになる。
E 1 (ω) = ΣE (t) exp (−iωt) = | E 1 (ω) | exp (iψ 1 ) (1)
The complex amplitude E 1 (ω) of each wavelength component at each position of the object image is also a set of pixel data (data group). If a data group related to any one wavelength component is extracted, this represents a complex amplitude distribution of an object image of the wavelength component (an image of the
ただし、上記のフーリエ変換によって得られた複素振幅E1(ω)の位相ψ1には、被検物体10A自体の位相情報だけでなく、被検物体10A上の各点から結晶29(つまり像面)上の共役点までの距離に依存した成分(以下「誤差成分ψ2」)が重畳している。この誤差成分ψ2は、被検物体10A上の各点の位置によって変動し、被検物体10A自体の位相情報とは無関係なため、次のようにして取り除く必要がある。
However, the phase ψ 1 of the complex amplitude E 1 (ω) obtained by the above Fourier transform includes not only the phase information of the
誤差成分ψ2を求めるために、被検物体10Aを置かない状態で、上記と同様の電場の時間変化E(t)を測定し、これをフーリエ変換する。その結果、結晶29(つまり像面)上の各位置における各波長成分の複素振幅E2(ω)を得ることができる。複素振幅E2(ω)のうち、位相ψ2が“誤差成分ψ2”に相当する。
E2(ω)=|E2(ω)|exp(iψ2) …(2)
そして、式(2)の誤差成分ψ2を用い、次の式(3)にしたがって、式(1)の位相ψ1を補正する。したがって、被検物体10A自体の位相情報とは無関係で被検物体10A上の各点の位置によって変動する誤差成分ψ2を簡単に取り除くことができる。その結果、被検物体10A自体の位相情報のみを位相[ψ1−ψ2]として含む式(3)の複素振幅E3(ω)を得ることができる。
In order to obtain the error component ψ 2 , the time change E (t) of the electric field similar to the above is measured without placing the
E 2 (ω) = | E 2 (ω) | exp (iψ 2 ) (2)
Then, using the error component ψ 2 of equation (2), the phase ψ 1 of equation (1) is corrected according to the following equation (3). Therefore, the error component ψ 2 that varies depending on the position of each point on the test object 10A regardless of the phase information of the
E3(ω)=|E1(ω)|exp(i[ψ1−ψ2]) …(3)
式(3)による補正後の複素振幅E3(ω)も、物体像(結晶29上に形成された被検物体10Aの像)の各位置において各波長成分ごとに生成され、ピクセルデータの集合(データ群)を構成する。このうち、任意の1つの波長成分に関わるデータ群(請求項の「第1データ群」に対応)は、その波長成分の物体像の純粋な複素振幅分布を表している。
E 3 (ω) = | E 1 (ω) | exp (i [ψ 1 −ψ 2 ]) (3)
The corrected complex amplitude E 3 (ω) according to the equation (3) is also generated for each wavelength component at each position of the object image (the image of the
画像処理装置12は、補正後の複素振幅E3(ω)を生成し終えると、この補正後の複素振幅E3(ω)を用い、図3のフローチャートの手順にしたがって画像処理を行い、被検物体10Aの位相差画像を生成する。図3の画像処理は、各々の波長成分に関わるデータ群ごとに行われる。
ステップS1では、ある波長成分の補正後の複素振幅E3(ω)に関わるデータ群(つまりレンズ27の像面(結晶29)における物体像の複素振幅分布を表すデータ群)を、演算用の配列A(i,j)に格納する。“i”と“j”は、格納したデータ群の各ピクセルデータの番地を表す。配列A(i,j)のデータ群の各ピクセルデータは、レンズ27の像面(結晶29)の各位置における複素振幅E3(ω)を表す。
The image processing device 12, after finishing to produce the complex amplitude E 3 after correction (omega), using the complex amplitude E 3 after the correction (omega), performs image processing in accordance with the procedure of the flow chart of FIG. 3, the A phase difference image of the
In step S1, a data group related to the complex amplitude E 3 (ω) after correction of a certain wavelength component (that is, a data group representing the complex amplitude distribution of the object image on the image plane (crystal 29) of the lens 27) is calculated. Store in array A (i, j). “I” and “j” represent the addresses of the pixel data of the stored data group. Each pixel data of the data group of the array A (i, j) is expressed image plane of the
次に(ステップS2)、配列A(i,j)のデータ群の各ピクセルデータを用いて二次元のフーリエ変換を行う。この処理は、レンズ27の像面(結晶29)における複素振幅分布を、レンズ27の瞳面27Aにおける複素振幅分布に変換する処理に相当する。この処理によって生成されたデータ群(瞳面27Aにおける複素振幅分布を表すデータ群)(請求項の「第2データ群」に対応)は、配列B(i,j)に格納される。配列B(i,j)のデータ群の各ピクセルデータは、瞳面27Aの各位置における複素振幅を表す。
Next (step S2), two-dimensional Fourier transform is performed using each pixel data of the data group of the array A (i, j). This process corresponds to a process of converting the complex amplitude distribution on the image plane (crystal 29) of the
次に(ステップS3)、配列B(i,j)のデータ群の各ピクセルデータのうち、瞳面27Aにおける特定領域のピクセルデータに対し、F×exp[iθ]で与えられる所定の複素数を掛ける。この処理は、特定領域のピクセルデータの複素振幅の位相を所定量(位相θ)だけシフトさせると共に、振幅をF倍にする処理に相当する。“F”は、1以下の正の数である。この処理によって生成されたデータ群(請求項の「第3データ群」に対応)は、配列C(i,j)に格納される。配列C(i,j)のデータ群の各ピクセルデータも、瞳面27Aの各位置における複素振幅を表す。
Next (step S3), among the pixel data of the data group of the array B (i, j), the pixel data of the specific region on the
ここで、瞳面27Aにおける上記の特定領域について説明する。本実施形態では、図4(a)に示す通り、瞳面27Aの中のレンズ27の光軸との交点(いわゆる周波数座標の原点)を含むドット状の近傍領域27Bを、上記の特定領域に設定した。この近傍領域27Bは、図4(b)に示す通り、被検物体10Aからの透過パルス光L3のうち直接光L3aの通過位置に対応する。
Here, the specific area on the
直接光L3aの通過位置が周波数座標の原点近傍となるのは、被検物体10Aを照明するテラヘルツパルス光が平行光であり(点光源照明)、かつ、テラヘルツパルス光の進行方向がレンズ27の光軸に平行だからである。ちなみに、透過パルス光L3のうち回折光L3bの通過位置は、瞳面27Aの近傍領域27Bの周辺部分に広がっている。
本実施形態の位相差顕微鏡10では、レンズ27の瞳面27Aに位相板を配置しないため、被検物体10Aからの透過パルス光L3(つまり直接光L3aと回折光L3b)がレンズ27の瞳面27Aを実際に通過した際には、直接光L3aと回折光L3bとの双方に対して何の位相変調も起きない。このため、レンズ27の像面(結晶29)における複素振幅分布(配列A(i,j)のデータ群)はコントラストの低いものとなる。
The passage position of the direct light L3a is in the vicinity of the origin of the frequency coordinate because the terahertz pulse light that illuminates the
In the phase-contrast microscope 10 of the present embodiment, since no phase plate is disposed on the
しかし、位相変調を受けていない直接光L3aと回折光L3bによる上記の複素振幅分布(配列A(i,j)のデータ群)を、瞳面27Aにおける複素振幅分布(配列B(i,j)のデータ群)に変換し、この複素振幅分布のうち近傍領域27Bのピクセルデータの複素振幅の位相を所定量(位相θ)だけシフトさせることによって、瞳面27Aに位相板を配置した場合と同等の位相変調を数値的に直接光L3aに対して与えることができる。なお、近傍領域27Bが従来の位相板に設けた位相シフト領域に対応している。
However, the complex amplitude distribution (data group of the array A (i, j)) by the direct light L3a and the diffracted light L3b not subjected to phase modulation is converted into the complex amplitude distribution (array B (i, j) on the
また、近傍領域27Bのピクセルデータの位相変調を行う際、そのピクセルデータの複素振幅の振幅をF倍にするため、“F”として1より小さい正の数を用いることで、直接光L3aの振幅を数値的に小さくすることができる。つまり、直接光L3aの強度を数値的に弱めることができる。この処理は、従来の位相板において位相シフト領域に吸収を持たせる(位相シフト領域の透過率を小さくする)ことと同等である。一般に直接光L3aの強度は回折光L3bと比較して強いため、直接光L3aを弱めることにより、回折光L3bとの干渉効果を高めることができる。 Further, when the phase modulation of the pixel data of the neighboring region 27B is performed, the amplitude of the direct light L3a is obtained by using a positive number smaller than 1 as “F” in order to multiply the amplitude of the complex amplitude of the pixel data by F. Can be numerically reduced. That is, the intensity of the direct light L3a can be numerically reduced. This process is equivalent to giving absorption to the phase shift region in the conventional phase plate (decreasing the transmittance of the phase shift region). Generally, since the intensity of the direct light L3a is stronger than that of the diffracted light L3b, the interference effect with the diffracted light L3b can be enhanced by weakening the direct light L3a.
次に(ステップS4)、上記のステップS3の処理によって生成された配列C(i,j)のデータ群の各ピクセルデータを用いて、二次元の逆フーリエ変換を行う。この処理は、瞳面27Aにおける複素振幅分布(位相変調後)を、レンズ27の像面(結晶29)における複素振幅分布に再び変換する処理に相当する。この処理によって生成されたデータ群(像面における複素振幅分布を表すデータ群)(請求項の「第4データ群」に対応)は、配列D(i,j)に格納される。配列D(i,j)のデータ群の各ピクセルデータは、レンズ27の像面の各位置における複素振幅を表す。
Next (step S4), a two-dimensional inverse Fourier transform is performed using each pixel data of the data group of the array C (i, j) generated by the process of step S3. This process corresponds to a process of converting again the complex amplitude distribution (after phase modulation) on the
ステップS4の処理(二次元の逆フーリエ変換)では、瞳面27Aの近傍領域27Bで位相変調を受けた直接光L3aと、瞳面27Aの近傍領域27Bの周辺部分で位相変調を受けなかった回折光L3bとの干渉を数値的に起こすことができる。つまり、従来の位相差顕微鏡に必須の光学部材(位相板)を用いた場合と同様の干渉効果を数値的に発生させることができる。
In the process of step S4 (two-dimensional inverse Fourier transform), the direct light L3a that has undergone phase modulation in the vicinity region 27B of the
その結果、レンズ27の像面(結晶29)における複素振幅分布(配列D(i,j)のデータ群)は、上記の位相θとF値の設定に応じて、コントラストの高いものとなる。なお、被検物体10Aが微細な位相構造を有する場合には、位相θ=±π/2とすることで、直接光L3aと回折光L3bとの位相差をゼロ(または180度)に設定できるため、コントラストの高い物体像を得ることができる。
As a result, the complex amplitude distribution (data group of the array D (i, j)) on the image plane (crystal 29) of the
ステップS3,S4の処理が終わると、画像処理装置12は、ステップS5の処理に進み、上記した逆フーリエ変換後の複素振幅分布を表すデータ群(つまり配列D(i,j)のデータ群)の各ピクセルデータを用い、ピクセルデータの複素振幅の絶対値の二乗を求める。この処理によって生成されたデータ群(請求項の「第5データ群」に対応)は、配列I(i,j)に格納される。配列I(i,j)のデータ群は、物体像の強度分布(つまり被検物体10Aの位相差画像)を表している。
When the processes of steps S3 and S4 are completed, the image processing apparatus 12 proceeds to the process of step S5, and a data group representing the complex amplitude distribution after the inverse Fourier transform described above (that is, a data group of the array D (i, j)). Is used to obtain the square of the absolute value of the complex amplitude of the pixel data. The data group generated by this processing (corresponding to the “fifth data group” in the claims) is stored in the array I (i, j). The data group of the array I (i, j) represents the intensity distribution of the object image (that is, the phase difference image of the
上記のように、本実施形態の位相差顕微鏡10では、イメージング装置11からの撮像信号を画像処理装置12に取り込み、図3のフローチャートの手順にしたがって画像処理を行うことにより、被検物体10Aの位相差画像を決定論的に生成することができる。つまり、従来の一般的な位相差顕微鏡には必須とされる専用の光学部材(位相板)を用いることなく、被検物体10Aの位相差画像を生成することができる。
As described above, in the phase-contrast microscope 10 of the present embodiment, the imaging signal from the imaging device 11 is taken into the image processing device 12 and image processing is performed according to the procedure of the flowchart of FIG. A phase difference image can be generated deterministically. That is, it is possible to generate a phase difference image of the
また、本実施形態の位相差顕微鏡10では、図3の画像処理によって最終的に得られた配列I(i,j)のデータ群を用い、その各ピクセルデータを表示装置13に出力することで、被検物体10Aの位相差画像の観察が可能となる。このとき、被検物体10Aの位相差画像を各波長成分ごとに表示してもよいし、各波長成分のデータ群どうしで演算処理を行った後、表示してもよい。
Further, in the phase-contrast microscope 10 of the present embodiment, by using the data group of the array I (i, j) finally obtained by the image processing of FIG. 3, each pixel data is output to the
さらに、本実施形態の位相差顕微鏡10では、図3のステップS3において、瞳面27Aにおける直接光L3aの通過位置に対応する近傍領域27Bの面積(ピクセルデータ数≧1)や、近傍領域27Bのピクセルデータの複素振幅に掛ける複素数(F×exp[iθ])の位相θおよびF値とを自由に設定することができる。このため、同一像に対して様々な条件下での位相差画像を簡単に得ることができ、被検物体10Aにとって最良の観察条件を選択し、そのときの位相差画像を得ることもできる。近傍領域27Bの面積(ピクセルデータ数≧1)は、レンズ27の収差を考慮して良好なコントラストが得られるように設定することが好ましい。
(変形例)
なお、上記した実施形態では、被検物体10Aを照明するテラヘルツパルス光の進行方向がレンズ27の光軸に平行である例を説明したが、本発明はこれに限定されない。レンズ27の光軸に対してテラヘルツパルス光の進行方向を傾けても構わない。この場合には、半導体基板24の角度を光軸に対して傾けることが必要になる。半導体基板24の傾き角度αに応じてテラヘルツパルス光の進行方向を傾け、被検物体10Aへの入射角度を変更することができる。このような斜光照明の場合、図3のステップS3の処理は、周波数座標の原点から“sinα”だけ外れた点を含むドット状の近傍領域27C(図5)を対象として行えばよい。
Furthermore, in the phase-contrast microscope 10 of the present embodiment, in step S3 of FIG. 3, the area of the neighboring region 27B (number of pixel data ≧ 1) corresponding to the passing position of the direct light L3a on the
(Modification)
In the above-described embodiment, the example in which the traveling direction of the terahertz pulse light that illuminates the
さらに、上記した実施形態では、点光源照明による物体像の位相差画像を生成する例を説明したが、本発明はこれに限定されない。その他、輪帯照明による物体像の位相差画像を生成する場合にも、本発明を適用することができる。この場合、半導体基板24の傾き角度α(光軸に対する角度)を一定に保ちながら、半導体基板24の傾き方向(テラヘルツパルス光の入射方向)を光軸中心で回転させることが必要になる。
Furthermore, in the above-described embodiment, an example of generating a phase difference image of an object image by point light source illumination has been described, but the present invention is not limited to this. In addition, the present invention can also be applied when generating a phase difference image of an object image by annular illumination. In this case, it is necessary to rotate the tilt direction (incident direction of the terahertz pulse light) of the
そして、複数の入射方向の各々において、上記と同様の電場の時間変化E(t)の測定を行い、物体像の複素振幅分布(補正後の複素振幅E3(ω))を生成し、図3のうちステップS4までの処理を行う。このときのステップS3の処理は、テラヘルツパルス光の入射方向に応じて、図6に示すようなリング状の領域27D内の各近傍領域27Eを対象として順に行えばよい。各々の入射方向におけるステップS4までの処理を時分割で繰り返し、入射方向の異なる複数の複素振幅分布(配列D(i,j)のデータ群)が得られると、これらを合成した後にステップS5の処理に進む。その結果、輪帯照明による被検物体10Aの位相差画像を得ることができる。
Then, in each of the plurality of incident directions, the time change E (t) of the electric field similar to that described above is measured, and a complex amplitude distribution (corrected complex amplitude E 3 (ω)) of the object image is generated. 3 up to step S4. The processing in step S3 at this time may be performed sequentially for each
また、上記した実施形態では、イメージング装置11のイメージセンサ33により一括してプローブ光(L4)の偏光状態の変化量を検出する非走査型の例を説明したが、本発明はこれに限定されない。テラヘルツパルス光を被検物体10Aの局所領域に照射して、テラヘルツパルス光の照射領域と被検物体10Aとの相対位置を変化させながら、プローブ光(L4)の偏光状態の変化量を検出する場合(走査型)にも、本発明を適用できる。
In the above-described embodiment, the non-scanning example in which the amount of change in the polarization state of the probe light (L4) is collectively detected by the
さらに、上記した実施形態では、被検物体10Aから発生する透過パルス光L3に基づいて結晶29上に物体像を形成する例(透過型のイメージング装置11)を説明したが、本発明はこれに限定されない。被検物体から発生する反射パルス光に基づいて物体像を形成する場合(反射型)にも、本発明を適用できる。
また、上記した実施形態では、被検物体10Aをテラヘルツパルス光によって照明する例を説明したが、本発明はこれに限定されない。その他の周波数領域のパルス光を用いて被検物体10Aを照明する場合にも、本発明を適用できる。例えば、中心波長帯域を可視光域とする場合、イメージング装置11のフェムト秒パルスレーザ21の時間分解能を上げ、レンズ27の材質を変更し、結晶29として応答時間のより速いものを用いることが必要になる。
Furthermore, in the above-described embodiment, the example (transmission-type imaging apparatus 11) in which the object image is formed on the
In the above-described embodiment, the example in which the
さらに、上記した実施形態では、イメージング装置11を備えた位相差顕微鏡10を例に説明したが、本発明はこれに限定されない。イメージング装置11を省略した場合(つまり画像処理装置12と表示装置13とで構成された位相差顕微鏡)にも、本発明を適用できる。この場合には、上記と同様の複素振幅E3(ω)に関わるデータ群(つまり物体像の複素振幅分布を表すデータ群)を画像処理装置12に入力するだけで、被検物体10Aの位相差画像を生成することができる。
Further, in the above-described embodiment, the phase contrast microscope 10 including the imaging device 11 has been described as an example, but the present invention is not limited to this. The present invention can also be applied to the case where the imaging device 11 is omitted (that is, a phase contrast microscope including the image processing device 12 and the display device 13). In this case, the data group relating to the complex amplitude E 3 (ω) similar to the above (that is, the data group representing the complex amplitude distribution of the object image) is simply input to the image processing device 12, and the level of the
10 位相差顕微鏡
11 イメージング装置
12 画像処理装置
13 表示装置
21 フェムト秒パルスレーザ
24 半導体基板
25 電極
27 レンズ
29 結晶
30 光遅延装置
32 偏光板
33 イメージセンサ
DESCRIPTION OF SYMBOLS 10 Phase difference microscope 11 Imaging apparatus 12
Claims (6)
前記第2データ群の各ピクセルデータのうち、前記瞳面における前記直接光の通過位置に対応するピクセルデータに対し、該ピクセルデータの複素振幅の位相を所定量だけシフトさせる処理を行い、第3データ群を生成する第2の処理手段と、
前記第3データ群の各ピクセルデータを用いて逆フーリエ変換を行い、前記像面における複素振幅分布を表す第4データ群を生成する第3の処理手段と、
前記第4データ群の各ピクセルデータを用い、該ピクセルデータの複素振幅の絶対値の二乗を求め、第5データ群を生成する第4の処理手段とを備えた
ことを特徴とする画像処理装置。 Fourier transform is performed using each pixel data of the first data group representing the complex amplitude distribution of the object image formed on the image plane of the imaging optical system based on the direct light and diffracted light from the object, and the imaging First processing means for generating a second data group representing a complex amplitude distribution in the pupil plane of the optical system;
A process of shifting the phase of the complex amplitude of the pixel data by a predetermined amount is performed on the pixel data corresponding to the passing position of the direct light on the pupil plane among the pixel data of the second data group. A second processing means for generating a data group;
Third processing means for performing inverse Fourier transform using each pixel data of the third data group to generate a fourth data group representing a complex amplitude distribution in the image plane;
An image processing apparatus comprising: a fourth processing unit that uses each pixel data of the fourth data group, calculates a square of an absolute value of a complex amplitude of the pixel data, and generates a fifth data group. .
前記第2の処理手段は、前記直接光の通過位置に対応するピクセルデータの複素振幅の位相を所定量だけシフトさせる際、該複素振幅の振幅を小さくする処理も行い、前記第3データ群を生成する
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The second processing means also performs a process of reducing the amplitude of the complex amplitude when shifting the phase of the complex amplitude of the pixel data corresponding to the passing position of the direct light by a predetermined amount, and the third data group An image processing apparatus characterized by generating.
前記第5データ群の各ピクセルデータを表示する表示手段とを備えた
ことを特徴とする位相差顕微鏡。 The image processing apparatus according to claim 1 or 2,
A phase contrast microscope comprising: display means for displaying each pixel data of the fifth data group.
前記物体をパルス光によって照明する照明手段と、
前記照明手段により照明されたときに前記物体から発生するパルス状の前記直接光と前記回折光とに基づいて、前記物体像を形成する結像光学系と、
前記結像光学系の像面に入射するパルス光の電場の時間変化を測定する測定手段と、
前記電場の時間変化をフーリエ変換し、各波長成分ごとに前記第1データ群を生成する生成手段とを備えた
ことを特徴とする位相差顕微鏡。 The phase contrast microscope according to claim 3,
Illumination means for illuminating the object with pulsed light;
An imaging optical system that forms the object image based on the pulsed direct light and the diffracted light generated from the object when illuminated by the illumination means;
Measuring means for measuring the time change of the electric field of the pulsed light incident on the image plane of the imaging optical system;
A phase contrast microscope comprising: a generating unit that Fourier-transforms the time change of the electric field and generates the first data group for each wavelength component.
前記照明手段は、前記物体をテラヘルツ周波数領域のパルス光によって照明する
ことを特徴とする位相差顕微鏡。 The phase-contrast microscope according to claim 4,
The phase contrast microscope, wherein the illuminating means illuminates the object with pulsed light in a terahertz frequency region.
前記第2データ群の各ピクセルデータのうち、前記瞳面における前記直接光の通過位置に対応するピクセルデータに対し、該ピクセルデータの複素振幅の位相を所定量だけシフトさせる処理を行い、第3データ群を生成する第2の処理工程と、
前記第3データ群の各ピクセルデータを用いて逆フーリエ変換を行い、前記像面における複素振幅分布を表す第4データ群を生成する第3の処理工程と、
前記第4データ群の各ピクセルデータを用い、該ピクセルデータの複素振幅の絶対値の二乗を求め、第5データ群を生成する第4の処理工程とを備えた
ことを特徴とする画像処理方法。 Fourier transform is performed using each pixel data of the first data group representing the complex amplitude distribution of the object image formed on the image plane of the imaging optical system based on the direct light and diffracted light from the object, and the imaging A first processing step of generating a second data group representing a complex amplitude distribution in the pupil plane of the optical system;
A process of shifting the phase of the complex amplitude of the pixel data by a predetermined amount is performed on the pixel data corresponding to the passing position of the direct light on the pupil plane among the pixel data of the second data group. A second processing step for generating a data group;
A third processing step of performing an inverse Fourier transform using each pixel data of the third data group to generate a fourth data group representing a complex amplitude distribution in the image plane;
And a fourth processing step of generating a fifth data group by using each pixel data of the fourth data group, obtaining a square of an absolute value of a complex amplitude of the pixel data, and generating a fifth data group. .
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004203683A JP4479391B2 (en) | 2004-07-09 | 2004-07-09 | Image processing apparatus, phase contrast microscope, and image processing method |
PCT/JP2005/011772 WO2006003867A2 (en) | 2004-06-30 | 2005-06-27 | Microscope observation method, microscope, differentiation interference microscope, phase difference microscope, interference microscope, image processing method, and image processing device |
EP05752944A EP1767923A4 (en) | 2004-06-30 | 2005-06-27 | Microscope observation method, microscope, differentiation interference microscope, phase difference microscope, interference microscope, image processing method, and image processing device |
US11/630,151 US20070242133A1 (en) | 2004-06-30 | 2005-06-27 | Microscope Observation Method, Microscope, Differentiation Interference Microscope, Phase Difference Microscope, Interference Microscope, Image Processing Method, and Image Processing Device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004203683A JP4479391B2 (en) | 2004-07-09 | 2004-07-09 | Image processing apparatus, phase contrast microscope, and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006023247A JP2006023247A (en) | 2006-01-26 |
JP4479391B2 true JP4479391B2 (en) | 2010-06-09 |
Family
ID=35796609
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004203683A Expired - Fee Related JP4479391B2 (en) | 2004-06-30 | 2004-07-09 | Image processing apparatus, phase contrast microscope, and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4479391B2 (en) |
-
2004
- 2004-07-09 JP JP2004203683A patent/JP4479391B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006023247A (en) | 2006-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5764363A (en) | Apparatus for observing a surface using polarized light | |
US9316536B2 (en) | Spatial frequency reproducing apparatus and optical distance measuring apparatus | |
EP1287337B1 (en) | Method and apparatus for surface plasmon microscopy | |
US20070242133A1 (en) | Microscope Observation Method, Microscope, Differentiation Interference Microscope, Phase Difference Microscope, Interference Microscope, Image Processing Method, and Image Processing Device | |
US20240004176A1 (en) | Quantitative phase image generating method, quantitative phase image generating device, and program | |
US9593935B2 (en) | Optical image measuring apparatus | |
JP6520951B2 (en) | Birefringence measuring apparatus and birefringence measuring method | |
US7304305B2 (en) | Difference-frequency surface spectroscopy | |
US20130280798A1 (en) | Distance measurement system and optical resolution improvement apparatus | |
US20100296104A1 (en) | Inspection system and method with multi-image phase shift analysis | |
US7002695B2 (en) | Dual-spot phase-sensitive detection | |
JP3507319B2 (en) | Optical property measurement device | |
Klauss et al. | Binary phase masks for easy system alignment and basic aberration sensing with spatial light modulators in STED microscopy | |
TW200813411A (en) | Combination ellipsometry and optical stress generation and detection | |
JP4479391B2 (en) | Image processing apparatus, phase contrast microscope, and image processing method | |
JP4466240B2 (en) | Image processing apparatus, differential interference microscope, and image processing method | |
WO2016104223A1 (en) | Wavefront distortion amount measurement device, wavefront correction device, and optical measurement device and method | |
JPH07167793A (en) | Phase difference semiconductor inspection device and its production method | |
KR100662576B1 (en) | Optical device testing apparatus and testing method using the same | |
JP4367261B2 (en) | Microscope observation method, microscope apparatus, and image processing apparatus | |
JPH09281401A (en) | Object inspecting instrument | |
JP3925811B2 (en) | Test method and test apparatus for liquid crystal panel | |
JPH1073542A (en) | Detector and detecting method | |
JP5733910B2 (en) | Surface shape measuring method and measuring apparatus | |
TWI738968B (en) | Identifying process variations during product manufacture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100223 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100308 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4479391 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140326 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |