WO2006109448A1 - 画像作成方法および顕微鏡装置 - Google Patents

画像作成方法および顕微鏡装置 Download PDF

Info

Publication number
WO2006109448A1
WO2006109448A1 PCT/JP2006/305564 JP2006305564W WO2006109448A1 WO 2006109448 A1 WO2006109448 A1 WO 2006109448A1 JP 2006305564 W JP2006305564 W JP 2006305564W WO 2006109448 A1 WO2006109448 A1 WO 2006109448A1
Authority
WO
WIPO (PCT)
Prior art keywords
sample
image
images
light
illumination light
Prior art date
Application number
PCT/JP2006/305564
Other languages
English (en)
French (fr)
Inventor
Hisao Osawa
Yumiko Ouchi
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to JP2007512446A priority Critical patent/JP4123305B2/ja
Priority to EP06729532A priority patent/EP1865355B1/en
Priority to US11/886,847 priority patent/US8115806B2/en
Publication of WO2006109448A1 publication Critical patent/WO2006109448A1/ja

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems

Definitions

  • the present invention relates to an image forming method and a microscope apparatus.
  • the resolution of the optical microscope is determined by the numerical aperture and wavelength of the objective lens, and it has generally been considered that there is no way to shorten the wavelength or increase the numerical aperture in order to increase the resolution. On the other hand, there is a demand to observe the sample with a higher resolution than that determined by the numerical aperture and wavelength.
  • JP-A-11-242189 provides a means for modulating the spatial frequency of the illumination light near the sample to be observed in the illumination optical system, and modulates the spatial frequency.
  • a method of obtaining a high resolution image by acquiring a plurality of photographed images and demodulating the plurality of photographed images is described.
  • an image is generated by linear calculation based on a plurality of photographed images.
  • an optical signal output from a photodetector includes noise components such as ⁇ current noise, thermal noise, and shot noise.
  • the spike current noise is a noise that exhibits a change near a constant, if the imaging environment is constant, without depending on other conditions.
  • Thermal noise is a noise component that depends on the imaging environment and imaging conditions.
  • Shot noise is a noise that is not significantly affected by the imaging environment or conditions, but is highly dependent on the signal strength.
  • a captured image always includes a noise component dependent on the signal strength and a dependent resolution component, and in the image obtained by imaging a non-bright sample in particular, both have relatively large non-negligible sizes. Therefore, practically sufficient image recovery is difficult without properly extracting noise components. Therefore, in order to perform bright imaging in high magnification microscopic observation, it is necessary to increase the light density on the sample by increasing the intensity of the light source, etc. 1S On the other hand, the damage to the sample is large. There was a problem.
  • An object of the present invention is to obtain a high resolution image with reduced noise components.
  • the present invention illuminates a specimen with spatially modulated illumination light, forms an image of light from the specimen illuminated by the illumination light, and creates a specimen image by image arithmetic processing from an acquired image.
  • a sample image is created by obtaining more images than the spatial modulation component of the illumination light on the sample, and applying a least squares method to a plurality of captured images. Provide a method of creating an image.
  • a light source an illumination optical system for illuminating the light from the light source to the sample, a diffraction grating disposed at a position optically conjugate with the sample of the illumination optical system, and the diffraction grating are modulated
  • a modulation device for illuminating the sample with spatially modulated light
  • an imaging means for capturing a spatially modulated sample image from the sample
  • an image generating apparatus for generating an image of the sample by applying the least squares method to more images.
  • FIG. 1 is an overall schematic view of a microscope apparatus described in a first embodiment.
  • FIG. 1 is an example of the configuration of a microscope that modulates the phase of illumination light.
  • the illumination optical system includes, in order of light source power, a lamp light source 1, a collector lens 2, a relay lens 3, an aperture stop 4, a field lens 5, a diffraction grating 6, a condenser lens 7, a folding mirror 8 disposed at a pupil conjugate position. , Re-lens 9, field stop 10, second objective lens 11, and half mirror 12.
  • the diffraction grating 6 is a diffraction grating having a one-dimensional transmittance distribution in the direction perpendicular to the paper surface, and generates diffracted light indicated by a broken line.
  • the diffraction grating be as fine as possible within a range in which the illumination light modulated on the sample can be projected.
  • the diffraction grating be a phase diffraction grating that produces an optical path difference of 1 ⁇ 2 wavelength with respect to the wavelength of the light source, it is sufficient to perform sufficiently narrow sinusoidal illumination on the sample.
  • the light shielding plate may be placed on a plane conjugate with the pupil of the objective lens so that light can be transmitted.
  • the ⁇ 1st order light is separated by the diffraction grating 6 so as to pass through the periphery of the field lens 7, and the + 1st order light and the 1st order light create spots at the positions of the periphery of the folding mirror.
  • the aperture stop 4 is adjusted so that the ⁇ 1st order light does not overlap on the turning mirror 8.
  • monochromatic light is used as a light source, the above-mentioned ⁇ primary light does not overlap, so the aperture stop may be omitted.
  • the ⁇ first-order light deflected by the folding mirror 8 passes through the periphery of the pupil plane 14 of the objective lens and
  • the illumination light having a stripe structure is irradiated by interfering with each other in the vicinity of 15.
  • Imaging is performed by the imaging device 17.
  • a diffraction grating driving device (not shown) acquires N sheets of images while accurately shifting by 1 / N of the period in the direction orthogonal to each grating pattern.
  • N is 4 or more and desirably as large as possible.
  • An image of a sample is created by computing the plurality of photographed images by the computing means 19. The contents of the operation are shown below.
  • the amount in the real space is denoted by the subscript r
  • the amount in the fractional space is denoted by the subscript k.
  • the period of the illumination pattern be as short as possible within the range that can be imaged by this microscope optical system.
  • the least squares method is useful as a method for imaging as many as possible and leading an unknown number to a value closer to the true value. I found it.
  • the resulting image has high resolution only in one-dimensional direction in which spatial modulation is performed.
  • the direction in which spatial modulation is applied is changed in at least two directions, and processing similar to one-dimensional in each direction is performed. By applying it, it is possible to construct a microscope with high resolution in the two-dimensional direction.
  • a two-dimensional least-squares simultaneous equation may be configured for a spatially modulated image in at least two directions, and solving this may result in a microscope having a high resolution and a two-dimensional direction. It can be configured.
  • an image at three or more structured illumination phases is processed to obtain seven unknowns for spatial modulation in each of three directions, and there are more data than unknowns.
  • FIG. 1 is an example of the configuration of a microscope that modulates the phase of illumination light.
  • the illumination optical system includes, in order of light source power, a lamp light source 1, a collector lens 2, a relay lens 3, an aperture stop 4, a field lens 5, a diffraction grating 6, a condenser lens 7, a folding mirror 8 disposed at a pupil conjugate position. , Re-lens 9, field stop 10, second objective lens 11, and half mirror 12.
  • the diffraction grating 6 is a diffraction grating having a sinusoidal transmission distribution orthogonal in a plane perpendicular to the optical axis.
  • the diffraction grating 6 is not necessarily orthogonal if it has grating patterns in two directions in a plane perpendicular to the optical axis, but it is desirable to be orthogonal because calculation processing is simple.
  • This diffraction grating produces diffracted light shown by a broken line by the grating in the direction perpendicular to the paper surface. Further, the grating in the direction in the drawing sheet generates diffracted light (not shown) which passes above and below the drawing sheet.
  • the diffraction grating be as fine as possible within a range in which the illumination light modulated on the sample can be projected. For this reason, only ⁇ first-order light must be considered among the diffracted lights. It is preferable that the grating periods in the two directions be the same, but if the resolution in the two directions does not matter, the periods in the two directions may be different.
  • the diffraction grating needs to have a sufficiently small 0th-order light component, it is desirable to use a phase diffraction grating that produces an optical path difference of 1/2 wavelength with respect to the wavelength of the light source. If the sample has a periodic pattern near the imaging limit, for example, the transmittance is modulated, oblique illumination is applied to the grating, or diffraction of ⁇ first-order light forms an image.
  • a light shielding plate may be placed on a plane conjugate with the pupil of the objective lens so that only ⁇ first-order light can be transmitted to the diffraction grating of a possible period.
  • the ⁇ 1st order light is separated by the diffraction grating 6 so as to pass through the periphery of the field lens 7 respectively, and the + 1st order light and the 1st order light create spots at the positions of the periphery of the folding mirror.
  • the aperture stop 4 is adjusted so that the ⁇ 1st order light does not overlap on the turning mirror 8.
  • monochromatic light is used as a light source, the above-mentioned ⁇ primary light does not overlap, so the aperture stop may be omitted.
  • the ⁇ 1st-order light deflected by the turning mirror 8 passes through the peripheral portion of the pupil plane 14 of the objective lens and interferes with each other near the sample 15 to thereby illuminate the illumination light having a stripe structure.
  • Photographing is performed by the imaging device 17. Since the diffraction grating is a two-direction grating that is orthogonal, two orthogonal grating patterns are illuminated on the sample. An image is acquired by accurately shifting the position by 1 / N of the period in the direction of each grating pattern by a diffraction grating driving device not shown.
  • N images are acquired while shifting the position by 1 / N in the direction of one grid (this is taken as the Y direction).
  • shift the position by 1 / N in the direction of the other grid (this is the X direction) and then shift the position by 1 / N in the Y direction to acquire N images.
  • N 2 images are acquired by shifting the position N times also in the X direction.
  • the structured illumination intensity I is generally
  • the y direction in a specific X The illumination amplitude will have a value proportional to cos (27i j / N). That is, images with different modulation amplitudes will be obtained.
  • An image of a sample is created by computing the plurality of photographed images by the computing means 19.
  • the arithmetic processing may be applied by expanding the method described in the previous example to two dimensions.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

　照明光の空間変調成分よりも多くの画像を取得し、撮像した複数の画像に対して最小自乗法を適用して信号成分を求める。これにより、空間変調した照明光を用いて標本を照明し、取得画像を演算処理することで与えた空間変調を復調して、高解像な標本像を得る超解像顕微鏡において、ノイズ成分を低下させた高分解能の画像を得ることができる。

Description

明 細 書
画像作成方法および顕微鏡装置
技術分野
[0001] 本発明は、画像作成方法および顕微鏡装置に関するものである。
背景技術
[0002] 光学顕微鏡の分解能は対物レンズの開口数と波長により決まり、分解能を高めるた めには、一般に波長を短くするか開口数を大きくするより方法がないとされてきた。そ の一方で、開口数と波長により決定されるそれよりも高い分解能で標本を観察したい と言う要求がある。
[0003] この要求に答える技術の一つとして W. Lukoszが "Optical systems with resolving powers exceeding the classical limit. Ii , Journal or the Optical society of America, Vol.37, no.7 (1967)で示した格子超解像と呼ばれる技術がある。この手法では、観 察物体の近傍に置いた回折格子で標本像を空間変調し、標本と撮像素子の間に存 在する結像光学系を通りえない空間周波数成分を撮像素子へ導き、撮像素子近傍 の回折格子で復調して高い分解能を持った光学顕微鏡を構成しょうというものである 。これは、 Lukosz自身が認めているように現実的ではなレ、が、より現実的にしたものと して、 例えば、 J. T. Frohnらカ S !Yue optical resolution beyond the Rayleigh limit achieved by standing wave illumination", PNAS, Vol.97, No.13で紹介している顕微 鏡構成がある。
[0004] この顕微鏡構成と画像処理については、例えば、特開平 11— 242189号公報に、 照明光学系に観察する標本付近の照明光の空間周波数を変調する手段を設け、空 間周波数を変調しながら複数の撮影画像を取得し、これら複数の撮影画像を復調す ることにより、高分解能の画像を得る方法が記載されている。特開平 11— 242189号 公報に記載された復調方法では、複数の撮影画像をもとに線形計算により画像を生 成している。
[0005] しかし、特開平 1 1 242189号公報に記載された復調方法には撮影画像に含ま れるノイズの寄与が考慮されていないため、復調によって得られた画像はノイズ成分 の影響で誤ったものとなる可能性がある。
[0006] 一般に光検出器から出力される光信号には、喑電流ノイズ、サーマルノイズ、ショッ トノイズといったノイズ成分を含んでいる。喑電流ノイズは撮像環境が一定であればそ の他の条件には依存せずほぼ一定の付近で変化を示すノイズである。サーマルノィ ズは撮像環境および撮像条件に依存するノイズ成分である。ショットノイズは撮像環 境や撮像条件にはあまり影響を受けないが、信号強度に大きく依存するノイズである
[0007] 撮像画像中には常にその信号強度に依存したノイズ成分と依存しなレゾィズ成分 が含まれており、特に明るくない標本を撮像した画像中ではどちらも相対的に無視で きない大きさとなるため、ノイズ成分を正しく取り出すことなしには実用上十分な画像 回復は困難である。そこで、高倍率の顕微鏡観察において明るい撮像を行うために は、光源の強度を大きくするなどして標本上の光密度を高くすることが必要であった 1S その反面、標本へのダメージが大きいという問題があった。
[0008] 構造化照明顕微鏡技術では、特開平 11 242189号公報にも記載されているよう に、厚みや高低の有る標本を観察した際には焦点面近傍の信号成分を選択的に取 り出すことができ、従来型顕微鏡において除去できなかった焦点深度外からのぼけ 像を画像処理中に除去することができ、光軸方向の高い解像度をも持つことが知ら れている。し力しながら、このように厚みの有る標本を観察した場合は、画像処理に おいて除去される焦点深度外からの信号は画像処理前には信号中に混入しておりこ れもノイズ源となるため、信号強度に依存するノイズ成分は画像処理後の画像成分 に対して相対的に大きくなることがあるという問題があった。
発明の開示
[0009] 本発明は、ノイズ成分を低下させた高分解能の画像を得ることを目的とする。
[0010] 本発明は、空間変調された照明光により標本を照明し、前記照明光により照明され た前記標本からの光を結像させ、取得した画像から画像演算処理により標本像を作 成する画像作成方法において、前記標本上での前記照明光の空間変調成分よりも 多くの画像を取得し、撮像した複数の画像に対して最小自乗法を適用して、標本像 を作成することを特徴とする画像作成方法を提供する。 [0011] また光源と、前記光源からの光を標本へ照明する照明光学系と、前記照明光学系 の標本と光学的に共役な位置に配置された回折格子と前記回折格子を変調し、前 記標本を空間変調した光で照明する変調装置と、前記標本からの空間変調された標 本像を撮像する撮像手段と、前記撮像手段で撮像した、前記標本上での照明光の 空間変調成分よりも多くの画像に対して最小自乗法を適用して、前記標本の画像を 生成する画像生成装置とを有することを特徴とする顕微鏡装置を提供する。
図面の簡単な説明
[0012] [図 1]第 1実施形態に記載された顕微鏡装置の全体概略図である。
発明を実施するための最良の形態
[0013] 図 1は、照明光の位相を変調する顕微鏡の構成の例である。照明光学系は、光源 力、ら順に、ランプ光源 1、コレクタレンズ 2、リレーレンズ 3、開口絞り 4、フィールドレン ズ 5、回折格子 6、コンデンサレンズ 7、瞳共役位置に配置された折返しミラー 8、リレ 一レンズ 9、視野絞り 10、第二対物レンズ 11、ハーフミラー 12により構成される。
[0014] 回折格子 6は紙面の垂直方向に 1次元の透過率分布を持つ回折格子であり、破線 で示す回折光を生じさせる。後述する理由により本技術で高い空間分解能を得るた めには前記回折格子は標本上に変調された照明光が投影できる範囲で周期の細か レ、ものが望ましい。
[0015] 前記回折格子として光源の波長に対して 1/2波長の光路差となるような位相回折格 子が望ましいが、十分細かい正弦波状の照明を標本に対して行えればいいので、例 えば透過率を変調させた結像限界付近の周期を持った格子に対して斜光照明を行 う力、あるいは ± 1次光の回折が結像できる周期の回折格子に対して ± 1次光のみ が透過できるように対物レンズの瞳と共役な面に遮光板を置いてもよい。
[0016] 回折格子 6によって ± 1次光はそれぞれフィールドレンズ 7周辺部を通るように分離 され、 + 1次光と 1次光は折返しミラーの周辺部の位置にそれぞれスポットを作る。 ここで、折返しミラー 8上で ± 1次光が重ならないように開口絞り 4を調節しておく。光 源として単色光を利用した場合には上記 ± 1次光が重なることはないため、開口絞り はなくてもよい。
[0017] 折返しミラー 8で偏向された ± 1次光は対物レンズの瞳面 14の周縁部を通り、標本 15付近で互いに干渉することにより縞構造を有する照明光を照射する。
[0018] 撮影は、撮像装置 17によって行われる。図示しない回折格子駆動装置により、各 格子パターンと直交する方向に正確にその周期の 1/Nだけずらしながら N枚の画像 を取得する。ただし、 Nは 4以上であり、できるだけ大きいことが望ましい。
[0019] これらの複数の撮影画像を演算手段 19により演算することにより標本の画像を作 成する。演算の内容を次に示す。
[0020] 点像強度分布 P (X)を持つ顕微鏡光学系において、標本 0 (X)にある強度分布をも つた照明を与えると標本における回折光は空間変調を受ける。単一の空間周波数成 分 Kを持つ正弦波状の照明の場合、空間変調成分としては、 0, ± 1次の 3変調成分と なる。これらの空間変調を
m θχρ(ΠΚχ+ ),(1=-1,0,1)
i
と表記すると、空間変調を受けた標本の像は、
[数 1]
Ir{x) = > mi{Or x) {ilKx + ϊφ)) * Pr{x) (1)
ι と表すことができる。ここで、 *は畳み込み積分を表す。
[0021] 以下、実空間における量には添え字 rを、端数空間における量には添え字 kをつけ て表すこととする。
[0022] 式 (1)をフーリエ変換し、波数空間で表記すると、
[数 2] (ん) =∑ } exp / 0 ( + lK)Pk (ん） (2)
I ここで、 Ρ (χ)のフーリエ変換 P (k)は光学系の伝達関数（OTF; Optical Transfer
r k
Function)を表してレ、る。
[0023] 式 (2)における 1=-1,1に対応する 0 (k_K),0 (k+K)は、標本の持つ空間周波数成分
K k
を照明が持つ空間周波数 Kだけずらすことを意味しており、 P (k)という空間周波数成 k
分しか取得することのできない顕微鏡光学系であっても、標本が持つ高い空間周波 数成分を取得できることを表している。このため、照明パターンの周期はこの顕微鏡 光学系で結像できる範囲でできるだけ短レ、ことが望ましレ、。
[0024] 前述のように格子をずらしながら撮像を行うと、同一の変調周波数、変調振幅を持 ち、変調位相 φのみ異なる画像が N枚得られるが、このときの j番目の画像信号強度 I j(k)は、 j番目の画像の構造化照明位相を φと表すと、
k j
[数 3] j ( ) =∑mt exp 7 )Ok (ん + lK)Pk (k) (3)
ί であり、 Ν個の方程式が得られる。
[0025] これらの方程式では 0 (k+lK),(l=- l，0，l)が未知数であるため、 N=3でも解くことがで
k
きるが、撮像画像 I j(k)にノイズが含まれていると、そのノイズの影響で得られる結果が
k
正確ではなくなる。このように観測量にノイズが含まれているような場合には、できるだ け多くの撮像を行い、未知数をより真値に近い値に導くための手法として最小自乗法 が有用であることを見出した。
[0026] そこで、上記 N〉3の画像に対して最小自乗法を適用することで最も尤もらしい 0 (k+ k
IK)を求めることができる。
[0027] 具体的には、 b = m exp(i φ )とおいて、
li l i
[数 4] に (fc)
Figure imgf000007_0001
を解くことで O (k+lK)P (k)を求める。
k k
[0028] 以上の最小自乗処理により信号がいわば平均化されるため、元画像に重畳してい たノイズの影響を低く抑えた 0 (k+lK)P (k)を求めることができる。
k k
[0029] P (k)は既知である力、、あるいはあらかじめ計測しておくことができるので、〇（k+lK) k k を求めることができる。ここで、単純に〇（k+lK)P (k)を P (k)で割ることで〇（k+lK)を求
k k k k
めることもできる力 ウィナーフィルタなどノイズの影響を受けにくい公知の手法を利 用することが望ましい。
[0030] 強度分布を持たない照明を与えた場合の顕微鏡光学系が持つ P (k)が検出可能な
k
範囲は、光波長 λ、対物レンズの ΝΑに対して、 k=-2NA/ λ〜2ΝΑ/ λであるから、上 記で得られた Ο (k+lK)は 1=- 1，0，1に対して、 k=- 2ΝΑ/ λ - Κ〜2ΝΑ/ λ - K、 k=2NA/ λ
k
〜2ΝΑ/ λ、 k=-2NA/ λ +Κ〜2ΝΑ/ λ +Κの情報を含む。従って、〇（k+lK)全体として
k
は k=- 2ΝΑ/ λ - Κ〜2ΝΑ/ λ +Κまでの情報を含むので、これを〇（k)と定義しなおして
k
逆フーリエ変換を行い実空間の情報 0 (X)に戻すことで、高い解像度を持った顕微鏡 画像を得ること力 Sできる。
[0031] この結果得られた像は、空間変調がなされた 1次元方向のみに高い解像度を持つ 力 空間変調を施す方向を少なくとも 2方向に変化させ、それぞれの方向について 1 次元と同様の処理を施すことで 2次元方向の高い解像度を持った顕微鏡を構成する ことちできる。
[0032] あるいは、少なくとも 2方向の空間変調画像に対して 2次元の最小自乗法による連 立方程式を構成しておき、これを解くことでも 2次元方向の高レ、解像度を持つた顕微 鏡を構成することができる。
[0033] 具体的には、例えば 3方向に空間変調を施した場合には、 3つの方向 d=l，2，3に対 して 0 (k+lK)P (k)が未知数となるので、これらを求めればいいが、 3つの 0次回折成 kd k
分 O (k)P (k)、 O (k)P (k)、 O (k)P (k)は共通のものであるため連立方程式は 7本と kl k k2 k k3 k
なり、それぞれの変調方向の画像数を N (d=l, 2,3)とすると、
d
[数 5]
¾) (7sxdT--—
) ( 7 0 sx9dー一、一—
N一一—
〈 0) (、3 δ dxマ、
0 vs—
0 0
J 0 0、、
Figure imgf000009_0001
Y f3 ¾ ( i)Os εxマ一S
Figure imgf000009_0002
o o o o
Figure imgf000009_0003
である。これを解くことで 0次変調成分 O (k)P (k)、および、 3つの方向の ± 1次成分 O (k土 K)P (k)を求めることができる。
kd k
[0034] この場合は 3方向の空間変調それぞれについて 3以上の構造化照明位相における 画像を処理して 7つの未知数を求める問題であり、未知数よりもデータが多い状態と なっている。
[0035] このような場合には最小自乗法を利用せずに一意に〇 （k+lK)P (k)を求めることは
kd k
できない。従って、 1次元変調の方向を変えて 2次元解像度を向上させる際には、上 記手法はきわめて有効である。
[0036] 図 1は、照明光の位相を変調する顕微鏡の構成の例である。照明光学系は、光源 力、ら順に、ランプ光源 1、コレクタレンズ 2、リレーレンズ 3、開口絞り 4、フィールドレン ズ 5、回折格子 6、コンデンサレンズ 7、瞳共役位置に配置された折返しミラー 8、リレ 一レンズ 9、視野絞り 10、第二対物レンズ 11、ハーフミラー 12により構成される。
[0037] 回折格子 6は光軸に対して垂直な面内で直行する正弦波状の透過率分布を持つ 回折格子である。回折格子 6は光軸に対して垂直な面内の 2方向に格子パターンが あればよぐ必ずしも直交している必要はないが、演算処理が単純となるため直交し ていたほうが望ましい。
[0038] この回折格子は紙面に垂直な方向の格子によって破線で示す回折光を生じさせる 。また、紙面内の方向の格子によって、紙面の上下を通る図示しない回折光が生じる 。本技術により高い空間分解能を得るためには前記回折格子は標本上に変調され た照明光が投影できる範囲で周期の細力いものが望ましい。このため、前記回折光 のうち考慮しなければならないのは ± 1次光のみとなる。 2方向の格子の周期は同じ であるほうが望ましいが、 2方向の解像度が異なることが問題とならない場合には、 2 方向の周期は異なっていてもかまわない。
[0039] 前記回折格子は 0次光成分が十分少ない必要があるため、光源の波長に対して 1/ 2波長の光路差となるような位相回折格子が望ましいが、十分細かい正弦波状の照 明を標本に対して行えればレ、レ、ので、例えば透過率を変調させた結像限界付近の 周期を持った格子に対して斜光照明を行うか、あるいは ± 1次光の回折が結像でき る周期の回折格子に対して ± 1次光のみが透過できるように対物レンズの瞳と共役な 面に遮光板を置いてもよい。 [0040] 回折格子 6によって ± 1次光はそれぞれフィールドレンズ 7周辺部を通るように分離 され、 + 1次光と 1次光は折返しミラーの周辺部の位置にそれぞれスポットを作る。 ここで、折返しミラー 8上で ± 1次光が重ならないように開口絞り 4を調節しておく。光 源として単色光を利用した場合には上記 ± 1次光が重なることはないため、開口絞り はなくてもよい。
[0041] 折返しミラー 8で偏向された ± 1次光は対物レンズの瞳面 14の周縁部を通り、標本 15付近で互いに干渉することにより縞構造を有する照明光を照射する。
[0042] 撮影は、撮像装置 17によって行われる。回折格子が直行する 2方向の格子となつ ているため、標本上には直行する 2方向の格子パターンが照明されている。図示しな い回折格子駆動装置により、各格子パターンの方向に正確にその周期の 1/Nだけ位 置をずらしながら画像を取得する。
[0043] すなわち、まず一方の格子の方向 (これを Y方向とする)に 1/Nづっ位置をずらしな がら N枚の画像を取得する。次にもう一方の格子の方向 (これを X方向とする)に 1/N だけ位置をずらしてから、 Y方向に 1/Nづっ位置をずらしながら N枚の画像を取得す る。以下、これを繰り返して、 X方向についても N回位置をずらすことで N2枚の画像を 取得する。
[0044] 上記のように格子をずらしながら撮像を行うと、一方の格子パターンにおける同一 位相の画像が N枚取得できる力 これらの画像はもう一方の格子パターンにより変調 振幅が異なる。すなわち、上記格子パターンの方向をそれぞれ x、 y方向とすると、構 造化照明強度 Iは一般に、
I =(1/4)1 (l+cos(K x+ φ ) )(l+cos(K y + φ )) (6)
ri riO x x y y
と書けるので、 χ方向に φ =0，· ..,2 π j/N，...，2 π (Ν- 1)/Νとなるようにずらすと、ある特 定の Xにおける y方向の照明振幅は、 cos(2 7i j/N)に比例した値を持つことになる。す なわち変調振幅の異なる画像が得られることになる。
[0045] これらの複数の撮影画像を演算手段 19により演算することにより標本の画像を作 成する。演算処理は先の例で述べた手法を 2次元に拡張して適用すればよい。

Claims

請求の範囲
[1] 空間変調された照明光により標本を照明し、
前記照明光により照明された前記標本からの光を結像させ、取得した画像から画 像演算処理により標本像を作成する画像作成方法において、
前記標本上での前記照明光の空間変調成分よりも多くの画像を取得し、撮像した 複数の画像に対して最小自乗法を適用して、標本像を作成することを特徴とする画 像作成方法。
[2] 前記標本上における照明光パターンの位相を変化させながら、前記複数の画像を 取得することを特徴とする請求の範囲第 1項に記載の画像作成方法。
[3] 前記標本上での照明光の変調振幅を変化させながら、前記複数の画像を取得す ることを特徴とする請求の範囲第 1項に記載の画像作成方法。
[4] 光源と、
前記光源からの光を標本へ照明する照明光学系と、
前記照明光学系の標本と光学的に共役な位置に配置された回折格子と、 前記回折格子を変調し、前記標本を空間変調した光で照明する変調装置と、 前記標本からの空間変調された標本像を撮像する撮像手段と、
前記撮像手段で撮像した、前記標本上での照明光の空間変調成分よりも多くの画 像に対して最小自乗法を適用して、前記標本の画像を生成する画像生成装置と を有することを特徴とする顕微鏡装置。
[5] 前記撮像手段は、前記標本上での照明光パターンの位相を変化させた複数枚の 画像を撮像することを特徴とする請求の範囲第 4項に記載の顕微鏡装置。
[6] 前記撮像手段は、前記標本上での照明光の変調振幅を変化させた複数枚の画像 を撮像することを特徴とする請求の範囲第 4項に記載の顕微鏡装置。
[7] 前記回折格子は、光軸に垂直な面内に 2方向の格子パターンを有し、
前記変調装置は、前記 2方向のそれぞれに対して垂直な方向に前記回折格子を 移動すること
を特徴とする請求の範囲第 4項に記載の顕微鏡装置。
PCT/JP2006/305564 2005-03-30 2006-03-20 画像作成方法および顕微鏡装置 WO2006109448A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007512446A JP4123305B2 (ja) 2005-03-30 2006-03-20 画像作成方法および顕微鏡装置
EP06729532A EP1865355B1 (en) 2005-03-30 2006-03-20 Image forming method and microscope device
US11/886,847 US8115806B2 (en) 2005-03-30 2006-03-20 Image forming method and microscope device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005-096920 2005-03-30
JP2005096920 2005-03-30
JP2005-293658 2005-10-06
JP2005293658 2005-10-06

Publications (1)

Publication Number Publication Date
WO2006109448A1 true WO2006109448A1 (ja) 2006-10-19

Family

ID=37086739

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/305564 WO2006109448A1 (ja) 2005-03-30 2006-03-20 画像作成方法および顕微鏡装置

Country Status (4)

Country Link
US (1) US8115806B2 (ja)
EP (1) EP1865355B1 (ja)
JP (1) JP4123305B2 (ja)
WO (1) WO2006109448A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9110283B2 (en) 2011-09-30 2015-08-18 Olympus Corporation Super-resolution observation apparatus that changes process contents according to intensity level of noise in digital image data
WO2016151665A1 (ja) * 2015-03-20 2016-09-29 株式会社ニコン 構造化照明顕微鏡、観察方法、及び画像処理プログラム
US9897790B2 (en) 2013-07-17 2018-02-20 Nikon Corporation Structured illumination device and structured illumination microscope device
US10393661B2 (en) 2014-04-25 2019-08-27 Nikon Corporation Structured illumination microscopic device and structured illumination observation method

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2922658B1 (fr) * 2007-10-18 2011-02-04 Centre Nat Rech Scient Systeme d'illuminations structuree d'un echantillon
WO2012026379A1 (ja) * 2010-08-25 2012-03-01 株式会社ニコン 顕微鏡光学系及び顕微鏡システム
JP5594429B2 (ja) 2011-05-06 2014-09-24 株式会社ニコン 構造化照明顕微鏡及び構造化照明観察方法
JP5751328B2 (ja) 2011-06-29 2015-07-22 株式会社ニコン 構造化照明光学系および構造化照明顕微鏡装置
JP5641142B2 (ja) 2011-07-15 2014-12-17 株式会社ニコン 構造化照明装置、構造化照明顕微鏡、構造化照明方法
WO2013108626A1 (ja) * 2012-01-18 2013-07-25 株式会社ニコン 構造化照明装置、構造化照明顕微鏡装置、構造化照明方法
WO2013130681A1 (en) * 2012-02-27 2013-09-06 Integrated Medical Systems International, Inc. Systems and methods for identifying optical material
JP6351951B2 (ja) * 2013-10-22 2018-07-04 浜松ホトニクス株式会社 全反射型光照射装置
EP3081976B1 (en) 2013-12-12 2022-06-15 Nikon Corporation Structured illumination microscope, structured illumination method and program
JP6635052B2 (ja) * 2015-02-05 2020-01-22 株式会社ニコン 構造化照明顕微鏡、及び観察方法
WO2016178856A1 (en) * 2015-05-01 2016-11-10 The Board Of Regents Of The University Of Texas System Uniform and scalable light-sheets generated by extended focusing
WO2016199179A1 (ja) 2015-06-08 2016-12-15 株式会社ニコン 構造化照明顕微鏡システム、方法及びプログラム
JP6645506B2 (ja) 2015-10-19 2020-02-14 株式会社ニコン 構造化照明顕微鏡、観察方法、及び顕微鏡制御プログラム
WO2017180680A1 (en) 2016-04-12 2017-10-19 The Board Of Regents Of The University Of Texas System LIGHT-SHEET MICROSCOPE WITH PARALLELIZED 3D lMAGE ACQUISITION
US11561196B2 (en) 2018-01-08 2023-01-24 Illumina, Inc. Systems and devices for high-throughput sequencing with semiconductor-based detection
SG11201911784PA (en) 2018-01-08 2020-01-30 Illumina Inc Systems and devices for high-throughput sequencing with semiconductor-based detection
JP2022069273A (ja) * 2020-10-23 2022-05-11 株式会社リガク 結像型ｘ線顕微鏡

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11242189A (ja) * 1997-12-25 1999-09-07 Olympus Optical Co Ltd 像形成法、像形成装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149458A (ja) 1994-11-18 1996-06-07 Sony Corp 動画像処理装置
ATE297006T1 (de) * 1996-12-04 2005-06-15 Res Foundation Of City College System und verfahren zum ausführen von bestimmten optischen messungen
JP4729812B2 (ja) 2001-06-27 2011-07-20 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11242189A (ja) * 1997-12-25 1999-09-07 Olympus Optical Co Ltd 像形成法、像形成装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9110283B2 (en) 2011-09-30 2015-08-18 Olympus Corporation Super-resolution observation apparatus that changes process contents according to intensity level of noise in digital image data
US9897790B2 (en) 2013-07-17 2018-02-20 Nikon Corporation Structured illumination device and structured illumination microscope device
US10393661B2 (en) 2014-04-25 2019-08-27 Nikon Corporation Structured illumination microscopic device and structured illumination observation method
WO2016151665A1 (ja) * 2015-03-20 2016-09-29 株式会社ニコン 構造化照明顕微鏡、観察方法、及び画像処理プログラム

Also Published As

Publication number Publication date
EP1865355B1 (en) 2013-03-06
US8115806B2 (en) 2012-02-14
JPWO2006109448A1 (ja) 2008-10-16
JP4123305B2 (ja) 2008-07-23
US20100141750A1 (en) 2010-06-10
EP1865355A1 (en) 2007-12-12
EP1865355A4 (en) 2009-06-24

Similar Documents

Publication Publication Date Title
WO2006109448A1 (ja) 画像作成方法および顕微鏡装置
JP6540760B2 (ja) 構造化照明顕微鏡、構造化照明方法、及びプログラム
JP4831072B2 (ja) 顕微鏡装置
US6239909B1 (en) Image-forming method and image-forming apparatus
EP2437095B1 (en) Sample observation device for generating super resolution image
US8019136B2 (en) Optical sectioning microscopy
WO2018070451A1 (ja) ディジタルホログラフィック顕微鏡
JP4978470B2 (ja) 顕微鏡装置及び観察方法
EP2136233A1 (en) Microscope device
US10073025B2 (en) Method and device for incoherent imaging with coherent diffractive reconstruction
JP2009098215A (ja) 顕微鏡装置、及び顕微鏡装置における位相変化量の算出方法。
JP5733940B2 (ja) 位相差画像検査の方法およびその装置
US9729800B2 (en) Image generation system
JP2008216778A (ja) 構造化照明顕微鏡
JP6413364B2 (ja) 照明光学系及び顕微鏡装置
US11287627B2 (en) Multi-focal light-sheet structured illumination fluorescence microscopy system
JP2009300589A (ja) 顕微鏡装置
WO2018150471A1 (ja) 構造化照明顕微鏡、観察方法、及びプログラム
CN114137713B (zh) 无标记厚样本的实时定量相位成像方法和系统
Field et al. A plane wave analysis of coherent holographic image reconstruction by phase transfer
Ishiwata et al. Quantitative phase analysis in retardation-modulated differential interference contrast (RM-DIC) microscope

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007512446

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2006729532

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11886847

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

WWP Wipo information: published in national office

Ref document number: 2006729532

Country of ref document: EP