JP6270615B2 - 標本像データ生成装置、及び、標本像データ生成方法 - Google Patents

標本像データ生成装置、及び、標本像データ生成方法 Download PDF

Info

Publication number
JP6270615B2
JP6270615B2 JP2014094937A JP2014094937A JP6270615B2 JP 6270615 B2 JP6270615 B2 JP 6270615B2 JP 2014094937 A JP2014094937 A JP 2014094937A JP 2014094937 A JP2014094937 A JP 2014094937A JP 6270615 B2 JP6270615 B2 JP 6270615B2
Authority
JP
Japan
Prior art keywords
image data
modulated
image
demodulated
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014094937A
Other languages
English (en)
Other versions
JP2015212744A (ja
Inventor
真市 林
林  真市
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014094937A priority Critical patent/JP6270615B2/ja
Priority to US14/696,121 priority patent/US9964748B2/en
Publication of JP2015212744A publication Critical patent/JP2015212744A/ja
Application granted granted Critical
Publication of JP6270615B2 publication Critical patent/JP6270615B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0056Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0088Inverse microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/40Hidden part removal
    • G06T15/405Hidden part removal using Z-buffer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Description

本発明は、標本像データ生成装置、及び、標本像データ生成方法に関し、特に、構造化照明顕鏡法を用いる標本像データ生成装置、及び、標本像データ生成方法に関する。
結像光学系の解像限界を超える解像度(以降、超解像)の標本像を得る超解像技術の一つとして、構造化照明顕鏡法(SIM:Structured Illumination Microscopy、以降SIMと記す)が知られている。
一般的な広視野観察においては、照明光はできるかぎり均一に標本に照射される。これに対して、SIMは、標本に主に縞模様の照明パターンを形成することで、結像光学系の解像限界を超えた超解像を有する標本像データを生成するというものである。
また、近年では、光軸と直交するX方向にだけではなく光軸と平行なZ方向にも縞模様を有する、3次元に構造化された照明パターンを形成する構造化照明顕鏡法(以降、3D-SIMと記す)が提案されている。この技術は、例えば、特許文献1に開示されている。
米国特許出願公開第2011/0194175号明細書
3D-SIMによれば、X方向の解像度に加えてZ方向の解像度も向上した標本像データを生成することができる。しかしながら、従来の3D-SIMで標本像データを生成すると、その標本像中にアーティファクトが発生しやすい。このため、3D-SIMにおいてアーティファクトの発生を抑制する技術が求められている。
以上のような実情を踏まえ、アーティファクトの発生を抑制しながら、3D-SIMで標本像データを生成する技術を提供することを目的とする。
本発明の第1の態様は、対物レンズの光軸方向及び前記光軸方向と直交する直交方向に周期的な構造を有する照明パターンを形成する構造化照明によって変調された標本像である変調像を撮像する変調像撮像手段と、前記変調像撮像手段で撮像した複数の変調像であって前記照明パターンが標本に対して前記光軸方向及び前記直交方向に互いに異なる位置にあるときに撮像された前記複数の変調像と、前記対物レンズの焦点面に対する前記構造化照明のデフォーカス量と、に基づいて、前記変調像を復調した標本像である復調像を算出して、復調像データを生成する復調像データ生成手段と、を備える標本像データ生成装置を提供する。
本発明の第2の態様は、第1の態様に記載の標本像データ生成装置において、前記復調像データ生成手段は、変調像に含まれる複数の変調像成分であって前記構造化照明によって互いに異なる方向に周波数シフトした前記複数の変調像成分を、前記照明パターンが標本に対して前記光軸方向及び前記直交方向に互いに異なる位置にあるときに前記変調像撮像手段で撮像された、前記複数の変調像成分の数以上の変調像に基づいて、複数の復調像成分に復調する標本像データ生成装置を提供する。
本発明の第3の態様は、第2の態様に記載の標本像データ生成装置において、前記復調像データ生成手段は、前記複数の変調像成分のうちの前記光軸方向に周波数シフトした変調像成分を前記デフォーカス量に基づいた係数を用いて復調する標本像データ生成装置を提供する。
本発明の第4の態様は、第1の態様乃至第3の態様のいずれか1つに記載の標本像データ生成装置において、さらに、前記照明パターンを標本に対して前記光軸方向及び前記直交方向に移動させるパターン移動手段を備える標本像データ生成装置を提供する。
本発明の第5の態様は、第4の態様に記載の標本像データ生成装置において、さらに、前記対物レンズを有し、前記対物レンズに入射する少なくとも3光束の干渉により前記照明パターンを前記標本に形成するパターン生成手段を含む標本像データ生成装置を提供する。
本発明の第6の態様は、第5の態様に記載の標本像データ生成装置において、前記パターン生成手段は、光源を出射した可干渉光から前記対物レンズに入射する前記少なくとも3光束を生成する光束生成手段を有し、前記パターン移動手段は、前記光束生成手段を移動させる標本像データ生成装置を提供する。
本発明の第7の態様は、第5の態様に記載の標本像データ生成装置において、前記パターン生成手段は、光源を出射した可干渉光から前記対物レンズに入射する前記少なくとも3光束を生成する光束生成手段を有し、前記パターン移動手段は、前記光束生成手段によって生成された前記少なくとも3光束の間に位相差を与える標本像データ生成装置を提供する。
本発明の第8の態様は、第2の態様乃至第7の態様のいずれか1つに記載の標本像データ生成装置において、前記復調像データ生成手段は、前記複数の復調像成分を線形結合して前記復調像を算出する標本像データ生成装置を提供する。
本発明の第9の態様は、対物レンズの光軸方向及び前記光軸方向と直交する直交方向に周期的な構造を有する照明パターンを形成する構造化照明によって変調された標本像である変調像を撮像する変調像撮像手段と、前記変調像撮像手段で撮像した複数の変調像であって前記照明パターンが標本に対して前記光軸方向及び前記直交方向に互いに異なる位置にあるときに撮像された前記複数の変調像と、前記対物レンズの焦点面に対する前記構造化照明のデフォーカスを補正する補正係数と、に基づいて、前記変調像を復調した標本像である復調像を算出して、復調像データを生成する復調像データ生成手段と、前記復調像データ生成手段によって算出された前記復調像を前記復調像データに基づいて表示する表示手段と、前記補正係数を変更して復調像データを再生成する復調像データ再生成手段と、を備える標本像データ生成装置を提供する。
本発明の第10の態様は、対物レンズの光軸方向及び前記光軸方向と直交する直交方向に周期的な構造を有する照明パターンを前記光軸方向及び前記直交方向に移動し、前記照明パターンを形成する構造化照明によって変調された標本像である変調像を撮像し、前記照明パターンが標本に対して前記光軸方向及び前記直交方向に互いに異なる位置にあるときに撮像された前記複数の変調像と、前記対物レンズの焦点面に対する前記構造化照明のデフォーカス量と、に基づいて、前記変調像を復調した標本像である復調像を算出して、復調像データを生成する標本像データ生成方法を提供する。
本発明によれば、アーティファクトの発生を抑制しながら、3D-SIMで標本像データを生成する技術を提供することができる。
3D-SIMで用いられる従来の装置の構成を示した図である。 図1に示す装置による構造化照明を説明するための図である。 焦点面に入射する0次回折光及び±1次回折光の空間周波数を示す図である。 3D-SIMで照明パターンが移動する様子を示した図である。 3D-SIMでの構造化照明の強度分布のフーリエ変換を説明するための図である。 3D-SIMでの変調像成分の復調を説明するための図である。 3D-SIMでのPSFの空間周波数特性を説明するための図である。 3D-SIMのシミュレーション結果を示した図である。 3D-SIMで得られるI-z曲線と共焦点観察で得られるI-z曲線を比較した図である。 水浸対物レンズにおけるインデックスミスマッチによって生じる光路長差について説明するための図である。 水浸対物レンズにおけるインデックスミスマッチによって生じる光路長差の算出結果を示す図である。 油浸対物レンズにおけるインデックスミスマッチによって生じる光路長差について説明するための図である。 油浸対物レンズにおけるインデックスミスマッチによって生じる光路長差の算出結果を示す図である。 0次回折光と±1次回折光の間の光路長差毎の、3D-SIMでのPSFのシミュレーション結果を示した図である。 0次回折光と±1次回折光の間の光路長差毎の、3D-SIMで得られるI-z曲線を示した図である。 R3D-SIMで用いられる装置の基本構成を示した図である。 R3D-SIMで照明パターンが移動する様子を示した図である。 R3D-SIMでの構造化照明の強度分布のフーリエ変換を説明するための図である。 R3D-SIMでの変調像成分の復調を説明するための図である。 実施例1に係る装置の基本構成を示した図である。 実施例1に係る装置により行われる処理全体のフローチャートである。 図21に示す変調像データ生成処理のフローチャートである。 図22に示す撮像処理のフローチャートである。 図21に示す復調像データ生成処理のフローチャートである。 実施例2に係る装置の構成を示した図である。 複数のイメージローテータを用いて照明パターンの方位を変化させる構成を示した図である。 偏光ビームスプリッタを用いてレーザ光を分割する構成を示した図である。 光ファイバーを用いてレーザ光を分割する構成を示した図である。 実施例3に係る装置の構成を示した図である。 2次元回折格子と位相差発生板と対物レンズ108の瞳面を光の進行方向から見た図である。 2つの平行平板からなる位相差発生装置の構成を示した図である。 2つの楔形プリズムからなる位相差発生装置の構成を示した図である。 階段状のプリズムである位相差発生装置の構成を示した図である。 ピエゾミラーである位相差発生装置の構成を示した図である。 流体プリズムである位相差発生装置の構成を示した図である。 実施例4に係る装置の構成を示した図である。
図1から図9を参照しながら、従来の3D-SIMについて説明する。
図1は、3D-SIMで用いられる従来の装置100の構成を示した図である。図2は、装置100による構造化照明を説明するための図である。図1に示す装置100は、3次元に構造化された照明パターンをX方向に所定距離ずつ移動させて、移動後の各位置において蛍光標本(観察物体)の変調像を撮像する。そして、それによって得られた複数(具体的には5枚)の変調像データから超解像を有する復調像の画像データ(復調像データ)を生成する。
まず、複数の変調像を撮像して複数の変調像データを生成する方法について説明する。
図1及び図2に示すように、レーザ101から出射する波数2πfexを有するレーザ光(コヒーレント光)は、回折格子102で0次回折光及び±1次回折光からなる3光束に分割されて、照明レンズ103に入射する。その後、3光束は、蛍光キューブ104(励起フィルタ106、ダイクロイックミラー105)を介して入射する対物レンズ108の瞳面の異なる位置に集光し、対物レンズ108によって焦点面FPに異なる入射角で照射される。これにより、3光束が干渉して、焦点面FPを含む領域に3次元に構造された照明パターンが形成される。即ち、3次元構造化照明が発生する。なお、図3は、焦点面に入射する0次回折光及び±1次回折光の空間周波数を示す図である。ここで、±1次回折光の入射角をθとすると、fl=2fexsinθである。
焦点面FPに配置された標本から発せられた蛍光は、対物レンズ108及び蛍光キューブ104(ダイクロイックミラー105、バリアフィルタ107)を介して結像レンズ109に入射し、撮像素子110に集光する。これにより、撮像素子110に標本が拡大して投影され、3次元構造化照明により変調された標本像(変調像)が撮像素子110で撮像され、演算装置111で変調像データが生成される。
装置100では、回折格子102は回折格子102から出射する0次回折光の進行方向に直交する方向(横方向)に移動可能に設けられている。そして、回折格子102を横方向に所定量ずつ移動させることにより、図4(a)から図4(e)に示すように、照明パターンが光軸と直交するX方向に、照明パターンが有するX方向に関する基本周期(1/fl)の1/5ずつ移動する。なお、図4の丸いマークは照明パターン中における照明強度の極大位置を示し、特に黒い丸マークは照明パターンの基準位置を示している。このようにして照明パターンを移動させて移動後の各位置において標本像を撮像することで、装置100は、5枚の変調像データを生成する。
次に、複数の変調像データから復調像データを生成する方法について説明する。
3次元構造化照明の強度分布Ill3D-SIM,i(x,z)は、例えば、式(1)で表わされる。ここで、図4に示すように、iは0から4のいずれかの整数、(x,z)は空間座標、fl、fvは照明パターンが有するX、Z方向に関する基本周波数である。また、fexは励起光(レーザ光)の波長によって決定される周波数であり、励起光の波長の逆数である。fl、fv、fexは式(2)の関係を有している。
なお、式(1)の右辺1行目にある絶対値記号内の第1項、第2項、第3項は、0次回折光、+1次回折光、−1次回折光の成分を示している。
式(1)に対してフーリエ変換を行うと、式(3)から式(6)が導かれる。ここで、チルダ(~)は元の関数をフーリエ変換して空間周波数表示された関数であることを示している。
三次元構造化照明は、式(3)で示されるように、図5に示す5つの変調成分
の線形結合によって構成されている。なお、
は、それぞれfz方向に異なる2つの要素を1つの成分としてまとめたものである。
撮像素子110に投影される変調像の強度分布I3D-SIM,i(x,z)は、式(7)に示すように、三次元構造化照明の強度分布Ill3D-SIM,i(x,z)と標本関数Obj(x,z)の積に、広視野蛍光観察での点像分布関数PSFWF(x,z)をコンボリューションすることによって算出される。ここで、Obj(x,z)は標本中の蛍光色素の分布などを示す標本関数、PSFWF(x,z)は広視野蛍光観察での点像分布関数である。
式(3)から式(6)を考慮して、式(7)に対してフーリエ変換を行うと、式(8)から式(11)が導かれる。
変調像は、式(8)で示されるように、図6に示す5つの変調像成分
の線形結合によって構成されている。各変調像成分は、対応する変調成分の影響により、周波数の原点がシフトした像成分である。なお、
は、それぞれfz方向に異なる2つの像要素を1つの像成分としてまとめたものである。
式(9)から式(11)は5つの変調像成分の空間周波数表示である。式(12)から式(14)は5つの変調像成分の空間座標表示である。
装置100では、照明パターンを移動させて5つの変調像が撮像され、5つの変調像データが生成される。また、式(8)に示されるように、変調像に含まれるこれら5つの変調像成分は互いに異なる係数で結合されている。このため、生成した5つの変調像データを用いて、i=0から4における5つの式(8)からなる連立方程式を解くことによって、5つの変調像成分が分離されて算出される。
さらに、算出した変調像成分のそれぞれについて、図6の矢印で示されるように、周波数の原点をX方向にシフトさせることで、変調像成分をX方向に復調した復調像成分
が算出される。なお、式(15)から式(17)は5つの復調像成分の空間周波数表示であり、式(18)から式(20)は5つの復調像成分の空間座標表示である。
そして、復調像は、式(21)で示されるように、5つの復調像成分を線形結合することで算出される。ただし、復調像ではz=0の断面のみが画像化される。ここで、I3D-SIM(x,z)は復調像の強度分布、w0、w1、w2は合成係数である。また、式(21)では、復調像を実数とするため、
の結合には同じ合成係数wnが用いられている。
なお、合成係数w0、w1、w2は任意の値である。ただし、式(22)に示される3D-SIMでの点像分布関数PSF3D-SIM(x,z)に負の領域があることは出来る限り避けるべきである。このため、例えば、w0=w1=w2=1に設定される。
PSF3D-SIM(x,z)について補足する。復調像の強度分布I3D-SIM(x,0)は、PSF3D-SIM(x,z)を用いて、式(23)のように表わされる。
式(22)及び式(23)と式(1)を比較すると明らかなように、w0=w1=w2=1の設定では、3D-SIMでの点像分布関数PSF3D-SIM(x,z)は、i=0における3次元構造化照明の強度分布Ill3D-SIM,i(x,z)と広視野蛍光観察での点像分布関数PSFWF(x,z)の積に等しい。これはi=0における3次元構造化照明の強度分布に等しい透過率分布の共焦点マスクを用いた共焦点画像の式に等しい。また、PSF3D-SIM(x,z)のw0を含む項は、広視野蛍光観察でのPSFの形状そのものである。従って、PSF3D-SIM(x,z)は、本質的には、広視野蛍光観察でのPSFと共焦点観察でのPSFとの係数w0,w1,w2による線形結合であるということができる。
また、PSF3D-SIM(x,z)のフーリエ変換は、式(24)で表わされる。つまり、3D-SIMでのPSFは、図7に示すように、空間周波数領域において広視野蛍光観察でのPSFと比較すると、X方向にもZ方向(光軸方向)にも約2倍広がっている。このことは、復調像が広視野蛍光観察で得られる像よりも高い3D解像を有し、超解像を有することを示している。
図8は、従来の3D-SIMでのシミュレーション結果を示した図である。図8(a)は3次元構造化照明の強度分布を、図8(b)は広視野蛍光観察でのPSFを、図8(c)は3D-SIMでのPSFを、図8(d)は参考としてピンホール開口が形成された共焦点マスクを用いた共焦点観察でのPSFを示している。比較的弱い値を示す領域を無視すると、3D-SIMは共焦点観察に比べてX方向については同程度、Z方向についてはより改善された解像を示すことが、図8から確認できる。なお、このシミュレーションは、以下の条件で行われたものである。
対物レンズの開口数NA=1.38
励起波長λex=488nm蛍光波長λem=520nm
浸液(浸油)の屈折率n0=1.52、標本の屈折率n1=1.38
図9は、従来の3D-SIMで得られるI-z曲線と共焦点観察で得られるI-z曲線を比較した図である。なお、I-z曲線は、デフォーカス特性を示すものである。3D-SIMのひとつの特徴は、そのPSFに広視野蛍光観察でのPSFがw0のウェイトで含まれることである。このため、図9に示すように、デフォーカス像にかなり高いDC成分(一点鎖線)が含まれてしまう。しかしながら、w0を抑えてDC成分を低くすると、焦点位置前後の復調像に強い負の輝度を発生させてしまうため好ましくない。そこで、3D-SIMでは、このDC成分をベースラインと呼んで、復調像から差し引く処理が行われる。この場合、3D-SIM のI-z曲線が有するFWHM(半値全幅)は、見かけ上、共焦点観察のI-z曲線が有するFWHMよりも細くなる。ただし、この比較は本質的なものではなく、z方向のセクショニング厚さは3D-SIMと共焦点観察ではほとんど変わりがない。
図10から図15を参照しながら、従来の3D-SIMの課題について説明する。
図10は、水浸対物レンズにおけるインデックスミスマッチによって生じる光路長差について説明するための図である。但し、本来標本と水の間に存在するカバーガラスについては、簡便のため表示を省略している。図10に示すように、焦点位置が標本表面にあるときと標本内にあるときでは、光線の焦点位置への入射角が異なる。このため、焦点位置が標本内のより深い位置に移動するほど、光線には標本表面に焦点位置があるときの光路長に対して大きな光路長差が生じることになる。この光路長差OPDは、式(25)で表わされる。ここで、n0、n1は、それぞれ浸液(水)の屈折率、標本の屈折率である。h(S=0)は、標本表面を基準とする近軸焦点位置の深さである。Sは、焦点位置が標本表面にあるときの光線の入射角をθ0、焦点位置が標本内にあるときの入射角をθ1とすると、式(26)で定義される。
図11は、水浸対物レンズにおけるインデックスミスマッチによって生じる光路長差の算出結果を示す図である。なお、図11に示す算出結果は、h(S=0)=0(つまり、近軸焦点位置が標本表面にあるとき)では波面収差がないと仮定して、以下の条件で算出したものである。
対物レンズの開口数NA=1.27、励起波長λex=488nm
浸液(水)の屈折率n0=1.33、標本の屈折率n1=1.38
図11に示すように、h(S=0)=0μmのときには、波面収差がないため、瞳高(S/NA)によらず光路長差は生じない。一方、標本内に近軸焦点位置があるとき(h(S=0)=5,10,20μm)には、瞳高及び近軸焦点位置に応じて異なる光路長差が生じる。このことは、標本内に近軸焦点位置があるときには、0次回折光と±1次回折光との間で光路長差ひいては位相差が生じ、且つ、その大きさは近軸焦点位置の深さによって変化することを意味している。なお、図11では、0次回折光と±1次回折光の間の光路長差は、近軸焦点位置の深さが20μmのときに約0.5波長に達している。
水浸対物レンズを例に説明したが、油浸対物レンズでも同様に光路長差が生じることになる。図12は、油浸対物レンズにおけるインデックスミスマッチによって生じる光路長差について説明するための図である。図13は、油浸対物レンズにおけるインデックスミスマッチによって生じる光路長差の算出結果を示す図である。図13に示す算出結果は、h(S=0)=0では波面収差がないと仮定して、以下の条件で算出したものである。図13では、0次回折光と±1次回折光の間の光路長差は、近軸焦点位置の深さが3μmのときに約0.5波長に達している。
対物レンズの開口数NA=1.38、励起波長λex=488nm
浸液(油)の屈折率n0=1.52、標本の屈折率n1=1.38
0次回折光と±1次回折光の間の光路長差(位相差)が発生すると、構造化照明が光軸方向にシフト(デフォーカス)することになる。このデフォーカス量をZfとすると、デフォーカスが生じた3次元構造化照明では、PSF3D-SIM(x,z)は、式(27)のように表わされる。
図14は、従来の3D-SIMでのシミュレーション結果を示した図であり、図14(a)から図14(e)は、それぞれ、0次回折光と±1次回折光の間の光路長差が0、1/8、1/4、3/8、1/2波長のときのPSF3D-SIM(x,z)を示している。図14には、光路長差OPDが大きくなりデフォーカス量Zfが大きくなるにつれて、PSF3D-SIMの分布が広がり、且つ、焦点面からずれた位置の像が強く伝達されるようになる様子が示されている。なお、このシミュレーションは、以下の条件で行われたものである。
対物レンズの開口数NA=1.38
励起波長λex=488nm蛍光波長λem=520nm
浸液(浸油)の屈折率n0=1.52、標本の屈折率n1=1.38
図15は、従来の3D-SIMで得られる、光路長差毎のI-z曲線を示した図である。図15には、光路長差が大きくなりデフォーカス量Zfが大きくなるにつれて、焦点面からずれた離れた位置に強度のピークが生じる様子が示されている。
従来の3D-SIMにおいて復調像にアーティファクトが生じやすいのは、0次回折光と±1次回折光の間に光路長差が生じると、図14に示されるようにPSFが劣化してしまうからである。また、PSF3D-SIMの劣化は、PSF3D-SIMが構造化照明の強度分布と広視野蛍光観察でのPSFWFとの積であり、光路長差により構造化照明の強度分布の原点位置が焦点面からZ方向にシフトしてしまうことに起因する。このため、従来の3D-SIMでアーティファクトを抑制するためには、予め0次回折光のフォーカス位置と±1次回折光のフォーカス位置を精度良く合わせて、構造化照明の強度分布の原点位置を焦点面に合わせておくことが要求される。
しかしながら、図11及び図13に示されるように、光路長差は近軸焦点位置の深さ(焦点面の深さ)によって大きく変化するため、焦点面の深さによらず構造化照明の強度分布の原点位置を焦点面に合わせることは難しい。また、温度変化により光路長差にドリフトが発生する点も、これを更に難しくする。このような理由から、従来の3D-SIMでは、アーティファクトの発生を抑制することは非常に困難である。
図16から図19を参照しながら、上記の課題を解決する新たな3D-SIMについて説明する。なお、以降ではこの新たな3D-SIMを特にR3D-SIMと記して、従来の3D-SIMと区別する。
図16は、R3D-SIMで用いられる装置200の基本構成を示した図である。図16に示す装置200は、3次元に構造化された照明パターンをX方向及びZ方向に所定距離ずつ移動させて、移動後の各位置において蛍光標本(観察物体)の変調像を撮像する。そして、それによって得られた複数(具体的には7枚)の変調像データから超解像を有する復調像データを生成する。
装置200は、回折格子102が0次光の進行方向(縦方向)とそれに直交する方向(横方向)の2方向に移動可能に構成されている点と、演算装置111の代わりに、7枚の変調像データから復調像データを生成する演算装置211を含む点が、装置100とは異なっている。
複数の変調像を撮像して複数の変調像データを生成する方法について説明する。
装置200では、回折格子102を縦方向と横方向の両方に所定量ずつ移動させることにより、図17(a)から図17(g)に示すように、X方向とZ方向に、それぞれX方向に関する基本周期(1/fl)の1/7、Z方向に関する基本周期(1/fv)の1/7ずつ照明パターンが移動する。なお、図17の丸いマークは照明パターン中における照明強度の極大位置を示し、特に黒い丸マークは照明パターンの基準位置を示している。このようにして照明パターンを移動させて移動後の各位置において標本像を撮像することで、装置200は、7枚の変調像データを生成する。
次に、複数の変調像データから復調像データを生成する方法について説明する。まず、構造化照明が光軸方向にシフト(デフォーカス)していない場合について説明する。
3次元構造化照明の強度分布IllR3D-SIM,i(x,z)は、例えば、式(28)で表わされる。ここで、図17に示すように、iは0から6のいずれかの整数である。
式(28)に対してフーリエ変換を行うと、式(29)から式(33)が導かれる。
三次元構造化照明は、式(29)で示されるように、図18に示す7つの変調成分
の線形結合によって構成されている。
撮像素子110に投影される変調像の強度分布IR3D-SIM,i(x,z)は、式(34)に示すように、三次元構造化照明の強度分布IllR3D-SIM,i(x,z)と標本関数Obj(x,z)の積に、広視野蛍光観察での点像分布関数PSFWF(x,z)をコンボリューションすることによって算出される。式(34)に対してフーリエ変換を行うと、式(35)が導かれる。
さらに、式(29)から式(33)を用いて式(35)を展開すると、式(36)から式(40)が導かれる。
変調像は、式(36)で示されるように、図19に示す7つの変調像成分
の線形結合によって構成されている。各変調像成分は、対応する変調成分の影響により、周波数の原点がシフトした像成分である。
式(37)から式(40)は7つの変調像成分の空間周波数表示である。式(41)から式(44)は7つの変調像成分の空間座標表示である。
装置200では、照明パターンを移動させて7つの変調像が撮像され、7つの変調像データが生成される。また、式(36)に示されるように、変調像に含まれるこれら7つの変調像成分は互いに異なる係数で結合されている。このため、生成した7つの変調像データを用いて、i=0から6における7つの式(36)からなる連立方程式を解くことによって、7つの変調像成分が分離されて算出される。
さらに、算出した変調像成分のそれぞれについて、図19の矢印で示すように、周波数の原点をシフトさせることで、復調像成分
が算出される。ここでは、従来の3D-SIMとは異なり、変調像成分がZ方向にもシフトしているものについては、X方向だけではなくZ方向にも復調する。即ち、復調像成分は変調像成分をX方向とZ方向に復調した像成分である。なお、式(45)から式(48)は7つの復調像成分の空間周波数表示であり、式(49)から式(52)は7つの復調像成分の空間座標表示である。
そして、復調像は、式(53)で示されるように、7つの復調像成分を線形結合することで算出される。ただし、復調像ではz=0の断面のみが画像化される。ここで、IR3D-SIM(x,z)は復調像の強度分布、w0、w1、w2は合成係数である。また、式(53)では、復調像を実数とするため、
の結合には同じ合成係数w1が用いられている。また、
の結合には同じ合成係数w2が用いられている。
なお、合成係数w0、w1、w2は任意の値である。ただし、式(54)に示されるR3D-SIMでの点像分布関数PSFR3D-SIM(x,z)に負の領域があることは出来る限り避けるべきである。このため、例えば、w0=w1=w2=1に設定される。なお、式(54)及び式(55)に示すように、R3D-SIMでのPSFは3D-SIMでのPSFと同じものである。
次に、構造化照明が、デフォーカス量zfだけ光軸方向にシフト(デフォーカス)している場合について説明する。
zfだけ光軸方向にシフトした3次元構造化照明の強度分布IllR3D-SIM,i(x,z-zf)は、例えば、式(56)で表わされる。
このため、
は、式(57)に示すように7つの変調成分
を線形結合によって構成されている点はデフォーカスしていない場合と同じであるが(式(29)参照)、式(58)から式(61)に示すように変調成分がデフォーカスしていない場合とは異なっている。
そして、構造化照明がデフォーカスしている場合の変調像は、式(62)、式(63)で求められる。
式(57)から式(61)を用いて式(63)を展開すると、式(64)から式(68)が導かれる。
式(69)から式(72)は構造化照明がデフォーカスしている場合の変調像成分の空間座標表示である。
ここで、式(69)から式(72)を式(41)から式(54)と比較すると、構造化照明のデフォーカスにより変調像成分
が影響を受けていることが分かる。
このため、変調像成分を復調する際に、デフォーカス量に対応する補正係数を乗じることで、復調像成分を補正する。式(73)から式(76)は、復調像成分の空間周波数表示であり、式(45)から式(48)と比較すると、式(74)と式(75)では、補正係数を乗じて復調像成分を算出していることが確認できる。即ち、光軸方向に周波数シフトした変調像成分の復調に補正係数(デフォーカス量zfに依存)が用いられている。
これにより、式(77)から式(80)に示すように、復調像成分が、式(49)から式(52)に示す構造化照明がデフォーカスしていない場合と同じになる。
従って、式(53)で示されるように、7つの復調像成分を線形結合することで、デフォーカスしていない場合と同じ復調像が算出される。
なお、デフォーカス量zfは、近軸焦点位置の深さ毎に理論計算により算出しても良く、また、予め実測してもよい。さらに、復調像をモニタなどで確認しながら調整を繰り返すことにより決定されてもよい。
R3D-SIMによれば、従来の3D-SIMとは異なり、構造化照明がデフォーカスしている場合であっても、デフォーカスによる影響が排除された標本像(復調像)データを生成することができる。従って、アーティファクトの発生を抑制しながら、3D-SIMで超解像を有する標本像データを生成することができる。また、構造化照明を焦点面に精度良くフォーカスさせる必要がないため、構造化照明の厳密なフォーカス調整が省略することができる。
以下、本発明の各実施例について説明する。
図20は、R3D-SIMで用いられる本実施例に係る装置300の構成を示した図である。装置300は、上述したR3D-SIMにより3次元に超解像を有する標本像データを生成する標本像データ生成装置である。
装置300は、回折格子102を移動させる駆動装置302を備える点、演算装置211の代わりにプロセッサ312及びメモリ313を有する演算装置311を備える点が、図16に示す装置200とは異なっている。その他の構成は、装置200と同様であるので、同一の符号を付して説明を省略する。
駆動装置302は、照明パターンを標本に対してX方向及びZ方向に移動させる照明パターン移動手段であり、回折格子102を斜め方向に所定量ずつ移動させるように構成されている。これにより、焦点面FPに形成される3次元に構造化された照明パターンを標本に対して、X方向とZ方向に、それぞれX方向に関する基本周期(1/fl)の1/7、Z方向に関する基本周期(1/fv)の1/7ずつ移動させる。
移動後の各位置において、撮像素子110に投影された変調像を撮像素子110が撮像する。即ち、装置300において撮像素子110は、Z方向及びX方向に周期的な構造を有する照明パターンを形成する構造化照明によって変調された標本像である変調像を撮像する変調像撮像手段である。そして、演算装置311は、撮像素子110からの出力信号に基づいて、複数の変調像データを生成する。
なお、装置300では、回折格子102は、レーザ101を出射したレーザ光(可干渉光)から対物レンズ108に入射する3光束を生成する光束生成手段である。また、回折格子102、回折格子102を標本に投影する光学系(対物レンズ、照明レンズ103など)、及び、レーザ101は、対物レンズ108に入射する3光束の干渉により照明パターンを標本に形成するパターン生成手段である。
さらに、駆動装置302は、回折格子102を60度ずつ3回回転させるように構成されている。これにより、光軸と直交する面における照明パターンの方位(干渉縞の方位)を60度ずつ変化させる。
回転後の各方位において、撮像素子110に投影された変調像を撮像素子110が撮像し、演算装置311が複数の変調像データを生成する。
この回折格子102の移動及び回転により、計21枚の変調像データが生成される。演算装置311は、メモリ313にロードされた制御プログラムをプロセッサ312が実行することで、計21枚の変調像データから上述したR3D-SIMにより1枚の復調像データを生成する。この復調像データは、3次元に超解像を有し、且つ、2次元にほぼ等方的なデータである。
さらに、演算装置311は、ユーザの指示に従って、記憶装置112に復調像データを記憶させ、復調像データに基づいて表示手段であるモニタ113に標本の復調像を表示させる。
図21は、本実施例に係る装置300により行われる処理全体のフローチャートである。図22は、図21に示す変調像データ生成処理のフローチャートである。図23は、図22に示す撮像処理のフローチャートである。図24は、図21に示す復調像データ生成処理のフローチャートである。以下、図21から図24を参照しながら、Z位置毎に復調像データを生成する場合を例に、本実施例に係る装置300が復調像データを生成する手順について具体的に説明する。
ステージに標本が配置されて位置合わせが行われると、装置300は、まず最初に初期設定の入力を受け付ける(S100)。ここでは、演算装置311が、例えば、対物レンズに設けられた補正環の設定情報、励起波長と蛍光波長、標本の屈折率と浸液の屈折率、対物レンズのレンズデータなどの入力を受け付ける。また、Z位置(焦点位置)の開始位置、終了位置、Z移動間隔の入力も受け付ける。入力された情報は、例えば、メモリ313に格納される。
初期設定の入力が完了すると、装置300は、変調像データ生成処理を行う(ステップS200)。装置300は、図示しないステージを移動させて、焦点位置を開始位置に移動し(ステップS210)、その後、撮像処理を行う(ステップS220)。なお、ステージの移動は、例えば、演算装置311によって制御される。
撮像処理では、装置300は、構造化照明を初期化する(ステップS221)。ここでは、駆動装置302が回折格子102の位置及び向きを基準位置及び向きに戻す。なお、駆動装置302は、例えば、演算装置311からの制御信号によって制御される。
その後、構造化照明によって変調され撮像素子110に投影された標本像(変調像)を撮像素子110が撮像し、撮像素子110からの信号に基づいて演算装置311が変調像データを生成する(ステップS222)。さらに、駆動装置302が回折格子102の移動及び回転を繰り返し(ステップS223からステップS226)、撮像素子110が各状態で変調像を撮像して、演算装置311が計21枚の変調像データを生成する。
撮像処理が完了すると、装置300(演算装置311)は、焦点位置がステップS100で入力された終了位置に達しているかを判断する(ステップS230)。そして、焦点位置が終了位置に達していない場合には、装置300は、ステージをステップS100で入力されたZ移動間隔だけZ方向に移動させて(ステップS240)、再び撮像処理を行う(ステップS220)。以上の処理を焦点位置が終了位置に達するまで繰り返し行うことで、変調データ生成処理が完了する。
変調データ生成処理が完了すると、装置300は、復調像データ生成処理を行う(ステップS300)。復調像データ生成処理は、例えば、プロセッサ312が記憶装置112に記憶された復調像データ生成プログラムをメモリ313にロードして実行することにより行われる。
演算装置311は、まず、復調像データを生成する対象となる焦点位置(以降、対象焦点位置と記す)を開始位置として設定する(ステップS301)。そして、焦点位置が対象焦点位置にあるときに生成された21枚の変調像データをメモリ313から読み出す(ステップS303)。
演算装置311は、ステップS100で入力された各種データに基づいて、対象焦点位置でのデフォーカス量(即ち、対物レンズ108の焦点面に対する構造化照明のデフォーカス量)を算出する(ステップS305)。なお、ここで、各種データとは、例えば、補正環の設定情報、励起波長、標本の屈折率、浸液の屈折率、対物レンズのレンズデータなどである。演算装置311は、さらに、デフォーカス量に基づいて、式(70)及び(71)に示される補正係数を算出して設定する(ステップS307)。
その後、演算装置311は、ステップS303で読み出した21枚の変調像データと、ステップS307で設定した補正係数とに基づいて、復調像成分を算出して復調像データを生成する(ステップS309)。即ち、演算装置311は、照明パターンが標本に対してZ方向及びX方向に異なる位置にあるときに撮像素子110で撮像された複数の変調像と、構造化照明のデフォーカス量と、に基づいて、復調像データを生成する復調像データ生成手段である。
なお、ステップS309では、復調像データを照明パターンの方位毎(つまり、7枚の変調像毎に)に生成してよい。そして、その結果得られる方位の異なる3枚の復調像データから、照明パターンの方位の影響が排除された2次元にほぼ等方的な1枚の復調像データを生成してもよい。
演算装置311は、ステップS309で生成された復調像データに基づいて、モニタ113に復調像を表示させる(ステップS311)。これにより、ユーザは、モニタ113に表示された復調像を見て、復調が適切に行われているか否かを判断することができる。
ユーザは、例えば、復調像にアーティファクトが生じている場合などには、復調が適切に行われていないと判断して、演算装置311に補正係数の変更を指示することができる。演算装置311は、補正係数の変更が指示されると、補正係数を変更して(ステップS315)、復調像データを生成し直す(ステップS309)。即ち、演算装置311は、復調像生成手段であるとともに、復調像データを再生成する復調像データ再生成手段でもある。
これを繰り返すことで、仮にステップS305で算出されたデフォーカス量の精度が低い場合であっても、アーティファクトの発生を抑制して、復調像データを生成することができる。アーティファクトが抑制された復調像データが生成されると、演算装置311は、その復調像データを記憶装置112に記録する(ステップS317)。
以上の処理を、対象焦点位置を変更して繰り返すことで(ステップS319、ステップS321)、Z位置毎にアーティファクトが抑制された復調像データが生成される。
本実施例に係る装置300によれば、構造化照明が焦点面に対してデフォーカスしている場合であっても、デフォーカスの影響を取り除いて復調像データを生成することができる。このため、復調像にアーティファクトが発生することを抑制することができる。このことは、復調像データの生成に当たり、デフォーカスの有無によらず、PSFを一定に維持することができる、と言い換えることができる。
装置300は、特に、厚い標本の観察に好適である。厚い標本を観察する場合、焦点面(観察面)の深さに応じて構造化照明のフォーカス位置(原点位置)が変化する。このため、従来の3D-SIMでは、構造化照明の原点位置と焦点面に深さによらずあわせることが極めて難しい。一方、装置300では、デフォーカス量に応じた処理を行うことで、デフォーカスの影響をその大きさによらず排除することができる。
また、装置300によれば、構造化照明のフォーカス調整を簡易に行うことができる。これは、装置300では、焦点面に構造化照明が形成されていればよく、構造化照明の原点位置を焦点面に厳密に合わせる必要がないからである。
なお、本実施例では、すべてのZ位置で変調像データを生成後に各Z位置の復調像データを生成する例を示したが、復調データ生成手順はこの手順に限られない。各Z位置での変調像データ及び復調像データの生成後に、次のZ位置での変調像データ及び復調像データの生成が行われてもよい。
また、本実施例では、変調像データの生成と復調像データの生成を同一の装置(演算装置311)で行う例を示したが、変調像データの生成と復調像データの生成は別々の装置で行われてもよい。
また、本実施例では、X方向とZ方向にそれぞれ基本周期の1/7ずつ照明パターンを移動させる例を示したが、1/7周期以下のピッチで照明パターンを移動させてもよい。これは、変調像成分の数(つまり、7つ)以上の変調像が撮像されていれば、演算装置311は変調像を異なる方向に周波数シフトした変調像成分に分離することが可能であり、変調像成分を復調して復調像成分を算出することができるからである。撮像された変調像の数が変調像成分の数より多い場合には、最小二乗法を用いることにより誤差を抑えながら変調像成分を分離したり、変調像成分の解の確度を評価したりすることも可能である。
また、本実施例では、移動後の照明パターンの位相が異なる限り、基本周期の1/7を上回るピッチで照明パターンを移動させてもよい。例えば、基本周期の2/7ずつ移動させて7つ以上の変調像を撮像してもよい。
図25は、R3D-SIMで用いられる本実施例に係る装置400の構成を示した図である。装置400は、上述したR3D-SIMにより3次元に超解像を有する標本像データを生成する標本像データ生成装置である。
装置400は、回転自在に配置されたイメージローテータ401及び駆動装置403を備える点、及び、駆動装置302の代わりに駆動装置402を備える点が、図20に示す実施例1に係る装置300とは異なっている。その他の構成は、装置300と同様であるので、同一の符号を付して説明を省略する。
装置400では、駆動装置403がイメージローテータ401を回転させることで、照明パターンの方位(干渉縞の方位)を60度ずつ変化させる。一方、照明パターンのX方向とZ方向への移動については、駆動装置402が回折格子102を斜め方向に所定量ずつ移動させることにより実現される。
これにより、装置400では、実施例1に係る装置300と同様に、Z位置毎に21枚(3方位×7位置)の変調像を撮像することが可能であり、実施例1に係る装置300と同様に、復調像データを生成することができる。従って、装置400によっても、実施例1に係る装置300と同様の効果を得ることができる。
なお、本実施例では、イメージローテータ401は、回折格子102と照明レンズ103の間に配置されているが、イメージローテータ401は、回折格子102よりも標本側に配置されていればよい。
また、本実施例では、イメージローテータ401を回転させることで照明パターンの方位を変化させているが、照明パターンの方位は、様々な方法によって変化させ得る。
装置400は、イメージローテータ401及び駆動装置403の代わりに、図26に示す複数の回転角の異なるイメージローテータ(イメージローテータ411、イメージローテータ412、イメージローテータ413)を2つのガルバノミラー(ガルバノミラー410、ガルバノミラー420)が協働して切換える構成を備えてもよい。そして、回折格子102で分割した3光束が入射するイメージローテータを切換えることで、照明パターンの方位を変化させてもよい。なお、図示されていないが、この構成では、各イメージローテータを通る光路の長さが等しくなるように調整されている。この構成によれば、イメージローテータ401を回転させる場合よりも、照明パターンの方位の変更にかかる時間を短くすることができる。また、照明パターンの方位の再現性も向上させることができる。
また、本実施例では、レーザ101から出射されたレーザ光を回折格子102で3光束に分割しているが、レーザ光は、様々な方法によって分割し得る。
装置400は、回折格子102の代わりに、図27に示す無偏光ビームスプリッタ(以降、NPBSと記す)を含む構成により、レーザ光を3光束に分割してもよい。この構成では、NPBS431及びNPBS432でレーザ光を所定の光量比で3光束に分割する。さらに、全反射プリズム434で反射した光束は1/2波長板435で偏光方向が0次光に合わせられる。ビームスプリッタ432を透過した光束は光路長調整用プリズム433で光路長が調整される。全反射プリズム436で反射した光束は1/2波長板437で偏光方向が0次光に合わせられる。これにより、位相及び偏光方向が揃った3光束が形成される。
また、装置400は、回折格子102の代わりに、図28に示す光ファイバー440によって、レーザ光を3光束に分割してもよい。なお、光ファイバー440は、出射する3光束が一定の偏光方向を有するように構成されている。
図29は、R3D-SIMで用いられる本実施例に係る装置500の構成を示した図である。装置500は、上述したR3D-SIMにより3次元に超解像を有する標本像データを生成する標本像データ生成装置である。
装置500は、回折格子102及び駆動装置302の代わりに光路上に固定された2次元回折格子501を備える点、2次元回折格子501と照明レンズ103の間に位相差発生板502及び駆動装置504を備える点、及び、光束選択手段503を備える点が、図20に示す実施例1に係る装置300とは異なっている。その他の構成は、装置300と同様であるので、同一の符号を付して説明を省略する。
2次元回折格子501は、図30(a)に示すように、溝の方向が異なる3種類の領域(領域501a、領域501b、領域501c)から構成されている。従って、2次元回折格子501は、レーザ光を計7光束に分割する。即ち、2次元回折格子501は、レーザ101を出射したレーザ光(可干渉光)から対物レンズ108に入射する7光束を生成する光束生成手段である。
位相差発生板502は、2次元回折格子501で分割された7光束に異なる位相差を与えて照明パターンを移動させるパターン移動手段であり、望ましくは対物レンズ108の瞳共役位置又はその近傍に配置される。なお、7光束は、図30(b)に示す位相差発生板502の位置A1から位置A7に入射する。また、7光束は、対物レンズ108の瞳面の位置B1から位置B7に入射し得る。
位相差発生板502は、位置A1に入射する光束の進行方向と平行な回転軸を有する円板であり、それぞれ異なる位相差を発生させる周方向に並べられた複数の微小領域を有する第1の領域502aと、位置A1を含む第2の領域502bを備えている。駆動装置504が位相差発生板502を回転させることで、位置A2から位置A7の各々に入射する光束に作用する領域が変化し、各光束に発生する位相差が変化する。
第2の領域502bは、位相差板502の回転の中心付近にあり、位相差発生板502が回転しても、位置A1に入射する光束の位相は一定である。
光束選択手段503は、2次元回折格子501で分割された7光束から3光束を選択して透過させる手段である。光束選択手段503は、例えば、遮光板を備えていて、遮光板の位置を変化させることで、位置A1を通過する1光束と位置A1を中心に対称な2つの位置を通過する2光束を透過させ、その他の4光束を遮断する。
装置500では、光束選択手段503で対物レンズ108の瞳面に入射する3光束を切換えることで、照明パターンの方位を60度ずつ変化させる。また、一方、照明パターンのX方向とZ方向への移動については、瞳面に入射する3光束に与える位相差を位相差発生板502の回転で変化させることにより実現される。
これにより、装置500では、実施例1に係る装置300と同様に、Z位置毎に21枚(3方位×7位置)の変調像を撮像することが可能であり、実施例1に係る装置300と同様に、復調像データを生成することができる。従って、装置500によっても、実施例1に係る装置300と同様の効果を得ることができる。
なお、本実施例では、光束選択手段503は、位相差発生板502と照明レンズ103の間に配置されているが、光束選択手段503は、位相差発生板502と対物レンズ108の瞳面の間に配置されていればよい。また、位相差発生板502の一部を遮光板として機能させることで、光束選択手段503を省略してもよい。
また、本実施例では、位相差発生板502を回転させることで照明パターンをX方向及びZ方向に移動させているが、照明パターンは、様々な方法によって移動させ得る。装置500は、位相差発生板502の代わりに、図31から図35に示す位相差発生装置を備えてもよい。なお、この場合、対物レンズ108の瞳面に入射する3光束間に位相差を発生させるため、少なくとも2つの位相差発生装置を備えることが望ましい。
図31に示す位相差発生装置512では、それぞれ入射光の進行方向と直交する回転軸を有する2枚の平行平板(平行平板512a、平行平板512b)の傾きが変化することで、透過した光に発生する位相差が変化する。2枚の平行平板512a,512bは同じ厚さで互いに反対方向に回転するようにすれば、透過光の光軸は位相差を変化させても移動しない。
図32に示す位相差発生装置522では、2つの楔プリズム(楔プリズム522a、楔プリズム522b)の少なくとも一方が入射光に対して移動することで、透過した光に発生する位相差が変化する。この構成は、位相差を連続的に自由度高く発生させることができる。
図33に示す階段状のプリズムである位相差発生装置532では、プリズムの移動により入射光が入射するステップが変化することで、透過した光に発生する位相差が変化する。この装置は、決められた位相差を高精度に発生させることができる。
図34に示す位相差発生装置542は、ピエゾミラーである。この装置は、位相差を高速に調整することができる。
図35に示す位相差発生装置552は、2枚の平行平板(平行平板552b、平行平板552c)に挟まれた領域に流体552aが閉じ込められた流体プリズムである。位相差発生装置552は、ポンプ552dが流体量を調整することで、プリズム厚が変化し、その結果、透過した光に発生する位相差が変化する。
図36は、R3D-SIMで用いられる本実施例に係る装置600の構成を示した図である。装置600は、上述したR3D-SIMにより3次元に超解像を有する標本像データを生成する標本像データ生成装置である。
装置600は、回折格子102及び駆動装置302の代わりに空間光変調器601(以降、SLMと記す)を備える点が、図20に示す実施例1に係る装置300とは異なっている。その他の構成は、装置300と同様であるので、同一の符号を付して説明を省略する。
SLM601は、各々が独立に制御可能な複数の光変調素子からなる装置である。SLM601は、例えば、DMD(商標)のような複数の微小ミラーを備えた強度変調型のSLMであってもよく、LCOS(商標)のような複数の液晶領域を備えた位相変調型のSLMであってもよい。さらに、MOSLM(磁気光学空間光変調器)のようなファラデー回転を用いて光を変調する装置であってもよい。
装置600では、SLM601での光の変調パターンを制御することで、照明パターンの方位の変化、及び、照明パターンのX方向とZ方向への移動が実現される。
これにより、装置600では、実施例1に係る装置300と同様に、Z位置毎に21枚(3方位×7位置)の変調像を撮像することが可能であり、実施例1に係る装置300と同様に、復調像データを生成することができる。従って、装置600によっても、実施例1に係る装置300と同様の効果を得ることができる。
上述した実施例は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施例に限定されるものではない。各実施例に記載された標本像データ生成装置及び方法は、特許請求の範囲により規定される本発明の思想を逸脱しない範囲において、さまざまな変形、変更が可能である。
100、200、300、400、500、600 装置
101 レーザ
102 回折格子
103 照明レンズ
104 蛍光キューブ
105 ダイクロイックミラー
106 励起フィルタ
107 バリアフィルタ
108 対物レンズ
109 結像レンズ
110 撮像素子
111、211、311 演算装置
112 記憶装置
113 モニタ
302 駆動装置
312 プロセッサ
313 メモリ
401、411、412、413 イメージローテータ
402、403、504 駆動装置
410、420 ガルバノミラー
431,432 NPBS
433 光路長調整用プリズム
434、436 全反射プリズム
435、437 1/2波長板
440 光ファイバー
501 2次元回折格子
501a、501b、501c 領域
502 位相差発生板
502a 第1の領域
502b 第2の領域
503 光束選択手段
512、522、532、542、552 位相差発生装置
512a、512b、552b、552c 平行平板
522a、522b 楔プリズム
552a 流体
552d ポンプ
601 SLM

Claims (10)

  1. 対物レンズの光軸方向及び前記光軸方向と直交する直交方向に周期的な構造を有する照明パターンを形成する構造化照明によって変調された標本像である変調像を撮像する変調像撮像手段と、
    前記変調像撮像手段で撮像した複数の変調像であって前記照明パターンが標本に対して前記光軸方向及び前記直交方向に互いに異なる位置にあるときに撮像された前記複数の変調像と、前記対物レンズの焦点面に対する前記構造化照明のデフォーカス量と、に基づいて、前記変調像を復調した標本像である復調像を算出して、復調像データを生成する復調像データ生成手段と、を備える
    ことを特徴とする標本像データ生成装置。
  2. 請求項1に記載の標本像データ生成装置において、
    前記復調像データ生成手段は、変調像に含まれる複数の変調像成分であって前記構造化照明によって互いに異なる方向に周波数シフトした前記複数の変調像成分を、前記照明パターンが標本に対して前記光軸方向及び前記直交方向に互いに異なる位置にあるときに前記変調像撮像手段で撮像された、前記複数の変調像成分の数以上の変調像に基づいて、複数の復調像成分に復調する
    ことを特徴とする標本像データ生成装置。
  3. 請求項2に記載の標本像データ生成装置において、
    前記復調像データ生成手段は、前記複数の変調像成分のうちの前記光軸方向に周波数シフトした変調像成分を前記デフォーカス量に基づいた係数を用いて復調する
    ことを特徴とする標本像データ生成装置。
  4. 請求項1乃至請求項3のいずれか1項に記載の標本像データ生成装置において、さらに、
    前記照明パターンを標本に対して前記光軸方向及び前記直交方向に移動させるパターン移動手段を備える
    ことを特徴とする標本像データ生成装置。
  5. 請求項4に記載の標本像データ生成装置において、さらに、
    前記対物レンズを有し、前記対物レンズに入射する少なくとも3光束の干渉により前記照明パターンを前記標本に形成するパターン生成手段を含む
    ことを特徴とする標本像データ生成装置。
  6. 請求項5に記載の標本像データ生成装置において、
    前記パターン生成手段は、光源を出射した可干渉光から前記対物レンズに入射する前記少なくとも3光束を生成する光束生成手段を有し、
    前記パターン移動手段は、前記光束生成手段を移動させる
    ことを特徴とする標本像データ生成装置。
  7. 請求項5に記載の標本像データ生成装置において、
    前記パターン生成手段は、光源を出射した可干渉光から前記対物レンズに入射する前記少なくとも3光束を生成する光束生成手段を有し、
    前記パターン移動手段は、前記光束生成手段によって生成された前記少なくとも3光束の間に位相差を与える
    ことを特徴とする標本像データ生成装置。
  8. 請求項2乃至請求項7のいずれか1項に記載の標本像データ生成装置において、
    前記復調像データ生成手段は、前記複数の復調像成分を線形結合して前記復調像を算出する
    ことを特徴とする標本像データ生成装置。
  9. 対物レンズの光軸方向及び前記光軸方向と直交する直交方向に周期的な構造を有する照明パターンを形成する構造化照明によって変調された標本像である変調像を撮像する変調像撮像手段と、
    前記変調像撮像手段で撮像した複数の変調像であって前記照明パターンが標本に対して前記光軸方向及び前記直交方向に互いに異なる位置にあるときに撮像された前記複数の変調像と、前記対物レンズの焦点面に対する前記構造化照明のデフォーカスを補正する補正係数と、に基づいて、前記変調像を復調した標本像である復調像を算出して、復調像データを生成する復調像データ生成手段と、
    前記復調像データ生成手段によって算出された前記復調像を前記復調像データに基づいて表示する表示手段と、
    前記補正係数を変更して復調像データを再生成する復調像データ再生成手段と、を備える
    ことを特徴とする標本像データ生成装置。
  10. 対物レンズの光軸方向及び前記光軸方向と直交する直交方向に周期的な構造を有する照明パターンを前記光軸方向及び前記直交方向に移動し、
    前記照明パターンを形成する構造化照明によって変調された標本像である変調像を撮像し、
    前記照明パターンが標本に対して前記光軸方向及び前記直交方向に互いに異なる位置にあるときに撮像された前記複数の変調像と、前記対物レンズの焦点面に対する前記構造化照明のデフォーカス量と、に基づいて、前記変調像を復調した標本像である復調像を算出して、復調像データを生成する
    ことを特徴とする標本像データ生成方法。
JP2014094937A 2014-05-02 2014-05-02 標本像データ生成装置、及び、標本像データ生成方法 Active JP6270615B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014094937A JP6270615B2 (ja) 2014-05-02 2014-05-02 標本像データ生成装置、及び、標本像データ生成方法
US14/696,121 US9964748B2 (en) 2014-05-02 2015-04-24 Sample image data generating apparatus and sample image data generating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014094937A JP6270615B2 (ja) 2014-05-02 2014-05-02 標本像データ生成装置、及び、標本像データ生成方法

Publications (2)

Publication Number Publication Date
JP2015212744A JP2015212744A (ja) 2015-11-26
JP6270615B2 true JP6270615B2 (ja) 2018-01-31

Family

ID=54355612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014094937A Active JP6270615B2 (ja) 2014-05-02 2014-05-02 標本像データ生成装置、及び、標本像データ生成方法

Country Status (2)

Country Link
US (1) US9964748B2 (ja)
JP (1) JP6270615B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013001805A1 (ja) * 2011-06-29 2013-01-03 株式会社ニコン 構造化照明光学系および構造化照明顕微鏡装置
DE102016103736A1 (de) * 2016-03-02 2017-09-07 Carl Zeiss Microscopy Gmbh Verfahren zur Bestimmung einer Höhenlage eines Objekts
US10895642B2 (en) * 2017-10-18 2021-01-19 Tdk Taiwan Corp. Distance measuring device
US11915437B1 (en) * 2017-11-15 2024-02-27 Meta Platforms Technologies, Llc Systems and methods for a multi-spectral depth camera assembly

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013513823A (ja) * 2009-12-09 2013-04-22 アプライド プレシジョン インコーポレイテッド 高速の3次元構造化照明による顕微鏡撮像の方法およびシステム
WO2011135819A1 (ja) * 2010-04-26 2011-11-03 株式会社ニコン 構造化照明顕微鏡装置
DE102010026205A1 (de) * 2010-07-06 2012-01-12 Carl Zeiss Microlmaging Gmbh Mikroskop, insbesondere Fluoreszenzmikroskop, dichroitischer Strahlteiler und dessen Verwendung
JP5412394B2 (ja) 2010-09-30 2014-02-12 オリンパス株式会社 標本観察装置
WO2012177206A1 (en) * 2011-06-24 2012-12-27 Applied Presicion, Inc. Polarization control systems
WO2013001805A1 (ja) * 2011-06-29 2013-01-03 株式会社ニコン 構造化照明光学系および構造化照明顕微鏡装置
DE102011114500B4 (de) * 2011-09-29 2022-05-05 Fei Company Mikroskopvorrichtung
JP5741709B2 (ja) * 2011-12-01 2015-07-01 株式会社ニコン 構造化照明装置、その構造化照明装置の調整方法、コンピュータ実行可能な調整プログラム、構造化照明顕微鏡装置、面形状測定装置
WO2014013720A1 (ja) * 2012-07-19 2014-01-23 株式会社ニコン 構造化照明顕微鏡装置
US9581548B2 (en) * 2012-09-24 2017-02-28 Ge Healthcare Bio-Sciences Corp. Methods for resolving positions in fluorescence stochastic microscopy using three-dimensional structured illumination
EP2801854B1 (en) * 2013-05-10 2017-07-19 Ruprecht-Karls-Universität Heidelberg Method and apparatus for combination of localization microscopy and structured illumination microscopy
WO2015008415A1 (ja) * 2013-07-17 2015-01-22 株式会社ニコン 構造化照明装置及び構造化照明顕微鏡装置
WO2015052936A1 (ja) * 2013-10-09 2015-04-16 株式会社ニコン 構造化照明顕微鏡装置

Also Published As

Publication number Publication date
US20150317824A1 (en) 2015-11-05
US9964748B2 (en) 2018-05-08
JP2015212744A (ja) 2015-11-26

Similar Documents

Publication Publication Date Title
US11187883B2 (en) Structured illuminating microscopy apparatus
JP5629802B2 (ja) 干渉測定法およびデジタルホログラフィ顕微鏡
US8019136B2 (en) Optical sectioning microscopy
JP5524308B2 (ja) 構造光照明を用いる光学撮像システム
US6239909B1 (en) Image-forming method and image-forming apparatus
US10209673B2 (en) Holographic microscope, microscopic subject hologram image recording method, method of creation of hologram for reproduction of high-resolution image, and method for reproduction of image
JP5352763B2 (ja) 複素振幅インラインホログラムの生成方法および該方法を用いる画像記録装置
JP6264377B2 (ja) 構造化照明装置及び構造化照明顕微鏡装置
JP6627871B2 (ja) 構造化照明顕微鏡システム、方法及びプログラム
WO2015052936A1 (ja) 構造化照明顕微鏡装置
WO2014029978A1 (en) Stimulated emission depletion microscopy
JP6194710B2 (ja) 構造化照明装置及び構造化照明顕微鏡装置
JP2009098215A (ja) 顕微鏡装置、及び顕微鏡装置における位相変化量の算出方法。
JP6270615B2 (ja) 標本像データ生成装置、及び、標本像データ生成方法
US20150124073A1 (en) Illumination optical system and microscope
WO2017158695A1 (ja) 点像分布関数の測定装置、測定方法、画像取得装置および画像取得方法
JP2012145361A (ja) デジタルホログラフィ装置
CN109974578B (zh) 一种基于双液晶空间光调制器的涡旋数字全息显微系统
JP6413364B2 (ja) 照明光学系及び顕微鏡装置
WO2015052920A1 (ja) 構造化照明装置及び構造化照明顕微鏡装置
Lin et al. Simultaneous multiplane imaging with programmable multiplexed gratings
JP6286982B2 (ja) 構造化照明顕微鏡装置
JP2010249639A (ja) ホログラム記録装置及びホログラム記録方法
JP2014010019A (ja) 干渉計測装置
Lai et al. Low-frequency moiré fringes synthesize by mutual correlation for resolution enhancement in structured illumination digital holographic microscopy

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171226

R151 Written notification of patent or utility model registration

Ref document number: 6270615

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250