JP6286982B2 - Structured illumination microscope - Google Patents
Structured illumination microscope Download PDFInfo
- Publication number
- JP6286982B2 JP6286982B2 JP2013197129A JP2013197129A JP6286982B2 JP 6286982 B2 JP6286982 B2 JP 6286982B2 JP 2013197129 A JP2013197129 A JP 2013197129A JP 2013197129 A JP2013197129 A JP 2013197129A JP 6286982 B2 JP6286982 B2 JP 6286982B2
- Authority
- JP
- Japan
- Prior art keywords
- light beam
- image
- modulated
- structured illumination
- selection member
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、構造化照明顕微鏡装置に関する。 The present invention relates to a structured illumination microscope apparatus.
生体標本などの被観察物を超解像観察するための手法に、被観察物の構造の空間周波数を照明光で変調する手法がある（特許文献１を参照）。 As a technique for super-resolution observation of an observation object such as a biological specimen, there is a technique of modulating the spatial frequency of the structure of the observation object with illumination light (see Patent Document 1).
この手法では、空間変調された照明光で被観察物を照明し、被観察物の構造に含まれる解像限界を超える高い空間周波数の情報を、顕微鏡光学系の結像に寄与させる。また、空間照明のパターンを切り替え、互いに異なる照明パターンの下で得られた複数の変調像のデータ（以下、「変調画像」と称す。）へ演算を施すことにより、復調像のデータ（以下、「復調画像」又は「超解像画像」と称す。）を取得する。 In this technique, the object to be observed is illuminated with spatially modulated illumination light, and high spatial frequency information exceeding the resolution limit included in the structure of the object to be observed is contributed to the imaging of the microscope optical system. Further, by switching the spatial illumination pattern and performing operations on a plurality of modulated image data (hereinafter referred to as “modulated images”) obtained under different illumination patterns, demodulated image data (hereinafter referred to as “modulated image data”). (Referred to as “demodulated image” or “super-resolution image”).
本発明は、超解像画像（復調画像）の生成に必要な複数の画像を高効率に取得することを目的とする。 An object of the present invention is to acquire a plurality of images necessary for generating a super-resolution image (demodulated image) with high efficiency.
本発明の構造化照明顕微鏡装置の一例は、１以上の光束を選択する光束選択部材と、前記光束選択部材により選択された光束で標本を照明する光学系と、前記光束選択部材が選択する光束を切り換える切換部と、撮像部と、演算部とを備え、前記光学系は、前記光束選択部材により選択された光束による干渉縞を前記標本に形成し、前記切換部は、前記光束選択部材を回動させて前記干渉縞の方向を切り替える動作中に前記光束選択部材に１つの光束のみを選択させ、前記撮像部は、前記干渉縞で空間変調された前記標本の像である変調像を撮像し、前記１つの光束が選択されて照明された前記標本の像である無変調像を少なくとも１枚、撮像し、前記演算部は、前記変調像の画像及び前記無変調像の画像に基づき前記標本の復調画像を生成する。 An example of the structured illumination microscope apparatus of the present invention includes a light beam selection member that selects one or more light beams, an optical system that illuminates a sample with a light beam selected by the light beam selection member, and a light beam that the light beam selection member selects. comprising a switching unit for switching, and an imaging unit, an arithmetic unit, wherein the optical system, interference fringes caused by the light beam selected by the beam selecting member formed in the specimen, the switching section, the light beam selecting member , The light beam selection member selects only one light beam during the operation of switching the direction of the interference fringes, and the imaging unit displays a modulated image that is an image of the sample spatially modulated by the interference fringes. At least one unmodulated image, which is an image of the sample that is picked up and illuminated with the one light beam selected, is picked up, and the arithmetic unit is based on the image of the modulated image and the image of the unmodulated image. Generate demodulated image of the sample To do.
本発明によれば、超解像画像（復調画像）の生成に必要な複数の画像を高効率に取得することができる。 According to the present invention, a plurality of images necessary for generating a super-resolution image (demodulated image) can be acquired with high efficiency.
［第１実施形態］
以下、本発明の第１実施形態として構造化照明顕微鏡装置を説明する。
[First Embodiment]
Hereinafter, a structured illumination microscope apparatus will be described as a first embodiment of the present invention.
先ず、構造化照明顕微鏡装置の構成を説明する。 First, the structure of the structured illumination microscope apparatus will be described.
図１は、構造化照明顕微鏡装置１の構成図である。以下では構造化照明顕微鏡装置１を全反射蛍光顕微鏡（ＴＩＲＦＭ：Total Internal Reflection Fluorescence Microscopy）として使用する場合も適宜併せて説明する。ＴＩＲＦＭは、蛍光性を有した試料（標本）５の表面の極めて薄い層を観察するものである。
FIG. 1 is a configuration diagram of the structured
先ず、構造化照明顕微鏡装置１の構成を説明する。
First, the structure of the structured
図１に示すとおり構造化照明顕微鏡装置１には、レーザユニット１００と、光ファイバ１１と、照明光学系１０と、結像光学系３０と、第１撮像素子３５１と、第２撮像素子３５２と、制御装置３９と、画像記憶・演算装置４０と、画像表示装置４５とが備えられる。なお、照明光学系１０は落射型であり、結像光学系３０の対物レンズ６及びダイクロイックミラー７を利用して標本５の照明を行う。
As shown in FIG. 1, the structured
レーザユニット１００には、第１レーザ光源１０１、第２レーザ光源１０２、シャッタ１０３１、１０３２、ミラー１０５、ダイクロイックミラー１０６、レンズ１０７が備えられる。第１レーザ光源１０１及び第２レーザ光源１０２の各々は、可干渉性の高いレーザー光を出射する光源であって、互いの出射波長は異なる。ここでは、第１レーザ光源１０１の波長λ１は、第２レーザ光源１０２の波長λ２よりも長いと仮定する（λ１＞λ２）。これらの第１レーザ光源１０１、第２レーザ光源１０２、シャッタ１０３１、１０３２は、それぞれ制御装置３９によって駆動・制御される。
The
光ファイバ１１は、レーザユニット１００から射出したレーザ光を導光するために、例えば、偏波面保存型のシングルモードファイバによって構成される。光軸Ｏの方向における光ファイバ１１の出射端の位置は、位置調整機構１１Ａによって調節可能である。この位置調整機構１１Ａは、制御装置３９によって駆動・制御される。なお、位置調整機構１１Ａとしては、例えば、ピエゾ素子等が用いられる。
The
照明光学系１０には、光ファイバ１１の出射端側から順に、コレクタレンズ１２と、偏光板２３と、光束分岐部１５と、集光レンズ１６と、光束選択部２４と、レンズ２５と、視野絞り２６と、フィールドレンズ２７と、励起フィルタ２８と、ダイクロイックミラー７と、対物レンズ６とが配置される。
The illumination
なお、光ファイバ１１として偏波面保存型のシングルモードファイバを使用した場合は、光ファイバ１１の前後でレーザ光の偏波面が保存されるので、偏光板２３は非必須であるが、レーザ光の偏光の品質を保つためには有効である。一方、光ファイバ１１としてマルチモードファイバを使用した場合、偏光板２３は必須である。
When a polarization-preserving single mode fiber is used as the
光束分岐部１５には、回折光学素子（回折格子）１３と、並進機構１５Ａとが備えられ、光束選択部２４には、１／２波長板１７と、光束選択部材１８と、０次光シャッタ２００と、回動機構２４Ａと、回動機構２００Ａとが備えられる。なお、並進機構１５Ａ、回動機構２４Ａ、回動機構２００Ａは、制御装置３９によって駆動・制御される。
The
結像光学系３０には、標本５の側から順に、対物レンズ６と、ダイクロイックミラー７と、バリアフィルタ３１と、第２対物レンズ３２と、第２ダイクロイックミラー３５と、が配置される。
In the imaging
標本５は、例えば、平行平板状のガラス表面に配置された蛍光性の細胞（蛍光色素で染色された細胞）や、シャーレ内に存在する蛍光性の生体細胞（蛍光色素で染色された動く細胞）などの細胞である。この細胞には、波長λ１の光によって励起される第１蛍光領域と、波長λ２の光によって励起される第２蛍光領域との双方が発現している。 The specimen 5 is, for example, fluorescent cells (cells stained with a fluorescent dye) arranged on a parallel flat glass surface, or fluorescent living cells (moving cells stained with a fluorescent dye) present in a petri dish. ) And so on. In this cell, both the first fluorescent region excited by light of wavelength λ1 and the second fluorescent region excited by light of wavelength λ2 are expressed.
なお、第１蛍光領域は、波長λ１の光に応じて中心波長λ１’の第１蛍光を発生させ、第２蛍光領域は、波長λ２の光に応じて中心波長λ２’の第２蛍光を発生させる。 The first fluorescent region generates the first fluorescence having the center wavelength λ1 ′ in response to the light having the wavelength λ1, and the second fluorescent region generates the second fluorescence having the center wavelength λ2 ′ in response to the light having the wavelength λ2. Let
構造化照明顕微鏡装置１がＴＩＲＦＭ（全反射蛍光顕微鏡）として使用される場合、対物レンズ６は、液浸型（油浸型）の対物レンズとして構成される。つまり、対物レンズ６と標本５のガラスとの間隙は、浸液（油）で満たされる。
When the structured
第１撮像素子３５１、第２撮像素子３５２の各々は、ＣＣＤやＣＭＯＳ等からなる二次元の撮像素子である。第１撮像素子３５１、第２撮像素子３５２の各々は、制御装置３９によって駆動されると、第１撮像素子３５１の撮像面３６１、第２撮像素子３５２の撮像面３６２の各々に形成された像を撮像し、画像を生成する。これら第１撮像素子３５１、第２撮像素子３５２の各々が生成した画像は、制御装置３９を介して画像記憶・演算装置４０へと取り込まれる。なお、第１撮像素子３５１、第２撮像素子３５２の各々は、所定のフレーム周期で画像生成（撮像）を繰り返すことが可能である。第１撮像素子３５１、第２撮像素子３５２の各々のフレーム周期（撮像の繰り返し周期）は、例えば、８０ｍｓｅｃなどに設定される。なお、撮像素子のフレーム周期は、撮像素子の撮像時間（すなわち電荷蓄積及び電荷読出に要する時間）、干渉縞の方向切り換えに要する時間、その他の所要時間のうち、律速によって定められる。
Each of the
制御装置３９は、レーザユニット１００、位置調整機構１１Ａ、並進機構１５Ａ、回動機構２４Ａ、回動機構２００Ａ、第１撮像素子３５１、第２撮像素子３５２を駆動制御する。
The
画像記憶・演算装置４０は、制御装置３９を介して与えられた画像に対して演算を施し、演算後の画像を不図示の内部メモリに格納すると共に、画像表示装置４５へ送出する。
The image storage /
次に、構造化照明顕微鏡装置１におけるレーザ光の振る舞いを説明する。
Next, the behavior of laser light in the structured
第１レーザ光源１０１から射出した波長λ１のレーザ光（第１レーザ光）は、シャッタ１０３１を介してミラー１０５へ入射すると、ミラー１０５を反射し、ダイクロイックミラー１０６へ入射する。一方、第２レーザ光源１０２から射出した波長λ２のレーザ光（第２レーザ光）は、シャッタ１０３２を介してビームスプリッタ１０６へ入射し、第１レーザ光と統合される。ダイクロイックミラー１０６から射出した第１レーザ光及び第２レーザ光は、レンズ１０７を介して光ファイバ１１の入射端に入射する。
When the laser beam (first laser beam) having the wavelength λ1 emitted from the first
なお、制御装置３９は、レーザユニット１００のシャッタ１０３１、１０３２を制御することにより、光ファイバ１１の入射端に入射するレーザ光の波長（＝光源波長）を、長い波長λ１と短い波長λ２との間で切り替えたり、光源波長を長い波長λ１と短い波長λ２との双方に設定したりすることができる。
The
光ファイバ１１の入射端に入射したレーザ光は、光ファイバ１１の内部を伝搬して光ファイバ１１の出射端に点光源を生成する。その点光源から射出したレーザ光は、コレクタレンズ１２によって平行光束に変換され、偏光板２３を介して回折格子１３へ入射すると、各次数の回折光束に分岐される。これら各次数の回折光束（以下、「回折光束群」と称す。）は、集光レンズ１６に入射すると、集光レンズ１６によって瞳共役面６Ａ’の互いに異なる位置に集光される。
The laser light incident on the incident end of the
ここで、瞳共役面６Ａ’は、後述する対物レンズ６の瞳６Ａ（±１次回折光が集光する位置）に対してフィールドレンズ２７、レンズ２５を介して共役な位置のことである。集光レンズ１６の焦点位置（後ろ側焦点位置）は、この瞳共役面６Ａ’に一致している。但し、ここでいう「共役な位置」の概念には、当業者が対物レンズ６、フィールドレンズ２７、レンズ２５の収差、ビネッティング等の設計上必要な事項を考慮して決定した位置も含まれるものとする。
Here, the
なお、光ファイバ１１から射出したレーザ光は基本的に直線偏光しているので、偏光板２３は、省略することも可能であるが、余分な偏光成分を確実にカットするために有効である。また、レーザ光の利用効率を高めるため、偏光板２３の軸は、光ファイバ１１から射出したレーザ光の偏光方向に一致していることが望ましい。
Since the laser light emitted from the
瞳共役面６Ａ’に向かった各次数の回折光束は、瞳共役面６Ａ’の近傍に配置された光束選択部２４へ入射する。
The diffracted light beams of the respective orders toward the
ここで、構造化照明顕微鏡装置１がＴＩＲＦＭ（全反射蛍光顕微鏡）として利用される場合、光束選択部２４は、入射した各次数の回折光束のうち、１対の回折光束のみ（ここでは±１次回折光束のみ）を選択的に通過させる。
Here, when the structured
光束選択部２４を通過した±１次回折光束は、レンズ２５によって視野絞り２６付近で回折格子１３と共役な面を形成する。その後、±１次回折光束の各々は、フィールドレンズ２７により収束光に変換され、さらに励起フィルタ２８を経てからダイクロイックミラー７で反射し、対物レンズ６の瞳面６Ａ上の互いに異なる位置に集光される。
The ± first-order diffracted light beam that has passed through the light
瞳面６Ａ上に集光した±１次回折光束の各々は、対物レンズ６の先端から射出される際には平行光束となり、標本５の表面で互いに干渉し、干渉縞を形成する。この干渉縞が、構造化照明光として使用される。
Each of the ± first-order diffracted light beams collected on the
また、構造化照明顕微鏡装置１がＴＩＲＦＭ（全反射蛍光顕微鏡）として利用される場合、標本５の表面に入射する際の入射角度は、エバネッセント場の生成条件（全反射条件）を満たす。以下、全反射条件を「ＴＩＲＦ条件」と称す。
When the structured
ＴＩＲＦ条件を満たすためには、瞳面６Ａにおける±１次回折光束の集光点は、瞳面６Ａの最外周に位置する所定の輪帯状領域に位置してればよい。この場合、標本５の表面近傍には、干渉縞によるエバネッセント場が生起する。
In order to satisfy the TIRF condition, the condensing point of the ± first-order diffracted light beam on the
このような干渉縞により標本５を照明すると、干渉縞の周期構造と標本５上の蛍光領域の周期構造との差に相当するモアレ縞が現れるが、このモアレ縞においては、蛍光領域の高周波数の構造が元の周波数より低周波数側にシフトしているため、この構造を示す蛍光は、元の角度よりも小さい角度で対物レンズ６へ向かうことになる。よって、干渉縞により標本５を照明すると、蛍光領域の高周波数の構造情報までもが対物レンズ６によって伝達される。
When the specimen 5 is illuminated with such interference fringes, a moire fringe corresponding to the difference between the periodic structure of the interference fringes and the periodic structure of the fluorescent region on the specimen 5 appears. Since the structure is shifted to a lower frequency side than the original frequency, the fluorescence indicating this structure is directed toward the
標本５で発生した蛍光は、対物レンズ６に入射すると、対物レンズ６で平行光に変換された後、ダイクロイックミラー７及びバリアフィルタ３１を透過し、第２ダイクロイックミラー３５へ入射する。第２ダイクロイックミラー３５へ入射した波長λ１’の第１蛍光は、第２ダイクロイックミラー３５を反射し、第２ダイクロイックミラー３５へ入射した波長λ２’の第２蛍光は、第２ダイクロイックミラー３５を透過する。
When the fluorescence generated in the sample 5 enters the
第２ダイクロイックミラー３５を反射した第１蛍光は、第１撮像素子３５１の撮像面３６１上に第１蛍光領域の変調像を形成し、第２ダイクロイックミラー３５を透過した第２蛍光は、第２撮像素子３５２の撮像面３６２上に第２蛍光領域の変調像を形成する。
The first fluorescence reflected from the second
撮像面３６１に形成された第１蛍光領域の変調像、撮像面３６２に形成された第２蛍光領域の変調像は、第１撮像素子３５１、第２撮像素子３５２によって個別に画像化され、第１蛍光領域の変調画像と、第２蛍光領域の変調画像とが生成される。
The modulated image of the first fluorescent region formed on the
第１蛍光領域の変調画像と、第２蛍光領域の変調画像とは、制御装置３９を介して画像記憶・演算装置４０へと取り込まれる。さらに、取り込まれた第１蛍光領域の変調画像と、第２蛍光領域の変調画像との各々には、画像記憶・演算装置４０において復調演算が施され、第１蛍光領域の復調画像（超解像画像）と、第２蛍光領域の復調画像（超解像画像）とが生成される。そして、これらの超解像画像は、画像記憶・演算装置４０の内部メモリ（図示せず）に記憶されるとともに、画像表示装置４５へと送出される。なお、復調演算としては、後述する復調演算（第１．７節、又は、第２．５節を参照）が用いられる。
The modulated image of the first fluorescent region and the modulated image of the second fluorescent region are taken into the image storage /
次に、回折格子１３を詳しく説明する。
Next, the
図２（Ａ）は、回折格子１３を光軸Ｏの方向から見た図であり、図２（Ｂ）は、±１次回折光束が瞳共役面６Ａ’に形成する集光点の位置関係を示す図である。なお、図２（Ａ）は模式図であるため、図２（Ａ）に示した回折格子１３の構造周期は実際の構造周期と同じとは限らない。
FIG. 2A is a view of the
図２（Ａ）に示すように、回折格子１３は、照明光学系１０の光軸Ｏと垂直な面内において互いに異なる複数方向にかけて周期構造を有した回折格子である。この回折格子１３の材質は、例えばガラスである。ここでは、回折格子１３は、１２０°ずつ異なる第１方向Ｖ１、第２方向Ｖ２、第３方向Ｖ３の各々にかけて周期構造を有した３方向回折格子であって、それら周期構造の周期は共通であると仮定する。
As shown in FIG. 2A, the
なお、回折格子１３の周期構造は、濃度（透過率）を利用して形成された濃度型の周期構造、または段差（位相差）を利用して形成された位相型の周期構造の何れであってもよいが、位相差型の周期構造の方が＋１次回折光束の回折効率が高いという点で好ましい。
The periodic structure of the
このような回折格子１３に入射した平行光束は、第１方向Ｖ１にかけて分岐した第１回折光束群と、第２方向Ｖ２にかけて分岐した第２回折光束群と、第３方向Ｖ３にかけて分岐した第３回折光束群とに変換される。
Parallel beam incident on
第１回折光束群には、０次回折光束及び±１次回折光束が含まれ、このうち互いの次数が共通である±１次回折光束は、光軸Ｏに関して対称な方向に進行し、０次回折光束は、光軸Ｏに沿って進行する。 The first diffracted light beam group includes a 0th order diffracted light beam and a ± 1st order diffracted light beam. Among these, the ± 1st order diffracted light beam having the same order travels in a symmetric direction with respect to the optical axis O, and 0 The next diffracted light beam travels along the optical axis O.
同様に、第２回折光束群には、０次回折光束及び±１次回折光束が含まれ、このうち互いの次数が共通である±１次回折光束は、光軸Ｏに関して対称な方向に進行し、０次回折光束は、光軸Ｏに沿って進行する。 Similarly, the second diffracted light beam group includes a 0th-order diffracted light beam and a ± 1st-order diffracted light beam, and of these, the ± 1st-order diffracted light beams having common orders travel in a symmetric direction with respect to the optical axis O. Then, the 0th-order diffracted light beam travels along the optical axis O.
同様に、第３回折光束群には、０次回折光束及び±１次回折光束が含まれ、このうち互いの次数が共通である±１次回折光束は、光軸Ｏに関して対称な方向に進行し、０次回折光束は、光軸Ｏに沿って進行する。 Similarly, the third diffracted light beam group includes a 0th-order diffracted light beam and a ± 1st-order diffracted light beam, and of these, the ± 1st-order diffracted light beams having common orders travel in a symmetric direction with respect to the optical axis O. Then, the 0th-order diffracted light beam travels along the optical axis O.
これら第１回折光束群の±１次回折光束、第２回折光束群の±１次回折光束、第３回折光束群の±１次回折光束は、前述した集光レンズ１６により、瞳共役面６Ａ’内の互いに異なる位置に集光される。
The ± 1st order diffracted light beam of the first diffracted light beam group, the ± 1st order diffracted light beam of the second diffracted light beam group, and the ± 1st order diffracted light beam of the third diffracted light beam group are converted into the
そして、図２（Ｂ）に示すように、第１回折光束群の±１次回折光束の集光点１４ｄ、１４ｇは、光軸Ｏに関して対称であり、集光点１４ｄ、１４ｇの配列方向は第１方向Ｖ１に対応している。
As shown in FIG. 2B, the condensing
また、第２回折光束群の±１次回折光束の集光点１４ｃ、１４ｆは、光軸Ｏに関して対称であり、集光点１４ｃ、１４ｆの配列方向は、第２方向Ｖ２に対応している。なお、第２回折光束群の集光点１４ｃ、１４ｆから光軸Ｏまでの距離は、第１回折光束群の集光点１４ｄ、１４ｇのから光軸Ｏまでの距離と同じである。
Further, the
また、第３回折光束群の±１次回折光束の集光点１４ｂ、１４ｅは、光軸Ｏに関して対称であり、集光点１４ｂ、１４ｅの配列方向は、第３方向Ｖ３に対応している。なお、第３光束群の集光点１４ｂ、１４ｅから光軸Ｏまでの距離は、第１回折光束群の集光点１４ｄ、１４ｇから光軸Ｏまでの距離と同じである。
Further, the
また、図２（Ｂ）に示すように、第１〜第３回折光束群の各群の０次回折光束の集光点１４ａは、光軸Ｏ上に位置する。
As shown in FIG. 2B, the
因みに、光ファイバ１１から射出されるレーザ光の波長をλ、回折格子１３の構造周期をＰ、レンズ１６の焦点距離をｆｃとすると、光軸Ｏから集光点１４ｂ〜１４ｇまでの距離Ｄは下記の式で表される。
Incidentally, if the wavelength of the laser light emitted from the
Ｄ∝２ｆｃλ／Ｐ
また、ここでいう「集光点」とは、最大強度の８割以上の強度を有する領域の重心位置のことである。そのため、本実施形態の照明光学系１０は、完全な集光点が形成されるまで光束を集光する必要はない。
D∝2fcλ / P
Further, the “condensing point” here is the position of the center of gravity of a region having 80% or more of the maximum intensity. Therefore, the illumination
そして、以上の回折格子１３は、ピエゾモータ等からなる並進機構１５Ａ（図１参照）によって並進移動が可能である。並進機構１５Ａによる回折格子１３の並進移動の方向は、照明光学系１０の光軸Ｏと垂直な方向であって、前述した第１方向Ｖ１、第２方向Ｖ２、第３方向Ｖ３の各々に対して非垂直な方向である。この方向に回折格子１３が並進移動すると、干渉縞の位相がシフトする（詳細は後述。）。
The
次に、０次光シャッタ２００を詳しく説明する。
Next, the 0th-
図３（Ａ）は、０次光シャッタ２００を説明する図である。図３（Ａ）に示すとおり０次光シャッタ２００は、円形の透明基板の一部に円形の遮光部２００Ｃを形成してなる空間フィルタである。
FIG. 3A is a diagram for explaining the 0th-order
０次光シャッタ２００の遮光部２００Ｃは、第１〜第３回折光束群に共通する０次回折光束の光路（集光点１４ａ）をカバーし、０次光シャッッタ２００の非遮光部（透過部２００Ｂ）は、第１〜第３回折光束群の各群の±１次回折光束の光路（集光点１４ｂ〜１４ｇ）をカバーする。
The light-shielding
この０次光シャッタ２００は、回動機構２００Ａ（図１参照）により、照明光学系１０の光軸Ｏと平行、かつその光軸Ｏから離れた直線（軸ＡＲ）の周りに回動可能である。
The zero-
なお、 回動機構２００Ａには、例えば、０次光シャッタ２００を保持し、かつ軸ＡＲの周りに回転可能な不図示の回動軸と、その回動軸へ回転力を与える不図示のモータ（回転モータ）とが備えられる。このモータが駆動されると、回転軸が回転し、０次光シャッタ２００が軸ＡＲの周りに回転する。
The
０次光シャッタ２００の回動角が図３（Ａ）に示した基準角度（０°）に設定されると、遮光部２００Ｃが０次回折光束の光路に挿入され、０次光シャッタ２００の回動角が基準角度から外れた所定角度（例えば３０°）に設定されると、遮光部２００Ｃが０次回折光束の光路から外れる。
When the rotation angle of the 0th-order
したがって、０次光シャッタ２００の回動角を０°と３０°との間で切り換えれば、第１〜第３回折光束群の各群の±１次回折光束をオンしたまま０次回折光束のみをオン／オフすることができる。
Therefore, if the rotation angle of the 0th-
但し、０次光シャッタ２００の回動角が基準角度（０°）、所定角度（３０°）の何れである場合にも、０次光シャッタ２００の遮光部２００Ｃは、第１〜第３回折光束群の各群の±１次回折光束の光路を遮ることは無いものとする。
However, regardless of whether the rotation angle of the 0th-
また、ここでは０次光シャッタ２００を回動可能な空間フィルタとしたが、スライド可能な空間フィルタや、固定配置された液晶素子などで０次光シャッタ２００を構成してもよい。なお、液晶素子の配向を電気的に制御すれば、液晶素子の屈折率異方性を制御することができるので、液晶素子を０次光シャッタ２００として機能させることができる。
Although the 0th-
以下、０次光シャッタ２００が０次回折光束をオン又はオフするために必要な時間は、撮像素子の撮像時間（３０ｍｓｅｃ、６０ｍｓｅｃなど）と比較して、十分に短い（例えば５ｍｓｅｃ程度）と仮定する。
Hereinafter, it is assumed that the time required for the 0th-order
次に、光束選択部材１８を詳しく説明する。
Next, the light
図３（Ｂ）は、光束選択部材１８を説明する図である。図３（Ｂ）に示すとおり光束選択部材１８は、円形の不透明基板（マスク用基板）にスリット状の開口部１９、２０と、円形の開口部２９とを形成してなる空間フィルタである。
FIG. 3B is a diagram illustrating the light
光束選択部材１８の開口部１９は、第１〜第３回折光束群のうち、何れか１つの光束群に属する＋１次回折光束の光路（図３（Ｂ）では集光点１４ｇ）をカバーし、光束選択部材１８の開口部２０は、同じ光束群に属する−次回折光束の光路（図３（Ｂ）では集光点１４ｄ）をカバーし、光束選択部材１８の開口部２９は、第１〜第３回折光束群に共通する０次回折光束の光路（集光点１４ａ）をカバーし、光束選択部材１８の非開口部は、他の２つの光束群に属する±１次回折光束の光路（図３（Ｂ）では集光点１４ｂ、１４ｃ、１４ｅ、１４ｆ）をカバーする。
The
このうち、開口部１９の形成先と開口部２０の形成先とは、照明光学系１０の光軸Ｏに関して対称である。つまり、開口部１９を２等分する光軸Ｏを通る２等分線は、開口部２０を２等分する光軸Ｏを通る２等分線に対して１８０°ずれており、開口部１９の形状と開口部２０の形状とは、照明光学系１０の光軸Ｏに関して対称である。また、開口部２９の形成先は、光軸Ｏの近傍である。よって、光束選択部材１８の開口パターン（開口部１９、２０、２９の全体）は、照明光学系１０の光軸Ｏに関して対称となる。
Among these, the formation destination of the
この光束選択部材１８は、回動機構２４Ａ（図１参照）により、照明光学系１０の光軸Ｏの周りに回動可能である。
The light
なお、回動機構２４Ａには、例えば、光束選択部材１８を保持し、かつ光軸Ｏの周りに回転可能な不図示の保持部材と、その保持部材の周りに形成された不図示の第１の歯車と、第１の歯車に噛み合う不図示の第２の歯車と、第２の歯車に連結された不図示のモータ（回転モータ）とが備えられる。このモータが駆動されると第２の歯車が回転し、その回転力が第１の歯車へと伝達され、光束選択部材１８が光軸Ｏの周りに回転する。
The
開口部１９、２０、２９の配列方向が第１方向Ｖ１となるように光束選択部材１８の回動角が設定されると、光束選択部材１９を通過できるのは、第１〜第３回折光束群のうち第１回折光束群のみ（集光点１４ｇ、１４ａ、１４ｄのみ）に制限される。
When the rotation angle of the light
また、開口部１９、２０、２９の配列方向が第２方向Ｖ２となるように光束選択部材１８の回動角が設定されると、光束選択部材１９を通過できるのは、第１〜第３回折光束群のうち第２回折光束群のみ（集光点１４ｆ、１４ａ、１４ｃのみ）に制限される。
In addition, when the rotation angle of the light
また、開口部１９、２０、２９の配列方向が第３方向Ｖ３となるように光束選択部材１８の回動角が設定されると、光束選択部材１９を通過できるのは、第１〜第３回折光束群のうち第３回折光束群のみ（集光点１４ｅ、１４ａ、１４ｂのみ）に制限される。
Further, when the rotation angle of the light
したがって、光束選択部材１８を例えば６０°の角度周期で２回だけ回動させれば、光束選択部材１８によって選択される回折光束群の分岐方向を、第１方向Ｖ１、第２方向Ｖ２、第３方向Ｖ３の間で切り換えることができる。
Therefore, if the light
なお、光束選択部材１８における開口部１９、２０の各々の径方向の長さ（スリットの長手方向の長さ）は、光源波長の切り換え、又は、光源の多波長化に対処できるよう、十分な大きさを有している。なぜなら、回折格子１３における回折角度は光源波長に依存するので、照明光学系１０の光軸Ｏから集光点１４ｂ、１４ｃ、１４ｄ、１４ｅ、１４ｆ、１４ｇまでの高さも光源波長に依存する。
The radial lengths of the
因みに、光ファイバ１１から射出するレーザ光の波長をλとおき、回折格子１３の構造周期をＰとおき、レンズ１６の焦点距離をｆｃとおくと、光軸Ｏから集光点１４ｂ、１４ｃ、１４ｄ、１４ｅ、１４ｆ、１４ｇまでの高さＤは、Ｄ＝ｆｃ×λ／Ｐで表される。
Incidentally, if the wavelength of the laser light emitted from the
また、光束選択部材１８における開口部１９、２０の各々の周方向の長さ（スリットの短手方向の長さ）は、十分に小さく抑えられているものとする。具体的に、開口部１９、２０の各々の周方向の長さは、光軸Ｏの周りの中心角が３０°である扇状領域の周方向の長さより小さく抑えられている（なお、ここでいう「３０°」とは、光束選択部材１８の回動角度周期６０°の半分のことである。）。
In addition, it is assumed that the circumferential lengths of the
このような開口パターンの光束選択部材１８を回動させ、選択される回折光束群の分岐方向を第１方向Ｖ１、第２方向Ｖ２、第３方向Ｖ３の間で切り換えたならば、その切り換えの途中で、第１〜第３回折光束群の全ての±１次回折光束（集光点１４ｂ〜１４ｇ）が同時に遮光されるというタイミングが発現する。
If the light
以下、選択される回折光束群の分岐方向を切り換えるために必要な光束選択部材１８の最小の回動角（＝６０°）を、１角度周期とする。
Hereinafter, the minimum rotation angle (= 60 °) of the light
また、以下では、光束選択部材１８を１角度周期（＝６０°）だけ回動させるために必要な時間を、８０ｍｓｅｃ程度とする。この時間は、撮像素子の撮像時間（３０ｍｓｅｃ、６０ｍｓｅｃなど）と比較して必ずしも短くない。そこで本実施形態では、後述するとおり光束選択部材１８の回動パターンと撮像素子の駆動パターンとを最適化し、画像取得の効率化を図る。
In the following, the time required to rotate the light
次に、１／２波長板１７及び光束選択部材１８の機能を詳しく説明する。
Next, functions of the half-
図４は、１／２波長板１７の機能を説明する図であり、図５は、光束選択部材１８の機能を説明する図である。
FIG. 4 is a diagram illustrating the function of the half-
図４に示すとおり、１／２波長板１７は、入射した各次数の回折光束の偏光方向を設定する波長板であって、図５に示すとおり、光束選択部材１８は、第１〜第３回折光束群のうち何れか１群を選択的に通過させるマスクである。
As shown in FIG. 4, the half-
そして、これらの１／２波長板１７及び光束選択部材１８は、回動機構２４Ａ（図１参照）によって光軸Ｏの周りに回動可能である。回動機構２４Ａは、光束選択部材１８を回動させることにより、選択される光束群を第１〜第３回折光束群の間で切り替えると共に、光束選択部材１８に連動して１／２波長板１７を光軸Ｏの周りに回動させることにより、選択された光束群が標本５に入射するときの偏光方向をＳ偏光に保つ。
The half-
つまり、１／２波長板１７及び光束選択部材１８は、干渉縞の状態を保ちつつ、干渉縞の方向を切り替える。以下、縞の状態を保つための条件を具体的に説明する。
That is, the half-
先ず、１／２波長板１７の進相軸の向きは、選択される光束群の分岐方向（第１方向Ｖ１〜第３方向Ｖ３のいずれか）と、その光束群の偏光方向とが垂直となるように設定される必要がある。なお、ここでいう1／２波長板１７の進相軸とは、その軸の方向に偏光した光が１／２波長板１７を通過するときの位相遅延量が最小となるような方向のことである。
First, the direction of the fast axis of the half-
ここで、図４（Ａ）に示すように、１／２波長板１７の進相軸の方向が偏光板２３の軸の方向と平行になるときの１／２波長板１７の回動角を、１／２波長板１７の回動角の基準とする（以下、「第１の基準位置」と称する。）。
Here, as shown in FIG. 4A, the rotation angle of the half-
また、光束選択部材１８の光束選択方向（＝選択される±１次回折光束の分岐方向）が、偏光板２３の軸の方向と垂直になるときの光束選択部材１８の回動角を、光束選択部材１８の回動角の基準とする（以下、「第２の基準位置」と称する。）。
The rotation angle of the light
このとき、図４（Ｂ）に示すように、１／２波長板１７の第１基準位置からの回動角は、光束選択部材１８の第２基準位置からの回動角の２分の１に制御されるべきである。すなわち、１／２波長板１７の第１基準位置からの回動角がθ／２であるときには、光束選択部材１８の第２基準位置からの回動角は、θに設定されるべきである。
At this time, as shown in FIG. 4B, the rotation angle of the half-
そこで、回動機構２４Ａ（図１参照）は、第１回折光束群（分岐方向は第１方向Ｖ１）を選択するために、図５（Ａ）に示すように、光束選択部材１８の光束選択方向を第２の基準位置から右方に回動角θ１だけ回動させた場合、１／２波長板１７の進相軸の方向を、第１の基準位置から右方に回動角θ１／２だけ回動させる。
Therefore, as shown in FIG. 5A, the
このとき、１／２波長板１７を通過する前における回折光束群の偏光方向は、図５（Ａ）中に破線両矢印で示すとおり、偏光板２３の軸の方向と平行となっているのに対し、１／２波長板１７を通過した後における回折光束群の偏光方向は、右方に回動角θ１だけ回動するので、選択された回折光束群の偏光方向は、図５（Ａ）に実線両矢印で示すとおり、それら回折光束群の分岐方向（第１方向Ｖ１）に対して垂直となる。
At this time, the polarization direction of the diffracted light beam group before passing through the half-
換言すると、１／２波長板１７の進相軸の方向は、光束選択部材１８により選択される回折光束群の分岐方向（＝第１方向Ｖ１）に応じた方向であって、１／２波長板１７へ入射する回折光束群が有していた偏光方向（＝偏光板２３の軸方向）と、１／２波長板１７から射出する回折光束群が有するべき偏光方向（＝第１方向Ｖ１に垂直）とが成す角度の２等分線方向に、設定される。
In other words, the direction of the fast axis of the half-
また、回動機構２４Ａ（図１参照）は、第２回折光束群（分岐方向は第２方向Ｖ２）を選択するために、図５（Ｂ）に示すように、光束選択部材１８の光束選択方向を第２の基準位置から右方に回動角θ２だけ回動させた場合、１／２波長板１７の進相軸の方向を、第１の基準位置から右方に回動角θ２／２だけ回動させる。
Further, the
このとき、１／２波長板１７を通過する前における回折光束群の偏光方向は、図５（Ｂ）中に破線両矢線で示すとおり、偏光板２３の軸の方向と平行となっているのに対し、１／２波長板１７を通過した後における回折光束群の偏光方向は、右方に回動角θ２だけ回動するので、選択された回折光束群の偏光方向は、図５（Ｂ）に実線両矢印で示すとおり、それら回折光束群の分岐方向（第２方向Ｖ２）に対して垂直となる。
At this time, the polarization direction of the diffracted light beam group before passing through the half-
換言すると、１／２波長板１７の進相軸の方向は、光束選択部材１８により選択される回折光束群の分岐方向（＝第２方向Ｖ２）に応じた方向であって、１／２波長板１７へ入射する回折光束群が有していた偏光方向（＝偏光板２３の軸方向）と、１／２波長板１７から射出する回折光束群が有するべき偏光方向（＝第２方向Ｖ２に垂直）とが成す角度の２等分線方向に、設定される。
In other words, the direction of the fast axis of the half-
また、回動機構２４Ａ（図１参照）は、第３回折光束群（分岐方向は第３方向Ｖ３）を選択するために、図５（Ｃ）に示すように、光束選択部材１８の光束選択方向を第２の基準位置から左方（標本側から見て。以下同じ）に回動角θ３だけ回動させた場合、１／２波長板１７の進相軸の方向を、第１の基準位置から左方に回動角θ３／２だけ回動させる。
Further, as shown in FIG. 5C, the
このとき、１／２波長板１７を通過する前における回折光束群の偏光方向は、図５（Ｃ）中に破線両矢線で示すとおり、偏光板２３の軸の方向と平行となっているのに対し、１／２波長板１７を通過した後における回折光束群の偏光方向は、左方に回動角θ３だけ回動するので、選択された回折光束群の偏光方向は、図５（Ｃ）に実両矢印で示すとおり、それら回折光束群の分岐方向（第３方向Ｖ３）に対して垂直となる。
At this time, the polarization direction of the diffracted light beam group before passing through the half-
換言すると、１／２波長板１７の進相軸の方向は、光束選択部材１８により選択される回折光束群の分岐方向（＝第３方向Ｖ３）に応じた方向であって、１／２波長板１７へ入射する回折光束群が有していた偏光方向（＝偏光板２３の軸方向）と、１／２波長板１７から射出する回折光束群が有するべき偏光方向（＝第３方向Ｖ３に垂直）とが成す角度の２等分線方向に、設定される。
In other words, the direction of the fast axis of the half-
したがって、回動機構２４Ａは、１／２波長板１７及び光束選択部材１８をギア比２：１で連動すればよい。
Therefore, the
図６は、以上説明した１／２波長板１７及び光束選択部２４の機能を説明する図である。なお、図６において円形枠で囲まれた両矢線は、光束の偏光方向を示し、四角枠で囲まれた両矢線は、光学素子の軸方向を示している。なお、図６では、０次回折光束がオフされた状態を想定した。
FIG. 6 is a diagram for explaining the functions of the half-
なお、以上の説明では、標本５に入射する回折光束群をＳ偏光に保つために回動可能な１／２波長板１７を使用したが、回動可能な１／２波長板１７の代わりに固定配置された液晶素子を使用し、その液晶素子を１／２波長板１７として機能させてもよい。液晶素子の配向を電気的に制御すれば、液晶素子の屈折率異方性を制御することができるので、１／２波長板としての進相軸を光軸Ｏの周りに回動させることができる。因みに、標本５に入射する回折光束群をＳ偏光に保つための方法は他にもある（後述）。
In the above description, the rotatable half-
また、図７に示すように、光束選択部材１８の外周部には、複数の（図７に示す例では６個の）切り欠き２１が形成されており、回動機構２４Ａ（図１参照）には、これらの切り欠き２１を検出するためのタイミングセンサ２２が備えられている。これによって、回動機構２４Ａは、光束選択部１８の回動角、ひいては１／２波長板１７の回動角を検知することができる。なお、このような切り欠き及びタイミングセンサは、０次光シャッタ２００にも設けられる。
Further, as shown in FIG. 7, a plurality of (six in the example shown in FIG. 7)
次に、並進機構１５Ａ（図１参照）の機能を詳しく説明する。
Next, the function of the
図８は、並進機構１５Ａの機能を説明する図である。
FIG. 8 is a diagram illustrating the function of the
先ず、後述する復調演算には、例えば、同一の標本５かつ同一方向の干渉縞に関する変調画像であって、干渉縞の位相の異なる２枚以上の変調画像が使用される可能性がある。なぜなら、構造化照明顕微鏡装置１が生成する変調画像には、標本５の蛍光領域の構造のうち、干渉縞により空間周波数の変調された構造情報である０次変調成分、＋１次変調成分、−１次変調成分が含まれており、それら３つの未知パラメータを復調演算で既知とする必要があるからである。
First, in a demodulation operation to be described later, for example, two or more modulated images having the same sample 5 and interference fringes in the same direction and having different phases of the interference fringes may be used. This is because the modulated image generated by the structured
そこで、並進機構１５Ａは、干渉縞の位相をシフトするために、図８（Ａ）に示すように、照明光学系１０の光軸Ｏと垂直な方向であって、前述した第１方向Ｖ１、第２方向Ｖ２、第３方向Ｖ３の全てに対して非垂直な方向（ｘ方向）にかけて回折格子１３をシフトさせる。
Therefore, the
但し、干渉縞の位相を所望のシフト量φだけシフトさせるのに必要な回折格子１３のシフト量Ｌは、光束選択部２４による光束選択方向が第１方向Ｖ１であるときと、第２方向Ｖ２であるときと、第３方向Ｖ３であるときとでは、同じとは限らない。
However, the shift amount L of the
図８（Ｂ）に示すとおり、回折格子１３の第１方向Ｖ１、第２方向Ｖ２、第３方向Ｖ３の各々の構造周期をＰとおき、回折格子１３のシフト方向（ｘ方向）と第１方向Ｖ１とのなす角をθ１とおき、回折格子１３のシフト方向（ｘ方向）と第２方向Ｖ２とのなす角をθ２とおき、回折格子１３のシフト方向（ｘ方向）と第３方向Ｖ３とのなす角をθ３とおくと、光束選択方向が第１方向Ｖ１であるときに必要な回折格子１３のｘ方向のシフト量Ｌ１は、Ｌ１＝φ×Ｐ／（ａ×４π×｜ｃｏｓθ１｜）で表され、光束選択方向が第２方向Ｖ２であるときに必要な回折格子１３のｘ方向のシフト量Ｌ２は、Ｌ２＝φ×Ｐ／（ａ×４π×｜ｃｏｓθ２｜）で表され、光束選択方向が第３方向Ｖ３であるときに必要な回折格子１３のｘ方向のシフト量Ｌ３は、Ｌ３＝φ×Ｐ／（ａ×４π×｜ｃｏｓθ３｜）で表される。
As shown in FIG. 8B, the structural period of each of the first direction V 1 , the second direction V 2 , and the third direction V 3 of the
すなわち、干渉縞の位相シフト量を所望の値φとするために必要な回折格子１３のｘ方向のシフト量Ｌは、光束選択方向（第１方向Ｖ１、第２方向Ｖ２、第３方向Ｖ３の何れか）とｘ方向とのなす角θにより式（１）のとおり表される。
That is, the shift amount L in the x direction of the
Ｌ＝φ×Ｐ／（ａ×４π×｜ｃｏｓθ｜） …（１）
因みに、干渉縞の位相シフト量φを２πとするために必要な回折格子１３のｘ方向のシフト量Ｌは、Ｐ／（ａ×２×｜ｃｏｓθ｜）となる。これは、回折格子１３の半周期に相当する量である。つまり、回折格子１３を半周期分シフトさせるだけで、構造化照明光の位相を１周期分シフトできる（なぜなら、±１次回折光からなる構造化照明光の縞周期は、回折格子１３の構造周期の２倍に相当する。）。
L = φ × P / (a × 4π × | cos θ |) (1)
Incidentally, the shift amount L in the x direction of the
以下、並進機構１５Ａが干渉縞の位相を１角度周期（例えばπ）だけシフトさせるために必要な時間は撮像素子の撮像時間（３０ｍｓｅｃ、６０ｍｓｅｃなど）と比較して十分に短い（例えば５ｍｓｅｃ程度）と仮定する。
Hereinafter, the time required for the
但し、ａ＝１（Ｍ＝１、２のとき）、ａ＝２（Ｍ＝３のとき）である。Ｍは、回折格子１３が有する周期構造の方向数である。よって、本実施形態では、Ｍ＝３、ａ＝２である。ｌ
［第１実施形態の２Ｄ−ＳＩＭモード］
次に、本実施形態の２Ｄ−ＳＩＭモードを詳しく説明する。
However, a = 1 (when M = 1, 2) and a = 2 (when M = 3). M is the number of directions of the periodic structure of the
[2D-SIM mode of the first embodiment]
Next, the 2D-SIM mode of this embodiment will be described in detail.
２Ｄ−ＳＩＭモードでは、０次回折光束が０次光シャッタ２００によって基本的にオフされ、干渉縞に寄与する回折光束は±１次回折光束の２光束のみに制限される。このような２光束による干渉縞は、標本５の深さ方向にも超解像効果を得ることはできないが、標本５を全反射観察する（ＴＩＲＦ−ＳＩＭモードで観察する）ことができる。
In the 2D-SIM mode, the 0th-order diffracted light beam is basically turned off by the 0th-order
さて、本実施形態の２Ｄ−ＳＩＭモードでは、画像記憶・演算装置４０の復調演算として、後述する第１．７節の復調演算が採用される。この復調演算には、干渉縞の方向の異なる３枚の変調画像と１枚の無変調画像との合計４枚の画像が使用される。無変調画像とは、一様な照度の照明下で取得される画像のことである。
In the 2D-SIM mode of the present embodiment, the demodulation operation described in Section 1.7, which will be described later, is employed as the demodulation operation of the image storage /
そこで、本実施形態の２Ｄ−ＳＩＭモードでは、光束選択部材１８の回動角を６０°の角度周期で２回だけ切り換え、その回動前後の３つの回動角の各々で１枚ずつ変調画像を撮像することで、光束選択部材１８の回動角を最小限に抑える。
Therefore, in the 2D-SIM mode of the present embodiment, the rotation angle of the light
さらに、本実施形態の２Ｄ−ＳＩＭモードでは、光束選択部材１８の回動途中に無変調画像を撮像することで、光束選択部材１８の回動に要する時間（ここでは約８０ｍｓｅｃ）を有効利用する。
Furthermore, in the 2D-SIM mode of the present embodiment, the time required for rotation of the light beam selection member 18 (here, about 80 msec) is effectively used by capturing an unmodulated image while the light
図９は、第１実施形態の２Ｄ−ＳＩＭモードにおける制御装置３９のタイミングチャートである。以下、各フレーム周期における制御装置３９の動作を説明する。なお、ここではレーザユニット１００の波長が波長λ１のみ（単色）に設定され、撮像素子として第１撮像素子３５１のみが駆動され、レーザユニット１００の出力がパワー不変の連続波に設定されたと仮定する。この場合、第１撮像素子３５１が生成する変調画像又は無変調画像の明るさ（輝度）は、第１撮像素子３５１の電荷蓄積時間によって制御される。また、ここでは撮像素子３５１のフレーム周期が８０ｍｓｅｃに設定されたと仮定する。
FIG. 9 is a timing chart of the
第１フレーム周期：第１フレーム周期の開始に先立ち、制御装置３９は、回動機構２００Ａを介して０次光シャッタ２００を制御することにより、０次回折光束をオフすると共に（図９（６Ａ））、回動機構２４Ａを介して光束選択部材１８を制御することにより、干渉縞の方向を第３方向Ｖ３にセットする（図９（５Ａ））。図９では、この状態における光束選択部材１８の回動角θをゼロとおいた。よって、第１フレーム周期の開始時点では、光束選択部２４の開口パターンは、図９（１Ａ）のとおりとなり、標本５の照明パターンは、図９（２Ａ）のとおりとなる。第１フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図９（３Ａ））及び電荷読出（図９（４Ａ））を行い、１枚目の変調画像を取得する。
First frame period: Prior to the start of the first frame period, the
第２フレーム周期：第２フレーム周期の開始に先立ち、制御装置３９は、回動機構２００Ａを介して０次光シャッタ２００を制御することにより、０次回折光束をオンすると共に（図９（６Ｂ））、回動機構２４Ａを介して光束選択部材１８を制御することにより、光束選択部材１８の回動を開始する（図９（５Ｂ））。その後、制御装置３９は、回動機構２４Ａによる光束選択部材１８の回動角が半角度周期（３０°）ほど変化したタイミングで、第２フレーム周期を開始する。よって、第２フレーム周期の開始時点では、光束選択部２４の開口パターンは、図９（１Ｂ）のとおりとなり、標本５の照明パターンは、図９（２Ｂ）のとおりとなる。第２フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図９（３Ｂ））及び電荷読出（図９（４Ｂ））を行い、１枚の無変調画像を取得する。
Second frame period: Prior to the start of the second frame period, the
第３フレーム周期：第３フレーム周期の開始に先立ち、制御装置３９は、回動機構２００Ａを介して０次光シャッタ２００を制御することにより、０次回折光束をオフする（図９（６Ｃ））。そして、制御装置３９は、回動機構２４Ａによる光束選択部材１８の１角度周期分（６０°）の回動が完了したタイミング（図９（５Ｃ））で、第３フレーム周期を開始する。第３フレーム周期の開始時点では、光束選択部２４の開口パターンは、図９（１Ｃ）のとおりとなり、標本５の照明パターンは、図９（２Ｃ）のとおりとなる。第３フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図９（３Ｃ））及び電荷読出（図９（４Ｃ））を行い、２枚目の変調画像を取得する。
Third frame period: Prior to the start of the third frame period, the
第４フレーム周期：第４フレーム周期の開始に先立ち、制御装置３９は、回動機構２４Ａを介して光束選択部材１８を制御することにより、光束選択部材１８の回動を開始する（図９（５Ｄ））。その後、制御装置３９は、回動機構２４Ａによる光束選択部材１８の回動角が半角度周期（３０°）ほど変化したタイミングで、第４フレーム周期を開始する。第４フレーム周期の開始時点では、光束選択部２４の開口パターンは、図９（１Ｄ）のとおりとなり、標本５の照明パターンは、図９（２Ｄ）のとおりとなる。第４フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図９（３Ｄ））及び電荷読出（図９（４Ｄ））を休止する。
Fourth frame period: Prior to the start of the fourth frame period, the
第５フレーム周期：制御装置３９は、回動機構２４Ａによる光束選択部材１８の１角度周期分（６０°）の回動が完了したタイミング（図９（５Ｅ））で、第５フレーム周期を開始する。第５フレーム周期の開始時点では、光束選択部２４の開口パターンは、図９（１Ｅ）のとおりとなり、標本５の照明パターンは、図９（２Ｅ）のとおりとなる。第５フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図９（３Ｅ））及び電荷読出（図９（４Ｅ））を行い、３枚目の変調画像を取得する（以上、第５フレーム周期）。
Fifth frame period: The
なお、以上の２Ｄ−ＳＩＭモードでは、変調画像の撮像時に標本５へ入射する光束は２光束（±１次回折光束）であるのに対して、無変調画像の撮像時に標本５へ入射する光束は１光束（０次回折光束）のみである。 In the 2D-SIM mode described above, the light beam incident on the sample 5 when the modulated image is captured is two light beams (± first-order diffracted light beam), whereas the light beam incident on the sample 5 when the unmodulated image is captured. Is only one light beam (0th-order diffracted light beam).
このため、変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間と、無変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間とを共通にすると、変調画像と無変調画像との少なくとも一方の輝度範囲が適正範囲から外れる虞がある。
Therefore, if the charge accumulation time of the
そこで、本実施形態の２Ｄ−ＳＩＭモードにおける制御装置３９は、変調画像の輝度範囲と無変調画像の輝度範囲とが同等の範囲に収まるよう、変調画像の撮像時における電荷蓄積時間と、無変調画像の撮像時における電荷蓄積時間との関係を、適切な関係に設定する。
Therefore, the
具体的には、無変調画像の撮像時における電荷蓄積時間（図９（３Ｂ））は、変調画像の撮像時における電荷蓄積時間（図９（３Ａ）、（３Ｃ）、（３Ｅ））よりも長い値に設定される。 Specifically, the charge accumulation time (FIG. 9 (3B)) when capturing a non-modulated image is longer than the charge accumulation time (FIG. 9 (3A), (3C), (3E)) when capturing a modulated image. Set to a long value.
さらに、本実施形態の２Ｄ−ＳＩＭモードにおける制御装置３９は、無変調画像の電荷蓄積時間と変調画像の電荷蓄積時間とのバランスを、使用波長ごとに設定する。なぜなら、回折格子１３の回折効率は使用波長に依存するので、＋１次回折光束の強度と−１次回折光束の強度と０次回折光束の強度との比も使用波長に依存するからである。
Further, the
例えば、図１に示した２つの撮像素子（第１撮像素子３５１、第２撮像素子３５２）の一方を長波長観察に使用し、他方を短波長観察に使用する場合は、第１撮像素子３５１の前記バランスと、第２撮像素子３５２の前記バランスとは、個別に設定される。
For example, when one of the two image sensors (
［第１実施形態の２Ｄ−ＳＩＭモードの補足］
なお、本実施形態の２Ｄ−ＳＩＭモードでは、無変調画像及び変調画像の明るさ（輝度）を、撮像素子の電荷蓄積時間のみによって制御したが、レーザパワー、レーザ照射時間、電荷蓄積時間の組み合わせによって制御してもよいことは言うまでもない。
[Supplement to 2D-SIM mode of the first embodiment]
In the 2D-SIM mode of the present embodiment, the brightness (luminance) of the unmodulated image and the modulated image is controlled only by the charge accumulation time of the image sensor, but a combination of laser power, laser irradiation time, and charge accumulation time. It goes without saying that it may be controlled by.
何れにせよ、変調画像の撮像時における標本像強度Ｉｓｉと、無変調画像の撮像時における標本像強度Ｉｆｌａｔと、変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間Ｔｓｉと、無変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間Ｔｆｌａｔとは、以下の式（Ａ）を満たす。
In any case, the sample image intensity I si at the time of capturing the modulated image, the sample image intensity I flat at the time of capturing the non-modulated image, the charge accumulation time T si of the
０．５＜（Ｉｆｌａｔ×Ｔｆｌａｔ）／（Ｉｓｉ×Ｔｓｉ）≦２ …（Ａ）
更に望ましくは、以下の式（Ｂ）を満たす。
0.5 <(I flat × T flat ) / (I si × T si ) ≦ 2 (A)
More preferably, the following formula (B) is satisfied.
（Ｉｆｌａｔ×Ｔｆｌａｔ）／（Ｉｓｉ×Ｔｓｉ）＝１ …（Ｂ）
また、本実施形態の２Ｄ−ＳＩＭモードでは、第２フレーム周期で無変調画像を撮像し、第４フレーム周期の撮像を休止したが、第２フレーム周期の動作と第４フレーム周期の動作とを入れ替えても構わない。
(I flat × T flat ) / (I si × T si ) = 1 (B)
In the 2D-SIM mode of the present embodiment, an unmodulated image is captured in the second frame period and the imaging in the fourth frame period is paused. However, the operation in the second frame period and the operation in the fourth frame period are performed. You can replace it.
また、本実施形態の２Ｄ−ＳＩＭモードでは、第４フレーム周期で撮像を休止したが、第４フレーム周期で無変調画像を撮像し、その無変調画像を有効利用してもよい（図１０参照）。 In the 2D-SIM mode of the present embodiment, imaging is paused at the fourth frame period. However, an unmodulated image may be captured at the fourth frame period, and the unmodulated image may be used effectively (see FIG. 10). ).
但し、図１０の例では、第４フレーム周期の撮像時にも第２フレーム周期の撮像時と同様に０次回折光束がオンされる（図１０（６Ｄ））。 However, in the example of FIG. 10, the 0th-order diffracted light beam is also turned on when imaging in the fourth frame period, as in the imaging of the second frame period (FIG. 10 (6D)).
また、図１０の例では、無変調画像の撮像枚数が２枚になるので、無変調画像１枚当たりの電荷蓄積時間（図１０（３Ｂ）、（３Ｄ））を、図９の例における電荷蓄積時間（図９（３Ｂ））の半分に抑えることができる。 In the example of FIG. 10, since the number of non-modulated images taken is two, the charge accumulation time (FIG. 10 (3B), (3D)) per non-modulated image is the charge in the example of FIG. It can be suppressed to half of the accumulation time (FIG. 9 (3B)).
また、図１０の例が採用された場合、画像記憶・演算装置４０は、第２フレーム周期で撮像された無変調画像と第４フレーム周期で撮像された無変調画像とを加算することにより、１枚の無変調画像を作成する。
When the example of FIG. 10 is adopted, the image storage /
［第１実施形態の３Ｄ−ＳＩＭモード］
次に、本実施形態の３Ｄ−ＳＩＭモードを詳しく説明する。
[3D-SIM mode of the first embodiment]
Next, the 3D-SIM mode of this embodiment will be described in detail.
３Ｄ−ＳＩＭモードでは、０次回折光束が０次光シャッタ２００によって基本的にオンされ、干渉縞に寄与する回折光束は±１次回折光束及び０次回折光束の３光束に設定される。このような３光束による干渉縞は、標本５を全反射観察する（ＴＩＲＦ−ＳＩＭモードで観察する）ことはできないが、標本５の深さ方向にも超解像効果を得ることができる。
In the 3D-SIM mode, the 0th-order diffracted light beam is basically turned on by the 0th-order
さて、本実施形態の３Ｄ−ＳＩＭモードでは、画像記憶・演算装置４０の復調演算として、後述する第２．５節の復調演算が採用される。この復調演算には、干渉縞の方向及び位相の組み合わせの異なる６枚の変調画像と１枚の無変調画像との合計７枚の画像が使用される。
In the 3D-SIM mode of the present embodiment, the demodulation operation described in Section 2.5, which will be described later, is employed as the demodulation operation of the image storage /
そこで、本実施形態の３Ｄ−ＳＩＭモードでは、光束選択部材１８の回動角を６０°の角度周期で２回だけ切り換え、その回動前後の３つの回動角の各々で２枚ずつ変調画像を撮像することで、光束選択部材１８の回動角を最小限に抑える。
Therefore, in the 3D-SIM mode of the present embodiment, the rotation angle of the light
さらに、本実施形態の３Ｄ−ＳＩＭモードでは、光束選択部材１８の回動途中に無変調画像を撮像することで、その回動に要する時間（ここでは８０ｍｓｅｃ）を有効利用する。
Furthermore, in the 3D-SIM mode of the present embodiment, a time required for the rotation (here, 80 msec) is effectively used by capturing an unmodulated image while the light
図１１は、第１実施形態の３Ｄ−ＳＩＭモードにおける制御装置３９のタイミングチャートである。以下、各フレーム周期における制御装置３９の動作を説明する。なお、ここではレーザユニット１００の波長が波長λ１のみ（単色）に設定され、撮像素子として第１撮像素子３５１のみが駆動され、レーザユニット１００の出力がパワー不変の連続波に設定されたと仮定する。この場合、第１撮像素子３５１が生成する変調画像又は無変調画像の明るさ（輝度）は、第１撮像素子３５１の電荷蓄積時間によって制御される。また、ここでは撮像素子３５１のフレーム周期が８０ｍｓｅｃに設定されたと仮定する。
FIG. 11 is a timing chart of the
第１フレーム周期：第１フレーム周期の開始に先立ち、制御装置３９は、回動機構２００Ａを介して０次光シャッタ２００を制御することにより、０次回折光束をオンすると共に（図１１（６Ａ））、回動機構２４Ａを介して光束選択部材１８を制御することにより、干渉縞の方向を第３方向Ｖ３にセットする（図１１（５Ａ））。図１１では、この状態における光束選択部材１８の回動角θをゼロとおいた。よって、第１フレーム周期の開始時点では、光束選択部２４の開口パターンは、図１１（１Ａ）のとおりとなり、標本５の照明パターンは、図１１（２Ａ）のとおりとなる。第１フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図１１（３Ａ））及び電荷読出（図１１（４Ａ））を行い、１枚目の変調画像を取得する。
First frame period: Prior to the start of the first frame period, the
第２フレーム周期：第２フレーム周期の開始に先立ち、制御装置３９は、並進機構１５Ａを介して回折格子１３をｘ方向へ所定量シフトさせることにより、干渉縞の位相をπだけシフトさせる。なお、位相をπだけシフトさせるために必要な時間は、フレーム周期（８０ｍｓｅｃ）よりも十分に短いものとする。よって、第２フレーム周期の開始時点では、標本５の照明パターンは、図１１（２Ａ’）のとおりとなる。第２フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図１１（３Ａ’））及び電荷読出（図１１（４Ａ’））を行い、２枚目の変調画像を取得する。
Second frame period: Prior to the start of the second frame period, the
第３フレーム周期：第３フレーム周期の開始に先立ち、制御装置３９は、回動機構２４Ａを介して光束選択部材１８を制御することにより、光束選択部材１８の回動を開始する（図１１（５Ｂ））。その後、制御装置３９は、回動機構２４Ａによる光束選択部材１８の回動角が半角度周期（３０°）ほど変化したタイミングで、第３フレーム周期を開始する。よって、第３フレーム周期の開始時点では、光束選択部２４の開口パターンは、図１１（１Ｂ）のとおりとなり、標本５の照明パターンは、図１１（２Ｂ）のとおりとなる。第３フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図１１（３Ｂ））及び電荷読出（図１１（４Ｂ））を行い、１枚の無変調画像を取得する。
Third frame period: Prior to the start of the third frame period, the
第４フレーム周期：制御装置３９は、回動機構２４Ａによる光束選択部材１８の１角度周期分（６０°）の回動が完了したタイミング（図１１（５Ｃ））で、第４フレーム周期を開始する。第４フレーム周期の開始時点では、光束選択部２４の開口パターンは、図１１（１Ｃ）のとおりとなり、標本５の照明パターンは、図１１（２Ｃ）のとおりとなる。第４フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図１１（３Ｃ））及び電荷読出（図１１（４Ｃ））を行い、３枚目の変調画像を取得する。
Fourth frame period: The
第５フレーム周期：第５フレーム周期の開始に先立ち、制御装置３９は、並進機構１５Ａを介して回折格子１３をｘ方向へ所定量シフトさせることにより、干渉縞の位相をπだけシフトさせる。よって、第５フレーム周期の開始時点では、標本５の照明パターンは、図１１（２Ｃ’）のとおりとなる。第５フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図１１（３Ｃ’））及び電荷読出（図１１（４Ｃ’））を行い、４枚目の変調画像を取得する。
Fifth frame period: Prior to the start of the fifth frame period, the
第６フレーム周期：第６フレーム周期の開始に先立ち、制御装置３９は、回動機構２４Ａを介して光束選択部材１８を制御することにより、光束選択部材１８の回動を開始する（図１１（５Ｄ））。その後、制御装置３９は、回動機構２４Ａによる光束選択部材１８の回動角が半角度周期（３０°）ほど変化したタイミングで、第６フレーム周期を開始する。第６フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図１１（３Ｄ））及び電荷読出（図１１（４Ｄ））を休止する。
Sixth frame period: Prior to the start of the sixth frame period, the
第７フレーム周期：制御装置３９は、回動機構２４Ａによる光束選択部材１８の１角度周期分（６０°）の回動が完了したタイミング（図１１（５Ｅ））で、第７フレーム周期を開始する。第７フレーム周期の開始時点では、光束選択部２４の開口パターンは、図１１（１Ｅ）のとおりとなり、標本５の照明パターンは、図１１（２Ｅ）のとおりとなる。第７フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図１１（３Ｅ））及び電荷読出（図１１（４Ｅ））を行い、５枚目の変調画像を取得する。
Seventh frame period: The
第８フレーム周期：第８フレーム周期の開始に先立ち、制御装置３９は、並進機構１５Ａを介して回折格子１３をｘ方向へ所定量シフトさせることにより、干渉縞の位相をπだけシフトさせる。よって、第８フレーム周期の開始時点では、標本５の照明パターンは、図１１（２Ｅ’）のとおりとなる。第８フレーム周期が開始されると、制御装置３９は、第１撮像素子３５１の電荷蓄積（図１１（３Ｅ’））及び電荷読出（図１１（４Ｅ’））を行い、６枚目の変調画像を取得する（以上、第８フレーム周期）。
Eighth frame period: Prior to the start of the eighth frame period, the
なお、以上の３Ｄ−ＳＩＭモードでは、変調画像の撮像時に標本５へ入射する光束は３光束（±１次回折光束及び０次回折光束）であるのに対して、無変調画像の撮像時に標本５へ入射する光束は１光束（０次回折光束）のみである。 In the 3D-SIM mode described above, the light beam incident on the sample 5 when the modulated image is captured is three light beams (± first-order diffracted light beam and zero-order diffracted light beam), whereas the sample is captured when an unmodulated image is captured. Only one light beam (0th-order diffracted light beam) is incident on 5.
このため、変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間と、無変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間とを共通にすると、変調画像と無変調画像との少なくとも一方の輝度範囲が適正範囲から外れる虞がある。
Therefore, if the charge accumulation time of the
そこで、本実施形態の３Ｄ−ＳＩＭモードにおける制御装置３９は、変調画像の輝度範囲と無変調画像の輝度範囲とが同等の範囲に収まるよう、変調画像の撮像時における電荷蓄積時間と、無変調画像の撮像時における電荷蓄積時間との関係を、適切な関係に設定する。
Therefore, the
具体的には、無変調画像の撮像時における電荷蓄積時間（図１１（３Ｂ））は、変調画像の撮像時における電荷蓄積時間（図１１（３Ａ）、（３Ａ’）、（３Ｃ）、（３Ｃ’）、３（Ｅ）、３（Ｅ’））よりも長い値に設定される。 Specifically, the charge accumulation time (FIG. 11 (3B)) when capturing a non-modulated image is equal to the charge accumulation time (FIG. 11 (3A), (3A ′), (3C), (3)) when capturing a modulated image. 3C ′), 3 (E), 3 (E ′)).
さらに、本実施形態の３Ｄ−ＳＩＭモードにおける制御装置３９は、無変調画像の電荷蓄積時間と変調画像の電荷蓄積時間とのバランスを、使用波長ごとに設定する。なぜなら、回折格子１３の回折効率は使用波長に依存するので、＋１次回折光束の強度と−１次回折光束の強度と０次回折光束の強度との比も使用波長に依存するからである。
Further, the
例えば、図１に示した２つの撮像素子（第１撮像素子３５１、第２撮像素子３５２）の一方を長波長観察に使用し、他方を短波長観察に使用する場合は、第１撮像素子３５１の前記バランスと、第２撮像素子３５２の前記バランスとは、個別に設定される。
For example, when one of the two image sensors (
［第１実施形態の３Ｄ−ＳＩＭモードの補足］
なお、第１実施形態の３Ｄ−ＳＩＭモードでは、無変調画像及び変調画像の明るさ（輝度）を、撮像素子の電荷蓄積時間のみによって制御したが、レーザパワー、レーザ照射時間、電荷蓄積時間の組み合わせによって制御してもよいことは言うまでもない。
[Supplement to 3D-SIM mode of the first embodiment]
In the 3D-SIM mode of the first embodiment, the brightness (luminance) of the unmodulated image and the modulated image is controlled only by the charge accumulation time of the image sensor, but the laser power, laser irradiation time, and charge accumulation time are controlled. Needless to say, it may be controlled by a combination.
何れにせよ、変調画像の撮像時における標本像強度Ｉｓｉと、無変調画像の撮像時における標本像強度Ｉｆｌａｔと、変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間Ｔｓｉと、無変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間Ｔｆｌａｔとは、式（Ａ）を満たす。
In any case, the sample image intensity I si at the time of capturing the modulated image, the sample image intensity I flat at the time of capturing the non-modulated image, the charge accumulation time T si of the
更に望ましくは、式（Ｂ）を満たす。 More preferably, the formula (B) is satisfied.
また、本実施形態の３Ｄ−ＳＩＭモードでは、第３フレーム周期で無変調画像を撮像し、第６フレーム周期の撮像を休止したが、第３フレーム周期の動作と第６フレーム周期の動作とを入れ替えても構わない。 In the 3D-SIM mode of the present embodiment, an unmodulated image is captured in the third frame period and the imaging in the sixth frame period is paused. However, the operation in the third frame period and the operation in the sixth frame period are performed. You can replace it.
また、本実施形態の３Ｄ−ＳＩＭモードでは、第６フレーム周期で撮像を休止したが、第６フレーム周期で無変調画像を撮像し、その無変調画像を有効利用してもよい（図１２参照）。 In the 3D-SIM mode of the present embodiment, imaging is paused at the sixth frame period. However, an unmodulated image may be captured at the sixth frame period, and the unmodulated image may be used effectively (see FIG. 12). ).
図１２の例では、無変調画像の撮像枚数が２枚になるので、無変調画像１枚当たりの電荷蓄積時間（図１２（３Ｂ）、（３Ｄ））を、図１１の例における電荷蓄積時間（図１１（３Ｂ））の半分に抑えることができる。 In the example of FIG. 12, since the number of unmodulated images to be captured is two, the charge accumulation time (FIG. 12 (3B), (3D)) per unmodulated image is the charge accumulation time in the example of FIG. (Fig. 11 (3B)) can be reduced to half.
また、図１２の例が採用された場合、画像記憶・演算装置４０は、第３フレーム周期で撮像された無変調画像と第６フレーム周期で撮像された無変調画像とを加算することにより、１枚の無変調画像を作成する。
When the example of FIG. 12 is employed, the image storage /
［第２実施形態］
以下、第２実施形態として第１実施形態の変形例を説明する。ここでは、第１実施形態との相違点のみを説明する。
[Second Embodiment]
Hereinafter, a modification of the first embodiment will be described as the second embodiment. Here, only differences from the first embodiment will be described.
第１実施形態との相違点は、無変調画像の撮像時に使用される光束を、０次回折光束ではなく±１次回折光束の一方とした点にある。 The difference from the first embodiment is that the light beam used at the time of capturing an unmodulated image is one of ± 1st order diffracted light beam instead of 0th order diffracted light beam.
そのために本実施形態では、光束選択部材１８の代わりに光束選択部材１８’が使用され、制御装置３９の動作も一部変更される。
Therefore, in this embodiment, the light
図１３は、本実施形態の光束選択部材１８’を説明する図である。図１３に示すとおり、光束選択部材１８’は、第１実施形態の光束選択部材１８において、スリット状の開口部１９の代わりに、部分扇状の開口部１９’を形成したものである。
FIG. 13 is a diagram illustrating the light
この開口部１９’は、開口部１９と同様、第１〜第３回折光束群のうち、何れか１つの光束群に属する＋１次回折光束の光路をカバーするものであるが、開口部１９’の周方向の長さは、開口部１９の周方向の長さよりも大きく確保されている。
Similar to the
具体的に、開口部１９’の周方向の長さは、光軸Ｏ周りの中心角が６０°である扇状領域の周方向の長さと同等に設定されている（なお、ここでいう「６０°」とは、光束選択部材１８’の回動角度周期と同じ角度のことである。）。
Specifically, the circumferential length of the
また、開口部１９’の光軸Ｏ周りの形成位置は、開口部２０の光軸Ｏ周りの形成位置に対して反時計周りに１８０°＋３０°程度だけ意図的にずれている。つまり、開口部１９’を２等分する光軸Ｏを通る２等分線は、開口部２０を２等分する光軸Ｏを通る２等分線に対して反時計周りに１８０°＋３０°程度、ずれている。
Further, the formation position of the
よって、光束選択部材１８’の開口パターン（開口部１９’、２０、２９の全体）は、照明光学系１０の光軸Ｏに関して非対称となる。
Therefore, the opening pattern of the light
このような開口パターンの光束選択部材１８’を１角度周期（＝６０°）だけ回動させ、選択される回折光束群の分岐方向を切り換えたならば、その切り換えの途中で、第１〜第３回折光束群の各群の±１次回折光束のうち何れか１光束のみが開放されるというタイミングが発現する。
If the light
［第２実施形態の２Ｄ−ＳＩＭモード］
次に、本実施形態の２Ｄ−ＳＩＭモードを詳しく説明する。
[2D-SIM mode of the second embodiment]
Next, the 2D-SIM mode of this embodiment will be described in detail.
本実施形態の２Ｄ−ＳＩＭモードでも、第１実施形態の２Ｄ−ＳＩＭモードと同様、復調演算として後述する第１．７節の復調演算が採用される。 Also in the 2D-SIM mode of the present embodiment, the demodulation operation described in Section 1.7, which will be described later, is employed as the demodulation operation, similarly to the 2D-SIM mode of the first embodiment.
そこで、本実施形態の２Ｄ−ＳＩＭモードでも、第１実施形態の２Ｄ−ＳＩＭモードと同様、光束選択部材１８’の回動角を６０°の角度周期で２回だけ切り換え、その回動前後の３つの回動角の各々で１枚ずつ変調画像を取得することで、光束選択部材１８’の回動角を最小限に抑える。
Therefore, also in the 2D-SIM mode of the present embodiment, as in the 2D-SIM mode of the first embodiment, the rotation angle of the light
さらに、本実施形態の２Ｄ−ＳＩＭモードでも、光束選択部材１８’の回動途中に無変調画像の取得を行うことで、光束選択部材１８’の回動に要する時間（ここでは８０ｍｓｅｃ）を有効利用する。
Further, even in the 2D-SIM mode of the present embodiment, the time required for the rotation of the light
図１４は、第２実施形態の２Ｄ−ＳＩＭモードにおける制御装置３９のタイミングチャートである。
FIG. 14 is a timing chart of the
本実施形態の２Ｄ−ＳＩＭモードにおける光束選択部材１８’の回動パターン（図１４（５Ａ）〜（５Ｅ））は、第１実施形態の２Ｄ−ＳＩＭモードにおける光束選択部材１８’の回動パターン（図９（５Ａ）〜（５Ｅ））と同じであり、本実施形態の２Ｄ−ＳＩＭモードにおける第１撮像素子３５１の駆動パターン（図１４（３Ａ）〜（３Ｅ）、（４Ａ）〜（４Ｅ））は、第１実施形態の２Ｄ−ＳＩＭモードにおける第１撮像素子３５１の駆動パターン（図９（３Ａ）〜（３Ｅ）、（４Ａ）〜（４Ｅ）を参照）と同じに設定される。
The rotation pattern of the light
但し、本実施形態では、光束選択部材１８’の開口パターンが図１３のとおりに設定されたので、２Ｄ−ＳＩＭモードにおける０次回折光束のオン／オフパターンは、「常時オフ」に設定される（図１４（６Ａ）〜（６Ｅ）参照）。
However, in this embodiment, since the opening pattern of the light
したがって、本実施形態の２Ｄ−ＳＩＭモードでは、第１実施形態の２Ｄ−ＳＩＭモードと同様の効果が得られるだけでなく、０次光シャッタ２００の駆動パターンを簡略化できるという付加的な効果も得られる。
Therefore, in the 2D-SIM mode of the present embodiment, not only the same effect as the 2D-SIM mode of the first embodiment is obtained, but also an additional effect that the driving pattern of the 0th-order
［第２実施形態の２Ｄ−ＳＩＭモードの補足］
なお、本実施形態の２Ｄ−ＳＩＭモードでは、無変調画像及び変調画像の明るさ（輝度）を、撮像素子の電荷蓄積時間のみによって制御したが、レーザパワー、レーザ照射時間、電荷蓄積時間の組み合わせによって制御してもよいことは言うまでもない。
[Supplement of 2D-SIM mode of the second embodiment]
In the 2D-SIM mode of the present embodiment, the brightness (luminance) of the unmodulated image and the modulated image is controlled only by the charge accumulation time of the image sensor, but a combination of laser power, laser irradiation time, and charge accumulation time. It goes without saying that it may be controlled by.
何れにせよ、変調画像の撮像時における標本像強度Ｉｓｉと、無変調画像の撮像時における標本像強度Ｉｆｌａｔと、変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間Ｔｓｉと、無変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間Ｔｆｌａｔとは、式（Ａ）を満たす。更に望ましくは、式（Ｂ）を満たす。
In any case, the sample image intensity I si at the time of capturing the modulated image, the sample image intensity I flat at the time of capturing the non-modulated image, the charge accumulation time T si of the
また、本実施形態の２Ｄ−ＳＩＭモードでは、第２フレーム周期で無変調画像を撮像し、第４フレーム周期の撮像を休止したが、第２フレーム周期の動作と第４フレーム周期の動作とを入れ替えても構わない。 In the 2D-SIM mode of the present embodiment, an unmodulated image is captured in the second frame period and the imaging in the fourth frame period is paused. However, the operation in the second frame period and the operation in the fourth frame period are performed. You can replace it.
また、本実施形態の２Ｄ−ＳＩＭモードでは、第４フレーム周期で撮像を休止したが、第４フレーム周期で無変調画像を撮像し、その無変調画像を有効利用してもよい（図１５参照）。 In the 2D-SIM mode of the present embodiment, imaging is paused at the fourth frame period. However, an unmodulated image may be captured at the fourth frame period, and the unmodulated image may be used effectively (see FIG. 15). ).
なお、図１５の例では、無変調画像の撮像枚数が２枚になるので、無変調画像１枚当たりの電荷蓄積時間（図１５（３Ｂ）、（３Ｄ））を図１４の電荷蓄積時間（図１４（３Ｂ））の半分に抑えることができる。 In the example of FIG. 15, since the number of non-modulated images taken is two, the charge accumulation time (FIG. 15 (3B), (3D)) per unmodulated image is the charge accumulation time ( 14 (3B)) can be suppressed to half.
また、図１５の例が採用された場合、画像記憶・演算装置４０は、第２フレーム周期で撮像された無変調画像と第４フレーム周期で撮像された無変調画像とを加算することにより、１枚の無変調画像を作成する。
When the example of FIG. 15 is employed, the image storage /
［第２実施形態の３Ｄ−ＳＩＭモード］
次に、本実施形態の３Ｄ−ＳＩＭモードを詳しく説明する。
[3D-SIM mode of the second embodiment]
Next, the 3D-SIM mode of this embodiment will be described in detail.
本実施形態の３Ｄ−ＳＩＭモードでも、第１実施形態の３Ｄ−ＳＩＭモードと同様、復調演算として後述する第２．５節の復調演算が採用される。 Also in the 3D-SIM mode of the present embodiment, the demodulation operation described in Section 2.5, which will be described later, is employed as the demodulation operation, similarly to the 3D-SIM mode of the first embodiment.
そこで、本実施形態の３Ｄ−ＳＩＭモードでも、第１実施形態の３Ｄ−ＳＩＭモードと同様、光束選択部材１８’の回動角を６０°の角度周期で２回だけ切り換え、その回動前後の３つの回動角の各々で２枚ずつ変調画像を取得することで、光束選択部材１８’の回動角を最小限に抑える。
Therefore, also in the 3D-SIM mode of the present embodiment, similarly to the 3D-SIM mode of the first embodiment, the rotation angle of the light
さらに、本実施形態の３Ｄ−ＳＩＭモードでも、光束選択部材１８’の回動途中に無変調画像の取得を行うことで、光束選択部材１８’の回動に要する時間（ここでは８０ｍｓｅｃ）を有効利用する。
Furthermore, even in the 3D-SIM mode of the present embodiment, the time required for the rotation of the light
図１６は、第２実施形態の３Ｄ−ＳＩＭモードにおける制御装置３９のタイミングチャートである。
FIG. 16 is a timing chart of the
本実施形態の３Ｄ−ＳＩＭモードにおける光束選択部材１８’の回動パターン（図１６（１Ａ）〜（１Ｅ）を参照）は、第１実施形態の３Ｄ−ＳＩＭモードにおける光束選択部材１８の回動パターン（図１１（１Ａ）〜（１Ｅ）を参照）と同じであり、本実施形態の３Ｄ−ＳＩＭモードにおける第１撮像素子３５１の駆動パターン（図１６（３Ａ）〜（３Ｅ’）、（４Ａ）〜（４Ｅ’））は、第１実施形態の３Ｄ−ＳＩＭモードにおける第１撮像素子３５１の駆動パターン（図１１（３Ａ）〜（３Ｅ’）、（４Ａ）〜（４Ｅ’））と同じに設定される。
The rotation pattern of the light
但し、本実施形態では、光束選択部材１８’の開口パターンが図１３のとおりに設定されたので、３Ｄ−ＳＩＭモードでは、変調画像の撮像時（第１フレーム周期、第２フレーム周期、第４フレーム周期、第５フレーム周期、第７フレーム周期、第８フレーム周期の撮像時）に０次回折光束をオンし、かつ、無変調画像の撮像時（第３フレーム周期の撮像時）に０次回折光束をオフする必要がある。
However, in this embodiment, since the aperture pattern of the light
［第２実施形態の３Ｄ−ＳＩＭモードの補足］
なお、本実施形態の３Ｄ−ＳＩＭモードでは、無変調画像及び変調画像の明るさ（輝度）を、撮像素子の電荷蓄積時間のみによって制御したが、レーザパワー、レーザ照射時間、電荷蓄積時間の組み合わせによって制御してもよいことは言うまでもない。
[Supplement of 3D-SIM mode of the second embodiment]
In the 3D-SIM mode of this embodiment, the brightness (luminance) of the unmodulated image and the modulated image is controlled only by the charge accumulation time of the image sensor, but a combination of laser power, laser irradiation time, and charge accumulation time. It goes without saying that it may be controlled by.
何れにせよ、変調画像の撮像時における標本像強度Ｉｓｉと、無変調画像の撮像時における標本像強度Ｉｆｌａｔと、変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間Ｔｓｉと、無変調画像の撮像時における第１撮像素子３５１の電荷蓄積時間Ｔｆｌａｔとは、式（Ａ）を満たす。更に望ましくは、式（Ｂ）を満たす。
In any case, the sample image intensity I si at the time of capturing the modulated image, the sample image intensity I flat at the time of capturing the non-modulated image, the charge accumulation time T si of the
また、本実施形態の３Ｄ−ＳＩＭモードでは、第３フレーム周期で無変調画像を撮像し、第６フレーム周期の撮像を休止したが、第３フレーム周期の動作と、第６フレーム周期の動作とを入れ替えても構わない。 In the 3D-SIM mode of the present embodiment, an unmodulated image is captured in the third frame period and the imaging in the sixth frame period is paused, but the operation in the third frame period and the operation in the sixth frame period May be replaced.
また、本実施形態の３Ｄ−ＳＩＭモードでは、第６フレーム周期で撮像を休止したが、第６フレーム周期で無変調画像を撮像し、その無変調画像を有効利用してもよい（図１７参照）。 In the 3D-SIM mode of the present embodiment, imaging is paused at the sixth frame period. However, an unmodulated image may be captured at the sixth frame period, and the unmodulated image may be used effectively (see FIG. 17). ).
但し、図１７の例では、第６フレーム周期の撮像時にも、第３フレーム周期の撮像時と同様に０次回折光束がオフされる。 However, in the example of FIG. 17, the zero-order diffracted light beam is also turned off at the time of imaging in the sixth frame period, as in the case of imaging at the third frame period.
また、図１７の例では、無変調画像の撮像枚数が２枚になるので、無変調画像１枚当たりの電荷蓄積時間（図１７（３Ｂ）、（３Ｄ））を図１６の例における電荷蓄積時間（図１６（３Ｂ））の半分に抑えることができる。 In the example of FIG. 17, since the number of non-modulated images to be captured is two, the charge accumulation time (FIG. 17 (3B), (3D)) per non-modulated image is the charge accumulation in the example of FIG. It can be reduced to half of the time (FIG. 16 (3B)).
また、図１７の例が採用された場合、画像記憶・演算装置４０は、第３フレーム周期で撮像された無変調画像と第６フレーム周期で撮像された無変調画像とを加算することにより、１枚の無変調画像を作成する。
When the example of FIG. 17 is employed, the image storage /
［第２実施形態の変形例］
第２実施形態では、構造化照明顕微鏡装置（１）のモードを２Ｄ−ＳＩＭモードと３Ｄ−ＳＩＭモードとの間で切り換えることを想定したが、３Ｄ−ＳＩＭモードが不要である場合は、０次回折光束が不要となるので、０次光シャッタ２００を省略すると共に、光束選択部材１８’の代わりに図１８に示すような光束選択部材１８”を使用してもよい。
[Modification of Second Embodiment]
In the second embodiment, it is assumed that the mode of the structured illumination microscope apparatus (1) is switched between the 2D-SIM mode and the 3D-SIM mode. However, if the 3D-SIM mode is unnecessary, the next time Since the folded light beam is unnecessary, the zero-
図１８に示す光束選択部材１８”は、光束選択部材１８’において、開口部２９を無くしたもの（開口部２９を遮光部に置き換えたもの）である。
A light beam selection member 18 '' shown in FIG. 18 is a light beam selection member 18 'in which the
［各実施形態の補足］
なお、上述した各実施形態では、干渉縞の位相をシフトさせるために回折格子１３をシフトさせたが、回折格子１３をシフトさせる代わりに、±１次回折光束の光路長差を変化させてもよい。その場合は、例えば、＋１次回折光束の光路と−１次回折光束の光路との少なくとも一方に対して位相板を挿脱させてもよい。
[Supplement of each embodiment]
In each of the above-described embodiments, the
但し、位相板の厚さと位相シフト量との関係は、使用波長によって異なるので、厚さの異なる複数の位相板をターレットに装着し、それらの位相板を使用波長に応じて選択的に光路へ挿入してもよい。 However, since the relationship between the thickness of the phase plate and the amount of phase shift varies depending on the wavelength used, a plurality of phase plates with different thicknesses are attached to the turret, and these phase plates are selectively transferred to the optical path according to the wavelength used. It may be inserted.
また、上述した各実施形態において、無変調画像の撮像時には、偏光方向がどの方向に設定されても構わないし、撮像中に偏光方向が変化しても構わない。 In each of the above-described embodiments, the polarization direction may be set at the time of capturing an unmodulated image, or the polarization direction may be changed during the image capturing.
また、上述した各実施形態では、光源波長の数を２としたが、３以上に拡張してもよい。 Moreover, in each embodiment mentioned above, although the number of light source wavelengths was set to 2, you may expand to 3 or more.
また、上述した各実施形態では、標本５に入射する±１次回折光束をＳ偏光に保つために、光軸Ｏの周りを回動可能な１／２波長板１７を使用したが、固定配置された１／４波長板と光軸Ｏの周りを回動可能な１／４波長板とを使用してもよい。但し、その場合は、第１の基準位置を基準とした１／４波長板の回動角は、第２の基準位置を基準とした光束選択部材１８の回動角と同じに設定される。
Further, in each of the above-described embodiments, in order to keep the ± first-order diffracted light beam incident on the specimen 5 to be S-polarized light, the half-
また、上述した各実施形態では、構造化照明顕微鏡装置１を２Ｄ−ＳＩＭモードで使用する際に、干渉縞に寄与する回折光束として、＋１次回折光束と−１次回折光束との組み合わせを使用したが、他の組み合わせを使用してもよいことは言うまでもない。
Further, in each of the above-described embodiments, when the structured
また、上述した各実施形態では、構造化照明顕微鏡装置１を３Ｄ−ＳＩＭモードで使用する際に、干渉縞に寄与する回折光束として、＋１次回折光束と−１次回折光束と０次回折光束との組み合わせを使用したが、他の組み合わせを使用してもよいことは言うまでもない。
Moreover, in each embodiment mentioned above, when using the structured
また、上述した各実施形態の照明光学系１０は、対物レンズ６による落射照明光学系で構成されたが、これに限られず、対物レンズ６に代えてコンデンサレンズによる透過・反射照明光学系で構成されてもよい。その場合、集光点が形成されるのは、コンデンサレンズの瞳面である。
In addition, the illumination
また、上述した各実施形態では、干渉縞の方向を切り換えるために、複数の光束から所定数の光束を選択する部材（光束選択部材）を回動させたが、光束及び光束選択部材の少なくとも一方を回動させることで、同様の効果を得てもよい。因みに、光束を回動させるためには、例えば、光源からの射出光束を複数の光束に分岐する部材（回折格子など）を回動させればよい。 Further, in each of the above-described embodiments, in order to switch the direction of the interference fringes, a member (light beam selection member) that selects a predetermined number of light beams from a plurality of light beams is rotated. However, at least one of the light beam and the light beam selection member is used. The same effect may be obtained by rotating. Incidentally, in order to rotate the light beam, for example, a member (such as a diffraction grating) that branches the light beam emitted from the light source into a plurality of light beams may be rotated.
図１９は、干渉縞の方向を切り換えるための回転対象を光束選択部材ではなく回折格子とした変形例を説明する図である。 FIG. 19 is a diagram for explaining a modification in which a rotation target for switching the direction of interference fringes is not a light beam selection member but a diffraction grating.
図１９（ｂ）〜（ｄ）は、３Ｄ−ＳＩＭモードの変形例であり、図１９（ｆ）〜（ｈ）は、２Ｄ−ＳＩＭモードの変形例であり、図１９（ａ）は、従来の２Ｄ−ＳＩＭモード、図１９（ｅ）は、従来の３Ｄ−ＳＩＭモードである。 FIGS. 19B to 19D are modified examples of the 3D-SIM mode, FIGS. 19F to 19H are modified examples of the 2D-SIM mode, and FIG. FIG. 19E shows a conventional 3D-SIM mode.
以下、３Ｄ−ＳＩＭモードの変形例（ｂ）、（ｃ）、（ｄ）、２Ｄ−ＳＩＭモードの変形例（ｆ）、（ｇ）、（ｈ）を順に説明する。なお、ここでは、上述した第１実施形態又は第２実施形態との相違点を主として説明する。 Hereinafter, modifications (b), (c), (d) of the 3D-SIM mode, and modifications (f), (g), and (h) of the 2D-SIM mode will be described in order. Here, differences from the above-described first embodiment or second embodiment will be mainly described.
＜３Ｄ−ＳＩＭモードの変形例（ｂ）＞
この変形例（ｂ）は、第１実施形態の変形例である。この変形例（ｂ）で使用される回折格子は、光軸Ｏと垂直な面内の単一方向にかけて周期構造を有した１方向回折格子であって、この回折格子が瞳共役面に形成する集光点は、単一方向に配列された３つの集光点（＋１次回折光束の集光点、０次回折光束の集光点、−１次回折光束の集光点）である。また、この変形例（ｂ）で使用される光束選択部材１８には、スリット状開口部として、第１方向に配列された１対の開口部２０ａ、２０ｂと、第１方向から６０°ずれた第２方向に配列された１対の開口部２０ｃ、２０ｄと、第２方向から６０°ずれた第３方向に配列された１対の開口部２０ｅ、２０ｆとが形成されている。そして、この変形例（ｂ）では、０次回折光束を常時オンしたまま、光軸Ｏ周りの回折格子の回動角を６０°の角度周期で切り換え、３つの集光点の全部が開放される角度１、２、３となったタイミング（Ａ）、（Ｃ）、（Ｅ）の各々で変調画像を撮像し、３つの集光点のうち０次回折光束の集光点のみが開放される角度（角度１、２の間、又は角度２、３の間）となったタイミング（Ｂ）又は（Ｄ）で無変調画像を撮像する。この変形例（ｂ）によると、図１１の例と同様の効果を得ることができる。
<Modification of 3D-SIM mode (b)>
This modification (b) is a modification of the first embodiment. The diffraction grating used in this modification (b) is a unidirectional diffraction grating having a periodic structure in a single direction in a plane perpendicular to the optical axis O, and this diffraction grating is formed on the pupil conjugate plane. The condensing points are three condensing points arranged in a single direction (the condensing point of the + 1st order diffracted light beam, the condensing point of the 0th order diffracted light beam, and the condensing point of the −1st order diffracted light beam). In addition, the light
＜３Ｄ−ＳＩＭモードの変形例（ｃ）＞
この変形例（ｃ）は、変形例（ｂ）の変形例である。この変形例（ｃ）では、０次回折光束を常時オンしたまま、光軸Ｏ周りの回折格子の回動角を６０°の角度周期で切り換え、３つの集光点の全部が開放される角度１、２、３となったタイミング（Ａ）、（Ｃ）、（Ｅ）の各々で変調画像を撮像し、３つの集光点のうち０次回折光束の集光点のみが開放される角度（角度１、２の間、及び角度２、３の間）となったタイミング（Ｂ）、（Ｄ）の各々で無変調画像を撮像する。この変形例（ｃ）によると、図１２の例と同様の効果を得ることができる。
<Modification of 3D-SIM mode (c)>
This modification (c) is a modification of the modification (b). In this modified example (c), the rotation angle of the diffraction grating around the optical axis O is switched at an angular period of 60 ° while the 0th-order diffracted light beam is always on, and the angle at which all three condensing points are opened. The angle at which only the condensing point of the 0th-order diffracted light beam is opened out of the three condensing points when a modulated image is taken at each of the timings (A), (C), and (E) when the timing becomes 1, 2, and 3. An unmodulated image is captured at each of the timings (B) and (D) at which the angle (between
＜３Ｄ−ＳＩＭモードの変形例（ｄ）＞
この変形例（ｄ）は、第２実施形態の変形例である。この変形例（ｄ）で使用される回折格子は、光軸Ｏと垂直な面内の単一方向にかけて周期構造を有した１方向回折格子であって、この回折格子が瞳共役面に形成する集光点は、単一方向に配列された３つの集光点（＋１次回折光束の集光点、０次回折光束の集光点、−１次回折光束の集光点）である。また、この変形例（ｄ）で使用される光束選択部材１８は、変形例（ａ）の光束選択部材１８において、６つのスリット状開口部２０ａ〜２０ｆのうち何れか１つを部分扇状の開口部１９’（図１３参照）に置き換えたものである。この変形例では、光軸Ｏ周りの回折格子の回動角を６０°の角度周期で切り換え、３つの集光点の全部が開放される角度１、２、３となったタイミング（Ａ）、（Ｃ）、（Ｅ）で変調画像を撮像し、３つの集光点のうち１つの集光点のみが開放される角度（角度１、２の間、及び角度２、３の間）となったタイミング（Ｂ）、（Ｄ）で無変調画像を撮像する。但し、この変形例（ｄ）では、０次回折光束は基本的にオンされるが、無変調画像の撮像時に開放される集光点の数が２以上とならないよう、適当なタイミングで０次回折光束がオフされる（図１９（ｄ）では、回折格子の回動角が角度１、２の間となったタイミング（Ｂ）で０次回折光束がオフされている。）。この変形例（ｄ）によると、図１７の例と同様の画像群を取得することができる。
<Modification of 3D-SIM mode (d)>
This modification (d) is a modification of the second embodiment. The diffraction grating used in this modification (d) is a one-way diffraction grating having a periodic structure in a single direction in a plane perpendicular to the optical axis O, and this diffraction grating is formed on the pupil conjugate plane. The condensing points are three condensing points arranged in a single direction (the condensing point of the + 1st order diffracted light beam, the condensing point of the 0th order diffracted light beam, and the condensing point of the −1st order diffracted light beam). Further, the light
＜２Ｄ−ＳＩＭモードの変形例（ｆ）＞
この２Ｄ−ＳＩＭの変形例（ｆ）は、３Ｄ−ＳＩＭの変形例（ｂ）において、０次回折光束のオン／オフパターンを変えたものに相当する。具体的に、変形例（ｆ）では、変調画像の撮像タイミング（Ａ）、（Ｃ）、（Ｅ）の各々で０次回折光束がオフされ、無変調画像の撮像タイミング（Ｂ）又は（Ｄ）で０次回折光束がオンされる。この変形例（ｆ）によると、図９の例と同様の画像群を取得することができる。
<Modification of 2D-SIM mode (f)>
This modification (f) of 2D-SIM corresponds to the modification (b) of 3D-SIM in which the on / off pattern of the 0th-order diffracted light beam is changed. Specifically, in the modified example (f), the zero-order diffracted light beam is turned off at each of the modulated image capturing timings (A), (C), and (E), and the unmodulated image capturing timing (B) or (D ), The 0th-order diffracted light beam is turned on. According to this modification (f), an image group similar to the example of FIG. 9 can be acquired.
＜２Ｄ−ＳＩＭの変形例（ｇ）＞
この２Ｄ−ＳＩＭの変形例（ｇ）は、３Ｄ−ＳＩＭの変形例（ｃ）において、０次回折光束のオン／オフパターンを変えたものに相当する。具体的に、変形例（ｇ）では、変調画像の撮像タイミング（Ａ）、（Ｃ）、（Ｅ）の各々で０次回折光束がオフされ、無変調画像の撮像タイミング（Ｂ）、（Ｄ）の各々で０次回折光束がオンされる。この変形例（ｇ）によると、図１０の例と同様の画像群を取得することができる。
<Modification of 2D-SIM (g)>
This modified example (g) of 2D-SIM corresponds to the modified example (c) of 3D-SIM in which the on / off pattern of the 0th-order diffracted light beam is changed. Specifically, in the modified example (g), the zero-order diffracted light beam is turned off at each of the modulated image capturing timings (A), (C), and (E), and the unmodulated image capturing timings (B) and (D) ), The zero-order diffracted light beam is turned on. According to this modification (g), an image group similar to the example of FIG. 10 can be acquired.
＜２Ｄ−ＳＩＭの変形例（ｈ）＞
この２Ｄ−ＳＩＭの変形例（ｈ）は、３Ｄ−ＳＩＭの変形例（ｄ）において、０次回折光束のオン／オフパターンを変えたものに相当する。具体的に、変形例（ｈ）では、０次回折光束は基本的にオフされるが、無変調画像の撮像時に開放される集光点の数がゼロとならないよう、適当なタイミングで０次回折光束がオンされる（図１９（ｈ）では、回折格子の回動角が角度２、３の間となったタイミング（Ｄ）で０次回折光束がオンされている）。この変形例（ｈ）によると、図１５の例と同様の画像群を取得することができる。
<Modification of 2D-SIM (h)>
This 2D-SIM modification (h) corresponds to a modification of the 3D-SIM modification (d) in which the ON / OFF pattern of the zero-order diffracted light beam is changed. Specifically, in the modified example (h), the 0th-order diffracted light beam is basically turned off, but at the appropriate timing so that the number of condensing points opened at the time of capturing an unmodulated image does not become zero. The folded light beam is turned on (in FIG. 19 (h), the zero-order diffracted light beam is turned on at the timing (D) when the rotation angle of the diffraction grating is between the
また、上述した各実施形態では、複数の光束から一部の光束を選択する部材（光束選択部材）として、透過型のマスク部材（つまり、透過部からなる開口部と遮光部からなる非開口部とを有したマスク部材）を使用したが、反射型のマスク部材（つまり、反射部からなる開口部と遮光部からなる非開口部とを有したマスク部材）を使用してもよい。 Further, in each of the above-described embodiments, a transmissive mask member (that is, a non-opening part including a light-transmitting part and a non-opening part including a light-shielding part) is used as a member (light beam selection member) that selects a part of the light beams from a plurality of light beams. However, a reflective mask member (that is, a mask member having an opening made of a reflection portion and a non-opening portion made of a light shielding portion) may be used.
また、透過型のマスク部材において、開口部の透過率、非開口部の透過率は、それぞれ１００％、０％であることが望ましいが、開口部の透過率の方が非開口部の透過率よりも高ければ、それぞれ１００％、０％から外れていてもよい。 Further, in the transmission type mask member, it is desirable that the transmittance of the opening and the transmittance of the non-opening are 100% and 0%, respectively, but the transmittance of the opening is higher than that of the non-opening. Higher than 100% and 0%, respectively.
また、反射型のマスク部材において、開口部の反射率、非開口部の反射率は、それぞれ１００％、０％であることが望ましいが、開口部の反射率の方が非開口部の反射率よりも高ければ、それぞれ１００％、０％から外れていてもよい。 In the reflective mask member, the reflectance of the opening and the reflectance of the non-opening are preferably 100% and 0%, respectively. However, the reflectance of the opening is higher than that of the non-opening. Higher than 100% and 0%, respectively.
［各実施形態の作用効果］
上述した何れかの実施形態の構造化照明顕微鏡装置１は、所定数の光束（±１次回折光束及び０次回折光束）による干渉縞を標本（５）に形成する光学系（レンズ１６、２５、２７、６）と、前記干渉縞の方向を切り換える切換部と、前記干渉縞で空間変調された前記標本の像である変調像を撮像する撮像部（撮像素子３５１、３５２、制御装置３９）とを備え、前記撮像部（撮像素子３５１、３５２、制御装置３９）は、前記切り換えの途中であって前記標本（５）へ入射する前記光束の数が１となる期間内の所定のタイミングで、空間変調されていない前記標本（５）の像である無変調像を少なくとも１枚、撮像する。
[Effects of each embodiment]
The structured
したがって、上述した何れかの実施形態の構造化照明顕微鏡装置１は、前記干渉縞の方向の異なる複数枚の前記変調像と、少なくとも１枚の前記無変調像とを、高効率に撮像することができる。
Therefore, the structured
上述した何れかの実施形態の構造化照明顕微鏡装置１は、光源（レーザユニット１００）からの射出光束を複数の光束に分岐する分岐部（回折格子１３）と、前記複数の光束のうち、前記所定数の光束のみを選択する所定数の選択部（開口部）を有した光束選択部材とを備え、前記切換部は、前記光束選択部材を前記光学系（レンズ１６、２５、２７、６）の光軸周りに回動させることにより前記光束選択部材で選択される前記所定数の光束の組み合わせを切り換える回動機構（２４Ａ）である。
The structured
或いは、上述した何れかの実施形態の構造化照明顕微鏡装置１は、光源（レーザユニット１００）からの射出光束を前記所定数の光束に分岐する分岐部（一方向回折格子）を備え、前記切換部は、前記所定数の光束を前記光学系の光軸周りに回動させる回動機構（例えば一方向回折格子を回動させる機構）である。
また、構造化照明顕微鏡装置１は、前記回動の前に前記所定数の光束のみを選択する所定数の選択部（開口部）からなる組と、前記回動の後に前記所定数の光束のみを略同時に選択する所定数の選択部（開口部）からなる組とを有した光束選択部材（例えば、図１９（ｂ）〜（ｄ）、（ｆ）〜（ｈ）の何れかの光束選択部材）を備える。
Alternatively, the structured
Further, the structured
因みに、第１実施形態の前記光束選択部材は、前記光軸（Ｏ）に関して対称な選択部（スリット状開口部）を有する。 Incidentally, the light beam selection member of the first embodiment has a selection part (slit-like opening) that is symmetric with respect to the optical axis (O).
また、第２実施形態の前記光束選択部材は、前記光軸（Ｏ）に関して非対称な選択部（部分扇状開口部）を有する。 In addition, the light beam selection member of the second embodiment has a selection portion (partial fan-shaped opening) that is asymmetric with respect to the optical axis (O).
また、第２実施形態の前記光束選択部材が前記タイミングで選択する前記光束は、前記所定数の光束のうち前記光軸（Ｏ）外の光束である。 Further, the light beam selected by the light beam selection member of the second embodiment at the timing is a light beam outside the optical axis (O) among the predetermined number of light beams.
また、上述した何れかの実施形態の構造化照明顕微鏡装置１は、前記所定数の光束のうち前記光軸（Ｏ）上の光束を遮光する遮光部材（０次光シャッタ２００の遮光部２００Ｃ）を更に備える。
Further, the structured
また、前記遮光部材（遮光部２００Ｃ）は、前記変調像の撮像時には前記光軸（Ｏ）上の光束の光路へ挿入され、前記無変調像の撮像時には前記光軸（Ｏ）上の光束の光路から離脱される（第１実施形態の２Ｄ−ＳＩＭモードなどを参照。）。
The light shielding member (
或いは、前記遮光部材（遮光部２００Ｃ）は、前記変調像の撮像時には前記光軸（Ｏ）上の光束の光路から離脱され、前記無変調像の撮像時には前記光軸（Ｏ）上の光束の光路へ挿入される（第２実施形態の３Ｄ−ＳＩＭモードなどを参照。）。
Alternatively, the light shielding member (
また、上述した何れかの実施形態の構造化照明顕微鏡装置１は、前記標本（５）を照射する光束の強度、前記光束の照射時間、前記撮像部（撮像素子３５１、３５２、制御装置３９）の電荷蓄積時間のうち少なくとも１つを、条件式（Ａ）を満たすように制御する制御部（制御装置３９）を備える。但し、式（Ａ）におけるＩｓｉは、前記変調像の撮像時における標本像強度、Ｉｆｌａｔは、前記無変調像の撮像時における標本像強度、Ｔｓｉは、前記変調像の撮像時における前記撮像部（撮像素子３５１、３５２、制御装置３９）の電荷蓄積時間、Ｔｆｌａｔは、前記無変調像の撮像時における前記撮像部（撮像素子３５１、３５２、制御装置３９）の電荷蓄積時間である。
Further, the structured
また、前記所定数の光束は、回折光学素子で分岐されたものであり、前記制御部（制御装置３９）は、前記所定数の光束の波長に応じて前記制御を行う。 The predetermined number of light beams is branched by a diffractive optical element, and the control unit (control device 39) performs the control according to the wavelength of the predetermined number of light beams.
また、上述した何れかの実施形態の構造化照明顕微鏡装置１は、前記干渉縞の位相をシフトさせる位相シフト部（並進機構１５Ａ）を更に備える。
Further, the structured
また、上述した何れかの実施形態の構造化照明顕微鏡装置１は、前記変調像の画像及び前記無変調像の画像に基づき前記標本の復調画像を生成する演算部（画像記憶・演算装置４０）を更に備える。
Further, the structured
［復調演算の説明］
以下、画像記憶・演算装置４０による復調演算を説明する。
[Explanation of demodulation operation]
Hereinafter, the demodulation operation by the image storage /
上述した画像記憶・演算装置４０は、演算用のプログラムを実行することで演算を行う計算機、演算処理を行う演算回路、或いは、両者の組み合わせによって構成される。また、計算機は、記憶媒体又は通信網経由で演算用のプログラムをインストールした汎用の計算機であってもよい。画像記憶・演算装置４０による復調演算の基本手順は、以下の４つのステップからなる。
The image storage /
第１ステップ：制御装置３９から転送された複数の画像（変調画像、無変調画像など）の各々をフーリエ変換し、複数の空間周波数スペクトルを生成する。
First step: Each of a plurality of images (modulated image, non-modulated image, etc.) transferred from the
第２ステップ：個々の空間周波数スペクトルに重畳されている、蛍光の０次変調成分、蛍光の＋１次変調成分、蛍光の−１次変調成分を、フーリエ空間上で互いに分離する。 Second step: The fluorescence zero-order modulation component, the fluorescence plus first-order modulation component, and the fluorescence minus first-order modulation component superimposed on the individual spatial frequency spectra are separated from each other in Fourier space.
第３ステップ：互いに分離された蛍光の０次変調成分、蛍光の＋１次変調成分、蛍光の−１次変調成分を、フーリエ空間上で再配置することにより、復調画像の空間周波数スペクトルを生成する。 Third step: A spatial frequency spectrum of a demodulated image is generated by rearranging the zero-order modulation component, the fluorescence first-order modulation component, and the fluorescence first-order modulation component separated from each other in Fourier space. .
第４ステップ：復調画像の空間周波数スペクトルを逆フーリエ変換することにより、復調画像（＝超解像画像）を取得する。 Fourth step: A demodulated image (= super-resolution image) is obtained by performing inverse Fourier transform on the spatial frequency spectrum of the demodulated image.
なお、これらステップの少なくとも２つは、１つの演算式によって一括で実行されてもよい。 It should be noted that at least two of these steps may be collectively executed by one arithmetic expression.
［第１．１節（２Ｄ−ＳＩＭの前提）］
本節では、２Ｄ−ＳＩＭの前提を説明する。
[Section 1.1 (Premise of 2D-SIM)]
This section explains the premise of 2D-SIM.
ここでは、２Ｄ−ＳＩＭモードにおける干渉縞強度分布を、以下のとおり定義する。 Here, the interference fringe intensity distribution in the 2D-SIM mode is defined as follows.
標本の蛍光物質密度をＩ０（ｘ）とし、標本面上の干渉縞強度分布をＫ（ｘ）とおく。また、標本で発生する蛍光が照明強度に比例すると仮定する。この場合、蛍光強度分布Ｉｆｌ（ｘ） は、以下のとおり表される。 Let the fluorescent substance density of the sample be I 0 (x), and the interference fringe intensity distribution on the sample surface be K (x). It is also assumed that the fluorescence generated in the specimen is proportional to the illumination intensity. In this case, the fluorescence intensity distribution I fl (x) is expressed as follows.
［第１．２節（従来の２Ｄ−ＳＩＭ）］
本節では、比較のため、従来の２Ｄ−ＳＩＭの復調演算を説明する。
[Section 1.2 (
In this section, a conventional 2D-SIM demodulation operation is described for comparison.
先ず、２Ｄ−ＳＩＭの干渉縞強度分布は、以下のとおり表される（縞は正弦波状の強度分布を有する）。 First, the interference fringe intensity distribution of 2D-SIM is expressed as follows (the fringes have a sinusoidal intensity distribution).
よって、フーリエ空間上の干渉縞強度は、以下のとおり表される。 Therefore, the interference fringe intensity in the Fourier space is expressed as follows.
この式１．６と、式１．３、式１．４とによると、フーリエ空間上の変調画像は、以下のとおり表されることがわかる。 According to Equation 1.6, Equation 1.3, and Equation 1.4, it can be seen that the modulated image in Fourier space is expressed as follows.
ここで、前述したとおり、２Ｄ−ＳＩＭで取得される変調画像のスペクトルの観測点ξには、蛍光の−１次変調成分、蛍光の＋１次変調成分、蛍光の０次変調成分の３成分が重畳している。式１．７の右辺における３つの項がこれらの各変調成分に対応する。つまり、正弦波の強度分布を有する縞で標本（蛍光）を空間変調したので、変調画像のスペクトルは、蛍光の３つの変調成分（０次変調成分、±１次変調成分）で表現することができる。観測点ξに重畳された＋１次変調成分は、復調画像のスペクトルにおける復元点（ξ−ξ０）が有するべき値（復元値）であり、観測点ξに重畳された−１次変調成分は、復調画像のスペクトルにおける復元点（ξ＋ξ０）が有するべき値（復元値）であり、観測点ξに重畳された０次変調成分は、復調画像のスペクトルにおける復元点ξが有するべき値（復元値）である。このことは、変調画像のスペクトルの各観測点について当てはまる。図２０における大きな１つの黒点は、或る観測点に対応し、大きな黒点及びその両側の小さな２つの黒点は、その観測点から復元される３つの復元点に対応している。 Here, as described above, at the observation point ξ of the spectrum of the modulated image acquired by the 2D-SIM, there are three components: a fluorescence first-order modulation component, a fluorescence first-order modulation component, and a fluorescence zero-order modulation component. Superimposed. Three terms on the right side of Equation 1.7 correspond to each of these modulation components. That is, since the sample (fluorescence) is spatially modulated with stripes having a sinusoidal intensity distribution, the spectrum of the modulation image can be expressed by three modulation components (0th order modulation component and ± 1st order modulation component) of fluorescence. it can. The + 1st order modulation component superimposed on the observation point ξ is a value (restoration value) that the restoration point (ξ−ξ 0 ) should have in the spectrum of the demodulated image, and the −1st order modulation component superimposed on the observation point ξ is The value (restoration value) that the restoration point (ξ + ξ 0 ) in the spectrum of the demodulated image should have, and the zero-order modulation component superimposed on the observation point ξ is the value (restoration) that the restoration point ξ in the spectrum of the demodulation image should have. Value). This is true for each observation point in the spectrum of the modulated image. A large black spot in FIG. 20 corresponds to a certain observation point, and a large black spot and two small black spots on both sides thereof correspond to three restoration points restored from the observation point.
そこで、従来の２Ｄ−ＳＩＭの復調演算では、変調画像のスペクトルの各観測点に重畳された３つの変調成分を互いに分離するために、縞の位相の異なる３つの変調画像を取得し、それらの変調画像の各々のスペクトルを生成し、それらのスペクトルを３つの式（以下の式１．８、式１．９、式１．１０）へ当てはめることで、３つの方程式を取得していた。従来は、この３つの方程式を解くことで、図２０における塗りつぶし領域（通常解像範囲及び超解像範囲）の復元値を求めていた。 Therefore, in the conventional demodulation operation of 2D-SIM, in order to separate the three modulation components superimposed on each observation point of the spectrum of the modulation image from each other, three modulation images having different fringe phases are obtained, Three equations were obtained by generating spectra for each of the modulated images and applying these spectra to three equations (Equation 1.8, Equation 1.9, Equation 1.10 below). Conventionally, by restoring these three equations, the restoration value of the filled area (normal resolution range and super-resolution range) in FIG. 20 has been obtained.
ここで、従来の２Ｄ−ＳＩＭにおける縞の空間周波数（変調周波数）ξ０は、｜ξ０｜＜２ＮＡが成り立つように設定され、通常解像領域｜ξ｜＜２ＮＡから得られる観測値によって、｜ξ±ξ０｜＞２ＮＡとなる復元点の復元値を求めることができる。よって、従来の２Ｄ−ＳＩＭでは、通常解像領域外（超解像領域）の復元値を復元すること、つまり復調画像として超解像画像を得ることができる。 Here, the spatial frequency (modulation frequency) ξ 0 of the fringes in the conventional 2D-SIM is set so that | ξ 0 | <2NA is satisfied, and the observation value obtained from the normal resolution region | ξ | <2NA is A restoration value of a restoration point that satisfies | ξ ± ξ 0 |> 2NA can be obtained. Therefore, in the conventional 2D-SIM, it is possible to restore the restoration value outside the normal resolution area (super-resolution area), that is, to obtain a super-resolution image as a demodulated image.
なお、上記の行列Ｍは、ξに依存しない。すなわち、フーリエ空間上の座標（＝空間周波数）に依存しない。そこで、位相φｉをパラメータとして行列Ｍの条件数をプロットすると、図２１ のとおりとなった。 Note that the matrix M does not depend on ξ. That is, it does not depend on coordinates in the Fourier space (= spatial frequency). Therefore, when the condition number of the matrix M is plotted with the phase φ i as a parameter, it is as shown in FIG.
図２１は、行列Ｍの条件数の逆数の分布である。但し、ここでは、第１の変調画像の位相φ１＝０°とおき、第２の変調画像の位相φ２及び第３の変調画像の位相φ３を変数とした。図２１の横軸がφ２であり、図２１の縦軸がφ３である。
FIG. 21 shows the distribution of the reciprocal of the condition number of the matrix M. However, here, the
図２１からは、φ２＝１２０°、φ３＝２４０°のとき、条件数の逆数が最大値０．５となり、最も条件が良いことがわかる。このため、従来の２Ｄ−ＳＩＭでは、３フレーム間の位相差を、１２０°に設定することが一般的であった。 FIG. 21 shows that when φ 2 = 120 ° and φ 3 = 240 °, the reciprocal of the condition number has a maximum value of 0.5, and the condition is the best. For this reason, in the conventional 2D-SIM, the phase difference between the three frames is generally set to 120 °.
［第１．３節（２Ｄ−ＳＩＭの２画像２点復元）］
本節では、２Ｄ−ＳＩＭの復調演算として、「２画像２点復元」を説明する。本節における変調画像の取得は、上述した制御装置３９が各部を制御して行うものとし、本節における演算は、上述した画像記憶・演算装置４０が実行するものとする（他の節においても同様。）。
[Section 1.3 (2D-SIM 2-image 2-point reconstruction)]
In this section, “two-image two-point restoration” will be described as a demodulation operation of 2D-SIM. The modulation image acquisition in this section is performed by the
本節では、２Ｄ−ＳＩＭで取得される１枚の変調画像のスペクトルにおいて、変調方向にかけて変調周波数ξ０だけ離れた２つの観測点ξ、（ξ＋ξ０）には、互いに値の共通する変調成分が重畳されていることに着目する。 In this section, in the spectrum of one modulation image acquired by 2D-SIM, two observation points ξ and (ξ + ξ 0 ) separated by a modulation frequency ξ 0 in the modulation direction have a modulation component having a common value. Note that they are superimposed.
具体的には、観測点ξに重畳した蛍光の−１次変調成分と、観測点（ξ＋ξ０）に重畳した蛍光の０次変調成分とは、何れも復元点（ξ＋ξ０）の復元値に相当し、観測点（ξ＋ξ０）に重畳した蛍光の＋１次変調成分と、観測点ξに重畳した蛍光の０次変調成分とは、何れも復元点ξの復元値に相当する。つまり、これら２つの観測点ξ、（ξ＋ξ０）には、互いに共通する２つの復元点ξ、（ξ＋ξ０）の復元値が含まれている。本節の２画像２点復元では、この関係を利用する。以下、具体的に説明する。 Specifically, the first-order modulation component of fluorescence superimposed on the observation point ξ and the zero-order modulation component of fluorescence superimposed on the observation point (ξ + ξ 0 ) are both restored values of the restoration point (ξ + ξ 0 ). The fluorescence first-order modulation component superimposed on the observation point (ξ + ξ 0 ) and the fluorescence zero-order modulation component superimposed on the observation point ξ both correspond to the restoration value of the restoration point ξ. That is, these two observation points ξ and (ξ + ξ 0 ) include the restoration values of the two common restoration points ξ and (ξ + ξ 0 ). This relationship is used in the two-image two-point restoration in this section. This will be specifically described below.
先ず、干渉縞強度分布を従来の２Ｄ−ＳＩＭと同様に仮定すると、対物レンズのＮＡにより、変調画像のスペクトルの観測範囲は、｜ξ｜＜２ＮＡで表される。 First, assuming that the interference fringe intensity distribution is the same as in the conventional 2D-SIM, the observation range of the spectrum of the modulated image is represented by | ξ | <2NA due to the NA of the objective lens.
本節の縞の空間周波数（変調周波数）ξ０は、｜ξ０｜＜２ＮＡが成り立つように設定される。なお、縞の空間周波数（変調周波数）ξ０は回折格子１３の格子周期（標本上に形成される縞周期）により設定される。 The spatial frequency (modulation frequency) ξ 0 of the stripes in this section is set so that | ξ 0 | <2NA holds. The spatial frequency (modulation frequency) ξ 0 of the fringes is set by the grating period of the diffraction grating 13 (the fringe period formed on the sample).
この場合、１枚の変調画像のスペクトルから、ξ０だけ離れた２つの観測点ξ、（ξ＋ξ０）の観測値を得ることができる。ただし、（ξ＋ξ０）の観測値を得ることができるのは、ξが｜ξ＋ξ０｜＜２ＮＡを満たす範囲に限られる。 In this case, observation values of two observation points ξ and (ξ + ξ 0 ) separated by ξ 0 can be obtained from the spectrum of one modulated image. However, the observed value of (ξ + ξ 0 ) can be obtained only in a range where ξ satisfies | ξ + ξ 0 | <2NA.
ここで、1枚の変調画像のスペクトルにおける、観測点ξの観測値と、観測点（ξ＋ξ０）の観測値とは、以下の式で表される。 Here, the observed value at the observation point ξ and the observed value at the observation point (ξ + ξ 0 ) in the spectrum of one modulated image are expressed by the following equations.
そこで、本節では、互いに位相φの異なる２枚の変調画像の各々のスペクトルを生成し、それら２つのスペクトルの各々から、２つの観測点ξ、（ξ＋ξ０）に関する合計４つの観測値を参照し、それら４つの観測値を、式１．１２、式１．１３へ当てはめることにより、４つの復元値（未知数）を含んだ合計４つの式を取得する。 Therefore, in this section, each spectrum of two modulated images having different phases φ is generated, and a total of four observation values relating to two observation points ξ and (ξ + ξ 0 ) are referred to from each of the two spectra. By applying these four observation values to Expressions 1.12 and 1.13, a total of four expressions including four restoration values (unknown numbers) are obtained.
ここで、簡単のため、τ１ ＝ＯＴＦ（ξ）、 τ２＝ＯＴＦ（ξ＋ξ０）とおき、第１の変調画像の位相φをφ１とおき、第２の変調画像の位相φをφ２とおくと、４つの式は、次のような行列で表わされる。 Here, for the sake of simplicity, τ 1 = OTF (ξ), τ 2 = OTF (ξ + ξ 0 ), the phase φ of the first modulated image is φ 1 , and the phase φ of the second modulated image is φ If 2 is set, the four equations are represented by the following matrix.
ここで、図２２における２つの円枠のうち、内側の円枠は、通常解像範囲の外縁（｜ξ｜＝２ＮＡ）である。また、外側の円枠は、超解像範囲の外縁（｜ξ｜＝４ＮＡ）である。 Here, of the two circular frames in FIG. 22, the inner circular frame is the outer edge (| ξ | = 2NA) of the normal resolution range. The outer circular frame is the outer edge (| ξ | = 4NA) of the super-resolution range.
図２２における２つの大きな黒点は、縞の空間周波数（変調周波数）ξ０の分だけずれた或る２つの観測点を示しており、図２２における２つの大きな黒点及び２つの小さな黒点は、それら２つの観測点から復元される４つの復元点を示している。 The two large black dots in FIG. 22 indicate two observation points that are shifted by the spatial frequency (modulation frequency) ξ 0 of the stripes. The two large black dots and the two small black dots in FIG. Four restoration points restored from two observation points are shown.
本節では、干渉縞の位相の異なる２枚分の変調画像のスペクトルが取得されるので、それら２つのスペクトルの各々における２つの観測点から、合計４つの観測値が取得される。そして、これら４つの観測値を上述した式１．１４へ当てはめることで、４つの復元点の各々の復元値を求める。 In this section, the spectra of two modulated images having different interference fringe phases are acquired, so that a total of four observation values are acquired from two observation points in each of the two spectra. Then, by applying these four observation values to the above-described formula 1.14, the restoration values of the four restoration points are obtained.
そして、本節では、２つの観測点を通常解像範囲内で移動させながら、４つの復元値の算出を繰り返すことで、図２２における塗りつぶし領域全域の復元値を求める。 In this section, the four restoration values are repeatedly calculated while the two observation points are moved within the normal resolution range, thereby obtaining the restoration values for the entire painted area in FIG.
したがって、本節では、取得される変調画像の枚数（生成されるスペクトルの数）が２のみであるにも拘わらず、通常解像範囲の少なくとも一部の復元値と、超解像範囲の少なくとも一部の復元値とを求めることができる。 Therefore, in this section, even though the number of acquired modulated images (the number of generated spectra) is only 2, at least one restoration value of the normal resolution range and at least one of the super-resolution range are used. The restoration value of the part can be obtained.
［第１．３．１節（復元可能条件）］
本節では、第１．３節の復調演算に必要な条件を説明する。
[Section 1.3.1 (Restorable conditions)]
In this section, the conditions necessary for the demodulation operation in Section 1.3 will be described.
上述した式１．１４が一意的な解を持つためには、行列Ｍの行列式がゼロ以外の値をとればよい。ここで、行列Ｍの行列式は、以下のとおり表される。 In order for the above-described expression 1.14 to have a unique solution, the determinant of the matrix M may take a value other than zero. Here, the determinant of the matrix M is expressed as follows.
［第１．３．４節（Δφ＝πの特徴）］
本節では、Δφ＝πの特徴を説明する。
[Section 1.3.4 (Characteristics of Δφ = π)]
In this section, the feature of Δφ = π will be described.
Δφ＝πのときには、以下の式が成り立つ。 When Δφ = π, the following equation holds.
図２３（Ａ）の塗りつぶし領域は、Δφ≠πのときに復元可能な範囲であるのに対して、図２３（Ｂ）の塗りつぶし領域は、Δφ＝πのときに復元可能な範囲である（何れも、｜ξ０｜＝２ＮＡの場合。）。図２３における２つの円のうち、内側の円は、通常解像範囲の外縁（｜ξ｜＝２ＮＡ）であり、外側の円は、超解像範囲の外縁（｜ξ｜＝４ＮＡ）である。 The painted area in FIG. 23A is a recoverable range when Δφ ≠ π, whereas the painted area in FIG. 23B is a recoverable range when Δφ = π ( In either case, | ξ 0 | = 2NA.) Of the two circles in FIG. 23, the inner circle is the outer edge (| ξ | = 2NA) of the normal resolution range, and the outer circle is the outer edge (| ξ | = 4NA) of the super-resolution range. .
なお、ここでは干渉縞の方向数を１と仮定したが、干渉縞の方向数を３とし、各方向について第１．３節と同様の復調演算を適用したならば、図２４に示すような広い領域を復元することができる。 Here, the number of directions of interference fringes is assumed to be 1. However, if the number of directions of interference fringes is set to 3 and the same demodulation operation as in section 1.3 is applied to each direction, as shown in FIG. A wide area can be restored.
［第１．４節（２Ｄ−ＳＩＭのTwo-pass 復元）］
本節では、２Ｄ−ＳＩＭの復調演算として、「Two-pass 復元」を説明する。Two-pass 復元では、干渉縞の方向数は２に設定される。
[Section 1.4 (Two-pass restoration of 2D-SIM)]
In this section, “Two-pass restoration” will be described as a demodulation operation of 2D-SIM. In the two-pass restoration, the number of interference fringe directions is set to two.
以下、互いに方向及び周期の異なる複数の干渉縞を区別するために、個々の干渉縞を波数ベクトルで表す。この波数ベクトルの大きさは、干渉縞の空間周波数の大きさを示し、波数ベクトルの方向は、干渉縞の方向を示す。 Hereinafter, in order to distinguish a plurality of interference fringes having different directions and periods, each interference fringe is represented by a wave vector. The magnitude of this wave vector indicates the magnitude of the spatial frequency of the interference fringes, and the direction of the wave vector indicates the direction of the interference fringes.
本節では、以下の４つのステップが実行される。 In this section, the following four steps are executed.
第１ステップ：波数ベクトルがξ０であり、かつ、位相の異なる２枚の変調画像が取得され、それら２枚の変調画像の各々のスペクトルが生成される。これら２枚の変調画像の各々を、以下のとおり表す。 First step: Two modulated images having a wave vector of ξ 0 and different phases are acquired, and a spectrum of each of the two modulated images is generated. Each of these two modulated images is represented as follows.
第２ステップ：波数ベクトルがξ１であり、かつ、位相の異なる２枚の変調画像が取得され、それら２枚の変調画像の各々のスペクトルが生成される。これら２枚の変調画像の各々を、以下のとおり表す。 Second step: Two modulated images having a wave vector of ξ 1 and different phases are acquired, and respective spectra of the two modulated images are generated. Each of these two modulated images is represented as follows.
第３ステップ：以上のステップで求めた復元値と、以下の式とに基づき、図２６（Ａ）に示す領域の復元値を求める。 Third step: Based on the restoration value obtained in the above steps and the following equation, the restoration value of the region shown in FIG.
第４ステップ：第２ステップで求めた通常解像範囲の復元値（＝図２５（Ｂ）の塗りつぶし領域のうち｜ξ｜＜２ＮＡの部分）に基づき同様に、図２６（Ｂ）に示す領域の復元値を求める。 Fourth step: Similarly, based on the restoration value of the normal resolution range obtained in the second step (= the portion | ξ | <2NA of the painted area in FIG. 25B), the area shown in FIG. Find the restoration value of.
ただし、本ステップを可能とするために、第１ステップでは、Δφ≠πｎ（n は整数）とする。 However, in order to enable this step, in the first step, Δφ ≠ πn (n is an integer).
第１ステップと第３ステップをまとめて、図２７（Ｂ）のように表すこともできる。すなわち、図２７（Ｂ）の横線において横方向に連なる４つの黒点は、第１ステップで解く式１．１４と同等の連立方程式から求まる４つの復元値（未知数）のフーリエ空間（波数空間）における位置を表している。 The first step and the third step can be collectively expressed as shown in FIG. That is, the four black dots connected in the horizontal direction in the horizontal line of FIG. 27B are in Fourier space (wave number space) of four restoration values (unknown numbers) obtained from simultaneous equations equivalent to Expression 1.14 solved in the first step. Represents the position.
図２７（Ｂ）にある２本の縦線の各々において、縦方向に連なる３つの黒点のうち、中央の大きい黒点は、第１ステップの式から求まる１つの既知数のフーリエ空間（波数空間）における位置を示しており、両端の小さな黒点は、第３ステップで解く連立方程式１．２６の２つの復元値（未知数）のフーリエ空間（波数空間）における位置を示している。 In each of the two vertical lines in FIG. 27B, among the three black dots connected in the vertical direction, the large black dot at the center is one known number of Fourier spaces (wave number space) obtained from the expression of the first step. The small black dots at both ends indicate the positions in the Fourier space (wave number space) of the two restored values (unknown numbers) of the simultaneous equations 1.26 solved in the third step.
これらの８つの黒点の相互の位置関係は、どの例を選んでも同一である。フーリエ空間（波数空間）において黒点の取りうる位置の範囲は、フーリエ空間（波数空間）において２つの大きな黒点（中央）の取りうる位置の範囲によって制限される。２つの大きな黒点が取りうる位置の範囲は｜ξ｜＜２ＮＡであるので、第１ステップ及び第３ステップの計算によって求めることができる復元値（未知数）の位置の範囲は、図２７（Ｂ）の塗りつぶし領域の範囲となる。 The positional relationship between these eight black dots is the same regardless of which example is selected. The range of positions where black spots can be taken in Fourier space (wave number space) is limited by the range of positions where two large black spots (center) can be taken in Fourier space (wave number space). Since the range of positions that can be taken by the two large black dots is | ξ | <2NA, the range of positions of restored values (unknown numbers) that can be obtained by the calculation of the first step and the third step is shown in FIG. This is the range of the filled area.
なお、図２７（Ａ）は、第２ステップ及び第４ステップを、図２７（Ｂ）と同様に示したものである。 Note that FIG. 27A shows the second step and the fourth step in the same manner as FIG. 27B.
したがって、本節では、図２８に示す塗りつぶし領域の全域を復元することができる。 Therefore, in this section, the entire filled area shown in FIG. 28 can be restored.
［第１．５節（２Ｄ−ＳＩＭの超解像の例）］
本節では、前節までの結果を踏まえ、超解像の例を２つ説明する。
[Section 1.5 (Example of 2D-SIM Super-Resolution)]
In this section, two examples of super-resolution will be explained based on the results up to the previous section.
先ず、第１の例では、変調画像の枚数（スペクトルの数）を抑えることを重視し、Two-pass 復元を行う。そのために、第１の例では、波数ベクトルの方向数を２とし、互いに異なる２つの波数ベクトルξ１、ξ２の各々で、位相の異なる２枚の変調画像を取得し（合計４枚の変調画像を取得し）、それら４枚の変調画像の各々のスペクトルを生成する（合計４つのスペクトルを生成する）。そして、Two-pass 復元を可能とするため、同一の波数ベクトルで取得される２枚の変調画像間の位相差Δφを、Δφ≠πに設定する。また、波数ベクトルの大きさ｜ξｉ｜を、｜ξｉ｜＝２ＮＡに設定する（ｉ＝１、２）。この場合、図２８に示す塗りつぶし領域が復元される。 First, in the first example, two-pass restoration is performed with emphasis on suppressing the number of modulated images (number of spectra). Therefore, in the first example, the number of directions of the wave vector is set to 2, and two modulated images having different phases are obtained for each of two wave vector ξ 1 and ξ 2 different from each other (a total of four modulated images). An image is acquired) and the spectrum of each of the four modulated images is generated (a total of four spectra are generated). In order to enable two-pass restoration, the phase difference Δφ between two modulated images acquired with the same wave vector is set to Δφ ≠ π. The magnitude of the wave vector | ξ i | is set to | ξ i | = 2NA (i = 1, 2). In this case, the filled area shown in FIG. 28 is restored.
次に、第２の例では、演算精度を重視し、Two-pass 復元ではなく「２画像２点復元」を行う。そのために、第２の例では、波数ベクトルの方向数を３とし、互いに異なる３つの波数ベクトルξ１、ξ２、ξ３の各々で、位相の異なる２枚の変調画像を取得し（合計６枚の変調画像を取得し）、それら６枚の変調画像の各々のスペクトルを生成する（合計６つのスペクトルを生成する）。そして、同一の波数ベクトルで取得される２枚の変調画像間の位相差Δφを、Δφ＝πとする。また、復元領域に隙間が生じるのを避けるために、｜ξｉ｜を２ＮＡより意図的に小さくする。具体的には、復元領域に隙間が生じない範囲内で｜ξｉ｜を最大にするために、波数ベクトルの大きさ|ξｉ|を、|ξｉ| ＝（√３）×ＮＡに設定する（ｉ＝１、２）。この場合、図２９に示す領域が復元される。 Next, in the second example, the calculation accuracy is emphasized, and “two-image two-point restoration” is performed instead of two-pass restoration. Therefore, in the second example, the number of directions of the wave vector is set to 3, and two modulated images having different phases are obtained for each of the three wave vector ξ 1 , ξ 2 , and ξ 3 different from each other (total 6 A plurality of modulated images are acquired) and spectra of each of the six modulated images are generated (a total of six spectra are generated). Then, the phase difference Δφ between two modulated images acquired with the same wave vector is assumed to be Δφ = π. Also, in order to avoid a gap in the restoration area, | ξ i | is intentionally made smaller than 2NA. Specifically, in order to maximize | ξ i | within a range where no gap is generated in the restoration region, the magnitude of the wave vector | ξ i | is set to | ξ i | = (√3) × NA. (I = 1, 2). In this case, the area shown in FIG. 29 is restored.
［第１．６節（２Ｄ−ＳＩＭの４画像３点復元）］
本節では、２Ｄ−ＳＩＭの復調演算として、２Ｄ−ＳＩＭの「４画像３点復元」を説明する。
[Section 1.6 (2D-SIM 4 image 3-point reconstruction)]
In this section, “4
本節では、波数ベクトルの方向数を３とする（３つの波数ベクトルξ１、ξ２、ξ３の各々で変調画像を取得し、それら変調画像の各々のスペクトルを生成する。）。 In this section, the number of directions of the wave vector is assumed to be 3 (modulated images are acquired from each of the three wave vector ξ 1 , ξ 2 , ξ 3 , and respective spectra of these modulated images are generated).
また、３つの波数ベクトルξ１、ξ２、ξ３を閉じた関係（ξ３＝ξ１−ξ２）に設定する。 Further, the three wave number vectors ξ 1 , ξ 2 and ξ 3 are set to a closed relationship (ξ 3 = ξ 1 −ξ 2 ).
そして、３つの方向のうち何れか１つの方向（波数ベクトルξ１）では、位相数を２とする（縞方向が同じであり位相の異なる２枚の変調画像Ｉ（０）、Ｉ（１）を得る）が、他の２つの方向（波数ベクトルξ２、ξ３）の各々では、位相数を１に抑える（縞方向の異なる２枚の変調画像Ｉ（２）、Ｉ（３）を得る）。 In any one of the three directions (wave vector ξ 1 ), the number of phases is 2 (two modulated images I (0) and I (1) having the same fringe direction and different phases. However, in each of the other two directions (wave vector ξ 2 , ξ 3 ), the number of phases is suppressed to 1 (two modulated images I (2) and I (3) having different fringe directions are obtained. ).
また、縞方向が同じである２枚の変調画像間の位相差Δφは、Δφ＝πに設定する。 Further, the phase difference Δφ between two modulated images having the same fringe direction is set to Δφ = π.
また、本節では、個々の波数ベクトルの大きさを、｜ξｉ｜ ＝２ＮＡに設定する（ｉ＝１、２、３）。 In this section, the size of each wave vector is set to | ξ i | = 2NA (i = 1, 2, 3).
このとき、４枚の変調画像Ｉ（０）、Ｉ（１）、Ｉ（２）、Ｉ（３）の各々の干渉縞強度分布は、 At this time, the interference fringe intensity distribution of each of the four modulated images I (0) , I (1) , I (2) , I (3) is
ここで、これら４枚の変調画像Ｉ（０）、Ｉ（１）、Ｉ（２）、Ｉ（３）の各々のスペクトルにおいて、３つの波数ベクトルξ１、ξ２、ξ３が描く三角形を想定し、その三角形の頂点（大きな黒点）に位置する３つの観測点ξ、（ξ＋ξ１）、（ξ＋ξ２）に着目する。 Here, in each spectrum of these four modulated images I (0) , I (1) , I (2) , I (3) , a triangle drawn by three wave number vectors ξ 1 , ξ 2 , ξ 3 is drawn. Assume that three observation points ξ, (ξ + ξ 1 ) and (ξ + ξ 2 ) located at the apex (large black point) of the triangle are focused.
本節で取得した４枚の変調画像Ｉ（０）、Ｉ（１）、Ｉ（２）、Ｉ（３）の各々のスペクトルにおける３つの観測点ξ、（ξ＋ξ１）、（ξ＋ξ２）からは、合計１２個の観測値が得られるので、それら１２個の観測値に対応する式１．７相当の式を、１２個分、取得することができる。本節では、これら１２式からなる連立方程式を解くために、以下の条件が必要となる。 From the three observation points ξ, (ξ + ξ 1 ), (ξ + ξ 2 ) in each spectrum of the four modulated images I (0) , I (1) , I (2) , I (3) acquired in this section Since a total of twelve observation values are obtained, twelve equations corresponding to equation 1.7 corresponding to these twelve observation values can be acquired. In this section, the following conditions are necessary to solve the simultaneous equations consisting of these 12 equations.
図３０（Ａ）における３つの大きな黒点は、変調画像のスペクトルにおいて３つの波数ベクトルξ１、ξ２、ξ３によって描かれる三角形の頂点に位置する３つの観測点を示しており、図３０（Ａ）における３つの大きな黒点及び９つの小さな黒点は、それら３つの観測点から復元される復元点（合計１２個の復元点）を示している。 Three large black dots in FIG. 30A indicate three observation points located at the vertices of a triangle drawn by three wave number vectors ξ 1 , ξ 2 , and ξ 3 in the spectrum of the modulated image. Three large black spots and nine small black spots in A) indicate restoration points (a total of 12 restoration points) restored from these three observation points.
上記したとおり本節において変調画像の枚数（スペクトルの数）は４であるので、３つの観測点から合計１２個の観測値が取得される。これら１２個の観測値に関する１２個の式を連立させて解くことによって、１２個の復元点の復元値が個別に求まる。 As described above, since the number of modulated images (number of spectra) is 4 in this section, a total of 12 observation values are acquired from three observation points. By resolving twelve equations related to these twelve observation values simultaneously, restoration values of twelve restoration points can be obtained individually.
そして、本節では、３つの観測点を移動させながら、１２個の復元値の算出を繰り返すことで、図３０（Ａ）に示す塗りつぶし領域全域の復元値を求める。 In this section, the calculation of 12 restoration values is repeated while moving the three observation points, thereby obtaining the restoration values for the entire painted area shown in FIG.
なお、図３０（Ｂ）は、三角形の方向を反転させて同様の復元を行った場合の図解である。図３０（Ａ）の復元と、図３０（Ｂ）の復元とは、並行して行うことが可能である。本節では、これら２通りの復元を行い、図３１に示した塗りつぶし領域の全域を復元する。 FIG. 30B is an illustration when the same restoration is performed by inverting the direction of the triangle. The restoration in FIG. 30A and the restoration in FIG. 30B can be performed in parallel. In this section, these two types of restoration are performed to restore the entire filled area shown in FIG.
図３１は、図３０（Ａ）に示した復元領域と、図３０（Ｂ）に示した復元領域と合成したものである。 FIG. 31 is a combination of the restoration area shown in FIG. 30A and the restoration area shown in FIG.
以下、本節で述べた１２式から成る連立方程式を解く計算の一例を詳しく説明する。 Hereinafter, an example of calculation for solving simultaneous equations consisting of 12 equations described in this section will be described in detail.
図３２は、本節の計算を３つのステップに分けて説明した図である。 FIG. 32 is a diagram illustrating the calculation in this section divided into three steps.
図３２（Ａ）は、第１ステップで復元される４つの復元点１〜４を示している。
FIG. 32A shows four
図３２（Ｂ）は、第２ステップで復元される４つの復元点５〜８を示している。 FIG. 32B shows four restoration points 5 to 8 restored in the second step.
図３２（Ｃ）は、第３ステップで復元される４つの復元点９〜１２を示している
図３２（Ｄ）は、図中の番号１〜１２と復元値との対応関係を示している。
FIG. 32C shows the four restoration points 9 to 12 restored in the third step. FIG. 32D shows the correspondence between the
第１ステップ：波数ベクトルξ１の方向に間隔｜ξ１｜で並ぶ２つの観測点１、２に関する４つの観測値を、２画像２点復元の式へ当てはめることにより、復元点１、２、３、４の各々の復元値を求める。
First step: By applying four observation values regarding two
第２ステップ：復元点１、２の各々の復元値を使用して、それら復元点１、２から波数ベクトルξ２、ξ３の分だけずれた４つの復元点５、６、７、８ の各々の復元値を求める。この際に使用される式は、波数ベクトルξ１の方向に関する２つの式（２位相分）と、波数ベクトルξ２の方向に関する１つの式と、波数ベクトルξ３の方向に関する１つの式と、の合計４つの式である。
Second step: Using the respective restoration values of the restoration points 1 and 2 , four
第３ステップ：復元点１、２、５の各々の復元値を使用して、それら復元点１、２、５から波数ベクトルξ２、ξ３の分だけずれた残りの復元点９、１０、１１、１２の各々の復元値を求める。この際に使用される式は、波数ベクトルξ２の方向に関する２つの式（観測点２つ分）と、波数ベクトルξ３の方向に関する２つの式（観測点２つ分）と、の合計４つの式である。
Third step: Using the restoration values of the restoration points 1, 2, 5 respectively, the remaining
もちろん、本節で述べた１２式から成る連立方程式の解法は、上記の手順に限られるものではない。 Of course, the solving method of simultaneous equations consisting of 12 equations described in this section is not limited to the above procedure.
［第１．７節（２Ｄ−ＳＩＭの４画像３点復元の変形例）］
本節では、４画像３点復元の変形例を説明する。
[Section 1.7 (Modification of 4D image 3-point restoration of 2D-SIM)]
In this section, a modified example of four-image three-point restoration will be described.
本節では、３つの方向の全ての位相数を１に抑え、その代わりに、１枚の無変調画像を取得し、その無変調画像のスペクトルを生成する。 In this section, the number of phases in all three directions is suppressed to 1, and instead, one unmodulated image is acquired and the spectrum of the unmodulated image is generated.
無変調画像は、Ｋ（０）＝１で取得された画像のことであって、例えば上述した回折格子１３及び光束選択部１８を光路から外した状態で取得することができる。また、無変調画像のスペクトルは、その無変調画像をフーリエ変換したものである。
The unmodulated image is an image acquired with K (0) = 1, and can be acquired with the
上記したとおり本節において変調画像の枚数（変調画像のスペクトルの数）は３、無変調画像の枚数（無変調画像のスペクトルの数）は１であるので、３つの観測点から合計１２個の観測値が取得される。これら１２個の観測値に関する１２個の式（変調画像のスペクトルに関する式１．７を９つと、無変調画像のスペクトルに関する式１．５３を３つと）を連立させて解くことによって、１２個の復元点の復元値が個別に求まる。 As described above, in this section, the number of modulated images (the number of modulated image spectra) is 3, and the number of unmodulated images (the number of unmodulated image spectra) is 1, so a total of 12 observations from three observation points. The value is obtained. By twelve solving the 12 equations for these 12 observations (9 equations 1.7 for the spectrum of the modulated image and 3 equations 1.53 for the spectrum of the unmodulated image), The restoration value of the restoration point is obtained individually.
なお、本節では、以下の条件が必要となる。 In this section, the following conditions are required.
本節では、４画像３点復元の変形例として、「同時３方向４画像３点復元」を説明する。
In this section, “simultaneous three-direction four-image three-point restoration” will be described as a modified example of four-image three-point restoration.
先ず、本節では、標本へ投影する干渉縞は、以下のとおり方向の異なる３つの干渉縞の足しあわせ（３方向干渉縞）とされる。なお、３方向干渉縞の投影方法は後述する。 First, in this section, the interference fringes projected onto the specimen are the sum of three interference fringes having different directions (three-direction interference fringes) as follows. A method for projecting the three-way interference fringes will be described later.
ただし、｜ξｉ｜≦２ＮＡとし（ｉ＝１、２、３）、３つの波数ベクトルξ１、ξ２、ξ３を閉じた関係（ξ３＝ξ１−ξ２）とする。 However, | ξ i | ≦ 2NA (i = 1, 2, 3), and the three wave vector ξ 1 , ξ 2 , ξ 3 are closed (ξ 3 = ξ 1 −ξ 2 ).
また、３方向干渉縞の振幅を規定するａの値は、以下の式を満たすように選択されるものとする。 In addition, the value of a that defines the amplitude of the three-way interference fringes is selected so as to satisfy the following expression.
言い換えると、変調画像のスペクトルにおける或る観測点ξには、蛍光の０次変調成分と、波数ベクトルξ１による蛍光の±１次変調成分と、波数ベクトルξ２による蛍光の±１次変調成分と、波数ベクトルξ３による蛍光の±１次変調成分と、の合計７成分が重畳されている。 In other words, a certain observation point ξ in the spectrum of the modulated image has a zero-order modulation component of the fluorescence, a ± first-order modulation component of the fluorescence by the wave vector ξ 1 , and a ± first-order modulation component of the fluorescence by the wave vector ξ 2. And a total of seven components of the fluorescence ± first-order modulation component by the wave vector ξ 3 are superimposed.
ここで、変調画像のスペクトルにおいて３つの波数ベクトルξ１、ξ２、ξ３が描く三角形を想定し、その三角形の頂点に位置する３つの観測点ξ、（ξ＋ξ１）、（ξ＋ξ２）に着目する。 Here, assuming a triangle drawn by three wave number vectors ξ 1 , ξ 2 , and ξ 3 in the spectrum of the modulated image, three observation points ξ, (ξ + ξ 1 ), (ξ + ξ 2 ) located at the vertices of the triangle are assumed. Pay attention.
これら３つの観測点ξ、（ξ＋ξ１）、（ξ＋ξ２）の全体には、１２個の復元点の復元値が含まれている。 The whole of these three observation points ξ, (ξ + ξ 1 ), (ξ + ξ 2 ) includes the restoration values of 12 restoration points.
図３３は、その図解である。ただし、｜ξ１｜＝｜ξ２｜、ξ１・ξ２＝｜ξ１｜｜ξ２｜／２とした。 FIG. 33 is an illustration thereof. However, | ξ 1 | = | ξ 2 | and ξ 1 · ξ 2 = | ξ 1 || ξ 2 | / 2.
図３３（Ａ）における３つの大きな黒点は、変調画像のスペクトルにおいて３つの波数ベクトルξ１、ξ２、ξ３によって描かれる三角形の頂点に位置する３つの観測点を示しており、図３３（Ａ）における３つの大きな黒点及び９つの小さな黒点は、それら３つの観測点から復元される復元点（合計１２個の復元点）を示している。 Three large black dots in FIG. 33A indicate three observation points located at the vertices of a triangle drawn by three wave number vectors ξ 1 , ξ 2 , and ξ 3 in the spectrum of the modulated image. Three large black spots and nine small black spots in A) indicate restoration points (a total of 12 restoration points) restored from these three observation points.
上記したとおり本節において変調画像の枚数（スペクトルの数）は４であるので、３つの観測点から合計１２個の観測値が取得される。これら１２個の観測値に関する１２個の式を連立させて解くことにより、１２個の復元点の復元値が個別に求まる。 As described above, since the number of modulated images (number of spectra) is 4 in this section, a total of 12 observation values are acquired from three observation points. By simultaneously solving 12 equations related to these 12 observation values, the restoration values of 12 restoration points can be obtained individually.
そして、本節では、３つの観測点を移動させながら、１２個の復元値の算出を繰り返せば、図３３（Ａ）に示す塗りつぶし領域全域の復元値を求める。 In this section, if the calculation of 12 restoration values is repeated while moving the three observation points, the restoration values for the entire painted area shown in FIG. 33A are obtained.
なお、図３３（Ｂ）は、三角形の方向を反転させて同様の復元を行った場合の図解である。図３３（Ａ）の復元と、図３３（Ｂ）の復元とは、並行して行うことが可能である。本節では、これら２通りの復元を行い、図３１に示した塗りつぶし領域と同じ領域を復元する。 FIG. 33B is an illustration when the same restoration is performed by inverting the direction of the triangle. The restoration in FIG. 33A and the restoration in FIG. 33B can be performed in parallel. In this section, these two types of restoration are performed, and the same area as the filled area shown in FIG. 31 is restored.
ここで、４枚の変調画像Ｉ（１）、Ｉ（２）、Ｉ（３）、Ｉ（４）の各々に反映されている３方向干渉縞の位相（３成分からなる）は、例えば、 Here, the phases (consisting of three components) of the three-way interference fringes reflected in each of the four modulated images I (1) , I (2) , I (3) , and I (4 ) are, for example,
図３５は、４枚の変調画像の間における干渉縞強度分布の関係を示す図である。 FIG. 35 is a diagram showing the relationship of the interference fringe intensity distribution among the four modulated images.
図３５に示すとおり、４枚の変調画像の間では、格子パターンが互いに重ならないように平行移動している。また、その移動量の単位は、格子の基本ベクトルの半分となっている。 As shown in FIG. 35, the lattice patterns are translated so as not to overlap each other between the four modulated images. The unit of the movement amount is half of the basic vector of the lattice.
［第１．９．２節（３方向干渉縞の投影方法）］
ここで、３方向干渉縞の投影方法を説明する。
[Section 1.9.2 (Three-way interference fringe projection method)]
Here, a method of projecting three-way interference fringes will be described.
３方向干渉縞を上述した構造化照明顕微鏡装置１で生起させる際には、他の干渉縞（１方向干渉縞）を生起させる場合と同様、上述した回折格子１３（図２（Ａ））を使用することができる。
When the three-way interference fringes are generated by the structured
但し、光束選択部材１８の開口パターンは、回折格子１３において生成する３群の回折光のうち、各群の０次回折光と各群の２次以降の高次回折光と各群の＋１次回折光とをカットし、かつ、各群の−１次回折光のみを透過するように設定される。これによって、瞳面上に形成される集光点は、３つの−１次回折光による集光点のみとなる。図３６（Ａ）は、光束選択部材１８によって余分な回折光がカットされなかった場合の集光点の配置を示しており、図３６（Ｂ）は、光束選択部材１８によって余分な回折光がカットされた場合の集光点の配置を示している。この場合、１２０°ずつずれた位置に３つの集光点が形成される。これら３つの集光点から射出した３つの回折光（ここでは３つの−１次回折光）は、３方向から標本の照明エリアへ入射し、標本上に３方向干渉縞を形成する。なお、ここでは、干渉縞に寄与する回折光を３つの−１次回折光としたが、３つの＋１次回折光としてもよいことは言うまでもない。
However, among the three groups of diffracted lights generated in the
但し、この場合、３方向干渉縞として、３通りの２光束干渉縞の重ね合わせではなく、３光束干渉縞が生起してしまうので、超解像効果が低くなってしまう。また、±１次回折光の一方をカットするので、レーザ光の利用効率が低くなってしまう。 However, in this case, as a three-way interference fringe, not a superposition of three kinds of two-beam interference fringes but a three-beam interference fringe occurs, so that the super-resolution effect is lowered. In addition, since one of the ± first-order diffracted lights is cut, the utilization efficiency of the laser light is lowered.
そこで、次のとおりにしてもよい。すなわち、独立した３つのレーザ光源Ａ、Ｂ、Ｃを用意し、レーザ光源Ａから射出したレーザ光、レーザ光源Ｂから射出したレーザ光、レーザ光源Ｃから射出したレーザ光の各々を、２分岐ファイバで分岐し、６つの点光源ａ、ａ’、ｂ、ｂ’、ｃ、ｃ’を形成する。なお、点光源ａ、ａ’は、レーザ光源Ａから生成された可干渉な光源であり、点光源ｂ、ｂ’は、レーザ光源Ｂから生成された可干渉な光源であり、点光源ｃ、ｃ’は、レーザ光源Ｃから生成された可干渉な光源である。そして、ファイバを適切に配線することにより、それら６つの点光源ａ、ａ’、ｂ、ｂ’、ｃ、ｃ’を、図３７に示すような位置関係で瞳共役面へ配置する。つまり、点光源ａ、ａ’の配列方向と、点光源ｂ、ｂ’の配列方向と、点光源ｃ、ｃ’の配列方向とは、１２０°ずつ異なる互いに異なる方向に設定される。これら６つの点光源から射出した６つのレーザ光は、６方向から標本の照明エリアへ入射し、標本上に３方向干渉縞を形成する。 Therefore, it may be as follows. That is, three independent laser light sources A, B, and C are prepared, and each of the laser light emitted from the laser light source A, the laser light emitted from the laser light source B, and the laser light emitted from the laser light source C is split into two branched fibers. Are branched to form six point light sources a, a ′, b, b ′, c, and c ′. The point light sources a and a ′ are coherent light sources generated from the laser light source A, the point light sources b and b ′ are coherent light sources generated from the laser light source B, and the point light sources c and c ′ is a coherent light source generated from the laser light source C. Then, by appropriately wiring the fibers, these six point light sources a, a ', b, b', c, c 'are arranged on the pupil conjugate plane in the positional relationship as shown in FIG. That is, the arrangement direction of the point light sources a and a ′, the arrangement direction of the point light sources b and b ′, and the arrangement direction of the point light sources c and c ′ are set to different directions different by 120 °. The six laser lights emitted from these six point light sources are incident on the specimen illumination area from six directions, and form three-way interference fringes on the specimen.
ここで、点光源ａ、ａ’から射出したレーザ光Ｌａ、Ｌａ’と、点光源ｂ、ｂ’から射出したレーザ光Ｌｂ、Ｌｂ’と 、点光源ｃ、ｃ’から射出したレーザ光Ｌｃ、Ｌｃ’とは、互いに干渉しない。したがって、標本上に形成される干渉縞は、３通りの２光束干渉縞の重ね合わせとなる。よって、超解像効果が低くなることはなく、レーザ光の利用効率も高い。 Here, the laser beams La and La ′ emitted from the point light sources a and a ′, the laser beams Lb and Lb ′ emitted from the point light sources b and b ′, and the laser beams Lc emitted from the point light sources c and c ′, Lc ′ does not interfere with each other. Accordingly, the interference fringes formed on the specimen are a superposition of three types of two-beam interference fringes. Therefore, the super-resolution effect is not lowered and the utilization efficiency of the laser light is high.
なお、このように、光の分岐手段として回折格子１３の代わりに２分岐ファイバが使用された場合は、３方向干渉縞の位相（３成分からなる）を変化させるために、回折格子１３を並進移動させる代わりに、レーザ光Ｌａ、ａ’の位相差と、レーザ光Ｌｂ、Ｌｂ’の位相差と、レーザ光Ｌｃ、Ｌｃの位相差とをそれぞれ変化させればよい。
As described above, when a two-branch fiber is used instead of the
［第２．１節（３Ｄ−ＳＩＭの前提）］
本節では、３Ｄ−ＳＩＭの復調演算の前提を説明する。
[Section 2.1 (Premise of 3D-SIM)]
In this section, the premise of the demodulation operation of 3D-SIM will be described.
ここでは、３Ｄ−ＳＩＭにおける干渉縞強度分布を、以下のとおり仮定する。 Here, the interference fringe intensity distribution in the 3D-SIM is assumed as follows.
３光束干渉の波長をλとおくと、３Ｄ−ＳＩＭにおける干渉縞強度分布Ｋ（ｒ） は、以下のとおり表される。 If the wavelength of the three-beam interference is λ, the interference fringe intensity distribution K (r) in the 3D-SIM is expressed as follows.
簡単のため、ａ０＝１、ａ＋＝ａ＝｜a｜ｅｉφ、ａ−＝ａ＊＝｜a｜ｅ−ｉφと仮定すると、 For simplicity, assuming that a 0 = 1, a + = a = | a | e iφ , a − = a * = | a | e −iφ
さて、標本の蛍光物質密度をＩ０（ｘ）とし、以上の干渉縞強度分布Ｋの干渉縞を標本へ投影したときに、標本の蛍光強度分布は、Ｉ０（ｒ）Ｋ（ｒ）で表されると仮定し、標本の各点で発生した蛍光は他の点の蛍光物質を励起しないという近似（Born 近似）を採用する。 Now, when the fluorescent substance density of the sample is I 0 (x) and the interference fringes of the interference fringe intensity distribution K described above are projected onto the sample, the fluorescent intensity distribution of the sample is I 0 (r) K (r). Assuming that it is expressed, the approximation that the fluorescence generated at each point of the sample does not excite the fluorescent substance at other points (Born approximation) is adopted.
このとき、３Ｄ−ＳＩＭモードで取得される変調画像Ｉ（ｘ、ｚ）は、次のように表される。 At this time, the modulated image I (x, z) acquired in the 3D-SIM mode is expressed as follows.
以下、フーリエ空間上の空間周波数スペクトルを単に「スペクトル」と称す。また、以下では、この式に現れるφを「位相」と称す。 Hereinafter, the spatial frequency spectrum in the Fourier space is simply referred to as “spectrum”. Hereinafter, φ appearing in this equation is referred to as “phase”.
［第２．２節（従来の３Ｄ−ＳＩＭ）］
本節では、比較のため、従来の３Ｄ−ＳＩＭの復調演算を説明する。
[Section 2.2 (Conventional 3D-SIM)]
In this section, a conventional 3D-SIM demodulation operation will be described for comparison.
先ず、３Ｄ−ＳＩＭモードで取得される変調画像のスペクトルにおける観測点ξには、蛍光の−１次変調成分、蛍光の＋１次変調成分、蛍光の＋２次変調成分、蛍光の＋２次変調成分、蛍光の０次変調成分の５成分が重畳されている。観測点ξに重畳された±１次変調成分は、復調画像のスペクトルにおける復元点（ξ±ξ０）が有するべき値（復元値）であり、観測点ξに重畳された±２次変調成分は、復調画像のスペクトルにおける復元点（ξ±２ξ０）が有するべき値（復元値）であり、観測点ξに重畳された０次変調成分は、復調画像のスペクトルにおける復元点ξが有するべき値（復元値）である。
つまり、観測点ξに重畳された±１次変調成分は、正弦波状の強度分布を有する第２の周期（第１の周期の２倍）の縞（中央光とその左右の光からなる３光束のうち、中央光と右光（又は左光）による干渉縞）によって変調された成分であり、観測点ξに重畳された±２次変調成分は正弦波状の強度分布を有する第１の周期の縞(中央光とその左右の光からなる３光束のうち、左右の光による干渉縞)によって変調された成分である。
このことは、変調画像のスペクトルの各観測点について当てはまる。図３８における大きな黒点は、或る観測点に対応し、大きな黒点及びその両側の小さな４つの黒点は、その観測点から復元される５つの復元点に対応している。
First, the observation point ξ in the spectrum of the modulated image acquired in the 3D-SIM mode has a fluorescence first-order modulation component, a fluorescence first-order modulation component, a fluorescence + second-order modulation component, a fluorescence + second-order modulation component, Five components of the fluorescence zero-order modulation component are superimposed. The ± first-order modulation component superimposed on the observation point ξ is a value (restoration value) that the restoration point (ξ ± ξ 0 ) should have in the spectrum of the demodulated image, and the ± second-order modulation component superimposed on the observation point ξ Is the value (restoration value) that the restoration point (ξ ± 2ξ 0 ) in the spectrum of the demodulated image should have, and the zero-order modulation component superimposed on the observation point ξ should have the restoration point ξ in the spectrum of the demodulation image Value (restoration value).
In other words, the ± first-order modulation component superimposed on the observation point ξ is a fringe of the second period (twice the first period) having a sinusoidal intensity distribution (three light fluxes consisting of the central light and its left and right lights). Among the components modulated by the interference light due to the central light and the right light (or the left light), and the ± secondary modulation component superimposed on the observation point ξ has a first period having a sinusoidal intensity distribution. It is a component modulated by fringes (interference fringes due to left and right light out of three light beams composed of central light and left and right light).
This is true for each observation point in the spectrum of the modulated image. A large black spot in FIG. 38 corresponds to a certain observation point, and a large black spot and four small black spots on both sides thereof correspond to five restoration points restored from the observation point.
そこで、従来の３Ｄ−ＳＩＭの復調演算では、変調画像のスペクトルの各観測点に重畳された５つの変調成分を互いに分離するために、位相の異なる５枚の変調画像を取得し、それらの変調画像の各々のスペクトルを生成していた。従来は、これらのスペクトルが満たす５つの方程式を連立させて解くことで、図３８における塗りつぶし領域（通常解像範囲及び超解像範囲）の復元値を求めていた。 Therefore, in the conventional demodulation operation of 3D-SIM, in order to separate the five modulation components superimposed on each observation point of the spectrum of the modulation image from each other, five modulation images having different phases are acquired and their modulation is performed. Each spectrum of the image was generated. Conventionally, the restoration value of the filled area (normal resolution range and super-resolution range) in FIG. 38 has been obtained by simultaneously solving five equations satisfied by these spectra.
［第２．４節（３Ｄ−ＳＩＭの９画像２点復元）］
本節では、３Ｄ−ＳＩＭの復調演算として、「９画像２点復元」を説明する。本節における変調画像の取得は、上述した制御装置３９が各部を制御して行うものとし、本節における演算は、上述した画像記憶・演算装置４０が実行するものとする（他の節においても同様。）。
[Section 2.4 (3D-SIM 9-image 2-point reconstruction)]
In this section, “9-image 2-point restoration” will be described as a demodulation operation of 3D-SIM. The modulation image acquisition in this section is performed by the
本節では、３Ｄ−ＳＩＭで取得される１枚の変調画像のスペクトルにおいて、変調方向にかけて変調周波数ξ０だけ離れた２つの観測点ξ、（ξ＋ξ０）には、互いに値の共通する変調成分が重畳されていることに着目する。 In this section, in the spectrum of one modulation image acquired by 3D-SIM, two observation points ξ and (ξ + ξ 0 ) separated by the modulation frequency ξ 0 in the modulation direction have a modulation component having a common value. Note that they are superimposed.
具体的には、観測点ξに重畳した蛍光の−１次変調成分と、観測点（ξ＋ξ０）に重畳した蛍光の０次変調成分とは、何れも復元点（ξ＋ξ０）の復元値に相当し、観測点ξに重畳した蛍光の−２次変調成分と、観測点（ξ＋ξ０）に重畳した蛍光の−１変調成分とは、何れも復元点（ξ＋２ξ０）の復元値に相当し、観測点（ξ＋ξ０）に重畳した蛍光の＋１次変調成分と、観測点ξに重畳した蛍光の０次変調成分とは、復元点ξの復元値に相当し、観測点（ξ＋ξ０）に重畳した蛍光の＋２次変調成分と、観測点ξに重畳した蛍光の１次変調成分とは、何れも（ξ−ξ０）の復元値に相当する。つまり、これら２つの観測点ξ、（ξ＋ξ０）には、互いに共通する４つの復元点（ξ−ξ０）、ξ、（ξ＋ξ０）、（ξ＋２ξ０）の復元値が含まれている。 Specifically, the first-order modulation component of fluorescence superimposed on the observation point ξ and the zero-order modulation component of fluorescence superimposed on the observation point (ξ + ξ 0 ) are both restored values of the restoration point (ξ + ξ 0 ). The fluorescent second-order modulation component superimposed on the observation point ξ and the fluorescent first modulation component superimposed on the observation point (ξ + ξ 0 ) both correspond to the restoration value of the restoration point (ξ + 2ξ 0 ). The first-order modulation component of the fluorescence superimposed on the observation point (ξ + ξ 0 ) and the zero-order modulation component of the fluorescence superimposed on the observation point ξ correspond to the restoration value of the restoration point ξ, and the observation point (ξ + ξ 0 ) Both the + 2nd order modulation component of the superimposed fluorescence and the 1st order modulation component of the fluorescence superimposed on the observation point ξ correspond to a restored value of (ξ−ξ 0 ). That is, these two observation points ξ and (ξ + ξ 0 ) include the restoration values of four common restoration points (ξ−ξ 0 ), ξ, (ξ + ξ 0 ), and (ξ + 2ξ 0 ).
本節の９画像２点復元では、この関係を利用する。以下、具体的に説明する。 This relationship is used in the nine-image two-point restoration in this section. This will be specifically described below.
１枚の変調画像のスペクトルにおいて、観測点ξの観測値と、観測点（ξ＋ξ０）の観測値とは、以下の式で表される。 In the spectrum of one modulated image, the observation value at the observation point ξ and the observation value at the observation point (ξ + ξ 0 ) are expressed by the following equations.
図３９は、本節の３Ｄ−ＳＩＭの復調画像の周波数域を示す図である。図３９（Ａ）はｘｙ断面、図３９（Ｂ）は、ｚｘ断面である。 FIG. 39 is a diagram illustrating a frequency range of a 3D-SIM demodulated image in this section. 39A is an xy cross section, and FIG. 39B is a zx cross section.
図３９における大きな黒点は、ξ０だけずれた或る２つの観測点ξ、（ξ＋ξ０）を示しており、図３９における２つの大きな黒点及び４つの小さな黒点は、それらの観測点ξ、（ξ＋ξ０）から復元される復元点（合計６つの復元点）を示している。 Big black dots in FIG. 39, xi] 0 shifted by one two observation points ξ, (ξ + ξ 0) shows the two major black dots and four small black dots in FIG. 39, those observation points xi], ( The restoration points restored from (ξ + ξ 0 ) are shown (a total of six restoration points).
以上の説明は、或る波数ベクトル（１方向）に関する復元の説明である。 The above description is the description of the restoration related to a certain wave vector (one direction).
よって、本節では、互いに方向の異なる３つの波数ベクトルの各々で位相の異なる３枚の変調画像を取得し、それら変調画像の各々のスペクトルを生成し、それらのスペクトルに対して方向毎に上記と同様の復元処理を施す。これによって、周波数範囲の広い復調画像を得ることができる。 Therefore, in this section, three modulated images with different phases are obtained for each of the three wave number vectors with different directions, and the respective spectra of the modulated images are generated. A similar restoration process is performed. Thereby, a demodulated image having a wide frequency range can be obtained.
なお、本節では、同一の波数ベクトルで取得される３枚の変調画像間の位相差Δφは、２π／３に設定されることが望ましい。 In this section, it is desirable that the phase difference Δφ between the three modulated images acquired with the same wave vector is set to 2π / 3.
［第２．５節（３Ｄ−ＳＩＭの7画像３点復元）］
本節では、３Ｄ−ＳＩＭの7画像３点復元を説明する。本節は、無変調画像のスペクトルを利用した第１．７節を３Ｄ−ＳＩＭに応用したものである。
[Section 2.5 (3D-SIM 7-image 3-point reconstruction)]
In this section, 3D-SIM 7-image 3-point restoration will be described. This section applies Section 1.7, which uses the spectrum of an unmodulated image, to 3D-SIM.
先ず、本節では、方向数（波数ベクトルの数）を３とする。 First, in this section, the number of directions (the number of wave vectors) is set to 3.
つまり、本節では、３つの波数ベクトルξ１、ξ２、ξ３を閉じた関係（ξ３＝ξ１−ξ２）にし、かつ、１枚の無変調画像を取得する代わりに、３つの方向の各々の位相数を、１ずつ抑える（２ずつとする。）。 That is, in this section, the three wave vectors ξ 1 , ξ 2 , and ξ 3 are closed (ξ 3 = ξ 1 −ξ 2 ), and instead of acquiring one unmodulated image, three directions The number of each phase is suppressed by 1 (assumed to be 2).
また、本節では、同一の波数ベクトルで取得される２枚の変調画像間の位相差Δφを、Δφ＝πに設定する。 In this section, the phase difference Δφ between two modulated images acquired with the same wave vector is set to Δφ = π.
また、ここでは３つの波数ベクトルの番号をｋ（ｋ＝１、２、３） とおき、ｋ番目の波数ベクトルで取得された、互いに位相の異なる２枚の変調画像を、以下の通り表す。 Also, here, the numbers of three wave vectors are set as k (k = 1, 2, 3), and two modulated images having different phases acquired by the k th wave vector are represented as follows.
式２．２３より、以下の式が成り立つ。 From the expression 2.23, the following expression is established.
ここで、同一の波数ベクトルで取得される２枚の変調画像間の位相差Δφを、Δφ＝πに設定したので、式２．３５より、以下の式が成り立つ。 Here, since the phase difference Δφ between two modulated images acquired with the same wave vector is set to Δφ = π, the following equation is established from Equation 2.35.
また、０次変調成分（通常解像成分）は、次のように表せる。 In addition, the zero-order modulation component (normal resolution component) can be expressed as follows.
また、スペクトル Spectrum
［第２．６節（３Ｄ−ＳＩＭの１２画像３点復元）］
本節では、画像の枚数（スペクトルの数）の削減よりも演算精度の維持を目的として、方向数（波数ベクトルの数）を３とし、各方向の位相数を４とすることで、合計１２枚の変調画像を取得する（合計１２個のスペクトルを生成する）。
[Section 2.6 (3D-SIM 12-image 3-point reconstruction)]
In this section, for the purpose of maintaining calculation accuracy rather than reducing the number of images (number of spectra), the number of directions (number of wave vectors) is set to 3, and the number of phases in each direction is set to 4, for a total of 12 images. (A total of 12 spectra are generated).
また、本節では、同一の波数ベクトルで取得される４枚の変調画像間の位相差Δφを、Δφ＝π／２に設定する。 In this section, the phase difference Δφ between four modulated images acquired with the same wave vector is set to Δφ = π / 2.
また、ここでは方向番号をｋ（ｋ＝１、２、３） とおき、位相番号をl（ｌ＝０、１、２、３）とおく。 Here, the direction number is set to k (k = 1, 2, 3), and the phase number is set to l (l = 0, 1, 2, 3).
先ず、±１次変調成分は、式２．３５より、 First, the ± 1st order modulation component is obtained from Equation 2.35.
よって、本節の復調演算を行列で書くと、 Therefore, when the demodulation operation in this section is written as a matrix,
したがって、本節では、１２枚の変調画像のスペクトル（１２のスペクトル）の観測値をこの式へ当てはめることにより、０次変調成分と±１次変調成分とを分離する。 Therefore, in this section, the zero-order modulation component and the ± first-order modulation component are separated by fitting the observed values of the 12 modulation images (12 spectra) to this equation.
そして、残る±２次変調成分については、第１．７節と同様の手順で分離する。 The remaining ± second order modulation components are separated in the same procedure as in section 1.7.
このように、本節では、第２．５節の手順を踏まずに±１次変調成分を分離することができるので、高いセクショニング効果が期待できる。 In this way, in this section, ± 1st order modulation components can be separated without following the procedure in section 2.5, so that a high sectioning effect can be expected.
［第２．７節（３Ｄ−ＳＩＭの８画像３点復元）］
なお、上述した第１．６節を以下の通り３Ｄ−ＳＩＭに応用してもよい。
[Section 2.7 (3D-SIM 8
In addition, you may apply Section 1.6 mentioned above to 3D-SIM as follows.
本節では、方向数（波数ベクトルの数）を３とする。 In this section, the number of directions (the number of wave vectors) is 3.
また、３つの波数ベクトルξ１、ξ２、ξ３を閉じた関係（ξ３＝ξ１−ξ２）に設定する。 Further, the three wave number vectors ξ 1 , ξ 2 and ξ 3 are set to a closed relationship (ξ 3 = ξ 1 −ξ 2 ).
そして、３つの方向のうち何れか１つの方向（波数ベクトルξ１）については、位相数を４とするが、他の２つの方向の各々の位相数を２に抑える。 Then, for any one of the three directions (wave number vector ξ 1 ), the number of phases is set to 4, but the number of phases in each of the other two directions is suppressed to 2.
つまり、本節では、３つの波数ベクトルξ１、ξ２、ξ３を閉じた関係（ξ３＝ξ１−ξ２）にする代わりに、２つの方向の各々の変調画像数を、１ずつ抑える。よって、変調画像の合計数（スペクトルの合計数）は、８となる。 That is, in this section, instead of making the three wave vector ξ 1 , ξ 2 , ξ 3 into a closed relationship (ξ 3 = ξ 1 −ξ 2 ), the number of modulated images in each of the two directions is suppressed by one. . Therefore, the total number of modulated images (total number of spectra) is 8.
ただし、本節では、第１方向（k＝１）の変調画像間の位相差は、Δφ＝π／２、第２方向（k＝２）の変調画像間の位相差は、Δφ＝π、第３方向（k＝３）の変調画像間の位相差は、Δφ＝πに設定される。 However, in this section, the phase difference between modulated images in the first direction (k = 1) is Δφ = π / 2, the phase difference between modulated images in the second direction (k = 2) is Δφ = π, The phase difference between the modulated images in the three directions (k = 3) is set to Δφ = π.
このようにして取得された８枚の変調画像のスペクトルによると、各変調成分を分離することが可能である。すなわち、第１ステップにおいて、第１方向（ｋ＝１）に関する４枚の変調画像のスペクトルで０次変調成分を求めてから、第２ステップにおいて、±１次変調成分、±２次変調成分の分離を行えばよい。 According to the spectra of the eight modulated images acquired in this way, each modulation component can be separated. That is, in the first step, the zero-order modulation component is obtained from the spectra of the four modulated images in the first direction (k = 1), and then in the second step, the ± first-order modulation component and the ± second-order modulation component Separation may be performed.
［その他］
なお、上述の各実施形態の要件は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。また、法令で許容される限りにおいて、上述の各実施形態及び変形例で引用した装置などに関する全ての公開公報及び米国特許の開示を援用して本文の記載の一部とする。
[Others]
Note that the requirements of the above-described embodiments can be combined as appropriate. Some components may not be used. In addition, as long as it is permitted by law, the disclosure of all publications and US patents relating to the devices cited in the above embodiments and modifications are incorporated herein by reference.
１…構造化照明顕微鏡装置、１００…レーザユニット、１１…光ファイバ、１０…照明光学系、３０…結像光学系、３５…撮像素子、３９…制御装置、４０…画像記憶・演算装置、４５…画像表示装置、１２…コレクタレンズ、２３…偏光板、１５…光束分岐部、１６…集光レンズ、２４…光束選択部、２５…レンズ、２６…視野絞り、２７…フィールドレンズ、２８…励起フィルタ、７…ダイクロイックミラー、６…対物レンズ、５…標本、１８…光束選択部材、２００…０次光シャッタ、２４Ａ…回動機構、２００Ａ…回動機構
DESCRIPTION OF
Claims (11)
前記光束選択部材により選択された光束で標本を照明する光学系と、
前記光束選択部材が選択する光束を切り換える切換部と、
撮像部と、
演算部と
を備え、
前記光学系は、前記光束選択部材により選択された光束による干渉縞を前記標本に形成し、
前記切換部は、前記光束選択部材を回動させて前記干渉縞の方向を切り替える動作中に前記光束選択部材に１つの光束のみを選択させ、
前記撮像部は、
前記干渉縞で空間変調された前記標本の像である変調像を撮像し、
前記１つの光束が選択されて照明された前記標本の像である無変調像を少なくとも１枚、撮像し、
前記演算部は、前記変調像の画像及び前記無変調像の画像に基づき前記標本の復調画像を生成する
構造化照明顕微鏡装置。 A light flux selecting member for selecting one or more light fluxes;
An optical system for illuminating the specimen with a light beam selected by the light beam selection member ;
A switching unit that switches a light beam selected by the light beam selection member ;
And the imaging section,
With an arithmetic unit ,
The optical system forms an interference fringe on the sample by the light beam selected by the light beam selection member,
The switching unit causes the light beam selection member to select only one light beam during an operation of rotating the light beam selection member to switch the direction of the interference fringes,
The imaging unit
Taking a modulated image that is an image of the sample spatially modulated by the interference fringes,
Capturing at least one unmodulated image, which is an image of the sample illuminated with the one light beam selected ,
The arithmetic unit generates a demodulated image of the sample based on the image of the modulated image and the image of the non-modulated image
Structured illumination microscope.
光源からの射出光束を複数の光束に分岐する分岐部を更に備え、
前記切換部は、
前記光束選択部材を前記光学系の光軸周りに回動させることにより前記光束選択部材で選択される光束の組み合わせを切り換える
構造化照明顕微鏡装置。 The structured illumination microscope apparatus according to claim 1,
A branching part for branching the light beam emitted from the light source into a plurality of light beams;
The switching unit is
Ru switching combinations of the light beam that will be selected by the beam selecting member by rotating the beam selecting member about the optical axis of the optical system
Structured illumination microscope.
１以上の光束を選択する光束選択部材と、A light flux selecting member for selecting one or more light fluxes;
前記光束選択部材により選択された光束で標本を照明する光学系と、An optical system for illuminating the specimen with a light beam selected by the light beam selection member;
制御部と、A control unit;
撮像部と、An imaging unit;
演算部とCalculation unit and
を備え、With
前記光学系は、前記光束選択部材により選択された光束による干渉縞を前記標本に形成し、The optical system forms an interference fringe on the sample by the light beam selected by the light beam selection member,
前記制御部は、前記分岐部を回動させて前記干渉縞の方向を切り替える動作中に前記光束選択部材に１つの光束のみを選択させ、The control unit causes the light beam selection member to select only one light beam during the operation of rotating the branching unit and switching the direction of the interference fringes,
前記撮像部は、The imaging unit
前記干渉縞で空間変調された前記標本の像である変調像を撮像し、Taking a modulated image that is an image of the sample spatially modulated by the interference fringes,
前記１つの光束が選択されて照明された前記標本の像である無変調像を少なくとも１枚撮像し、Taking at least one unmodulated image, which is an image of the sample illuminated with the one light beam selected,
前記演算部は、前記変調像の画像及び前記無変調像の画像に基づき前記標本の復調画像を生成するThe arithmetic unit generates a demodulated image of the sample based on the image of the modulated image and the image of the non-modulated image
構造化照明顕微鏡装置。Structured illumination microscope device.
前記光束選択部材は、
前記光学系の光軸に関して対称な選択部を有する
構造化照明顕微鏡装置。 In the structured illumination microscope apparatus according to any one of claims 1 to 3 ,
The luminous flux selection member is
A selection unit symmetrical with respect to the optical axis of the optical system;
Structured illumination microscope.
前記光束選択部材は、
前記光学系の光軸に関して非対称な選択部を有する
構造化照明顕微鏡装置。 In the structured illumination microscope apparatus according to any one of claims 1 to 3 ,
The luminous flux selection member is
A selector that is asymmetric with respect to the optical axis of the optical system;
Structured illumination microscope.
前記１つの光束は、光軸外の光束である
構造化照明顕微鏡装置。 The structured illumination microscope apparatus according to claim 5 ,
The one light beam is a light beam off the optical axis.
Structured illumination microscope.
前記光束選択部材は、
所定数の光束のうち前記光学系の光軸上の光束を遮光する遮光部材を更に備える
構造化照明顕微鏡装置。 In the structured illumination microscope apparatus according to any one of claims 1 to 6 ,
The luminous flux selection member is
Further comprising a light shielding member for shielding the light beam on the optical axis of the optical system of the light flux of Tokoro constant
Structured illumination microscope.
前記遮光部材は、
前記変調像の撮像時には前記光軸上の光束の光路へ挿入され、前記無変調像の撮像時には前記光軸上の光束の光路から離脱される
構造化照明顕微鏡装置。 The structured illumination microscope apparatus according to claim 7 ,
The light shielding member is
When the modulated image is captured, it is inserted into the optical path of the light beam on the optical axis, and when the unmodulated image is captured, it is removed from the optical path of the light beam on the optical axis.
Structured illumination microscope.
前記遮光部材は、
前記変調像の撮像時には前記光軸上の光束の光路から離脱され、前記無変調像の撮像時には前記光軸上の光束の光路へ挿入される
構造化照明顕微鏡装置。 The structured illumination microscope apparatus according to claim 7 ,
The light shielding member is
When the modulated image is captured, the light beam is separated from the optical path of the light beam on the optical axis, and when the unmodulated image is captured, the light beam is inserted into the optical path of the light beam on the optical axis.
Structured illumination microscope.
前記標本を照射する光束の強度、前記光束の照射時間、前記撮像部の電荷蓄積時間のうち少なくとも１つを、以下の条件を満たすように制御する制御部を備える
構造化照明顕微鏡装置。
０．５＜（Ｉｆｌａｔ×Ｔｆｌａｔ）／（Ｉｓｉ×Ｔｓｉ）≦２
但し、Ｉｓｉは、前記変調像の撮像時における標本像強度、Ｉｆｌａｔは、前記無変調像の撮像時における標本像強度、Ｔｓｉは、前記変調像の撮像時における前記撮像部の電荷蓄積時間、Ｔｆｌａｔは、前記無変調像の撮像時における前記撮像部の電荷蓄積時間である。 In the structured illumination microscope apparatus according to any one of claims 1 to 9 ,
A controller that controls at least one of the intensity of the light beam that irradiates the sample, the irradiation time of the light beam, and the charge accumulation time of the imaging unit so as to satisfy the following condition:
Structured illumination microscope.
0.5 <(I flat × T flat ) / (I si × T si ) ≦ 2
Where I si is the sample image intensity at the time of capturing the modulated image, I flat is the sample image intensity at the time of capturing the unmodulated image, and T si is the charge accumulation of the image capturing unit at the time of capturing the modulated image. The time, T flat, is the charge accumulation time of the imaging unit when the unmodulated image is captured .
前記干渉縞の位相をシフトさせる位相シフト部を更に備える
構造化照明顕微鏡装置。 In the structured illumination microscope apparatus according to any one of claims 1 to 10 ,
A phase shifter for shifting the phase of the interference fringes;
Structured illumination microscope.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013197129A JP6286982B2 (en) | 2013-09-24 | 2013-09-24 | Structured illumination microscope |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013197129A JP6286982B2 (en) | 2013-09-24 | 2013-09-24 | Structured illumination microscope |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015064438A JP2015064438A (en) | 2015-04-09 |
| JP6286982B2 true JP6286982B2 (en) | 2018-03-07 |
Family
ID=52832375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013197129A Expired - Fee Related JP6286982B2 (en) | 2013-09-24 | 2013-09-24 | Structured illumination microscope |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6286982B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI651543B (en) * | 2018-08-10 | 2019-02-21 | 光焱科技股份有限公司 | Optical system based on structured light illumination technology and application method thereof |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2136233B1 (en) * | 2007-04-12 | 2013-06-12 | Nikon Corporation | Microscope device |
| ATE557367T1 (en) * | 2008-06-05 | 2012-05-15 | Univ Boston | SYSTEM AND METHOD FOR GENERATING AN OPTICALLY DIVIDED IMAGE USING BOTH STRUCTURED AND UNIFORM ILLUMINATION |
| WO2013001805A1 (en) * | 2011-06-29 | 2013-01-03 | 株式会社ニコン | Structured illumination optical system and structured illumination microscope device |
| JP5900515B2 (en) * | 2012-01-18 | 2016-04-06 | 株式会社ニコン | Structured illumination device, structured illumination microscope device, structured illumination method |
-
2013
- 2013-09-24 JP JP2013197129A patent/JP6286982B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI651543B (en) * | 2018-08-10 | 2019-02-21 | 光焱科技股份有限公司 | Optical system based on structured light illumination technology and application method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015064438A (en) | 2015-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5888416B2 (en) | Structured illumination microscope | |
| US10739574B2 (en) | Structured illumination optical system and structured illumination microscope device | |
| WO2015052936A1 (en) | Structured illumination microscope device | |
| JP5206681B2 (en) | Structured illumination microscope | |
| JP6264377B2 (en) | Structured illumination device and structured illumination microscope device | |
| JP6033798B2 (en) | System and method for illumination phase control in fluorescence microscopy | |
| JP4899408B2 (en) | Microscope equipment | |
| JP6194710B2 (en) | Structured illumination device and structured illumination microscope device | |
| WO2014017067A1 (en) | Structured lighting device and structured lighting microscope | |
| JP4844137B2 (en) | Microscope equipment | |
| JP6137324B2 (en) | Illumination device and structured illumination microscope device | |
| JP2007279287A (en) | Structured illuminating optical system and structured illuminating microscope having the same | |
| JP2012037911A (en) | Microscope device | |
| JP6269239B2 (en) | Structured illumination device and structured illumination microscope device | |
| JP6286982B2 (en) | Structured illumination microscope | |
| JP6127451B2 (en) | Structured illumination device and structured illumination microscope device | |
| JP6413364B2 (en) | Illumination optical system and microscope apparatus | |
| JP2015099177A (en) | Structured illumination device and structured illumination microscope device | |
| JP6268826B2 (en) | Structured illumination device and structured illumination microscope device | |
| WO2015052920A1 (en) | Structured illumination device and structured illumination microscope device | |
| JP6409260B2 (en) | Structured illumination device and structured illumination microscope device | |
| WO2019176121A1 (en) | Structured illumination device and structured illumination microscope | |
| JP2002196253A (en) | Interference fringe projection optical system and microscope using this optical system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160825 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20170323 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20170323 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170327 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170621 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170718 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170915 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180122 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6286982 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |