JP7099143B2 - Microscope, observation method, and control program - Google Patents

Microscope, observation method, and control program Download PDF

Info

Publication number
JP7099143B2
JP7099143B2 JP2018143686A JP2018143686A JP7099143B2 JP 7099143 B2 JP7099143 B2 JP 7099143B2 JP 2018143686 A JP2018143686 A JP 2018143686A JP 2018143686 A JP2018143686 A JP 2018143686A JP 7099143 B2 JP7099143 B2 JP 7099143B2
Authority
JP
Japan
Prior art keywords
light
image
phase
excitation light
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018143686A
Other languages
Japanese (ja)
Other versions
JP2020020929A (en
Inventor
勇輝 照井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2018143686A priority Critical patent/JP7099143B2/en
Publication of JP2020020929A publication Critical patent/JP2020020929A/en
Application granted granted Critical
Publication of JP7099143B2 publication Critical patent/JP7099143B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Description

本発明は、顕微鏡、観察方法、及び制御プログラムに関する。 The present invention relates to a microscope, an observation method, and a control program.

構造化照明を用いた顕微鏡が提案されている(例えば、下記の特許文献1参照)。構造化照明は、光学系の分解能を越えた観察を可能とする構造化照明顕微鏡(Structured Illumination Microscopy ; SIM)に用いられる場合がある。構造化照明顕微鏡は、1方向において強度が周期的に変化する照明光(例、縞パターン)が照射された試料を撮像する。構造化照明顕微鏡は、照明光の周期方向を変更して撮像した画像を用いることで、解像度が2方向において向上した画像を生成する。このような技術において、照明光の強度の周期方向を変更しなくても複数の方向(例、2方向)の解像度が撮像画像と異なる画像(例、超解像画像)を取得可能(例、生成可能)であることが望まれる。 A microscope using structured illumination has been proposed (see, for example, Patent Document 1 below). Structured illumination may be used in Structured Illumination Microscopy (SIM), which allows observation beyond the resolution of the optical system. A structured illumination microscope images a sample irradiated with illumination light (eg, a fringe pattern) whose intensity changes periodically in one direction. The structured illumination microscope uses an image captured by changing the periodic direction of the illumination light to generate an image with improved resolution in two directions. In such a technique, it is possible to acquire an image (eg, super-resolution image) having a resolution different from that of the captured image in a plurality of directions (eg, two directions) without changing the periodic direction of the intensity of the illumination light (eg, super-resolution image). It is desirable that it can be generated).

特開2014-109490号公報Japanese Unexamined Patent Publication No. 2014-109490

本発明の第1の態様に従えば、蛍光物質を含む試料が配置される試料面上の第1方向において強度が周期的に変化し蛍光物質を活性化する活性化光と、試料面上で第1方向に交差する第2方向において強度が周期的に変化し活性化光によって活性化した蛍光物質を励起する励起光とを試料に照射する照射部と、第1方向における活性化光の強度分布と、第2方向における励起光の強度分布とを変更する制御部と、活性化光の照射と励起光の照射とによって試料から放射される蛍光の像を撮像する撮像部と、撮像部が撮像して得られる第1画像に基づいて、第1画像と解像度が異なる第2画像を生成する画像処理部と、を備える顕微鏡が提供される。 According to the first aspect of the present invention, activation light whose intensity changes periodically in the first direction on the sample surface on which the sample containing the fluorescent substance is placed to activate the fluorescent substance, and on the sample surface. The irradiation part that irradiates the sample with the excitation light that excites the fluorescent substance activated by the activation light whose intensity changes periodically in the second direction intersecting the first direction, and the intensity of the activation light in the first direction. The control unit that changes the distribution and the intensity distribution of the excitation light in the second direction, the imaging unit that captures the image of the fluorescence emitted from the sample by the irradiation of the activation light and the irradiation of the excitation light, and the imaging unit Provided is a microscope including an image processing unit that generates a second image having a different resolution from the first image based on the first image obtained by imaging.

本発明の第2の態様に従えば、蛍光物質を含む試料が配置される試料面上の第1方向において強度が周期的に変化し蛍光物質を活性化する活性化光と、試料面上で第1方向に交差する第2方向において強度が周期的に変化し活性化光によって活性化した蛍光物質を励起する励起光とを試料に照射することと、第1方向における活性化光の強度分布を変更することと、第2方向における励起光の強度分布を変更することと、活性化光の照射と励起光の照射とによって試料から放射される蛍光の像を撮像することと、撮像によって得られる第1画像に基づいて、第1画像と解像度が異なる第2画像を生成することと、を含む観察方法が提供される。 According to the second aspect of the present invention, activation light whose intensity changes periodically in the first direction on the sample surface on which the sample containing the fluorescent substance is placed to activate the fluorescent substance, and on the sample surface. Irradiating the sample with excitation light that excites the fluorescent substance activated by the activation light whose intensity changes periodically in the second direction intersecting the first direction, and the intensity distribution of the activation light in the first direction. By changing the intensity distribution of the excitation light in the second direction, and by imaging the fluorescence image emitted from the sample by the irradiation of the activation light and the irradiation of the excitation light. An observation method including generating a second image having a different resolution from the first image based on the first image to be obtained is provided.

本発明の第3の態様に従えば、コンピュータに、蛍光物質を含む試料が配置される試料面上の第1方向において強度が周期的に変化し蛍光物質を活性化する活性化光と、試料面上で第1方向に交差する第2方向において強度が周期的に変化し活性化光によって活性化した蛍光物質を励起する励起光とを試料に照射する制御と、第1方向における活性化光の強度分布を変更する制御と、第2方向における励起光の強度分布を変更する制御と、活性化光の照射と励起光の照射とによって試料から放射される蛍光の像を撮像する制御と、を実行させる制御プログラムが提供される。 According to the third aspect of the present invention, the computer comprises activated light whose intensity changes periodically in the first direction on the sample surface on which the sample containing the fluorescent substance is placed to activate the fluorescent substance, and the sample. Control to irradiate the sample with excitation light that excites the fluorescent substance activated by the activation light whose intensity changes periodically in the second direction that intersects the first direction on the surface, and activation light in the first direction. Control to change the intensity distribution of the A control program is provided to execute.

第1実施形態に係る顕微鏡を示す図である。It is a figure which shows the microscope which concerns on 1st Embodiment. 第1実施形態に係る縞パターンおよび強度分布を示す図である。It is a figure which shows the stripe pattern and the intensity distribution which concerns on 1st Embodiment. (A)、(B)は、それぞれ、第1実施形態に係る顕微鏡における活性化光の光路、励起光の光路を示す図である。(A) and (B) are diagrams showing an optical path of activation light and an optical path of excitation light in the microscope according to the first embodiment, respectively. 第1実施形態に係る活性化光の強度分布の位相を示す図である。It is a figure which shows the phase of the intensity distribution of the activation light which concerns on 1st Embodiment. 第1実施形態に係る励起光の強度分布の位相を示す図である。It is a figure which shows the phase of the intensity distribution of the excitation light which concerns on 1st Embodiment. 第1実施形態に係る画像処理部の処理を示す図である。It is a figure which shows the processing of the image processing part which concerns on 1st Embodiment. 第1実施形態に係る画像処理部の処理の説明に用いる数式である。It is a mathematical formula used for the explanation of the processing of the image processing unit which concerns on 1st Embodiment. 第1実施形態に係る画像処理部の処理の説明に用いる数式である。It is a mathematical formula used for the explanation of the processing of the image processing unit which concerns on 1st Embodiment. 第1実施形態に係る画像処理部の処理の説明に用いる数式である。It is a mathematical formula used for the explanation of the processing of the image processing unit which concerns on 1st Embodiment. 第1実施形態に係る画像処理部の処理、比較例の処理を示す図である。It is a figure which shows the processing of the image processing part and the processing of the comparative example which concerns on 1st Embodiment. 第1実施形態に係る第1方向と第2方向との関係を示す図である。It is a figure which shows the relationship between the 1st direction and the 2nd direction which concerns on 1st Embodiment. 第1実施形態に係る観察方法の第1例を示すフローチャートである。It is a flowchart which shows 1st example of the observation method which concerns on 1st Embodiment. (A)から(C)は、第1実施形態に係る照明光の照射タイミングおよび撮像タイミングを示すタイミングチャートである。(A) to (C) are timing charts showing the irradiation timing and the imaging timing of the illumination light according to the first embodiment. 第1実施形態に係る観察方法の第2例を示すフローチャートである。It is a flowchart which shows the 2nd example of the observation method which concerns on 1st Embodiment.

[第1実施形態]
第1実施形態について説明する。図1は、第1実施形態に係る顕微鏡を示す図である。顕微鏡1は、蛍光物質で標識(ラベル)された試料Sの蛍光観察に利用される。顕微鏡1は、試料Sに含まれる蛍光物質が発する蛍光を検出する。試料Sは、生きた細胞(ライブセル)を含んでもよいし、ホルムアルデヒド溶液等の組織固定液を用いて固定された細胞を含んでもよく、組織等を含んでもよい。試料Sは、観察対象物を保持する保持部材(例、カバーガラス、シャーレ)を含んでもよい。
[First Embodiment]
The first embodiment will be described. FIG. 1 is a diagram showing a microscope according to the first embodiment. The microscope 1 is used for fluorescence observation of the sample S labeled (labeled) with a fluorescent substance. The microscope 1 detects the fluorescence emitted by the fluorescent substance contained in the sample S. The sample S may contain living cells (live cells), cells fixed using a tissue fixative such as a formaldehyde solution, or tissues. The sample S may include a holding member (eg, cover glass, petri dish) for holding the observation object.

蛍光物質は、フォトスイッチャブル プローブ(Photoswitchable Probe;PP)を含む。蛍光物質は、活性化光が照射されることで不活性状態から活性状態に遷移する。蛍光物質は、活性状態において励起光が照射されることによって、基底状態から励起状態に遷移する。蛍光物質は、励起状態において蛍光を発して、基底状態に遷移する。また、蛍光物質は、不活性化光が照射されることによって活性化状態から不活性状態に遷移する。不活性状態において、蛍光物質は、励起光が照射されても励起状態に遷移せず、蛍光を発しない。不活性化光は、励起光と同じ波長である場合もあるし、励起光と異なる波長である場合もある。上記の蛍光物質は、シアニン(cyanine)染料等の蛍光色素でもよいし、蛍光タンパク質でもよい。試料Sに含まれる蛍光物質の種類は、1種類でもよいし、2種類以上でもよい。 Fluorescent material includes a photoswitchable probe (PP). The fluorescent substance transitions from the inactive state to the active state when it is irradiated with the activating light. The fluorescent substance transitions from the ground state to the excited state by being irradiated with the excited light in the active state. The fluorescent substance emits fluorescence in the excited state and transitions to the ground state. In addition, the fluorescent substance transitions from the activated state to the inactive state when it is irradiated with the inactivating light. In the inert state, the fluorescent substance does not transition to the excited state even when irradiated with the excitation light and does not fluoresce. The deactivating light may have the same wavelength as the excitation light, or may have a different wavelength from the excitation light. The fluorescent substance may be a fluorescent dye such as a cyanine dye or a fluorescent protein. The type of the fluorescent substance contained in the sample S may be one kind or two or more kinds.

顕微鏡1は、ステージ2と、照射部3と、撮像部4と、制御装置5と、表示装置6(表示部)と、記憶装置7(記憶部)とを備える。ステージ2は、試料Sを保持する保持面を有する。ステージ2は、例えば、XYステージまたはXYZステージを含む。ステージ2は、試料Sを保持した状態で、対物レンズ28(後述する)に対して可動である。ステージ2は、対物レンズ28に対して移動しなくてもよい(固定されていてもよい)。 The microscope 1 includes a stage 2, an irradiation unit 3, an image pickup unit 4, a control device 5, a display device 6 (display unit), and a storage device 7 (storage unit). The stage 2 has a holding surface for holding the sample S. Stage 2 includes, for example, an XY stage or an XYZ stage. The stage 2 is movable with respect to the objective lens 28 (described later) while holding the sample S. The stage 2 does not have to move (may be fixed) with respect to the objective lens 28.

照射部3(照明部、照明装置)は、試料Sに含まれる蛍光物質を活性化する活性化光L1を試料Sに照射する。活性化光L1は、試料Sが配置される試料面Sa上の第1方向D1(後に図2に示す)において強度が周期的に変化する。また、照射部3は、活性化光L1によって活性化した蛍光物質を励起する励起光L2を試料Sに照射する。ここでは、励起光L2の波長は、活性化光L1と異なるものとする。励起光L2の波長は、活性化光L1の波長と同じでもよい。
励起光L2は、試料面Sa上で第1方向D1に交差(例、直交)する第2方向D2(後に図2に示す)において強度が周期的に変化する。
The irradiation unit 3 (illumination unit, illumination device) irradiates the sample S with the activation light L1 that activates the fluorescent substance contained in the sample S. The intensity of the activation light L1 changes periodically in the first direction D1 (later shown in FIG. 2) on the sample surface Sa on which the sample S is placed. Further, the irradiation unit 3 irradiates the sample S with the excitation light L2 that excites the fluorescent substance activated by the activation light L1. Here, the wavelength of the excitation light L2 is different from that of the activation light L1. The wavelength of the excitation light L2 may be the same as the wavelength of the activation light L1.
The intensity of the excitation light L2 changes periodically in the second direction D2 (later shown in FIG. 2) intersecting (eg, orthogonal to) the first direction D1 on the sample surface Sa.

また、照射部3は、試料Sにおいて活性化光L1が照射された領域に対して、不活性化光L3を照射する。ここでは、不活性化光L3の波長が、活性化光L1の波長および励起光L2の波長のいずれとも異なるものとする。不活性化光L3の波長は、励起光L2の波長と同じでもよい。 Further, the irradiation unit 3 irradiates the region irradiated with the activating light L1 in the sample S with the deactivating light L3. Here, it is assumed that the wavelength of the deactivating light L3 is different from both the wavelength of the activating light L1 and the wavelength of the excitation light L2. The wavelength of the deactivating light L3 may be the same as the wavelength of the excitation light L2.

照射部3は、強度が空間的に均一な不活性化光L3を試料Sに照射する。試料面Saにおける不活性化光L3の強度分布は均一でなくてもよい。例えば、試料面Saにおける不活性化光L3の強度分布は、試料Sのうち活性化光L1によって活性化した蛍光物質を選択的に不活性化するように所定の分布(例、活性化光L1と同じ縞パターン)に設定されてもよい。 The irradiation unit 3 irradiates the sample S with the inactivated light L3 having a spatially uniform intensity. The intensity distribution of the inactivated light L3 on the sample surface Sa does not have to be uniform. For example, the intensity distribution of the inactivated light L3 on the sample surface Sa is a predetermined distribution (eg, the activated light L1) so as to selectively inactivate the fluorescent substance activated by the activated light L1 in the sample S. It may be set to the same stripe pattern).

図2は、第1実施形態に係る縞パターンおよび強度分布を示す図である。図2において、符号PL1は、試料面Sa(図1参照)における活性化光L1に相当する縞パターンである。符号PL2は、試料面Saにおける励起光L2に相当する縞パターンである。蛍光物質は、活性化光L1および励起光L2の双方が照射された場合に、蛍光を発することができる。以下の説明において、適宜、活性化光L1および励起光L2の双方を掛けあわせた照明を有効照明という。符号PLは、試料面Saにおける有効照明に相当する縞パターンである。図2の各縞パターンにおいて、相対的に明るい(白い)部分は相対的に強度が高い部分(例、明部)であり、相対的に暗い(黒い)部分は相対的に強度が低い部分(例、暗部)である。 FIG. 2 is a diagram showing a fringe pattern and an intensity distribution according to the first embodiment. In FIG. 2, reference numeral PL1 is a fringe pattern corresponding to the activation light L1 on the sample surface Sa (see FIG. 1). Reference numeral PL2 is a fringe pattern corresponding to the excitation light L2 on the sample surface Sa. The fluorescent substance can emit fluorescence when both the activation light L1 and the excitation light L2 are irradiated. In the following description, illumination in which both activation light L1 and excitation light L2 are appropriately multiplied is referred to as effective illumination. Reference numeral PL is a fringe pattern corresponding to effective illumination on the sample surface Sa. In each stripe pattern of FIG. 2, the relatively bright (white) part is the relatively high intensity part (eg, the bright part), and the relatively dark (black) part is the relatively low intensity part (the relatively low intensity part). For example, the dark part).

図2の符号D3は、活性化光L1の縞パターンPL1において強度がほぼ同じ位置を結ぶ線に平行、かつ試料面Saに平行な方向(以下、ライン方向と称する)である。縞パターンPL1のライン方向D3は、任意の方向に設定される。第1方向D1は、縞パターンPL1のライン方向D3に垂直、かつ試料面Saに平行な方向である。また、符号DL1は、試料面Sa上の第1方向D1における活性化光L1の強度分布である。強度分布DL1は、第1方向D1の位置(横軸)に対する強度(縦軸)のグラフで表されている。活性化光L1の縞パターンPL1は、第1方向D1において強度が周期的に変化する。活性化光L1の縞パターンPL1の強度は、図2において正弦波状に変化するが、その他の関数形の波状(例、三角波状、矩形波状)に変化してもよい。 Reference numeral D3 in FIG. 2 is a direction parallel to a line connecting positions having substantially the same intensity in the fringe pattern PL1 of the activation light L1 and parallel to the sample surface Sa (hereinafter referred to as a line direction). The line direction D3 of the stripe pattern PL1 is set in any direction. The first direction D1 is a direction perpendicular to the line direction D3 of the stripe pattern PL1 and parallel to the sample surface Sa. Further, reference numeral DL1 is an intensity distribution of the activated light L1 in the first direction D1 on the sample surface Sa. The intensity distribution DL1 is represented by a graph of the intensity (vertical axis) with respect to the position (horizontal axis) of the first direction D1. The intensity of the fringe pattern PL1 of the activation light L1 changes periodically in the first direction D1. The intensity of the fringe pattern PL1 of the activation light L1 changes in a sinusoidal shape in FIG. 2, but may change in other functional wavy shapes (eg, triangular wavy shape, rectangular wavy shape).

図2の符号D4は、励起光L2の縞パターンPL2において強度がほぼ同じ位置を結ぶ線に平行、かつ試料面Saに平行な方向(以下、ライン方向と称する)である。励起光L2の縞パターンPL2のライン方向D4は、活性化光L1の縞パターンPL1のライン方向D3と交差する方向(非平行な方向、異なる方向)に設定される。ライン方向D4は、ライン方向D3と交差するという条件下で、任意に設定される。第2方向D2は、縞パターンPL2のライン方向D4に垂直、かつ試料面Saに平行な方向である。第2方向D2は、例えば、第1方向D1に垂直な方向に設定される。第1方向D1と第2方向D2とがなす角度は、例えば90°に設定される。第1方向D1と第2方向D2とがなす角度は、90°以外の角度に設定されてもよい(後に図10で説明する)。 Reference numeral D4 in FIG. 2 is a direction parallel to a line connecting positions having substantially the same intensity in the fringe pattern PL2 of the excitation light L2 and parallel to the sample surface Sa (hereinafter referred to as a line direction). The line direction D4 of the fringe pattern PL2 of the excitation light L2 is set in a direction (non-parallel direction, different direction) intersecting with the line direction D3 of the fringe pattern PL1 of the activation light L1. The line direction D4 is arbitrarily set under the condition that it intersects the line direction D3. The second direction D2 is a direction perpendicular to the line direction D4 of the stripe pattern PL2 and parallel to the sample surface Sa. The second direction D2 is set, for example, in a direction perpendicular to the first direction D1. The angle formed by the first direction D1 and the second direction D2 is set to, for example, 90 °. The angle formed by the first direction D1 and the second direction D2 may be set to an angle other than 90 ° (described later with reference to FIG. 10).

図2の符号DL2は、試料面Sa上の第2方向D2における励起光L2の強度分布である。強度分布DL2は、第2方向D2の位置(横軸)に対する強度(縦軸)のグラフで表されている。励起光L2の縞パターンPL2は、第2方向D2において強度が周期的に変化する。励起光L2の縞パターンPL2の強度は、図2において正弦波状に変化するが、その他の関数形の波状(例、三角波状、矩形波状)に変化してもよい。 Reference numeral DL2 in FIG. 2 is an intensity distribution of the excitation light L2 in the second direction D2 on the sample surface Sa. The intensity distribution DL2 is represented by a graph of the intensity (vertical axis) with respect to the position (horizontal axis) of the second direction D2. The intensity of the fringe pattern PL2 of the excitation light L2 changes periodically in the second direction D2. The intensity of the fringe pattern PL2 of the excitation light L2 changes in a sinusoidal shape in FIG. 2, but may change in other functional wavy shapes (eg, triangular wavy shape, rectangular wavy shape).

有効照明の縞パターンPLは、活性化光L1の縞パターンPL1と励起光L2の縞パターンPL2とを掛け合わせた縞パターンに相当する。縞パターンPLにおいて、明るい部分に蛍光物質が存在する場合、暗い部分に蛍光物質が存在する場合と比較して、発生する蛍光の強度が強い。縞パターンPLの強度は、第1方向D1において周期的に変化し、かつ第2方向D2において周期的に変化する。縞パターンPLにおいて強度が極小となる点は、第1方向D1において一定の間隔で配置され、かつ第2方向D2において一定の間隔で配置される。縞パターンPL3において強度が極小となる点は、直交格子における格子点のように二次元的に配置される。 The fringe pattern PL of the effective illumination corresponds to a fringe pattern obtained by multiplying the fringe pattern PL1 of the activation light L1 and the fringe pattern PL2 of the excitation light L2. In the fringe pattern PL, when the fluorescent substance is present in the bright portion, the intensity of the generated fluorescence is stronger than in the case where the fluorescent substance is present in the dark portion. The intensity of the fringe pattern PL changes periodically in the first direction D1 and changes periodically in the second direction D2. The points at which the intensity becomes the minimum in the fringe pattern PL are arranged at regular intervals in the first direction D1 and at regular intervals in the second direction D2. The points at which the intensity becomes the minimum in the fringe pattern PL3 are arranged two-dimensionally like the grid points in the orthogonal grid.

図1の説明に戻り、照射部3は、第1光源LS1と、第2光源LS2と、第3光源LS3と、照明光学系11とを備える。第1光源LS1は、活性化光L1を発する。第1光源LS1は、例えばレーザダイオード(LD)あるいは発光ダイオード(LED)などの固体光源を含む。第2光源LS2は、励起光L2を発する。第2光源LS2は、例えばレーザダイオード(LD)あるいは発光ダイオード(LED)などの固体光源を含む。第3光源LS3は、不活性化光L3を発する。第3光源LS3は、例えばレーザダイオード(LD)あるいは発光ダイオード(LED)などの固体光源を含む。 Returning to the description of FIG. 1, the irradiation unit 3 includes a first light source LS1, a second light source LS2, a third light source LS3, and an illumination optical system 11. The first light source LS1 emits activation light L1. The first light source LS1 includes a solid-state light source such as a laser diode (LD) or a light emitting diode (LED). The second light source LS2 emits the excitation light L2. The second light source LS2 includes a solid light source such as a laser diode (LD) or a light emitting diode (LED). The third light source LS3 emits the inactivating light L3. The third light source LS3 includes a solid light source such as a laser diode (LD) or a light emitting diode (LED).

活性化光L1の波長、励起光L2の波長、及び不活性化光L3の波長は、それぞれ、蛍光物質の種類によって予め定まっている。本実施形態において、不活性化光L3の波長は、活性化光L1の波長と励起光L2の波長とのいずれとも異なる。不活性化光L3の波長は、励起光L2の波長と同じでもよい。 The wavelength of the activating light L1, the wavelength of the excitation light L2, and the wavelength of the deactivating light L3 are each predetermined depending on the type of the fluorescent substance. In the present embodiment, the wavelength of the deactivating light L3 is different from the wavelength of the activating light L1 and the wavelength of the excitation light L2. The wavelength of the deactivating light L3 may be the same as the wavelength of the excitation light L2.

照明光学系11は、第1光源LS1から発せられた活性化光L1を試料Sに照射する。また、照明光学系11は、第2光源LS2から発せられた励起光L2を試料Sに照射する。また、照明光学系11は、第3光源LS3から発せられた不活性化光L3を試料Sに照射する。照明光学系11は、例えば、球面レンズ、非球面レンズなどの回転対称な形状の光学部材(例、レンズ部材)を含む。以下の説明において、適宜、照明光学系11に含まれる光学部材の回転対称軸を、照明光学系11の光軸11aという。なお、照明光学系11は、自由曲面レンズを含んでいてもよい。 The illumination optical system 11 irradiates the sample S with the activation light L1 emitted from the first light source LS1. Further, the illumination optical system 11 irradiates the sample S with the excitation light L2 emitted from the second light source LS2. Further, the illumination optical system 11 irradiates the sample S with the inactivating light L3 emitted from the third light source LS3. The illumination optical system 11 includes, for example, an optical member having a rotationally symmetric shape (eg, a lens member) such as a spherical lens or an aspherical lens. In the following description, the axis of rotational symmetry of the optical member included in the illumination optical system 11 is appropriately referred to as the optical axis 11a of the illumination optical system 11. The illumination optical system 11 may include a free-form surface lens.

以下の説明において、適宜、図3(A)および図3(B)を参照する。図3(A)および図3(B)は、それぞれ、実施形態に係る顕微鏡における活性化光の光路、励起光の光路を示す図である。図1において、励起光L2の光路はダイクロイックミラー16で折れ曲がるが、図3(B)では、照明光学系11の光軸11aが直線になるように光路を展開して図示した。図3(A)および図3(B)に示すXYZ直交座標系において、Z方向は、照明光学系11の光軸11aに平行な方向である。また、X方向は、Z方向に垂直な方向であり、図2の第1方向D1に対応する方向である。また、Y方向は、Z方向に垂直な方向であり、図2の第2方向D2に対応する方向である。図3(A)はY方向から平面視した活性化光L1の光路図であり、図3(B)はX方向から平面視した励起光L2の光路図である。図3(A)および図3(B)では、+1次回折光および-1次回折光を点線で表し、0次回折光を実線で表した。 In the following description, FIGS. 3 (A) and 3 (B) will be referred to as appropriate. 3A and 3B are diagrams showing an optical path of activation light and an optical path of excitation light in the microscope according to the embodiment, respectively. In FIG. 1, the optical path of the excitation light L2 is bent by the dichroic mirror 16, but in FIG. 3B, the optical path is developed so that the optical axis 11a of the illumination optical system 11 becomes a straight line. In the XYZ Cartesian coordinate system shown in FIGS. 3A and 3B, the Z direction is a direction parallel to the optical axis 11a of the illumination optical system 11. Further, the X direction is a direction perpendicular to the Z direction and corresponds to the first direction D1 in FIG. Further, the Y direction is a direction perpendicular to the Z direction and corresponds to the second direction D2 in FIG. FIG. 3A is an optical path diagram of the activated light L1 viewed in a plan view from the Y direction, and FIG. 3B is an optical path diagram of the excitation light L2 viewed in a plan view from the X direction. In FIGS. 3A and 3B, the +1st-order diffracted light and the -1st-order diffracted light are represented by dotted lines, and the 0th-order diffracted light is represented by a solid line.

照明光学系11は、第1光源LS1の光出射側に、レンズ12および分岐部13を備える。レンズ12は、例えばコリメータであり、第1光源LS1から出射した活性化光L1をほぼ平行光に変換する。分岐部13は、縞パターンPL1(図2参照)の生成に利用される。分岐部13は、活性化光L1を複数の光束に分岐させる。例えば、分岐部13は、活性化光L1を回折によって複数の光束(例、回折光)に分岐させる。ここでは、分岐部13が回折格子(適宜、符号13で表す)であるものとして説明する。なお、分岐部13は、回折格子の代わりに空間光変調器(SLM)を用いるものでもよい。 The illumination optical system 11 includes a lens 12 and a branch portion 13 on the light emitting side of the first light source LS1. The lens 12 is, for example, a collimator, and converts the activated light L1 emitted from the first light source LS1 into substantially parallel light. The branch portion 13 is used to generate the striped pattern PL1 (see FIG. 2). The branching portion 13 branches the activated light L1 into a plurality of luminous fluxes. For example, the branching portion 13 branches the activated light L1 into a plurality of luminous fluxes (eg, diffracted light) by diffraction. Here, it is assumed that the branch portion 13 is a diffraction grating (appropriately represented by reference numeral 13). The branch portion 13 may use a spatial light modulator (SLM) instead of the diffraction grating.

照明光学系11は、活性化光L1を回折格子13によって複数の回折光に分岐させ、複数の回折光の干渉により形成される縞パターンPL1(干渉縞)で試料Sを照明する。照明光学系11は、例えば、複数の回折光のうち2つの光束の干渉(2光束干渉)によって縞パターンPL1を形成する。照明光学系11は、干渉する2つの光束の相対的な位相を変えることで、活性化光L1の強度分布(例、縞パターンPL1の位相)を変更可能である。照明光学系11は、干渉する2つの光束の光路長を相対的に変えることで、これら2つの光束の相対的な位相を変えることができる。例えば、照明光学系11は、干渉する2つの光束の光路のうち一方の光路に位相板を配置して該2つの光束の光路長を相対的に変えることによって、これら2つの光束の相対的な位相を変える。 The illumination optical system 11 branches the activated light L1 into a plurality of diffracted lights by the diffraction grating 13, and illuminates the sample S with the fringe pattern PL1 (interference fringes) formed by the interference of the plurality of diffracted lights. The illumination optical system 11 forms the fringe pattern PL1 by, for example, the interference of two light fluxes (two light flux interferences) among the plurality of diffracted lights. The illumination optical system 11 can change the intensity distribution of the activated light L1 (eg, the phase of the fringe pattern PL1) by changing the relative phases of the two interfering light fluxes. The illumination optical system 11 can change the relative phases of these two light fluxes by relatively changing the optical path lengths of the two light fluxes that interfere with each other. For example, the illumination optical system 11 arranges a phase plate in one of the optical paths of two interfering light fluxes and changes the optical path lengths of the two light beams relative to each other. Change the phase.

なお、照明光学系11は、回折格子13を、照明光学系11の光軸と交差(例、直交)する方向に移動させることで、活性化光L1の強度分布(例、縞パターンPL1の位相)を変更する構成でもよい。また、分岐部13として空間光変調器を用いる場合、照明光学系11は、空間光変調器における屈折率の分布を変更することで、活性化光L1の強度分布(例、縞パターンPL1の位相)を変更する構成でもよい。 The illumination optical system 11 moves the diffraction grating 13 in a direction intersecting (eg, orthogonal to) the optical axis of the illumination optical system 11 to increase the intensity distribution of the activated light L1 (eg, the phase of the fringe pattern PL1). ) May be changed. Further, when the spatial light modulator is used as the branch portion 13, the illumination optical system 11 changes the distribution of the refractive index in the spatial light modulator to change the intensity distribution of the activated light L1 (eg, the phase of the fringe pattern PL1). ) May be changed.

回折格子13(図3(A)参照)は、第1方向D1に対応するX方向において構造が周期的に変化する。回折格子13は、照明光学系11の光軸11aに交差する方向を含む面内(例、交差面)に、例えば1次元の周期構造を有する。この周期構造は、濃度(又は透過率)が周期的に変化する構造であってもよいし、段差(又は位相差)が周期的に変化する構造であってもよい。回折格子13が位相型である場合、±1次回折光の回折効率が高く、縞パターンの形成に±1次回折光を用いる場合に光量のロスを低減することができる。回折格子13は、試料面Saと光学的に共役な位置FV1(例、視野共役位置)に配置される。回折格子13は、縞パターンのコントラスト値が許容される範囲内で、位置FV1からずれた位置(視野共役位置の近傍)に配置されてもよい。 The structure of the diffraction grating 13 (see FIG. 3A) changes periodically in the X direction corresponding to the first direction D1. The diffraction grating 13 has, for example, a one-dimensional periodic structure in a plane (eg, an intersecting plane) including a direction intersecting the optical axis 11a of the illumination optical system 11. This periodic structure may be a structure in which the concentration (or transmittance) changes periodically, or a structure in which the step (or phase difference) changes periodically. When the diffraction grating 13 is a phase type, the diffraction efficiency of the ± 1st-order diffracted light is high, and when the ± 1st-order diffracted light is used for forming the fringe pattern, the loss of light amount can be reduced. The diffraction grating 13 is arranged at a position FV1 (eg, a field conjugate position) optically conjugate with the sample surface Sa. The diffraction grating 13 may be arranged at a position deviated from the position FV1 (near the visual field conjugate position) within a range in which the contrast value of the fringe pattern is allowed.

また、照明光学系11は、第2光源LS2の光出射側に、レンズ14および分岐部15を備える。レンズ14は、例えばコリメータであり、第2光源LS2から出射した励起光L2をほぼ平行光に変換する。分岐部15は、縞パターンPL2(図2参照)の生成に利用される。分岐部15は、励起光L2を複数の光束に分岐させる。例えば、分岐部15は、励起光L2を回折によって複数の光束(例、回折光)に分岐させる。ここでは、分岐部15が回折格子(適宜、符号15で表す)であるものとして説明する。なお、分岐部15は、回折格子の代わりに空間光変調器(SLM)を用いるものでもよい。 Further, the illumination optical system 11 includes a lens 14 and a branch portion 15 on the light emitting side of the second light source LS2. The lens 14 is, for example, a collimator, and converts the excitation light L2 emitted from the second light source LS2 into substantially parallel light. The branch portion 15 is used to generate the striped pattern PL2 (see FIG. 2). The branching portion 15 branches the excitation light L2 into a plurality of luminous fluxes. For example, the branching portion 15 branches the excitation light L2 into a plurality of luminous fluxes (eg, diffracted light) by diffraction. Here, it is assumed that the branch portion 15 is a diffraction grating (appropriately represented by reference numeral 15). The branch portion 15 may use a spatial light modulator (SLM) instead of the diffraction grating.

照明光学系11は、励起光L2を回折格子15によって複数の回折光に分岐させ、複数の回折光の干渉により形成される縞パターンPL2(干渉縞)で試料Sを照明する。照明光学系11は、例えば、複数の回折光のうち2つの光束の干渉(2光束干渉)によって縞パターンPL2を形成する。照明光学系11は、干渉する2つの光束の相対的な位相を変えることで、励起光L2の強度分布(例、縞パターンPL2の位相)を変更可能である。上記同様に、照明光学系11は、干渉する2つの光束の光路長を相対的に変えることで、これら2つの光束の相対的な位相を変えることができる。 The illumination optical system 11 branches the excitation light L2 into a plurality of diffracted lights by the diffraction grating 15, and illuminates the sample S with the fringe pattern PL2 (interference fringes) formed by the interference of the plurality of diffracted lights. The illumination optical system 11 forms the fringe pattern PL2 by, for example, the interference of two light fluxes (two light flux interferences) among the plurality of diffracted lights. The illumination optical system 11 can change the intensity distribution of the excitation light L2 (eg, the phase of the fringe pattern PL2) by changing the relative phases of the two interfering light fluxes. Similarly to the above, the illumination optical system 11 can change the relative phases of these two light fluxes by relatively changing the optical path lengths of the two light fluxes that interfere with each other.

なお、照明光学系11は、回折格子15を、照明光学系11の光軸と交差(例、直交)する方向に移動させることで、励起光L2の強度分布(例、縞パターンPL2の位相)を変更する構成でもよい。また、分岐部15として空間光変調器を用いる場合、照明光学系11は、空間光変調器における屈折率の分布を変更することで、励起光L2の強度分布(例、縞パターンPL2の位相)を変更する構成でもよい。 The illumination optical system 11 moves the diffraction grating 15 in a direction intersecting (eg, orthogonal to) the optical axis of the illumination optical system 11 to distribute the intensity of the excitation light L2 (eg, the phase of the fringe pattern PL2). It may be configured to change. When a spatial light modulator is used as the branch portion 15, the illumination optical system 11 changes the distribution of the refractive index in the spatial light modulator to increase the intensity distribution of the excitation light L2 (eg, the phase of the fringe pattern PL2). It may be configured to change.

回折格子15(図3(B)参照)は、第2方向D2に対応するY方向において構造が周期的に変化する。回折格子15は、照明光学系11の光軸11aに交差する面内に、例えば1次元の周期構造を有する。この周期構造は、濃度(又は透過率)が周期的に変化する構造であってもよいし、段差(又は位相差)が周期的に変化する構造であってもよい。回折格子15が位相型である場合、±1次回折光の回折効率が高く、縞パターンの形成に±1次回折光を用いる場合に光量のロスを低減することができる。回折格子15は、試料面Saと光学的に共役な位置FV2(例、視野共役位置)に配置される。回折格子15は、縞パターンのコントラスト値が許容される範囲内で、位置FV2からずれた位置(例、視野共役位置の近傍)に配置されてもよい。 The structure of the diffraction grating 15 (see FIG. 3B) changes periodically in the Y direction corresponding to the second direction D2. The diffraction grating 15 has, for example, a one-dimensional periodic structure in a plane intersecting the optical axis 11a of the illumination optical system 11. This periodic structure may be a structure in which the concentration (or transmittance) changes periodically, or a structure in which the step (or phase difference) changes periodically. When the diffraction grating 15 is a phase type, the diffraction efficiency of the ± 1st-order diffracted light is high, and when the ± 1st-order diffracted light is used for forming the fringe pattern, the loss of the amount of light can be reduced. The diffraction grating 15 is arranged at a position FV2 (eg, a field conjugate position) optically conjugate with the sample surface Sa. The diffraction grating 15 may be arranged at a position deviated from the position FV2 (eg, in the vicinity of the visual field conjugate position) within a range in which the contrast value of the fringe pattern is allowed.

照明光学系11は、活性化光L1と励起光L2とを試料Sへ導くダイクロイックミラー16を備える。ダイクロイックミラー16は、回折格子13から出射した活性化光L1が入射し、かつ回折格子15から出射した励起光L2が入射する位置に配置される。ダイクロイックミラー16は、活性化光L1が透過し、励起光L2が反射する特性を有する。活性化光L1は、ダイクロイックミラー16を透過して試料Sへ向かう。励起光L2は、ダイクロイックミラー16で反射して試料Sへ向かう。 The illumination optical system 11 includes a dichroic mirror 16 that guides the activation light L1 and the excitation light L2 to the sample S. The dichroic mirror 16 is arranged at a position where the activation light L1 emitted from the diffraction grating 13 is incident and the excitation light L2 emitted from the diffraction grating 15 is incident. The dichroic mirror 16 has a property that the activation light L1 is transmitted and the excitation light L2 is reflected. The activation light L1 passes through the dichroic mirror 16 and heads toward the sample S. The excitation light L2 is reflected by the dichroic mirror 16 and heads toward the sample S.

照明光学系11は、ダイクロイックミラー16から試料Sに向かう順に、レンズ21、マスク22、レンズ23、照野絞り24、レンズ25、フィルタ26、ダイクロイックミラー27、及び対物レンズ28を含む。 The illumination optical system 11 includes a lens 21, a mask 22, a lens 23, a Teruno diaphragm 24, a lens 25, a filter 26, a dichroic mirror 27, and an objective lens 28 in the order from the dichroic mirror 16 toward the sample S.

ダイクロイックミラー16から出射した活性化光L1および励起光L2は、レンズ21に入射する。レンズ21は、第1光源LS1と同じ側の焦点面が回折格子13と同じ位置またはその近傍の位置になるように、配置される。レンズ21は、例えば、第2光源LS2と同じ側の焦点面が回折格子15と同じ位置またはその近傍の位置になるように、配置される。レンズ21は、例えば、試料Sと同じ側の焦点面が瞳共役面P1と一致するように配置される。瞳共役面P1は、対物レンズ28の瞳面P0と光学的に共役な面である。 The activation light L1 and the excitation light L2 emitted from the dichroic mirror 16 are incident on the lens 21. The lens 21 is arranged so that the focal plane on the same side as the first light source LS1 is at the same position as or near the diffraction grating 13. The lens 21 is arranged so that, for example, the focal plane on the same side as the second light source LS2 is at the same position as or near the diffraction grating 15. The lens 21 is arranged, for example, so that the focal plane on the same side as the sample S coincides with the pupil conjugate plane P1. The pupil conjugate surface P1 is a surface optically conjugate with the pupil surface P0 of the objective lens 28.

マスク22は、縞パターンPL1の形成に使われる回折光を通し、縞パターンPL1の形成に使われない回折光を遮る。本実施形態において、縞パターンPL1の形成に使われる回折光は、回折格子13で回折した活性化光L1の1次回折光(+1次回折光、-1次回折光)である。また、本実施形態において、縞パターンPL1の形成に使われない回折光は、回折格子13で回折した活性化光L1の0次回折光および2次以上の回折光である。 The mask 22 passes the diffracted light used for forming the fringe pattern PL1 and blocks the diffracted light not used for forming the fringe pattern PL1. In the present embodiment, the diffracted light used for forming the fringe pattern PL1 is the first-order diffracted light (+1st-order diffracted light, -1st-order diffracted light) of the activated light L1 diffracted by the diffraction grating 13. Further, in the present embodiment, the diffracted light not used for forming the fringe pattern PL1 is the 0th-order diffracted light of the activated light L1 diffracted by the diffraction grating 13 and the second-order or higher diffracted light.

また、マスク22は、縞パターンPL2の形成に使われる回折光を通し、縞パターンPL2の形成に使われない回折光を遮る。本実施形態において、縞パターンPL2の形成に使われる回折光は、回折格子15で回折した励起光L2の1次回折光(+1次回折光、-1次回折光)である。また、本実施形態において、縞パターンPL2の形成に使われない回折光は、回折格子15で回折した励起光L2の0次回折光および2次以上の回折光である。 Further, the mask 22 passes the diffracted light used for forming the fringe pattern PL2 and blocks the diffracted light not used for forming the fringe pattern PL2. In the present embodiment, the diffracted light used for forming the fringe pattern PL2 is the first-order diffracted light (+1st-order diffracted light, -1st-order diffracted light) of the excitation light L2 diffracted by the diffraction grating 15. Further, in the present embodiment, the diffracted light not used for forming the fringe pattern PL2 is the 0th-order diffracted light of the excitation light L2 diffracted by the diffraction grating 15 and the second-order or higher diffracted light.

マスク22は、活性化光L1および励起光L2のそれぞれについて、1次回折光を通し、0次回折光および2次以上の回折光を遮断する。マスク22は、1次回折光の光路が他の回折光と空間的に分離する位置、例えば瞳共役面P1またはその近傍に配置される。マスク22において、0次回折光が入射する部分は遮光部であり、1次回折光が入射する部分は開口部(透過部)である。 The mask 22 passes the primary diffracted light through each of the activation light L1 and the excitation light L2, and blocks the 0th-order diffracted light and the second-order or higher diffracted light. The mask 22 is arranged at a position where the optical path of the primary diffracted light is spatially separated from other diffracted light, for example, at or near the pupil conjugate surface P1. In the mask 22, the portion where the 0th-order diffracted light is incident is a light-shielding portion, and the portion where the 1st-order diffracted light is incident is an opening portion (transmitted portion).

マスク22(図3(A)、図3(B)参照)は、開口22aから開口22dを有する。開口22aと開口22b(図3(A)参照)とは、活性化光L1の1次回折光が入射する位置に配置される。開口22aと開口22bとは、第1方向D1(図2参照)に対応するX方向に並んでいる。開口22aと開口22bとは、活性化光L1が透過する透過部である。マスク22において開口22aの周囲および開口22bの周囲の部分は、活性化光L1を遮光する遮光部である。 The mask 22 (see FIGS. 3A and 3B) has openings 22a through 22d. The opening 22a and the opening 22b (see FIG. 3A) are arranged at positions where the primary diffracted light of the activation light L1 is incident. The opening 22a and the opening 22b are arranged in the X direction corresponding to the first direction D1 (see FIG. 2). The opening 22a and the opening 22b are transmission portions through which the activation light L1 is transmitted. In the mask 22, the peripheral portion of the opening 22a and the peripheral portion of the opening 22b are light-shielding portions that shield the activation light L1.

また、開口22cと開口22d(図3(B)参照)とは、励起光L2の1次回折光が入射する位置に配置される。開口22cと開口22dとは、第2方向D2(図2参照)に対応するY方向に並んでいる。開口22cと開口22dとは、励起光L2が透過する透過部である。マスク22において開口22cの周囲および開口22dの周囲の部分は、励起光L2を遮光する遮光部である。 Further, the opening 22c and the opening 22d (see FIG. 3B) are arranged at positions where the first-order diffracted light of the excitation light L2 is incident. The opening 22c and the opening 22d are arranged in the Y direction corresponding to the second direction D2 (see FIG. 2). The opening 22c and the opening 22d are transmission portions through which the excitation light L2 is transmitted. In the mask 22, the peripheral portion of the opening 22c and the peripheral portion of the opening 22d are light-shielding portions that shield the excitation light L2.

マスク22を通った活性化光L1および励起光L2は、レンズ23に入射する。レンズ23は、第1光源LS1と反対側(試料Sと同じ側)の焦点面23aが回折格子13と光学的に共役な位置またはその近傍の位置になるように、配置される。レンズ23は、第2光源LS2と反対側(試料Sと同じ側)の焦点面23aが回折格子15と光学的に共役な位置またはその近傍の位置になるように、配置される。 The activation light L1 and the excitation light L2 that have passed through the mask 22 are incident on the lens 23. The lens 23 is arranged so that the focal plane 23a on the side opposite to the first light source LS1 (the same side as the sample S) is at or near the position optically conjugate with the diffraction grating 13. The lens 23 is arranged so that the focal plane 23a on the side opposite to the second light source LS2 (the same side as the sample S) is at or near the position optically conjugate with the diffraction grating 15.

図3(A)および図3(B)において、符号FV3は、図1の試料面Saと光学的に共役な面(例、レンズ23の焦点面23a)である。また、図3(A)の符号PL1aは、面FV3における活性化光L1の強度分布(縞パターン)である。強度分布PL1aは、図2の第1方向D1に対応するX方向において強度が周期的に変化する分布である。図3(B)において、符号PL2aは、面FV3における励起光L2の強度分布(縞パターン)である。強度分布PL2aは、図2の第2方向D2に対応するY方向において強度が周期的に変化する分布である。 In FIGS. 3A and 3B, reference numeral FV3 is a plane optically conjugate with the sample plane Sa of FIG. 1 (eg, the focal plane 23a of the lens 23). Further, reference numeral PL1a in FIG. 3A is an intensity distribution (striped pattern) of the activated light L1 on the surface FV3. The intensity distribution PL1a is a distribution in which the intensity changes periodically in the X direction corresponding to the first direction D1 in FIG. In FIG. 3B, reference numeral PL2a is an intensity distribution (striped pattern) of the excitation light L2 on the surface FV3. The intensity distribution PL2a is a distribution in which the intensity changes periodically in the Y direction corresponding to the second direction D2 in FIG.

図1の説明に戻り、照明光学系11は、第3光源LS3の光出射側に、レンズ17およびダイクロイックミラー18を備える。レンズ17は、例えばコリメータであり、第3光源LS3から出射した不活性化光L3をほぼ平行光に変換する。レンズ17を通った不活性化光L3は、ダイクロイックミラー18に入射する。本実施形態において、ダイクロイックミラー18は、活性化光L1が入射し、かつ励起光L2が入射する位置に配置される。ダイクロイックミラー18は、活性化光L1および励起光L2が透過し、不活性化光L3が反射する特性である。 Returning to the description of FIG. 1, the illumination optical system 11 includes a lens 17 and a dichroic mirror 18 on the light emitting side of the third light source LS3. The lens 17 is, for example, a collimator, and converts the inactivated light L3 emitted from the third light source LS3 into substantially parallel light. The inactivated light L3 that has passed through the lens 17 is incident on the dichroic mirror 18. In the present embodiment, the dichroic mirror 18 is arranged at a position where the activation light L1 is incident and the excitation light L2 is incident. The dichroic mirror 18 has a characteristic that the activation light L1 and the excitation light L2 are transmitted and the deactivation light L3 is reflected.

ダイクロイックミラー18は、例えば、マスク22と試料Sとの間の光路に配置される。ダイクロイックミラー18は、例えば、第3光源LS3と照野絞り24(後述する)との間の光路に配置される。本実施形態において、ダイクロイックミラー18は、レンズ23と照野絞り24との間の光路に配置される。レンズ23を通った活性化光L1および励起光L2は、ダイクロイックミラー18を透過して照野絞り24へ向かう。レンズ17を通った不活性化光L3は、ダイクロイックミラー18で反射して照野絞り24へ向かう。 The dichroic mirror 18 is arranged, for example, in the optical path between the mask 22 and the sample S. The dichroic mirror 18 is arranged, for example, in the optical path between the third light source LS3 and the Teruno diaphragm 24 (described later). In the present embodiment, the dichroic mirror 18 is arranged in the optical path between the lens 23 and the Teruno diaphragm 24. The activation light L1 and the excitation light L2 that have passed through the lens 23 pass through the dichroic mirror 18 and head toward the Teruno diaphragm 24. The inactivated light L3 that has passed through the lens 17 is reflected by the dichroic mirror 18 and heads toward the Teruno diaphragm 24.

照野絞り24は、レンズ23の焦点面23aまたはその近傍に配置される。照野絞り24は、照明光学系11の光軸11aに垂直な面内において、照明光学系11から試料Sに照明光(活性化光L1、励起光L2、不活性化光L3)が照射される範囲(照野、照明領域)を規定する。なお、顕微鏡1は、照野絞り24を備えなくてもよい。照野絞り24を通った活性化光L1および励起光L2は、レンズ25に入射する。レンズ25は、例えば、その試料Sと同じ側の焦点面が瞳面P0の位置になるように、配置される。 The Teruno diaphragm 24 is arranged at or near the focal plane 23a of the lens 23. The illumination optical system 11 irradiates the sample S with illumination light (activation light L1, excitation light L2, inactivation light L3) in the plane perpendicular to the optical axis 11a of the illumination optical system 11. Specify the range (illumination area, illumination area). The microscope 1 does not have to be provided with the Teruno diaphragm 24. The activation light L1 and the excitation light L2 that have passed through the Teruno diaphragm 24 are incident on the lens 25. The lens 25 is arranged, for example, so that the focal plane on the same side as the sample S is at the position of the pupil plane P0.

レンズ25を通った活性化光L1、励起光L2、及び不活性化光L3は、フィルタ26に入射する。フィルタ26は、活性化光L1と励起光L2と不活性化光L3とが選択的に通る特性を有する。フィルタ26は、例えば、所定波長以外の波長の光の少なくとも一部、迷光、外光などを遮断する。フィルタ26を通った活性化光L1、励起光L2、及び不活性化光L3は、ダイクロイックミラー27に入射する。ダイクロイックミラー27は、活性化光L1、励起光L2、及び不活性化光L3が反射し、試料Sから放射される光のうち所定の波長帯の光(例、蛍光L)が通る特性を有する。フィルタ26から出射した活性化光L1、励起光L2、及び不活性化光L3は、ダイクロイックミラー27で反射し、対物レンズ28に入射する。 The activating light L1, the excitation light L2, and the deactivating light L3 that have passed through the lens 25 are incident on the filter 26. The filter 26 has a property that the activation light L1, the excitation light L2, and the deactivation light L3 selectively pass through. The filter 26 blocks, for example, at least a part of light having a wavelength other than a predetermined wavelength, stray light, external light, and the like. The activation light L1, the excitation light L2, and the deactivation light L3 that have passed through the filter 26 are incident on the dichroic mirror 27. The dichroic mirror 27 has a characteristic that the activation light L1, the excitation light L2, and the deactivation light L3 are reflected and the light in a predetermined wavelength band (eg, fluorescence L) of the light emitted from the sample S passes through. .. The activating light L1, the excitation light L2, and the deactivating light L3 emitted from the filter 26 are reflected by the dichroic mirror 27 and incident on the objective lens 28.

対物レンズ28に関して光源(第1光源LS1、第2光源LS2、第3光源LS3)と反対側の焦点面は、観察対象の面(例、物体面)に相当する。この焦点面は、試料Sが配置される試料面Saに相当する。試料面Saは、回折格子13と光学的に共役な位置またはその近傍の位置に配置される。また、試料面Saは、回折格子15と光学的に共役な位置またはその近傍の位置に配置される。 The focal plane on the opposite side of the objective lens 28 from the light source (first light source LS1, second light source LS2, third light source LS3) corresponds to the surface to be observed (eg, the object surface). This focal plane corresponds to the sample plane Sa on which the sample S is placed. The sample surface Sa is arranged at a position optically conjugate with or near the diffraction grating 13. Further, the sample surface Sa is arranged at a position optically conjugate with or near the diffraction grating 15.

照射部3は、対物レンズ28を介して試料Sに縞パターンPL1と縞パターンPL2とを照射する。試料面Saには、回折格子13の周期構造に対応して、活性化光L1の縞パターンPL1(図2参照)が形成される。また、試料面Saには、回折格子15の周期構造に対応して、励起光L2の縞パターンPL2(図2参照)が形成される。試料Sに含まれる蛍光物質は、活性化光L1が照射された状態で励起光L2が照射されることによって蛍光Lを発する。 The irradiation unit 3 irradiates the sample S with the striped pattern PL1 and the striped pattern PL2 via the objective lens 28. A fringe pattern PL1 (see FIG. 2) of the activated light L1 is formed on the sample surface Sa corresponding to the periodic structure of the diffraction grating 13. Further, on the sample surface Sa, a fringe pattern PL2 (see FIG. 2) of the excitation light L2 is formed corresponding to the periodic structure of the diffraction grating 15. The fluorescent substance contained in the sample S emits fluorescence L by being irradiated with the excitation light L2 in a state of being irradiated with the activation light L1.

照射部3は、活性化光L1と励起光L2とを試料Sに照射し、蛍光Lの検出(例、撮像部3による撮像)が実行された後に、不活性化光L3を試料Sに照射する。また、照射部3は、不活性化光L3を試料Sに照射した後に、次に蛍光Lの検出(撮像部3による撮像)が実行される前に、活性化光L1と励起光L2とを試料Sに照射する。 The irradiation unit 3 irradiates the sample S with the activation light L1 and the excitation light L2, and after the fluorescence L is detected (eg, imaging by the image pickup unit 3), the inactivation light L3 is irradiated on the sample S. do. Further, the irradiation unit 3 irradiates the sample S with the inactivating light L3, and then performs the activation light L1 and the excitation light L2 before the detection of the fluorescence L (imaging by the image pickup unit 3) is executed next. Irradiate the sample S.

撮像部4は、対物レンズ28を介して蛍光Lの像(試料Sの像、試料Sにおける蛍光物質の分布)を撮像する。撮像部4は、結像光学系31および撮像素子32を備える。結像光学系31は、試料Sから撮像素子32へ向かう順に、対物レンズ28、ダイクロイックミラー27、フィルタ33、及びレンズ34を備える。対物レンズ28およびダイクロイックミラー27は、照明光学系11と結像光学系31とで共用である。試料Sから放射される蛍光Lは、対物レンズ28に入射して平行光に変換され、ダイクロイックミラー27を通ってフィルタ33に入射する。 The image pickup unit 4 captures an image of the fluorescence L (an image of the sample S, a distribution of the fluorescent substance in the sample S) through the objective lens 28. The image pickup unit 4 includes an imaging optical system 31 and an image pickup element 32. The imaging optical system 31 includes an objective lens 28, a dichroic mirror 27, a filter 33, and a lens 34 in the order from the sample S to the image pickup element 32. The objective lens 28 and the dichroic mirror 27 are shared by the illumination optical system 11 and the imaging optical system 31. The fluorescence L emitted from the sample S is incident on the objective lens 28, converted into parallel light, and is incident on the filter 33 through the dichroic mirror 27.

フィルタ33は、例えば蛍光フィルタである。フィルタ33は、試料Sからの蛍光Lが選択的に通る特性を有する。フィルタ33は、例えば、試料Sで反射した照明光(活性化光L1、励起光L2、不活性化光L3)、外光、及び迷光の少なくとも一部を遮断する。フィルタ33を通った蛍光Lは、レンズ34に入射する。レンズ34は、試料Sと同じ側の焦点面が対物レンズ28の瞳面P0と一致するように、配置される。結像光学系31は、対物レンズ28の試料面Sa(物体面)と光学的に共役な面(像面)を形成する。 The filter 33 is, for example, a fluorescent filter. The filter 33 has a property that the fluorescence L from the sample S selectively passes through. The filter 33 blocks at least a part of the illumination light (activated light L1, excitation light L2, deactivated light L3) reflected by the sample S, external light, and stray light, for example. The fluorescence L that has passed through the filter 33 is incident on the lens 34. The lens 34 is arranged so that the focal plane on the same side as the sample S coincides with the pupil plane P0 of the objective lens 28. The imaging optical system 31 forms an optically conjugate surface (image surface) with the sample surface Sa (object surface) of the objective lens 28.

撮像素子32は、例えばCCDイメージセンサやCMOSイメージセンサなどの二次元イメージセンサを含む。撮像素子32は、例えば、二次元的に配列された複数の画素を有し、各画素にフォトダイオードなどの光電変換素子が配置された構造である。以下、撮像素子32において光電変換素子が配置される面を、適宜、受光面という。撮像素子32は、受光面が対物レンズ28の試料面Saと光学的に共役になるように、配置される。撮像素子32は、例えば、光電変換素子への蛍光Lの照射によって生じた電荷を、読出回路によって読み出す。撮像素子32は、読み出された電荷をデジタルデータ(例、8ビットの階調値)に変換し、画素の位置と階調値とを関連付けたデジタル形式の画像データを出力する。撮像素子32は、撮像結果として、撮像画像のデータを制御装置5に出力する。 The image sensor 32 includes a two-dimensional image sensor such as a CCD image sensor or a CMOS image sensor. The image pickup device 32 has, for example, a plurality of pixels arranged two-dimensionally, and has a structure in which a photoelectric conversion element such as a photodiode is arranged in each pixel. Hereinafter, the surface of the image sensor 32 on which the photoelectric conversion element is arranged is appropriately referred to as a light receiving surface. The image pickup device 32 is arranged so that the light receiving surface is optically conjugated with the sample surface Sa of the objective lens 28. The image pickup device 32 reads out, for example, the electric charge generated by irradiating the photoelectric conversion element with fluorescence L by a read circuit. The image pickup element 32 converts the read charge into digital data (eg, 8-bit gradation value), and outputs digital format image data in which the pixel position and the gradation value are associated with each other. The image pickup device 32 outputs the data of the captured image to the control device 5 as the image pickup result.

制御装置5は、制御部41および画像処理部42を備える。制御部41は、顕微鏡1の各部を制御する。制御部41は、照射部3を制御して、試料Sに活性化光L1が照射される第1期間を設定する。例えば、制御部41は、第1光源LS1を点灯させることによって試料Sに対する活性化光L1の照射を開始させ、第1光源LS1を消灯させることによって試料Sに対する活性化光L1の照射を停止させる。上記の第1期間は、試料Sに対する活性化光L1の照射の開始から停止までの期間である。制御部41は、照射部3の光路に設けられるシャッタ(例、音響光学素子)の開閉を制御することによって、試料Sに対する活性化光L1の照射の開始と停止との一方または双方を制御してもよい。 The control device 5 includes a control unit 41 and an image processing unit 42. The control unit 41 controls each unit of the microscope 1. The control unit 41 controls the irradiation unit 3 to set a first period in which the sample S is irradiated with the activation light L1. For example, the control unit 41 starts the irradiation of the activation light L1 on the sample S by turning on the first light source LS1, and stops the irradiation of the activation light L1 on the sample S by turning off the first light source LS1. .. The first period described above is a period from the start to the stop of irradiation of the activated light L1 on the sample S. The control unit 41 controls one or both of the start and stop of irradiation of the activated light L1 on the sample S by controlling the opening and closing of a shutter (eg, an acoustic optical element) provided in the optical path of the irradiation unit 3. You may.

また、制御部41は、照射部3を制御して、試料Sに励起光L2が照射される第2期間を設定する。第2期間は、上記の第1期間の少なくとも一部と重複する期間に設定されてもよいし、第1期間の終了後の期間に設定されてもよい。制御部41は、例えば、第2光源LS2を点灯させることによって試料Sに対する励起光L2の照射を開始させ、第2光源LS2を消灯させることによって試料Sに対する励起光L2の照射を停止させる。上記の第2期間は、試料Sに対する励起光L2の照射の開始から停止までの期間である。制御部41は、照射部3の光路に設けられるシャッタ(例、音響光学素子)の開閉を制御することによって、試料Sに対する励起光L2の照射の開始と停止との一方または双方を制御してもよい。 Further, the control unit 41 controls the irradiation unit 3 to set a second period in which the excitation light L2 is irradiated on the sample S. The second period may be set to a period that overlaps with at least a part of the first period described above, or may be set to a period after the end of the first period. For example, the control unit 41 starts the irradiation of the excitation light L2 to the sample S by turning on the second light source LS2, and stops the irradiation of the excitation light L2 to the sample S by turning off the second light source LS2. The second period described above is a period from the start to the stop of irradiation of the excitation light L2 on the sample S. The control unit 41 controls one or both of the start and stop of irradiation of the excitation light L2 to the sample S by controlling the opening and closing of a shutter (eg, an acoustic optical element) provided in the optical path of the irradiation unit 3. It is also good.

また、制御部41は、撮像部4を制御して、撮像部4によって試料Sを撮像させる。制御部41は、試料Sに対して活性化光L1と励起光L2とが照射されるタイミングに基づいて、撮像部4によって試料Sを撮像させる。制御部41は、照射部3を制御して試料Sに活性化光L1と励起光L2とを照射させ、試料Sに含まれる蛍光物質が励起した状態において撮像部4によって試料Sを撮像させる。 Further, the control unit 41 controls the image pickup unit 4 to image the sample S by the image pickup unit 4. The control unit 41 causes the image pickup unit 4 to take an image of the sample S based on the timing at which the activation light L1 and the excitation light L2 are applied to the sample S. The control unit 41 controls the irradiation unit 3 to irradiate the sample S with the activation light L1 and the excitation light L2, and causes the image pickup unit 4 to image the sample S in a state where the fluorescent substance contained in the sample S is excited.

また、制御部41は、第1方向D1における活性化光L1の強度分布と、第2方向D2における励起光L2の強度分布とを変更する。制御部41は、第1方向D1において強度が周期的に変化する活性化光L1の強度分布の位相と、第2方向D2において強度が周期的に変化する励起光L2の強度分布の位相とを変更して、撮像部4に試料Sを撮像させる。画像処理部42は、撮像部4が撮像して得られる第1画像に基づいて、第1画像と解像度が異なる第2画像を生成する。第2画像は、例えば、第1画像よりも解像度が高い超解像画像である。 Further, the control unit 41 changes the intensity distribution of the activation light L1 in the first direction D1 and the intensity distribution of the excitation light L2 in the second direction D2. The control unit 41 determines the phase of the intensity distribution of the activated light L1 whose intensity changes periodically in the first direction D1 and the phase of the intensity distribution of the excitation light L2 whose intensity changes periodically in the second direction D2. This is changed so that the image pickup unit 4 takes an image of the sample S. The image processing unit 42 generates a second image having a resolution different from that of the first image based on the first image obtained by the image pickup unit 4. The second image is, for example, a super-resolution image having a higher resolution than the first image.

図4は、第1実施形態に係る活性化光の強度分布の位相を示す図である。本実施形態において、制御部41は、活性化光L1の強度分布の位相(縞パターンPL1の位相)を、第1位相と第2位相と第3位相とに切り替えて、各位相に対応する第1画像を撮像部4によって撮像させる。図4において、符号PL1a、PL1b、PL1cは、それぞれ、第1位相、第2位相、第3位相の縞パターンPL1である。また、符号DL1a、DL1b、DL1cは、それぞれ、第1位相の縞パターンPL1aの強度分布、第2位相の縞パターンPL1bの強度分布、第3位相の縞パターンPL1cの強度分布である。第2位相は、例えば、第1位相に対して120°進んだ位相である。第3位相は、例えば第1位相に対して120°遅れた位相である。 FIG. 4 is a diagram showing the phase of the intensity distribution of the activation light according to the first embodiment. In the present embodiment, the control unit 41 switches the phase of the intensity distribution of the activated light L1 (the phase of the fringe pattern PL1) between the first phase, the second phase, and the third phase, and corresponds to each phase. 1 The image is imaged by the image pickup unit 4. In FIG. 4, the reference numerals PL1a, PL1b, and PL1c are fringe patterns PL1 of the first phase, the second phase, and the third phase, respectively. Further, the reference numerals DL1a, DL1b, and DL1c are the intensity distribution of the first phase stripe pattern PL1a, the intensity distribution of the second phase stripe pattern PL1b, and the intensity distribution of the third phase stripe pattern PL1c, respectively. The second phase is, for example, a phase advanced by 120 ° with respect to the first phase. The third phase is, for example, a phase delayed by 120 ° with respect to the first phase.

図5は、第1実施形態に係る励起光の強度分布の位相を示す図である。本実施形態において、制御部41は、励起光L2の強度分布の位相(縞パターンPL2の位相)を、第4位相と第5位相と第6位相とに切り替えて、各位相に対応する第1画像を撮像部4によって撮像させる。図5において、符号PL2a、PL2b、PL2cは、それぞれ、第4位相、第5位相、第6位相の縞パターンPL2である。また、符号DL2a、DL2b、DL2cは、それぞれ、第4位相の縞パターンPL2aの強度分布、第5位相の縞パターンPL2bの強度分布、第6位相の縞パターンPL2cの強度分布である。第5位相は、例えば、第4位相に対して120°進んだ位相である。第6位相は、例えば第4位相に対して120°遅れた位相である。 FIG. 5 is a diagram showing the phase of the intensity distribution of the excitation light according to the first embodiment. In the present embodiment, the control unit 41 switches the phase of the intensity distribution of the excitation light L2 (the phase of the fringe pattern PL2) between the fourth phase, the fifth phase, and the sixth phase, and the first phase corresponding to each phase. The image is imaged by the image pickup unit 4. In FIG. 5, the reference numerals PL2a, PL2b, and PL2c are fringe patterns PL2 of the fourth phase, the fifth phase, and the sixth phase, respectively. Further, the reference numerals DL2a, DL2b, and DL2c are the intensity distribution of the fourth phase fringe pattern PL2a, the intensity distribution of the fifth phase fringe pattern PL2b, and the intensity distribution of the sixth phase fringe pattern PL2c, respectively. The fifth phase is, for example, a phase advanced by 120 ° with respect to the fourth phase. The sixth phase is, for example, a phase delayed by 120 ° with respect to the fourth phase.

図1の説明に戻り、本実施形態に係る顕微鏡1は、第1位相設定部45と第2位相設定部46とを備え、上記したように、制御部41は、第1位相設定部45と第2位相設定部46とを制御して、活性化光L1の強度分布の位相と励起光L2の強度分布の位相とをそれぞれ変更する。 Returning to the description of FIG. 1, the microscope 1 according to the present embodiment includes a first phase setting unit 45 and a second phase setting unit 46, and as described above, the control unit 41 includes a first phase setting unit 45. The second phase setting unit 46 is controlled to change the phase of the intensity distribution of the activation light L1 and the phase of the intensity distribution of the excitation light L2, respectively.

第1位相設定部45は、第1方向D1における活性化光L1の強度分布の位相を設定する。例えば第1位相設定部45は、試料面Saと光学的に共役な面上において、第1方向D1に対応する方向における回折格子13の位置を設定することによって、活性化光L1の強度分布の位相を設定する。試料面Saと光学的に共役な面上において、第1方向D1に対応する方向は、回折格子13において周期構造が繰り返し配列される周期方向である。第1位相設定部45は、例えばアクチュエータなどの駆動部であり、回折格子13をその周期方向に移動させることによって、活性化光L1の強度分布の位相を設定する。制御部41は、第1位相設定部45に制御信号を供給し、第1位相設定部45が制御信号に基づいて回折格子13を移動させることによって、活性化光L1の強度分布の位相を変更する。 The first phase setting unit 45 sets the phase of the intensity distribution of the activated light L1 in the first direction D1. For example, the first phase setting unit 45 sets the position of the diffraction grating 13 in the direction corresponding to the first direction D1 on the surface optically coupled to the sample surface Sa, thereby adjusting the intensity distribution of the activated light L1. Set the phase. On the plane optically conjugate with the sample plane Sa, the direction corresponding to the first direction D1 is the periodic direction in which the periodic structures are repeatedly arranged in the diffraction grating 13. The first phase setting unit 45 is, for example, a driving unit such as an actuator, and sets the phase of the intensity distribution of the activated light L1 by moving the diffraction grating 13 in the periodic direction thereof. The control unit 41 supplies a control signal to the first phase setting unit 45, and the first phase setting unit 45 changes the phase of the intensity distribution of the activated light L1 by moving the diffraction grating 13 based on the control signal. do.

第2位相設定部46は、第2方向D2における励起光L2の強度分布の位相を設定する。例えば第2位相設定部46は、試料面Saと光学的に共役な面上において、第2方向D2に対応する方向における回折格子15の位置を設定することによって、励起光L2の強度分布の位相を設定する。試料面Saと光学的に共役な面上において、第2方向D2に対応する方向は、回折格子15において周期構造が繰り返し配列される周期方向である。第2位相設定部46は、例えばアクチュエータなどの駆動部であり、回折格子15をその周期方向に移動させることによって、励起光L2の強度分布の位相を設定する。制御部41は、第2位相設定部46に制御信号を供給し、第2位相設定部46が制御信号に基づいて回折格子15を移動させることによって、励起光L2の強度分布の位相を変更する。 The second phase setting unit 46 sets the phase of the intensity distribution of the excitation light L2 in the second direction D2. For example, the second phase setting unit 46 sets the position of the diffraction grating 15 in the direction corresponding to the second direction D2 on the surface optically coupled to the sample surface Sa, thereby setting the phase of the intensity distribution of the excitation light L2. To set. On the plane optically conjugate with the sample plane Sa, the direction corresponding to the second direction D2 is the periodic direction in which the periodic structures are repeatedly arranged in the diffraction grating 15. The second phase setting unit 46 is, for example, a drive unit such as an actuator, and sets the phase of the intensity distribution of the excitation light L2 by moving the diffraction grating 15 in the periodic direction thereof. The control unit 41 supplies a control signal to the second phase setting unit 46, and the second phase setting unit 46 changes the phase of the intensity distribution of the excitation light L2 by moving the diffraction grating 15 based on the control signal. ..

制御部41は、第1位相設定部45および撮像部4を制御して、第1方向D1における活性化光L1の強度分布の位相が異なる複数の第1条件(第1位相条件)で、撮像部4に撮像させる。複数の第1条件は、活性化光L1の強度分布の位相が第1位相である条件、第2位相である条件、及び第3位相である条件を含む。また、制御部41は、第2位相設定部46および撮像部4を制御して、第2方向D2における励起光L2の強度分布の位相が異なる複数の第2条件(第2位相条件)で、撮像部4に撮像させる。複数の第2条件は、励起光L2の強度分布の位相が第4位相である条件、第5位相である条件、及び第6位相である条件を含む。 The control unit 41 controls the first phase setting unit 45 and the imaging unit 4 to perform imaging under a plurality of first conditions (first phase conditions) in which the phases of the intensity distributions of the activated light L1 in the first direction D1 are different. Let the unit 4 take an image. The plurality of first conditions include a condition in which the phase of the intensity distribution of the activated light L1 is the first phase, a condition in which the phase is the second phase, and a condition in which the phase is the third phase. Further, the control unit 41 controls the second phase setting unit 46 and the imaging unit 4 under a plurality of second conditions (second phase conditions) in which the phases of the intensity distributions of the excitation light L2 in the second direction D2 are different. The image pickup unit 4 is made to take an image. The plurality of second conditions include a condition in which the phase of the intensity distribution of the excitation light L2 is the fourth phase, a condition in which the phase is the fifth phase, and a condition in which the phase is the sixth phase.

ここでは、第1方向D1における活性化光L1の強度分布の位相が3条件(3通り)であって、第2方向D2における励起光L2の強度分布の位相が3条件(3通り)であるので、活性化光L1の強度分布の位相と励起光L2の強度分布の位相との組み合わせは3×3の9条件(9通り)ある。制御部41は、これら9条件のそれぞれについて撮像部4に順次連続して撮像させ、撮像部4は、複数の第1画像として9枚の画像を撮像する。画像処理部42(画像生成部、復調部)は、複数の第1画像として撮像部4が撮像した9枚の画像を用いて、第1画像とは解像度が異なる1枚の第2画像(例、超解像画像)を生成する。例えば、画像処理部42は、第1画像より相対的に解像度が高い第2画像を生成する。また、制御部41は、第1方向D1における位相の異なる活性化光L1を用いた複数回の撮像と、第2方向D2における位相の異なる励起光L2を用いた複数回の撮像とを連動して行うことによって、複数の第1画像を取得する。 Here, the phase of the intensity distribution of the activation light L1 in the first direction D1 is three conditions (three ways), and the phase of the intensity distribution of the excitation light L2 in the second direction D2 is three conditions (three ways). Therefore, there are 9 conditions (9 ways) of 3 × 3 for the combination of the phase of the intensity distribution of the activation light L1 and the phase of the intensity distribution of the excitation light L2. The control unit 41 causes the image pickup unit 4 to continuously and continuously image each of these nine conditions, and the image pickup unit 4 captures nine images as a plurality of first images. The image processing unit 42 (image generation unit, demodulation unit) uses nine images captured by the image pickup unit 4 as a plurality of first images, and one second image (eg, a resolution different from that of the first image). , Super-resolution image) is generated. For example, the image processing unit 42 generates a second image having a relatively higher resolution than the first image. Further, the control unit 41 interlocks a plurality of imagings using the activation light L1 having a different phase in the first direction D1 and a plurality of imagings using the excitation light L2 having a different phase in the second direction D2. By doing so, a plurality of first images are acquired.

図6は、第1実施形態に係る画像処理部の処理を示す図である。画像処理部42は、複数の第1画像を用いて周波数空間における領域ごとの成分を分離し、分離した成分を再構築した後に実空間上の成分へ戻すことによって、第2画像を生成する。図6において、符号FD1は、第1方向D1に対応する周波数空間上の第1軸方向である。また、符号FD2は、第1方向D1に垂直な方向に対応する周波数空間上の第2軸方向である。本実施形態において、第2方向D2は第1方向D1に垂直であり、第2軸方向FD2は、第2方向D2に対応する周波数空間上の方向である。 FIG. 6 is a diagram showing processing of the image processing unit according to the first embodiment. The image processing unit 42 generates a second image by separating the components for each region in the frequency space using the plurality of first images, reconstructing the separated components, and then returning the components to the components in the real space. In FIG. 6, reference numeral FD1 is the first axial direction on the frequency space corresponding to the first direction D1. Further, the reference numeral FD2 is a second axis direction on the frequency space corresponding to the direction perpendicular to the first direction D1. In the present embodiment, the second direction D2 is perpendicular to the first direction D1, and the second axial direction FD2 is a direction on the frequency space corresponding to the second direction D2.

また、符号AR1aは、光学系の光学伝達関数(Optical transfer function;OTF)に対応する領域である。領域AR1aの外側の空間周波数成分は、縞パターンの照明によって空間周波数がシフトして領域AR1a内に他の空間周波数の成分と混在して表れ、光学系を介して検出可能になる。実施形態に係る顕微鏡1は、活性化光L1の位相および励起光L2の位相の一方または双方が異なる複数の条件で、試料Sから放射される蛍光を撮像によって検出する。また、顕微鏡1は、活性化光L1の位相および励起光L2の位相の一方または双方が異なる複数の条件で取得される撮像結果(複数の撮像画像)を用いて、空間周波数がシフトした空間周波数成分を分離し、分離した空間周波数成分をシフト前の空間周波数の空間周波数成分として配置して、空間周波数成分の分布を再構築する。そして、顕微鏡1は、再構築した空間周波数成分の分布を逆フーリエ変換によって実空間上の成分(輝度値)の分布に変換することによって、画像を生成する。 Further, the reference numeral AR1a is a region corresponding to an optical transfer function (OTF) of an optical system. The spatial frequency component outside the region AR1a is shifted in spatial frequency by the illumination of the fringe pattern and appears in the region AR1a mixed with other spatial frequency components, and can be detected via the optical system. The microscope 1 according to the embodiment detects fluorescence emitted from the sample S by imaging under a plurality of conditions in which one or both of the phase of the activation light L1 and the phase of the excitation light L2 are different. Further, the microscope 1 uses the imaging results (plural images captured) acquired under a plurality of conditions in which one or both of the phase of the activation light L1 and the phase of the excitation light L2 are different, and the spatial frequency is shifted. The components are separated, and the separated spatial frequency components are arranged as the spatial frequency components of the spatial frequency before the shift to reconstruct the distribution of the spatial frequency components. Then, the microscope 1 generates an image by converting the reconstructed distribution of spatial frequency components into a distribution of components (luminance values) in real space by inverse Fourier transform.

ここで、超解像画像を生成する処理について数式を用いて説明する。図7から図9は、超解像画像を生成する処理の説明に用いる数式である。撮像画像は、図7の式(1)で表される。式(1)において、rは、撮像部4が検出する領域における各位置(例、撮像画像における各画素の位置)であり、例えばベクトルで表される。Iim(r)は、位置rにおける蛍光Lの強度であり、撮像画像の位置rにおける輝度値(例、画素値)に相当する。O(r)は位置rにおける物体(試料Sの蛍光物質)に相当する。また、Iact(r)は位置rにおける活性化光L1の強度に相当し、Iexc(r)は位置rにおける励起光L2の強度に相当する。また、PSF(r)は、点像分布関数(Point Spread Function, PSF)である。PSF(r)の左隣の記号*は、畳み込みの演算子である。 Here, the process of generating a super-resolution image will be described using a mathematical formula. 7 to 9 are mathematical formulas used for explaining the process of generating a super-resolution image. The captured image is represented by the equation (1) in FIG. In the formula (1), r is each position (eg, the position of each pixel in the captured image) in the region detected by the image pickup unit 4, and is represented by, for example, a vector. I im (r) is the intensity of the fluorescence L at the position r and corresponds to the luminance value (eg, pixel value) at the position r of the captured image. O (r) corresponds to an object (fluorescent substance of sample S) at position r. Further, I act (r) corresponds to the intensity of the activation light L1 at the position r, and I exc (r) corresponds to the intensity of the excitation light L2 at the position r. Further, PSF (r) is a point spread function (PSF). The symbol * to the left of PSF (r) is the convolution operator.

また、Iact(r)は、図7の式(2)で表される。式(2)のCは活性化光L1の縞パターンにおけるコントラストであり、kは、活性化光L1の強度分布の周期によって定まる波数ベクトルであり、θは活性化光L1の強度分布の位相である。また、Iexc(r)は、図7の式(3)で表される。式(3)のCは励起光L2の縞パターンにおけるコントラストであり、kは、励起光L2の強度分布の周期によって定まる波数ベクトルであり、φ(phi)は励起光L2の強度分布の位相である。なお、図中の数式においてφはtimes new romanのフォントで表されている。撮像画像をフーリエ変換して得られるスペクトル(以下、撮像画像スペクトルと称する)は、図7の式(4)で表される。式(4)のkは、空間周波数である。 Further, I act (r) is represented by the equation (2) in FIG. C 1 in the equation (2) is the contrast in the fringe pattern of the activated light L1, k 1 is a wave vector determined by the period of the intensity distribution of the activated light L1, and θ is the intensity distribution of the activated light L1. The phase. Further, I exc (r) is represented by the equation (3) in FIG. C 2 in the equation (3) is the contrast in the fringe pattern of the excitation light L2, k 2 is a wave vector determined by the period of the intensity distribution of the excitation light L2, and φ (phi) is the intensity distribution of the excitation light L2. Phase. In the mathematical formula in the figure, φ is represented by the font of times new roman. The spectrum obtained by Fourier transforming the captured image (hereinafter referred to as the captured image spectrum) is represented by the equation (4) in FIG. K in the equation (4) is a spatial frequency.

顕微鏡1は、活性化光L1の位相を3通りに設定し(図4参照)、励起光L2の位相を3通りに設定する(図5参照)。顕微鏡1は、活性化光L1の位相および励起光L2の位相の一方または双方が異なる9通りの条件のそれぞれについて撮像画像を取得し、9通りの撮像画像を取得する。画像処理部42が各撮像画像に対してフーリエ変換を施すことによって、9通りの撮像画像のそれぞれについて式(4)の左辺の値が既知となり、左辺の値が既知の式(4)が9つ得られる。左辺の値が既知の9つの式(4)を連立した連立方程式を、行列を用いて図8の式(5)に示す。また、式(5)のMは9行9列の行列であり、その要素を図9の式(6)に示す。 In the microscope 1, the phase of the activation light L1 is set in three ways (see FIG. 4), and the phase of the excitation light L2 is set in three ways (see FIG. 5). The microscope 1 acquires captured images for each of nine conditions in which one or both of the phase of the activation light L1 and the phase of the excitation light L2 are different, and acquires nine types of captured images. When the image processing unit 42 performs a Fourier transform on each captured image, the value on the left side of the equation (4) becomes known for each of the nine captured images, and the value on the left side of the equation (4) is known to be 9. You can get one. A system of equations consisting of nine equations (4) whose values on the left side are known is shown in equation (5) of FIG. 8 using a matrix. Further, M in the equation (5) is a matrix of 9 rows and 9 columns, and its elements are shown in the equation (6) of FIG.

式(5)の左辺のIim0(k)からIim8(k)は、式(4)の左辺に対応する。ここでは、9通りの位相の条件に0から8の9種類の番号を割り付け、この番号を加えた添え字(例、im0、im1、・・・、im8)によって位相の条件を区別している。式(6)に示すように、行列Mは、係数C、係数C、活性化光L1の位相θ、及び励起光L2の位相φで定まる行列である。式(6)のθ、θ、θは、それぞれ、活性化光L1の位相θの設定値(第1位相、第2位相、第3位相)である。また、式(6)のφ、φ、φは、それぞれ、励起光L2の位相φの設定値(第4位相、第5位相、第6位相)である。 I im0 (k) to I im8 (k) on the left side of the equation (5) correspond to the left side of the equation (4). Here, nine types of numbers from 0 to 8 are assigned to the nine phase conditions, and the phase conditions are distinguished by the subscripts (eg, im0, im1, ..., Im8) to which these numbers are added. As shown in the equation (6), the matrix M is a matrix determined by the coefficient C 1 , the coefficient C 2 , the phase θ of the activation light L1, and the phase φ of the excitation light L 2. Each of θ 0 , θ 1 , and θ 2 in the equation (6) is a set value (first phase, second phase, third phase) of the phase θ of the activated light L1. Further, φ 0 , φ 1 and φ 2 in the equation (6) are set values (fourth phase, fifth phase, sixth phase) of the phase φ of the excitation light L2, respectively.

画像処理部42は、式(5)を解くことによって、O(k)、O(k+k)、・・・、O(k-k+k)を算出する。O(k+k)、・・・、O(k-k+k)は、それぞれ、空間周波数がシフトした空間周波数成分である。画像処理部42は、式(5)を解くことによって、シフトした空間周波数成分を分離する。また、画像処理部42は、空間周波数がシフトした空間周波数成分を、周波数空間においてシフトする前の位置に配置することで、図6の領域AR1の空間周波数成分を構築する。また、画像処理部42は、図6の領域AR1の空間周波数成分に対して逆フーリエ変換を施すことによって、実空間上の輝度分布(例、超解像画像の各画素の輝度値)を取得し、超解像画像を生成する。 The image processing unit 42 calculates O (k), O (k + k 1 ), ..., O (k−k 1 + k 2 ) by solving the equation (5). O (k + k 1 ), ..., O (k−k 1 + k 2 ) are spatial frequency components whose spatial frequencies are shifted, respectively. The image processing unit 42 separates the shifted spatial frequency component by solving the equation (5). Further, the image processing unit 42 constructs the spatial frequency component of the region AR1 of FIG. 6 by arranging the spatial frequency component whose spatial frequency is shifted at a position before the shift in the frequency space. Further, the image processing unit 42 acquires the brightness distribution in the real space (eg, the brightness value of each pixel of the super-resolution image) by performing an inverse Fourier transform on the spatial frequency component of the region AR1 in FIG. And generate a super-resolution image.

図6の説明に戻り、領域AR1の成分は、光学系のOTFに対応する領域AR1aの成分に比べて、第1軸方向FD1および第2軸方向FD2のそれぞれにおいて高周波数成分を含む。画像処理部42は、領域AR1の成分を逆フーリエ変換によって実空間上の成分へ変換することで、第2画像を生成する。第2画像は、第1軸方向FD1に対応する第1方向D1および第2軸方向FD2に対応する第2方向D2のそれぞれにおいて、第1画像よりも解像度が高い。 Returning to the description of FIG. 6, the component of the region AR1 includes a high frequency component in each of the first axial direction FD1 and the second axial direction FD2 as compared with the component of the region AR1a corresponding to the OTF of the optical system. The image processing unit 42 generates a second image by converting the component of the region AR1 into a component in the real space by the inverse Fourier transform. The second image has a higher resolution than the first image in each of the first direction D1 corresponding to the first axial direction FD1 and the second direction D2 corresponding to the second axial direction FD2.

なお、画像処理部42は、領域AR1の成分の一部を抽出して、抽出した成分を実空間上の成分に変換することで第2画像を生成してもよい。例えば、領域AR2は、周波数空間の原点を中心とする円形の領域である。領域AR2は、領域AR1aよりも半径が大きく、かつ領域AR1に収まる(例、領域AR1に内接する)ように設定される。画像処理部42は、領域AR2の内側の成分を用いるとともに領域AR2の外側の成分を除外して、第2画像を生成してもよい。この場合、第2画像として、第1方向D1および第2方向D2のそれぞれにおいて第1画像よりも解像度が高く、かつ解像度の等方性が向上した画像が得られる。例えば、第2画像として、第1方向D1の解像度と、第1方向D1に対して45°の角度をなす方向の解像度とが揃った画像を取得可能である。 The image processing unit 42 may generate a second image by extracting a part of the component of the region AR1 and converting the extracted component into a component in the real space. For example, the region AR2 is a circular region centered on the origin of the frequency space. The region AR2 is set to have a larger radius than the region AR1a and to fit in the region AR1 (eg, inscribed in the region AR1). The image processing unit 42 may generate a second image by using the component inside the region AR2 and excluding the component outside the region AR2. In this case, as the second image, an image having a higher resolution than the first image and an improved isotropic resolution can be obtained in each of the first direction D1 and the second direction D2. For example, as the second image, it is possible to acquire an image in which the resolution of the first direction D1 and the resolution of the direction forming an angle of 45 ° with respect to the first direction D1 are aligned.

図10(A)および図10(B)は、第1実施形態に係る画像処理部の処理、比較例の処理を示す図である。比較例では、強度が周期的に変化する方向(周期方向)の数が1つである縞パターンを照明光として用いる。また比較例では、縞パターンの周期方向を3方向(図中では0°、120°、240°の方向)に変更し、縞パターンの位相を3位相に変更した9条件で試料を撮像する。比較例では、9条件の撮像によって得られる9枚の第3画像を用いて、第3画像よりも解像度が高い第4画像を生成する。複数の第3画像から第4画像を生成する処理は、構造化照明顕微鏡において超解像画像を生成する処理を適用可能である(例えば、文献 “Three-dimensional resolution doubling in wide-field fluorescence microscopy by structured illumination”, M. G. L. Gustafsson et al., Biophysical Journal 94, 4957 (2008)」を参照)。 10 (A) and 10 (B) are diagrams showing the processing of the image processing unit and the processing of the comparative example according to the first embodiment. In the comparative example, a fringe pattern in which the number of directions in which the intensity changes periodically (periodic direction) is one is used as the illumination light. In the comparative example, the periodic direction of the fringe pattern is changed to three directions (directions of 0 °, 120 °, and 240 ° in the figure), and the sample is imaged under nine conditions in which the phase of the fringe pattern is changed to three phases. In the comparative example, nine third images obtained by imaging under nine conditions are used to generate a fourth image having a higher resolution than the third image. The process of generating a fourth image from a plurality of third images can be applied to the process of generating a super-resolution image in a structured illumination microscope (for example, the document “Three-dimensional resolution doubling in wide-field fluorescence microscopy by”. See structured illumination ”, M.G.L. Gustafsson et al., Biophysical Journal 94, 4957 (2008)”).

図10(A)の符号AR3は、比較例の9枚の第3画像から周波数空間上の成分が得られる領域である。図6で説明した本実施形態に係る領域AR1は、例えば第1軸方向FD1に対して45°の方向等において、比較例の領域AR3よりも高周波数成分を含む。実施形態に係る顕微鏡1は、領域AR1の成分を実空間上の成分へ変換することによって、比較例の領域AR3の成分を実空間の成分へ変換して得られる第4画像よりも、解像度が高い第2画像を取得可能である。実施形態に係る顕微鏡1は、例えば、従来のSIMと同じ枚数の撮像画像を用いて第2画像を生成する場合、従来のSIMと比べて高解像度の画像を取得可能である。また、実施形態に係る顕微鏡1は、例えば、照明光の方向を変更する従来のSIMと比較して、照明光の方向を変更する動作を省くことができる。 Reference numeral AR3 in FIG. 10A is a region in which components on the frequency space can be obtained from the nine third images of the comparative example. The region AR1 according to the present embodiment described with reference to FIG. 6 contains a higher frequency component than the region AR3 of the comparative example, for example, in a direction of 45 ° with respect to the first axial direction FD1. The microscope 1 according to the embodiment has a higher resolution than the fourth image obtained by converting the component of the region AR1 of the comparative example into the component of the real space by converting the component of the region AR1 into the component in the real space. It is possible to obtain a high second image. The microscope 1 according to the embodiment can acquire a high-resolution image as compared with the conventional SIM, for example, when the second image is generated by using the same number of captured images as the conventional SIM. Further, the microscope 1 according to the embodiment can omit the operation of changing the direction of the illumination light as compared with the conventional SIM that changes the direction of the illumination light, for example.

また、図10(B)の符号AR2は、実施形態に係る領域AR1に内接し、周波数空間の原点を中心とする円形の領域である。また、符号AR4は、比較例の領域AR3に内接し、周波数空間の原点を中心とする円形の領域である。実施形態に係る領域RA2は、比較例に係る領域AR4に比べて半径が大きく、高周波数成分を含む。実施形態に係る領域AR2の成分を用いて画像を生成する場合、解像度が等方的な画像が得られ、かつ比較例に係る領域AR4の成分を用いて画像を生成する場合よりも解像度が高い画像が得られる。 Further, the reference numeral AR2 in FIG. 10B is a circular region inscribed in the region AR1 according to the embodiment and centered on the origin of the frequency space. Further, the reference numeral AR4 is a circular region inscribed in the region AR3 of the comparative example and centered on the origin of the frequency space. The region RA2 according to the embodiment has a larger radius than the region AR4 according to the comparative example and contains a high frequency component. When an image is generated using the component of the region AR2 according to the embodiment, an image having an isotropic resolution is obtained, and the resolution is higher than when the image is generated using the component of the region AR4 according to the comparative example. An image is obtained.

図11は、第1実施形態に係る第1方向と第2方向との関係を示す図である。第2方向D2は、図2等において第1方向D1に対して垂直としているが、第1方向D1に対して垂直でなくてもよい。図11の符号αは、第1方向D1と第2方向D2との角度である。また、符号Kv1は活性化光L1の縞パターンPL1の波数ベクトルであり、符号Kv2は、励起光L2の縞パターンPL2の波数ベクトルであり、符号Kv3は、波数ベクトルKv1と波数ベクトルKv2との合成ベクトルである。また、符号D5は、第1方向D1に垂直な方向である。 FIG. 11 is a diagram showing the relationship between the first direction and the second direction according to the first embodiment. Although the second direction D2 is perpendicular to the first direction D1 in FIG. 2 and the like, it does not have to be perpendicular to the first direction D1. Reference numeral α in FIG. 11 is an angle between the first direction D1 and the second direction D2. Further, reference numeral Kv1 is a wave vector of the fringe pattern PL1 of the activation light L1, reference numeral Kv2 is a wave number vector of the fringe pattern PL2 of the excitation light L2, and reference numeral Kv3 is a combination of the wave number vector Kv1 and the wave number vector Kv2. It is a vector. Further, the reference numeral D5 is a direction perpendicular to the first direction D1.

ここで、合成ベクトルKv3の第1方向D1の成分と、合成ベクトルKv3の方向D5の成分との比をRで表す。比Rは、第1方向D1における解像度と方向D5における解像度の比に対応する。比Rは、例えば解像度の等方性が要求される場合に、0.9以上1.1以下の範囲内に設定されてもよい。比Rは、αを用いるとR=(1+cosα)/sinαで表され、角度αは、0.9≦(1+cosα)/sinα≦1.1を満たすように設定されてもよい。例えば、角度αは、85°以上95°以下の範囲内に設定されてもよい。 Here, the ratio of the component of the first direction D1 of the composite vector Kv3 to the component of the direction D5 of the composite vector Kv3 is represented by R. The ratio R corresponds to the ratio of the resolution in the first direction D1 to the resolution in the direction D5. The ratio R may be set in the range of 0.9 or more and 1.1 or less, for example, when isotropic resolution is required. The ratio R is represented by R = (1 + cosα) / sinα when α is used, and the angle α may be set to satisfy 0.9 ≦ (1 + cosα) / sinα ≦ 1.1. For example, the angle α may be set within the range of 85 ° or more and 95 ° or less.

次に、上記顕微鏡1の構成に基づいて、第1実施形態に係る観察方法について説明する。図12は、第1実施形態に係る観察方法の第1例を示すフローチャートである。第1例において、励起光L2の波長は、活性化光L1の波長および不活性化光L3の波長のいずれとも異なる。励起光L2の波長が活性化光L1の波長または不活性化光L3の波長と同じ場合については、後に図14で説明する。また、顕微鏡1の各部については、適宜、図1を参照する。 Next, the observation method according to the first embodiment will be described based on the configuration of the microscope 1. FIG. 12 is a flowchart showing a first example of the observation method according to the first embodiment. In the first example, the wavelength of the excitation light L2 is different from the wavelength of the activation light L1 and the wavelength of the deactivation light L3. The case where the wavelength of the excitation light L2 is the same as the wavelength of the activation light L1 or the wavelength of the deactivation light L3 will be described later with reference to FIG. Further, for each part of the microscope 1, FIG. 1 is referred to as appropriate.

ステップS1において、制御部41は、第1方向D1において強度が周期的に変化する活性化光L1の位相を設定する。例えば、制御部41は、第1位相設定部45を制御して、活性化光L1(縞パターンPL1)の位相を第1位相に設定する。ステップS2において、照射部3は、活性化光L1を試料Sに照射する。照射部3は、活性化光L1として第1位相の縞パターンPL1を、試料Sに照射する。 In step S1, the control unit 41 sets the phase of the activation light L1 whose intensity changes periodically in the first direction D1. For example, the control unit 41 controls the first phase setting unit 45 to set the phase of the activation light L1 (striped pattern PL1) to the first phase. In step S2, the irradiation unit 3 irradiates the sample S with the activation light L1. The irradiation unit 3 irradiates the sample S with the first-phase fringe pattern PL1 as the activation light L1.

ステップS3において、制御部41は、第2方向D2において強度が周期的に変化する励起光L2の位相を設定する。例えば、制御部41は、第2位相設定部46を制御して、励起光L2(縞パターンPL2)の位相を第4位相に設定する。ステップS4において、照射部3は、励起光L2を試料に照射する。照射部3は、励起光L2として第4位相の縞パターンPL2を、試料Sに照射する。照射部3は、ステップS4の処理を、ステップS2の処理と並行して実行してもよい。照射部3は、励起光L2を、活性化光L1の照射と並行して又は活性化光L1の照射後に、試料Sに照射する。 In step S3, the control unit 41 sets the phase of the excitation light L2 whose intensity changes periodically in the second direction D2. For example, the control unit 41 controls the second phase setting unit 46 to set the phase of the excitation light L2 (striped pattern PL2) to the fourth phase. In step S4, the irradiation unit 3 irradiates the sample with the excitation light L2. The irradiation unit 3 irradiates the sample S with the fringe pattern PL2 of the fourth phase as the excitation light L2. The irradiation unit 3 may execute the process of step S4 in parallel with the process of step S2. The irradiation unit 3 irradiates the sample S with the excitation light L2 in parallel with the irradiation of the activation light L1 or after the irradiation of the activation light L1.

ステップS5において、撮像部4は、試料Sを撮像して第1画像を取得する。撮像部4は、活性化光L1として第1位相の縞パターンPL1が照射され、かつ励起光L2として第4位相の縞パターンPL2が照射された試料を撮像する。撮像部4は、撮像により得られる第1画像のデータを制御装置5に出力する。制御装置5は、撮像部4から出力された第1画像のデータを記憶装置7に記憶させる。 In step S5, the image pickup unit 4 takes an image of the sample S and acquires a first image. The imaging unit 4 images a sample irradiated with the first-phase fringe pattern PL1 as the activation light L1 and irradiated with the fourth-phase fringe pattern PL2 as the excitation light L2. The image pickup unit 4 outputs the data of the first image obtained by the image pickup to the control device 5. The control device 5 stores the data of the first image output from the image pickup unit 4 in the storage device 7.

ステップS6において、制御部41は、励起光L2の位相を変更するか否かを判定する。制御部41は、ステップS1で設定された活性化光L1の位相に対して予定された複数の第2条件(例、励起光L2の位相が第4位相、第5位相、第6位相)の一部について撮像が完了していない場合、励起光L2の位相を変更すると判定する。制御部41は、励起光L2の位相を変更すると判定した場合(ステップS6;Yes)、ステップS3に戻り、励起光L2の位相を次の位相(例、第5位相)に変更する。そして、顕微鏡1は、ステップS4からステップS6の処理を繰り返す。 In step S6, the control unit 41 determines whether or not to change the phase of the excitation light L2. The control unit 41 has a plurality of second conditions (eg, the phases of the excitation light L2 are the fourth phase, the fifth phase, and the sixth phase) scheduled for the phase of the activation light L1 set in step S1. If the imaging is not completed for a part, it is determined that the phase of the excitation light L2 is changed. When the control unit 41 determines that the phase of the excitation light L2 is to be changed (step S6; Yes), the control unit 41 returns to step S3 and changes the phase of the excitation light L2 to the next phase (eg, the fifth phase). Then, the microscope 1 repeats the processes of steps S4 to S6.

ステップS6において、制御部41は、ステップS1で設定された活性化光L1の位相に対して予定された複数の第2条件(例、励起光L2の位相が第4位相、第5位相、第6位相)の全てについて撮像が完了している場合、励起光L2の位相を変更しないと判定する。制御部41は、励起光L2の位相を変更しないと判定した場合(ステップS6;No)、ステップS7において、不活性化光L3を試料Sに照射させる。制御部41は、ステップS8において、活性化光L1の位相を変更するか否かを判定する。 In step S6, the control unit 41 has a plurality of second conditions (eg, the phases of the excitation light L2 are the fourth phase, the fifth phase, and the third phase) scheduled for the phase of the activation light L1 set in step S1. When the imaging is completed for all of the 6 phases), it is determined that the phase of the excitation light L2 is not changed. When the control unit 41 determines that the phase of the excitation light L2 is not changed (step S6; No), the control unit 41 irradiates the sample S with the inactivating light L3 in step S7. The control unit 41 determines in step S8 whether or not to change the phase of the activation light L1.

制御部41は、予定された複数の第1条件(例、活性化光L1の位相が第1位相、第2位相、第3位相)の一部について撮像が完了していない場合、活性化光L1の位相を変更すると判定する。制御部41は、活性化光L1の位相を変更すると判定した場合(ステップS8;Yes)、ステップS1に戻り、活性化光L1の位相を次の位相(例、第2位相)に変更する。そして、顕微鏡1は、ステップS2からステップS7の処理を繰り返す。 When the control unit 41 has not completed imaging for a part of the plurality of scheduled first conditions (eg, the phase of the activated light L1 is the first phase, the second phase, and the third phase), the activated light It is determined that the phase of L1 is changed. When the control unit 41 determines that the phase of the activation light L1 is to be changed (step S8; Yes), the control unit 41 returns to step S1 and changes the phase of the activation light L1 to the next phase (eg, the second phase). Then, the microscope 1 repeats the processes of steps S2 to S7.

ステップS8において、予定された複数の第1条件(例、活性化光L1の位相が第1位相、第2位相、第3位相)の全てについて撮像が完了している場合、制御部41は、活性化光L1の位相を変更しないと判定する。制御部41は、活性化光L1の位相を変更しないと判定した場合(ステップS8;No)、画像処理部42に第2画像を生成させる。ステップS9において、画像処理部42は、複数の第1画像(撮像画像)に基づいて、第1画像と解像度が異なる第2画像を生成する。例えば、画像処理部42は、第2画像として、第1画像(撮像画像)よりも解像度が高い超解像画像を生成する。画像処理部42は、複数の第1画像のデータを記憶装置7から読み出し、複数の第1画像に基づいて第1画像よりも解像度が高い第2画像を生成する。画像処理部42は、生成した第2画像のデータを記憶装置7に記憶させる。制御装置5は、画像処理部42が生成した第2画像を表示装置6に表示させる。なお、第2画像の解像度は、第1方向D1と第2方向D2との一方または双方において、第1画像の解像度よりも低くても構わない。 In step S8, when the imaging is completed for all of the plurality of scheduled first conditions (eg, the phases of the activated light L1 are the first phase, the second phase, and the third phase), the control unit 41 sets the control unit 41. It is determined that the phase of the activation light L1 is not changed. When the control unit 41 determines that the phase of the activation light L1 is not changed (step S8; No), the control unit 41 causes the image processing unit 42 to generate a second image. In step S9, the image processing unit 42 generates a second image having a resolution different from that of the first image based on the plurality of first images (captured images). For example, the image processing unit 42 generates a super-resolution image having a higher resolution than the first image (captured image) as the second image. The image processing unit 42 reads the data of the plurality of first images from the storage device 7, and generates a second image having a higher resolution than the first image based on the plurality of first images. The image processing unit 42 stores the generated data of the second image in the storage device 7. The control device 5 causes the display device 6 to display the second image generated by the image processing unit 42. The resolution of the second image may be lower than the resolution of the first image in one or both of the first direction D1 and the second direction D2.

ここで、本実施形態に係る照明光(活性化光L1、励起光L2、不活性化光L3)の照射タイミングおよび撮像タイミングについて説明する。図13(A)から(C)は、第1実施形態に係る照明光の照射タイミングおよび撮像タイミングを示すタイミングチャートである。ここでは、励起光L2の波長が、活性化光L1の波長と不活性化光L3の波長とのいずれとも異なるものとする。顕微鏡1の各部については、適宜、図1を参照する。 Here, the irradiation timing and the imaging timing of the illumination light (activating light L1, excitation light L2, deactivating light L3) according to the present embodiment will be described. 13 (A) to 13 (C) are timing charts showing the irradiation timing and the imaging timing of the illumination light according to the first embodiment. Here, it is assumed that the wavelength of the excitation light L2 is different from the wavelength of the activation light L1 and the wavelength of the deactivation light L3. For each part of the microscope 1, refer to FIG. 1 as appropriate.

まず、図13(A)に示すタイミングチャートについて説明する。照射部3は、期間T1において、活性化光L1を試料Sに照射する。照射部3は、期間T2において、励起光L2を試料Sに照射する。図13(A)において、期間T2の開始時は、期間T1の終了後である。図13(A)において、期間T2は、期間T1と重複しない期間である。 First, the timing chart shown in FIG. 13A will be described. The irradiation unit 3 irradiates the sample S with the activation light L1 during the period T1. The irradiation unit 3 irradiates the sample S with the excitation light L2 during the period T2. In FIG. 13A, the start time of the period T2 is after the end of the period T1. In FIG. 13A, the period T2 is a period that does not overlap with the period T1.

撮像部4は、期間T3において試料Sを撮像する。期間T3は、撮像素子32において受光により発生する電荷を、撮像素子32が蓄積する露光期間である。期間T3は、励起光L2の照射によって試料Sから蛍光Lが放射される期間を含むように設定される。図13(A)において、期間T3は、期間T2と同じ期間である。 The imaging unit 4 images the sample S during the period T3. The period T3 is an exposure period in which the image sensor 32 accumulates the electric charge generated by the light reception in the image sensor 32. The period T3 is set to include a period in which the fluorescence L is emitted from the sample S by irradiation with the excitation light L2. In FIG. 13A, the period T3 is the same period as the period T2.

照射部3は、期間T4において、不活性化光L3を試料Sに照射する。期間T4の開始時は、期間T3の終了後である。期間T4の終了後に次のフレームが予定されている場合、照射部3および撮像部4は、上述の処理を繰り返す。制御部41は、照射部3を制御して上述のタイミングで照明光を試料Sに照射させ、撮像部4を制御して上述のタイミングで試料Sを撮像させる。 The irradiation unit 3 irradiates the sample S with the inactivating light L3 during the period T4. The start of period T4 is after the end of period T3. When the next frame is scheduled after the end of the period T4, the irradiation unit 3 and the imaging unit 4 repeat the above-mentioned processing. The control unit 41 controls the irradiation unit 3 to irradiate the sample S with the illumination light at the above timing, and controls the image pickup unit 4 to image the sample S at the above timing.

次に、図13(B)に示すタイミングチャートについて説明する。図13(B)において、励起光L2が試料Sに照射される期間T2は、活性化光L1が試料Sに照射される期間T1の少なくとも一部と重複する。期間T2は、期間T1と同じでもよい。また、期間T2は、期間T1の一部でもよい。また、期間T1は、期間T2の一部でもよい。撮像が実行される期間T3は、励起光L2の照射によって試料Sから蛍光Lが放射される期間を含むように設定される。期間T3は、期間T1の少なくとも一部と重複してもよい。また、期間T3は、期間T1と重複しなくてもよい。例えば、図13(B)において、期間T1は、期間T1の終了後における期間T2を含むように設定されてもよい。 Next, the timing chart shown in FIG. 13B will be described. In FIG. 13B, the period T2 in which the excitation light L2 is irradiated on the sample S overlaps with at least a part of the period T1 in which the activation light L1 is irradiated on the sample S. The period T2 may be the same as the period T1. Further, the period T2 may be a part of the period T1. Further, the period T1 may be a part of the period T2. The period T3 in which the imaging is executed is set to include a period in which the fluorescence L is emitted from the sample S by the irradiation of the excitation light L2. The period T3 may overlap with at least a portion of the period T1. Further, the period T3 does not have to overlap with the period T1. For example, in FIG. 13B, the period T1 may be set to include the period T2 after the end of the period T1.

次に、図13(C)に示すタイミングチャートについて説明する。図13(C)において、励起光L2が試料Sに照射される期間T2は、撮像が実行される期間T3の一部である。このように、期間T3は、開始時と、終了時と、期間の長さとの少なくとも1つが期間T2と異なってもよい。期間T3は、期間T2の一部でもよい。なお、図13(A)のように、期間T1と期間T2とが重複しない場合についても同様に、期間T3は、開始時と、終了時と、期間の長さとの少なくとも1つが期間T2と異なってもよい。 Next, the timing chart shown in FIG. 13C will be described. In FIG. 13C, the period T2 in which the excitation light L2 is applied to the sample S is a part of the period T3 in which imaging is performed. Thus, the period T3 may differ from the period T2 in at least one of a start time, an end time, and a length of the period. The period T3 may be a part of the period T2. Similarly, when the period T1 and the period T2 do not overlap as shown in FIG. 13 (A), the period T3 is different from the period T2 in at least one of the start time, the end time, and the length of the period. You may.

図14は、第1実施形態に係る観察方法の第2例を示すフローチャートである。図14において、図11と同様の処理については同じ符号を付してその説明を省略あるいは簡略化する。図14において、ステップS1からステップS5の処理は、図11と同様である。 FIG. 14 is a flowchart showing a second example of the observation method according to the first embodiment. In FIG. 14, the same processing as in FIG. 11 is designated by the same reference numerals, and the description thereof will be omitted or simplified. In FIG. 14, the processes from step S1 to step S5 are the same as those in FIG.

制御部41は、ステップS5において試料Sを撮像部4にさせた後、ステップS11において試料Sに不活性化光L3を照射させる。ステップS11の処理は、図11のステップS7と同様の内容であるが、実行される順番が図11と異なる。制御部41は、不活性化光L3が試料に照射された後、ステップS12において励起光L2の位相を変更するか否かを判定する。ステップS12の処理は、図11のステップS6と同様の内容であるが、実行される順番が図11と異なる。制御部41は、励起光L2の位相を変更すると判定した場合(ステップS11;Yes)、ステップS3に戻って励起光L2の位相を次の位相に設定し、ステップS4、ステップS5、ステップS11、ステップS12の処理を繰り返す。制御部41は、励起光L2の位相を変更しないと判定した場合(ステップS11;No)、ステップS8、ステップS9の処理を実行する。ステップS8、ステップS9の処理は、図11と同様である。 The control unit 41 causes the sample S to be the imaging unit 4 in step S5, and then irradiates the sample S with the inactivating light L3 in step S11. The process of step S11 has the same contents as step S7 of FIG. 11, but the order of execution is different from that of FIG. The control unit 41 determines whether or not to change the phase of the excitation light L2 in step S12 after the sample is irradiated with the inactivating light L3. The process of step S12 has the same contents as step S6 of FIG. 11, but the order of execution is different from that of FIG. When the control unit 41 determines that the phase of the excitation light L2 is changed (step S11; Yes), the control unit 41 returns to step S3 and sets the phase of the excitation light L2 to the next phase, and steps S4, step S5, and step S11. The process of step S12 is repeated. When the control unit 41 determines that the phase of the excitation light L2 is not changed (step S11; No), the control unit 41 executes the processes of steps S8 and S9. The processes of steps S8 and S9 are the same as those in FIG.

ここで、励起光L2の波長が活性化光L1の波長または不活性化光L3の波長と同じである場合の照明光の照射タイミングおよび撮像タイミングについて説明する。励起光L2の波長が活性化光L1の波長と同じである場合、照射部3は、例えば図13(A)で説明したタイミングで照明光を試料Sに照射する。励起光L2が照射される期間T2は、活性化光L1が照射される期間T1と重複しない期間に設定されることが望ましい。撮像が実行される期間T3は、活性化光L1が照射される期間T1と重複しない期間に設定される。 Here, the irradiation timing and the imaging timing of the illumination light when the wavelength of the excitation light L2 is the same as the wavelength of the activation light L1 or the wavelength of the deactivation light L3 will be described. When the wavelength of the excitation light L2 is the same as the wavelength of the activation light L1, the irradiation unit 3 irradiates the sample S with the illumination light at the timing described in FIG. 13A, for example. It is desirable that the period T2 in which the excitation light L2 is irradiated is set to a period that does not overlap with the period T1 in which the activation light L1 is irradiated. The period T3 in which the imaging is executed is set to a period that does not overlap with the period T1 in which the activation light L1 is irradiated.

また、励起光L2の波長が不活性化光L3の波長と同じである場合、照射部3は、例えば図13(A)から図13(C)のいずれかのタイミングで照明光を試料Sに照射する。励起光L2が照射される期間T2は、活性化光L1が照射される期間T1と重複しない期間でもよい。また、期間T2は、期間T1の少なくとも一部と重複する期間でもよい。また、撮像が実行される期間T3は、不活性化光L3が照射される期間T4と重複しない期間に設定される。 Further, when the wavelength of the excitation light L2 is the same as the wavelength of the inactivated light L3, the irradiation unit 3 uses the illumination light as the sample S at any of the timings of FIGS. 13 (A) to 13 (C), for example. Irradiate. The period T2 in which the excitation light L2 is irradiated may be a period that does not overlap with the period T1 in which the activation light L1 is irradiated. Further, the period T2 may be a period overlapping with at least a part of the period T1. Further, the period T3 in which the imaging is executed is set to a period that does not overlap with the period T4 in which the inactivated light L3 is irradiated.

なお、励起光L2の波長が活性化光L1または不活性化光L3の波長と異なる場合(図11参照)に、図14と同様に、ステップS5において試料を撮像するたびに不活性化光L3を試料Sに照射してもよい。図12のように、活性化光L1の1つの位相について励起光L2の位相の変更が終了した後に不活性化光L3を照射する場合、図14の処理を適用する場合に比べて、不活性化光L3を照射する処理の回数を減らすことができる。 When the wavelength of the excitation light L2 is different from the wavelength of the activation light L1 or the inactivation light L3 (see FIG. 11), the inactivation light L3 is taken every time the sample is imaged in step S5, as in FIG. May be irradiated to the sample S. As shown in FIG. 12, when the activation light L3 is irradiated after the phase change of the excitation light L2 is completed for one phase of the activation light L1, it is inactive as compared with the case where the process of FIG. 14 is applied. The number of processes for irradiating the chemical light L3 can be reduced.

実施形態に係る顕微鏡1は、活性化光L1の強度分布(例、縞パターン)の周期方向と励起光L2の強度分布(例、縞パターン)の周期方向とを変更しなくても2方向において第1画像と解像度が異なる(例、高い)第2画像を取得可能である。顕微鏡1は、例えば、照明光の縞パターンの周期方向を変更する構成を省くことができる。また、顕微鏡1は、例えば、照明光の縞パターンの周期方向を変更する処理を省くことによって、第2画像を高速で取得することができる。 The microscope 1 according to the embodiment has two directions without changing the periodic direction of the intensity distribution of the activated light L1 (eg, the stripe pattern) and the periodic direction of the intensity distribution of the excitation light L2 (eg, the stripe pattern). It is possible to acquire a second image having a resolution different from that of the first image (eg, high). The microscope 1 can omit, for example, a configuration in which the periodic direction of the fringe pattern of the illumination light is changed. Further, the microscope 1 can acquire the second image at high speed by omitting the process of changing the periodic direction of the fringe pattern of the illumination light, for example.

なお、顕微鏡1は、活性化光L1の強度が周期的に変化する第1方向D1と、励起光L2の強度が周期的に変化する第2方向D2との一方または双方を変更可能でもよい。例えば、顕微鏡1は、第1方向D1と第2方向D2とが固定された状態で第1画像を取得して第2画像を生成した後、第1方向D1と第2方向D2との一方または双方を変更して次の第1画像を取得して次の第2画像を生成してもよい。また、第1方向D1と第2方向D2との一方または双方は、試料Sにおいて観察対象の構造によって解像度が要求される方向に基づいて、設定されてもよい。また、顕微鏡1は、第2画像として三次元的な画像を生成してもよい。 The microscope 1 may be capable of changing one or both of the first direction D1 in which the intensity of the activation light L1 changes periodically and the second direction D2 in which the intensity of the excitation light L2 changes periodically. For example, the microscope 1 acquires a first image in a state where the first direction D1 and the second direction D2 are fixed to generate a second image, and then one or one of the first direction D1 and the second direction D2. You may change both to acquire the next first image and generate the next second image. Further, one or both of the first direction D1 and the second direction D2 may be set based on the direction in which the resolution is required by the structure of the observation target in the sample S. Further, the microscope 1 may generate a three-dimensional image as the second image.

なお、照射部3は、第1光源LS1と第2光源LS2との一方または双方を備えなくてもよい。例えば、顕微鏡1は、第1光源LS1を備えない状態で提供されてもよい。第1光源LS1は、顕微鏡1が使用される際に、顕微鏡1に取り付けられてもよい。第1光源LS1は、照射部3に対して交換可能(取り付け可能、取り外し可能)でもよい。また、顕微鏡1は、第2光源LS2を備えない状態で提供されてもよい。第2光源LS2は、顕微鏡1が使用される際に、顕微鏡1に取り付けられてもよい。第2光源LS2は、照射部3に対して交換可能(取り付け可能、取り外し可能)でもよい。 The irradiation unit 3 does not have to include one or both of the first light source LS1 and the second light source LS2. For example, the microscope 1 may be provided without the first light source LS1. The first light source LS1 may be attached to the microscope 1 when the microscope 1 is used. The first light source LS1 may be replaceable (attachable or removable) with respect to the irradiation unit 3. Further, the microscope 1 may be provided without the second light source LS2. The second light source LS2 may be attached to the microscope 1 when the microscope 1 is used. The second light source LS2 may be replaceable (attachable or removable) with respect to the irradiation unit 3.

なお、照射部3は、分岐部(例、分岐部13、分岐部15)として回折格子の代わりに空間光変調器(SLM)を備えてもよい。空間光変調器は、例えば、二次元的に配列される複数の画素を有し、各画素に入射する光を画素ごとに変調可能である。位相設定部(第1位相設定部45、第2位相設定部46)は、例えば、空間光変調器において各画素における変調を制御する信号(例、画像信号、ビットマップデータ)を空間光変調器に供給することによって、縞パターンの位相を設定してもよい。 The irradiation unit 3 may be provided with a spatial light modulator (SLM) as a branch portion (eg, branch portion 13, branch portion 15) instead of the diffraction grating. The spatial light modulator has, for example, a plurality of pixels arranged two-dimensionally, and the light incident on each pixel can be modulated for each pixel. The phase setting unit (first phase setting unit 45, second phase setting unit 46) is, for example, a spatial light modulator that controls a signal (eg, an image signal, bitmap data) that controls modulation in each pixel in the spatial light modulator. The phase of the fringe pattern may be set by supplying to.

なお、制御部41は、活性化光L1の位相と励起光L2の位相とに関する複数の条件を、いずれの順番で設定しても構わない。例えば、制御部41は、励起光L2の位相を第4位相に設定した状態で、活性化光L1の位相を第1位相と第2位相と第3位相とで変更してもよい。また、第1画像を撮像する際の活性化光L1の位相の種類は、3種類(例、第1位相、第2位相、第3位相)でなくてもよく、2種類または4種類以上でもよい。また、第1画像を撮像する際の励起光L2の位相の種類は、3種類(例、第4位相、第5位相、第6位相)でなくてもよく、2種類または4種類以上でもよい。 The control unit 41 may set a plurality of conditions regarding the phase of the activation light L1 and the phase of the excitation light L2 in any order. For example, the control unit 41 may change the phase of the activation light L1 between the first phase, the second phase, and the third phase while the phase of the excitation light L2 is set to the fourth phase. Further, the type of the phase of the activated light L1 when capturing the first image does not have to be three types (eg, first phase, second phase, third phase), and may be two types or four or more types. good. Further, the type of the phase of the excitation light L2 when capturing the first image does not have to be three types (eg, fourth phase, fifth phase, sixth phase), and may be two types or four or more types. ..

なお、顕微鏡1は、表示装置6と記憶装置7との一方または双方を備えなくてもよい。顕微鏡1は表示装置6を備えない状態で提供され、表示装置6は、その使用時に顕微鏡1に取り付けられてもよい。また、顕微鏡1は記憶装置7を備えない状態で提供され、記憶装置7は、その使用時に顕微鏡1に取り付けられてもよい。 The microscope 1 does not have to include one or both of the display device 6 and the storage device 7. The microscope 1 is provided without the display device 6, and the display device 6 may be attached to the microscope 1 at the time of its use. Further, the microscope 1 is provided without the storage device 7, and the storage device 7 may be attached to the microscope 1 at the time of its use.

なお、実施形態に係る顕微鏡1は、第2画像として三次元的な画像を生成してもよい。また、実施形態に係る顕微鏡1は、非線形構造化照明顕微鏡に適用可能である。非線形構造化照明顕微鏡は、照明光の強度に対する蛍光の強度の非線形性を利用して超解像画像を生成する(例えば、“Nonlinear structured-illumination microscopy: Wide-field fluorescence imaging with theoretically unlimited resolution” Mats G. L. Gustafsson PNAS September 13, 2005. 102 (37) 13081-13086; https://doi.org/10.1073/pnas.0406877102を参照)。顕微鏡1が非線形構造化照明顕微鏡である場合、不活性化光L3として励起光L2と位相が180°ずれた縞パターンを用いてもよい。 The microscope 1 according to the embodiment may generate a three-dimensional image as the second image. Further, the microscope 1 according to the embodiment can be applied to a nonlinear structured illumination microscope. Non-linear structured illumination microscopes utilize the non-linearity of fluorescence intensity with respect to illumination light intensity to generate super-resolution images (eg, “Nonlinear structured-illumination microscopy: Wide-field fluorescence imaging with theoretically unlimited resolution” Mats. G. L. Gustafsson PNAS September 13, 2005. 102 (37) 13081-13086; see https://doi.org/10.1073/pnas.0406877102). When the microscope 1 is a non-linear structured illumination microscope, a fringe pattern that is 180 ° out of phase with the excitation light L2 may be used as the deactivating light L3.

なお、活性化光L1と励起光L2とで波長が同じである場合、活性化光L1の光量(例、光強度、照射時間)は、励起光L2の光量と異なってもよい。例えば、顕微鏡1は、活性化光L1の光量が励起光L2の光量よりも高い値に設定され、蛍光物質の活性化度を飽和させてもよい。また、励起光L2と不活性化光L3とで波長が同じである場合、不活性化光L3の光量(例、光強度、照射時間)は、励起光L2の光量と異なってもよい。例えば、顕微鏡1は、不活性化光L3の光量が励起光L2の光量よりも高い値に設定され、蛍光物質の不活性化度を飽和させてもよい。 When the wavelengths of the activation light L1 and the excitation light L2 are the same, the light amount of the activation light L1 (eg, light intensity, irradiation time) may be different from the light amount of the excitation light L2. For example, in the microscope 1, the light amount of the activation light L1 may be set to a value higher than the light amount of the excitation light L2, and the degree of activation of the fluorescent substance may be saturated. Further, when the wavelengths of the excitation light L2 and the inactivation light L3 are the same, the light amount of the inactivation light L3 (eg, light intensity, irradiation time) may be different from the light amount of the excitation light L2. For example, in the microscope 1, the amount of the inactivating light L3 may be set to a value higher than the amount of the excitation light L2, and the degree of inactivation of the fluorescent substance may be saturated.

上述の実施形態において、制御装置5は、例えばコンピュータシステムを含む。制御装置5は、記憶装置7に記憶されている制御プログラムを読み出し、この制御プログラムに従って各種の処理を実行する。この制御プログラムは、コンピュータに、蛍光物質を含む試料が配置される試料面上の第1方向において強度が周期的に変化し蛍光物質を活性化する活性化光と、試料面上で第1方向に交差する第2方向において強度が周期的に変化し活性化光によって活性化した蛍光物質を励起する励起光とを試料に照射する制御と、第1方向における活性化光の強度分布を変更する制御と、第2方向における励起光の強度分布を変更する制御と、活性化光の照射と励起光の照射とによって試料から放射される蛍光の像を撮像する制御と、を実行させる。この制御プログラムは、コンピュータ読み取り可能な記憶媒体(例、非一時的な記録媒体、non-transitory tangible media)に記録されて提供されてもよい。 In the above-described embodiment, the control device 5 includes, for example, a computer system. The control device 5 reads out the control program stored in the storage device 7 and executes various processes according to the control program. This control program uses activation light that periodically changes the intensity in the first direction on the sample surface on which the sample containing the fluorescent substance is placed to activate the fluorescent substance, and the first direction on the sample surface. Control to irradiate the sample with excitation light that excites the fluorescent substance activated by the activation light whose intensity changes periodically in the second direction intersecting with, and changes the intensity distribution of the activation light in the first direction. The control is performed, the control for changing the intensity distribution of the excitation light in the second direction, and the control for capturing the image of the fluorescence emitted from the sample by the irradiation of the activation light and the irradiation of the excitation light are executed. This control program may be recorded and provided on a computer-readable storage medium (eg, non-transitory tangible media).

なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の1つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。 The technical scope of the present invention is not limited to the embodiments described in the above-described embodiments. One or more of the requirements described in the above embodiments and the like may be omitted. Further, the requirements described in the above-described embodiments and the like can be appropriately combined. In addition, to the extent permitted by law, the disclosure of all documents cited in the above-mentioned embodiments and the like shall be incorporated as part of the description in the main text.

1・・・顕微鏡、3・・・照射部、4・・・撮像部、S・・・試料、Sa・・・試料面、41・・・制御部、42・・・画像処理部、45・・・第1位相設定部、46・・・第2位相設定部、54・・・第3位相設定部、D1・・・第1方向、D2・・・第2方向、L・・・蛍光、L1・・・活性化光、L2・・・励起光、L3・・・不活性化光 1 ... Microscope, 3 ... Irradiation section, 4 ... Imaging section, S ... Sample, Sa ... Sample surface, 41 ... Control section, 42 ... Image processing section, 45. 1st phase setting unit, 46 ... 2nd phase setting unit, 54 ... 3rd phase setting unit, D1 ... 1st direction, D2 ... 2nd direction, L ... fluorescence, L1 ... activation light, L2 ... excitation light, L3 ... inactivation light

Claims (14)

蛍光物質を含む試料が配置される試料面上の第1方向において強度が周期的に変化し前記蛍光物質を活性化する活性化光と、前記試料面上で前記第1方向に交差する第2方向において強度が周期的に変化し前記活性化光によって活性化した前記蛍光物質を励起する励起光とを前記試料に照射する照射部と、
前記第1方向における前記活性化光の強度分布と、前記第2方向における前記励起光の強度分布とを変更する制御部と、
前記活性化光の照射と前記励起光の照射とによって前記試料から放射される蛍光の像を撮像する撮像部と、
前記撮像部が撮像して得られる第1画像に基づいて、前記第1画像と解像度が異なる第2画像を生成する画像処理部と、を備える顕微鏡。
The activation light whose intensity changes periodically in the first direction on the sample surface on which the sample containing the fluorescent substance is placed to activate the fluorescent substance and the second light intersecting the first direction on the sample surface. An irradiation unit that irradiates the sample with excitation light that excites the fluorescent substance activated by the activation light whose intensity changes periodically in the direction.
A control unit that changes the intensity distribution of the activation light in the first direction and the intensity distribution of the excitation light in the second direction.
An imaging unit that captures an image of fluorescence emitted from the sample by the irradiation of the activation light and the irradiation of the excitation light.
A microscope including an image processing unit that generates a second image having a resolution different from that of the first image based on the first image obtained by the image pickup unit.
前記制御部は、前記第1方向における活性化光の強度分布の位相と、前記第2方向における前記励起光の強度分布の位相と、を変更する、
請求項1に記載の顕微鏡。
The control unit changes the phase of the intensity distribution of the activation light in the first direction and the phase of the intensity distribution of the excitation light in the second direction.
The microscope according to claim 1.
前記第1方向における前記活性化光の強度分布の位相を設定する第1位相設定部を備え、
前記制御部は、前記第1位相設定部および前記撮像部を制御して、前記第1方向における前記活性化光の強度分布の位相が異なる複数の第1条件で前記撮像部に撮像させ、
前記画像処理部は、前記複数の第1条件で前記撮像部が撮像して得られる複数の画像を前記第1画像として用いて、前記第2画像を生成する、
請求項1または請求項2に記載の顕微鏡。
A first phase setting unit for setting the phase of the intensity distribution of the activation light in the first direction is provided.
The control unit controls the first phase setting unit and the image pickup unit to cause the image pickup unit to take an image under a plurality of first conditions in which the phases of the intensity distributions of the activation light in the first direction are different.
The image processing unit generates the second image by using a plurality of images obtained by the image pickup unit under the plurality of first conditions as the first image.
The microscope according to claim 1 or 2.
前記第2方向における前記励起光の強度分布の位相を設定する第2位相設定部を備え、
前記制御部は、前記第2位相設定部および前記撮像部を制御して、前記第2方向における前記励起光の強度分布の位相が異なる複数の第2条件で前記撮像部に撮像させ、
前記画像処理部は、前記複数の第2条件で前記撮像部が撮像して得られる複数の画像を前記第1画像として用いて、前記第2画像を生成する、
請求項1から請求項3のいずれか一項に記載の顕微鏡。
A second phase setting unit for setting the phase of the intensity distribution of the excitation light in the second direction is provided.
The control unit controls the second phase setting unit and the image pickup unit to cause the image pickup unit to take an image under a plurality of second conditions in which the phases of the intensity distributions of the excitation light in the second direction are different.
The image processing unit generates the second image by using a plurality of images obtained by the image pickup unit under the plurality of second conditions as the first image.
The microscope according to any one of claims 1 to 3.
前記制御部は、前記第1方向における前記活性化光の強度分布の位相が異なる複数の第1条件で前記活性化光を照射させ、前記第2方向における前記励起光の強度分布の位相が異なる複数の第2条件で前記励起光を照射させる、
請求項1から請求項4のいずれか一項に記載の顕微鏡。
The control unit irradiates the activation light under a plurality of first conditions in which the phases of the intensity distribution of the activation light in the first direction are different, and the phases of the intensity distribution of the excitation light in the second direction are different. Irradiating the excitation light under a plurality of second conditions,
The microscope according to any one of claims 1 to 4.
前記複数の第1条件は、前記第1方向における前記活性化光の強度分布の位相が互いに異なる3つの条件を含む、請求項3又は請求項5に記載の顕微鏡。 The microscope according to claim 3 or 5, wherein the plurality of first conditions include three conditions in which the phases of the intensity distributions of the activated light in the first direction are different from each other. 前記複数の第2条件は、前記第2方向における前記励起光の強度分布の位相が互いに異なる3つの条件を含む、請求項4又は請求項5に記載の顕微鏡。 The microscope according to claim 4 or 5, wherein the plurality of second conditions include three conditions in which the phases of the intensity distributions of the excitation light in the second direction are different from each other. 前記第1方向と前記第2方向とがなす角度は、85°以上95°以下である、
請求項1から請求項7のいずれか一項に記載の顕微鏡。
The angle formed by the first direction and the second direction is 85 ° or more and 95 ° or less.
The microscope according to any one of claims 1 to 7.
前記照射部は、前記活性化光によって活性化した前記蛍光物質を不活性化する不活性化光を前記試料に照射する、
請求項1から請求項8のいずれか一項に記載の顕微鏡。
The irradiation unit irradiates the sample with inactivating light that inactivates the fluorescent substance activated by the activation light.
The microscope according to any one of claims 1 to 8.
前記励起光の波長は、前記活性化光の波長と前記不活性化光の波長とのいずれとも異なり、
前記制御部は、前記活性化光と前記励起光との一方の光の位相を所定値に設定した状態で他方の光の位相を複数の値に順に設定し、前記他方の光の位相が前記複数の値のそれぞれに設定された状態で前記撮像部に撮像を実行させた後に、前記不活性化光を照射させる、
請求項9に記載の顕微鏡。
The wavelength of the excitation light is different from the wavelength of the activation light and the wavelength of the deactivation light.
The control unit sets the phase of the other light to a plurality of values in a state where the phase of one of the activation light and the excitation light is set to a predetermined value, and the phase of the other light is the said. After the imaging unit is made to perform imaging in a state set to each of a plurality of values, the inactivating light is irradiated.
The microscope according to claim 9.
前記励起光の波長は、前記活性化光の波長または前記不活性化光の波長と同じであり、
前記制御部は、前記励起光の位相を変更するたびに前記不活性化光を照射させる、
請求項9に記載の顕微鏡。
The wavelength of the excitation light is the same as the wavelength of the activation light or the wavelength of the deactivation light.
The control unit irradiates the inactivating light each time the phase of the excitation light is changed.
The microscope according to claim 9.
前記画像処理部は、前記第1画像をフーリエ変換して得られる周波数領域の成分のうち前記周波数領域の原点を中心とする点対称な形状の領域の成分を抽出して、前記第2画像を生成する、
請求項1から請求項11のいずれか一項に記載の顕微鏡。
The image processing unit extracts a component of a region having a point-symmetrical shape centered on the origin of the frequency domain from the components of the frequency domain obtained by Fourier transforming the first image, and obtains the second image. Generate,
The microscope according to any one of claims 1 to 11.
蛍光物質を含む試料が配置される試料面上の第1方向において強度が周期的に変化し前記蛍光物質を活性化する活性化光と、前記試料面上で前記第1方向に交差する第2方向において強度が周期的に変化し前記活性化光によって活性化した前記蛍光物質を励起する励起光とを前記試料に照射することと、
前記第1方向における前記活性化光の強度分布を変更することと、
前記第2方向における前記励起光の強度分布を変更することと、
前記活性化光の照射と前記励起光の照射とによって前記試料から放射される蛍光の像を撮像することと、
前記撮像によって得られる第1画像に基づいて、前記第1画像と解像度が異なる第2画像を生成することと、を含む観察方法。
The activation light whose intensity changes periodically in the first direction on the sample surface on which the sample containing the fluorescent substance is placed to activate the fluorescent substance and the second light intersecting the first direction on the sample surface. Irradiating the sample with excitation light that excites the fluorescent substance activated by the activation light whose intensity changes periodically in the direction.
Changing the intensity distribution of the activated light in the first direction and
Changing the intensity distribution of the excitation light in the second direction and
Taking an image of the fluorescence emitted from the sample by the irradiation of the activation light and the irradiation of the excitation light, and
An observation method comprising generating a second image having a resolution different from that of the first image based on the first image obtained by the imaging.
コンピュータに、
蛍光物質を含む試料が配置される試料面上の第1方向において強度が周期的に変化し前記蛍光物質を活性化する活性化光と、前記試料面上で前記第1方向に交差する第2方向において強度が周期的に変化し前記活性化光によって活性化した前記蛍光物質を励起する励起光とを前記試料に照射する制御と、
前記第1方向における前記活性化光の強度分布を変更する制御と、
前記第2方向における前記励起光の強度分布を変更する制御と、
前記活性化光の照射と前記励起光の照射とによって前記試料から放射される蛍光の像を撮像する制御と、を実行させる制御プログラム。
On the computer
The activation light whose intensity changes periodically in the first direction on the sample surface on which the sample containing the fluorescent substance is placed to activate the fluorescent substance and the second light intersecting the first direction on the sample surface. Control of irradiating the sample with excitation light that excites the fluorescent substance activated by the activation light whose intensity changes periodically in the direction.
Control to change the intensity distribution of the activated light in the first direction, and
Control to change the intensity distribution of the excitation light in the second direction, and
A control program for executing control of capturing an image of fluorescence emitted from the sample by irradiation of the activation light and irradiation of the excitation light.
JP2018143686A 2018-07-31 2018-07-31 Microscope, observation method, and control program Active JP7099143B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018143686A JP7099143B2 (en) 2018-07-31 2018-07-31 Microscope, observation method, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018143686A JP7099143B2 (en) 2018-07-31 2018-07-31 Microscope, observation method, and control program

Publications (2)

Publication Number Publication Date
JP2020020929A JP2020020929A (en) 2020-02-06
JP7099143B2 true JP7099143B2 (en) 2022-07-12

Family

ID=69588993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018143686A Active JP7099143B2 (en) 2018-07-31 2018-07-31 Microscope, observation method, and control program

Country Status (1)

Country Link
JP (1) JP7099143B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130286179A1 (en) 2012-04-29 2013-10-31 Periodic Structures, Inc. Apparatus and methods for microscopy having resolution beyond the Abbe limit
JP2014517352A (en) 2011-06-09 2014-07-17 カール ツァイス マイクロスコピー ゲーエムベーハー High resolution luminescence microscopy
WO2016125281A1 (en) 2015-02-05 2016-08-11 株式会社ニコン Structured illumination microscope, observation method, and control program
DE102016007839A1 (en) 2016-06-28 2017-12-28 Horst Wochnowski High-resolution method for microscopy and nanostructuring of substrate surfaces based on the SIM method (Structured Illumination Microscopy)

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014517352A (en) 2011-06-09 2014-07-17 カール ツァイス マイクロスコピー ゲーエムベーハー High resolution luminescence microscopy
US20130286179A1 (en) 2012-04-29 2013-10-31 Periodic Structures, Inc. Apparatus and methods for microscopy having resolution beyond the Abbe limit
WO2016125281A1 (en) 2015-02-05 2016-08-11 株式会社ニコン Structured illumination microscope, observation method, and control program
DE102016007839A1 (en) 2016-06-28 2017-12-28 Horst Wochnowski High-resolution method for microscopy and nanostructuring of substrate surfaces based on the SIM method (Structured Illumination Microscopy)

Also Published As

Publication number Publication date
JP2020020929A (en) 2020-02-06

Similar Documents

Publication Publication Date Title
CN110178069B (en) Microscope apparatus, method and system
JP5738765B2 (en) Improved method and apparatus for microscopy with structured illumination
JP5554965B2 (en) Laser microscope using phase modulation spatial light modulator
US8705172B2 (en) Microscopy method and microscope with enhanced resolution
JP6635052B2 (en) Structured illumination microscope and observation method
US20180048811A1 (en) Patterned-illumination systems adopting a computational illumination
JP5888416B2 (en) Structured illumination microscope
US7619732B2 (en) Method and microscope for high spatial resolution examination of samples
JP6000554B2 (en) Microscope system
JP2016534389A (en) Aperture scanning Fourier typography imaging
WO2015052936A1 (en) Structured illumination microscope device
CN110954523B (en) Two-photon scanning structure light microscopic imaging method and device
JP2004199063A (en) Confocal microscope
US20130100283A1 (en) Image generation device
JP2016133668A (en) Pattern projection device, pattern projection method and phase modulation amount setting method
CN108351503B (en) Image acquisition device, image acquisition method, and spatial light modulation unit
CN108351502A (en) Image capturing device, image acquisition method and spatial light modulation unit
CN107272218B (en) High speed structured light imaging system
JP7099143B2 (en) Microscope, observation method, and control program
Nikolenko et al. A portable laser photostimulation and imaging microscope
Wicker Super-resolution fluorescence microscopy using structured illumination
CN109656028A (en) A kind of system and method generating diffraction light-free
JP2019204002A (en) Microscope, image analysis device, observation method, and analysis program
JPWO2018150471A1 (en) Structured illumination microscope, observation method, and program
WO2017082357A1 (en) Super-resolution microscope

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220613

R150 Certificate of patent or registration of utility model

Ref document number: 7099143

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150