JP7099143B2 - Microscope, observation method, and control program - Google Patents

Microscope, observation method, and control program Download PDF

Info

Publication number
JP7099143B2
JP7099143B2 JP2018143686A JP2018143686A JP7099143B2 JP 7099143 B2 JP7099143 B2 JP 7099143B2 JP 2018143686 A JP2018143686 A JP 2018143686A JP 2018143686 A JP2018143686 A JP 2018143686A JP 7099143 B2 JP7099143 B2 JP 7099143B2
Authority
JP
Japan
Prior art keywords
light
image
phase
excitation light
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018143686A
Other languages
Japanese (ja)
Other versions
JP2020020929A (en
Inventor
勇輝 照井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2018143686A priority Critical patent/JP7099143B2/en
Publication of JP2020020929A publication Critical patent/JP2020020929A/en
Application granted granted Critical
Publication of JP7099143B2 publication Critical patent/JP7099143B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Description

本発明は、顕微鏡、観察方法、及び制御プログラムに関する。 The present invention relates to a microscope, an observation method, and a control program.

構造化照明を用いた顕微鏡が提案されている（例えば、下記の特許文献１参照）。構造化照明は、光学系の分解能を越えた観察を可能とする構造化照明顕微鏡（Structured Illumination Microscopy ; SIM）に用いられる場合がある。構造化照明顕微鏡は、１方向において強度が周期的に変化する照明光（例、縞パターン）が照射された試料を撮像する。構造化照明顕微鏡は、照明光の周期方向を変更して撮像した画像を用いることで、解像度が２方向において向上した画像を生成する。このような技術において、照明光の強度の周期方向を変更しなくても複数の方向（例、２方向）の解像度が撮像画像と異なる画像（例、超解像画像）を取得可能（例、生成可能）であることが望まれる。 A microscope using structured illumination has been proposed (see, for example, Patent Document 1 below). Structured illumination may be used in Structured Illumination Microscopy (SIM), which allows observation beyond the resolution of the optical system. A structured illumination microscope images a sample irradiated with illumination light (eg, a fringe pattern) whose intensity changes periodically in one direction. The structured illumination microscope uses an image captured by changing the periodic direction of the illumination light to generate an image with improved resolution in two directions. In such a technique, it is possible to acquire an image (eg, super-resolution image) having a resolution different from that of the captured image in a plurality of directions (eg, two directions) without changing the periodic direction of the intensity of the illumination light (eg, super-resolution image). It is desirable that it can be generated).

特開２０１４－１０９４９０号公報Japanese Unexamined Patent Publication No. 2014-109490

本発明の第１の態様に従えば、蛍光物質を含む試料が配置される試料面上の第１方向において強度が周期的に変化し蛍光物質を活性化する活性化光と、試料面上で第１方向に交差する第２方向において強度が周期的に変化し活性化光によって活性化した蛍光物質を励起する励起光とを試料に照射する照射部と、第１方向における活性化光の強度分布と、第２方向における励起光の強度分布とを変更する制御部と、活性化光の照射と励起光の照射とによって試料から放射される蛍光の像を撮像する撮像部と、撮像部が撮像して得られる第１画像に基づいて、第１画像と解像度が異なる第２画像を生成する画像処理部と、を備える顕微鏡が提供される。 According to the first aspect of the present invention, activation light whose intensity changes periodically in the first direction on the sample surface on which the sample containing the fluorescent substance is placed to activate the fluorescent substance, and on the sample surface. The irradiation part that irradiates the sample with the excitation light that excites the fluorescent substance activated by the activation light whose intensity changes periodically in the second direction intersecting the first direction, and the intensity of the activation light in the first direction. The control unit that changes the distribution and the intensity distribution of the excitation light in the second direction, the imaging unit that captures the image of the fluorescence emitted from the sample by the irradiation of the activation light and the irradiation of the excitation light, and the imaging unit Provided is a microscope including an image processing unit that generates a second image having a different resolution from the first image based on the first image obtained by imaging.

本発明の第２の態様に従えば、蛍光物質を含む試料が配置される試料面上の第１方向において強度が周期的に変化し蛍光物質を活性化する活性化光と、試料面上で第１方向に交差する第２方向において強度が周期的に変化し活性化光によって活性化した蛍光物質を励起する励起光とを試料に照射することと、第１方向における活性化光の強度分布を変更することと、第２方向における励起光の強度分布を変更することと、活性化光の照射と励起光の照射とによって試料から放射される蛍光の像を撮像することと、撮像によって得られる第１画像に基づいて、第１画像と解像度が異なる第２画像を生成することと、を含む観察方法が提供される。 According to the second aspect of the present invention, activation light whose intensity changes periodically in the first direction on the sample surface on which the sample containing the fluorescent substance is placed to activate the fluorescent substance, and on the sample surface. Irradiating the sample with excitation light that excites the fluorescent substance activated by the activation light whose intensity changes periodically in the second direction intersecting the first direction, and the intensity distribution of the activation light in the first direction. By changing the intensity distribution of the excitation light in the second direction, and by imaging the fluorescence image emitted from the sample by the irradiation of the activation light and the irradiation of the excitation light. An observation method including generating a second image having a different resolution from the first image based on the first image to be obtained is provided.

本発明の第３の態様に従えば、コンピュータに、蛍光物質を含む試料が配置される試料面上の第１方向において強度が周期的に変化し蛍光物質を活性化する活性化光と、試料面上で第１方向に交差する第２方向において強度が周期的に変化し活性化光によって活性化した蛍光物質を励起する励起光とを試料に照射する制御と、第１方向における活性化光の強度分布を変更する制御と、第２方向における励起光の強度分布を変更する制御と、活性化光の照射と励起光の照射とによって試料から放射される蛍光の像を撮像する制御と、を実行させる制御プログラムが提供される。 According to the third aspect of the present invention, the computer comprises activated light whose intensity changes periodically in the first direction on the sample surface on which the sample containing the fluorescent substance is placed to activate the fluorescent substance, and the sample. Control to irradiate the sample with excitation light that excites the fluorescent substance activated by the activation light whose intensity changes periodically in the second direction that intersects the first direction on the surface, and activation light in the first direction. Control to change the intensity distribution of the A control program is provided to execute.

第１実施形態に係る顕微鏡を示す図である。It is a figure which shows the microscope which concerns on 1st Embodiment. 第１実施形態に係る縞パターンおよび強度分布を示す図である。It is a figure which shows the stripe pattern and the intensity distribution which concerns on 1st Embodiment. （Ａ）、（Ｂ）は、それぞれ、第１実施形態に係る顕微鏡における活性化光の光路、励起光の光路を示す図である。(A) and (B) are diagrams showing an optical path of activation light and an optical path of excitation light in the microscope according to the first embodiment, respectively. 第１実施形態に係る活性化光の強度分布の位相を示す図である。It is a figure which shows the phase of the intensity distribution of the activation light which concerns on 1st Embodiment. 第１実施形態に係る励起光の強度分布の位相を示す図である。It is a figure which shows the phase of the intensity distribution of the excitation light which concerns on 1st Embodiment. 第１実施形態に係る画像処理部の処理を示す図である。It is a figure which shows the processing of the image processing part which concerns on 1st Embodiment. 第１実施形態に係る画像処理部の処理の説明に用いる数式である。It is a mathematical formula used for the explanation of the processing of the image processing unit which concerns on 1st Embodiment. 第１実施形態に係る画像処理部の処理の説明に用いる数式である。It is a mathematical formula used for the explanation of the processing of the image processing unit which concerns on 1st Embodiment. 第１実施形態に係る画像処理部の処理の説明に用いる数式である。It is a mathematical formula used for the explanation of the processing of the image processing unit which concerns on 1st Embodiment. 第１実施形態に係る画像処理部の処理、比較例の処理を示す図である。It is a figure which shows the processing of the image processing part and the processing of the comparative example which concerns on 1st Embodiment. 第１実施形態に係る第１方向と第２方向との関係を示す図である。It is a figure which shows the relationship between the 1st direction and the 2nd direction which concerns on 1st Embodiment. 第１実施形態に係る観察方法の第１例を示すフローチャートである。It is a flowchart which shows 1st example of the observation method which concerns on 1st Embodiment. （Ａ）から（Ｃ）は、第１実施形態に係る照明光の照射タイミングおよび撮像タイミングを示すタイミングチャートである。(A) to (C) are timing charts showing the irradiation timing and the imaging timing of the illumination light according to the first embodiment. 第１実施形態に係る観察方法の第２例を示すフローチャートである。It is a flowchart which shows the 2nd example of the observation method which concerns on 1st Embodiment.

［第１実施形態］
第１実施形態について説明する。図１は、第１実施形態に係る顕微鏡を示す図である。顕微鏡１は、蛍光物質で標識（ラベル）された試料Ｓの蛍光観察に利用される。顕微鏡１は、試料Ｓに含まれる蛍光物質が発する蛍光を検出する。試料Ｓは、生きた細胞（ライブセル）を含んでもよいし、ホルムアルデヒド溶液等の組織固定液を用いて固定された細胞を含んでもよく、組織等を含んでもよい。試料Ｓは、観察対象物を保持する保持部材（例、カバーガラス、シャーレ）を含んでもよい。 [First Embodiment]
The first embodiment will be described. FIG. 1 is a diagram showing a microscope according to the first embodiment. The microscope 1 is used for fluorescence observation of the sample S labeled (labeled) with a fluorescent substance. The microscope 1 detects the fluorescence emitted by the fluorescent substance contained in the sample S. The sample S may contain living cells (live cells), cells fixed using a tissue fixative such as a formaldehyde solution, or tissues. The sample S may include a holding member (eg, cover glass, petri dish) for holding the observation object.

蛍光物質は、フォトスイッチャブル プローブ（Ｐｈｏｔｏｓｗｉｔｃｈａｂｌｅ Ｐｒｏｂｅ；ＰＰ）を含む。蛍光物質は、活性化光が照射されることで不活性状態から活性状態に遷移する。蛍光物質は、活性状態において励起光が照射されることによって、基底状態から励起状態に遷移する。蛍光物質は、励起状態において蛍光を発して、基底状態に遷移する。また、蛍光物質は、不活性化光が照射されることによって活性化状態から不活性状態に遷移する。不活性状態において、蛍光物質は、励起光が照射されても励起状態に遷移せず、蛍光を発しない。不活性化光は、励起光と同じ波長である場合もあるし、励起光と異なる波長である場合もある。上記の蛍光物質は、シアニン（ｃｙａｎｉｎｅ）染料等の蛍光色素でもよいし、蛍光タンパク質でもよい。試料Ｓに含まれる蛍光物質の種類は、１種類でもよいし、２種類以上でもよい。 Fluorescent material includes a photoswitchable probe (PP). The fluorescent substance transitions from the inactive state to the active state when it is irradiated with the activating light. The fluorescent substance transitions from the ground state to the excited state by being irradiated with the excited light in the active state. The fluorescent substance emits fluorescence in the excited state and transitions to the ground state. In addition, the fluorescent substance transitions from the activated state to the inactive state when it is irradiated with the inactivating light. In the inert state, the fluorescent substance does not transition to the excited state even when irradiated with the excitation light and does not fluoresce. The deactivating light may have the same wavelength as the excitation light, or may have a different wavelength from the excitation light. The fluorescent substance may be a fluorescent dye such as a cyanine dye or a fluorescent protein. The type of the fluorescent substance contained in the sample S may be one kind or two or more kinds.

顕微鏡１は、ステージ２と、照射部３と、撮像部４と、制御装置５と、表示装置６（表示部）と、記憶装置７（記憶部）とを備える。ステージ２は、試料Ｓを保持する保持面を有する。ステージ２は、例えば、ＸＹステージまたはＸＹＺステージを含む。ステージ２は、試料Ｓを保持した状態で、対物レンズ２８（後述する）に対して可動である。ステージ２は、対物レンズ２８に対して移動しなくてもよい（固定されていてもよい）。 The microscope 1 includes a stage 2, an irradiation unit 3, an image pickup unit 4, a control device 5, a display device 6 (display unit), and a storage device 7 (storage unit). The stage 2 has a holding surface for holding the sample S. Stage 2 includes, for example, an XY stage or an XYZ stage. The stage 2 is movable with respect to the objective lens 28 (described later) while holding the sample S. The stage 2 does not have to move (may be fixed) with respect to the objective lens 28.

照射部３（照明部、照明装置）は、試料Ｓに含まれる蛍光物質を活性化する活性化光Ｌ１を試料Ｓに照射する。活性化光Ｌ１は、試料Ｓが配置される試料面Ｓａ上の第１方向Ｄ１（後に図２に示す）において強度が周期的に変化する。また、照射部３は、活性化光Ｌ１によって活性化した蛍光物質を励起する励起光Ｌ２を試料Ｓに照射する。ここでは、励起光Ｌ２の波長は、活性化光Ｌ１と異なるものとする。励起光Ｌ２の波長は、活性化光Ｌ１の波長と同じでもよい。
励起光Ｌ２は、試料面Ｓａ上で第１方向Ｄ１に交差（例、直交）する第２方向Ｄ２（後に図２に示す）において強度が周期的に変化する。 The irradiation unit 3 (illumination unit, illumination device) irradiates the sample S with the activation light L1 that activates the fluorescent substance contained in the sample S. The intensity of the activation light L1 changes periodically in the first direction D1 (later shown in FIG. 2) on the sample surface Sa on which the sample S is placed. Further, the irradiation unit 3 irradiates the sample S with the excitation light L2 that excites the fluorescent substance activated by the activation light L1. Here, the wavelength of the excitation light L2 is different from that of the activation light L1. The wavelength of the excitation light L2 may be the same as the wavelength of the activation light L1.
The intensity of the excitation light L2 changes periodically in the second direction D2 (later shown in FIG. 2) intersecting (eg, orthogonal to) the first direction D1 on the sample surface Sa.

また、照射部３は、試料Ｓにおいて活性化光Ｌ１が照射された領域に対して、不活性化光Ｌ３を照射する。ここでは、不活性化光Ｌ３の波長が、活性化光Ｌ１の波長および励起光Ｌ２の波長のいずれとも異なるものとする。不活性化光Ｌ３の波長は、励起光Ｌ２の波長と同じでもよい。 Further, the irradiation unit 3 irradiates the region irradiated with the activating light L1 in the sample S with the deactivating light L3. Here, it is assumed that the wavelength of the deactivating light L3 is different from both the wavelength of the activating light L1 and the wavelength of the excitation light L2. The wavelength of the deactivating light L3 may be the same as the wavelength of the excitation light L2.

照射部３は、強度が空間的に均一な不活性化光Ｌ３を試料Ｓに照射する。試料面Ｓａにおける不活性化光Ｌ３の強度分布は均一でなくてもよい。例えば、試料面Ｓａにおける不活性化光Ｌ３の強度分布は、試料Ｓのうち活性化光Ｌ１によって活性化した蛍光物質を選択的に不活性化するように所定の分布（例、活性化光Ｌ１と同じ縞パターン）に設定されてもよい。 The irradiation unit 3 irradiates the sample S with the inactivated light L3 having a spatially uniform intensity. The intensity distribution of the inactivated light L3 on the sample surface Sa does not have to be uniform. For example, the intensity distribution of the inactivated light L3 on the sample surface Sa is a predetermined distribution (eg, the activated light L1) so as to selectively inactivate the fluorescent substance activated by the activated light L1 in the sample S. It may be set to the same stripe pattern).

図２は、第１実施形態に係る縞パターンおよび強度分布を示す図である。図２において、符号ＰＬ１は、試料面Ｓａ（図１参照）における活性化光Ｌ１に相当する縞パターンである。符号ＰＬ２は、試料面Ｓａにおける励起光Ｌ２に相当する縞パターンである。蛍光物質は、活性化光Ｌ１および励起光Ｌ２の双方が照射された場合に、蛍光を発することができる。以下の説明において、適宜、活性化光Ｌ１および励起光Ｌ２の双方を掛けあわせた照明を有効照明という。符号ＰＬは、試料面Ｓａにおける有効照明に相当する縞パターンである。図２の各縞パターンにおいて、相対的に明るい（白い）部分は相対的に強度が高い部分（例、明部）であり、相対的に暗い（黒い）部分は相対的に強度が低い部分（例、暗部）である。 FIG. 2 is a diagram showing a fringe pattern and an intensity distribution according to the first embodiment. In FIG. 2, reference numeral PL1 is a fringe pattern corresponding to the activation light L1 on the sample surface Sa (see FIG. 1). Reference numeral PL2 is a fringe pattern corresponding to the excitation light L2 on the sample surface Sa. The fluorescent substance can emit fluorescence when both the activation light L1 and the excitation light L2 are irradiated. In the following description, illumination in which both activation light L1 and excitation light L2 are appropriately multiplied is referred to as effective illumination. Reference numeral PL is a fringe pattern corresponding to effective illumination on the sample surface Sa. In each stripe pattern of FIG. 2, the relatively bright (white) part is the relatively high intensity part (eg, the bright part), and the relatively dark (black) part is the relatively low intensity part (the relatively low intensity part). For example, the dark part).

図２の符号Ｄ３は、活性化光Ｌ１の縞パターンＰＬ１において強度がほぼ同じ位置を結ぶ線に平行、かつ試料面Ｓａに平行な方向（以下、ライン方向と称する）である。縞パターンＰＬ１のライン方向Ｄ３は、任意の方向に設定される。第１方向Ｄ１は、縞パターンＰＬ１のライン方向Ｄ３に垂直、かつ試料面Ｓａに平行な方向である。また、符号ＤＬ１は、試料面Ｓａ上の第１方向Ｄ１における活性化光Ｌ１の強度分布である。強度分布ＤＬ１は、第１方向Ｄ１の位置（横軸）に対する強度（縦軸）のグラフで表されている。活性化光Ｌ１の縞パターンＰＬ１は、第１方向Ｄ１において強度が周期的に変化する。活性化光Ｌ１の縞パターンＰＬ１の強度は、図２において正弦波状に変化するが、その他の関数形の波状（例、三角波状、矩形波状）に変化してもよい。 Reference numeral D3 in FIG. 2 is a direction parallel to a line connecting positions having substantially the same intensity in the fringe pattern PL1 of the activation light L1 and parallel to the sample surface Sa (hereinafter referred to as a line direction). The line direction D3 of the stripe pattern PL1 is set in any direction. The first direction D1 is a direction perpendicular to the line direction D3 of the stripe pattern PL1 and parallel to the sample surface Sa. Further, reference numeral DL1 is an intensity distribution of the activated light L1 in the first direction D1 on the sample surface Sa. The intensity distribution DL1 is represented by a graph of the intensity (vertical axis) with respect to the position (horizontal axis) of the first direction D1. The intensity of the fringe pattern PL1 of the activation light L1 changes periodically in the first direction D1. The intensity of the fringe pattern PL1 of the activation light L1 changes in a sinusoidal shape in FIG. 2, but may change in other functional wavy shapes (eg, triangular wavy shape, rectangular wavy shape).

図２の符号Ｄ４は、励起光Ｌ２の縞パターンＰＬ２において強度がほぼ同じ位置を結ぶ線に平行、かつ試料面Ｓａに平行な方向（以下、ライン方向と称する）である。励起光Ｌ２の縞パターンＰＬ２のライン方向Ｄ４は、活性化光Ｌ１の縞パターンＰＬ１のライン方向Ｄ３と交差する方向（非平行な方向、異なる方向）に設定される。ライン方向Ｄ４は、ライン方向Ｄ３と交差するという条件下で、任意に設定される。第２方向Ｄ２は、縞パターンＰＬ２のライン方向Ｄ４に垂直、かつ試料面Ｓａに平行な方向である。第２方向Ｄ２は、例えば、第１方向Ｄ１に垂直な方向に設定される。第１方向Ｄ１と第２方向Ｄ２とがなす角度は、例えば９０°に設定される。第１方向Ｄ１と第２方向Ｄ２とがなす角度は、９０°以外の角度に設定されてもよい（後に図１０で説明する）。 Reference numeral D4 in FIG. 2 is a direction parallel to a line connecting positions having substantially the same intensity in the fringe pattern PL2 of the excitation light L2 and parallel to the sample surface Sa (hereinafter referred to as a line direction). The line direction D4 of the fringe pattern PL2 of the excitation light L2 is set in a direction (non-parallel direction, different direction) intersecting with the line direction D3 of the fringe pattern PL1 of the activation light L1. The line direction D4 is arbitrarily set under the condition that it intersects the line direction D3. The second direction D2 is a direction perpendicular to the line direction D4 of the stripe pattern PL2 and parallel to the sample surface Sa. The second direction D2 is set, for example, in a direction perpendicular to the first direction D1. The angle formed by the first direction D1 and the second direction D2 is set to, for example, 90 °. The angle formed by the first direction D1 and the second direction D2 may be set to an angle other than 90 ° (described later with reference to FIG. 10).

図２の符号ＤＬ２は、試料面Ｓａ上の第２方向Ｄ２における励起光Ｌ２の強度分布である。強度分布ＤＬ２は、第２方向Ｄ２の位置（横軸）に対する強度（縦軸）のグラフで表されている。励起光Ｌ２の縞パターンＰＬ２は、第２方向Ｄ２において強度が周期的に変化する。励起光Ｌ２の縞パターンＰＬ２の強度は、図２において正弦波状に変化するが、その他の関数形の波状（例、三角波状、矩形波状）に変化してもよい。 Reference numeral DL2 in FIG. 2 is an intensity distribution of the excitation light L2 in the second direction D2 on the sample surface Sa. The intensity distribution DL2 is represented by a graph of the intensity (vertical axis) with respect to the position (horizontal axis) of the second direction D2. The intensity of the fringe pattern PL2 of the excitation light L2 changes periodically in the second direction D2. The intensity of the fringe pattern PL2 of the excitation light L2 changes in a sinusoidal shape in FIG. 2, but may change in other functional wavy shapes (eg, triangular wavy shape, rectangular wavy shape).

有効照明の縞パターンＰＬは、活性化光Ｌ１の縞パターンＰＬ１と励起光Ｌ２の縞パターンＰＬ２とを掛け合わせた縞パターンに相当する。縞パターンＰＬにおいて、明るい部分に蛍光物質が存在する場合、暗い部分に蛍光物質が存在する場合と比較して、発生する蛍光の強度が強い。縞パターンＰＬの強度は、第１方向Ｄ１において周期的に変化し、かつ第２方向Ｄ２において周期的に変化する。縞パターンＰＬにおいて強度が極小となる点は、第１方向Ｄ１において一定の間隔で配置され、かつ第２方向Ｄ２において一定の間隔で配置される。縞パターンＰＬ３において強度が極小となる点は、直交格子における格子点のように二次元的に配置される。 The fringe pattern PL of the effective illumination corresponds to a fringe pattern obtained by multiplying the fringe pattern PL1 of the activation light L1 and the fringe pattern PL2 of the excitation light L2. In the fringe pattern PL, when the fluorescent substance is present in the bright portion, the intensity of the generated fluorescence is stronger than in the case where the fluorescent substance is present in the dark portion. The intensity of the fringe pattern PL changes periodically in the first direction D1 and changes periodically in the second direction D2. The points at which the intensity becomes the minimum in the fringe pattern PL are arranged at regular intervals in the first direction D1 and at regular intervals in the second direction D2. The points at which the intensity becomes the minimum in the fringe pattern PL3 are arranged two-dimensionally like the grid points in the orthogonal grid.

図１の説明に戻り、照射部３は、第１光源ＬＳ１と、第２光源ＬＳ２と、第３光源ＬＳ３と、照明光学系１１とを備える。第１光源ＬＳ１は、活性化光Ｌ１を発する。第１光源ＬＳ１は、例えばレーザダイオード（ＬＤ）あるいは発光ダイオード（ＬＥＤ）などの固体光源を含む。第２光源ＬＳ２は、励起光Ｌ２を発する。第２光源ＬＳ２は、例えばレーザダイオード（ＬＤ）あるいは発光ダイオード（ＬＥＤ）などの固体光源を含む。第３光源ＬＳ３は、不活性化光Ｌ３を発する。第３光源ＬＳ３は、例えばレーザダイオード（ＬＤ）あるいは発光ダイオード（ＬＥＤ）などの固体光源を含む。 Returning to the description of FIG. 1, the irradiation unit 3 includes a first light source LS1, a second light source LS2, a third light source LS3, and an illumination optical system 11. The first light source LS1 emits activation light L1. The first light source LS1 includes a solid-state light source such as a laser diode (LD) or a light emitting diode (LED). The second light source LS2 emits the excitation light L2. The second light source LS2 includes a solid light source such as a laser diode (LD) or a light emitting diode (LED). The third light source LS3 emits the inactivating light L3. The third light source LS3 includes a solid light source such as a laser diode (LD) or a light emitting diode (LED).

活性化光Ｌ１の波長、励起光Ｌ２の波長、及び不活性化光Ｌ３の波長は、それぞれ、蛍光物質の種類によって予め定まっている。本実施形態において、不活性化光Ｌ３の波長は、活性化光Ｌ１の波長と励起光Ｌ２の波長とのいずれとも異なる。不活性化光Ｌ３の波長は、励起光Ｌ２の波長と同じでもよい。 The wavelength of the activating light L1, the wavelength of the excitation light L2, and the wavelength of the deactivating light L3 are each predetermined depending on the type of the fluorescent substance. In the present embodiment, the wavelength of the deactivating light L3 is different from the wavelength of the activating light L1 and the wavelength of the excitation light L2. The wavelength of the deactivating light L3 may be the same as the wavelength of the excitation light L2.

照明光学系１１は、第１光源ＬＳ１から発せられた活性化光Ｌ１を試料Ｓに照射する。また、照明光学系１１は、第２光源ＬＳ２から発せられた励起光Ｌ２を試料Ｓに照射する。また、照明光学系１１は、第３光源ＬＳ３から発せられた不活性化光Ｌ３を試料Ｓに照射する。照明光学系１１は、例えば、球面レンズ、非球面レンズなどの回転対称な形状の光学部材（例、レンズ部材）を含む。以下の説明において、適宜、照明光学系１１に含まれる光学部材の回転対称軸を、照明光学系１１の光軸１１ａという。なお、照明光学系１１は、自由曲面レンズを含んでいてもよい。 The illumination optical system 11 irradiates the sample S with the activation light L1 emitted from the first light source LS1. Further, the illumination optical system 11 irradiates the sample S with the excitation light L2 emitted from the second light source LS2. Further, the illumination optical system 11 irradiates the sample S with the inactivating light L3 emitted from the third light source LS3. The illumination optical system 11 includes, for example, an optical member having a rotationally symmetric shape (eg, a lens member) such as a spherical lens or an aspherical lens. In the following description, the axis of rotational symmetry of the optical member included in the illumination optical system 11 is appropriately referred to as the optical axis 11a of the illumination optical system 11. The illumination optical system 11 may include a free-form surface lens.

以下の説明において、適宜、図３（Ａ）および図３（Ｂ）を参照する。図３（Ａ）および図３（Ｂ）は、それぞれ、実施形態に係る顕微鏡における活性化光の光路、励起光の光路を示す図である。図１において、励起光Ｌ２の光路はダイクロイックミラー１６で折れ曲がるが、図３（Ｂ）では、照明光学系１１の光軸１１ａが直線になるように光路を展開して図示した。図３（Ａ）および図３（Ｂ）に示すＸＹＺ直交座標系において、Ｚ方向は、照明光学系１１の光軸１１ａに平行な方向である。また、Ｘ方向は、Ｚ方向に垂直な方向であり、図２の第１方向Ｄ１に対応する方向である。また、Ｙ方向は、Ｚ方向に垂直な方向であり、図２の第２方向Ｄ２に対応する方向である。図３（Ａ）はＹ方向から平面視した活性化光Ｌ１の光路図であり、図３（Ｂ）はＸ方向から平面視した励起光Ｌ２の光路図である。図３（Ａ）および図３（Ｂ）では、＋１次回折光および－１次回折光を点線で表し、０次回折光を実線で表した。 In the following description, FIGS. 3 (A) and 3 (B) will be referred to as appropriate. 3A and 3B are diagrams showing an optical path of activation light and an optical path of excitation light in the microscope according to the embodiment, respectively. In FIG. 1, the optical path of the excitation light L2 is bent by the dichroic mirror 16, but in FIG. 3B, the optical path is developed so that the optical axis 11a of the illumination optical system 11 becomes a straight line. In the XYZ Cartesian coordinate system shown in FIGS. 3A and 3B, the Z direction is a direction parallel to the optical axis 11a of the illumination optical system 11. Further, the X direction is a direction perpendicular to the Z direction and corresponds to the first direction D1 in FIG. Further, the Y direction is a direction perpendicular to the Z direction and corresponds to the second direction D2 in FIG. FIG. 3A is an optical path diagram of the activated light L1 viewed in a plan view from the Y direction, and FIG. 3B is an optical path diagram of the excitation light L2 viewed in a plan view from the X direction. In FIGS. 3A and 3B, the +1st-order diffracted light and the -1st-order diffracted light are represented by dotted lines, and the 0th-order diffracted light is represented by a solid line.

照明光学系１１は、第１光源ＬＳ１の光出射側に、レンズ１２および分岐部１３を備える。レンズ１２は、例えばコリメータであり、第１光源ＬＳ１から出射した活性化光Ｌ１をほぼ平行光に変換する。分岐部１３は、縞パターンＰＬ１（図２参照）の生成に利用される。分岐部１３は、活性化光Ｌ１を複数の光束に分岐させる。例えば、分岐部１３は、活性化光Ｌ１を回折によって複数の光束（例、回折光）に分岐させる。ここでは、分岐部１３が回折格子（適宜、符号１３で表す）であるものとして説明する。なお、分岐部１３は、回折格子の代わりに空間光変調器（ＳＬＭ）を用いるものでもよい。 The illumination optical system 11 includes a lens 12 and a branch portion 13 on the light emitting side of the first light source LS1. The lens 12 is, for example, a collimator, and converts the activated light L1 emitted from the first light source LS1 into substantially parallel light. The branch portion 13 is used to generate the striped pattern PL1 (see FIG. 2). The branching portion 13 branches the activated light L1 into a plurality of luminous fluxes. For example, the branching portion 13 branches the activated light L1 into a plurality of luminous fluxes (eg, diffracted light) by diffraction. Here, it is assumed that the branch portion 13 is a diffraction grating (appropriately represented by reference numeral 13). The branch portion 13 may use a spatial light modulator (SLM) instead of the diffraction grating.

照明光学系１１は、活性化光Ｌ１を回折格子１３によって複数の回折光に分岐させ、複数の回折光の干渉により形成される縞パターンＰＬ１（干渉縞）で試料Ｓを照明する。照明光学系１１は、例えば、複数の回折光のうち２つの光束の干渉（２光束干渉）によって縞パターンＰＬ１を形成する。照明光学系１１は、干渉する２つの光束の相対的な位相を変えることで、活性化光Ｌ１の強度分布（例、縞パターンＰＬ１の位相）を変更可能である。照明光学系１１は、干渉する２つの光束の光路長を相対的に変えることで、これら２つの光束の相対的な位相を変えることができる。例えば、照明光学系１１は、干渉する２つの光束の光路のうち一方の光路に位相板を配置して該２つの光束の光路長を相対的に変えることによって、これら２つの光束の相対的な位相を変える。 The illumination optical system 11 branches the activated light L1 into a plurality of diffracted lights by the diffraction grating 13, and illuminates the sample S with the fringe pattern PL1 (interference fringes) formed by the interference of the plurality of diffracted lights. The illumination optical system 11 forms the fringe pattern PL1 by, for example, the interference of two light fluxes (two light flux interferences) among the plurality of diffracted lights. The illumination optical system 11 can change the intensity distribution of the activated light L1 (eg, the phase of the fringe pattern PL1) by changing the relative phases of the two interfering light fluxes. The illumination optical system 11 can change the relative phases of these two light fluxes by relatively changing the optical path lengths of the two light fluxes that interfere with each other. For example, the illumination optical system 11 arranges a phase plate in one of the optical paths of two interfering light fluxes and changes the optical path lengths of the two light beams relative to each other. Change the phase.

なお、照明光学系１１は、回折格子１３を、照明光学系１１の光軸と交差（例、直交）する方向に移動させることで、活性化光Ｌ１の強度分布（例、縞パターンＰＬ１の位相）を変更する構成でもよい。また、分岐部１３として空間光変調器を用いる場合、照明光学系１１は、空間光変調器における屈折率の分布を変更することで、活性化光L１の強度分布（例、縞パターンＰＬ１の位相）を変更する構成でもよい。 The illumination optical system 11 moves the diffraction grating 13 in a direction intersecting (eg, orthogonal to) the optical axis of the illumination optical system 11 to increase the intensity distribution of the activated light L1 (eg, the phase of the fringe pattern PL1). ) May be changed. Further, when the spatial light modulator is used as the branch portion 13, the illumination optical system 11 changes the distribution of the refractive index in the spatial light modulator to change the intensity distribution of the activated light L1 (eg, the phase of the fringe pattern PL1). ) May be changed.

回折格子１３（図３（Ａ）参照）は、第１方向Ｄ１に対応するＸ方向において構造が周期的に変化する。回折格子１３は、照明光学系１１の光軸１１ａに交差する方向を含む面内（例、交差面）に、例えば１次元の周期構造を有する。この周期構造は、濃度（又は透過率）が周期的に変化する構造であってもよいし、段差（又は位相差）が周期的に変化する構造であってもよい。回折格子１３が位相型である場合、±１次回折光の回折効率が高く、縞パターンの形成に±１次回折光を用いる場合に光量のロスを低減することができる。回折格子１３は、試料面Ｓａと光学的に共役な位置ＦＶ１（例、視野共役位置）に配置される。回折格子１３は、縞パターンのコントラスト値が許容される範囲内で、位置ＦＶ１からずれた位置（視野共役位置の近傍）に配置されてもよい。 The structure of the diffraction grating 13 (see FIG. 3A) changes periodically in the X direction corresponding to the first direction D1. The diffraction grating 13 has, for example, a one-dimensional periodic structure in a plane (eg, an intersecting plane) including a direction intersecting the optical axis 11a of the illumination optical system 11. This periodic structure may be a structure in which the concentration (or transmittance) changes periodically, or a structure in which the step (or phase difference) changes periodically. When the diffraction grating 13 is a phase type, the diffraction efficiency of the ± 1st-order diffracted light is high, and when the ± 1st-order diffracted light is used for forming the fringe pattern, the loss of light amount can be reduced. The diffraction grating 13 is arranged at a position FV1 (eg, a field conjugate position) optically conjugate with the sample surface Sa. The diffraction grating 13 may be arranged at a position deviated from the position FV1 (near the visual field conjugate position) within a range in which the contrast value of the fringe pattern is allowed.

また、照明光学系１１は、第２光源ＬＳ２の光出射側に、レンズ１４および分岐部１５を備える。レンズ１４は、例えばコリメータであり、第２光源ＬＳ２から出射した励起光Ｌ２をほぼ平行光に変換する。分岐部１５は、縞パターンＰＬ２（図２参照）の生成に利用される。分岐部１５は、励起光Ｌ２を複数の光束に分岐させる。例えば、分岐部１５は、励起光Ｌ２を回折によって複数の光束（例、回折光）に分岐させる。ここでは、分岐部１５が回折格子（適宜、符号１５で表す）であるものとして説明する。なお、分岐部１５は、回折格子の代わりに空間光変調器（ＳＬＭ）を用いるものでもよい。 Further, the illumination optical system 11 includes a lens 14 and a branch portion 15 on the light emitting side of the second light source LS2. The lens 14 is, for example, a collimator, and converts the excitation light L2 emitted from the second light source LS2 into substantially parallel light. The branch portion 15 is used to generate the striped pattern PL2 (see FIG. 2). The branching portion 15 branches the excitation light L2 into a plurality of luminous fluxes. For example, the branching portion 15 branches the excitation light L2 into a plurality of luminous fluxes (eg, diffracted light) by diffraction. Here, it is assumed that the branch portion 15 is a diffraction grating (appropriately represented by reference numeral 15). The branch portion 15 may use a spatial light modulator (SLM) instead of the diffraction grating.

照明光学系１１は、励起光Ｌ２を回折格子１５によって複数の回折光に分岐させ、複数の回折光の干渉により形成される縞パターンＰＬ２（干渉縞）で試料Ｓを照明する。照明光学系１１は、例えば、複数の回折光のうち２つの光束の干渉（２光束干渉）によって縞パターンＰＬ２を形成する。照明光学系１１は、干渉する２つの光束の相対的な位相を変えることで、励起光Ｌ２の強度分布（例、縞パターンＰＬ２の位相）を変更可能である。上記同様に、照明光学系１１は、干渉する２つの光束の光路長を相対的に変えることで、これら２つの光束の相対的な位相を変えることができる。 The illumination optical system 11 branches the excitation light L2 into a plurality of diffracted lights by the diffraction grating 15, and illuminates the sample S with the fringe pattern PL2 (interference fringes) formed by the interference of the plurality of diffracted lights. The illumination optical system 11 forms the fringe pattern PL2 by, for example, the interference of two light fluxes (two light flux interferences) among the plurality of diffracted lights. The illumination optical system 11 can change the intensity distribution of the excitation light L2 (eg, the phase of the fringe pattern PL2) by changing the relative phases of the two interfering light fluxes. Similarly to the above, the illumination optical system 11 can change the relative phases of these two light fluxes by relatively changing the optical path lengths of the two light fluxes that interfere with each other.

なお、照明光学系１１は、回折格子１５を、照明光学系１１の光軸と交差（例、直交）する方向に移動させることで、励起光Ｌ２の強度分布（例、縞パターンＰＬ２の位相）を変更する構成でもよい。また、分岐部１５として空間光変調器を用いる場合、照明光学系１１は、空間光変調器における屈折率の分布を変更することで、励起光Ｌ２の強度分布（例、縞パターンＰＬ２の位相）を変更する構成でもよい。 The illumination optical system 11 moves the diffraction grating 15 in a direction intersecting (eg, orthogonal to) the optical axis of the illumination optical system 11 to distribute the intensity of the excitation light L2 (eg, the phase of the fringe pattern PL2). It may be configured to change. When a spatial light modulator is used as the branch portion 15, the illumination optical system 11 changes the distribution of the refractive index in the spatial light modulator to increase the intensity distribution of the excitation light L2 (eg, the phase of the fringe pattern PL2). It may be configured to change.

回折格子１５（図３（Ｂ）参照）は、第２方向Ｄ２に対応するＹ方向において構造が周期的に変化する。回折格子１５は、照明光学系１１の光軸１１ａに交差する面内に、例えば１次元の周期構造を有する。この周期構造は、濃度（又は透過率）が周期的に変化する構造であってもよいし、段差（又は位相差）が周期的に変化する構造であってもよい。回折格子１５が位相型である場合、±１次回折光の回折効率が高く、縞パターンの形成に±１次回折光を用いる場合に光量のロスを低減することができる。回折格子１５は、試料面Ｓａと光学的に共役な位置ＦＶ２（例、視野共役位置）に配置される。回折格子１５は、縞パターンのコントラスト値が許容される範囲内で、位置ＦＶ２からずれた位置（例、視野共役位置の近傍）に配置されてもよい。 The structure of the diffraction grating 15 (see FIG. 3B) changes periodically in the Y direction corresponding to the second direction D2. The diffraction grating 15 has, for example, a one-dimensional periodic structure in a plane intersecting the optical axis 11a of the illumination optical system 11. This periodic structure may be a structure in which the concentration (or transmittance) changes periodically, or a structure in which the step (or phase difference) changes periodically. When the diffraction grating 15 is a phase type, the diffraction efficiency of the ± 1st-order diffracted light is high, and when the ± 1st-order diffracted light is used for forming the fringe pattern, the loss of the amount of light can be reduced. The diffraction grating 15 is arranged at a position FV2 (eg, a field conjugate position) optically conjugate with the sample surface Sa. The diffraction grating 15 may be arranged at a position deviated from the position FV2 (eg, in the vicinity of the visual field conjugate position) within a range in which the contrast value of the fringe pattern is allowed.

照明光学系１１は、活性化光Ｌ１と励起光Ｌ２とを試料Ｓへ導くダイクロイックミラー１６を備える。ダイクロイックミラー１６は、回折格子１３から出射した活性化光Ｌ１が入射し、かつ回折格子１５から出射した励起光Ｌ２が入射する位置に配置される。ダイクロイックミラー１６は、活性化光Ｌ１が透過し、励起光Ｌ２が反射する特性を有する。活性化光Ｌ１は、ダイクロイックミラー１６を透過して試料Ｓへ向かう。励起光Ｌ２は、ダイクロイックミラー１６で反射して試料Ｓへ向かう。 The illumination optical system 11 includes a dichroic mirror 16 that guides the activation light L1 and the excitation light L2 to the sample S. The dichroic mirror 16 is arranged at a position where the activation light L1 emitted from the diffraction grating 13 is incident and the excitation light L2 emitted from the diffraction grating 15 is incident. The dichroic mirror 16 has a property that the activation light L1 is transmitted and the excitation light L2 is reflected. The activation light L1 passes through the dichroic mirror 16 and heads toward the sample S. The excitation light L2 is reflected by the dichroic mirror 16 and heads toward the sample S.

照明光学系１１は、ダイクロイックミラー１６から試料Ｓに向かう順に、レンズ２１、マスク２２、レンズ２３、照野絞り２４、レンズ２５、フィルタ２６、ダイクロイックミラー２７、及び対物レンズ２８を含む。 The illumination optical system 11 includes a lens 21, a mask 22, a lens 23, a Teruno diaphragm 24, a lens 25, a filter 26, a dichroic mirror 27, and an objective lens 28 in the order from the dichroic mirror 16 toward the sample S.

ダイクロイックミラー１６から出射した活性化光Ｌ１および励起光Ｌ２は、レンズ２１に入射する。レンズ２１は、第１光源ＬＳ１と同じ側の焦点面が回折格子１３と同じ位置またはその近傍の位置になるように、配置される。レンズ２１は、例えば、第２光源ＬＳ２と同じ側の焦点面が回折格子１５と同じ位置またはその近傍の位置になるように、配置される。レンズ２１は、例えば、試料Ｓと同じ側の焦点面が瞳共役面Ｐ１と一致するように配置される。瞳共役面Ｐ１は、対物レンズ２８の瞳面Ｐ０と光学的に共役な面である。 The activation light L1 and the excitation light L2 emitted from the dichroic mirror 16 are incident on the lens 21. The lens 21 is arranged so that the focal plane on the same side as the first light source LS1 is at the same position as or near the diffraction grating 13. The lens 21 is arranged so that, for example, the focal plane on the same side as the second light source LS2 is at the same position as or near the diffraction grating 15. The lens 21 is arranged, for example, so that the focal plane on the same side as the sample S coincides with the pupil conjugate plane P1. The pupil conjugate surface P1 is a surface optically conjugate with the pupil surface P0 of the objective lens 28.

マスク２２は、縞パターンＰＬ１の形成に使われる回折光を通し、縞パターンＰＬ１の形成に使われない回折光を遮る。本実施形態において、縞パターンＰＬ１の形成に使われる回折光は、回折格子１３で回折した活性化光Ｌ１の１次回折光（＋１次回折光、－１次回折光）である。また、本実施形態において、縞パターンＰＬ１の形成に使われない回折光は、回折格子１３で回折した活性化光Ｌ１の０次回折光および２次以上の回折光である。 The mask 22 passes the diffracted light used for forming the fringe pattern PL1 and blocks the diffracted light not used for forming the fringe pattern PL1. In the present embodiment, the diffracted light used for forming the fringe pattern PL1 is the first-order diffracted light (+1st-order diffracted light, -1st-order diffracted light) of the activated light L1 diffracted by the diffraction grating 13. Further, in the present embodiment, the diffracted light not used for forming the fringe pattern PL1 is the 0th-order diffracted light of the activated light L1 diffracted by the diffraction grating 13 and the second-order or higher diffracted light.

また、マスク２２は、縞パターンＰＬ２の形成に使われる回折光を通し、縞パターンＰＬ２の形成に使われない回折光を遮る。本実施形態において、縞パターンＰＬ２の形成に使われる回折光は、回折格子１５で回折した励起光Ｌ２の１次回折光（＋１次回折光、－１次回折光）である。また、本実施形態において、縞パターンＰＬ２の形成に使われない回折光は、回折格子１５で回折した励起光Ｌ２の０次回折光および２次以上の回折光である。 Further, the mask 22 passes the diffracted light used for forming the fringe pattern PL2 and blocks the diffracted light not used for forming the fringe pattern PL2. In the present embodiment, the diffracted light used for forming the fringe pattern PL2 is the first-order diffracted light (+1st-order diffracted light, -1st-order diffracted light) of the excitation light L2 diffracted by the diffraction grating 15. Further, in the present embodiment, the diffracted light not used for forming the fringe pattern PL2 is the 0th-order diffracted light of the excitation light L2 diffracted by the diffraction grating 15 and the second-order or higher diffracted light.

マスク２２は、活性化光Ｌ１および励起光Ｌ２のそれぞれについて、１次回折光を通し、０次回折光および２次以上の回折光を遮断する。マスク２２は、１次回折光の光路が他の回折光と空間的に分離する位置、例えば瞳共役面Ｐ１またはその近傍に配置される。マスク２２において、０次回折光が入射する部分は遮光部であり、１次回折光が入射する部分は開口部（透過部）である。 The mask 22 passes the primary diffracted light through each of the activation light L1 and the excitation light L2, and blocks the 0th-order diffracted light and the second-order or higher diffracted light. The mask 22 is arranged at a position where the optical path of the primary diffracted light is spatially separated from other diffracted light, for example, at or near the pupil conjugate surface P1. In the mask 22, the portion where the 0th-order diffracted light is incident is a light-shielding portion, and the portion where the 1st-order diffracted light is incident is an opening portion (transmitted portion).

マスク２２（図３（Ａ）、図３（Ｂ）参照）は、開口２２ａから開口２２ｄを有する。開口２２ａと開口２２ｂ（図３（Ａ）参照）とは、活性化光Ｌ１の１次回折光が入射する位置に配置される。開口２２ａと開口２２ｂとは、第１方向Ｄ１（図２参照）に対応するＸ方向に並んでいる。開口２２ａと開口２２ｂとは、活性化光Ｌ１が透過する透過部である。マスク２２において開口２２ａの周囲および開口２２ｂの周囲の部分は、活性化光Ｌ１を遮光する遮光部である。 The mask 22 (see FIGS. 3A and 3B) has openings 22a through 22d. The opening 22a and the opening 22b (see FIG. 3A) are arranged at positions where the primary diffracted light of the activation light L1 is incident. The opening 22a and the opening 22b are arranged in the X direction corresponding to the first direction D1 (see FIG. 2). The opening 22a and the opening 22b are transmission portions through which the activation light L1 is transmitted. In the mask 22, the peripheral portion of the opening 22a and the peripheral portion of the opening 22b are light-shielding portions that shield the activation light L1.

また、開口２２ｃと開口２２ｄ（図３（Ｂ）参照）とは、励起光Ｌ２の１次回折光が入射する位置に配置される。開口２２ｃと開口２２ｄとは、第２方向Ｄ２（図２参照）に対応するＹ方向に並んでいる。開口２２ｃと開口２２ｄとは、励起光Ｌ２が透過する透過部である。マスク２２において開口２２ｃの周囲および開口２２ｄの周囲の部分は、励起光Ｌ２を遮光する遮光部である。 Further, the opening 22c and the opening 22d (see FIG. 3B) are arranged at positions where the first-order diffracted light of the excitation light L2 is incident. The opening 22c and the opening 22d are arranged in the Y direction corresponding to the second direction D2 (see FIG. 2). The opening 22c and the opening 22d are transmission portions through which the excitation light L2 is transmitted. In the mask 22, the peripheral portion of the opening 22c and the peripheral portion of the opening 22d are light-shielding portions that shield the excitation light L2.

マスク２２を通った活性化光Ｌ１および励起光Ｌ２は、レンズ２３に入射する。レンズ２３は、第１光源ＬＳ１と反対側（試料Ｓと同じ側）の焦点面２３ａが回折格子１３と光学的に共役な位置またはその近傍の位置になるように、配置される。レンズ２３は、第２光源ＬＳ２と反対側（試料Ｓと同じ側）の焦点面２３ａが回折格子１５と光学的に共役な位置またはその近傍の位置になるように、配置される。 The activation light L1 and the excitation light L2 that have passed through the mask 22 are incident on the lens 23. The lens 23 is arranged so that the focal plane 23a on the side opposite to the first light source LS1 (the same side as the sample S) is at or near the position optically conjugate with the diffraction grating 13. The lens 23 is arranged so that the focal plane 23a on the side opposite to the second light source LS2 (the same side as the sample S) is at or near the position optically conjugate with the diffraction grating 15.

図３（Ａ）および図３（Ｂ）において、符号ＦＶ３は、図１の試料面Ｓａと光学的に共役な面（例、レンズ２３の焦点面２３ａ）である。また、図３（Ａ）の符号ＰＬ１ａは、面ＦＶ３における活性化光Ｌ１の強度分布（縞パターン）である。強度分布ＰＬ１ａは、図２の第１方向Ｄ１に対応するＸ方向において強度が周期的に変化する分布である。図３（Ｂ）において、符号ＰＬ２ａは、面ＦＶ３における励起光Ｌ２の強度分布（縞パターン）である。強度分布ＰＬ２ａは、図２の第２方向Ｄ２に対応するＹ方向において強度が周期的に変化する分布である。 In FIGS. 3A and 3B, reference numeral FV3 is a plane optically conjugate with the sample plane Sa of FIG. 1 (eg, the focal plane 23a of the lens 23). Further, reference numeral PL1a in FIG. 3A is an intensity distribution (striped pattern) of the activated light L1 on the surface FV3. The intensity distribution PL1a is a distribution in which the intensity changes periodically in the X direction corresponding to the first direction D1 in FIG. In FIG. 3B, reference numeral PL2a is an intensity distribution (striped pattern) of the excitation light L2 on the surface FV3. The intensity distribution PL2a is a distribution in which the intensity changes periodically in the Y direction corresponding to the second direction D2 in FIG.

図１の説明に戻り、照明光学系１１は、第３光源ＬＳ３の光出射側に、レンズ１７およびダイクロイックミラー１８を備える。レンズ１７は、例えばコリメータであり、第３光源ＬＳ３から出射した不活性化光Ｌ３をほぼ平行光に変換する。レンズ１７を通った不活性化光Ｌ３は、ダイクロイックミラー１８に入射する。本実施形態において、ダイクロイックミラー１８は、活性化光Ｌ１が入射し、かつ励起光Ｌ２が入射する位置に配置される。ダイクロイックミラー１８は、活性化光Ｌ１および励起光Ｌ２が透過し、不活性化光Ｌ３が反射する特性である。 Returning to the description of FIG. 1, the illumination optical system 11 includes a lens 17 and a dichroic mirror 18 on the light emitting side of the third light source LS3. The lens 17 is, for example, a collimator, and converts the inactivated light L3 emitted from the third light source LS3 into substantially parallel light. The inactivated light L3 that has passed through the lens 17 is incident on the dichroic mirror 18. In the present embodiment, the dichroic mirror 18 is arranged at a position where the activation light L1 is incident and the excitation light L2 is incident. The dichroic mirror 18 has a characteristic that the activation light L1 and the excitation light L2 are transmitted and the deactivation light L3 is reflected.

ダイクロイックミラー１８は、例えば、マスク２２と試料Ｓとの間の光路に配置される。ダイクロイックミラー１８は、例えば、第３光源ＬＳ３と照野絞り２４（後述する）との間の光路に配置される。本実施形態において、ダイクロイックミラー１８は、レンズ２３と照野絞り２４との間の光路に配置される。レンズ２３を通った活性化光Ｌ１および励起光Ｌ２は、ダイクロイックミラー１８を透過して照野絞り２４へ向かう。レンズ１７を通った不活性化光Ｌ３は、ダイクロイックミラー１８で反射して照野絞り２４へ向かう。 The dichroic mirror 18 is arranged, for example, in the optical path between the mask 22 and the sample S. The dichroic mirror 18 is arranged, for example, in the optical path between the third light source LS3 and the Teruno diaphragm 24 (described later). In the present embodiment, the dichroic mirror 18 is arranged in the optical path between the lens 23 and the Teruno diaphragm 24. The activation light L1 and the excitation light L2 that have passed through the lens 23 pass through the dichroic mirror 18 and head toward the Teruno diaphragm 24. The inactivated light L3 that has passed through the lens 17 is reflected by the dichroic mirror 18 and heads toward the Teruno diaphragm 24.

照野絞り２４は、レンズ２３の焦点面２３ａまたはその近傍に配置される。照野絞り２４は、照明光学系１１の光軸１１ａに垂直な面内において、照明光学系１１から試料Ｓに照明光（活性化光Ｌ１、励起光Ｌ２、不活性化光Ｌ３）が照射される範囲（照野、照明領域）を規定する。なお、顕微鏡１は、照野絞り２４を備えなくてもよい。照野絞り２４を通った活性化光Ｌ１および励起光Ｌ２は、レンズ２５に入射する。レンズ２５は、例えば、その試料Ｓと同じ側の焦点面が瞳面Ｐ０の位置になるように、配置される。 The Teruno diaphragm 24 is arranged at or near the focal plane 23a of the lens 23. The illumination optical system 11 irradiates the sample S with illumination light (activation light L1, excitation light L2, inactivation light L3) in the plane perpendicular to the optical axis 11a of the illumination optical system 11. Specify the range (illumination area, illumination area). The microscope 1 does not have to be provided with the Teruno diaphragm 24. The activation light L1 and the excitation light L2 that have passed through the Teruno diaphragm 24 are incident on the lens 25. The lens 25 is arranged, for example, so that the focal plane on the same side as the sample S is at the position of the pupil plane P0.

レンズ２５を通った活性化光Ｌ１、励起光Ｌ２、及び不活性化光Ｌ３は、フィルタ２６に入射する。フィルタ２６は、活性化光Ｌ１と励起光Ｌ２と不活性化光Ｌ３とが選択的に通る特性を有する。フィルタ２６は、例えば、所定波長以外の波長の光の少なくとも一部、迷光、外光などを遮断する。フィルタ２６を通った活性化光Ｌ１、励起光Ｌ２、及び不活性化光Ｌ３は、ダイクロイックミラー２７に入射する。ダイクロイックミラー２７は、活性化光Ｌ１、励起光Ｌ２、及び不活性化光Ｌ３が反射し、試料Ｓから放射される光のうち所定の波長帯の光（例、蛍光Ｌ）が通る特性を有する。フィルタ２６から出射した活性化光Ｌ１、励起光Ｌ２、及び不活性化光Ｌ３は、ダイクロイックミラー２７で反射し、対物レンズ２８に入射する。 The activating light L1, the excitation light L2, and the deactivating light L3 that have passed through the lens 25 are incident on the filter 26. The filter 26 has a property that the activation light L1, the excitation light L2, and the deactivation light L3 selectively pass through. The filter 26 blocks, for example, at least a part of light having a wavelength other than a predetermined wavelength, stray light, external light, and the like. The activation light L1, the excitation light L2, and the deactivation light L3 that have passed through the filter 26 are incident on the dichroic mirror 27. The dichroic mirror 27 has a characteristic that the activation light L1, the excitation light L2, and the deactivation light L3 are reflected and the light in a predetermined wavelength band (eg, fluorescence L) of the light emitted from the sample S passes through. .. The activating light L1, the excitation light L2, and the deactivating light L3 emitted from the filter 26 are reflected by the dichroic mirror 27 and incident on the objective lens 28.

対物レンズ２８に関して光源（第１光源ＬＳ１、第２光源ＬＳ２、第３光源ＬＳ３）と反対側の焦点面は、観察対象の面（例、物体面）に相当する。この焦点面は、試料Ｓが配置される試料面Ｓａに相当する。試料面Ｓａは、回折格子１３と光学的に共役な位置またはその近傍の位置に配置される。また、試料面Ｓａは、回折格子１５と光学的に共役な位置またはその近傍の位置に配置される。 The focal plane on the opposite side of the objective lens 28 from the light source (first light source LS1, second light source LS2, third light source LS3) corresponds to the surface to be observed (eg, the object surface). This focal plane corresponds to the sample plane Sa on which the sample S is placed. The sample surface Sa is arranged at a position optically conjugate with or near the diffraction grating 13. Further, the sample surface Sa is arranged at a position optically conjugate with or near the diffraction grating 15.

照射部３は、対物レンズ２８を介して試料Ｓに縞パターンＰＬ１と縞パターンＰＬ２とを照射する。試料面Ｓａには、回折格子１３の周期構造に対応して、活性化光Ｌ１の縞パターンＰＬ１（図２参照）が形成される。また、試料面Ｓａには、回折格子１５の周期構造に対応して、励起光Ｌ２の縞パターンＰＬ２（図２参照）が形成される。試料Ｓに含まれる蛍光物質は、活性化光Ｌ１が照射された状態で励起光Ｌ２が照射されることによって蛍光Ｌを発する。 The irradiation unit 3 irradiates the sample S with the striped pattern PL1 and the striped pattern PL2 via the objective lens 28. A fringe pattern PL1 (see FIG. 2) of the activated light L1 is formed on the sample surface Sa corresponding to the periodic structure of the diffraction grating 13. Further, on the sample surface Sa, a fringe pattern PL2 (see FIG. 2) of the excitation light L2 is formed corresponding to the periodic structure of the diffraction grating 15. The fluorescent substance contained in the sample S emits fluorescence L by being irradiated with the excitation light L2 in a state of being irradiated with the activation light L1.

照射部３は、活性化光Ｌ１と励起光Ｌ２とを試料Ｓに照射し、蛍光Ｌの検出（例、撮像部３による撮像）が実行された後に、不活性化光Ｌ３を試料Ｓに照射する。また、照射部３は、不活性化光Ｌ３を試料Ｓに照射した後に、次に蛍光Ｌの検出（撮像部３による撮像）が実行される前に、活性化光Ｌ１と励起光Ｌ２とを試料Ｓに照射する。 The irradiation unit 3 irradiates the sample S with the activation light L1 and the excitation light L2, and after the fluorescence L is detected (eg, imaging by the image pickup unit 3), the inactivation light L3 is irradiated on the sample S. do. Further, the irradiation unit 3 irradiates the sample S with the inactivating light L3, and then performs the activation light L1 and the excitation light L2 before the detection of the fluorescence L (imaging by the image pickup unit 3) is executed next. Irradiate the sample S.

撮像部４は、対物レンズ２８を介して蛍光Ｌの像（試料Ｓの像、試料Ｓにおける蛍光物質の分布）を撮像する。撮像部４は、結像光学系３１および撮像素子３２を備える。結像光学系３１は、試料Ｓから撮像素子３２へ向かう順に、対物レンズ２８、ダイクロイックミラー２７、フィルタ３３、及びレンズ３４を備える。対物レンズ２８およびダイクロイックミラー２７は、照明光学系１１と結像光学系３１とで共用である。試料Ｓから放射される蛍光Ｌは、対物レンズ２８に入射して平行光に変換され、ダイクロイックミラー２７を通ってフィルタ３３に入射する。 The image pickup unit 4 captures an image of the fluorescence L (an image of the sample S, a distribution of the fluorescent substance in the sample S) through the objective lens 28. The image pickup unit 4 includes an imaging optical system 31 and an image pickup element 32. The imaging optical system 31 includes an objective lens 28, a dichroic mirror 27, a filter 33, and a lens 34 in the order from the sample S to the image pickup element 32. The objective lens 28 and the dichroic mirror 27 are shared by the illumination optical system 11 and the imaging optical system 31. The fluorescence L emitted from the sample S is incident on the objective lens 28, converted into parallel light, and is incident on the filter 33 through the dichroic mirror 27.

フィルタ３３は、例えば蛍光フィルタである。フィルタ３３は、試料Ｓからの蛍光Ｌが選択的に通る特性を有する。フィルタ３３は、例えば、試料Ｓで反射した照明光（活性化光Ｌ１、励起光Ｌ２、不活性化光Ｌ３）、外光、及び迷光の少なくとも一部を遮断する。フィルタ３３を通った蛍光Ｌは、レンズ３４に入射する。レンズ３４は、試料Ｓと同じ側の焦点面が対物レンズ２８の瞳面Ｐ０と一致するように、配置される。結像光学系３１は、対物レンズ２８の試料面Ｓａ（物体面）と光学的に共役な面（像面）を形成する。 The filter 33 is, for example, a fluorescent filter. The filter 33 has a property that the fluorescence L from the sample S selectively passes through. The filter 33 blocks at least a part of the illumination light (activated light L1, excitation light L2, deactivated light L3) reflected by the sample S, external light, and stray light, for example. The fluorescence L that has passed through the filter 33 is incident on the lens 34. The lens 34 is arranged so that the focal plane on the same side as the sample S coincides with the pupil plane P0 of the objective lens 28. The imaging optical system 31 forms an optically conjugate surface (image surface) with the sample surface Sa (object surface) of the objective lens 28.

撮像素子３２は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの二次元イメージセンサを含む。撮像素子３２は、例えば、二次元的に配列された複数の画素を有し、各画素にフォトダイオードなどの光電変換素子が配置された構造である。以下、撮像素子３２において光電変換素子が配置される面を、適宜、受光面という。撮像素子３２は、受光面が対物レンズ２８の試料面Ｓａと光学的に共役になるように、配置される。撮像素子３２は、例えば、光電変換素子への蛍光Ｌの照射によって生じた電荷を、読出回路によって読み出す。撮像素子３２は、読み出された電荷をデジタルデータ（例、８ビットの階調値）に変換し、画素の位置と階調値とを関連付けたデジタル形式の画像データを出力する。撮像素子３２は、撮像結果として、撮像画像のデータを制御装置５に出力する。 The image sensor 32 includes a two-dimensional image sensor such as a CCD image sensor or a CMOS image sensor. The image pickup device 32 has, for example, a plurality of pixels arranged two-dimensionally, and has a structure in which a photoelectric conversion element such as a photodiode is arranged in each pixel. Hereinafter, the surface of the image sensor 32 on which the photoelectric conversion element is arranged is appropriately referred to as a light receiving surface. The image pickup device 32 is arranged so that the light receiving surface is optically conjugated with the sample surface Sa of the objective lens 28. The image pickup device 32 reads out, for example, the electric charge generated by irradiating the photoelectric conversion element with fluorescence L by a read circuit. The image pickup element 32 converts the read charge into digital data (eg, 8-bit gradation value), and outputs digital format image data in which the pixel position and the gradation value are associated with each other. The image pickup device 32 outputs the data of the captured image to the control device 5 as the image pickup result.

制御装置５は、制御部４１および画像処理部４２を備える。制御部４１は、顕微鏡１の各部を制御する。制御部４１は、照射部３を制御して、試料Ｓに活性化光Ｌ１が照射される第１期間を設定する。例えば、制御部４１は、第１光源ＬＳ１を点灯させることによって試料Ｓに対する活性化光Ｌ１の照射を開始させ、第１光源ＬＳ１を消灯させることによって試料Ｓに対する活性化光Ｌ１の照射を停止させる。上記の第１期間は、試料Ｓに対する活性化光Ｌ１の照射の開始から停止までの期間である。制御部４１は、照射部３の光路に設けられるシャッタ（例、音響光学素子）の開閉を制御することによって、試料Ｓに対する活性化光Ｌ１の照射の開始と停止との一方または双方を制御してもよい。 The control device 5 includes a control unit 41 and an image processing unit 42. The control unit 41 controls each unit of the microscope 1. The control unit 41 controls the irradiation unit 3 to set a first period in which the sample S is irradiated with the activation light L1. For example, the control unit 41 starts the irradiation of the activation light L1 on the sample S by turning on the first light source LS1, and stops the irradiation of the activation light L1 on the sample S by turning off the first light source LS1. .. The first period described above is a period from the start to the stop of irradiation of the activated light L1 on the sample S. The control unit 41 controls one or both of the start and stop of irradiation of the activated light L1 on the sample S by controlling the opening and closing of a shutter (eg, an acoustic optical element) provided in the optical path of the irradiation unit 3. You may.

また、制御部４１は、照射部３を制御して、試料Ｓに励起光Ｌ２が照射される第２期間を設定する。第２期間は、上記の第１期間の少なくとも一部と重複する期間に設定されてもよいし、第１期間の終了後の期間に設定されてもよい。制御部４１は、例えば、第２光源ＬＳ２を点灯させることによって試料Ｓに対する励起光Ｌ２の照射を開始させ、第２光源ＬＳ２を消灯させることによって試料Ｓに対する励起光Ｌ２の照射を停止させる。上記の第２期間は、試料Ｓに対する励起光Ｌ２の照射の開始から停止までの期間である。制御部４１は、照射部３の光路に設けられるシャッタ（例、音響光学素子）の開閉を制御することによって、試料Ｓに対する励起光Ｌ２の照射の開始と停止との一方または双方を制御してもよい。 Further, the control unit 41 controls the irradiation unit 3 to set a second period in which the excitation light L2 is irradiated on the sample S. The second period may be set to a period that overlaps with at least a part of the first period described above, or may be set to a period after the end of the first period. For example, the control unit 41 starts the irradiation of the excitation light L2 to the sample S by turning on the second light source LS2, and stops the irradiation of the excitation light L2 to the sample S by turning off the second light source LS2. The second period described above is a period from the start to the stop of irradiation of the excitation light L2 on the sample S. The control unit 41 controls one or both of the start and stop of irradiation of the excitation light L2 to the sample S by controlling the opening and closing of a shutter (eg, an acoustic optical element) provided in the optical path of the irradiation unit 3. It is also good.

また、制御部４１は、撮像部４を制御して、撮像部４によって試料Ｓを撮像させる。制御部４１は、試料Ｓに対して活性化光Ｌ１と励起光Ｌ２とが照射されるタイミングに基づいて、撮像部４によって試料Ｓを撮像させる。制御部４１は、照射部３を制御して試料Ｓに活性化光Ｌ１と励起光Ｌ２とを照射させ、試料Ｓに含まれる蛍光物質が励起した状態において撮像部４によって試料Ｓを撮像させる。 Further, the control unit 41 controls the image pickup unit 4 to image the sample S by the image pickup unit 4. The control unit 41 causes the image pickup unit 4 to take an image of the sample S based on the timing at which the activation light L1 and the excitation light L2 are applied to the sample S. The control unit 41 controls the irradiation unit 3 to irradiate the sample S with the activation light L1 and the excitation light L2, and causes the image pickup unit 4 to image the sample S in a state where the fluorescent substance contained in the sample S is excited.

また、制御部４１は、第１方向Ｄ１における活性化光Ｌ１の強度分布と、第２方向Ｄ２における励起光Ｌ２の強度分布とを変更する。制御部４１は、第１方向Ｄ１において強度が周期的に変化する活性化光Ｌ１の強度分布の位相と、第２方向Ｄ２において強度が周期的に変化する励起光Ｌ２の強度分布の位相とを変更して、撮像部４に試料Ｓを撮像させる。画像処理部４２は、撮像部４が撮像して得られる第１画像に基づいて、第１画像と解像度が異なる第２画像を生成する。第２画像は、例えば、第１画像よりも解像度が高い超解像画像である。 Further, the control unit 41 changes the intensity distribution of the activation light L1 in the first direction D1 and the intensity distribution of the excitation light L2 in the second direction D2. The control unit 41 determines the phase of the intensity distribution of the activated light L1 whose intensity changes periodically in the first direction D1 and the phase of the intensity distribution of the excitation light L2 whose intensity changes periodically in the second direction D2. This is changed so that the image pickup unit 4 takes an image of the sample S. The image processing unit 42 generates a second image having a resolution different from that of the first image based on the first image obtained by the image pickup unit 4. The second image is, for example, a super-resolution image having a higher resolution than the first image.

図４は、第１実施形態に係る活性化光の強度分布の位相を示す図である。本実施形態において、制御部４１は、活性化光Ｌ１の強度分布の位相（縞パターンＰＬ１の位相）を、第１位相と第２位相と第３位相とに切り替えて、各位相に対応する第１画像を撮像部４によって撮像させる。図４において、符号ＰＬ１ａ、ＰＬ１ｂ、ＰＬ１ｃは、それぞれ、第１位相、第２位相、第３位相の縞パターンＰＬ１である。また、符号ＤＬ１ａ、ＤＬ１ｂ、ＤＬ１ｃは、それぞれ、第１位相の縞パターンＰＬ１ａの強度分布、第２位相の縞パターンＰＬ１ｂの強度分布、第３位相の縞パターンＰＬ１ｃの強度分布である。第２位相は、例えば、第１位相に対して１２０°進んだ位相である。第３位相は、例えば第１位相に対して１２０°遅れた位相である。 FIG. 4 is a diagram showing the phase of the intensity distribution of the activation light according to the first embodiment. In the present embodiment, the control unit 41 switches the phase of the intensity distribution of the activated light L1 (the phase of the fringe pattern PL1) between the first phase, the second phase, and the third phase, and corresponds to each phase. 1 The image is imaged by the image pickup unit 4. In FIG. 4, the reference numerals PL1a, PL1b, and PL1c are fringe patterns PL1 of the first phase, the second phase, and the third phase, respectively. Further, the reference numerals DL1a, DL1b, and DL1c are the intensity distribution of the first phase stripe pattern PL1a, the intensity distribution of the second phase stripe pattern PL1b, and the intensity distribution of the third phase stripe pattern PL1c, respectively. The second phase is, for example, a phase advanced by 120 ° with respect to the first phase. The third phase is, for example, a phase delayed by 120 ° with respect to the first phase.

図５は、第１実施形態に係る励起光の強度分布の位相を示す図である。本実施形態において、制御部４１は、励起光Ｌ２の強度分布の位相（縞パターンＰＬ２の位相）を、第４位相と第５位相と第６位相とに切り替えて、各位相に対応する第１画像を撮像部４によって撮像させる。図５において、符号ＰＬ２ａ、ＰＬ２ｂ、ＰＬ２ｃは、それぞれ、第４位相、第５位相、第６位相の縞パターンＰＬ２である。また、符号ＤＬ２ａ、ＤＬ２ｂ、ＤＬ２ｃは、それぞれ、第４位相の縞パターンＰＬ２ａの強度分布、第５位相の縞パターンＰＬ２ｂの強度分布、第６位相の縞パターンＰＬ２ｃの強度分布である。第５位相は、例えば、第４位相に対して１２０°進んだ位相である。第６位相は、例えば第４位相に対して１２０°遅れた位相である。 FIG. 5 is a diagram showing the phase of the intensity distribution of the excitation light according to the first embodiment. In the present embodiment, the control unit 41 switches the phase of the intensity distribution of the excitation light L2 (the phase of the fringe pattern PL2) between the fourth phase, the fifth phase, and the sixth phase, and the first phase corresponding to each phase. The image is imaged by the image pickup unit 4. In FIG. 5, the reference numerals PL2a, PL2b, and PL2c are fringe patterns PL2 of the fourth phase, the fifth phase, and the sixth phase, respectively. Further, the reference numerals DL2a, DL2b, and DL2c are the intensity distribution of the fourth phase fringe pattern PL2a, the intensity distribution of the fifth phase fringe pattern PL2b, and the intensity distribution of the sixth phase fringe pattern PL2c, respectively. The fifth phase is, for example, a phase advanced by 120 ° with respect to the fourth phase. The sixth phase is, for example, a phase delayed by 120 ° with respect to the fourth phase.

図１の説明に戻り、本実施形態に係る顕微鏡１は、第１位相設定部４５と第２位相設定部４６とを備え、上記したように、制御部４１は、第１位相設定部４５と第２位相設定部４６とを制御して、活性化光Ｌ１の強度分布の位相と励起光Ｌ２の強度分布の位相とをそれぞれ変更する。 Returning to the description of FIG. 1, the microscope 1 according to the present embodiment includes a first phase setting unit 45 and a second phase setting unit 46, and as described above, the control unit 41 includes a first phase setting unit 45. The second phase setting unit 46 is controlled to change the phase of the intensity distribution of the activation light L1 and the phase of the intensity distribution of the excitation light L2, respectively.

第１位相設定部４５は、第１方向Ｄ１における活性化光Ｌ１の強度分布の位相を設定する。例えば第１位相設定部４５は、試料面Ｓａと光学的に共役な面上において、第１方向Ｄ１に対応する方向における回折格子１３の位置を設定することによって、活性化光Ｌ１の強度分布の位相を設定する。試料面Ｓａと光学的に共役な面上において、第１方向Ｄ１に対応する方向は、回折格子１３において周期構造が繰り返し配列される周期方向である。第１位相設定部４５は、例えばアクチュエータなどの駆動部であり、回折格子１３をその周期方向に移動させることによって、活性化光Ｌ１の強度分布の位相を設定する。制御部４１は、第１位相設定部４５に制御信号を供給し、第１位相設定部４５が制御信号に基づいて回折格子１３を移動させることによって、活性化光Ｌ１の強度分布の位相を変更する。 The first phase setting unit 45 sets the phase of the intensity distribution of the activated light L1 in the first direction D1. For example, the first phase setting unit 45 sets the position of the diffraction grating 13 in the direction corresponding to the first direction D1 on the surface optically coupled to the sample surface Sa, thereby adjusting the intensity distribution of the activated light L1. Set the phase. On the plane optically conjugate with the sample plane Sa, the direction corresponding to the first direction D1 is the periodic direction in which the periodic structures are repeatedly arranged in the diffraction grating 13. The first phase setting unit 45 is, for example, a driving unit such as an actuator, and sets the phase of the intensity distribution of the activated light L1 by moving the diffraction grating 13 in the periodic direction thereof. The control unit 41 supplies a control signal to the first phase setting unit 45, and the first phase setting unit 45 changes the phase of the intensity distribution of the activated light L1 by moving the diffraction grating 13 based on the control signal. do.

第２位相設定部４６は、第２方向Ｄ２における励起光Ｌ２の強度分布の位相を設定する。例えば第２位相設定部４６は、試料面Ｓａと光学的に共役な面上において、第２方向Ｄ２に対応する方向における回折格子１５の位置を設定することによって、励起光Ｌ２の強度分布の位相を設定する。試料面Ｓａと光学的に共役な面上において、第２方向Ｄ２に対応する方向は、回折格子１５において周期構造が繰り返し配列される周期方向である。第２位相設定部４６は、例えばアクチュエータなどの駆動部であり、回折格子１５をその周期方向に移動させることによって、励起光Ｌ２の強度分布の位相を設定する。制御部４１は、第２位相設定部４６に制御信号を供給し、第２位相設定部４６が制御信号に基づいて回折格子１５を移動させることによって、励起光Ｌ２の強度分布の位相を変更する。 The second phase setting unit 46 sets the phase of the intensity distribution of the excitation light L2 in the second direction D2. For example, the second phase setting unit 46 sets the position of the diffraction grating 15 in the direction corresponding to the second direction D2 on the surface optically coupled to the sample surface Sa, thereby setting the phase of the intensity distribution of the excitation light L2. To set. On the plane optically conjugate with the sample plane Sa, the direction corresponding to the second direction D2 is the periodic direction in which the periodic structures are repeatedly arranged in the diffraction grating 15. The second phase setting unit 46 is, for example, a drive unit such as an actuator, and sets the phase of the intensity distribution of the excitation light L2 by moving the diffraction grating 15 in the periodic direction thereof. The control unit 41 supplies a control signal to the second phase setting unit 46, and the second phase setting unit 46 changes the phase of the intensity distribution of the excitation light L2 by moving the diffraction grating 15 based on the control signal. ..

制御部４１は、第１位相設定部４５および撮像部４を制御して、第１方向Ｄ１における活性化光Ｌ１の強度分布の位相が異なる複数の第１条件（第１位相条件）で、撮像部４に撮像させる。複数の第１条件は、活性化光Ｌ１の強度分布の位相が第１位相である条件、第２位相である条件、及び第３位相である条件を含む。また、制御部４１は、第２位相設定部４６および撮像部４を制御して、第２方向Ｄ２における励起光Ｌ２の強度分布の位相が異なる複数の第２条件（第２位相条件）で、撮像部４に撮像させる。複数の第２条件は、励起光Ｌ２の強度分布の位相が第４位相である条件、第５位相である条件、及び第６位相である条件を含む。 The control unit 41 controls the first phase setting unit 45 and the imaging unit 4 to perform imaging under a plurality of first conditions (first phase conditions) in which the phases of the intensity distributions of the activated light L1 in the first direction D1 are different. Let the unit 4 take an image. The plurality of first conditions include a condition in which the phase of the intensity distribution of the activated light L1 is the first phase, a condition in which the phase is the second phase, and a condition in which the phase is the third phase. Further, the control unit 41 controls the second phase setting unit 46 and the imaging unit 4 under a plurality of second conditions (second phase conditions) in which the phases of the intensity distributions of the excitation light L2 in the second direction D2 are different. The image pickup unit 4 is made to take an image. The plurality of second conditions include a condition in which the phase of the intensity distribution of the excitation light L2 is the fourth phase, a condition in which the phase is the fifth phase, and a condition in which the phase is the sixth phase.

ここでは、第１方向Ｄ１における活性化光Ｌ１の強度分布の位相が３条件（３通り）であって、第２方向Ｄ２における励起光Ｌ２の強度分布の位相が３条件（３通り）であるので、活性化光Ｌ１の強度分布の位相と励起光Ｌ２の強度分布の位相との組み合わせは３×３の９条件（９通り）ある。制御部４１は、これら９条件のそれぞれについて撮像部４に順次連続して撮像させ、撮像部４は、複数の第１画像として９枚の画像を撮像する。画像処理部４２（画像生成部、復調部）は、複数の第１画像として撮像部４が撮像した９枚の画像を用いて、第１画像とは解像度が異なる１枚の第２画像（例、超解像画像）を生成する。例えば、画像処理部４２は、第１画像より相対的に解像度が高い第２画像を生成する。また、制御部４１は、第１方向Ｄ１における位相の異なる活性化光Ｌ１を用いた複数回の撮像と、第２方向Ｄ２における位相の異なる励起光Ｌ２を用いた複数回の撮像とを連動して行うことによって、複数の第１画像を取得する。 Here, the phase of the intensity distribution of the activation light L1 in the first direction D1 is three conditions (three ways), and the phase of the intensity distribution of the excitation light L2 in the second direction D2 is three conditions (three ways). Therefore, there are 9 conditions (9 ways) of 3 × 3 for the combination of the phase of the intensity distribution of the activation light L1 and the phase of the intensity distribution of the excitation light L2. The control unit 41 causes the image pickup unit 4 to continuously and continuously image each of these nine conditions, and the image pickup unit 4 captures nine images as a plurality of first images. The image processing unit 42 (image generation unit, demodulation unit) uses nine images captured by the image pickup unit 4 as a plurality of first images, and one second image (eg, a resolution different from that of the first image). , Super-resolution image) is generated. For example, the image processing unit 42 generates a second image having a relatively higher resolution than the first image. Further, the control unit 41 interlocks a plurality of imagings using the activation light L1 having a different phase in the first direction D1 and a plurality of imagings using the excitation light L2 having a different phase in the second direction D2. By doing so, a plurality of first images are acquired.

図６は、第１実施形態に係る画像処理部の処理を示す図である。画像処理部４２は、複数の第１画像を用いて周波数空間における領域ごとの成分を分離し、分離した成分を再構築した後に実空間上の成分へ戻すことによって、第２画像を生成する。図６において、符号ＦＤ１は、第１方向Ｄ１に対応する周波数空間上の第１軸方向である。また、符号ＦＤ２は、第１方向Ｄ１に垂直な方向に対応する周波数空間上の第２軸方向である。本実施形態において、第２方向Ｄ２は第１方向Ｄ１に垂直であり、第２軸方向ＦＤ２は、第２方向Ｄ２に対応する周波数空間上の方向である。 FIG. 6 is a diagram showing processing of the image processing unit according to the first embodiment. The image processing unit 42 generates a second image by separating the components for each region in the frequency space using the plurality of first images, reconstructing the separated components, and then returning the components to the components in the real space. In FIG. 6, reference numeral FD1 is the first axial direction on the frequency space corresponding to the first direction D1. Further, the reference numeral FD2 is a second axis direction on the frequency space corresponding to the direction perpendicular to the first direction D1. In the present embodiment, the second direction D2 is perpendicular to the first direction D1, and the second axial direction FD2 is a direction on the frequency space corresponding to the second direction D2.

また、符号ＡＲ１ａは、光学系の光学伝達関数(Optical transfer function；ＯＴＦ)に対応する領域である。領域ＡＲ１ａの外側の空間周波数成分は、縞パターンの照明によって空間周波数がシフトして領域ＡＲ１ａ内に他の空間周波数の成分と混在して表れ、光学系を介して検出可能になる。実施形態に係る顕微鏡１は、活性化光Ｌ１の位相および励起光Ｌ２の位相の一方または双方が異なる複数の条件で、試料Ｓから放射される蛍光を撮像によって検出する。また、顕微鏡１は、活性化光Ｌ１の位相および励起光Ｌ２の位相の一方または双方が異なる複数の条件で取得される撮像結果（複数の撮像画像）を用いて、空間周波数がシフトした空間周波数成分を分離し、分離した空間周波数成分をシフト前の空間周波数の空間周波数成分として配置して、空間周波数成分の分布を再構築する。そして、顕微鏡１は、再構築した空間周波数成分の分布を逆フーリエ変換によって実空間上の成分（輝度値）の分布に変換することによって、画像を生成する。 Further, the reference numeral AR1a is a region corresponding to an optical transfer function (OTF) of an optical system. The spatial frequency component outside the region AR1a is shifted in spatial frequency by the illumination of the fringe pattern and appears in the region AR1a mixed with other spatial frequency components, and can be detected via the optical system. The microscope 1 according to the embodiment detects fluorescence emitted from the sample S by imaging under a plurality of conditions in which one or both of the phase of the activation light L1 and the phase of the excitation light L2 are different. Further, the microscope 1 uses the imaging results (plural images captured) acquired under a plurality of conditions in which one or both of the phase of the activation light L1 and the phase of the excitation light L2 are different, and the spatial frequency is shifted. The components are separated, and the separated spatial frequency components are arranged as the spatial frequency components of the spatial frequency before the shift to reconstruct the distribution of the spatial frequency components. Then, the microscope 1 generates an image by converting the reconstructed distribution of spatial frequency components into a distribution of components (luminance values) in real space by inverse Fourier transform.

ここで、超解像画像を生成する処理について数式を用いて説明する。図７から図９は、超解像画像を生成する処理の説明に用いる数式である。撮像画像は、図７の式（１）で表される。式（１）において、rは、撮像部４が検出する領域における各位置（例、撮像画像における各画素の位置）であり、例えばベクトルで表される。Iim(r)は、位置rにおける蛍光Ｌの強度であり、撮像画像の位置rにおける輝度値（例、画素値）に相当する。O(r)は位置rにおける物体（試料Ｓの蛍光物質）に相当する。また、Iact(r)は位置rにおける活性化光Ｌ１の強度に相当し、Iexc(r)は位置rにおける励起光Ｌ２の強度に相当する。また、PSF(r)は、点像分布関数(Point Spread Function, ＰＳＦ)である。PSF(r)の左隣の記号＊は、畳み込みの演算子である。 Here, the process of generating a super-resolution image will be described using a mathematical formula. 7 to 9 are mathematical formulas used for explaining the process of generating a super-resolution image. The captured image is represented by the equation (1) in FIG. In the formula (1), r is each position (eg, the position of each pixel in the captured image) in the region detected by the image pickup unit 4, and is represented by, for example, a vector. I im (r) is the intensity of the fluorescence L at the position r and corresponds to the luminance value (eg, pixel value) at the position r of the captured image. O (r) corresponds to an object (fluorescent substance of sample S) at position r. Further, I act (r) corresponds to the intensity of the activation light L1 at the position r, and I exc (r) corresponds to the intensity of the excitation light L2 at the position r. Further, PSF (r) is a point spread function (PSF). The symbol * to the left of PSF (r) is the convolution operator.

また、Iact(r)は、図７の式（２）で表される。式（２）のＣ１は活性化光Ｌ１の縞パターンにおけるコントラストであり、ｋ１は、活性化光Ｌ１の強度分布の周期によって定まる波数ベクトルであり、θは活性化光Ｌ１の強度分布の位相である。また、Iexc(r)は、図７の式（３）で表される。式（３）のＣ２は励起光Ｌ２の縞パターンにおけるコントラストであり、ｋ２は、励起光Ｌ２の強度分布の周期によって定まる波数ベクトルであり、φ（phi）は励起光Ｌ２の強度分布の位相である。なお、図中の数式においてφはtimes new romanのフォントで表されている。撮像画像をフーリエ変換して得られるスペクトル（以下、撮像画像スペクトルと称する）は、図７の式（４）で表される。式（４）のｋは、空間周波数である。 Further, I act (r) is represented by the equation (2) in FIG. C 1 in the equation (2) is the contrast in the fringe pattern of the activated light L1, k 1 is a wave vector determined by the period of the intensity distribution of the activated light L1, and θ is the intensity distribution of the activated light L1. The phase. Further, I exc (r) is represented by the equation (3) in FIG. C 2 in the equation (3) is the contrast in the fringe pattern of the excitation light L2, k 2 is a wave vector determined by the period of the intensity distribution of the excitation light L2, and φ (phi) is the intensity distribution of the excitation light L2. Phase. In the mathematical formula in the figure, φ is represented by the font of times new roman. The spectrum obtained by Fourier transforming the captured image (hereinafter referred to as the captured image spectrum) is represented by the equation (4) in FIG. K in the equation (4) is a spatial frequency.

顕微鏡１は、活性化光Ｌ１の位相を３通りに設定し（図４参照）、励起光Ｌ２の位相を３通りに設定する（図５参照）。顕微鏡１は、活性化光Ｌ１の位相および励起光Ｌ２の位相の一方または双方が異なる９通りの条件のそれぞれについて撮像画像を取得し、９通りの撮像画像を取得する。画像処理部４２が各撮像画像に対してフーリエ変換を施すことによって、９通りの撮像画像のそれぞれについて式（４）の左辺の値が既知となり、左辺の値が既知の式（４）が９つ得られる。左辺の値が既知の９つの式（４）を連立した連立方程式を、行列を用いて図８の式（５）に示す。また、式（５）のＭは９行９列の行列であり、その要素を図９の式（６）に示す。 In the microscope 1, the phase of the activation light L1 is set in three ways (see FIG. 4), and the phase of the excitation light L2 is set in three ways (see FIG. 5). The microscope 1 acquires captured images for each of nine conditions in which one or both of the phase of the activation light L1 and the phase of the excitation light L2 are different, and acquires nine types of captured images. When the image processing unit 42 performs a Fourier transform on each captured image, the value on the left side of the equation (4) becomes known for each of the nine captured images, and the value on the left side of the equation (4) is known to be 9. You can get one. A system of equations consisting of nine equations (4) whose values on the left side are known is shown in equation (5) of FIG. 8 using a matrix. Further, M in the equation (5) is a matrix of 9 rows and 9 columns, and its elements are shown in the equation (6) of FIG.

式（５）の左辺のＩｉｍ０（ｋ）からＩｉｍ８（ｋ）は、式（４）の左辺に対応する。ここでは、９通りの位相の条件に０から８の９種類の番号を割り付け、この番号を加えた添え字（例、ｉｍ０、ｉｍ１、・・・、ｉｍ８）によって位相の条件を区別している。式（６）に示すように、行列Ｍは、係数Ｃ１、係数Ｃ２、活性化光Ｌ１の位相θ、及び励起光Ｌ２の位相φで定まる行列である。式（６）のθ０、θ１、θ２は、それぞれ、活性化光Ｌ１の位相θの設定値（第１位相、第２位相、第３位相）である。また、式（６）のφ０、φ１、φ２は、それぞれ、励起光Ｌ２の位相φの設定値（第４位相、第５位相、第６位相）である。 I im0 (k) to I im8 (k) on the left side of the equation (5) correspond to the left side of the equation (4). Here, nine types of numbers from 0 to 8 are assigned to the nine phase conditions, and the phase conditions are distinguished by the subscripts (eg, im0, im1, ..., Im8) to which these numbers are added. As shown in the equation (6), the matrix M is a matrix determined by the coefficient C 1 , the coefficient C 2 , the phase θ of the activation light L1, and the phase φ of the excitation light L 2. Each of θ 0 , θ 1 , and θ 2 in the equation (6) is a set value (first phase, second phase, third phase) of the phase θ of the activated light L1. Further, φ 0 , φ 1 and φ 2 in the equation (6) are set values (fourth phase, fifth phase, sixth phase) of the phase φ of the excitation light L2, respectively.

画像処理部４２は、式（５）を解くことによって、Ｏ（ｋ）、Ｏ（ｋ＋ｋ１）、・・・、Ｏ（ｋ－ｋ１＋ｋ２）を算出する。Ｏ（ｋ＋ｋ１）、・・・、Ｏ（ｋ－ｋ１＋ｋ２）は、それぞれ、空間周波数がシフトした空間周波数成分である。画像処理部４２は、式（５）を解くことによって、シフトした空間周波数成分を分離する。また、画像処理部４２は、空間周波数がシフトした空間周波数成分を、周波数空間においてシフトする前の位置に配置することで、図６の領域ＡＲ１の空間周波数成分を構築する。また、画像処理部４２は、図６の領域ＡＲ１の空間周波数成分に対して逆フーリエ変換を施すことによって、実空間上の輝度分布（例、超解像画像の各画素の輝度値）を取得し、超解像画像を生成する。 The image processing unit 42 calculates O (k), O (k + k 1 ), ..., O (k−k 1 + k 2 ) by solving the equation (5). O (k + k 1 ), ..., O (k−k 1 + k 2 ) are spatial frequency components whose spatial frequencies are shifted, respectively. The image processing unit 42 separates the shifted spatial frequency component by solving the equation (5). Further, the image processing unit 42 constructs the spatial frequency component of the region AR1 of FIG. 6 by arranging the spatial frequency component whose spatial frequency is shifted at a position before the shift in the frequency space. Further, the image processing unit 42 acquires the brightness distribution in the real space (eg, the brightness value of each pixel of the super-resolution image) by performing an inverse Fourier transform on the spatial frequency component of the region AR1 in FIG. And generate a super-resolution image.

図６の説明に戻り、領域ＡＲ１の成分は、光学系のＯＴＦに対応する領域ＡＲ１ａの成分に比べて、第１軸方向ＦＤ１および第２軸方向ＦＤ２のそれぞれにおいて高周波数成分を含む。画像処理部４２は、領域ＡＲ１の成分を逆フーリエ変換によって実空間上の成分へ変換することで、第２画像を生成する。第２画像は、第１軸方向ＦＤ１に対応する第１方向Ｄ１および第２軸方向ＦＤ２に対応する第２方向Ｄ２のそれぞれにおいて、第１画像よりも解像度が高い。 Returning to the description of FIG. 6, the component of the region AR1 includes a high frequency component in each of the first axial direction FD1 and the second axial direction FD2 as compared with the component of the region AR1a corresponding to the OTF of the optical system. The image processing unit 42 generates a second image by converting the component of the region AR1 into a component in the real space by the inverse Fourier transform. The second image has a higher resolution than the first image in each of the first direction D1 corresponding to the first axial direction FD1 and the second direction D2 corresponding to the second axial direction FD2.

なお、画像処理部４２は、領域ＡＲ１の成分の一部を抽出して、抽出した成分を実空間上の成分に変換することで第２画像を生成してもよい。例えば、領域ＡＲ２は、周波数空間の原点を中心とする円形の領域である。領域ＡＲ２は、領域ＡＲ１ａよりも半径が大きく、かつ領域ＡＲ１に収まる（例、領域ＡＲ１に内接する）ように設定される。画像処理部４２は、領域ＡＲ２の内側の成分を用いるとともに領域ＡＲ２の外側の成分を除外して、第２画像を生成してもよい。この場合、第２画像として、第１方向Ｄ１および第２方向Ｄ２のそれぞれにおいて第１画像よりも解像度が高く、かつ解像度の等方性が向上した画像が得られる。例えば、第２画像として、第１方向Ｄ１の解像度と、第１方向Ｄ１に対して４５°の角度をなす方向の解像度とが揃った画像を取得可能である。 The image processing unit 42 may generate a second image by extracting a part of the component of the region AR1 and converting the extracted component into a component in the real space. For example, the region AR2 is a circular region centered on the origin of the frequency space. The region AR2 is set to have a larger radius than the region AR1a and to fit in the region AR1 (eg, inscribed in the region AR1). The image processing unit 42 may generate a second image by using the component inside the region AR2 and excluding the component outside the region AR2. In this case, as the second image, an image having a higher resolution than the first image and an improved isotropic resolution can be obtained in each of the first direction D1 and the second direction D2. For example, as the second image, it is possible to acquire an image in which the resolution of the first direction D1 and the resolution of the direction forming an angle of 45 ° with respect to the first direction D1 are aligned.

図１０（Ａ）および図１０（Ｂ）は、第１実施形態に係る画像処理部の処理、比較例の処理を示す図である。比較例では、強度が周期的に変化する方向（周期方向）の数が１つである縞パターンを照明光として用いる。また比較例では、縞パターンの周期方向を３方向（図中では０°、１２０°、２４０°の方向）に変更し、縞パターンの位相を３位相に変更した９条件で試料を撮像する。比較例では、９条件の撮像によって得られる９枚の第３画像を用いて、第３画像よりも解像度が高い第４画像を生成する。複数の第３画像から第４画像を生成する処理は、構造化照明顕微鏡において超解像画像を生成する処理を適用可能である（例えば、文献 “Three-dimensional resolution doubling in wide-field fluorescence microscopy by structured illumination”, M. G. L. Gustafsson et al., Biophysical Journal 94, 4957 (2008)」を参照）。 10 (A) and 10 (B) are diagrams showing the processing of the image processing unit and the processing of the comparative example according to the first embodiment. In the comparative example, a fringe pattern in which the number of directions in which the intensity changes periodically (periodic direction) is one is used as the illumination light. In the comparative example, the periodic direction of the fringe pattern is changed to three directions (directions of 0 °, 120 °, and 240 ° in the figure), and the sample is imaged under nine conditions in which the phase of the fringe pattern is changed to three phases. In the comparative example, nine third images obtained by imaging under nine conditions are used to generate a fourth image having a higher resolution than the third image. The process of generating a fourth image from a plurality of third images can be applied to the process of generating a super-resolution image in a structured illumination microscope (for example, the document “Three-dimensional resolution doubling in wide-field fluorescence microscopy by”. See structured illumination ”, M.G.L. Gustafsson et al., Biophysical Journal 94, 4957 (2008)”).

図１０（Ａ）の符号ＡＲ３は、比較例の９枚の第３画像から周波数空間上の成分が得られる領域である。図６で説明した本実施形態に係る領域ＡＲ１は、例えば第１軸方向ＦＤ１に対して４５°の方向等において、比較例の領域ＡＲ３よりも高周波数成分を含む。実施形態に係る顕微鏡１は、領域ＡＲ１の成分を実空間上の成分へ変換することによって、比較例の領域ＡＲ３の成分を実空間の成分へ変換して得られる第４画像よりも、解像度が高い第２画像を取得可能である。実施形態に係る顕微鏡１は、例えば、従来のＳＩＭと同じ枚数の撮像画像を用いて第２画像を生成する場合、従来のＳＩＭと比べて高解像度の画像を取得可能である。また、実施形態に係る顕微鏡１は、例えば、照明光の方向を変更する従来のＳＩＭと比較して、照明光の方向を変更する動作を省くことができる。 Reference numeral AR3 in FIG. 10A is a region in which components on the frequency space can be obtained from the nine third images of the comparative example. The region AR1 according to the present embodiment described with reference to FIG. 6 contains a higher frequency component than the region AR3 of the comparative example, for example, in a direction of 45 ° with respect to the first axial direction FD1. The microscope 1 according to the embodiment has a higher resolution than the fourth image obtained by converting the component of the region AR1 of the comparative example into the component of the real space by converting the component of the region AR1 into the component in the real space. It is possible to obtain a high second image. The microscope 1 according to the embodiment can acquire a high-resolution image as compared with the conventional SIM, for example, when the second image is generated by using the same number of captured images as the conventional SIM. Further, the microscope 1 according to the embodiment can omit the operation of changing the direction of the illumination light as compared with the conventional SIM that changes the direction of the illumination light, for example.

また、図１０（Ｂ）の符号ＡＲ２は、実施形態に係る領域ＡＲ１に内接し、周波数空間の原点を中心とする円形の領域である。また、符号ＡＲ４は、比較例の領域ＡＲ３に内接し、周波数空間の原点を中心とする円形の領域である。実施形態に係る領域ＲＡ２は、比較例に係る領域ＡＲ４に比べて半径が大きく、高周波数成分を含む。実施形態に係る領域ＡＲ２の成分を用いて画像を生成する場合、解像度が等方的な画像が得られ、かつ比較例に係る領域ＡＲ４の成分を用いて画像を生成する場合よりも解像度が高い画像が得られる。 Further, the reference numeral AR2 in FIG. 10B is a circular region inscribed in the region AR1 according to the embodiment and centered on the origin of the frequency space. Further, the reference numeral AR4 is a circular region inscribed in the region AR3 of the comparative example and centered on the origin of the frequency space. The region RA2 according to the embodiment has a larger radius than the region AR4 according to the comparative example and contains a high frequency component. When an image is generated using the component of the region AR2 according to the embodiment, an image having an isotropic resolution is obtained, and the resolution is higher than when the image is generated using the component of the region AR4 according to the comparative example. An image is obtained.

図１１は、第１実施形態に係る第１方向と第２方向との関係を示す図である。第２方向Ｄ２は、図２等において第１方向Ｄ１に対して垂直としているが、第１方向Ｄ１に対して垂直でなくてもよい。図１１の符号αは、第１方向Ｄ１と第２方向Ｄ２との角度である。また、符号Ｋｖ１は活性化光Ｌ１の縞パターンＰＬ１の波数ベクトルであり、符号Ｋｖ２は、励起光Ｌ２の縞パターンＰＬ２の波数ベクトルであり、符号Ｋｖ３は、波数ベクトルＫｖ１と波数ベクトルＫｖ２との合成ベクトルである。また、符号Ｄ５は、第１方向Ｄ１に垂直な方向である。 FIG. 11 is a diagram showing the relationship between the first direction and the second direction according to the first embodiment. Although the second direction D2 is perpendicular to the first direction D1 in FIG. 2 and the like, it does not have to be perpendicular to the first direction D1. Reference numeral α in FIG. 11 is an angle between the first direction D1 and the second direction D2. Further, reference numeral Kv1 is a wave vector of the fringe pattern PL1 of the activation light L1, reference numeral Kv2 is a wave number vector of the fringe pattern PL2 of the excitation light L2, and reference numeral Kv3 is a combination of the wave number vector Kv1 and the wave number vector Kv2. It is a vector. Further, the reference numeral D5 is a direction perpendicular to the first direction D1.

ここで、合成ベクトルＫｖ３の第１方向Ｄ１の成分と、合成ベクトルＫｖ３の方向Ｄ５の成分との比をＲで表す。比Ｒは、第１方向Ｄ１における解像度と方向Ｄ５における解像度の比に対応する。比Ｒは、例えば解像度の等方性が要求される場合に、０．９以上１．１以下の範囲内に設定されてもよい。比Ｒは、αを用いるとＲ＝（１＋ｃｏｓα）／ｓｉｎαで表され、角度αは、０．９≦（１＋ｃｏｓα）／ｓｉｎα≦１．１を満たすように設定されてもよい。例えば、角度αは、８５°以上９５°以下の範囲内に設定されてもよい。 Here, the ratio of the component of the first direction D1 of the composite vector Kv3 to the component of the direction D5 of the composite vector Kv3 is represented by R. The ratio R corresponds to the ratio of the resolution in the first direction D1 to the resolution in the direction D5. The ratio R may be set in the range of 0.9 or more and 1.1 or less, for example, when isotropic resolution is required. The ratio R is represented by R = (1 + cosα) / sinα when α is used, and the angle α may be set to satisfy 0.9 ≦ (1 + cosα) / sinα ≦ 1.1. For example, the angle α may be set within the range of 85 ° or more and 95 ° or less.

次に、上記顕微鏡１の構成に基づいて、第１実施形態に係る観察方法について説明する。図１２は、第１実施形態に係る観察方法の第１例を示すフローチャートである。第１例において、励起光Ｌ２の波長は、活性化光Ｌ１の波長および不活性化光Ｌ３の波長のいずれとも異なる。励起光Ｌ２の波長が活性化光Ｌ１の波長または不活性化光Ｌ３の波長と同じ場合については、後に図１４で説明する。また、顕微鏡１の各部については、適宜、図１を参照する。 Next, the observation method according to the first embodiment will be described based on the configuration of the microscope 1. FIG. 12 is a flowchart showing a first example of the observation method according to the first embodiment. In the first example, the wavelength of the excitation light L2 is different from the wavelength of the activation light L1 and the wavelength of the deactivation light L3. The case where the wavelength of the excitation light L2 is the same as the wavelength of the activation light L1 or the wavelength of the deactivation light L3 will be described later with reference to FIG. Further, for each part of the microscope 1, FIG. 1 is referred to as appropriate.

ステップＳ１において、制御部４１は、第１方向Ｄ１において強度が周期的に変化する活性化光Ｌ１の位相を設定する。例えば、制御部４１は、第１位相設定部４５を制御して、活性化光Ｌ１（縞パターンＰＬ１）の位相を第１位相に設定する。ステップＳ２において、照射部３は、活性化光Ｌ１を試料Ｓに照射する。照射部３は、活性化光Ｌ１として第１位相の縞パターンＰＬ１を、試料Ｓに照射する。 In step S1, the control unit 41 sets the phase of the activation light L1 whose intensity changes periodically in the first direction D1. For example, the control unit 41 controls the first phase setting unit 45 to set the phase of the activation light L1 (striped pattern PL1) to the first phase. In step S2, the irradiation unit 3 irradiates the sample S with the activation light L1. The irradiation unit 3 irradiates the sample S with the first-phase fringe pattern PL1 as the activation light L1.

ステップＳ３において、制御部４１は、第２方向Ｄ２において強度が周期的に変化する励起光Ｌ２の位相を設定する。例えば、制御部４１は、第２位相設定部４６を制御して、励起光Ｌ２（縞パターンＰＬ２）の位相を第４位相に設定する。ステップＳ４において、照射部３は、励起光Ｌ２を試料に照射する。照射部３は、励起光Ｌ２として第４位相の縞パターンＰＬ２を、試料Ｓに照射する。照射部３は、ステップＳ４の処理を、ステップＳ２の処理と並行して実行してもよい。照射部３は、励起光Ｌ２を、活性化光Ｌ１の照射と並行して又は活性化光Ｌ１の照射後に、試料Ｓに照射する。 In step S3, the control unit 41 sets the phase of the excitation light L2 whose intensity changes periodically in the second direction D2. For example, the control unit 41 controls the second phase setting unit 46 to set the phase of the excitation light L2 (striped pattern PL2) to the fourth phase. In step S4, the irradiation unit 3 irradiates the sample with the excitation light L2. The irradiation unit 3 irradiates the sample S with the fringe pattern PL2 of the fourth phase as the excitation light L2. The irradiation unit 3 may execute the process of step S4 in parallel with the process of step S2. The irradiation unit 3 irradiates the sample S with the excitation light L2 in parallel with the irradiation of the activation light L1 or after the irradiation of the activation light L1.

ステップＳ５において、撮像部４は、試料Ｓを撮像して第１画像を取得する。撮像部４は、活性化光Ｌ１として第１位相の縞パターンＰＬ１が照射され、かつ励起光Ｌ２として第４位相の縞パターンＰＬ２が照射された試料を撮像する。撮像部４は、撮像により得られる第１画像のデータを制御装置５に出力する。制御装置５は、撮像部４から出力された第１画像のデータを記憶装置７に記憶させる。 In step S5, the image pickup unit 4 takes an image of the sample S and acquires a first image. The imaging unit 4 images a sample irradiated with the first-phase fringe pattern PL1 as the activation light L1 and irradiated with the fourth-phase fringe pattern PL2 as the excitation light L2. The image pickup unit 4 outputs the data of the first image obtained by the image pickup to the control device 5. The control device 5 stores the data of the first image output from the image pickup unit 4 in the storage device 7.

ステップＳ６において、制御部４１は、励起光Ｌ２の位相を変更するか否かを判定する。制御部４１は、ステップＳ１で設定された活性化光Ｌ１の位相に対して予定された複数の第２条件（例、励起光Ｌ２の位相が第４位相、第５位相、第６位相）の一部について撮像が完了していない場合、励起光Ｌ２の位相を変更すると判定する。制御部４１は、励起光Ｌ２の位相を変更すると判定した場合（ステップＳ６；Ｙｅｓ）、ステップＳ３に戻り、励起光Ｌ２の位相を次の位相（例、第５位相）に変更する。そして、顕微鏡１は、ステップＳ４からステップＳ６の処理を繰り返す。 In step S6, the control unit 41 determines whether or not to change the phase of the excitation light L2. The control unit 41 has a plurality of second conditions (eg, the phases of the excitation light L2 are the fourth phase, the fifth phase, and the sixth phase) scheduled for the phase of the activation light L1 set in step S1. If the imaging is not completed for a part, it is determined that the phase of the excitation light L2 is changed. When the control unit 41 determines that the phase of the excitation light L2 is to be changed (step S6; Yes), the control unit 41 returns to step S3 and changes the phase of the excitation light L2 to the next phase (eg, the fifth phase). Then, the microscope 1 repeats the processes of steps S4 to S6.

ステップＳ６において、制御部４１は、ステップＳ１で設定された活性化光Ｌ１の位相に対して予定された複数の第２条件（例、励起光Ｌ２の位相が第４位相、第５位相、第６位相）の全てについて撮像が完了している場合、励起光Ｌ２の位相を変更しないと判定する。制御部４１は、励起光Ｌ２の位相を変更しないと判定した場合（ステップＳ６；Ｎｏ）、ステップＳ７において、不活性化光Ｌ３を試料Ｓに照射させる。制御部４１は、ステップＳ８において、活性化光Ｌ１の位相を変更するか否かを判定する。 In step S6, the control unit 41 has a plurality of second conditions (eg, the phases of the excitation light L2 are the fourth phase, the fifth phase, and the third phase) scheduled for the phase of the activation light L1 set in step S1. When the imaging is completed for all of the 6 phases), it is determined that the phase of the excitation light L2 is not changed. When the control unit 41 determines that the phase of the excitation light L2 is not changed (step S6; No), the control unit 41 irradiates the sample S with the inactivating light L3 in step S7. The control unit 41 determines in step S8 whether or not to change the phase of the activation light L1.

制御部４１は、予定された複数の第１条件（例、活性化光Ｌ１の位相が第１位相、第２位相、第３位相）の一部について撮像が完了していない場合、活性化光Ｌ１の位相を変更すると判定する。制御部４１は、活性化光Ｌ１の位相を変更すると判定した場合（ステップＳ８；Ｙｅｓ）、ステップＳ１に戻り、活性化光Ｌ１の位相を次の位相（例、第２位相）に変更する。そして、顕微鏡１は、ステップＳ２からステップＳ７の処理を繰り返す。 When the control unit 41 has not completed imaging for a part of the plurality of scheduled first conditions (eg, the phase of the activated light L1 is the first phase, the second phase, and the third phase), the activated light It is determined that the phase of L1 is changed. When the control unit 41 determines that the phase of the activation light L1 is to be changed (step S8; Yes), the control unit 41 returns to step S1 and changes the phase of the activation light L1 to the next phase (eg, the second phase). Then, the microscope 1 repeats the processes of steps S2 to S7.

ステップＳ８において、予定された複数の第１条件（例、活性化光Ｌ１の位相が第１位相、第２位相、第３位相）の全てについて撮像が完了している場合、制御部４１は、活性化光Ｌ１の位相を変更しないと判定する。制御部４１は、活性化光Ｌ１の位相を変更しないと判定した場合（ステップＳ８；Ｎｏ）、画像処理部４２に第２画像を生成させる。ステップＳ９において、画像処理部４２は、複数の第１画像（撮像画像）に基づいて、第１画像と解像度が異なる第２画像を生成する。例えば、画像処理部４２は、第２画像として、第１画像（撮像画像）よりも解像度が高い超解像画像を生成する。画像処理部４２は、複数の第１画像のデータを記憶装置７から読み出し、複数の第１画像に基づいて第１画像よりも解像度が高い第２画像を生成する。画像処理部４２は、生成した第２画像のデータを記憶装置７に記憶させる。制御装置５は、画像処理部４２が生成した第２画像を表示装置６に表示させる。なお、第２画像の解像度は、第１方向Ｄ１と第２方向Ｄ２との一方または双方において、第１画像の解像度よりも低くても構わない。 In step S8, when the imaging is completed for all of the plurality of scheduled first conditions (eg, the phases of the activated light L1 are the first phase, the second phase, and the third phase), the control unit 41 sets the control unit 41. It is determined that the phase of the activation light L1 is not changed. When the control unit 41 determines that the phase of the activation light L1 is not changed (step S8; No), the control unit 41 causes the image processing unit 42 to generate a second image. In step S9, the image processing unit 42 generates a second image having a resolution different from that of the first image based on the plurality of first images (captured images). For example, the image processing unit 42 generates a super-resolution image having a higher resolution than the first image (captured image) as the second image. The image processing unit 42 reads the data of the plurality of first images from the storage device 7, and generates a second image having a higher resolution than the first image based on the plurality of first images. The image processing unit 42 stores the generated data of the second image in the storage device 7. The control device 5 causes the display device 6 to display the second image generated by the image processing unit 42. The resolution of the second image may be lower than the resolution of the first image in one or both of the first direction D1 and the second direction D2.

ここで、本実施形態に係る照明光（活性化光Ｌ１、励起光Ｌ２、不活性化光Ｌ３）の照射タイミングおよび撮像タイミングについて説明する。図１３（Ａ）から（Ｃ）は、第１実施形態に係る照明光の照射タイミングおよび撮像タイミングを示すタイミングチャートである。ここでは、励起光Ｌ２の波長が、活性化光Ｌ１の波長と不活性化光Ｌ３の波長とのいずれとも異なるものとする。顕微鏡１の各部については、適宜、図１を参照する。 Here, the irradiation timing and the imaging timing of the illumination light (activating light L1, excitation light L2, deactivating light L3) according to the present embodiment will be described. 13 (A) to 13 (C) are timing charts showing the irradiation timing and the imaging timing of the illumination light according to the first embodiment. Here, it is assumed that the wavelength of the excitation light L2 is different from the wavelength of the activation light L1 and the wavelength of the deactivation light L3. For each part of the microscope 1, refer to FIG. 1 as appropriate.

まず、図１３（Ａ）に示すタイミングチャートについて説明する。照射部３は、期間Ｔ１において、活性化光Ｌ１を試料Ｓに照射する。照射部３は、期間Ｔ２において、励起光Ｌ２を試料Ｓに照射する。図１３（Ａ）において、期間Ｔ２の開始時は、期間Ｔ１の終了後である。図１３（Ａ）において、期間Ｔ２は、期間Ｔ１と重複しない期間である。 First, the timing chart shown in FIG. 13A will be described. The irradiation unit 3 irradiates the sample S with the activation light L1 during the period T1. The irradiation unit 3 irradiates the sample S with the excitation light L2 during the period T2. In FIG. 13A, the start time of the period T2 is after the end of the period T1. In FIG. 13A, the period T2 is a period that does not overlap with the period T1.

撮像部４は、期間Ｔ３において試料Ｓを撮像する。期間Ｔ３は、撮像素子３２において受光により発生する電荷を、撮像素子３２が蓄積する露光期間である。期間Ｔ３は、励起光Ｌ２の照射によって試料Ｓから蛍光Ｌが放射される期間を含むように設定される。図１３（Ａ）において、期間Ｔ３は、期間Ｔ２と同じ期間である。 The imaging unit 4 images the sample S during the period T3. The period T3 is an exposure period in which the image sensor 32 accumulates the electric charge generated by the light reception in the image sensor 32. The period T3 is set to include a period in which the fluorescence L is emitted from the sample S by irradiation with the excitation light L2. In FIG. 13A, the period T3 is the same period as the period T2.

照射部３は、期間Ｔ４において、不活性化光Ｌ３を試料Ｓに照射する。期間Ｔ４の開始時は、期間Ｔ３の終了後である。期間Ｔ４の終了後に次のフレームが予定されている場合、照射部３および撮像部４は、上述の処理を繰り返す。制御部４１は、照射部３を制御して上述のタイミングで照明光を試料Ｓに照射させ、撮像部４を制御して上述のタイミングで試料Ｓを撮像させる。 The irradiation unit 3 irradiates the sample S with the inactivating light L3 during the period T4. The start of period T4 is after the end of period T3. When the next frame is scheduled after the end of the period T4, the irradiation unit 3 and the imaging unit 4 repeat the above-mentioned processing. The control unit 41 controls the irradiation unit 3 to irradiate the sample S with the illumination light at the above timing, and controls the image pickup unit 4 to image the sample S at the above timing.

次に、図１３（Ｂ）に示すタイミングチャートについて説明する。図１３（Ｂ）において、励起光Ｌ２が試料Ｓに照射される期間Ｔ２は、活性化光Ｌ１が試料Ｓに照射される期間Ｔ１の少なくとも一部と重複する。期間Ｔ２は、期間Ｔ１と同じでもよい。また、期間Ｔ２は、期間Ｔ１の一部でもよい。また、期間Ｔ１は、期間Ｔ２の一部でもよい。撮像が実行される期間Ｔ３は、励起光Ｌ２の照射によって試料Ｓから蛍光Ｌが放射される期間を含むように設定される。期間Ｔ３は、期間Ｔ１の少なくとも一部と重複してもよい。また、期間Ｔ３は、期間Ｔ１と重複しなくてもよい。例えば、図１３（Ｂ）において、期間Ｔ１は、期間Ｔ１の終了後における期間Ｔ２を含むように設定されてもよい。 Next, the timing chart shown in FIG. 13B will be described. In FIG. 13B, the period T2 in which the excitation light L2 is irradiated on the sample S overlaps with at least a part of the period T1 in which the activation light L1 is irradiated on the sample S. The period T2 may be the same as the period T1. Further, the period T2 may be a part of the period T1. Further, the period T1 may be a part of the period T2. The period T3 in which the imaging is executed is set to include a period in which the fluorescence L is emitted from the sample S by the irradiation of the excitation light L2. The period T3 may overlap with at least a portion of the period T1. Further, the period T3 does not have to overlap with the period T1. For example, in FIG. 13B, the period T1 may be set to include the period T2 after the end of the period T1.

次に、図１３（Ｃ）に示すタイミングチャートについて説明する。図１３（Ｃ）において、励起光Ｌ２が試料Ｓに照射される期間Ｔ２は、撮像が実行される期間Ｔ３の一部である。このように、期間Ｔ３は、開始時と、終了時と、期間の長さとの少なくとも１つが期間Ｔ２と異なってもよい。期間Ｔ３は、期間Ｔ２の一部でもよい。なお、図１３（Ａ）のように、期間Ｔ１と期間Ｔ２とが重複しない場合についても同様に、期間Ｔ３は、開始時と、終了時と、期間の長さとの少なくとも１つが期間Ｔ２と異なってもよい。 Next, the timing chart shown in FIG. 13C will be described. In FIG. 13C, the period T2 in which the excitation light L2 is applied to the sample S is a part of the period T3 in which imaging is performed. Thus, the period T3 may differ from the period T2 in at least one of a start time, an end time, and a length of the period. The period T3 may be a part of the period T2. Similarly, when the period T1 and the period T2 do not overlap as shown in FIG. 13 (A), the period T3 is different from the period T2 in at least one of the start time, the end time, and the length of the period. You may.

図１４は、第１実施形態に係る観察方法の第２例を示すフローチャートである。図１４において、図１１と同様の処理については同じ符号を付してその説明を省略あるいは簡略化する。図１４において、ステップＳ１からステップＳ５の処理は、図１１と同様である。 FIG. 14 is a flowchart showing a second example of the observation method according to the first embodiment. In FIG. 14, the same processing as in FIG. 11 is designated by the same reference numerals, and the description thereof will be omitted or simplified. In FIG. 14, the processes from step S1 to step S5 are the same as those in FIG.

制御部４１は、ステップＳ５において試料Ｓを撮像部４にさせた後、ステップＳ１１において試料Ｓに不活性化光Ｌ３を照射させる。ステップＳ１１の処理は、図１１のステップＳ７と同様の内容であるが、実行される順番が図１１と異なる。制御部４１は、不活性化光Ｌ３が試料に照射された後、ステップＳ１２において励起光Ｌ２の位相を変更するか否かを判定する。ステップＳ１２の処理は、図１１のステップＳ６と同様の内容であるが、実行される順番が図１１と異なる。制御部４１は、励起光Ｌ２の位相を変更すると判定した場合（ステップＳ１１；Ｙｅｓ）、ステップＳ３に戻って励起光Ｌ２の位相を次の位相に設定し、ステップＳ４、ステップＳ５、ステップＳ１１、ステップＳ１２の処理を繰り返す。制御部４１は、励起光Ｌ２の位相を変更しないと判定した場合（ステップＳ１１；Ｎｏ）、ステップＳ８、ステップＳ９の処理を実行する。ステップＳ８、ステップＳ９の処理は、図１１と同様である。 The control unit 41 causes the sample S to be the imaging unit 4 in step S5, and then irradiates the sample S with the inactivating light L3 in step S11. The process of step S11 has the same contents as step S7 of FIG. 11, but the order of execution is different from that of FIG. The control unit 41 determines whether or not to change the phase of the excitation light L2 in step S12 after the sample is irradiated with the inactivating light L3. The process of step S12 has the same contents as step S6 of FIG. 11, but the order of execution is different from that of FIG. When the control unit 41 determines that the phase of the excitation light L2 is changed (step S11; Yes), the control unit 41 returns to step S3 and sets the phase of the excitation light L2 to the next phase, and steps S4, step S5, and step S11. The process of step S12 is repeated. When the control unit 41 determines that the phase of the excitation light L2 is not changed (step S11; No), the control unit 41 executes the processes of steps S8 and S9. The processes of steps S8 and S9 are the same as those in FIG.

ここで、励起光Ｌ２の波長が活性化光Ｌ１の波長または不活性化光Ｌ３の波長と同じである場合の照明光の照射タイミングおよび撮像タイミングについて説明する。励起光Ｌ２の波長が活性化光Ｌ１の波長と同じである場合、照射部３は、例えば図１３（Ａ）で説明したタイミングで照明光を試料Ｓに照射する。励起光Ｌ２が照射される期間Ｔ２は、活性化光Ｌ１が照射される期間Ｔ１と重複しない期間に設定されることが望ましい。撮像が実行される期間Ｔ３は、活性化光Ｌ１が照射される期間Ｔ１と重複しない期間に設定される。 Here, the irradiation timing and the imaging timing of the illumination light when the wavelength of the excitation light L2 is the same as the wavelength of the activation light L1 or the wavelength of the deactivation light L3 will be described. When the wavelength of the excitation light L2 is the same as the wavelength of the activation light L1, the irradiation unit 3 irradiates the sample S with the illumination light at the timing described in FIG. 13A, for example. It is desirable that the period T2 in which the excitation light L2 is irradiated is set to a period that does not overlap with the period T1 in which the activation light L1 is irradiated. The period T3 in which the imaging is executed is set to a period that does not overlap with the period T1 in which the activation light L1 is irradiated.

また、励起光Ｌ２の波長が不活性化光Ｌ３の波長と同じである場合、照射部３は、例えば図１３（Ａ）から図１３（Ｃ）のいずれかのタイミングで照明光を試料Ｓに照射する。励起光Ｌ２が照射される期間Ｔ２は、活性化光Ｌ１が照射される期間Ｔ１と重複しない期間でもよい。また、期間Ｔ２は、期間Ｔ１の少なくとも一部と重複する期間でもよい。また、撮像が実行される期間Ｔ３は、不活性化光Ｌ３が照射される期間Ｔ４と重複しない期間に設定される。 Further, when the wavelength of the excitation light L2 is the same as the wavelength of the inactivated light L3, the irradiation unit 3 uses the illumination light as the sample S at any of the timings of FIGS. 13 (A) to 13 (C), for example. Irradiate. The period T2 in which the excitation light L2 is irradiated may be a period that does not overlap with the period T1 in which the activation light L1 is irradiated. Further, the period T2 may be a period overlapping with at least a part of the period T1. Further, the period T3 in which the imaging is executed is set to a period that does not overlap with the period T4 in which the inactivated light L3 is irradiated.

なお、励起光Ｌ２の波長が活性化光Ｌ１または不活性化光Ｌ３の波長と異なる場合（図１１参照）に、図１４と同様に、ステップＳ５において試料を撮像するたびに不活性化光Ｌ３を試料Ｓに照射してもよい。図１２のように、活性化光Ｌ１の１つの位相について励起光Ｌ２の位相の変更が終了した後に不活性化光Ｌ３を照射する場合、図１４の処理を適用する場合に比べて、不活性化光Ｌ３を照射する処理の回数を減らすことができる。 When the wavelength of the excitation light L2 is different from the wavelength of the activation light L1 or the inactivation light L3 (see FIG. 11), the inactivation light L3 is taken every time the sample is imaged in step S5, as in FIG. May be irradiated to the sample S. As shown in FIG. 12, when the activation light L3 is irradiated after the phase change of the excitation light L2 is completed for one phase of the activation light L1, it is inactive as compared with the case where the process of FIG. 14 is applied. The number of processes for irradiating the chemical light L3 can be reduced.

実施形態に係る顕微鏡１は、活性化光Ｌ１の強度分布（例、縞パターン）の周期方向と励起光Ｌ２の強度分布（例、縞パターン）の周期方向とを変更しなくても２方向において第１画像と解像度が異なる（例、高い）第２画像を取得可能である。顕微鏡１は、例えば、照明光の縞パターンの周期方向を変更する構成を省くことができる。また、顕微鏡１は、例えば、照明光の縞パターンの周期方向を変更する処理を省くことによって、第２画像を高速で取得することができる。 The microscope 1 according to the embodiment has two directions without changing the periodic direction of the intensity distribution of the activated light L1 (eg, the stripe pattern) and the periodic direction of the intensity distribution of the excitation light L2 (eg, the stripe pattern). It is possible to acquire a second image having a resolution different from that of the first image (eg, high). The microscope 1 can omit, for example, a configuration in which the periodic direction of the fringe pattern of the illumination light is changed. Further, the microscope 1 can acquire the second image at high speed by omitting the process of changing the periodic direction of the fringe pattern of the illumination light, for example.

なお、顕微鏡１は、活性化光Ｌ１の強度が周期的に変化する第１方向Ｄ１と、励起光Ｌ２の強度が周期的に変化する第２方向Ｄ２との一方または双方を変更可能でもよい。例えば、顕微鏡１は、第１方向Ｄ１と第２方向Ｄ２とが固定された状態で第１画像を取得して第２画像を生成した後、第１方向Ｄ１と第２方向Ｄ２との一方または双方を変更して次の第１画像を取得して次の第２画像を生成してもよい。また、第１方向Ｄ１と第２方向Ｄ２との一方または双方は、試料Ｓにおいて観察対象の構造によって解像度が要求される方向に基づいて、設定されてもよい。また、顕微鏡１は、第２画像として三次元的な画像を生成してもよい。 The microscope 1 may be capable of changing one or both of the first direction D1 in which the intensity of the activation light L1 changes periodically and the second direction D2 in which the intensity of the excitation light L2 changes periodically. For example, the microscope 1 acquires a first image in a state where the first direction D1 and the second direction D2 are fixed to generate a second image, and then one or one of the first direction D1 and the second direction D2. You may change both to acquire the next first image and generate the next second image. Further, one or both of the first direction D1 and the second direction D2 may be set based on the direction in which the resolution is required by the structure of the observation target in the sample S. Further, the microscope 1 may generate a three-dimensional image as the second image.

なお、照射部３は、第１光源ＬＳ１と第２光源ＬＳ２との一方または双方を備えなくてもよい。例えば、顕微鏡１は、第１光源ＬＳ１を備えない状態で提供されてもよい。第１光源ＬＳ１は、顕微鏡１が使用される際に、顕微鏡１に取り付けられてもよい。第１光源ＬＳ１は、照射部３に対して交換可能（取り付け可能、取り外し可能）でもよい。また、顕微鏡１は、第２光源ＬＳ２を備えない状態で提供されてもよい。第２光源ＬＳ２は、顕微鏡１が使用される際に、顕微鏡１に取り付けられてもよい。第２光源ＬＳ２は、照射部３に対して交換可能（取り付け可能、取り外し可能）でもよい。 The irradiation unit 3 does not have to include one or both of the first light source LS1 and the second light source LS2. For example, the microscope 1 may be provided without the first light source LS1. The first light source LS1 may be attached to the microscope 1 when the microscope 1 is used. The first light source LS1 may be replaceable (attachable or removable) with respect to the irradiation unit 3. Further, the microscope 1 may be provided without the second light source LS2. The second light source LS2 may be attached to the microscope 1 when the microscope 1 is used. The second light source LS2 may be replaceable (attachable or removable) with respect to the irradiation unit 3.

なお、照射部３は、分岐部（例、分岐部１３、分岐部１５）として回折格子の代わりに空間光変調器（ＳＬＭ）を備えてもよい。空間光変調器は、例えば、二次元的に配列される複数の画素を有し、各画素に入射する光を画素ごとに変調可能である。位相設定部（第１位相設定部４５、第２位相設定部４６）は、例えば、空間光変調器において各画素における変調を制御する信号（例、画像信号、ビットマップデータ）を空間光変調器に供給することによって、縞パターンの位相を設定してもよい。 The irradiation unit 3 may be provided with a spatial light modulator (SLM) as a branch portion (eg, branch portion 13, branch portion 15) instead of the diffraction grating. The spatial light modulator has, for example, a plurality of pixels arranged two-dimensionally, and the light incident on each pixel can be modulated for each pixel. The phase setting unit (first phase setting unit 45, second phase setting unit 46) is, for example, a spatial light modulator that controls a signal (eg, an image signal, bitmap data) that controls modulation in each pixel in the spatial light modulator. The phase of the fringe pattern may be set by supplying to.

なお、制御部４１は、活性化光Ｌ１の位相と励起光Ｌ２の位相とに関する複数の条件を、いずれの順番で設定しても構わない。例えば、制御部４１は、励起光Ｌ２の位相を第４位相に設定した状態で、活性化光Ｌ１の位相を第１位相と第２位相と第３位相とで変更してもよい。また、第１画像を撮像する際の活性化光Ｌ１の位相の種類は、３種類（例、第１位相、第２位相、第３位相）でなくてもよく、２種類または４種類以上でもよい。また、第１画像を撮像する際の励起光Ｌ２の位相の種類は、３種類（例、第４位相、第５位相、第６位相）でなくてもよく、２種類または４種類以上でもよい。 The control unit 41 may set a plurality of conditions regarding the phase of the activation light L1 and the phase of the excitation light L2 in any order. For example, the control unit 41 may change the phase of the activation light L1 between the first phase, the second phase, and the third phase while the phase of the excitation light L2 is set to the fourth phase. Further, the type of the phase of the activated light L1 when capturing the first image does not have to be three types (eg, first phase, second phase, third phase), and may be two types or four or more types. good. Further, the type of the phase of the excitation light L2 when capturing the first image does not have to be three types (eg, fourth phase, fifth phase, sixth phase), and may be two types or four or more types. ..

なお、顕微鏡１は、表示装置６と記憶装置７との一方または双方を備えなくてもよい。顕微鏡１は表示装置６を備えない状態で提供され、表示装置６は、その使用時に顕微鏡１に取り付けられてもよい。また、顕微鏡１は記憶装置７を備えない状態で提供され、記憶装置７は、その使用時に顕微鏡１に取り付けられてもよい。 The microscope 1 does not have to include one or both of the display device 6 and the storage device 7. The microscope 1 is provided without the display device 6, and the display device 6 may be attached to the microscope 1 at the time of its use. Further, the microscope 1 is provided without the storage device 7, and the storage device 7 may be attached to the microscope 1 at the time of its use.

なお、実施形態に係る顕微鏡１は、第２画像として三次元的な画像を生成してもよい。また、実施形態に係る顕微鏡１は、非線形構造化照明顕微鏡に適用可能である。非線形構造化照明顕微鏡は、照明光の強度に対する蛍光の強度の非線形性を利用して超解像画像を生成する（例えば、“Nonlinear structured-illumination microscopy: Wide-field fluorescence imaging with theoretically unlimited resolution” Mats G. L. Gustafsson PNAS September 13, 2005. 102 (37) 13081-13086; https://doi.org/10.1073/pnas.0406877102を参照）。顕微鏡１が非線形構造化照明顕微鏡である場合、不活性化光Ｌ３として励起光Ｌ２と位相が１８０°ずれた縞パターンを用いてもよい。 The microscope 1 according to the embodiment may generate a three-dimensional image as the second image. Further, the microscope 1 according to the embodiment can be applied to a nonlinear structured illumination microscope. Non-linear structured illumination microscopes utilize the non-linearity of fluorescence intensity with respect to illumination light intensity to generate super-resolution images (eg, “Nonlinear structured-illumination microscopy: Wide-field fluorescence imaging with theoretically unlimited resolution” Mats. G. L. Gustafsson PNAS September 13, 2005. 102 (37) 13081-13086; see https://doi.org/10.1073/pnas.0406877102). When the microscope 1 is a non-linear structured illumination microscope, a fringe pattern that is 180 ° out of phase with the excitation light L2 may be used as the deactivating light L3.

なお、活性化光Ｌ１と励起光Ｌ２とで波長が同じである場合、活性化光Ｌ１の光量（例、光強度、照射時間）は、励起光Ｌ２の光量と異なってもよい。例えば、顕微鏡１は、活性化光Ｌ１の光量が励起光Ｌ２の光量よりも高い値に設定され、蛍光物質の活性化度を飽和させてもよい。また、励起光Ｌ２と不活性化光Ｌ３とで波長が同じである場合、不活性化光Ｌ３の光量（例、光強度、照射時間）は、励起光Ｌ２の光量と異なってもよい。例えば、顕微鏡１は、不活性化光Ｌ３の光量が励起光Ｌ２の光量よりも高い値に設定され、蛍光物質の不活性化度を飽和させてもよい。 When the wavelengths of the activation light L1 and the excitation light L2 are the same, the light amount of the activation light L1 (eg, light intensity, irradiation time) may be different from the light amount of the excitation light L2. For example, in the microscope 1, the light amount of the activation light L1 may be set to a value higher than the light amount of the excitation light L2, and the degree of activation of the fluorescent substance may be saturated. Further, when the wavelengths of the excitation light L2 and the inactivation light L3 are the same, the light amount of the inactivation light L3 (eg, light intensity, irradiation time) may be different from the light amount of the excitation light L2. For example, in the microscope 1, the amount of the inactivating light L3 may be set to a value higher than the amount of the excitation light L2, and the degree of inactivation of the fluorescent substance may be saturated.

上述の実施形態において、制御装置５は、例えばコンピュータシステムを含む。制御装置５は、記憶装置７に記憶されている制御プログラムを読み出し、この制御プログラムに従って各種の処理を実行する。この制御プログラムは、コンピュータに、蛍光物質を含む試料が配置される試料面上の第１方向において強度が周期的に変化し蛍光物質を活性化する活性化光と、試料面上で第１方向に交差する第２方向において強度が周期的に変化し活性化光によって活性化した蛍光物質を励起する励起光とを試料に照射する制御と、第１方向における活性化光の強度分布を変更する制御と、第２方向における励起光の強度分布を変更する制御と、活性化光の照射と励起光の照射とによって試料から放射される蛍光の像を撮像する制御と、を実行させる。この制御プログラムは、コンピュータ読み取り可能な記憶媒体（例、非一時的な記録媒体、non-transitory tangible media）に記録されて提供されてもよい。 In the above-described embodiment, the control device 5 includes, for example, a computer system. The control device 5 reads out the control program stored in the storage device 7 and executes various processes according to the control program. This control program uses activation light that periodically changes the intensity in the first direction on the sample surface on which the sample containing the fluorescent substance is placed to activate the fluorescent substance, and the first direction on the sample surface. Control to irradiate the sample with excitation light that excites the fluorescent substance activated by the activation light whose intensity changes periodically in the second direction intersecting with, and changes the intensity distribution of the activation light in the first direction. The control is performed, the control for changing the intensity distribution of the excitation light in the second direction, and the control for capturing the image of the fluorescence emitted from the sample by the irradiation of the activation light and the irradiation of the excitation light are executed. This control program may be recorded and provided on a computer-readable storage medium (eg, non-transitory tangible media).

なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。 The technical scope of the present invention is not limited to the embodiments described in the above-described embodiments. One or more of the requirements described in the above embodiments and the like may be omitted. Further, the requirements described in the above-described embodiments and the like can be appropriately combined. In addition, to the extent permitted by law, the disclosure of all documents cited in the above-mentioned embodiments and the like shall be incorporated as part of the description in the main text.

１・・・顕微鏡、３・・・照射部、４・・・撮像部、Ｓ・・・試料、Ｓａ・・・試料面、４１・・・制御部、４２・・・画像処理部、４５・・・第１位相設定部、４６・・・第２位相設定部、５４・・・第３位相設定部、Ｄ１・・・第１方向、Ｄ２・・・第２方向、Ｌ・・・蛍光、Ｌ１・・・活性化光、Ｌ２・・・励起光、Ｌ３・・・不活性化光 1 ... Microscope, 3 ... Irradiation section, 4 ... Imaging section, S ... Sample, Sa ... Sample surface, 41 ... Control section, 42 ... Image processing section, 45. 1st phase setting unit, 46 ... 2nd phase setting unit, 54 ... 3rd phase setting unit, D1 ... 1st direction, D2 ... 2nd direction, L ... fluorescence, L1 ... activation light, L2 ... excitation light, L3 ... inactivation light

Claims (14)

蛍光物質を含む試料が配置される試料面上の第１方向において強度が周期的に変化し前記蛍光物質を活性化する活性化光と、前記試料面上で前記第１方向に交差する第２方向において強度が周期的に変化し前記活性化光によって活性化した前記蛍光物質を励起する励起光とを前記試料に照射する照射部と、
前記第１方向における前記活性化光の強度分布と、前記第２方向における前記励起光の強度分布とを変更する制御部と、
前記活性化光の照射と前記励起光の照射とによって前記試料から放射される蛍光の像を撮像する撮像部と、
前記撮像部が撮像して得られる第１画像に基づいて、前記第１画像と解像度が異なる第２画像を生成する画像処理部と、を備える顕微鏡。 The activation light whose intensity changes periodically in the first direction on the sample surface on which the sample containing the fluorescent substance is placed to activate the fluorescent substance and the second light intersecting the first direction on the sample surface. An irradiation unit that irradiates the sample with excitation light that excites the fluorescent substance activated by the activation light whose intensity changes periodically in the direction.
A control unit that changes the intensity distribution of the activation light in the first direction and the intensity distribution of the excitation light in the second direction.
An imaging unit that captures an image of fluorescence emitted from the sample by the irradiation of the activation light and the irradiation of the excitation light.
A microscope including an image processing unit that generates a second image having a resolution different from that of the first image based on the first image obtained by the image pickup unit. 前記制御部は、前記第１方向における活性化光の強度分布の位相と、前記第２方向における前記励起光の強度分布の位相と、を変更する、
請求項１に記載の顕微鏡。 The control unit changes the phase of the intensity distribution of the activation light in the first direction and the phase of the intensity distribution of the excitation light in the second direction.
The microscope according to claim 1. 前記第１方向における前記活性化光の強度分布の位相を設定する第１位相設定部を備え、
前記制御部は、前記第１位相設定部および前記撮像部を制御して、前記第１方向における前記活性化光の強度分布の位相が異なる複数の第１条件で前記撮像部に撮像させ、
前記画像処理部は、前記複数の第１条件で前記撮像部が撮像して得られる複数の画像を前記第１画像として用いて、前記第２画像を生成する、
請求項１または請求項２に記載の顕微鏡。 A first phase setting unit for setting the phase of the intensity distribution of the activation light in the first direction is provided.
The control unit controls the first phase setting unit and the image pickup unit to cause the image pickup unit to take an image under a plurality of first conditions in which the phases of the intensity distributions of the activation light in the first direction are different.
The image processing unit generates the second image by using a plurality of images obtained by the image pickup unit under the plurality of first conditions as the first image.
The microscope according to claim 1 or 2. 前記第２方向における前記励起光の強度分布の位相を設定する第２位相設定部を備え、
前記制御部は、前記第２位相設定部および前記撮像部を制御して、前記第２方向における前記励起光の強度分布の位相が異なる複数の第２条件で前記撮像部に撮像させ、
前記画像処理部は、前記複数の第２条件で前記撮像部が撮像して得られる複数の画像を前記第１画像として用いて、前記第２画像を生成する、
請求項１から請求項３のいずれか一項に記載の顕微鏡。 A second phase setting unit for setting the phase of the intensity distribution of the excitation light in the second direction is provided.
The control unit controls the second phase setting unit and the image pickup unit to cause the image pickup unit to take an image under a plurality of second conditions in which the phases of the intensity distributions of the excitation light in the second direction are different.
The image processing unit generates the second image by using a plurality of images obtained by the image pickup unit under the plurality of second conditions as the first image.
The microscope according to any one of claims 1 to 3. 前記制御部は、前記第１方向における前記活性化光の強度分布の位相が異なる複数の第１条件で前記活性化光を照射させ、前記第２方向における前記励起光の強度分布の位相が異なる複数の第２条件で前記励起光を照射させる、
請求項１から請求項４のいずれか一項に記載の顕微鏡。 The control unit irradiates the activation light under a plurality of first conditions in which the phases of the intensity distribution of the activation light in the first direction are different, and the phases of the intensity distribution of the excitation light in the second direction are different. Irradiating the excitation light under a plurality of second conditions,
The microscope according to any one of claims 1 to 4. 前記複数の第１条件は、前記第１方向における前記活性化光の強度分布の位相が互いに異なる３つの条件を含む、請求項３又は請求項５に記載の顕微鏡。 The microscope according to claim 3 or 5, wherein the plurality of first conditions include three conditions in which the phases of the intensity distributions of the activated light in the first direction are different from each other. 前記複数の第２条件は、前記第２方向における前記励起光の強度分布の位相が互いに異なる３つの条件を含む、請求項４又は請求項５に記載の顕微鏡。 The microscope according to claim 4 or 5, wherein the plurality of second conditions include three conditions in which the phases of the intensity distributions of the excitation light in the second direction are different from each other. 前記第１方向と前記第２方向とがなす角度は、８５°以上９５°以下である、
請求項１から請求項７のいずれか一項に記載の顕微鏡。 The angle formed by the first direction and the second direction is 85 ° or more and 95 ° or less.
The microscope according to any one of claims 1 to 7. 前記照射部は、前記活性化光によって活性化した前記蛍光物質を不活性化する不活性化光を前記試料に照射する、
請求項１から請求項８のいずれか一項に記載の顕微鏡。 The irradiation unit irradiates the sample with inactivating light that inactivates the fluorescent substance activated by the activation light.
The microscope according to any one of claims 1 to 8. 前記励起光の波長は、前記活性化光の波長と前記不活性化光の波長とのいずれとも異なり、
前記制御部は、前記活性化光と前記励起光との一方の光の位相を所定値に設定した状態で他方の光の位相を複数の値に順に設定し、前記他方の光の位相が前記複数の値のそれぞれに設定された状態で前記撮像部に撮像を実行させた後に、前記不活性化光を照射させる、
請求項９に記載の顕微鏡。 The wavelength of the excitation light is different from the wavelength of the activation light and the wavelength of the deactivation light.
The control unit sets the phase of the other light to a plurality of values in a state where the phase of one of the activation light and the excitation light is set to a predetermined value, and the phase of the other light is the said. After the imaging unit is made to perform imaging in a state set to each of a plurality of values, the inactivating light is irradiated.
The microscope according to claim 9. 前記励起光の波長は、前記活性化光の波長または前記不活性化光の波長と同じであり、
前記制御部は、前記励起光の位相を変更するたびに前記不活性化光を照射させる、
請求項９に記載の顕微鏡。 The wavelength of the excitation light is the same as the wavelength of the activation light or the wavelength of the deactivation light.
The control unit irradiates the inactivating light each time the phase of the excitation light is changed.
The microscope according to claim 9. 前記画像処理部は、前記第１画像をフーリエ変換して得られる周波数領域の成分のうち前記周波数領域の原点を中心とする点対称な形状の領域の成分を抽出して、前記第２画像を生成する、
請求項１から請求項１１のいずれか一項に記載の顕微鏡。 The image processing unit extracts a component of a region having a point-symmetrical shape centered on the origin of the frequency domain from the components of the frequency domain obtained by Fourier transforming the first image, and obtains the second image. Generate,
The microscope according to any one of claims 1 to 11. 蛍光物質を含む試料が配置される試料面上の第１方向において強度が周期的に変化し前記蛍光物質を活性化する活性化光と、前記試料面上で前記第１方向に交差する第２方向において強度が周期的に変化し前記活性化光によって活性化した前記蛍光物質を励起する励起光とを前記試料に照射することと、
前記第１方向における前記活性化光の強度分布を変更することと、
前記第２方向における前記励起光の強度分布を変更することと、
前記活性化光の照射と前記励起光の照射とによって前記試料から放射される蛍光の像を撮像することと、
前記撮像によって得られる第１画像に基づいて、前記第１画像と解像度が異なる第２画像を生成することと、を含む観察方法。 The activation light whose intensity changes periodically in the first direction on the sample surface on which the sample containing the fluorescent substance is placed to activate the fluorescent substance and the second light intersecting the first direction on the sample surface. Irradiating the sample with excitation light that excites the fluorescent substance activated by the activation light whose intensity changes periodically in the direction.
Changing the intensity distribution of the activated light in the first direction and
Changing the intensity distribution of the excitation light in the second direction and
Taking an image of the fluorescence emitted from the sample by the irradiation of the activation light and the irradiation of the excitation light, and
An observation method comprising generating a second image having a resolution different from that of the first image based on the first image obtained by the imaging. コンピュータに、
蛍光物質を含む試料が配置される試料面上の第１方向において強度が周期的に変化し前記蛍光物質を活性化する活性化光と、前記試料面上で前記第１方向に交差する第２方向において強度が周期的に変化し前記活性化光によって活性化した前記蛍光物質を励起する励起光とを前記試料に照射する制御と、
前記第１方向における前記活性化光の強度分布を変更する制御と、
前記第２方向における前記励起光の強度分布を変更する制御と、
前記活性化光の照射と前記励起光の照射とによって前記試料から放射される蛍光の像を撮像する制御と、を実行させる制御プログラム。 On the computer
The activation light whose intensity changes periodically in the first direction on the sample surface on which the sample containing the fluorescent substance is placed to activate the fluorescent substance and the second light intersecting the first direction on the sample surface. Control of irradiating the sample with excitation light that excites the fluorescent substance activated by the activation light whose intensity changes periodically in the direction.
Control to change the intensity distribution of the activated light in the first direction, and
Control to change the intensity distribution of the excitation light in the second direction, and
A control program for executing control of capturing an image of fluorescence emitted from the sample by irradiation of the activation light and irradiation of the excitation light.
JP2018143686A 2018-07-31 2018-07-31 Microscope, observation method, and control program Active JP7099143B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018143686A JP7099143B2 (en) 2018-07-31 2018-07-31 Microscope, observation method, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018143686A JP7099143B2 (en) 2018-07-31 2018-07-31 Microscope, observation method, and control program

Publications (2)

Publication Number Publication Date
JP2020020929A JP2020020929A (en) 2020-02-06
JP7099143B2 true JP7099143B2 (en) 2022-07-12

Family

ID=69588993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018143686A Active JP7099143B2 (en) 2018-07-31 2018-07-31 Microscope, observation method, and control program

Country Status (1)

Country Link
JP (1) JP7099143B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130286179A1 (en) 2012-04-29 2013-10-31 Periodic Structures, Inc. Apparatus and methods for microscopy having resolution beyond the Abbe limit
JP2014517352A (en) 2011-06-09 2014-07-17 カール ツァイス マイクロスコピー ゲーエムベーハー High resolution luminescence microscopy
WO2016125281A1 (en) 2015-02-05 2016-08-11 株式会社ニコン Structured illumination microscope, observation method, and control program
DE102016007839A1 (en) 2016-06-28 2017-12-28 Horst Wochnowski High-resolution method for microscopy and nanostructuring of substrate surfaces based on the SIM method (Structured Illumination Microscopy)

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014517352A (en) 2011-06-09 2014-07-17 カール ツァイス マイクロスコピー ゲーエムベーハー High resolution luminescence microscopy
US20130286179A1 (en) 2012-04-29 2013-10-31 Periodic Structures, Inc. Apparatus and methods for microscopy having resolution beyond the Abbe limit
WO2016125281A1 (en) 2015-02-05 2016-08-11 株式会社ニコン Structured illumination microscope, observation method, and control program
DE102016007839A1 (en) 2016-06-28 2017-12-28 Horst Wochnowski High-resolution method for microscopy and nanostructuring of substrate surfaces based on the SIM method (Structured Illumination Microscopy)

Also Published As

Publication number Publication date
JP2020020929A (en) 2020-02-06

Similar Documents

Publication Publication Date Title
CN110178069B (en) Microscope apparatus, method and system
JP5738765B2 (en) Improved method and apparatus for microscopy with structured illumination
JP6635052B2 (en) Structured illumination microscope and observation method
JP5554965B2 (en) Laser microscope using phase modulation spatial light modulator
US8705172B2 (en) Microscopy method and microscope with enhanced resolution
US20180048811A1 (en) Patterned-illumination systems adopting a computational illumination
JP5888416B2 (en) Structured illumination microscope
US7619732B2 (en) Method and microscope for high spatial resolution examination of samples
JP6000554B2 (en) Microscope system
JP2016534389A (en) Aperture scanning Fourier typography imaging
CN110954523B (en) Two-photon scanning structure light microscopic imaging method and device
JP2004199063A (en) Confocal microscope
US20130100283A1 (en) Image generation device
JP2016133668A (en) Pattern projection device, pattern projection method and phase modulation amount setting method
CN108351503B (en) Image acquisition device, image acquisition method, and spatial light modulation unit
CN108351502A (en) Image capturing device, image acquisition method and spatial light modulation unit
CN107272218B (en) High speed structured light imaging system
JP7099143B2 (en) Microscope, observation method, and control program
Nikolenko et al. A portable laser photostimulation and imaging microscope
Wicker Super-resolution fluorescence microscopy using structured illumination
CN109656028A (en) A kind of system and method generating diffraction light-free
JP2019204002A (en) Microscope, image analysis device, observation method, and analysis program
JPWO2018150471A1 (en) Structured illumination microscope, observation method, and program
WO2017082357A1 (en) Super-resolution microscope
WO2021097482A1 (en) Random access projection microscopy

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220613

R150 Certificate of patent or registration of utility model

Ref document number: 7099143

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150