WO2015052936A1 - 構造化照明顕微鏡装置 - Google Patents

Abstract

　構造化顕微鏡装置は、標本を空間変調する縞の波数ベクトルと位相との組み合わせを制御してＮ枚の画像を取得する一連の処理を繰り返す取得手段と、前記画像がＬ枚取得される度に最新となる連続Ｐ枚の画像セットのうち必要なＭ種類の画像を用いて前記標本の像を復調する処理を前記画像セットごとに行う演算手段とを備える。前記Ｍ種類の画像には、「前記波数ベクトルの関係が互いに閉じた関係であるＱ種類（Ｑ≧３）の変調画像」、「前記Ｑ種類の変調画像のうち少なくとも１種類との間で前記波数ベクトルが共通かつ前記位相の異なる１種類の変調画像、又は、１枚の無変調画像」が含まれ、前記Ｎ枚の画像の配列は、「均一条件：前記縞の強度分布を前記Ｎ枚の画像間で積算すると空間的に一様になる」、「更新条件：前記画像セットには前記Ｍ種類の画像が必ず含まれる」を満たす。

Description

構造化照明顕微鏡装置

　本発明は、構造化照明顕微鏡装置に関する。

　生体標本などの被観察物を超解像観察するための手法に、被観察物の構造の空間周波数を照明光で変調する手法がある（特許文献１を参照）。

　この手法では、空間変調された照明光で被観察物を照明し、被観察物の構造に含まれる解像限界を超える高い空間周波数の情報を、顕微鏡光学系の結像に寄与させる。また、空間照明の位相を切り替え、互いに異なる位相の下で得られた複数の変調像のデータ（以下、「変調画像」と称す。）へ演算を施すことにより、復調像のデータ（以下、「復調画像」又は「超解像画像」と称す。）を取得する。

米国再発行特許発明第３８３０７号明細書

　しかし、１枚の超解像画像を観察するためには、複数枚の変調画像を取得し、それら変調画像の各々のスペクトルを生成する必要があるため、高速に観察することが難しい。

　そこで本発明は、変調画像から超解像画像（復調画像）を取得するための復調演算を効率化することを目的とする。

　本発明の構造化照明顕微鏡装置の一例は、標本を空間変調する縞の波数ベクトルと位相との組み合わせを制御し、前記標本に関するＮ枚の画像を順次に取得する一連の処理を繰り返す取得手段と、前記画像がＬ枚取得される度に最新となる連続Ｐ枚の画像セットから、必要なＭ種類の画像を用いて前記標本の像を復調する処理を、前記画像セットごとに行う演算手段とを備える。

　なお、前記Ｍ種類の画像には、以下の画像が含まれる。

　・前記波数ベクトルの関係が互いに閉じた関係であるＱ種類（Ｑ≧３）の変調画像。

　・前記Ｑ種類の変調画像のうち少なくとも１種類との間で前記波数ベクトルが共通かつ前記位相の異なる１種類の変調画像、又は、１枚の無変調画像。

　また、前記Ｎ枚の画像の配列は、以下の条件を満たす。

　・均一条件：前記縞の強度分布を前記Ｎ枚の画像間で積算すると空間的に一様になる。

　・更新条件：前記画像セットには前記Ｍ種類の画像が必ず含まれる。

　本発明の構造化照明顕微鏡装置の他の例は、回折格子と、光源からの光を、前記回折格子を介して又は前記回折格子を介さずに被観察物へ投影する投影光学系と、前記回折格子のパターンの方向及び位相を制御する制御部と、前記回折格子のパターンの投影された前記被観察物の像を形成する結像光学系と、前記結像光学系が形成した前記像を撮像して画像を生成する撮像素子と、前記撮像素子が生成する、少なくとも１枚の無変調画像と、少なくとも３方向の回折格子のパターンに基づいて生成された画像とに基づいて、前記被観察物の超解像画像を生成する演算手段とを備える。そして、前記制御部は、前記超解像画像が複数生成される際に、少なくとも１方向の回折格子のパターンが、前記被観察物に一様に照明されるように制御する。

　本発明の構造化照明顕微鏡装置のさらに他の例は、回折格子と、光源からの光を、前記回折格子を介して又は前記回折格子を介さずに被観察物へ投影する投影光学系と、前記回折格子のパターンの方向及び位相を制御する制御部と、前記回折格子のパターンの投影された前記被観察物の像を形成する結像光学系と、前記結像光学系が形成した前記像を撮像して画像を生成する撮像素子と、前記撮像素子が生成する、少なくとも３方向の回折格子のパターンに基づいて生成された画像に基づき、前記被観察物の超解像画像を生成する演算手段とを備える。そして、前記制御部は、前記超解像画像が生成される際に少なくとも１方向の回折格子のパターンが前記被観察物に一様に照明されない場合には、前記超解像画像が複数生成される際に、少なくとも１方向の回折格子のパターンが、前記被観察物に一様に照明されるように制御する。

　本発明の構造化照明顕微鏡装置のさらに他の例は、回折格子と、光源からの光を、前記回折格子を介して又は前記回折格子を介さずに被観察物へ投影する投影光学系と、前記回折格子のパターンの方向及び位相を制御する制御部と、前記回折格子のパターンの投影された前記被観察物の像を形成する結像光学系と、前記結像光学系が形成した前記像を撮像して画像を生成する撮像素子と、前記撮像素子が生成する、少なくとも１枚の無変調画像と、少なくとも３方向の回折格子のパターンに基づいて生成された画像とに基づいて、前記被観察物の超解像画像を生成する演算手段とを備える。そして、前記制御部は、前記超解像画像が複数生成される際に、少なくとも１方向の回折格子のパターンの位相を変化させる。

　本発明の構造化照明顕微鏡装置のさらに他の例は、回折格子と、光源からの光を、前記回折格子を介して又は前記回折格子を介さずに被観察物へ投影する投影光学系と、前記回折格子のパターンの方向及び位相を制御する制御部と、前記回折格子のパターンの投影された前記被観察物の像を形成する結像光学系と、前記結像光学系が形成した前記像を撮像して画像を生成する撮像素子と、前記撮像素子が生成する、少なくとも３方向の回折格子のパターンに基づいて生成された画像に基づき、前記被観察物の超解像画像を生成する演算手段とを備える。そして、前記制御部は、前記超解像画像が生成される際に少なくとも１方向の回折格子のパターンが前記被観察物に一様に照明されない場合には、前記超解像画像が複数生成される際に、少なくとも１方向の回折格子のパターンの位相を変化させる。

第１実施形態の構造化照明顕微鏡装置１の構成図である。 光束分岐部１４を説明する図である。 光束選択部１８の１／２波長板１９の機能を説明する図である。 光束選択部１８の光束選択部材２０の機能を説明する図である。 光束選択部１８の機能を説明する図である。 光束選択部１８の回動機構１８Ａを説明する図である。 光束分岐部１４の並進機構１５の動作を説明する図である。 ３Ｄ－ＳＩＭモード用の光束選択部材２０’を説明する図である。 従来の２Ｄ－ＳＩＭモードの復調演算を説明する図である。 従来の２Ｄ－ＳＩＭで使用される行列Ｍの条件数の逆数の分布である。 第１．３節の復調演算を説明する図である。 （Ａ）は、Δφ≠πのときに復元可能な範囲を示し、（Ｂ）は、Δφ＝πのときに復元可能な範囲を示す。 第１．３節において干渉縞の方向数を３とした場合に復元可能な範囲を示す。 （Ａ）は、第１．４節の第１ステップで復元可能な領域であり、（Ｂ）は、第２ステップで復元可能な領域である。 （Ａ）は、第１．４節の第３ステップで復元可能な領域であり、（Ｂ）は、第４ステップで復元可能な領域である。 （Ａ）は、第１．４節の式１．２７の図解であり、（Ｂ）は、式１．２７の変形版の図解である。 第１．５節の第１の例による復元領域である。 第１．５節の第２の例による復元領域である。 第１．６節における式１．３３の図解である。 第１．６節で復元される領域である。 第１．６節の式１．３３を詳細に説明する図である。 第１．９節における式１．６３の図解である。 ３方向干渉縞の格子構造と、格子の基本ベクトルａ_１、ａ_２との関係を示す図である。 ４枚の変調画像の間における干渉縞強度分布の関係を示す図である。 ３方向干渉縞の投影方法を説明する図である。 ３方向干渉縞の別の投影方法を説明する図である。 従来の３Ｄ－ＳＩＭの復調画像の周波数域を示す図である。（Ａ）はｘｙ断面、（Ｂ）は、ｚｘ断面である。 第２．４節における復調画像の周波数域を示す図である。（Ａ）はｘｙ断面、（Ｂ）は、ｚｘ断面である。

　以下、本発明の実施形態として構造化照明顕微鏡装置を説明する。

　［装置の説明］
　先ず、構造化照明顕微鏡装置の構成を説明する。以下では構造化照明顕微鏡装置を全反射蛍光顕微鏡（ＴＩＲＦＭ：Total Internal Reflection Fluorescence  Microscopy）として使用する場合も適宜併せて説明する。

　図１は、構造化照明顕微鏡装置１の構成図である。図１に示すとおり構造化照明顕微鏡装置１には、レーザユニット１００と、光ファイバ１１と、照明光学系１０と、結像光学系３０と、撮像素子４２と、制御装置４３と、画像記憶・演算装置４４と、画像表示装置４５とが備えられる。なお、照明光学系１０は落射型であり、結像光学系３０の対物レンズ３１及びダイクロイックミラー３３を利用して標本２の照明を行う。

　レーザユニット１００には、第１レーザ光源１０１、第２レーザ光源１０２、シャッタ１０３、１０４、ミラー１０５、ダイクロイックミラー１０６、レンズ１０７が備えられる。第１レーザ光源１０１及び第２レーザ光源１０２の各々は、可干渉性の高いレーザ光を出射する光源であって、互いの出射波長は異なる。ここでは、第１レーザ光源１０１の波長λ１は、第２レーザ光源１０２の波長λ２よりも長いと仮定する（λ１＞λ２）。これらの第１レーザ光源１０１、第２レーザ光源１０２、シャッタ１０３、１０４は、それぞれ制御装置４３によって駆動・制御される。

　光ファイバ１１は、レーザユニット１００から射出したレーザ光を導光するために、例えば、偏波面保存型のシングルモードファイバによって構成される。この光ファイバ１１の出射端の光軸Ｏ方向の位置は、位置調節機構１１Ａによって調節可能である。この位置調整機構１１Ａは、制御装置４３によって駆動・制御される。なお、位置調整機構１１Ａとしては、例えば、ピエゾ素子等が用いられる。

　照明光学系１０には、光ファイバ１１の出射端側から順に、コレクタレンズ１２と、偏光板１３と、光束分岐部１４と、集光レンズ１７と、光束選択部１８と、レンズ２１と、視野絞り２２と、フィールドレンズ２３と、励起フィルタ２４と、ダイクロイックミラー３３と、対物レンズ３１とが配置される。

　なお、光ファイバ１１として偏波面保存型のシングルモードファイバを使用した場合は、光ファイバ１１の前後でレーザ光の偏波面が保存されるので、偏光板１３は非必須であるが、レーザ光の偏光の品質を保つためには有効である。一方、光ファイバ１１としてマルチモードファイバを使用した場合、偏光板１３は必須である。

　光束分岐部１４には、並進機構１５と、回折光学素子（回折格子）１６とが備えられ、光束選択部１８には、１／２波長板１９と、光束選択部材２０と、回動機構１８Ａとが備えられる。これらの光束分岐部１４、光束選択部１８の各々は、制御装置４３によって駆動・制御される。

　結像光学系３０には、標本２の側から順に、対物レンズ３１と、ダイクロイックミラー３３と、吸収フィルタ３４と、第２対物レンズ３５とが配置される。

　標本２は、例えば、平行平板状のガラス表面に配置された蛍光性の細胞（蛍光色素で染色された細胞）や、シャーレ内に存在する蛍光性の生体細胞（蛍光色素で染色された動く細胞）などの細胞である。この細胞には、波長λ１の光によって励起される第１蛍光領域と、波長λ２の光によって励起される第２蛍光領域との双方が発現している。

　構造化照明顕微鏡装置１がＴＩＲＦＭ（全反射蛍光顕微鏡）として使用される場合、対物レンズ３１は、液浸型（油浸型）の対物レンズとして構成される。つまり、対物レンズ３１と標本２のガラスとの間隙は、不図示の浸液（油）で満たされる。

　撮像素子４２は、ＣＣＤやＣＭＯＳ等からなる二次元の撮像素子である。撮像素子４２は、制御装置４３によって駆動されると、その撮像面４１に形成された像を撮像し、画像を生成する。この画像は、制御装置４３を介して画像記憶・演算装置４４へと取り込まれる。なお、撮像素子４２のフレーム周期（撮像の繰り返し周期）は、撮像素子の撮像時間（すなわち電荷蓄積及び電荷読出に要する時間）、干渉縞の方向切り換えに要する時間、その他の所要時間のうち、律速によって定められる。

　制御装置４３は、レーザユニット１００、位置調整機構１１Ａ、光束分岐部１４、光束選択部１８、撮像素子４２を駆動制御する。

　画像記憶・演算装置４４は、制御装置４３を介して与えられた画像に対して演算を施し、演算後の画像を不図示の内部メモリに格納すると共に、画像表示装置４５へ送出する。

　次に、構造化照明顕微鏡装置１におけるレーザ光の振る舞いを説明する。

　第１レーザ光源１０１から射出した波長λ１のレーザ光（第１レーザ光）は、シャッタ１０３を介してミラー１０５へ入射すると、ミラー１０５を反射し、ダイクロイックミラー１０６へ入射する。一方、第２レーザ光源１０２から射出した波長λ２のレーザ光（第２レーザ光）は、シャッタ１０４を介してビームスプリッタ１０６へ入射し、第１レーザ光と統合される。ダイクロイックミラー１０６から射出した第１レーザ光及び第２レーザ光は、レンズ１０７を介して光ファイバ１１の入射端に入射する。なお、制御装置４３がレーザユニット１００を制御すると、光ファイバ１１の入射端に入射するレーザ光の波長（＝使用波長λ）は、長い波長λ１と短い波長λ２との間で切り替わる。

　光ファイバ１１の入射端に入射したレーザ光は、光ファイバ１１の内部を伝搬して光ファイバ１１の出射端に点光源を生成する。その点光源から射出したレーザ光は、コレクタレンズ１２によって平行光束に変換され、偏光板１３を介して光束分岐部１４の回折格子１６へ入射すると、各次数の回折光束に分岐される。これら各次数の回折光束（以下、必要に応じて「回折光束群」と称す。）は、集光レンズ１７によって瞳共役面２５の互いに異なる位置に集光される。

　ここで、瞳共役面２５は、対物レンズ３１の瞳３２（±１次回折光が集光する位置）に対してレンズ２３、レンズ２１を介して共役な位置のことである。集光レンズ１７は、集光レンズ１７の焦点位置（後ろ側焦点位置）が瞳共役面２５と一致するように配置されている。なお、「共役な位置」の概念には、当業者が対物レンズ１７、レンズ２１、２３の収差、ビネッティング等、設計上必要な事項を考慮して決定した位置も含まれる。

　なお、光ファイバ１１から射出したレーザ光は基本的に直線偏光しているので、偏光板１３は、省略することも可能であるが、余分な偏光成分を確実にカットするために有効である。また、レーザ光の利用効率を高めるため、偏光板１３の軸は、光ファイバ１１から射出したレーザ光の偏光方向に一致していることが望ましい。

　瞳共役面２５に向かった各次数の回折光束は、瞳共役面２５の近傍に配置された光束選択部１８へ入射する。

　構造化照明顕微鏡装置１がＴＩＲＦＭとして利用される場合、光束選択部１８は、入射した各次数の回折光束のうち、１対の回折光束のみ（ここでは±１次回折光束のみ）を選択的に通過させる。

　光束選択部１８を通過した±１次回折光束は、レンズ２１によって視野絞り２２付近で回折格子１６と共役な面を形成する。その後、±１次回折光束の各々は、フィールドレンズ２３により収束光に変換され、さらに励起フィルタ２４を経てからダイクロイックミラー３３で反射し、対物レンズ３１の瞳面３２上の互いに異なる位置に集光される。

　瞳面３２上に集光した±１次回折光束の各々は、対物レンズ３１の先端から射出される際には平行光束となり、標本２の表面で互いに重なり合い、干渉縞を形成する。この干渉縞が、構造化照明光として使用される。

　なお、ＴＩＲＦ条件を満たすためには、瞳面３２における±１次回折光束の集光点は、瞳面３２の最外周における所定の輪帯状領域に位置していればよい。この場合、標本２の表面近傍には、干渉縞によるエバネッセント場が生起する。

　このような構造化照明光により標本２を照明すると、構造化照明光の周期構造と標本２の（蛍光領域の）周期構造との差に相当するモアレ縞が現れるが、このモアレ縞においては、標本２の高周波数の構造が元の周波数より低周波数側にシフトしているため、この構造を示す光（蛍光）は、元の角度よりも小さい角度で対物レンズ３１へ向かうことになる。よって、構造化照明光により標本２を照明すると、標本２の（蛍光領域の）高周波数の構造情報までもが対物レンズ３１によって伝達される。

　標本２で発生した蛍光は、対物レンズ３１に入射すると、対物レンズ３１で平行光に変換された後、ダイクロイックミラー３３とバリアフィルタ３４を透過し、第２対物レンズ３５を介して撮像素子４２の撮像面４１上に標本２の変調像を形成する。

　この変調像は、撮像素子４２により画像化され、制御装置４３を介して画像記憶・演算装置４４へと取り込まれる。さらに、取り込まれた変調画像には、画像記憶・演算装置４４において復調演算（詳細は後述）が施され、復調画像（超解像画像）が生成される。そして、この超解像画像は、画像記憶・演算装置４４の内部メモリ（図示せず）に記憶されるとともに、画像表示装置４５へと送出される。

　次に、光束分岐部１４を詳しく説明する。

　図２は、光束分岐部１４を説明する図であり、図２（Ａ）は、光束分岐部１４の回折格子１６を光軸Ｏ方向から見た図であり、図２（Ｂ）は、±１次回折光束が瞳共役面に形成する集光点の位置関係を示す図である。なお、図２（Ａ）は模式図であるため、図２（Ａ）に示した回折格子１６の構造周期は実際の構造周期と同じとは限らない。

　図２（Ａ）に示すように、回折格子１６は、照明光学系１０の光軸Ｏと垂直な互いに異なる複数方向にかけて周期構造を有した２次元回折格子である。ここでは、回折格子１６は、１２０°ずつ異なる第１方向Ｖ１、第２方向Ｖ２、第３方向Ｖ３の各々にかけて周期構造を有しており、それら周期構造の周期（ピッチ）は共通であると仮定する。

　なお、回折格子１６の周期構造は、濃度（透過率）を利用して形成された濃度型の周期構造、または段差（位相差）を利用して形成された位相型の周期構造の何れであってもよいが、位相差型の周期構造の方が＋１次回折光の回折効率が高いという点で好ましい。

　このような回折格子１６に入射した平行光束は、第１方向Ｖ１にかけて分岐した第１回折光束群と、第２方向Ｖ２にかけて分岐した第２回折光束群と、第３方向Ｖ３にかけて分岐した第３回折光束群とに変換される。

　第１回折光束群には、０次回折光束及び±１次回折光束が含まれ、このうち互いの次数が共通である±１次回折光束は、光軸Ｏに関して対称な方向に進行する。

　同様に、第２回折光束群には、０次回折光束及び±１次回折光束が含まれ、このうち互いの次数が共通である±１次回折光束は、光軸Ｏに関して対称な方向に進行する。

　同様に、第３回折光束群には、０次回折光束及び±１次回折光束が含まれ、このうち互いの次数が共通である±１次回折光束は、光軸Ｏに関して対称な方向に進行する。

　これら第１回折光束群の±１次回折光束、第２回折光束群の±１次回折光束、第３回折光束群の±１次回折光束は、前述した集光レンズ１７により、瞳共役面内の互いに異なる位置に集光される。

　そして、図２（Ｂ）に示すように、第１回折光束群の±１次回折光束の集光点２５ｄ、２５ｇは、光軸Ｏに関して対称であり、集光点２５ｄ、２５ｇの配列方向は第１方向Ｖ１に対応している。

　また、第２回折光束群の±１次回折光束の集光点２５ｃ、２５ｆは、光軸Ｏに関して対称であり、集光点２５ｃ、２５ｆの配列方向は、第２方向Ｖ２に対応している。なお、第２回折光束群の集光点２５ｃ、２５ｆから光軸Ｏまでの距離は、第１回折光束群の集光点２５ｄ、２５ｇから光軸Ｏまでの距離と同じである。

　また、第３回折光束群の±１次回折光束の集光点２５ｂ、２５ｅは、光軸Ｏに関して対称であり、集光点２５ｂ、２５ｅの配列方向は、第３方向Ｖ３に対応している。なお、第３光束群の集光点２５ｂ、２５ｅから光軸Ｏまでの距離は、第１回折光束群の集光点２５ｄ、２５ｇから光軸Ｏまでの距離と同じである。

　なお、光ファイバ１１から射出されるレーザ光の波長をλ、回折格子１６の構造周期をＰ、レンズ１７の焦点距離をｆｃとすると、光軸Ｏから集光点２５ｂ～２５ｇまでの距離Ｄは下記の式で表される。

　Ｄ∝２ｆｃλ／Ｐ
　なお、ここでいう集光点とは、最大強度の８割以上の強度を有する領域の重心位置のことである。そのため、本実施形態の照明光学系１０は、完全な集光点が形成されるまで光束を集光する必要はない。

　以上の光束分岐部１４において、並進機構１５は、ピエゾモータ等からなる。並進機構１５は、照明光学系１０の光軸Ｏと垂直な方向であって、前述した第１方向Ｖ１、第２方向Ｖ２、第３方向Ｖ３の各々に対して非垂直な方向にかけて、回折格子１６を並進移動させる。この方向に回折格子１６を並進移動させると、構造化照明光の縞の位相がシフトする（詳細は後述。）。

　次に、光束選択部１８を詳しく説明する。

　図３、図４は、光束選択部１８を説明する図である。図３に示すとおり、光束選択部１８の１／２波長板１９は、入射した各次数の回折光束の偏光方向を設定し、図４に示すとおり、光束選択部１８の光束選択部材２０は、第１～第３回折光束群のうち何れか１群の±１次回折光束のみを選択的に通過させるマスクである。

　そして、光束選択部１８の不図示の回動機構は、光束選択部材２０を光軸Ｏの周りに回動させることにより、選択される±１次回折光束を第１～第３回折光束群の間で切り替えると共に、光束選択部材２０に連動して１／２波長板１９を光軸Ｏの周りに回動させることにより、選択された±１次回折光束が標本２に入射するときの偏光方向をＳ偏光に保つ。

　つまり、光束選択部１８は、構造化照明光の縞の状態を保ちつつ、構造化照明光の縞方向を切り替える。以下、縞の状態を保つための条件を具体的に説明する。

　先ず、１／２波長板１９の速い軸（進相軸）の向きは、選択される±１次回折光束の分岐方向（第１方向Ｖ１～第３方向Ｖ３のいずれか）に対して、±１次回折光束の偏光方向が垂直となるように設定される必要がある。なお、ここでいう1／２波長板１９の進相軸とは、その軸の方向に偏光した光が１／２波長板１９を通過するときの位相遅延量が最小となるような方向のことである。

　また、光束選択部材２０の開口パターンは、同一の回折光束群に属する±１次回折光束の一方及び他方を個別に通過させる第１の開口部２０A及び第２の開口部２０Bからなり、これら第１の開口部２０Aと第２の開口部２０Bとの各々の光軸Ｏ周りの長さは、前述した方向に直線偏光した回折光束が通過できるような長さに設定されている。よって、第１の開口部２０Ａ及び第２の開口部２０Ｂの各々の形状は、部分輪帯状に近い形状である。

　ここで、図３（Ａ）に示すように、１／２波長板１９の進相軸の方向が偏光板１３の軸の方向と平行になるときの１／２波長板１９の回転位置を、１／２波長板１９の回転位置の基準とする（以下、「第１の基準位置」と称する。）。

　また、光束選択部材２０の光束選択方向（＝選択される±１次回折光束の分岐方向）が、偏光板１３の軸の方向と垂直になるときの光束選択部材２０の回転位置を、光束選択部材２０の回転位置の基準とする（以下、「第２の基準位置」と称する。）。

　このとき、図３（Ｂ）に示すように、１／２波長板１９の第１基準位置からの回転量は、光束選択部材２０の第２基準位置からの回転量の２分の１に制御されるべきである。

　すなわち、１／２波長板１９の第１基準位置からの回転量がθ／２であるときには、光束選択部材２０の第２基準位置からの回転量は、θに設定される。

　したがって、光束選択部１８の回動機構１８Ａは、第１回折光束群の±１次回折光束（分岐方向は第１方向Ｖ１）を選択するために、図４（Ａ）に示すように、光束選択部材２０の光束選択方向を第２の基準位置から右方に回転角θ１だけ回転させた場合、１／２波長板１９の進相軸の方向を、第１の基準位置から右方に回転角θ１／２だけ回転させる。

　このとき、１／２波長板１９を通過する前における各次数の回折光束の偏光方向は、図４（Ａ）中に破線両矢印で示すとおり、偏光板１３の軸の方向と平行となっているのに対し、１／２波長板１９を通過した後における各次数の回折光束の偏光方向は、右方に回転角θ１だけ回転するので、選択された±１次回折光束の偏光方向は、図４（Ａ）に実線両矢印で示すとおり、それら±１次回折光束の分岐方向（第１方向Ｖ１）に対して垂直となる。

　また、光束選択部１８の回動機構１８Ａは、第２回折光束群の±１次回折光束（分岐方向は第２方向Ｖ２）を選択するために、図４（Ｂ）に示すように、光束選択部材２０の光束選択方向を第２の基準位置から右方に回転角θ２だけ回転させた場合、１／２波長板１９の進相軸の方向を、第１の基準位置から右方に回転角θ２／２だけ回転させる。

　このとき、１／２波長板１９を通過する前における各次数の回折光束の偏光方向は、図４（Ｂ）中に破線両矢線で示すとおり、偏光板１３の軸の方向と平行となっているのに対し、１／２波長板１９を通過した後における各次数の回折光束の偏光方向は、右方に回転角θ２だけ回転するので、選択された±１次回折光束の偏光方向は、図４（Ｂ）に実線両矢印で示すとおり、それら±１次回折光束の分岐方向（第２方向Ｖ２）に対して垂直となる。

　また、光束選択部１８の回動機構１８Ａは、第３回折光束群の±１次回折光束（分岐方向は第３方向Ｖ３）を選択するために、図４（Ｃ）に示すように、光束選択部材２０の光束選択方向を第２の基準位置から左方（標本側から見て。以下同じ）に回転角θ３だけ回転させた場合、１／２波長板１９の進相軸の方向を、第１の基準位置から左方に回転角θ３／２だけ回転させる。

　このとき、１／２波長板１９を通過する前における各次数の回折光束の偏光方向は、図４（Ｃ）中に破線両矢線で示すとおり、偏光板１３の軸の方向と平行となっているのに対し、１／２波長板１９を通過した後における各次数の回折光束の偏光方向は、左方に回転角θ３だけ回転するので、選択された±１次回折光束の偏光方向は、図４（Ｃ）に実両矢印で示すとおり、それら±１次回折光束の分岐方向（第３方向Ｖ３）に対して垂直となる。

　換言すると、１／２波長板１９の進相軸の方向は、光束選択部材２０により選択される±１次回折光束の分岐方向に応じた方向であって、１／２波長板１９へ入射する±１次回折光束が有していた偏光方向（偏光板１３の軸方向）と、１／２波長板１９から射出する±１次回折光束が有するべき偏光方向（分岐方向に垂直）とが成す角度の２等分線方向に、設定される。

　したがって、光束選択部１８の回動機構１８Ａは、１／２波長板１９及び光束選択部材２０をギア比２：１で連動すればよい。

　なお、回動機構１８Ａには、例えば、光束選択部材２０を保持し、かつ光軸Ｏの周りに回転可能な不図示の保持部材と、その保持部材の周りに形成された不図示の第１の歯車と、第１の歯車に噛み合う不図示の第２の歯車と、第２の歯車に連結された不図示のモータ（回転モータ）とが備えられる。このモータが駆動されると第２の歯車が回転し、その回転力が第１の歯車へと伝達され、光束選択部材２０が光軸Ｏの周りに回転する。

　図５は、以上説明した光束選択部１８の機能を説明する図である。なお、図５において円形枠で囲まれた両矢線は、光束の偏光方向を示し、四角枠で囲まれた両矢線は、光学素子の軸方向を示している。

　なお、以上の説明では、標本２に入射する±１次回折光束をＳ偏光に保つために回動可能な１／２波長板１９を使用したが、回動可能な１／２波長板１９の代わりに固定配置された液晶素子を使用し、その液晶素子を１／２波長板１９として機能させてもよい。液晶素子の配向を電気的に制御すれば、液晶素子の屈折率異方性を制御することができるので、１／２波長板としての進相軸を光軸Ｏ周りに回転させることができる。因みに、標本２に入射する±１次回折光束をＳ偏光に保つための方法は他にもある。

　また、図６に示すように、光束選択部材２０の外周部には、複数の（図６に示す例では６個の）切り欠き２０Ｃが形成されており、回動機構１８Ａには、これらの切り欠き２０Ｃを検出するためのタイミングセンサ２０Ｄが備えられている。これによって、回動機構１８Ａは、光束選択部１８の回動位置、ひいては１／２波長板１９の回動位置を検知することができる。

　次に、光束分岐部１４の並進機構１５を詳しく説明する。

　図７は、光束分岐部１４の並進機構１５の動作を説明する図である。

　先ず、復調演算（詳細は後述）を可能とするためには、同一の標本２に関する変調画像であって、干渉縞の方向が共通で位相の異なる少なくとも２つの変調画像が必要である。なぜなら、構造化照明顕微鏡装置１が生成する変調画像には、標本２の構造のうち、構造化照明光により空間周波数の変調された構造情報である０次変調成分、＋１次変調成分、－１次変調成分が重畳されており、互いに重畳した３つの未知パラメータを復調演算（詳細は後述）で既知とする必要がある。

　そこで、光束分岐部１４の並進機構１５は、干渉縞の位相をシフトするために、図７（Ａ）に示すように、照明光学系１０の光軸Ｏと垂直な方向であって、前述した第１方向Ｖ１、第２方向Ｖ２、第３方向Ｖ３の全てに対して非垂直な方向（ｘ方向）にかけて回折格子１６をシフトさせる。

　但し、干渉縞の位相を所望のシフト量φだけシフトさせるのに必要な回折格子１６のシフト量Ｌは、光束選択部１８による光束選択方向が第１方向Ｖ１であるときと、第２方向Ｖ２であるときと、第３方向Ｖ３であるときとでは、同じとは限らない。

　図７（Ｂ）に示すとおり、回折格子１６の第１方向Ｖ１、第２方向Ｖ２、第３方向Ｖ３の各々の構造周期（ピッチ）をＰとおき、回折格子１３のシフト方向（ｘ方向）と第１方向Ｖ１とのなす角をθ１とおき、回折格子１６のシフト方向（ｘ方向）と第２方向Ｖ２とのなす角をθ２とおき、回折格子１６のシフト方向（ｘ方向）と第３方向Ｖ３とのなす角をθ３とおくと、光束選択方向が第１方向Ｖ１であるときに必要な回折格子１６のｘ方向のシフト量Ｌ１は、Ｌ１＝φ×Ｐ／（４π×｜ｃｏｓθ１｜）で表され、光束選択方向が第２方向Ｖ２であるときに必要な回折格子１６のｘ方向のシフト量Ｌ２は、Ｌ２＝φ×Ｐ／（４π×｜ｃｏｓθ２｜）で表され、光束選択方向が第３方向Ｖ３であるときに必要な回折格子１６のｘ方向のシフト量Ｌ３は、Ｌ３＝φ×Ｐ／（４π×｜ｃｏｓθ３｜）で表される。

　すなわち、干渉縞の位相シフト量を所望の値φとするために必要な回折格子１６のｘ方向のシフト量Ｌは、波長選択方向（第１方向Ｖ１、第２方向Ｖ２、第３方向Ｖ３の何れか）とｘ方向とのなす角θにより式（１）のとおり表される。

　Ｌ＝φ×Ｐ／（ａ×４π×｜ｃｏｓθ｜）　…（１）
　因みに、干渉縞の位相シフト量φを２πとするために必要な回折格子１６のｘ方向のシフト量Ｌは、Ｐ／（ａ×２×｜ｃｏｓθ｜）となる。これは、回折格子１６の半周期に相当する量である。つまり、回折格子１６を半周期分シフトさせるだけで、構造化照明光の位相を１周期分シフトできる（なぜなら、±１次回折光からなる干渉縞の縞ピッチは、回折格子１６の構造周期の２倍に相当する。）。

　但し、ａ＝１（Ｍ＝１、２のとき）、ａ＝２（Ｍ＝３のとき）である。Ｍは、回折格子１６が有する周期構造の方向数である。

　［復調演算の説明］
　以下、画像記憶・演算装置４４による復調演算を説明する。

　上述した画像記憶・演算装置４４は、演算用のプログラムを実行することで演算を行う計算機、演算処理を行う演算回路、或いは、両者の組み合わせによって構成される。また、計算機は、記憶媒体又は通信網経由で演算用のプログラムをインストールした汎用の計算機であってもよい。

　以下、画像記憶・演算装置４４による復調演算の基本手順を説明する。基本手順は、以下の４つのステップからなる。

　第１ステップ：複数の変調画像の各々をフーリエ変換し、複数の空間周波数スペクトルを生成する。

　第２ステップ：個々の空間周波数スペクトルに重畳されている、蛍光の０次変調成分、蛍光の＋１次変調成分、蛍光の－１次変調成分を、フーリエ空間上で互いに分離する。

　第３ステップ：互いに分離された蛍光の０次変調成分、蛍光の＋１次変調成分、蛍光の－１次変調成分を、フーリエ空間上で再配置することにより、復調画像の空間周波数スペクトルを生成する。

　第４ステップ：復調画像の空間周波数スペクトルを逆フーリエ変換することにより、復調画像（＝超解像画像）を取得する。

　なお、これらステップの少なくとも２つは、１つの演算式によって一括で実行されてもよい。

　［２Ｄ／３Ｄ切り替え］
　以下、上述した構造化照明顕微鏡装置の２Ｄ／３Ｄ切り替えについて説明する。

　上述した説明では、標本２へ投影する干渉縞を２光束干渉縞とした（すなわち、構造化照明顕微鏡装置１を２Ｄ－ＳＩＭモードで使用する例を説明した）が、標本２へ投影する干渉縞を３光束干渉縞とすること（すなわち、構造化照明顕微鏡装置１を３Ｄ－ＳＩＭモードで使用すること）も可能である。

　この３Ｄ－ＳＩＭモードでは、図６に示した光束選択部材２０の代わりに、図８に示すような光束選択部材２０’が使用される。この光束選択部材２０’は、図６に示した光束選択部材２０において、０次回折光束を通過するための開口部２０Ｅを設けたものである。なお、この開口部２０Ｅの形成先は、光軸Ｏの近傍であって、この開口部２０Ｅの形状は、例えば円形である。このような光束選択部材２０’によると、±１次回折光束だけでなく０次回折光束をも干渉縞に寄与させることができる。

　このように、３つの回折光束の干渉（３光束干渉）によって生成される干渉縞は、標本２の表面方向だけでなく、標本２の深さ方向にも空間変調されている。よって、この干渉縞によると、標本２の深さ方向にも超解像効果を得ることができる。

　但し、２Ｄ－ＳＩＭモードと３Ｄ－ＳＩＭモードとの間では、画像記憶・演算装置４４が実行すべき復調演算の内容が異なる。なぜなら、２Ｄ－ＳＩＭモードで生成される変調画像には、蛍光の０次変調成分、蛍光の＋１次変調成分、蛍光の－１次変調成分の３成分が重畳されているのに対して、３Ｄ－ＳＩＭモードで生成される変調画像には、蛍光の０次変調成分、蛍光の＋１次変調成分、蛍光の－１次変調成分、蛍光の＋２次変調成分、蛍光の－２次変調成分の５成分が重畳されているからである。

　また、２Ｄ－ＳＩＭモードと３Ｄ－ＳＩＭモードとの間では、変調画像に重畳する変調成分の数が異なるので、制御装置４３が取得すべき変調画像のフレーム数なども異なる。以下、詳しく説明する。

　［装置の補足］
　なお、上述した装置では、干渉縞の位相をシフトさせるために回折格子をシフトさせたが、回折格子をシフトさせる代わりに、±１次回折光束の光路長差を変化させてもよい。その場合は、例えば、＋１次回折光束の光路と－１次回折光束の光路との少なくとも一方に対して位相板を挿脱させてもよい。

　但し、位相板の厚さと位相シフト量との関係は、使用波長によって異なるので、厚さの異なる複数の位相板をターレットに装着し、それらの位相板を使用波長に応じて選択的に光路へ挿入してもよい。

　また、後述する無変調画像の撮像時には、偏光方向がどの方向に設定されても構わないし、撮像中に偏光方向が変化しても構わない。

　また、上述した装置では、光源波長の数を１としたが、２以上に拡張してもよい。

　また、上述した装置では、標本に入射する±１次回折光束をＳ偏光に保つために、光軸Ｏの周りを回動可能な１／２波長板を使用したが、固定配置された１／４波長板と光軸Ｏの周りを回動可能な１／４波長板とを使用してもよい。但し、その場合は、第１の基準位置を基準とした１／４波長板の回転位置は、第２の基準位置を基準とした光束選択部材の回転位置と同じに設定される。

　また、上述した装置では、干渉縞（２Ｄ－ＳＩＭモードの２光束干渉縞又は３Ｄ－ＳＩＭモードの３光束干渉縞）を形成するための回折光として、±１次回折光及び０次回折光の組み合わせを用いたが、他の組み合わせを用いてもよい。３光束干渉縞を形成するためには、回折次数の間隔が等間隔な３つの回折光による３光束干渉を生起させればよいので、例えば、０次回折光、１次回折光、２次回折光の組み合わせ、±２次回折光及び０次回折光の組み合わせ、±３次回折光及び０次回折光の組み合わせ、などを用いることが可能である。

　また、上述した装置の照明光学系１０は、対物レンズ３１による落射照明光学系で構成されたが、これに限られず、対物レンズ３１に代えてコンデンサレンズによる透過・反射照明光学系で構成されてもよい。その場合、集光点が形成されるのは、コンデンサレンズの瞳面である。

　［第１．１節（２Ｄ－ＳＩＭの前提）］　
　本節では、２Ｄ－ＳＩＭの前提を説明する。

　ここでは、２Ｄ－ＳＩＭモードにおける干渉縞強度分布を、以下のとおり定義する。

　標本の蛍光物質密度をＩ_０（ｘ）とし、標本面上の干渉縞強度分布をＫ（ｘ）とおく。また、標本で発生する蛍光が照明強度に比例すると仮定する。この場合、蛍光強度分布Ｉ_ｆｌ（ｘ） は、以下のとおり表される。

　また、標本の各点で発生した蛍光はインコヒーレントなので、この蛍光強度分布Ｉ_ｆｌ（ｘ）を対物レンズで捉えた像、すなわち、変調画像Ｉ（ｘ）は、インコヒーレント結像の式により、以下のとおり表される。

　以下、各関数のFourier 変換を以下のとおり表す。

　この場合、変調画像をフーリエ空間で表したもの（すなわち変調画像の空間周波数スペクトル）は、以下のとおり表される。

　ＯＴＦは｜ξ｜＞２ＮＡでゼロとなるので、変調画像の空間周波数スペクトルも｜ξ｜＞２ＮＡでゼロとなる。なお、ここでは、以下の関係を用いた。

　また、フーリエ空間上の蛍光強度分布は、以下のとおり表される。

　以下、復調演算の説明に必要の無い係数を無視する。

　［第１．２節（従来の２Ｄ－ＳＩＭ）］　
　本節では、比較のため、従来の２Ｄ－ＳＩＭの復調演算を説明する。

　先ず、２Ｄ－ＳＩＭの干渉縞強度分布は、以下のとおり表される（縞は正弦波状の強度分布を有する）。

　但し、ξ_０は、干渉縞の空間周波数（変調周波数）である。

　よって、フーリエ空間上の干渉縞強度は、以下のとおり表される。

　なお、ξは、フーリエ空間上の座標である。

　この式１．６と、式１．３、式１．４とによると、フーリエ空間上の変調画像は、以下のとおり表されることがわかる。

　以下、フーリエ空間上の空間周波数スペクトルを単に「スペクトル」と称す。また、干渉縞の位相がφ_ｉであるときに取得された変調画像には、対応する添字「φ_ｉ」を付す。

　ここで、前述したとおり、２Ｄ－ＳＩＭで取得される変調画像のスペクトルの観測点ξには、蛍光の－１次変調成分、蛍光の＋１次変調成分、蛍光の０次変調成分の３成分が重畳している。式１．７の右辺における３つの項がこれらの各変調成分に対応する。つまり、正弦波の強度分布を有する縞で標本（蛍光）を空間変調したので、変調画像のスペクトルは、蛍光の３つの変調成分（０次変調成分、±１次変調成分）で表現することができる。観測点ξに重畳された＋１次変調成分は、復調画像のスペクトルにおける復元点（ξ－ξ_０）が有するべき値（復元値）であり、観測点ξに重畳された－１次変調成分は、復調画像のスペクトルにおける復元点（ξ＋ξ_０）が有するべき値（復元値）であり、観測点ξに重畳された０次変調成分は、復調画像のスペクトルにおける復元点ξが有するべき値（復元値）である。このことは、変調画像のスペクトルの各観測点について当てはまる。図９における大きな１つの黒点は、或る観測点に対応し、大きな黒点及びその両側の小さな２つの黒点は、その観測点から復元される３つの復元点に対応している。

　そこで、従来の２Ｄ－ＳＩＭの復調演算では、変調画像のスペクトルの各観測点に重畳された３つの変調成分を互いに分離するために、縞の位相の異なる３つの変調画像を取得し、それらの変調画像の各々のスペクトルを生成し、それらのスペクトルを３つの式（以下の式１．８、式１．９、式１．１０）へ当てはめることで、３つの方程式を取得していた。従来は、この３つの方程式を解くことで、図９における塗りつぶし領域（通常解像範囲及び超解像範囲）の復元値を求めていた。

　因みに、簡単のため、τ＝ＯＴＦ（ξ） と書くと、式１．８、式１．９、式１．１０は、以下のとおりに書き換えることができる。

　なお、この式の行列（以下、Ｍとおく）の行列式がゼロでなければ、３つの変調画像のスペクトルにおける或る観測点の３つの観測値（左辺）から、その観測点に対応する３つの復元点の復元値（右辺）を求めることができる。

　ここで、従来の２Ｄ－ＳＩＭにおける縞の空間周波数（変調周波数）ξ_０は、｜ξ_０｜＜２ＮＡが成り立つように設定され、通常解像領域｜ξ｜＜２ＮＡから得られる観測値によって、｜ξ±ξ_０｜＞２ＮＡとなる復元点の復元値を求めることができる。よって、従来の２Ｄ－ＳＩＭでは、通常解像領域外（超解像領域）の復元値を復元すること、つまり復調画像として超解像画像を得ることができる。

　なお、上記の行列Ｍは、ξに依存しない。すなわち、フーリエ空間上の座標（＝空間周波数）に依存しない。そこで、位相φ_ｉをパラメータとして行列Ｍの条件数をプロットすると、図１０ のとおりとなった。

　図１０は、行列Ｍの条件数の逆数の分布である。但し、ここでは、第１の変調画像の位相φ_１＝０°とおき、第２の変調画像の位相φ_２及び第３の変調画像の位相φ_３を変数とした。図１０の横軸がφ_２であり、図１０の縦軸がφ_３である。

　図１０からは、φ_２＝１２０°、φ_３＝２４０°のとき、条件数の逆数が最大値０．５となり、最も条件が良いことがわかる。このため、従来の２Ｄ－ＳＩＭでは、３フレーム間の位相差を、１２０°に設定することが一般的であった。

　［第１．３節（２Ｄ－ＳＩＭの２画像２点復元）］
　本節では、本実施形態の２Ｄ－ＳＩＭの復調演算として、「２画像２点復元」を説明する。本節における変調画像の取得は、上述した制御装置４３が各部を制御して行うものとし、本節における演算は、上述した画像記憶・演算装置４４が実行するものとする（他の節においても同様。）。

　本節では、２Ｄ－ＳＩＭで取得される１枚の変調画像のスペクトルにおいて、変調方向にかけて変調周波数ξ_０だけ離れた２つの観測点ξ、（ξ＋ξ_０）には、互いに値の共通する変調成分が重畳されていることに着目する。

　具体的には、観測点ξに重畳した蛍光の－１次変調成分と、観測点（ξ＋ξ_０）に重畳した蛍光の０次変調成分とは、何れも復元点（ξ＋ξ_０）の復元値に相当し、観測点（ξ＋ξ_０）に重畳した蛍光の＋１次変調成分と、観測点ξに重畳した蛍光の０次変調成分とは、何れも復元点ξの復元値に相当する。つまり、これら２つの観測点ξ、（ξ＋ξ_０）には、互いに共通する２つの復元点ξ、（ξ＋ξ_０）の復元値が含まれている。本節の２画像２点復元では、この関係を利用する。以下、具体的に説明する。

　先ず、干渉縞強度分布を従来の２Ｄ－ＳＩＭと同様に仮定すると、対物レンズのＮＡにより、変調画像のスペクトルの観測範囲は、｜ξ｜＜２ＮＡで表される。

　本節の縞の空間周波数（変調周波数）ξ_０は、｜ξ_０｜＜２ＮＡが成り立つように設定される。なお、縞の空間周波数（変調周波数）ξ_０は回折格子１６の格子ピッチ（標本上に形成される縞ピッチ）により設定される。

　この場合、１枚の変調画像のスペクトルから、ξ_０だけ離れた２つの観測点ξ、（ξ＋ξ_０）の観測値を得ることができる。ただし、（ξ＋ξ_０）の観測値を得ることができるのは、ξが｜ξ＋ξ_０｜＜２ＮＡを満たす範囲に限られる。

　ここで、1枚の変調画像のスペクトルにおける、観測点ξの観測値と、観測点（ξ＋ξ_０）の観測値とは、以下の式で表される。

　これらの式１．１２、式１．１３の右辺には、４つの復元点の復元値（未知数）が登場している。これら４つの復元値を既知とするためには、更に２つの式が必要である。

　そこで、本節では、互いに位相φの異なる２枚の変調画像の各々のスペクトルを生成し、それら２つのスペクトルの各々から、２つの観測点ξ、（ξ＋ξ_０）に関する合計４つの観測値を参照し、それら４つの観測値を、式１．１２、式１．１３へ当てはめることにより、４つの復元値（未知数）を含んだ合計４つの式を取得する。

　ここで、簡単のため、τ_１ ＝ＯＴＦ（ξ）、τ_２＝ＯＴＦ（ξ＋ξ_０）とおき、第１の変調画像の位相φをφ_１とおき、第２の変調画像の位相φをφ_２とおくと、４つの式は、次のような行列で表わされる。

　よって、本節では、この行列（以下Ｍとおく）の行列式がゼロでなければ、２枚の変調画像のスペクトルにおける４つの観測値（左辺）から、４つの復元値（右辺）を求めることができる。

　ここで、図１１における２つの円枠のうち、内側の円枠は、通常解像範囲の外縁（｜ξ｜＝２ＮＡ）である。また、外側の円枠は、超解像範囲の外縁（｜ξ｜＝４ＮＡ）である。

　図１１における２つの大きな黒点は、縞の空間周波数（変調周波数）ξ_０の分だけずれた或る２つの観測点を示しており、図１１における２つの大きな黒点及び２つの小さな黒点は、それら２つの観測点から復元される４つの復元点を示している。

　本節では、干渉縞の位相の異なる２枚分の変調画像のスペクトルが取得されるので、それら２つのスペクトルの各々における２つの観測点から、合計４つの観測値が取得される。そして、これら４つの観測値を上述した式１．１４へ当てはめることで、４つの復元点の各々の復元値を求める。

　そして、本節では、２つの観測点を通常解像範囲内で移動させながら、４つの復元値の算出を繰り返すことで、図１１における塗りつぶし領域全域の復元値を求める。

　したがって、本節では、取得される変調画像の枚数（生成されるスペクトルの数）が２のみであるにも拘わらず、通常解像範囲の少なくとも一部の復元値と、超解像範囲の少なくとも一部の復元値とを求めることができる。

　［第１．３．１節（復元可能条件）］
　本節では、第１．３節の復調演算に必要な条件を説明する。

　上述した式１．１４が一意的な解を持つためには、行列Ｍの行列式がゼロ以外の値をとればよい。ここで、行列Ｍの行列式は、以下のとおり表される。

　したがって、第１の変調画像の位相φ_１と、第２の変調画像の位相φ_２との位相差Δφが、Δφ≠０でありさえすれば、ｄｅｔＭ≠０となり、式１．１４は一意的な解を持つ。以上の結果、第１．３節の復調演算に必要な条件は、Δφ≠０であることがわかる。

　［第１．３．４節（Δφ＝πの特徴）］
　本節では、Δφ＝πの特徴を説明する。

　Δφ＝πのときには、以下の式が成り立つ。

　この場合、

　に掛かる位相が等しくなるので、Ｉ_０（ξ）については簡単に解けて、

　となる。したがって、Δφ＝πとすれば、通常解像領域において復元できない領域を無くすことができる。

　図１２（Ａ）の塗りつぶし領域は、Δφ≠πのときに復元可能な範囲であるのに対して、図１２（Ｂ）の塗りつぶし領域は、Δφ＝πのときに復元可能な範囲である（何れも、｜ξ_０｜＝２ＮＡの場合。）。図１２における２つの円のうち、内側の円は、通常解像範囲の外縁（｜ξ｜＝２ＮＡ）であり、外側の円は、超解像範囲の外縁（｜ξ｜＝４ＮＡ）である。

　なお、ここでは干渉縞の方向数を１と仮定したが、干渉縞の方向数を３とし、各方向について第１．３節と同様の復調演算を適用したならば、図１３に示すような広い領域を復元することができる。

　［第１．４節（２Ｄ－ＳＩＭのTwo-pass 復元）］
　本節では、本実施形態の２Ｄ－ＳＩＭの復調演算として、「Two-pass 復元」を説明する。Two-pass 復元では、干渉縞の方向数は２に設定される。

　以下、互いに方向及び周期（ピッチ）の異なる複数の干渉縞を区別するために、個々の干渉縞を波数ベクトルで表す。この波数ベクトルの大きさは、干渉縞の空間周波数の大きさを示し、波数ベクトルの方向は、干渉縞の方向を示す。

　本節では、以下の４つのステップが実行される。

　第１ステップ：波数ベクトルがξ_０であり、かつ、位相の異なる２枚の変調画像が取得され、それら２枚の変調画像の各々のスペクトルが生成される。これら２枚の変調画像の各々を、以下のとおり表す。

　さらに、これら２枚の変調画像の各々のスペクトルに対して第１．３節と同様の復調演算を施すことにより、図１４（Ａ）に示す領域の復元値を求める。

　第２ステップ：波数ベクトルがξ_１であり、かつ、位相の異なる２枚の変調画像が取得され、それら２枚の変調画像の各々のスペクトルが生成される。これら２枚の変調画像の各々を、以下のとおり表す。

　さらに、これら２枚の変調画像の各々のスペクトルに対して第１．３節と同様の復調演算を施すことにより、図１４（Ｂ）に示す領域の復元値を求める。

　第３ステップ：以上のステップで求めた復元値と、以下の式とに基づき、図１５（Ａ）に示す領域の復元値を求める。

　すなわち、以上のステップで求めた復元値、すなわち、

　を式１．２６へ当てはめることで、図１５（Ａ）に示す領域の復元値を求める。なお、式１．２６は、式１．２４と式１．２５とを、

　について解いた式である。

　ただし、本ステップを可能とするために、少なくとも第２ステップでは、Δφ≠πｎ（n は整数）とする。

　第４ステップ：第２ステップで求めた通常解像範囲の復元値（＝図１４（Ｂ）の塗りつぶし領域のうち｜ξ｜＜２ＮＡの部分）に基づき同様に、図１５（Ｂ）に示す領域の復元値を求める。

　ただし、本ステップを可能とするために、第１ステップでは、Δφ≠πｎ（n は整数）とする。

　第１ステップと第３ステップをまとめて、図１６（Ｂ）のように表すこともできる。すなわち、図１６（Ｂ）の横線において横方向に連なる４つの黒点は、第１ステップで解く式１．１４と同等の連立方程式から求まる４つの復元値（未知数）のフーリエ空間（波数空間）における位置を表している。

　図１６（Ｂ）にある２本の縦線の各々において、縦方向に連なる３つの黒点のうち、中央の大きい黒点は、第１ステップの式から求まる１つの既知数のフーリエ空間（波数空間）における位置を示しており、両端の小さな黒点は、第３ステップで解く連立方程式１．２６の２つの復元値（未知数）のフーリエ空間（波数空間）における位置を示している。

　これらの８つの黒点の相互の位置関係は、どの例を選んでも同一である。フーリエ空間（波数空間）において黒点の取りうる位置の範囲は、フーリエ空間（波数空間）において２つの大きな黒点（中央）の取りうる位置の範囲によって制限される。２つの大きな黒点が取りうる位置の範囲は｜ξ｜＜２ＮＡであるので、第１ステップ及び第３ステップの計算によって求めることができる復元値（未知数）の位置の範囲は、図１６（Ｂ）の塗りつぶし領域の範囲となる。

　なお、図１６（Ａ）は、第２ステップ及び第４ステップを、図１６（Ｂ）と同様に示したものである。

　したがって、本節では、図１７に示す塗りつぶし領域の全域を復元することができる。

　［第１．５節（２Ｄ－ＳＩＭの超解像の例）］
　本節では、前節までの結果を踏まえ、超解像の例を２つ説明する。

　先ず、第１の例では、変調画像の枚数（スペクトルの数）を抑えることを重視し、Two-pass 復元を行う。そのために、第１の例では、波数ベクトルの方向数を２とし、互いに異なる２つの波数ベクトルξ_１、ξ_２の各々で、位相の異なる２枚の変調画像を取得し（合計４枚の変調画像を取得し）、それら４枚の変調画像の各々のスペクトルを生成する（合計４つのスペクトルを生成する）。そして、Two-pass 復元を可能とするため、同一の波数ベクトルで取得される２枚の変調画像間の位相差Δφを、Δφ≠πに設定する。また、波数ベクトルの大きさ｜ξ_ｉ｜を、｜ξ_ｉ｜＝２ＮＡに設定する（ｉ＝１、２）。この場合、図１７に示す塗りつぶし領域が復元される。

　次に、第２の例では、演算精度を重視し、Two-pass 復元ではなく「２画像２点復元」を行う。そのために、第２の例では、波数ベクトルの方向数を３とし、互いに異なる３つの波数ベクトルξ_１、ξ_２、ξ_３の各々で、位相の異なる２枚の変調画像を取得し（合計６枚の変調画像を取得し）、それら６枚の変調画像の各々のスペクトルを生成する（合計６つのスペクトルを生成する）。そして、同一の波数ベクトルで取得される２枚の変調画像間の位相差Δφを、Δφ＝πとする。また、復元領域に隙間が生じるのを避けるために、｜ξ_ｉ｜を２ＮＡより意図的に小さくする。具体的には、復元領域に隙間が生じない範囲内で｜ξ_ｉ｜を最大にするために、波数ベクトルの大きさ|ξ_ｉ|を、|ξ_ｉ| ＝（√３）×ＮＡに設定する（ｉ＝１、２）。この場合、図１８に示す領域が復元される。

　［第１．６節（２Ｄ－ＳＩＭの４画像３点復元）］
　本節では、本実施形態の２Ｄ－ＳＩＭの復調演算として、２Ｄ－ＳＩＭの「４画像３点復元」を説明する。

　本節では、波数ベクトルの方向数を３とする（３つの波数ベクトルξ_１、ξ_２、ξ_３の各々で変調画像を取得し、それら変調画像の各々のスペクトルを生成する。）。

　また、３つの波数ベクトルξ_１、ξ_２、ξ_３を閉じた関係（ξ_３＝ξ_１－ξ_２）に設定する。

　そして、３つの方向のうち何れか１つの方向（波数ベクトルξ_１）では、位相数を２とする（縞方向が同じであり位相の異なる２枚の変調画像Ｉ^（０）、Ｉ^（１）を得る）が、他の２つの方向（波数ベクトルξ_２、ξ_３）の各々では、位相数を１に抑える（縞方向の異なる２枚の変調画像Ｉ^（２）、Ｉ^（３）を得る）。

　また、縞方向が同じである２枚の変調画像間の位相差Δφは、Δφ＝πに設定する。

　また、本節では、個々の波数ベクトルの大きさを、｜ξ_ｉ｜ ＝２ＮＡに設定する（ｉ＝１、２、３）。

　このとき、４枚の変調画像Ｉ^（０）、Ｉ^（１）、Ｉ^（２）、Ｉ^（３）の各々の干渉縞強度分布は、

　と表される。

　ここで、これら４枚の変調画像Ｉ^（０）、Ｉ^（１）、Ｉ^（２）、Ｉ^（３）の各々のスペクトルにおいて、３つの波数ベクトルξ_１、ξ_２、ξ_３が描く三角形を想定し、その三角形の頂点（大きな黒点）に位置する３つの観測点ξ、（ξ＋ξ_１）、（ξ＋ξ_２）に着目する。

　本節で取得した４枚の変調画像Ｉ^（０）、Ｉ^（１）、Ｉ^（２）、Ｉ^（３）の各々のスペクトルにおける３つの観測点ξ、（ξ＋ξ_１）、（ξ＋ξ_２）からは、合計１２個の観測値が得られるので、それら１２個の観測値に対応する式１．７相当の式を、１２個分、取得することができる。本節では、これら１２式からなる連立方程式を解くために、以下の条件が必要となる。

　　図１９は、計算の図解である。ただし、｜ξ_１｜＝｜ξ_２｜、ξ_１・ξ_２＝｜ξ_１｜｜ξ_２｜／２とした。

　図１９（Ａ）における３つの大きな黒点は、変調画像のスペクトルにおいて３つの波数ベクトルξ_１、ξ_２、ξ_３によって描かれる三角形の頂点に位置する３つの観測点を示しており、図１９（Ａ）における３つの大きな黒点及び９つの小さな黒点は、それら３つの観測点から復元される復元点（合計１２個の復元点）を示している。

　上記したとおり本節において変調画像の枚数（スペクトルの数）は４であるので、３つの観測点から合計１２個の観測値が取得される。これら１２個の観測値に関する１２個の式を連立させて解くことによって、１２個の復元点の復元値が個別に求まる。

　そして、本節では、３つの観測点を移動させながら、１２個の復元値の算出を繰り返すことで、図１９（Ａ）に示す塗りつぶし領域全域の復元値を求める。

　なお、図１９（Ｂ）は、三角形の方向を反転させて同様の復元を行った場合の図解である。図１９（Ａ）の復元と、図１９（Ｂ）の復元とは、並行して行うことが可能である。本節では、これら２通りの復元を行い、図２０に示した塗りつぶし領域の全域を復元する。

　図２０は、図１９（Ａ）に示した復元領域と、図１９（Ｂ）に示した復元領域と合成したものである。

　以下、本節で述べた１２式から成る連立方程式を解く計算の一例を詳しく説明する。

　図２１は、本節の計算を３つのステップに分けて説明した図である。

　図２１（Ａ）は、第１ステップで復元される４つの復元点１～４を示している。

　図２１（Ｂ）は、第２ステップで復元される４つの復元点５～８を示している。

　図２１（Ｃ）は、第３ステップで復元される４つの復元点９～１２を示している
　図２１（Ｄ）は、図中の番号１～１２と復元値との対応関係を示している。

　第１ステップ：波数ベクトルξ_１の方向に間隔｜ξ_１｜で並ぶ２つの観測点１、２に関する４つの観測値を、２画像２点復元の式へ当てはめることにより、復元点１、２、３、４の各々の復元値を求める。

　第２ステップ：復元点１、２の各々の復元値を使用して、それら復元点１、２から波数ベクトルξ_２、ξ_３の分だけずれた４つの復元点５、６、７、８ の各々の復元値を求める。この際に使用される式は、波数ベクトルξ_１の方向に関する２つの式（２位相分）と、波数ベクトルξ_２の方向に関する１つの式と、波数ベクトルξ_３の方向に関する１つの式と、の合計４つの式である。

　第３ステップ：復元点１、２、５の各々の復元値を使用して、それら復元点１、２、５から波数ベクトルξ_２、ξ_３の分だけずれた残りの復元点９、１０、１１、１２の各々の復元値を求める。この際に使用される式は、波数ベクトルξ_２の方向に関する２つの式（観測点２つ分）と、波数ベクトルξ_３の方向に関する２つの式（観測点２つ分）と、の合計４つの式である。

　もちろん、本節で述べた１２式から成る連立方程式の解法は、上記の手順に限られるものではない。

　［第１．７節（２Ｄ－ＳＩＭの４画像３点復元の変形例）］
　本節では、４画像３点復元の変形例を説明する。

　本節では、３つの方向の全ての位相数を１に抑え、その代わりに、１枚の無変調画像を取得し、その無変調画像のスペクトルを生成する。

　無変調画像は、Ｋ^（０）＝１で取得された画像のことであって、例えば上述した回折格子１６及び光束選択部１８を光路から外した状態で取得することができる。また、無変調画像のスペクトルは、その無変調画像をフーリエ変換したものである。

　上記したとおり本節において変調画像の枚数（変調画像のスペクトルの数）は３、無変調画像の枚数（無変調画像のスペクトルの数）は１であるので、３つの観測点から合計１２個の観測値が取得される。これら１２個の観測値に関する１２個の式（変調画像のスペクトルに関する式１．７を９つと、無変調画像のスペクトルに関する式１．５３を３つと）を連立させて解くことによって、１２個の復元点の復元値が個別に求まる。

　なお、本節では、以下の条件が必要となる。

　［第１．９節（２Ｄ－ＳＩＭの同時３方向４画像３点復元）］
　本節では、４画像３点復元の変形例として、「同時３方向４画像３点復元」を説明する。

　先ず、本節では、標本へ投影する干渉縞は、以下のとおり方向の異なる３つの干渉縞の足しあわせ（３方向干渉縞）とされる。なお、３方向干渉縞の投影方法は後述する。

　つまり、本節では、３つの波数ベクトルξ_１、ξ_２、ξ_３を同時に有する３方向干渉縞を採用し、この３方向干渉縞で、位相の互いに異なる４枚の変調画像を取得し、それら４枚の変調画像の各々のスペクトルを生成する。

　ただし、｜ξ_ｉ｜≦２ＮＡとし（ｉ＝１、２、３）、３つの波数ベクトルξ_１、ξ_２、ξ_３を閉じた関係（ξ_３＝ξ_１－ξ_２）とする。

　また、３方向干渉縞の振幅を規定するａの値は、以下の式を満たすように選択されるものとする。

　先ず、本節で取得された或る１枚の変調画像のスペクトルにおける或る観測点ξには、復調画像のスペクトルにおける復元点ξに与えるべき復元値と、復調画像のスペクトルにおける復元点（ξ±ξ_ｉ）に与えるべき復元値（ｉ＝１、２、３）と、の合計７つの復元点の復元値が重畳されている。

　言い換えると、変調画像のスペクトルにおける或る観測点ξには、蛍光の０次変調成分と、波数ベクトルξ_１による蛍光の±１次変調成分と、波数ベクトルξ_２による蛍光の±１次変調成分と、波数ベクトルξ_３による蛍光の±１次変調成分と、の合計７成分が重畳されている。

　ここで、変調画像のスペクトルにおいて３つの波数ベクトルξ_１、ξ_２、ξ_３が描く三角形を想定し、その三角形の頂点に位置する３つの観測点ξ、（ξ＋ξ_１）、（ξ＋ξ_２）に着目する。

　これら３つの観測点ξ、（ξ＋ξ_１）、（ξ＋ξ_２）の全体には、１２個の復元点の復元値が含まれている。

　図２２は、その図解である。ただし、｜ξ_１｜＝｜ξ_２｜、ξ_１・ξ_２＝｜ξ_１｜｜ξ_２｜／２とした。

　図２２（Ａ）における３つの大きな黒点は、変調画像のスペクトルにおいて３つの波数ベクトルξ_１、ξ_２、ξ_３によって描かれる三角形の頂点に位置する３つの観測点を示しており、図２２（Ａ）における３つの大きな黒点及び９つの小さな黒点は、それら３つの観測点から復元される復元点（合計１２個の復元点）を示している。

　上記したとおり本節において変調画像の枚数（スペクトルの数）は４であるので、３つの観測点から合計１２個の観測値が取得される。これら１２個の観測値に関する１２個の式を連立させて解くことにより、１２個の復元点の復元値が個別に求まる。

　そして、本節では、３つの観測点を移動させながら、１２個の復元値の算出を繰り返せば、図２２（Ａ）に示す塗りつぶし領域全域の復元値を求める。

　なお、図２２（Ｂ）は、三角形の方向を反転させて同様の復元を行った場合の図解である。図２２（Ａ）の復元と、図２２（Ｂ）の復元とは、並行して行うことが可能である。本節では、これら２通りの復元を行い、図２０に示した塗りつぶし領域と同じ領域を復元する。

　ここで、４枚の変調画像Ｉ^（１）、Ｉ^（２）、Ｉ^（３）、Ｉ^（４）の各々に反映されている３方向干渉縞の位相（３成分からなる）は、例えば、

　すなわち、４枚の変調画像Ｉ^（１）、Ｉ^（２）、Ｉ^（３）、Ｉ^（４）の各々における干渉縞強度分布は、以下のとおり。

　因みに、４枚の変調画像における干渉縞強度分布の和は、以下の通りである。

　つまり、このような干渉強度分布及び位相の組み合わせの下で４枚の変調画像を取得したならば、標本の各部が互いに等しい光量で照明されることになる。４枚の変調画像間で、３方向干渉縞のパターンは共通、かつ、パターンの位置のみがシフトした関係になっている。よって、次の関係が成り立つ。

　ただし、ａ_１、ａ_２は、干渉縞の周期構造を結晶格子に見立てたときの格子の基本ベクトルであって、逆格子ベクトル（波数ベクトル）ｋ_ｉを、ｋ_１＝（２π／λ）ξ_１、ｋ_２＝（２π／λ）ξ_２、ｋ_３＝ｅ_Ｚとおくと（ｅ_Ｚ：ｚ方向の単位ベクトル）、以下の式で与えられる。

　図２３は、３方向干渉縞の格子構造と、格子の基本ベクトルａ_１、ａ_２との関係を示す図である。

　図２４は、４枚の変調画像の間における干渉縞強度分布の関係を示す図である。

　図２４に示すとおり、４枚の変調画像の間では、格子パターンが互いに重ならないように平行移動している。また、その移動量の単位は、格子の基本ベクトルの半分となっている。

　［第１．９．２節（３方向干渉縞の投影方法）］
　ここで、３方向干渉縞の投影方法を説明する。

　３方向干渉縞を上述した構造化照明顕微鏡装置１で生起させる際には、他の干渉縞（１方向干渉縞）を生起させる場合と同様、上述した回折格子１６（図２（Ａ））を使用することができる。

　但し、光束選択部材２０の開口パターンは、回折格子１６において生成する３群の回折光のうち、各群の０次回折光と各群の２次以降の高次回折光と各群の＋１次回折光とをカットし、かつ、各群の－１次回折光のみを透過するように設定される。これによって、瞳面上に形成される集光点は、３つの－１次回折光による集光点のみとなる。図２５（Ａ）は、光束選択部材２０によって余分な回折光がカットされなかった場合の集光点の配置を示しており、図２５（Ｂ）は、光束選択部材２０によって余分な回折光がカットされた場合の集光点の配置を示している。この場合、１２０°ずつずれた位置に３つの集光点が形成される。これら３つの集光点から射出した３つの回折光（ここでは３つの－１次回折光）は、３方向から標本の照明エリアへ入射し、標本上に３方向干渉縞を形成する。なお、ここでは、干渉縞に寄与する回折光を３つの－１次回折光としたが、３つの＋１次回折光としてもよいことは言うまでもない。

　但し、この場合、３方向干渉縞として、３通りの２光束干渉縞の重ね合わせではなく、３光束干渉縞が生起してしまうので、超解像効果が低くなってしまう。また、±１次回折光の一方をカットするので、レーザ光の利用効率が低くなってしまう。

　そこで、次のとおりにしてもよい。すなわち、独立した３つのレーザ光源Ａ、Ｂ、Ｃを用意し、レーザ光源Ａから射出したレーザ光、レーザ光源Ｂから射出したレーザ光、レーザ光源Ｃから射出したレーザ光の各々を、２分岐ファイバで分岐し、６つの点光源ａ、ａ’、ｂ、ｂ’、ｃ、ｃ’を形成する。なお、点光源ａ、ａ’は、レーザ光源Ａから生成された可干渉な光源であり、点光源ｂ、ｂ’は、レーザ光源Ｂから生成された可干渉な光源であり、点光源ｃ、ｃ’は、レーザ光源Ｃから生成された可干渉な光源である。そして、ファイバを適切に配線することにより、それら６つの点光源ａ、ａ’、ｂ、ｂ’、ｃ、ｃ’を、図２６に示すような位置関係で瞳共役面へ配置する。つまり、点光源ａ、ａ’の配列方向と、点光源ｂ、ｂ’の配列方向と、点光源ｃ、ｃ’の配列方向とは、１２０°ずつ異なる互いに異なる方向に設定される。これら６つの点光源から射出した６つのレーザ光は、６方向から標本の照明エリアへ入射し、標本上に３方向干渉縞を形成する。

　ここで、点光源ａ、ａ’から射出したレーザ光Ｌａ、Ｌａ’と、点光源ｂ、ｂ’から射出したレーザ光Ｌｂ、Ｌｂ’と 、点光源ｃ、ｃ’から射出したレーザ光Ｌｃ、Ｌｃ’とは、互いに干渉しない。したがって、標本上に形成される干渉縞は、３通りの２光束干渉縞の重ね合わせとなる。よって、超解像効果が低くなることはなく、レーザ光の利用効率も高い。

　なお、このように、光の分岐手段として回折格子１６の代わりに２分岐ファイバが使用された場合は、３方向干渉縞の位相（３成分からなる）を変化させるために、回折格子１６を並進移動させる代わりに、レーザ光Ｌａ、ａ’の位相差と、レーザ光Ｌｂ、Ｌｂ’の位相差と、レーザ光Ｌｃ、Ｌｃの位相差とをそれぞれ変化させればよい。

　［第２．１節（３Ｄ－ＳＩＭの前提）］
　本節では、３Ｄ－ＳＩＭの復調演算の前提を説明する。

　ここでは、３Ｄ－ＳＩＭにおける干渉縞強度分布を、以下のとおり仮定する。

　３光束干渉の波長をλとおくと、３Ｄ－ＳＩＭにおける干渉縞強度分布Ｋ（ｒ） は、以下のとおり表される。

　ただし、ｋ_０= 2π／λ、ｊ＝－１、０、＋１として、ベクトルk_ｊを以下の通り定義する。

　ここで、ξ_０・ｅ_Ｚ＝０とした。

　簡単のため、ａ_０＝１、ａ_＋＝ａ＝｜a｜ｅ^ｉφ、ａ_－＝ａ^＊＝｜a｜ｅ^－ｉφと仮定すると、

　となるので、干渉縞強度分布Ｋは、以下のとおり表される。縞は、正弦波状の強度分布を有する第１の周期の縞(中央光とその左右の光からなる３光束のうち、左右の光による干渉縞)と、正弦波状の強度分布を有する第２の周期（第１の周期の２倍）の縞（中央光とその左右の光からなる３光束のうち、中央光と右光（又は左光）による干渉縞）とが重畳したものからなる。

　ここで、ζ_０＝√［１－ξ_０ ^２］－１とおくと、

　と表せる。これを、ｚに依存する成分とｘに依存する成分とに分離して、

　とおく。ただし、

　となる。ただし、J_－１＝J_１ ^＊、J_－２＝J_２ ^＊とする。

　さて、標本の蛍光物質密度をＩ_０（ｘ）とし、以上の干渉縞強度分布Ｋの干渉縞を標本へ投影したときに、標本の蛍光強度分布は、Ｉ_０（ｒ）Ｋ（ｒ）で表されると仮定し、標本の各点で発生した蛍光は他の点の蛍光物質を励起しないという近似（Born 近似）を採用する。

　このとき、３Ｄ－ＳＩＭモードで取得される変調画像Ｉ（ｘ、ｚ）は、次のように表される。

　すなわち、

　ここで、干渉縞のｚ方向（光軸Ｏ方向）の起点を、観測点のｚ座標（ｚ’）が常に中心となるように設定したならば、

　３次元ＯＴＦを、

　とおくと、

　そして、変調画像をフーリエ空間で表したもの（すなわち変調画像の空間周波数スペクトル）は、以下のとおり表される。

　これを書き下すと、以下のとおりとなる。

　ただし、第一項の係数が1 となるように、

　とした。なお、ａ、ｂ、ｃは、３Ｄ－ＳＩＭの干渉縞に寄与する３光束（±１次回折光及び０次回折光）の強度バランスによって決まる値である。

　以下、フーリエ空間上の空間周波数スペクトルを単に「スペクトル」と称す。また、以下では、この式に現れるφを「位相」と称す。

　［第２．２節（従来の３Ｄ－ＳＩＭ）］
　本節では、比較のため、従来の３Ｄ－ＳＩＭの復調演算を説明する。

　先ず、３Ｄ－ＳＩＭモードで取得される変調画像のスペクトルにおける観測点ξには、蛍光の－１次変調成分、蛍光の＋１次変調成分、蛍光の＋２次変調成分、蛍光の＋２次変調成分、蛍光の０次変調成分の５成分が重畳されている。観測点ξに重畳された±１次変調成分は、復調画像のスペクトルにおける復元点（ξ±ξ_０）が有するべき値（復元値）であり、観測点ξに重畳された±２次変調成分は、復調画像のスペクトルにおける復元点（ξ±２ξ_０）が有するべき値（復元値）であり、観測点ξに重畳された０次変調成分は、復調画像のスペクトルにおける復元点ξが有するべき値（復元値）である。
つまり、観測点ξに重畳された±１次変調成分は、正弦波状の強度分布を有する第２の周期（第１の周期の２倍）の縞（中央光とその左右の光からなる３光束のうち、中央光と右光（又は左光）による干渉縞）によって変調された成分であり、観測点ξに重畳された±２次変調成分は正弦波状の強度分布を有する第１の周期の縞(中央光とその左右の光からなる３光束のうち、左右の光による干渉縞)によって変調された成分である。
このことは、変調画像のスペクトルの各観測点について当てはまる。図２７における大きな黒点は、或る観測点に対応し、大きな黒点及びその両側の小さな４つの黒点は、その観測点から復元される５つの復元点に対応している。

　そこで、従来の３Ｄ－ＳＩＭの復調演算では、変調画像のスペクトルの各観測点に重畳された５つの変調成分を互いに分離するために、位相の異なる５枚の変調画像を取得し、それらの変調画像の各々のスペクトルを生成していた。従来は、これらのスペクトルが満たす５つの方程式を連立させて解くことで、図２７における塗りつぶし領域（通常解像範囲及び超解像範囲）の復元値を求めていた。

　［第２．４節（３Ｄ－ＳＩＭの９画像２点復元）］
　本節では、本実施形態の３Ｄ－ＳＩＭの復調演算として、「９画像２点復元」を説明する。本節における変調画像の取得は、上述した制御装置４３が各部を制御して行うものとし、本節における演算は、上述した画像記憶・演算装置４４が実行するものとする（他の節においても同様。）。

　本節では、３Ｄ－ＳＩＭで取得される１枚の変調画像のスペクトルにおいて、変調方向にかけて変調周波数ξ_０だけ離れた２つの観測点ξ、（ξ＋ξ_０）には、互いに値の共通する変調成分が重畳されていることに着目する。

　具体的には、観測点ξに重畳した蛍光の－１次変調成分と、観測点（ξ＋ξ_０）に重畳した蛍光の０次変調成分とは、何れも復元点（ξ＋ξ_０）の復元値に相当し、観測点ξに重畳した蛍光の－２次変調成分と、観測点（ξ＋ξ_０）に重畳した蛍光の－１変調成分とは、何れも復元点（ξ＋２ξ_０）の復元値に相当し、観測点（ξ＋ξ_０）に重畳した蛍光の＋１次変調成分と、観測点ξに重畳した蛍光の０次変調成分とは、復元点ξの復元値に相当し、観測点（ξ＋ξ_０）に重畳した蛍光の＋２次変調成分と、観測点ξに重畳した蛍光の１次変調成分とは、何れも（ξ－ξ_０）の復元値に相当する。つまり、これら２つの観測点ξ、（ξ＋ξ_０）には、互いに共通する４つの復元点（ξ－ξ_０）、ξ、（ξ＋ξ_０）、（ξ＋２ξ_０）の復元値が含まれている。

　本節の９画像２点復元では、この関係を利用する。以下、具体的に説明する。

　１枚の変調画像のスペクトルにおいて、観測点ξの観測値と、観測点（ξ＋ξ_０）の観測値とは、以下の式で表される。

　そこで、本節では、同一の波数ベクトルξ_０で互いに位相φの異なる３枚の変調画像を取得し、それら３枚の変調画像の各々のスペクトルを生成し、それら３つのスペクトルの各々から、２つの観測点ξ、（ξ＋ξ_０）に関する合計６個の観測値を参照し、それら６つの観測値を、これらの式へ当てはめることにより、６個の復元値（未知数）を含んだ合計６個の式を取得する。

　図２８は、本節の３Ｄ－ＳＩＭの復調画像の周波数域を示す図である。図２８（Ａ）はｘｙ断面、図２８（Ｂ）は、ｚｘ断面である。

　図２８における大きな黒点は、ξ_０だけずれた或る２つの観測点ξ、（ξ＋ξ_０）を示しており、図２８における２つの大きな黒点及び４つの小さな黒点は、それらの観測点ξ、（ξ＋ξ_０）から復元される復元点（合計６つの復元点）を示している。

　以上の説明は、或る波数ベクトル（１方向）に関する復元の説明である。

　よって、本節では、互いに方向の異なる３つの波数ベクトルの各々で位相の異なる３枚の変調画像を取得し、それら変調画像の各々のスペクトルを生成し、それらのスペクトルに対して方向毎に上記と同様の復元処理を施す。これによって、周波数範囲の広い復調画像を得ることができる。

　なお、本節では、同一の波数ベクトルで取得される３枚の変調画像間の位相差Δφは、２π／３に設定されることが望ましい。

　［第２．５節（３Ｄ－ＳＩＭの7画像３点復元）］
　本節では、３Ｄ－ＳＩＭの7画像３点復元を説明する。本節は、無変調画像のスペクトルを利用した第１．７節を３Ｄ－ＳＩＭに応用したものである。

　先ず、本節では、方向数（波数ベクトルの数）を３とする。

　つまり、本節では、３つの波数ベクトルξ_１、ξ_２、ξ_３を閉じた関係（ξ_３＝ξ_１－ξ_２）にし、かつ、１枚の無変調画像を取得する代わりに、３つの方向の各々の位相数を、１ずつ抑える（２ずつとする。）。

　また、本節では、同一の波数ベクトルで取得される２枚の変調画像間の位相差Δφを、Δφ＝πに設定する。

　また、ここでは３つの波数ベクトルの番号をｋ（ｋ＝１、２、３） とおき、ｋ番目の波数ベクトルで取得された、互いに位相の異なる２枚の変調画像を、以下の通り表す。

　また、無変調画像を、Ｉ^（０）と表す。

　式２．２３より、以下の式が成り立つ。

　ただし、±１次変調成分と±２次変調成分とをそれぞれまとめて、次のように表した。

　また、τ_０＝ＯＴＦ_０（ξ，ζ）、τ_０’＝ＯＴＦ_１（ξ，ζ）とおいた。

　ここで、同一の波数ベクトルで取得される２枚の変調画像間の位相差Δφを、Δφ＝πに設定したので、式２．３５より、以下の式が成り立つ。

　よって、式２．３４より、以下の式が得られる。

　なお、簡単のため、右辺では添字φkを省略した。

　また、０次変調成分（通常解像成分）は、次のように表せる。

　以上の式２．３９、式２．４０、式２．４１をまとめて行列で書くと、以下のとおりである。

　そこで、本節では、先ず、７枚分の変調画像の各々のスペクトルにおける観測点ξに関する７つの観測値を式２．４２へ当てはめることで、式２．４２の右辺における７つの復元値、すなわち以下の復元値（±１次変調成分と±２次変調成分および０次変調成分）をそれぞれ求める。

　ここからの先の計算は、第１．７節の計算と同様である。すなわち、スペクトル

　において、３つの波数ベクトルξ_k（k=1,2,3）の分だけ互いにずれた任意の３つの観測点に関する１２の観測値に基づけば、３つの観測点に重畳された蛍光の＋１次変調成分と－１次変調成分とを分離することができる。

　また、スペクトル

　において、３つの波数ベクトルの２倍分２ξ_k（k=1,2,3）だけ互いにずれた任意の３つの観測点に関する１２の観測値に基づけば、３つの観測点に重畳された蛍光の＋２次変調成分と－２次変調成分とを分離することができる。

　［第２．６節（３Ｄ－ＳＩＭの１２画像３点復元）］
　本節では、画像の枚数（スペクトルの数）の削減よりも演算精度の維持を目的として、方向数（波数ベクトルの数）を３とし、各方向の位相数を４とすることで、合計１２枚の変調画像を取得する（合計１２個のスペクトルを生成する）。

　また、本節では、同一の波数ベクトルで取得される４枚の変調画像間の位相差Δφを、Δφ＝π／２に設定する。

　また、ここでは方向番号をｋ（ｋ＝１、２、３） とおき、位相番号をl（ｌ＝０、１、２、３）とおく。

　先ず、±１次変調成分は、式２．３５より、

　また、±２次変調成分は、式２．３６より、

　と表される。そして、

　が成り立つ。

　よって、本節の復調演算を行列で書くと、

　となる。

　したがって、本節では、１２枚の変調画像のスペクトル（１２のスペクトル）の観測値をこの式へ当てはめることにより、０次変調成分と±１次変調成分とを分離する。

　そして、残る±２次変調成分については、第１．７節と同様の手順で分離する。

　このように、本節では、第２．５節の手順を踏まずに±１次変調成分を分離することができるので、高いセクショニング効果が期待できる。

　［第２．７節（３Ｄ－ＳＩＭの８画像３点復元）］
　　なお、上述した第１．６節を以下の通り３Ｄ－ＳＩＭに応用してもよい。

　　本節では、方向数（波数ベクトルの数）を３とする。

　また、３つの波数ベクトルξ_１、ξ_２、ξ_３を閉じた関係（ξ_３＝ξ_１－ξ_２）に設定する。

　そして、３つの方向のうち何れか１つの方向（波数ベクトルξ_１）については、位相数を４とするが、他の２つの方向の各々の位相数を２に抑える。

　つまり、本節では、３つの波数ベクトルξ_１、ξ_２、ξ_３を閉じた関係（ξ_３＝ξ_１－ξ_２）にする代わりに、２つの方向の各々の変調画像数を、１ずつ抑える。よって、変調画像の合計数（スペクトルの合計数）は、８となる。

　ただし、本節では、第１方向（k＝１）の変調画像間の位相差は、Δφ＝π／２、第２方向（k＝２）の変調画像間の位相差は、Δφ＝π、第３方向（k＝３）の変調画像間の位相差は、Δφ＝πに設定される。

　このようにして取得された８枚の変調画像のスペクトルによると、各変調成分を分離することが可能である。すなわち、第１ステップにおいて、第１方向（ｋ＝１）に関する４枚の変調画像のスペクトルで０次変調成分を求めてから、第２ステップにおいて、±１次変調成分、±２次変調成分の分離を行えばよい。　

　なお、以上の説明では、波数ベクトルの数を３とし、３つの波数ベクトルξ_１、ξ_２、ξ_３を閉じた関係（ξ_３＝ξ_１－ξ_２）に設定したが、これに限られることはなく、波数ベクトルの数を３以上としてもよい。例えば、波数ベクトルの数を５とし、５つの波数ベクトルを閉じた関係に設定してもよい。

　［標本２を連続観察する実施形態］
　以下、標本２を連続観察する実施形態を説明する。ここでは、２Ｄ－ＳＩＭの第１．６節、第１．７節、３Ｄ－ＳＩＭの第２．５節、第２．６節、第２．７節の何れかが適用された構造化照明顕微鏡装置において、標本２を連続観察するための制御装置４３、画像記憶・演算装置４４の動作を説明する。

　なお、２Ｄ－ＳＩＭの第１．６節、第１．７節、３Ｄ－ＳＩＭの第２．５節、第２．６節、第２．７節の間では、上述した分離（＝超解像画像の生成）に必要な画像の枚数や種類は異なるものの、基本的な動作は共通する。

　先ず、本実施形態の制御装置４３は、標本２を連続観察するために、超解像画像の生成に必要なＭ種類の画像を含むＮ枚（Ｍ≦Ｎ）の画像を順次に取得するという一連の処理を、繰り返す。以下、この一連の処理を、「ラウンド」と称す。つまり、第１ラウンドでＮ枚の画像を取得し、第２ラウンドで、さらにＮ枚の画像を取得し、第ｎラウンドで、さらにＮ枚の画像を取得する。

　また、本実施形態の画像記憶・演算装置４４は、標本２を連続観察するために、超解像画像の生成及び超解像画像の表示を繰り返す。超解像画像の生成及び超解像画像の表示は、次のとおり行われる。すなわち、画像記憶・演算装置４４は、画像がＬ枚（Ｌ≦Ｍ）取得される度に最新となる連続Ｐ枚の画像セット（連続するＰ枚の画像で構成される画像セット）から、分離（復調）に必要なＭ種類の画像を選択して１枚の超解像画像を生成する処理を、画像セットごとに行う（Ｍ≦Ｐ≦Ｎ）。また、画像記憶・演算装置４４は、生成した超解像画像を画像表示装置４５へ生成順に表示する。これによって、画像表示装置４５上の超解像画像が順次に更新され、標本２の連続観察が可能となる。

　以下、標本２をリアルタイム観察するために、以上の画像の取得、超解像画像の生成、超解像画像の表示は、並行して行われるものとする。つまり、画像記憶・演算装置４４は、画像がＬ枚（Ｌ≦Ｍ）取得される度に超解像画像の生成を行い、超解像画像を生成する度に超解像画像の表示を行うものとする。

　ここで、超解像画像の更新に必要なＭ種類の画像には、干渉縞の写った画像（変調画像）が必ず含まれる。この変調画像の取得時には、標本２の照明強度が空間的に非一様となるので、標本２に退色ムラの起こる虞がある。

　そこで、本実施形態の制御装置４３は、１ラウンド内におけるＮ枚の画像の配列（なお、「配列」とは、順番を決めて並べること、又はその並びのことである。）を、以下の条件を満たすように設定する。

　・均一条件：干渉縞の強度分布をＮ枚の画像間（実視野における画像間）で積算すると空間的に略一様（略同じ）になる。但し、画像取得時の条件（レーザパワー、レーザ照射時間、電荷蓄積時間の組み合わせで決まる）は、Ｎ枚の画像間で共通に設定される（なお、「略一様」とは、干渉縞の形成領域における強度積算値の空間的なばらつきが、強度積算値の空間平均値の１％以内に収まった状態のことを指す。）。

　・更新条件：超解像画像の更新時（以下、単に「更新時」という。）に参照される最新Ｐ枚の画像からなる画像セットには、超解像画像の更新に必要なＭ種類の画像が必ず含まれる。

　したがって、本実施形態によれば、ラウンド中に画像がＬ枚取得される度に超解像画像が更新され、かつ、ラウンドの開始から終了までの期間に標本２の退色ムラが解消されるので、そのラウンドを何回繰り返したとしても退色ムラが悪化することは無い。

　なお、本実施形態では、更新時に参照される画像セット（更新に必要なＭ種類の画像を選択するために、候補となるＰ枚の画像から構成される画像セットであって、以下、「参照される画像セット」或いは単に「画像セット」という。）を構成する画像の枚数Ｐは、更新に必要な画像の種類数Ｍに等しくてもよい。つまり、超解像画像の更新は、常に最新Ｍ枚の画像セットで行われてもよい。

　また、本実施形態では、超解像画像の更新頻度に相当する画像取得枚数Ｌは、１又は２であってもよい。つまり、超解像画像の更新頻度は、「１枚ごと」又は「２枚ごと」であってもよい。例えば、Ｌ＝１の場合、更新前の画像セットは、第１番目の画像～第Ｐ番目の画像で構成され、更新時の画像セットは、第２番目の画像～第（Ｐ+１）番目の画像で構成される。

　或いは、本実施形態では、超解像画像の更新頻度に相当する画像取得枚数Ｌは、更新に必要な画像の種類数Ｍに等しくてもよい。つまり、超解像画像の更新頻度は、「Ｍ枚ごと」であってもよい。

　また、本実施形態では、１ラウンド内におけるＮ枚の画像の配列は、更に以下の条件を満たしてもよい。

　・方向条件：１ラウンド内における波数ベクトルの方向切り換えは、３つの波数ベクトルの方向のうち、互いに近接する方向間の切り換えのみに制限される。

　この方向条件の意義は次のとおりである。すなわち、３つの波数ベクトルの方向の関係が、例えば図２に示すように、第１方向Ｖ１、第２方向Ｖ２、第３方向Ｖ３の関係である場合は、波数ベクトルの方向を切り換えるための部材（ここでは光束選択部材２０）の回転位置を、第１方向Ｖ１を基準（０°）として－６０°、０°、＋６０°の間で切り換えればよい。しかしながら、光束選択部材２０の回転位置を－６０°と０°との間で切り換える場合に必要な光束選択部材２０の回転量は６０°であって、光束選択部材２０の回転位置を０°と＋６０°との間で切り換える場合に必要な光束選択部材２０の回転量は６０°であるのに対して、光束選択部材２０の回転位置を－６０°と＋６０°との間で切り換える場合に必要な光束選択部材２０の回転量は１２０°である。よって、光束選択部材２０の回転量を最小限に抑えるためには方向条件が有効である。

　また、本実施形態では、１ラウンド内におけるＮ枚の画像の配列は、更に以下の条件を満たしてもよい。

　・連続条件：更新時に参照される画像セット内では、更新に必要なＭ種類の画像のうち、波数ベクトルが共通な変調画像同士は互いに連続する。

　この連続条件の意義は、次のとおりである。すなわち、仮に、波数ベクトルが共通な変調画像同士の取得タイミングが連続しておらず、それらの変調画像を取得し終える前に標本２が変化したならば、前述した分離の精度が低下し、超解像画像の画質が低下する。よって、標本２の時間変化を想定したならば、連続条件が有効である。

　また、本実施形態では、ラウンド内におけるＮ枚の画像の配列は、更に以下の条件を満たしてもよい。

　・等方条件：３つの波数ベクトルのうち、或る１つの波数ベクトルで取得される変調画像の枚数と、他の１つの波数ベクトルで取得される変調画像の枚数と、残る１つの波数ベクトルで取得される変調画像の枚数とは、等しい。

　この等方条件が満たされれば、標本２の退色状況が等方的になる（３つの方向間で退色状況が等しい）という利点がある。

　［標本２を連続観察する第１実施例］
　以下、標本２を連続観察する実施形態の第１実施例を説明する。

　本実施例には、２Ｄ－ＳＩＭモードの第１．７節が適用される。

　よって、超解像画像の更新に必要な画像は、互いに閉じた関係の３つの波数ベクトルの各々で１枚ずつ取得される変調画像と、１枚の無変調画像とである。よって、超解像画像の更新に必要な画像の種類数Ｍは、Ｍ＝４である。

　また、超解像画像の更新頻度は、「１枚ごと」に設定される。つまり、超解像画像の更新頻度に相当する画像取得枚数Ｌは、Ｌ＝１に設定される。

　また、更新時に参照される画像セットを構成する画像の枚数Ｐは、更新に必要な画像の種類数Ｍに等しい。つまり、画像セットを構成する画像の枚数Ｐは、Ｐ＝Ｍ＝４である。

　そして、本実施例では、上述した均一条件、更新条件を満たすよう、１ラウンド内におけるＮ枚の画像の配列は表１のとおりに設定される。表１の配列では、１ラウンド内の画像取得枚数Ｎは、Ｎ＝８である。

　なお、表１における方向は、波数ベクトルの方向を表し、位相は、波数ベクトルの位相を表し、画像の番号は、画像の取得順序を表している。また、表１における方向１、方向２、方向３、位相θ１，θ２，θ３の各々は任意である。方向１、方向２、方向３の関係は、例えば、図２に示すように、第１方向Ｖ１、第２方向Ｖ２、第３方向Ｖ３の関係である。

　そして、本実施例において超解像画像の更新に使用される画像は、表２に示すような組み合わせとなる。

　なお、表２における超解像画像の番号は、超解像画像の生成順序を表している。

　［標本２を連続観察する第２実施例］
　以下、標本２を連続観察する実施形態の第２実施例を説明する。

　本実施例は、第１実施例の変形例であるので、ここでは第１実施例との相違点のみを説明する。

　本実施例は、第１実施例において、方向条件を追加し、その代わりに更新条件を緩和させたものである。

　更新条件を緩和させるために、本実施例では、超解像画像の更新頻度を「４枚ごと」に低下させる（Ｌ＝４とする）。

　よって、本実施例では、均一条件、更新条件（但し、Ｌ＝４）、方向条件を満たすよう、１ラウンド内におけるＮ枚の画像の配列は表３のとおりに設定される。表３の配列では、１ラウンド内の画像取得枚数Ｎは、Ｎ＝８である。

　なお、表３における方向は、波数ベクトルの方向を表し、位相は、波数ベクトルの位相を表し、画像の番号は、画像の取得順序を表している。また、表３における位相θ１、θ２、θ３の各々は任意であるが、方向１と方向２とは互いに近接した方向であって、方向２と方向３とは互いに近接した方向であるのに対して、方向１と方向３とは互いに近接していないと仮定した。方向１と方向２との関係は、例えば６０°回転した関係であり、方向２と方向３との関係は、例えば６０°回転した関係である。

　そして、本実施例において超解像画像の更新に使用される画像は、表４に示すような組み合わせとなる。

　以上、本実施例では、超解像画像の更新頻度が第１実施例より低くなるものの、干渉縞の方向切り換えを効率化できるという利点がある。

　［標本２を連続観察する第３実施例］
　以下、標本２を連続観察する実施形態の第３実施例を説明する。

　本実施例には、２Ｄ－ＳＩＭモードの第１．６節が適用される。

　よって、超解像画像の更新に必要な画像は、互いに閉じた関係の３つの波数ベクトルのうち、２つの波数ベクトルの各々で１枚ずつ取得される変調画像と、他の１つの波数ベクトルで取得される位相の異なる２枚の変調画像とである。よって、超解像画像の更新に必要な画像の種類数Ｍは、Ｍ＝４である。

　また、超解像画像の更新頻度は、「１枚ごと」に設定される。つまり、Ｌは、Ｌ＝１に設定される。

　また、更新時に参照される画像セットを構成する画像の枚数Ｐは、更新に必要な画像の種類数Ｍに等しい。つまり、画像セットを構成する画像の枚数Ｐは、Ｐ＝Ｍ＝４である。

　そして、本実施例では、上述した均一条件、更新条件、連続条件を満たすよう、１ラウンド内におけるＮ枚の画像の配列は表５のとおりに設定される。表５の配列では、１ラウンド内の画像取得枚数Ｎは、Ｎ＝１８である。

　なお、表５における方向は、波数ベクトルの方向を表し、位相は、波数ベクトルの位相を表し、画像の番号は、画像の取得順序を表している。また、表５における方向１、方向２、方向３、位相θ１，θ１’，θ２，θ２’，θ３，θ３’，φ１，φ２，φ３の各々は任意である。方向１、方向２、方向３の関係は、例えば、第１方向Ｖ１、第２方向Ｖ２、第３方向Ｖ３の関係（図２参照）である。

　そして、本実施例において超解像画像の更新に使用される画像は、表６に示すような組み合わせとなる。

　なお、表６における超解像画像の番号は、超解像画像の生成順序を表している。

　因みに、本実施例では、上述した等方条件も満たされるので、標本２の退色状況が等方的になるという利点もある。

　また、本実施例では、特に、θ１＝φ１，θ２＝φ２，θ３＝φ３と設定してもよい。この場合、Ｎ枚の画像の配列は表７のとおりとなり、超解像画像の更新に使用される画像は、表８に示すような組み合わせとなる。

　この設定によると、標本２の退色ムラを頻繁に解消できるという更なる効果が得られる。因みに、表５の配列によると退色ムラの解消頻度は「１８枚ごと」であったのに対して、表７の配列によると退色ムラの解消頻度は「６枚ごと」となる。

　［標本２を連続観察する第４実施例］
　以下、標本２を連続観察する実施形態の第４実施例を説明する。

　本実施例は、第３実施例の変形例であるので、ここでは第３実施例との相違点のみを説明する。

　本実施例は、第３実施例において、方向条件を追加し、その代わりに更新条件を緩和させたものである。

　更新条件を緩和させるために、本実施例では、超解像画像の更新頻度を「４枚ごと」に低下させる（Ｌ＝４とする）。

　よって、本実施例では、均一条件、更新条件（但し、Ｌ＝４）、連続条件、方向条件を満たすよう、１ラウンド内におけるＮ枚の画像の配列は表９のとおりに設定される。表９の配列では、１ラウンド内の画像取得枚数Ｎは、Ｎ＝１２である。

　なお、表９における方向は、波数ベクトルの方向を表し、位相は、波数ベクトルの位相を表し、画像の番号は、画像の取得順序を表している。また、表９における位相θ１、θ２、θ３の各々は任意であるが、方向１と方向２とは互いに近接した方向であって、方向２と方向３とは互いに近接した方向であるのに対して、方向１と方向３とは互いに近接していない方向であると仮定した。方向１と方向２との関係は、例えば６０°回転した関係であり、方向２と方向３との関係は、例えば６０°回転した関係である。

　そして、本実施例において超解像画像の更新に使用される画像は、表１０に示すような組み合わせとなる。

　以上、本実施例では、超解像画像の更新頻度が第３実施例より低くなるものの、干渉縞の方向切り換えを効率化できるという利点がある。

　［標本２を連続観察する第５実施例］
　以下、標本２を連続観察する実施形態の第５実施例を説明する。

　本実施例は、第３実施例の変形例であるので、ここでは第３実施例との相違点のみを説明する。

　本実施例は、第３実施例において、方向条件を追加し、その代わりに連続条件を外したものである。

　よって、本実施例では、均一条件、更新条件（但し、Ｌ＝１）、方向条件を満たすよう、１ラウンド内におけるＮ枚の画像の配列は表１１のとおりに設定される。表１１の配列では、１ラウンド内の画像取得枚数Ｎは、Ｎ＝８である。

　なお、表１１における方向は、波数ベクトルの方向を表し、位相は、波数ベクトルの位相を表し、画像の番号は、画像の取得順序を表している。また、表１１における位相θ１、θ２、θ３の各々は任意であるが、方向１と方向２とは互いに近接した方向であって、方向２と方向３とは互いに近接した方向であるのに対して、方向１と方向３とは互いに近接していない方向であると仮定した。

　そして、本実施例において超解像画像の更新に使用される画像は、表１２に示すような組み合わせとなる。

　以上、本実施例では、干渉縞の方向が共通である２つの変調画像の取得タイミングが連続しないので、時間変化の大きい標本２には適さないものの、干渉縞の方向切り換えを効率化できるという利点がある。

　［標本２を連続観察する第６実施例］
　以下、標本２の連続観察する実施形態の第６実施例を説明する。

　本実施例は、第３実施例の変形例であるので、ここでは第３実施例との相違点のみを説明する。

　本実施例は、第３実施例において、方向条件を追加し、その代わりに更新条件を緩和させたものである。

　更新条件を緩和させるために、本実施例では、更新時に参照される画像セットを構成する画像の枚数Ｐを、１枚増やす（Ｐ＝５とする）。この場合、更新に使用される画像は、「最新４枚の画像」ではなく、「最新５枚の画像のうち適切な４枚」となる。

　よって、本実施例では、均一条件、更新条件（但し、Ｐ＝５）、連続条件、方向条件を満たすよう、１ラウンド内におけるＮ枚の画像の配列は表１３のとおりに設定される。表１３の配列では、１ラウンド内の画像取得枚数Ｎは、Ｎ＝６である。

　なお、表１３における方向は、波数ベクトルの方向を表し、位相は、波数ベクトルの位相を表し、画像の番号は、画像の取得順序を表している。また、表１３における位相θ１、θ２、θ３の各々は任意であるが、方向１と方向２とは互いに近接した方向であって、方向２と方向３とは互いに近接した方向であるのに対して、方向１と方向３とは互いに近接していない方向であると仮定した。方向１と方向２との関係は、例えば６０°回転した関係であり、方向２と方向３との関係は、例えば６０°回転した関係である。

　そして、本実施例において超解像画像の更新に使用される画像は、表１４に示すような組み合わせとなる。

　なお、表１４における画像番号「１」、「２」、「３」、…は、第１ラウンドにおける画像番号であり、画像番号「１’」、「２’」、「３’」、…は、第２ラウンドにおける画像番号である（他の表も同様）。

　以上、本実施例では、超解像画像の更新に使用される画像は必ずしも最新４枚ではないものの、干渉縞の方向切り換えを効率化できるという利点がある。

　［標本２を連続観察する第７実施例］
　以下、標本２を連続観察する実施形態の第７実施例を説明する。

　本実施例では、第４実施例と同じ条件（均一条件、更新条件（但し、Ｌ＝４）、連続条件、方向条件）を満たす別の配列を説明する。

　本実施例の配列は、表１５に示すとおりである。表１５の配列では、１ラウンド内の画像取得枚数Ｎは、Ｎ＝２４である。

　なお、表１５における方向は、波数ベクトルの方向を表し、位相は、波数ベクトルの位相を表し、画像の番号は、画像の取得順序を表している。また、表１５における位相θ１，θ２，θ３の各々は任意であるが、方向１と方向２とは互いに近接した方向であって、方向２と方向３とは互いに近接した方向であるのに対して、方向１と方向３とは互いに近接していないと仮定した。方向１と方向２との関係は、例えば６０°回転した関係であり、方向２と方向３との関係は、例えば６０°回転した関係である。

　そして、本実施例において超解像画像の更新に使用される画像は、表１６に示すような組み合わせとなる。

　以上、本実施例では、第４実施例よりも１ラウンド内の画像取得枚数Ｎが増えるものの、第４実施例と同じ効果が得られる。

　［標本２を連続観察する第８実施例］
　以下、標本２を連続観察する実施形態の第８実施例を説明する。

　本実施例には、３Ｄ－ＳＩＭモードの第２．５節が適用される。

　よって、超解像画像の更新に必要な画像は、互いに閉じた関係の３つの波数ベクトルのうち、或る１つの波数ベクトルで取得される位相の異なる２枚の変調画像と、他の１つの波数ベクトルで取得される位相の異なる２枚の変調画像と、残る１つの波数ベクトルで取得される位相の異なる２枚の変調画像と、１枚の無変調画像とである。よって、超解像画像の更新に必要な画像の種類数Ｍは、Ｍ＝７である。

　また、超解像画像の更新頻度は、「２枚ごと」又は「１枚ごと」に設定される。つまり、Ｌは、Ｌ＝１、又はＬ＝２に設定される。

　また、更新時に参照される画像セットを構成する画像の枚数Ｐは、更新に必要な画像の種類数Ｍに等しい。つまり、画像セットを構成する画像の枚数Ｐは、Ｐ＝Ｍ＝７である。

　そして、本実施例では、上述した均一条件、更新条件、連続条件を満たすよう、１ラウンド内におけるＮ枚の画像の配列は表１７のとおりに設定される。表１７の配列では、１ラウンド内の画像取得枚数Ｎは、Ｎ＝１４である。

　なお、表１７における方向は、波数ベクトルの方向を表し、位相は、波数ベクトルの位相を表し、画像の番号は、画像の取得順序を表している。また、表１７における方向１、方向２、方向３、位相θ１，θ２，θ３の各々は任意である。方向１、方向２、方向３の関係は、例えば、第１方向Ｖ１、第２方向Ｖ２、第３方向Ｖ３の関係である。

　そして、本実施例において超解像画像の更新に使用される画像は、表１８に示すような組み合わせとなる。

　なお、表１８における超解像画像の番号は、超解像画像の生成順序を表している。

　以上、第８実施例では、基本的には、波数ベクトルが共通であって位相の異なる２枚の変調画像の双方が取得される度に超解像画像が更新される（すなわち、基本的には２枚ごとに更新される）。但し、第８実施例では、無変調画像が取得される度にも超解像画像が更新される（すなわち、無変調画像が取得されたときには１枚ごとに更新される）。

　［標本２を連続観察する第９実施例］
　以下、標本２を連続観察する実施形態の第９実施例を説明する。

　本実施例は、第８実施例の変形例であるので、ここでは第８実施例との相違点のみを説明する。

　本実施例、第８実施例において、方向条件を追加し、その代わりに更新条件を緩和させたものである。

　更新条件を緩和させるために、本実施例では、超解像画像の更新頻度を「７枚ごと」に低下させる（Ｌ＝７とする）。

　つまり、本実施例では、均一条件、更新条件（但し、Ｌ＝７）、連続条件、方向条件を満たすよう、１ラウンド内におけるＮ枚の画像の配列は表１９のとおりに設定される。表１１の配列では、１ラウンド内の画像取得枚数Ｎは、Ｎ＝１４である。

　なお、表１９における方向は、波数ベクトルの方向を表し、位相は、波数ベクトルの位相を表し、画像の番号は、画像の取得順序を表している。また、表１９における位相θ１、θ２、θ３の各々は任意であるが、方向１と方向２とは互いに近接した方向であって、方向２と方向３とは互いに近接した方向であるのに対して、方向１と方向３とは互いに近接していない方向であると仮定した。方向１と方向２との関係は、例えば６０°回転した関係であり、方向２と方向３との関係は、例えば６０°回転した関係である。

　そして、本実施例において超解像画像の更新に使用される画像は、表２０に示すような組み合わせとなる。

　以上、本実施例では、超解像画像の更新頻度が第８実施例より低くなるものの、干渉縞の方向切り換えを効率化できるという利点がある。

　なお、本実施例では、ラウンド内最後の画像（第１４画像）の取得を省略し、次のラウンドの最初の画像（第１’画像）を、第１４画像として使用してもよい。このようにすれば、ラウンド内の画像取得枚数Ｎを、１だけ削減する（Ｎ＝１３とする）こともできる。

　［標本２を連続観察する第１０実施例］
　以下、標本２を連続観察する実施形態の第１０実施例を説明する。

　本実施例には、３Ｄ－ＳＩＭモードの第２．７節が適用される。

　よって、超解像画像の更新に必要な画像は、互いに閉じた関係の３つの波数ベクトルのうち、或る１つの波数ベクトルで取得される位相の異なる２枚の変調画像と、他の１つの波数ベクトルで取得される位相の異なる２枚の変調画像と、残る１つの波数ベクトルで取得される位相の異なる４枚の変調画像とである。よって、超解像画像の更新に必要な画像の枚数Ｍは、Ｍ＝８である。

　また、超解像画像の更新頻度は、「８枚ごと」に設定される。つまり、Ｌは、Ｌ＝８に設定される。

　また、更新時に参照される画像セットを構成する画像の枚数Ｐは、更新に必要な画像の種類数Ｍに等しい。つまり、画像セットを構成する画像の枚数Ｐは、Ｐ＝Ｍ＝８である。

　そして、本実施例では、上述した均一条件、更新条件、連続条件、方向条件を満たすよう、ラウンド内におけるＮ枚の画像の配列は表２１のとおりに設定される。表２１の配列では、ラウンド内の画像取得枚数Ｎは、Ｎ＝１６である。

　なお、表２１における方向は、波数ベクトルの方向を表し、位相は、波数ベクトルの位相を表し、画像の番号は、画像の取得順序を表している。また、表２１における位相θ１、θ２、θ３の各々は任意であるが、方向１と方向２とは互いに近接した方向であって、方向２と方向３とは互いに近接した方向であるのに対して、方向１と方向３とは互いに近接していない方向であると仮定した。方向１と方向２との関係は、例えば６０°回転した関係であり、方向２と方向３との関係は、例えば６０°回転した関係である。

　そして、本実施例において超解像画像の更新に使用される画像は、表２２に示すような組み合わせとなる。

　なお、表２２における超解像画像の番号は、超解像画像の生成順序を表している。

　［標本２を連続観察する第１１実施例］
　以下、標本２の退色ムラを防ぐための形態１１を説明する。

　本実施例は、第１０実施例の変形例であるので、ここでは第１０実施例との相違点のみを説明する。

　本実施例は、第１０実施例において、更新条件を強化し、その代わりに方向条件を外したものである。

　更新条件を強化するために、本実施例では、超解像画像の更新頻度を「２枚ごと」に向上させる（Ｌ＝２とする）。

　つまり、本実施例では、均一条件、更新条件（但し、Ｌ＝２）、連続条件を満たすよう、１ラウンド内におけるＮ枚の画像の配列は表２３のとおりに設定される。表２３の配列では、１ラウンド内の画像取得枚数Ｎは、Ｎ＝３６である。

　なお、表２３における方向は、波数ベクトルの方向を表し、位相は、波数ベクトルの位相を表し、画像の番号は、画像の取得順序を表している。また、表２３における位相θ１、θ２、θ３、方向１、方向２、方向３の各々は任意である。方向１、方向２、方向３の関係は、例えば、第１方向Ｖ１、第２方向Ｖ２、第３方向Ｖ３の関係（図２参照）である。

　そして、本実施例において超解像画像の更新に使用される画像は、表２４に示すような組み合わせとなる。

　以上、本実施例では、干渉縞の方向切り換えの効率が第１０実施例より低下するものの、超解像画像の更新頻度が高まるという利点がある。

　［標本２を連続観察する第１２実施例］
　以下、標本２を連続観察する実施形態の第１２実施例を説明する。

　本実施例には、３Ｄ－ＳＩＭモードの第２．６節が適用される。

　よって、超解像画像の更新に必要な画像は、互いに閉じた関係の３つの波数ベクトルのうち、或る１つの波数ベクトルで取得される位相の異なる４枚の変調画像と、他の１つの波数ベクトルで取得される位相の異なる４枚の変調画像と、残る１つの波数ベクトルで取得される位相の異なる４枚の変調画像とである。よって、超解像画像の更新に必要な画像の種類数Ｍは、Ｍ＝１２である。

　また、超解像画像の更新頻度は、「１２枚ごと」に設定される。つまり、Ｌは、Ｌ＝１２に設定される。

　また、更新時に参照される画像セットを構成する画像の枚数Ｐは、更新に必要な画像の種類数Ｍに等しい。つまり、画像セットを構成する画像の枚数Ｐは、Ｐ＝Ｍ＝１２である。

　そして、本実施例では、上述した均一条件、更新条件、連続条件を満たすよう、１ラウンド内におけるＮ枚の画像の配列は表２５のとおりに設定される。表２５の配列では、１ラウンド内の画像取得枚数Ｎは、Ｎ＝１２である。

　なお、表２５における方向は、波数ベクトルの方向を表し、位相は、波数ベクトルの位相を表し、画像の番号は、画像の取得順序を表している。また、表２５における方向１、方向２、方向３、位相θ１，θ２，θ３の各々は、任意である。方向１、方向２、方向３の関係は、例えば、第１方向Ｖ１、第２方向Ｖ２、第３方向Ｖ３の関係（図２参照）である。

　そして、本実施例において超解像画像の更新に使用される画像は、表２６に示すような組み合わせとなる。

　なお、表２６における超解像画像の番号は、超解像画像の生成順序を表している。

　因みに、本実施例では、上述した等方条件も満たされるので、標本２の退色状況が等方的になるという利点もある。

　また、以上の説明では、必要な変調画像の取得に使用される波数ベクトルの数を３とし、３つの波数ベクトルを閉じた関係に設定したが、これに限られることはなく、波数ベクトルの数を３以上としてもよい。例えば、波数ベクトルの数を５とし、５つの波数ベクトルを閉じた関係に設定してもよく、波数ベクトルの数をＱ（Ｑ≧３）とし、Ｑ個の波数ベクトルを閉じた関係に設定してもよい。

　［標本２を連続観察する実施形態の作用効果］
　本実施形態の構造化照明顕微鏡装置（１）は、標本（２）を空間変調する縞の波数ベクトルと位相との組み合わせを制御し、前記標本に関するＮ枚の画像を順次に取得する一連の処理を繰り返す取得手段（制御装置４３）と、前記画像がＬ枚取得される度に最新となる連続Ｐ枚の画像セットから、必要なＭ種類の画像を用いて前記標本の像を復調する処理を、前記画像セットごとに行う演算手段（画像記憶・演算装置４４）とを備える。

　また、前記Ｍ種類の画像には、以下の画像が含まれる。

　・前記波数ベクトルの関係が互いに閉じた関係であるＱ種類（Ｑ≧３）の変調画像。

　・前記３種類の変調画像のうち少なくとも１種類との間で前記波数ベクトルが共通かつ前記位相の異なる１種類の変調画像、又は、１枚の無変調画像。

　また、前記Ｎ枚の画像の配列は、以下の条件を満たす。

　・均一条件：前記縞の強度分布を前記Ｎ枚の画像間で積算すると空間的に一様（又は略一様）になる。

　・更新条件：前記画像セットには前記Ｍ種類の画像が必ず含まれる。

　したがって、本実施形態の構造化照明顕微鏡装置によれば、一連の処理中に画像がＬ枚取得される度に超解像画像が更新され、かつ、一連の処理の開始から終了までの期間に標本の退色ムラが解消されるので、一連の処理を何回繰り返したとしても退色ムラが悪化することは無い。

　また、前記画像セットを構成する画像の枚数Ｐは、前記復調に必要な画像の種類数Ｍに等しくてもよい。

　また、前記復調の頻度に相当する画像取得枚数Ｌは、１又は２であってもよい。

　また、前記復調の頻度に相当する画像取得枚数Ｌは、前記復調に必要な画像の種類数Ｍに等しくてもよい。

　また、前記Ｎ枚の画像の配列は、以下の条件を満たしてもよい。

　・方向条件：前記波数ベクトルの方向切り換えは、互いに近接する方向間の切り換えのみに制限される。

　また、前記Ｎ枚の画像の配列は、以下の条件を満たしてもよい。

　・連続条件：前記復調に必要なＭ種類の画像のうち、前記波数ベクトルが共通な変調画像同士は、前記画像セット内で互いに連続する。

　また、前記Ｎ枚の画像の配列は、前記変調画像の種類数Ｑが３である場合に以下の条件を満たしてもよい。

　・等方条件：前記Ｑ種類（Ｑ＝３）の変調画像のうち何れか１種類との間で前記波数ベクトルの共通する変調画像の取得枚数と、他の１種類との間で前記波数ベクトルの共通する変調画像の取得枚数と、残りの１種類との間で前記波数ベクトルの共通する変調画像の取得枚数とは、等しい。

　また、前記Ｍ種類の画像には、以下の画像が含まれてもよい（Ｍ＝４）。

　・前記波数ベクトルの関係が互いに閉じた関係であるＱ種類（Ｑ＝３）の変調画像。

　・前記Ｑ種類（Ｑ＝３）の変調画像のうち何れか１種類との間で前記波数ベクトルが共通かつ前記位相の異なる１種類の変調画像。

　また、前記演算手段は、前記Ｍ種類（Ｍ＝４）の画像の各々の空間周波数スペクトルにおいて、前記Ｑ種類（Ｑ＝３）の変調画像の波数ベクトルの分だけ互いにずれた任意の３つの観測点に関する１２の観測値に基づいて、前記３つの観測点に重畳された前記観察光束の０次変調成分及び±１次変調成分を互いに分離してもよい。

　また、前記Ｍ種類（Ｍ＝４）の画像のうち、前記波数ベクトルが共通な少なくとも２種類の変調画像間の前記位相の差は、πであってもよい。

　また、前記Ｍ種類の画像には、以下の画像が含まれてもよい（Ｍ＝４）。

　・前記波数ベクトルの関係が互いに閉じた関係であるＱ種類（Ｑ＝３）の変調画像
　・１枚の無変調画像
　また、前記演算手段は、前記Ｍ種類（Ｍ＝４）の画像の各々の空間周波数スペクトルにおいて、前記Ｑ種類（Ｑ＝３）の変調画像の波数ベクトルの分だけ互いにずれた任意の３つの観測点に関する１２の観測値に基づいて、前記３つの観測点に重畳された前記観察光束の０次変調成分及び±１次変調成分を互いに分離してもよい。

　また、前記Ｍ種類の画像には、以下の画像が含まれてもよい（Ｍ＝７）。

　・前記波数ベクトルの関係が互いに閉じた関係であるＱ種類（Ｑ＝３）の変調画像
　・前記Ｑ種類（Ｑ＝３）の変調画像のうち何れか１種類との間で前記波数ベクトルが共通かつ前記位相の異なる１種類の変調画像
　・前記Ｑ種類（Ｑ＝３）の変調画像のうち他の１種類との間で前記波数ベクトルが共通かつ前記位相の異なる１種類の変調画像
　・前記Ｑ種類（Ｑ＝３）の変調画像のうち残りの１種類との間で前記波数ベクトルが共通かつ前記位相の異なる１種類の変調画像
　・１枚の無変調画像
　また、前記演算手段は、前記Ｍ種類（Ｍ＝７）の画像の各々の空間周波数スペクトルにおいて、前記Ｑ種類（Ｑ＝３）の変調画像の波数ベクトルの分だけ互いにずれた任意の３つの観測点に関する２１の観測値に基づいて、前記３つの観測点に重畳された前記観察光束の±１次変調成分を互いに分離し、前記波数ベクトルの２倍分だけ互いにずれた任意の３つの観測点に関する２１の観測値に基づいて、前記３つの観測点に重畳された前記観察光束の０次変調成分及び±２次変調成分を互いに分離してもよい。

　また、前記Ｍ種類（Ｍ＝７）の画像のうち、少なくとも１つの前記波数ベクトルで取得された２種類の変調画像間の前記位相の差は、πであってもよい。

　また、前記Ｍ種類の画像には、以下の画像が含まれてもよい（Ｍ＝１２）。

　・前記波数ベクトルの関係が互いに閉じた関係であるＱ種類（Ｑ＝３）の変調画像。

　・前記Ｑ種類（Ｑ＝３）の変調画像のうち何れか１種類との間で前記波数ベクトルが共通かつ前記位相の異なる３種類の変調画像。

　・前記Ｑ種類（Ｑ＝３）の変調画像のうち他の１種類との間で前記波数ベクトルが共通かつ前記位相の異なる３種類の変調画像。

　・前記Ｑ種類（Ｑ＝３）の変調画像のうち残りの１種類との間で前記波数ベクトルが共通かつ前記位相の異なる３種類の変調画像。

　また、前記演算手段は、前記Ｍ種類（Ｍ＝１２）の変調画像の各々の空間周波数スペクトルにおいて、前記Ｑ種類（Ｑ＝３）の変調画像の波数ベクトルの分だけ互いにずれた任意の３つの観測点に関する３６の観測値に基づいて、前記３つの観測点に重畳された前記観察光束の±１次変調成分を互いに分離し、前記波数ベクトルの２倍分だけ互いにずれた任意の３つの観測点に関する３６の観測値に基づいて、前記３つの観測点に重畳された前記観察光束の０次変調成分及び±２次変調成分を互いに分離してもよい。

　また、前記Ｍ種類の画像には、以下の画像が含まれてもよい（Ｍ＝８）。

　・前記波数ベクトルの関係が互いに閉じた関係であるＱ種類（Ｑ＝３）の変調画像。

　・前記Ｑ種類（Ｑ＝３）の変調画像のうち何れか１種類との間で前記波数ベクトルが共通かつ前記位相の異なる１種類の変調画像。

　・前記Ｑ種類（Ｑ＝３）の変調画像の他の１種類との間で前記波数ベクトルが共通かつ前記位相の異なる１種類の変調画像。

　・前記Ｑ種類（Ｑ＝３）の変調画像の残りの１種類との間で前記波数ベクトルが共通かつ前記位相の異なる３種類の変調画像。

　また、前記演算手段は、前記Ｍ種類（Ｍ＝８）の画像の各々の空間周波数スペクトルにおいて、前記Ｑ種類（Ｑ＝３）の変調画像の波数ベクトルの分だけ互いにずれた任意の３つの観測点に関する２４の観測値に基づいて、前記３つの観測点に重畳された前記観察光束の±１次変調成分を互いに分離し、前記波数ベクトルの２倍分だけ互いにずれた任意の３つの観測点に関する２４の観測値に基づいて、前記３つの観測点に重畳された前記観察光束の０次変調成分及び±２次変調成分を互いに分離してもよい。

　また、前記Ｍ種類（Ｍ＝８）の画像のうち、前記波数ベクトルが共通な４種類の変調画像間の前記位相の差は、π／２であってもよい。

　また、前記Ｑ種類（Ｑ＝３）の変調画像の間では、前記波数ベクトルの大きさが共通かつ方向が１２０°ずつずれていてもよい。

　なお、Ｎ、Ｌ、Ｐ、Ｍ、Ｑは、何れも整数である。

　［その他］
　なお、上述の各実施形態の要件は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。また、法令で許容される限りにおいて、上述の各実施形態及び変形例で引用した装置などに関する全ての公開公報及び米国特許の開示を援用して本文の記載の一部とする。

　１…構造化照明顕微鏡装置、１００…レーザユニット、１１…光ファイバ、１０…照明光学系、３０…結像光学系、４２…撮像素子、４３…制御装置、４４…画像記憶・演算装置、４５…画像表示装置、１２…コレクタレンズ、１３…偏光板、１４…光束分岐部、１７…集光レンズ、１８…光束選択部、２１…レンズ、２２…視野絞り、２３…フィールドレンズ、２４…励起フィルタ、３３…ダイクロイックミラー、３１…対物レンズ、３４…吸収フィルタ、３５…第２対物レンズ、２…標本

Claims (22)

1. 　標本を空間変調する縞の波数ベクトルと位相との組み合わせを制御し、前記標本に関するＮ枚の画像を順次に取得する一連の処理を繰り返す取得手段と、
   　前記画像がＬ枚取得される度に最新となる連続Ｐ枚の画像セットから、必要なＭ種類の画像を用いて前記標本の像を復調する処理を、前記画像セットごとに行う演算手段と、
   　を備えた構造化照明顕微鏡装置であって、
   　前記Ｍ種類の画像には、以下の画像が含まれ、
   　・前記波数ベクトルの関係が互いに閉じた関係であるＱ種類（Ｑ≧３）の変調画像
   　・前記Ｑ種類の変調画像のうち少なくとも１種類との間で前記波数ベクトルが共通かつ前記位相の異なる１種類の変調画像、又は、１枚の無変調画像
   　前記Ｎ枚の画像の配列は、以下の条件を満たす
   　・均一条件：前記縞の強度分布を前記Ｎ枚の画像間で積算すると空間的に一様になる
   　・更新条件：前記画像セットには前記Ｍ種類の画像が必ず含まれる
   　ことを特徴とする構造化照明顕微鏡装置。
2. 　請求項１に記載の構造化照明顕微鏡装置において、
   　前記画像セットを構成する画像の枚数Ｐは、前記復調に必要な画像の種類数Ｍに等しい
   　ことを特徴とする構造化照明顕微鏡装置。
3. 　請求項１又は請求項２に記載の構造化照明顕微鏡装置において、
   　前記復調の頻度に相当する画像取得枚数Ｌは、１又は２である
   　ことを特徴とする構造化照明顕微鏡装置。  
4. 　請求項１又は請求項２に記載の構造化照明顕微鏡装置において、
   　前記復調の頻度に相当する画像取得枚数Ｌは、前記復調に必要な画像の種類数Ｍに等しい
   　ことを特徴とする構造化照明顕微鏡装置。
5. 　請求項１～請求項４の何れか一項に記載の構造化照明顕微鏡装置において、
   　前記Ｎ枚の画像の配列は、以下の条件を満たす
   　・方向条件：前記波数ベクトルの方向切り換えは、互いに近接する方向間の切り換えのみに制限される
   　ことを特徴とする構造化照明顕微鏡装置。
6. 　請求項１～請求項５の何れか一項に記載の構造化照明顕微鏡装置において、
   　前記Ｎ枚の画像の配列は、以下の条件を満たす
   　・連続条件：前記復調に必要なＭ種類の画像のうち、前記波数ベクトルが共通な変調画像同士は、前記画像セット内で互いに連続する
   　ことを特徴とする構造化照明顕微鏡装置。
7. 　請求項１～請求項６の何れか一項に記載の構造化照明顕微鏡装置において、
   　前記Ｎ枚の画像の配列は、前記変調画像の種類数Ｑが３である場合に以下の条件を満たす
   　・等方条件：前記Ｑ種類（Ｑ＝３）の変調画像のうち何れか１種類との間で前記波数ベクトルの共通する変調画像の取得枚数と、他の１種類との間で前記波数ベクトルの共通する変調画像の取得枚数と、残りの１種類との間で前記波数ベクトルの共通する変調画像の取得枚数とは、等しい
   　ことを特徴とする構造化照明顕微鏡装置。
8. 　請求項１～請求項７の何れか一項に記載の構造化照明顕微鏡装置において、
   　前記Ｍ種類の画像には、以下の画像が含まれ（Ｍ＝４）、
   　・前記波数ベクトルの関係が互いに閉じた関係であるＱ種類（Ｑ=３）の変調画像
   　・前記Ｑ種類（Ｑ=３）の変調画像のうち何れか１種類との間で前記波数ベクトルが共通かつ前記位相の異なる１種類の変調画像
   　前記演算手段は、
   　前記Ｍ種類（Ｍ＝４）の画像の各々の空間周波数スペクトルにおいて、前記Ｑ種類（Ｑ=３）の変調画像の波数ベクトルの分だけ互いにずれた任意の３つの観測点に関する１２の観測値に基づいて、前記３つの観測点に重畳された前記観察光束の０次変調成分及び±１次変調成分を互いに分離する
   　ことを特徴とする構造化照明顕微鏡装置。
9. 　請求項８に記載の構造化照明顕微鏡装置において、
   　前記Ｍ種類（Ｍ＝４）の画像のうち、前記波数ベクトルが共通な少なくとも２種類の変調画像間の前記位相の差は、πである
   　ことを特徴とする構造化照明顕微鏡装置。
10. 　請求項１～請求項７の何れか一項に記載の構造化照明顕微鏡装置において、
    　前記Ｍ種類の画像には、以下の画像が含まれ（Ｍ＝４）、
    　・前記波数ベクトルの関係が互いに閉じた関係であるＱ種類（Ｑ=３）の変調画像
    　・１枚の無変調画像
    　前記演算手段は、
    　前記Ｍ種類（Ｍ＝４）の画像の各々の空間周波数スペクトルにおいて、前記Ｑ種類（Ｑ=３）の変調画像の波数ベクトルの分だけ互いにずれた任意の３つの観測点に関する１２の観測値に基づいて、前記３つの観測点に重畳された前記観察光束の０次変調成分及び±１次変調成分を互いに分離する
    　ことを特徴とする構造化照明顕微鏡装置。
11. 　請求項１～請求項７の何れか一項に記載の構造化照明顕微鏡装置において、
    　前記Ｍ種類の画像には、以下の画像が含まれ（Ｍ＝７）、
    　・前記波数ベクトルの関係が互いに閉じた関係であるＱ種類（Ｑ=３）の変調画像
    　・前記Ｑ種類（Ｑ=３）の変調画像のうち何れか１種類との間で前記波数ベクトルが共通かつ前記位相の異なる１種類の変調画像
    　・前記Ｑ種類（Ｑ=３）の変調画像のうち他の１種類との間で前記波数ベクトルが共通かつ前記位相の異なる１種類の変調画像
    　・前記Ｑ種類（Ｑ=３）の変調画像のうち残りの１種類との間で前記波数ベクトルが共通かつ前記位相の異なる１種類の変調画像
    　・１枚の無変調画像
    　前記演算手段は、
    　前記Ｍ種類（Ｍ＝７）の画像の各々の空間周波数スペクトルにおいて、前記Ｑ種類（Ｑ=３）の変調画像の波数ベクトルの分だけ互いにずれた任意の３つの観測点に関する２１の観測値に基づいて、前記３つの観測点に重畳された前記観察光束の±１次変調成分を互いに分離し、前記波数ベクトルの２倍分だけ互いにずれた任意の３つの観測点に関する２１の観測値に基づいて、前記３つの観測点に重畳された前記観察光束の０次変調成分及び±２次変調成分を互いに分離する
    　ことを特徴とする構造化照明顕微鏡装置。
12. 　請求項１１に記載の構造化照明顕微鏡装置において、
    　前記Ｍ種類（Ｍ＝７）の画像のうち、少なくとも１つの前記波数ベクトルで取得された２種類の変調画像間の前記位相の差は、πである
    　ことを特徴とする構造化照明顕微鏡装置。
13. 　請求項１～請求項７の何れか一項に記載の構造化照明顕微鏡装置において、
    　前記Ｍ種類の画像には、以下の画像が含まれ（Ｍ＝１２）、
    　・前記波数ベクトルの関係が互いに閉じた関係であるＱ種類（Ｑ=３）の変調画像
    　・前記Ｑ種類（Ｑ=３）の変調画像のうち何れか１種類との間で前記波数ベクトルが共通かつ前記位相の異なる３種類の変調画像
    　・前記Ｑ種類（Ｑ=３）の変調画像のうち他の１種類との間で前記波数ベクトルが共通かつ前記位相の異なる３種類の変調画像
    　・前記Ｑ種類（Ｑ=３）の変調画像のうち残りの１種類との間で前記波数ベクトルが共通かつ前記位相の異なる３種類の変調画像
    　前記演算手段は、
    　前記Ｍ種類（Ｍ＝１２）の変調画像の各々の空間周波数スペクトルにおいて、前記Ｑ種類（Ｑ=３）の変調画像の波数ベクトルの分だけ互いにずれた任意の３つの観測点に関する３６の観測値に基づいて、前記３つの観測点に重畳された前記観察光束の±１次変調成分を互いに分離し、前記波数ベクトルの２倍分だけ互いにずれた任意の３つの観測点に関する３６の観測値に基づいて、前記３つの観測点に重畳された前記観察光束の０次変調成分及び±２次変調成分を互いに分離する
    　ことを特徴とする構造化照明顕微鏡装置。
14. 　請求項１～請求項７の何れか一項に記載の構造化顕微鏡装置において、
    　前記Ｍ種類の画像には、以下の画像が含まれ（Ｍ＝８）、
    　・前記波数ベクトルの関係が互いに閉じた関係であるＱ種類（Ｑ=３）の変調画像
    　・前記Ｑ種類（Ｑ=３）の変調画像のうち何れか１種類との間で前記波数ベクトルが共通かつ前記位相の異なる１種類の変調画像
    　・前記Ｑ種類（Ｑ=３）の変調画像の他の１種類との間で前記波数ベクトルが共通かつ前記位相の異なる１種類の変調画像
    　・前記Ｑ種類（Ｑ=３）の変調画像の残りの１種類との間で前記波数ベクトルが共通かつ前記位相の異なる３種類の変調画像
    　前記演算手段は、
    　前記Ｍ種類（Ｍ＝８）の画像の各々の空間周波数スペクトルにおいて、前記Ｑ種類（Ｑ=３）の変調画像の波数ベクトルの分だけ互いにずれた任意の３つの観測点に関する２４の観測値に基づいて、前記３つの観測点に重畳された前記観察光束の±１次変調成分を互いに分離し、前記波数ベクトルの２倍分だけ互いにずれた任意の３つの観測点に関する２４の観測値に基づいて、前記３つの観測点に重畳された前記観察光束の０次変調成分及び±２次変調成分を互いに分離する
    　ことを特徴とする構造化照明顕微鏡装置。
15. 　請求項１４に記載の構造化照明顕微鏡装置において、
    　前記Ｍ種類（Ｍ＝８）の画像のうち、前記波数ベクトルが共通な４種類の変調画像間の前記位相の差は、π／２である
    　ことを特徴とする構造化照明顕微鏡装置。
16. 　請求項８～請求項１５の何れか一項に記載の構造化照明顕微鏡装置において、
    　前記Ｑ種類（Ｑ＝３）の変調画像の間では、前記波数ベクトルの大きさが共通かつ方向が１２０°ずつずれている
    　ことを特徴とする構造化照明顕微鏡装置。
17. 　回折格子と、
    　光源からの光を、前記回折格子を介して又は前記回折格子を介さずに被観察物へ投影する投影光学系と、
    　前記回折格子のパターンの方向及び位相を制御する制御部と、
    　前記回折格子のパターンの投影された前記被観察物の像を形成する結像光学系と、
    　前記結像光学系が形成した前記像を撮像して画像を生成する撮像素子と、
    　前記撮像素子が生成する、少なくとも１枚の無変調画像と、少なくとも３方向の回折格子のパターンに基づいて生成された画像とに基づいて、前記被観察物の超解像画像を生成する演算手段
    　とを備え、
    　前記制御部は、
    　前記超解像画像が複数生成される際に、少なくとも１方向の回折格子のパターンが、前記被観察物に一様に照明されるように制御する
    　ことを特徴とする構造化照明顕微鏡装置。
18. 　請求項１７に記載の構造化照明顕微鏡装置において、
    　前記演算手段は、前記撮像素子が新たな画像を生成する毎に、最も古い画像に替えて前記新たな画像を用いて、前記超解像画像を生成する
    　ことを特徴とする構造化照明顕微鏡装置。
19. 　回折格子と、
    　光源からの光を、前記回折格子を介して又は前記回折格子を介さずに被観察物へ投影する投影光学系と、
    　前記回折格子のパターンの方向及び位相を制御する制御部と、
    　前記回折格子のパターンの投影された前記被観察物の像を形成する結像光学系と、
    　前記結像光学系が形成した前記像を撮像して画像を生成する撮像素子と、
    　前記撮像素子が生成する、少なくとも３方向の回折格子のパターンに基づいて生成された画像に基づき、前記被観察物の超解像画像を生成する演算手段
    　とを備え、
    　前記制御部は、
    　前記超解像画像が生成される際に少なくとも１方向の回折格子のパターンが前記被観察物に一様に照明されない場合には、前記超解像画像が複数生成される際に、少なくとも１方向の回折格子のパターンが、前記被観察物に一様に照明されるように制御する
    　ことを特徴とする構造化照明顕微鏡装置。
20. 　請求項１９に記載の構造化照明顕微鏡装置において、
    　前記演算手段は、前記撮像素子が新たな画像を生成する毎に、最も古い画像に替えて前記新たな画像を用いて、前記超解像画像を生成する
    　ことを特徴とする構造化照明顕微鏡装置。
21. 　回折格子と、
    　光源からの光を、前記回折格子を介して又は前記回折格子を介さずに被観察物へ投影する投影光学系と、
    　前記回折格子のパターンの方向及び位相を制御する制御部と、
    　前記回折格子のパターンの投影された前記被観察物の像を形成する結像光学系と、
    　前記結像光学系が形成した前記像を撮像して画像を生成する撮像素子と、
    　前記撮像素子が生成する、少なくとも１枚の無変調画像と、少なくとも３方向の回折格子のパターンに基づいて生成された画像とに基づいて、前記被観察物の超解像画像を生成する演算手段
    　とを備え、
    　前記制御部は、
    　前記超解像画像が複数生成される際に、少なくとも１方向の回折格子のパターンの位相を変化させる
    　ことを特徴とする構造化照明顕微鏡装置。
22. 　回折格子と、
    　光源からの光を、前記回折格子を介して又は前記回折格子を介さずに被観察物へ投影する投影光学系と、
    　前記回折格子のパターンの方向及び位相を制御する制御部と、
    　前記回折格子のパターンの投影された前記被観察物の像を形成する結像光学系と、
    　前記結像光学系が形成した前記像を撮像して画像を生成する撮像素子と、
    　前記撮像素子が生成する、少なくとも３方向の回折格子のパターンに基づいて生成された画像に基づき、前記被観察物の超解像画像を生成する演算手段
    　とを備え、
    　前記制御部は、
    　前記超解像画像が生成される際に少なくとも１方向の回折格子のパターンが前記被観察物に一様に照明されない場合には、前記超解像画像が複数生成される際に、少なくとも１方向の回折格子のパターンの位相を変化させる
    　ことを特徴とする構造化照明顕微鏡装置。

Images