JP6645506B2 - 構造化照明顕微鏡、観察方法、及び顕微鏡制御プログラム - Google Patents

Description

本発明は、構造化照明顕微鏡、観察方法、及び顕微鏡制御プログラムに関する。

顕微鏡装置において、光学系の分解能を越えた観察を可能とする超解像顕微鏡がある。この超解像顕微鏡の一形態として、縞パターン（構造化照明）により標本を照明して変調画像を取得し、その変調画像を復調することにより、標本の超解像画像を生成する構造化照明顕微鏡（ＳＩＭ：Structured Illumination Microscopy）が知られている（例えば、特許文献１を参照）。この手法においては、光源から射出された光束を回折格子等により複数の光束に分岐し、それらの光束を標本の中で互いに干渉させることで形成された干渉縞で標本を照明することにより、標本の変調画像を取得している。構造化照明顕微鏡では、構造化照明の位相および方位を変化させるので、取得する画像の枚数が増える。そのため、構造化照明装置は、構造化照明を高速で切り替え可能であることが期待される。

構造化照明の切り替えの高速化を実現する技術として、非特許文献１に開示された技術がある。非特許文献１では、回折格子として、空間光変調器（Spatial Light Modulator；ＳＬＭ）を用いる。ＳＬＭは、各画素の電圧を制御することで、構造化照明の方位と位相とを変化させることができるため、機械的な駆動が不要となる。ＳＬＭに強誘電性液晶（Ferroelectric Liquid Crystal；ＦＬＣ）を用いる場合、分子が自発分極を持つため、ネマティック液晶に比べて、より高速な動作が可能となる。

ＦＬＣタイプのＳＬＭは、例えば、複数の画素電極が形成された第１基板と、透明電極が形成された第２基板と、第１基板と第２基板との間に配置された強誘電性液晶層とを備える。ＳＬＭは、例えば、画素電極にプラス電位となる電圧と、マイナス電位となる電圧を印加する。第１基板と第２基板との電位差の時間総和が０でない場合、すなわち電圧の直流成分が存在する場合、直流成分の偏りにより強誘電性液晶の内部イオンが１方向に引き付けられ、焼付が生じる。一般に、基板間の電界による焼付は、電極間に印加された電圧の直流成分を打ち消すように逆電圧を印加することにより、防止することが行われている（例えば、特許文献１参照）。例えば、表示期間と非表示期間とを交互に設け、非表示期間において表示期間とは逆の電圧を印加することで、焼付を防止するのである。

特許第５３０１２２３号明細書

L. Shao et al"Super-resolution 3D microscopy of live whole cells using structured illumination", Nature Methods 12, 1044(2011)

しかしながら、構造化照明顕微鏡において、逆電圧を印加する時間が多くなると、画像取得のフレームレートが低下してしまう。

本発明の態様に従えば、複数の画素電極が設けられた基板と、電子光学素子とを含む光変調器と、光変調器から射出された複数の光束の少なくとも一部により形成される干渉縞によって標本を照明する照明光学系と、干渉縞が照射された標本の像を撮像して画像を生成する撮像装置と、撮像装置により生成された画像を複数用いて、標本の画像を生成する復調部と、制御部と、を備える構造化照明顕微鏡であって、制御部は、撮像装置が像を撮像する間に、複数の画素電極の少なくとも一部に、第１電圧パターンと、第１電圧パターンに対して反転した第２電圧パターンとを印加する、構造化照明顕微鏡が提供される。
本発明の態様に従えば、複数の画素電極が設けられた基板と、電子光学素子とを含む光変調器と、光変調器から射出された複数の光束の少なくとも一部により形成される干渉縞によって標本を照明する照明光学系と、干渉縞が照射された標本の像を撮像して画像を生成する撮像装置と、撮像装置により生成された画像を複数用いて、標本の画像を生成する復調部と、制御部と、を備える構造化照明顕微鏡であって、制御部は、撮像装置が像を撮像する第１フレーム期間において複数の画素電極の少なくとも一部に第１電圧パターンを印加し、像を撮像する第２フレーム期間において第１電圧パターンに対して反転した第２電圧パターンを印加し、復調部は、少なくとも、第１フレーム期間で撮像された画像と、第２フレーム期間で撮像された画像とを用いて、復調処理を行う、構造化照明顕微鏡が提供される。
本発明の態様に従えば、複数の画素電極が設けられた基板と、電子光学素子とを含む光変調器によって、光源からの光を複数の回折光に分岐することと、複数の回折光のうち少なくとも一部により形成される干渉縞によって標本を照明することと、干渉縞が照射された標本の像を撮像することと、撮像された画像を複数用いて、復調処理を行うことと、像を撮像する間に、複数の画素電極の少なくとも一部に、第１電圧パターンと、第１電圧パターンに対して反転した第２電圧パターンとを印加することと、を含む観察方法が提供される。
本発明の態様に従えば、複数の画素電極が設けられた基板と、電子光学素子とを含む光変調器によって、光源からの光を複数の回折光に分岐することと、複数の回折光のうち少なくとも一部により形成される干渉縞によって標本を照明することと、干渉縞が照射された標本の像を撮像することと、撮像された画像を複数用いて、復調処理を行うことと、像を撮像する第１フレーム期間において複数の画素電極の少なくとも一部に第１電圧パターンを印加し、像を撮像する第２フレーム期間において第１電圧パターンに対して反転した第２電圧パターンを印加することと、少なくとも、第１フレーム期間で撮像された画像と、第２フレーム期間で撮像された画像を用いて、復調処理を行うことと、を含む観察方法が提供される。
本発明の態様に従えば、複数の画素電極が設けられた基板と、電子光学素子とを含む光変調器によって、光源からの光を複数の回折光に分岐することと、複数の回折光のうち少なくとも一部により形成される干渉縞によって標本を照明することと、干渉縞が照射された標本の像を撮像することと、撮像された画像を複数用いて、復調処理を行うことと、像を撮像する間に、複数の画素電極の少なくとも一部に、第１電圧パターンと、第１電圧パターンに対して反転した第２電圧パターンとを印加することと、をコンピュータに実行させる顕微鏡制御プログラムが提供される。
本発明の態様に従えば、複数の画素電極が設けられた基板と、電子光学素子とを含む光変調器によって、光源からの光を複数の回折光に分岐することと、複数の回折光のうち少なくとも一部により形成される干渉縞によって標本を照明することと、干渉縞が照射された標本の像を撮像することと、撮像された画像を複数用いて、復調処理を行うことと、像を撮像する第１フレーム期間において複数の画素電極の少なくとも一部に第１電圧パターンを印加し、像を撮像する第２フレーム期間において第１電圧パターンに対して反転した第２電圧パターンを印加することと、少なくとも、第１フレーム期間で撮像された画像と、第２フレーム期間で撮像された画像を用いて、復調処理を行うことと、をコンピュータに実行させる顕微鏡制御プログラムが提供される。
本発明の第１の態様に従えば、複数の画素電極が設けられた第１基板と、第１基板に対向する第２基板と、第１基板と第２基板との間に配置された強誘電性液晶とを含み、光源からの光を複数の回折光に分岐する分岐部と、複数の回折光の少なくとも一部により形成される干渉縞によって標本を照明する照明光学系と、干渉縞が照射された標本の像を形成する結像光学系と、結像光学系が形成した像を撮像する撮像装置と、撮像装置により撮像された画像を複数用いて、復調処理を行う復調部と、干渉縞の方向および位相を制御する制御部と、を備える構造化照明顕微鏡であって、制御部は、撮像装置が撮像する１フレーム期間において、複数の画素電極の少なくとも一部に、第１電圧パターンと、第１電圧パターンに対して反転した第２電圧パターンとを印加する、ことを特徴とする構造化照明顕微鏡が提供される。

本発明の第２の態様に従えば、複数の画素電極が設けられた第１基板と、第１基板に対向する第２基板と、第１基板と第２基板との間に配置された強誘電性液晶とを含み、光源からの光を複数の回折光に分岐する分岐部と、複数の回折光の少なくとも一部により形成される干渉縞によって標本を照明する照明光学系と、干渉縞が照射された標本の像を形成する結像光学系と、結像光学系が形成した像を撮像する撮像装置と、撮像装置により撮像された画像を複数用いて、復調処理を行う復調部と、干渉縞の方向および位相を制御する制御部と、を備える構造化照明顕微鏡であって、制御部は、撮像装置が撮像する第１フレームの期間において複数の画素電極の少なくとも一部に第１電圧パターンを印加し、標本を撮像する第２フレームの期間において第１電圧パターンに対して反転した第２電圧パターンを印加し、復調部は、少なくとも、第１フレーム期間で撮像された画像と、第２フレーム期間で撮像された画像を用いて、復調処理を行う、ことを特徴とする構造化照明顕微鏡が提供される。

本発明の第３の態様に従えば、複数の画素電極が設けられた第１基板と、第１基板に対向する第２基板と、第１基板と第２基板との間に配置された強誘電性液晶とを含む分岐部によって、光源からの光を複数の回折光に分岐することと、複数の回折光のうち少なくとも一部により形成される干渉縞によって標本を照明することと、干渉縞が照射された標本の像を形成することと、像を撮像することと、撮像された画像を複数用いて、復調処理を行うことと、干渉縞の方向および位相を制御することと、を含む観察方法であって、制御は、撮像の１フレーム期間において、複数の画素電極の少なくとも一部に、第１電圧パターンと、第１電圧パターンに対して反転した第２電圧パターンとを印加する、ことを特徴とする観察方法が提供される。

本発明の第４の態様に従えば、複数の画素電極が設けられた第１基板と、第１基板に対向する第２基板と、第１基板と第２基板との間に配置された強誘電性液晶とを含む分岐部によって、光源からの光を複数の回折光に分岐することと、複数の回折光の少なくとも一部により形成される干渉縞によって標本を照明することと、干渉縞が照射された標本の像を形成することと、結像光学系が形成した像を撮像することと、撮像された画像を複数用いて、復調処理を行うことと、干渉縞の方向および位相を制御することと、を含む観察方法であって、制御は、標本を撮像する第１フレームの期間において複数の画素電極の少なくとも一部に第１電圧パターンを印加し、標本を撮像する第２フレームの期間において第１電圧パターンに対して反転した第２電圧パターンを印加することを含み、復調処理は、少なくとも、第１フレーム期間で撮像された画像と、第２フレーム期間で撮像された画像を用いる、ことを特徴とする観察方法が提供される。

本発明の第５の態様に従えば、複数の画素電極が設けられた第１基板と、第１基板に対向する第２基板と、第１基板と第２基板との間に配置された強誘電性液晶とを含む分岐部によって、光源からの光を複数の回折光に分岐し、複数の回折光のうち少なくとも一部により形成される干渉縞によって標本を照明し、干渉縞が照射された標本の像を形成し、像を撮像し、撮像された画像を複数用いて復調処理を行い、干渉縞の方向および位相を制御する、構造化照明顕微鏡の制御をコンピュータに実行させる顕微鏡制御プログラムであって、制御は、撮像の１フレーム期間において、複数の画素電極の少なくとも一部に、第１電圧パターンと、第１電圧パターンに対して反転した第２電圧パターンとを印加することを含む、ことを特徴とする顕微鏡制御プログラムが提供される。

本発明の第６の態様に従えば、複数の画素電極が設けられた第１基板と、第１基板に対向する第２基板と、第１基板と第２基板との間に配置された強誘電性液晶とを含む分岐部によって、光源からの光を複数の回折光に分岐し、複数の回折光の少なくとも一部により形成される干渉縞によって標本を照明し、干渉縞が照射された標本の像を形成し、結像光学系が形成した像を撮像し、撮像された画像を複数用いて、復調処理を行い、干渉縞の方向および位相を制御する、構造化照明顕微鏡の制御をコンピュータに実行させる顕微鏡制御プログラムであって、制御は、標本を撮像する第１フレームの期間において複数の画素電極の少なくとも一部に第１電圧パターンを印加し、標本を撮像する第２フレームの期間において第１電圧パターンに対して反転した第２電圧パターンを印加することを含み、復調処理は、少なくとも、第１フレーム期間で撮像された画像と、第２フレーム期間で撮像された画像を用いる、ことを特徴とする顕微鏡制御プログラムが提供される。

本実施形態の構造化照明顕微鏡を示す図である。 分岐部の光変調器を示す図である。 光変調器の各画素における変調を示す説明図である。 ２Ｄ−ＳＩＭモードにおける電圧パターンおよび干渉縞を示す概念図である。 干渉縞の条件の一例を示す図である。 ２Ｄ−ＳＩＭモードにおける構造化照明顕微鏡の動作を示す図である 干渉縞の各位相の形成に使われる電圧パターンの例を示す概念図である。 光変調器および撮像素子の動作を示すタイミングチャートである。 光変調器および撮像素子の動作の他の例を示すタイミングチャートである。 ３Ｄ−ＳＩＭモードにおける光源部から標本までの光路を示す図である。 ３Ｄ−ＳＩＭモードにおける電圧パターン及び干渉縞を示す概念図である。 ３Ｄ−ＳＩＭモードにおける干渉縞の条件の一例を示す図である。 光変調器および撮像素子の動作を示すタイミングチャートである。 光変調器の向きと、偏光分離素子から出射する照明光との関係を示す説明図である。 干渉縞の例を示す図である。

次に、図面を参照しながら実施形態について説明する。図１は、本実施形態の構造化照明顕微鏡１を示す図である。構造化照明顕微鏡１は、構造化照明装置２と、撮像装置３と、制御装置４と、表示装置５と、記憶装置６とを備える。構造化照明顕微鏡１は、例えば蛍光顕微鏡であり、予め蛍光染色された細胞などを含む標本Ｘの観察などに利用される。標本Ｘは、例えば、不図示のステージに保持される。

構造化照明顕微鏡１は、概略すると以下のように動作する。構造化照明装置２は、干渉縞を形成し、干渉縞で標本Ｘを照明する。撮像装置３は、干渉縞により照明されている標本Ｘの蛍光像を撮像する。この蛍光像は、干渉縞により変調された変調像（例、モアレ像）を含む。制御装置４は、構造化照明顕微鏡１の各部を制御する。すなわち、制御装置４は、構造化照明装置２を制御して干渉縞を複数の状態に切り替え、撮像装置３に複数の干渉縞における標本Ｘの像を撮像させ、それら複数の画像を用いて復調処理を行い撮像装置３の光学系の解像限界を超えた超解像画像を形成し、表示装置５に表示させる。制御装置４は、さらに、形成した超解像画像のデータを記憶装置６に記憶させることができる。

構造化照明顕微鏡１は、標本Ｘのうち観察対象の面（以下、標本面という）の２次元的な超解像画像を形成する２Ｄ−ＳＩＭモードと、標本面に垂直な方向の情報を含む３次元的な３次元超解像画像を形成する３Ｄ−ＳＩＭモードとを備える。まず、２Ｄ−ＳＩＭモードについて説明し、次に３Ｄ−ＳＩＭモードについて説明する。

構造化照明装置２は、光源部１１（光源装置）と、偏光分離素子１２と、分岐部１３と、照明光学系１４と、制御部１５とを備える。制御部１５は、例えば制御装置４に設けられるが、制御装置４と別に設けられていてもよい。以下の説明において、図１などに示すＸＹＺ直交座標系を適宜参照する。このＸＹＺ直交座標系において、Ｚ方向は、結像光学系３５（後述する）の光軸と平行な方向である。また、Ｘ方向はＺ方向と直交する任意の方向であり、Ｙ方向はＸ方向およびＺ方向のそれぞれに直交する方向である。

光源部１１は、例えば、光源２０、導光部材２１、及びコリメータ２２を含む。光源２０は、例えばレーザダイオードを含み、レーザ光などの可干渉光を発する。以下の説明において、光源２０から発せられた光を照明光という。構造化照明顕微鏡１により蛍光観察を行う場合、照明光の波長は、標本Ｘに含まれる蛍光物質の励起波長を含む波長帯に設定される。導光部材２１は、例えば光ファイバーを含み、光源２０からの照明光をコリメータ２２へ導く。コリメータ２２は、導光部材２１からの照明光を平行光に変換する。

なお、光源部１１の少なくとも一部は、構造化照明装置２に含まれていなくてもよい。例えば、光源部１１は、ユニット化されており、構造化照明装置２に交換可能（取り付け可能、取り外し可能）に設けられていてもよい。例えば、光源部１１は、構造化照明顕微鏡１による観察時などに、構造化照明装置２に取り付けられてもよい。

偏光分離素子１２は、例えば偏光ビームスプリッタプリズムである。偏光分離素子１２は、コリメータ２２の光軸に対して例えば４５°傾いた偏光分離膜１２ａを有する。この偏光分離膜１２ａは、偏光分離膜１２ａに対するＰ偏光が透過し、偏光分離膜１２ａに対するＳ偏光が反射する特性を有する。ここでは、光源部１１は、照明光として偏光分離膜１２ａに対するＰ偏光（Ｘ方向の偏光）を射出し、コリメータ２２からの照明光は、偏光分離膜１２ａを透過して、分岐部１３に入射する。

分岐部１３は、光源からの光を複数の回折光に分岐する。図１には、複数の光束のうち０次回折光（実線で示す）、＋１次回折光（破線で示す）、及び−１次回折光（２点鎖線で示す）を代表的に示した。以下の説明において、回折光のうち＋１次回折光と−１次回折光の一方または双方を指す場合に、単に１次回折光と表記する。分岐部１３は、制御部１５に制御され、周期構造の状態（位相および方向）を制御部１５から指示された状態に変更可能である。

分岐部１３は、例えば、偏光分離素子１２からの照明光の偏光状態をＰ偏光からＳ偏光に変換する。分岐部１３から射出された照明光は、分岐部１３が位相板の機能を兼ね備えていることから、Ｓ偏光になっており、偏光分離素子１２の偏光分離膜１２ａで反射し、照明光学系１４に入射する。分岐部１３の構成については、図２、図３などを参照して後述する。

照明光学系１４は、複数の回折光の少なくとも一部により形成される干渉縞によって標本を照明する。例えば、照明光学系１４は、２Ｄ−ＳＩＭモードにおいて、複数の回折光のうち＋１次回折光と−１次回折光との干渉により形成される干渉縞によって標本を照明する。２Ｄ−ＳＩＭモードにおいて、照明光学系１４は、例えば、＋１次回折光と−１次回折光との干渉縞を形成し、０次回折光および２次以上の回折光を干渉縞の形成に用いない。なお、照明光学系１４は、±１次回折光以外の回折光により干渉縞を形成してもよい（以下、同様）。例えば、照明光学系１４は、＋１次回折光と＋３次回折光との干渉縞を形成してもよいし、０次回折光と２次回折光との干渉縞を形成してもよい。照明光学系１４は、例えば、球面レンズ、非球面レンズなどの回転対称な形状のレンズ部材を含む。以下、このレンズ部材の対称軸を、照明光学系１４の光軸１４ａという。なお、照明光学系１４は、自由曲面レンズを含んでいてもよい。

照明光学系１４は、分岐部１３から標本Ｘに向かう順に、レンズ２５、１／２波長板２６、マスク２７、レンズ２８、視野絞り２９、レンズ３０、フィルタ３１、ダイクロイックミラー３２、及び対物レンズ３３を含む。なお、照明光学系１４は、光源部１１の少なくとも一部を含んでいてもよいし、偏光分離素子１２を含んでいてもよく、分岐部１３を含んでいてもよい。

分岐部１３で発生した回折光は、偏光分離素子１２を介してレンズ２５に入射する。レンズ２５は、例えば、その焦点が分岐部１３とほぼ一致するように、配置される。レンズ２５は、対物レンズ３３の後側焦点面（瞳面）と共役な位置である、いわゆる瞳共役面Ｐ１において、分岐部１３で分岐した複数の光束のうち同じ次数の回折光を対応する位置に集光する。レンズ２５は、分岐部１３で発生した＋１次回折光を、瞳共役面Ｐ１において、光軸１４ａから離れた位置に集光する。レンズ２５は、分岐部１３で発生した−１次回折光を、光軸１４ａに関して＋１次回折光と対称的な位置に集光する。

１／２波長板２６は、例えばレンズ２５とレンズ２８との間の光路に配置され、標本Ｘに入射する際の照明光の標本面に対する偏光状態がＳ偏光になるように、照明光の偏光状態を調整する。例えば、１次回折光が０次回折光に対して偏向する方向（以下、回折方向という）がＸＺ面内にある場合、１／２波長板２６は、照明光学系１４から射出される照明光の偏光状態がＹ方向の直線偏光になるように、照明光の偏光状態を調整する。分岐部１３において回折方向が変更されると標本Ｘに対する１次回折光の入射面がＺ方向の周りで回転するため、１／２波長板２６は、回折方向に応じて照明光の偏光状態を調整する。なお、１／２波長板２６は、偏光分離素子１２と標本Ｘとの間の光路のいずれの位置に配置されていてもよい。

マスク２７は、干渉縞の形成に使われる回折光を通し、干渉縞の形成に使われない回折光を遮断する。マスク２７は、２Ｄ−ＳＩＭモードにおいて、１次回折光を通し、０次回折光および２次以上の回折光を遮断する。マスク２７は、０次回折光の光路と１次回折光の光路とが分離する位置、例えば、対物レンズ３３の後側焦点面と共役な面（瞳共役面Ｐ１）に配置される。マスク２７は、例えば開口絞りであり、標本Ｘに入射する光線の回折光を制限する。マスク２７は、０次回折光が入射する部分が遮光部になっており、１次回折光が入射する分が開口部（透過部）になっている。なお、マスク２７において０次回折光が入射する部分は、０次回折光の通過と遮断とを切り替え可能なシャッタ部になっていていて、本２Ｄ−ＳＩＭモードでは閉じていてもよい。

マスク２７を通った照明光は、レンズ２８に入射する。レンズ２８は、分岐部１３と光学的に共役な面（以下、中間像面２８ａという）を形成する。視野絞り２９は、例えば中間像面２８ａに配置される。視野絞り２９は、照明光学系１４の光軸１４ａに垂直な面内において、照明光学系１４から標本Ｘに照明光が照射される範囲（照野、照明領域）を規定する。

視野絞り２９を通った照明光は、レンズ３０に入射する。レンズ３０は、分岐部１３上の各点からの±１次光を対物レンズ３３の後ろ側焦点面（瞳面Ｐ０）のそれぞれ対応する位置に集光する。つまり、レンズ３０は、分岐部１３上の各点からの−１次回折光を、照明光学系１４の光軸に関して＋１次回折光と対称的な位置に集光する。

レンズ３０を通った照明光は、フィルタ３１に入射する。フィルタ３１は、例えば励起フィルタであり、標本Ｘに含まれる蛍光物質の励起波長を含む波長帯の光が選択的に通る特性を有する。フィルタ３１は、光源２０の持つ励起光により励起された標本が発する蛍光波長と等しい波長の光を遮断する。フィルタ３１を通った光は、ダイクロイックミラー３２に入射する。ダイクロイックミラー３２は、標本Ｘに含まれる蛍光物質の励起波長を含む波長帯の光が反射し、標本Ｘからの光のうち所定の波長帯の光（例、蛍光）が通る特性を有する。フィルタ３１からの光は、ダイクロイックミラー３２で反射し、対物レンズ３３に入射する。

対物レンズ３３は、中間像面２８ａと光学的に共役な面、すなわち分岐部１３と光学的に共役な面を、標本上に形成する。つまり、対物レンズ３３は、標本上に、構造化照明を形成する。＋１次回折光は、対物レンズ３３の瞳面Ｐ０上で光軸１４ａから離れた位置に集光される。−１次回折光は、瞳面Ｐ０において、光軸１４ａに関して＋１次回折光と対称的な位置に集光される。１次回折光は、対物レンズ３３の開口数（ＮＡ）に応じた角度で焦点面に入射する。

標本Ｘは、観察時に、その観察対象の部分が対物レンズ３３の前側焦点面に配置される。２ＤＳＩＭモードにおいて、標本Ｘには、例えば、＋１次回折光と−１次回折光との干渉により干渉縞が形成される。この干渉縞は、例えば、照明光学系１４の光軸１４ａに垂直な方向に光強度の周期的な分布を有する。この干渉縞は、分岐部１３の周期方向に応じた方向に、明部と暗部とが周期的に並ぶパターンである。標本Ｘのうち干渉縞の明部に配置されている部分は、蛍光物質が励起されて、蛍光を発する。この蛍光の像は、照明光学系１４が形成する干渉縞と、標本Ｘにおける蛍光物質の分布（蛍光密度分布）との変調像（モアレ像）である。撮像装置３は、この変調像の画像を取得する。

撮像装置３は、結像光学系３５および撮像素子３６を備える。結像光学系３５は、対物レンズ３３、ダイクロイックミラー３２、フィルタ３７、及びレンズ３８を備える。結像光学系３５は、対物レンズ３３およびダイクロイックミラー３２を照明光学系１４と共用している。標本Ｘからの光（以下、観察光という）は、対物レンズ３３に入射して平行化され、ダイクロイックミラー３２を通ってフィルタ３７に入射する。

フィルタ３７は、蛍光フィルタである。フィルタ３７は、標本Ｘからの観察光のうち所定の波長帯の光（例、蛍光）が選択的に通る特性を有する。フィルタ３７は、例えば、標本Ｘで反射した照明光、外光、迷光などを遮断する。フィルタ３７を通った光は、レンズ３８に入射する。レンズ３８は、対物レンズ３３の前側焦点面（物体面）と光学的に共役な面（像面）を形成する。標本Ｘからの蛍光による像（モアレ像を含む）は、この像面に形成される。

撮像素子３６は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの二次元イメージセンサを含む。撮像素子３６は、例えば、二次元的に配列された複数の画素を有し、各画素にフォトダイオードなどの光電変換素子が配置された構造である。撮像素子３６は、例えば、観察光の照射によって光電変換素子に生じた電荷を、読出回路によって読み出す。撮像素子３６は、読み出された電荷をデジタルデータ（例、８ビットの階調値）に変換し、画素の位置と階調値とを関連付けたデジタル形式の画像データを出力する。撮像素子３６による１フレーム当たりの電荷蓄積時間は、例えば約１００ミリ秒、約２００ミリ秒などである。

構造化照明顕微鏡１は、撮像装置３が取得した画像を使って復調処理を行う復調部４０を備える。復調部４０は、例えば、制御装置４に設けられるが、制御装置４と別に設けられていてもよい。２Ｄ−ＳＩＭモードにおける復調処理には、例えば、干渉縞の周期方向が異なる３状態と、干渉縞の位相が異なる３状態との組み合わせによる９状態の変調像（モアレ像を含む）の画像が用いられる。復調処理の例については後述する。

本実施形態係る分岐部１３は、照明光を変調する光変調器（図２などに示す）を含み、この光変調器によって干渉縞の状態（周期方向および位相）を変化させることができる。制御部１５は、分岐部１３の光変調器を制御して干渉縞を複数の状態に切替えながら、撮像装置３を制御して干渉縞の各状態において標本Ｘの変調像を取得する。撮像素子３６は、結像光学系３５により形成された変調像を撮像して、変調画像を生成する。

図２（Ａ）は、分岐部１３の光変調器４１を示す平面図、図２（Ｂ）は光変調器４１を示す断面図である。光変調器４１は、二次元的に配列された複数の画素Ｐｘを有する。画素Ｐｘは、Ｘ方向（例、水平走査方向）とＹ方向（例、垂直走査方向）のそれぞれに、複数配置されている。光変調器４１は、照明光を画素Ｐｘごとに変調することができる。

図２（Ｂ）に示すように、光変調器４１は、第１基板４２と、第１基板４２と対向する第２基板４３と、第１基板４２と第２基板４３との間に挟まれた液晶層４４とを備える。本実施形態において、光変調器４１は、反射型の素子である。光源部１１からの照明光Ｌ１は、第２基板４３に入射し、第２基板を通って液晶層４４に入射する。液晶層４４を通った照明光は、第１基板４２で反射して液晶層４４を通り、第２基板４３から射出される。なお、光変調器４１は、透過型の素子であってもよい。

第２基板４３は、ガラスなどの透光性を有する基板に、対向電極４５などを形成したものである。対向電極４５は、例えば、インジウムスズ酸化物（ＩＴＯ）などで形成され、透光性を有する。対向電極４５は、複数の画素Ｐｘにわたって形成され、複数の画素で共通である。対向電極４５は、例えば基準電位に保持される。

第１基板４２は、シリコンなどの基板に、素子層４６、画素電極４７などを形成したものである。画素電極４７は、複数の画素Ｐｘのそれぞれに設けられている。画素電極４７は、例えば金属材料などで形成される反射電極である。素子層４６は、例えば、ＴＦＴなどのスイッチング素子、及び走査線や信号線などの配線を含むアクティブマトリックス回路を有する。このアクティブマトリックス回路は、例えば、制御部１５から供給される駆動信号（例、画像データ）に基づき、画素電極４７のそれぞれに電圧を印加可能である。画素電極４７には、アクティブマトリックス回路によって、基準電位に対するプラス電圧（例、＋Ｖ１）またはマイナス電圧（−Ｖ１）が印加される。

液晶層４４は、強誘電性液晶（ＦＬＣ）を含む。強誘電性液晶は、液晶分子が自発分極を持ち、層構造を有する。液晶層４４には、画素Ｐｘごとに、対向電極４５に対する画素電極４７の電圧に応じた電界が印加される。強誘電性液晶は、ＸＹ平面内に平行に分布しており、印加される電界により、プラス電圧に応じた配向状態とマイナス電圧に応じた配向状態とに変化する。液晶分子は、屈折率の異方性を有し、入射光（照明光）のうち光学軸（例、進相軸）と平行な方向の偏光成分と、この光学軸に垂直な方向の偏光成分とに異なる位相を付与する。光変調器４１は、反射型のＳＬＭであり、入射光が第２基板から第１基板へ向かう往路と、入射光が第１基板で反射して第２基板へ向かう復路とで、入射光が液晶層４４を２回分通る。そのため、液晶層４４が入射光に付与する位相は、透過型のＳＬＭと比較して２倍になる。液晶層４４が入射光に付与する位相Δφは、入射光の波長をλとし、進相軸の方向と遅相軸の方向の屈折率差をΔｎとし、液晶層４４の厚みをｄとすると、Δφ＝２πΔｎ（２ｄ）／λで表される。位相差Δφ＝πとなるように、液晶層４４の厚みｄ、屈折率差Δｎ（液晶材料）を選択すると、光変調器４１は、入射光に対して１／２波長板となる。

光変調器４１は、各画素において液晶層４４に印加される電界を切り替えることにより、光学軸の方向を画素ごとに２状態で切り替えることができる。光変調器４１は、入射光に付与する位相を画素ごとに切替えることにより、振幅型あるいは位相型の回折格子として利用可能である。光変調器４１は、強誘電性液晶を用いているため、例えば、ネマティック液晶などを用いた場合に比べて、電圧の変化に対する屈折率の変化の速度を向上させることができる。例えば、光変調器４１は、マイクロ秒単位で光学軸の方向を２状態に切り替えることができる。

図３（Ａ）は、コリメータ２２から光変調器４１を介してレンズ２５に向かう照明光の光路を示す図である。図３（Ａ）において、符号Ｌ１は、光変調器４１に入射する照明光を示し、符号Ｌ２は、光変調器４１の往路および復路を通った照明光を示す。符号Ｌ３は、偏光分離素子１２の偏光分離膜１２ａで反射した照明光を示す。このとき、照明光Ｌ１は、偏光分離膜１２ａによって偏光方向が図３（Ｂ）においてＤ１の方向となる。

図３（Ｂ）は、光変調器４１の各画素Ｐｘにおける変調を示す概念図である。符号Ｄ２は、液晶分子のダイレクタ（長軸方向）を示す。液晶分子のコーン中心を照明光Ｌ１の偏光方向から数度ずれるように設置することが望ましい。これにより、例えば、３Ｄ−ＳＩＭモードで使われる０次回折光の強度を十分確保することが容易になる。

プラス電圧が印加された状態における液晶分子のダイレクタＤ２は、照明光Ｌ１の偏光方向Ｄ１から反時計回りに角度θ１／２［ｒａｄ］回転した方向である。また、マイナス電圧が印加された状態における液晶分子のダイレクタＤ２は、照明光Ｌ１の偏光方向から時計回りに角度θ２／２［ｒａｄ］回転した方向である。

光変調器４１は、プラス電圧が印加された画素において、照明光の偏光方向を角度θ１だけ反時計方向に回転させる。また、光変調器４１は、マイナス電圧が印加された画素において、照明光の偏光方向を角度θ２だけ時計方向に回転させる。ここで、光変調器４１から射出された照明光Ｌ２を、Ｘ方向の偏光成分とＹ方向の偏光成分とに分離する。Ｙ方向の偏光成分は、プラス電圧が印加された画素に入射した光線と、マイナス電圧が印加された画素に入射した光線とで位相差がπ［ｒａｄ］となる。光変調器４１は、Ｙ方向の偏光成分に対して位相差π［ｒａｄ］の回折格子となり、回折光が発生する。また、Ｘ方向の偏光成分は、プラス電圧が印加された画素に入射した光線と、マイナス電圧が印加された画素に入射した光線とで位相差が０［ｒａｄ］となる。この場合、回折光として０次回折光のみが発生する。

光変調器４１で回折し、偏光分離素子１２に入射した照明光Ｌ２は、偏光分離膜１２ａに対するＳ偏光（例、Ｙ方向の偏光成分）が偏光分離膜１２ａで反射してレンズ２５へ向かう。Ｘ方向の偏光成分（Ｐ偏光）は、偏光分離膜１２ａを通って、標本Ｘに向かう光路から除かれる。すなわち、照明光Ｌ３は、照明光Ｌ２のうちＹ方向の偏光成分を抽出した光であり、プラス電圧が印加された画素を通った場合とマイナス電圧が印加された画素を通った場合とで位相がπずれる。

光変調器４１で発生する回折光の回折方向および位相は、複数の画素Ｐｘにおけるプラス電圧が印加された画素Ｐｘとマイナス電圧が印加された画素Ｐｘの分布により定まる。以下の説明において、プラス電圧が印加された画素Ｐｘとマイナス電圧が印加された画素Ｐｘの分布を電圧パターン（電圧分布）という。図１に示した制御部１５は、光変調器４１にパターンデータを供給し、光変調器４１にパターンデータに応じた電圧パターンを形成させることによって、光変調器４１で発生する回折光の回折方向および位相を制御する。このパターンデータは、例えば、画素Ｐｘに印加する電圧がプラス電圧であるか、もしくはマイナス電圧であるかを示す階調値（例、０または１）と、この画素Ｐｘの位置とを関連付けたビットマップデータである。

ところで、電界効果により光を変調するＳＬＭは、変調の際に印加される電圧の直流成分の偏りにより強誘電性液晶の内部イオンが１方向に引き付けられ、焼付が生じることがある。

図４（ａ）、（ｂ）は、電圧パターンを示す図であり、図４（ｃ）、（ｄ）は、＋１次回折光と−１次回折光との干渉縞を示す概念図である。図４（ａ）に示すように、光変調器４１は、例えば撮像の１フレーム内の前半期に、電圧パターンＤＰａを形成する。電圧パターンＤＰａは、例えば、プラス電圧が印加された画素群Ｐｘａとマイナス電圧が印加された画素群Ｐｘｂが、Ｘ方向に並んでいる。電圧パターンＤＰａは、画素群Ｐｘａと画素群Ｐｘｂとの組を単位構造ＰＲ１として、単位構造ＰＲ１が周期的に並ぶパターンである。図４（ｃ）に示される干渉縞ＩＦａは、図４（ａ）に示した電圧パターンＤＰａが印加された光変調器４１において回折された回折光のうち、＋１次回折光と−１次回折光との干渉で形成された干渉縞を示す。干渉縞ＩＦａは、明部Ａ１と暗部Ａ２とを単位構造ＰＲ２として、単位構造ＰＲ２が周期的に並ぶパターンである。

また、図４（ｂ）に示すように、光変調器４１は、例えば撮像の１フレーム内の後半期に、前半期と反転した電圧パターンである電圧パターンＤＰｂを形成する。つまり、電圧パターンＤＰｂは、電圧パターンＤＰａのプラス電圧とマイナス電圧とを反転したパターンに相当する。周期性を持つ電圧パターンＤＰｂは、単位構造ＰＲ１の位相が電圧パターンＤＰａとπ（１／２周期）ずれた関係になる。また、図４（ｄ）に示される干渉縞ＩＦｂは、図４（ｂ）に示した電圧パターンＤＰｂが印加された光変調器４１において回折された回折光のうち、＋１次回折光と−１次回折光との干渉で形成された干渉縞を示す。干渉縞ＩＦｂは、干渉縞ＩＦａと位相が２π（１周期）ずれた干渉縞である。そのため、１フレームの前半期における干渉縞ＩＦａの明部Ａ１の位置には、後半期における干渉縞ＩＦｂの明部Ａ１が配置され、前半期における干渉縞ＩＦａの暗部Ａ２の位置には、後半期における干渉縞ＩＦｂの暗部Ａ２が配置される。

つまり、電圧パターンＤＰａ（図４（ａ）参照）を光変調器４１に印加することにより干渉縞ＩＦａ（図４（ｃ）参照）が形成され、電圧パターンＤＰｂ（図４（ｂ）参照）を光変調器４１に印加することにより、干渉縞ＩＦａ図４（ｃ）参照）と位相が２π（１周期）ずれた干渉縞ＩＦｂ（（図４（ｄ）参照））が形成される。言い換えると、電圧パターンＤＰａを光変調器４１に印加しても、電圧パターンＤＰｂを印加しても同じ干渉縞を形成することができる。一方、光変調器４１において、電圧パターンＤＰａの印加時と電圧パターンＤＰｂの印加時とで、液晶層４４に印加される電界の向きが反転するので、焼付の発生が抑制される。したがって、光変調器４１における焼付の発生を抑制しつつ、１フレーム内の前半期と後半期とで位相が同じ干渉縞で標本Ｘを照明することができる。

なお、制御部１５は、撮像装置３が撮像する１フレーム期間において、複数の画素電極４７の少なくとも一部に、第１電圧パターンと、第１電圧パターンに対して反転した第２電圧パターンとを印加すればよい。例えば、１つのフレーム期間に印加される電圧パターンが反転する画素電極４７は、複数の画素電極４７の一部でもよいし、全部でもよい（以下、同様）。例えば、制御部１５は、複数の画素電極４７のうち半分の画素電極４７において、１つのフレーム期間内で電圧パターンを反転させ、残りの半分の画素電極４７において、他の１つのフレーム期間内で電圧パターンを反転させてもよい。

次に、図５〜図９を参照しつつ、構造化照明顕微鏡１の動作に基づいて、２Ｄ−ＳＩＭモードにおける観察方法について説明する。図５は、干渉縞の条件の一例を示す図である。構造化照明顕微鏡１は、例えば、干渉縞の周期方向を、第１方向と第２方向と第３方向の３方向に切り替える。例えば、第１方向は任意に選択される方向であり、第２方向は第１方向から反時計回りに１２０°の方向であり、第３方向は第２方向から反時計回りに１２０°（第１方向から時計回りに−１２０°）の方向である。

また、構造化照明顕微鏡１は、干渉縞の周期方向の各条件において、位相を３通りに切り替える。例えば、構造化照明顕微鏡１は、干渉縞の周期方向が第１方向に設定されている状態で、干渉縞の位相を０（任意の基準の位相）と、基準の位相に対して２π／３ずれた位相と、基準の位相に対して４π／３ずれた位相との３通りに切り替える。

図６は、２Ｄ−ＳＩＭモードにおける構造化照明顕微鏡１の動作を示すフローチャートである（構造化照明顕微鏡１の各部については図１〜図３参照）。ステップＳ１１において、制御装置４の制御部１５は、干渉縞の条件（位相、方向）を設定する。制御部１５は、例えば、干渉縞の周期方向を第１方向に設定し、干渉縞の位相を０に設定する。ステップＳ１２において、制御部１５は、ステップＳ１１において設定した干渉縞の条件に応じた駆動信号を光変調器４１に供給する。光変調器４１は、この駆動信号に従って電圧を各画素に印加することにより、電圧パターンを形成し、構造化照明装置２は、この電圧パターンに応じた干渉縞を標本Ｘ上に形成する。ステップＳ１３において、制御部１５は、撮像装置３を制御し、干渉縞で照明されている標本Ｘを撮像する。

ステップＳ１４において、制御部１５は、干渉縞の全ての条件における撮像が終了したか否かを判定する。制御部１５は、予定されている複数の条件（例、図５に示した９条件）の少なくとも１つに対する撮像が終了していないと判定した場合（ステップＳ１４；Ｎｏ）、ステップＳ１５において干渉縞の条件を変更する。また、ステップＳ１５の処理の終了後に、制御部１５は、ステップＳ１２からステップＳ１４の処理を繰り返すことにより、予定されている複数の条件のそれぞれにおいて、標本Ｘを撮像する。

例えば、制御部１５は、例えば、干渉縞の周期方向を第１方向に設定し、干渉縞の位相を０、２π／３、４π／３に切り替えて第１方向に関する３枚の画像を取得する。また、制御部１５は、例えば、干渉縞の周期方向を第２方向に設定し、干渉縞の位相を０、２π／３、４π／３に切り替えて第２方向に関する３枚の画像を取得する。制御部１５は、例えば、干渉縞の周期方向を第３方向に設定し、干渉縞の位相を０、２π／３、４π／３に切り替えて第３方向に関する３枚の画像を取得する。なお、干渉縞の複数の条件は、いずれの順番で設定されてもよい。

制御部１５は、予定されている複数の条件の全ての撮像が完了したと判定した場合（ステップＳ１４；Ｙｅｓ）、ステップＳ１６において復調部４０に復調処理を実行させる。復調部４０は、複数の条件のそれぞれにおいて撮像装置３が撮像した画像を使って復調処理を実行し、超解像画像のデータを形成する。制御装置４は、例えば、超解像画像のデータを図示略の記憶装置に記憶させる。また、制御装置４は、例えば、超解像画像を表示装置５に表示させる。

図７は、第１方向に関する３枚の画像を取得する際に使われる電圧パターンの例を示す概念図である。図７に示す各電圧パターンにおいて、プラス電圧が印加される画素に相当する部分を白で表し、マイナス電圧が印加される画素に相当する部分を黒で表した。

図７（Ａ）の電圧パターンＶＰａおよび図７（Ｂ）の電圧パターンＶＰｂは、干渉縞の位相が０の条件で用いられる電圧パターンであり、例えば撮像の１フレーム内の前半期に用いられる。電圧パターンＶＰｂは、電圧パターンＶＰａと反転したパターンであり、例えば撮像の１フレーム内の後半期に用いられる。図７（Ｃ）の電圧パターンＶＰｃおよび図７（Ｄ）の電圧パターンＶＰｄは、干渉縞の位相が２π／３の条件で用いられる電圧パターンである。ＶＰｃは、例えば１フレーム内の前半期に用いられる。電圧パターンＶＰｄは、電圧パターンＶＰｃと反転したパターンであり、例えば撮像の１フレーム内の後半期に用いられる。図７（Ｅ）の電圧パターンＶＰｅおよび図７（Ｆ）の電圧パターンＶＰｆは、干渉縞の位相が４π／３の条件で用いられる電圧パターンであり、例えば撮像の１フレーム内の前半期に用いられる。電圧パターンＶＰｆは、電圧パターンＶＰｅと反転したパターンであり、例えば撮像の１フレーム内の後半期に用いられる。

図８は、第１方向に関する３枚の画像を取得する際の光変調器４１および撮像素子３６の動作を示すタイミングチャートである。制御部１５は、フレームＦｒ１の前半期が開始されるよりも前に、電圧パターンＶＰａを示す駆動信号（例、ビットマップデータ）を光変調器４１に供給する。光変調器４１は、フレームＦｒ１の前半期において、複数の画素電極４７の電圧値の分布が電圧パターンＶＰａとなるように、画素電極４７にプラス電位（例、＋Ｖ１）と、マイナス電位（例、−Ｖ１）とを印加する。制御部１５は、フレームＦｒ１の後半期が開始されるよりも前に、電圧パターンＶＰｂを示す駆動信号（例、ビットマップデータ）を光変調器４１に供給する。光変調器４１は、フレームＦｒ１の後半期において、複数の画素電極４７の電圧値の分布が電圧パターンＶＰｂとなるように、画素の画素電極４７のそれぞれに電位（例、＋Ｖ１または−Ｖ１）を印加する。

フレームＦｒ１の前半期において、光変調器４１の液晶層４４には駆動信号に応じた電界が印加され、第１基板４２側と第２基板４３側とで電荷の偏りが生じることがある。しかしながら、フレームＦｒ１の後半期において、光変調器４１の液晶層４４には駆動信号に応じて前半期と反転した電界が印加されるので、前半期に生じた電荷の偏り（例、焼付）の少なくとも一部が解消される。

図４に示したように、光変調器４１が形成する電圧パターンは、前半期と後半期とで反転した関係になるが、標本Ｘ上に形成される干渉縞の位相は前半期と後半期とで揃っている（同じとなる）。制御部１５は、撮像素子３６を制御し、フレームＦｒ１の前半期および後半期にまたがって撮像素子３６の各画素の光電変換素子に、標本Ｘからの光による電荷を蓄積させる。このように、構造化照明顕微鏡１は、撮像素子３６の露光期間の一部を使って、光変調器４１における焼付の発生を抑制できる。

制御部１５は、フレームＦｒ２においても同様に、第３電圧パターンＶＰｃを示す駆動信号および第４電圧パターンＶＰｄを示す駆動信号を、光変調器４１に供給する。光変調器４１は、フレームＦｒ２の前半期において、複数の画素電極４７の電圧値の分布を第３電圧パターンＶＰｃ保持にする。光変調器４１は、フレームＦｒ２の後半期において、複数の画素電極４７の電圧値の分布を第４電圧パターンＶＰｄに保持する。光変調器４１は、フレームＦｒ１において電荷の偏りの少なくとも一部が解消されているので、フレームＦｒ２における電圧パターンを精度よく形成することができる。制御部１５は、撮像素子３６を制御し、フレームＦｒ２の前半期および後半期にまたがって、標本Ｘからの光による電荷を撮像素子３６に蓄積させる。

制御部１５は、フレームＦｒ３においても同様に、第５電圧パターンＶＰｅを示す駆動信号および第６電圧パターンＶＰｆを示す駆動信号を、光変調器４１に供給する。光変調器４１は、フレームＦｒ３の前半期において、複数の画素電極４７の電圧値の分布を第５電圧パターンＶＰｅに保持する。光変調器４１は、フレームＦｒ３の後半期において、複数の画素電極４７の電圧値の分布を第６電圧パターンＶＰｆに保持する。光変調器４１は、フレームＦｒ２において電荷の偏りの少なくとも一部が解消されているので、フレームＦｒ３における電圧パターンを精度よく形成することができる。制御部１５は、撮像素子３６を制御し、フレームＦｒ３の前半期および後半期にまたがって、標本Ｘからの光による電荷を撮像素子３６に蓄積させる。

制御部１５は、フレームＦｒ１〜Ｆｒ３の撮像により、干渉縞の周期方向が第１方向であって位相が３通りの３枚の画像を取得する。制御部１５は、干渉縞の周期方向が第２方向である場合、干渉縞の周期方向が第３方向である場合についても同様にして、画像を取得する。

上述の各フレームにおいて、前半期の長さは、例えば後半期の長さと同じに設定される。なお、各フレームの開始時点から前半期の開始時点までの時間は、任意に設定され、例えば、前半期の開始時点は、各フレームの開始時点とほぼ同時であってもよいし、各フレームの開始時点から所定時間の経過後であってもよい。また、各フレームの前半期の終了時点から後半期の開始時点までの時間は、任意に設定される。例えば、後半期の開始時点は、前半期の終了時点とほぼ同時であってもよいし、前半期の終了時点から所定時間の経過後であってもよい。また、構造化照明装置２は、少なくとも１フレームにおいて前半期と後半期とで電圧パターンを反転させることで焼付の発生を抑制することができ、一部のフレームにおいて前半期と後半期とで電圧パターンを反転させなくてもよい。

図９は、光変調器４１および撮像素子３６の動作の他の例を示すタイミングチャートである。図９（Ａ）において、光変調器４１は、１フレームのうち第１期間ｔ１において、複数の画素電極４７の電圧値の分布を第１電圧パターンに保持する。また、光変調器４１は、１フレームのうち第２期間ｔ２において、複数の画素電極４７の電圧値の分布を、第１電圧パターンと反転した第２電圧パターンに保持する。第１期間ｔ１の長さは、第２期間ｔ２の長さと異なっている。

このような場合においても、光変調器４１において、第１期間ｔ１に発生した電荷の偏りの少なくとも一部を、第２期間ｔ２において解消することができる。なお、光変調器４１において、第１基板４２側と第２基板４３側とで電気特性（例、寄生容量）が異なる場合がある。このような場合に、第１期間ｔ１と第２期間ｔ２の相対的な長さを調整することで、光変調器４１における電荷の偏りを調整してもよい。

図９（Ｂ）において、光変調器４１は、１フレームのうち第３期間ｔ３と第５期間ｔ５のそれぞれにおいて、複数の画素電極４７の電圧値の分布を第１電圧パターンに保持する。また、光変調器４１は、１フレームのうち第４期間ｔ４と第６期間ｔ６のそれぞれにおいて、複数の画素電極４７の電圧値の分布を、第１電圧パターンと反転した第２電圧パターンに保持する。例えば、撮像素子３６のフレームレートが３０ｆｐｓであり、光変調器４１のリフレッシュレートが１２０Ｈｚである場合、光変調器４１は、撮像の１フレーム期間に電圧パターンを４回切り替えることができる。このような場合、光変調器４１は、複数の画素電極４７の電圧値の分布を、例えば第１電圧パターンと第２電圧パターンとに交互に２回ずつ保持してもよい。

このように、１フレームにおいて、光変調器４１が複数の画素電極４７の電圧値の分布を第１電圧パターンに保持する回数は、複数回数であってもよい。また、１フレームにおいて、光変調器４１が複数の画素電極４７の電圧値の分布を第２電圧パターンに保持する回数は、複数回数であってもよく、第１電圧パターンの回数と同じであってもよいし、異なっていてもよい。

次に、３Ｄ−ＳＩＭモードについて説明する。図１０は、３Ｄ−ＳＩＭモードにおける光源部１１から標本Ｘまでの光路を示す図である。図１０においては、図を見やすくするために標本Ｘから撮像素子３６までの光路を省略したが、撮像装置３は、図１と同様に標本Ｘを撮像する。

３Ｄ−ＳＩＭモードにおいて、構造化照明装置２は、＋１次回折光と−１回折光との干渉縞、＋１次回折光と０次回折光との干渉縞、及び−１次回折光と０次回折光との干渉縞が合成された合成干渉縞を形成する。この合成干渉縞は、例えば、照明光学系１４の光出射側の光軸１４ａに垂直な面内の１方向と、照明光学系１４の光出射側の光軸１４ａに平行な１方向との合計２方向に周期構造を有する。

マスク２７は、３Ｄ−ＳＩＭモードにおいて、０次回折光および１次回折光を通し、２次以上の回折光を遮断する。マスク２７は、例えば、０次回折光の通過と遮断とを切り替え可能なシャッタ部を備え、３Ｄ−ＳＩＭモードにおいては０次回折光が通過するように設けられる。なお、構造化照明装置２は、３Ｄ−ＳＩＭモードに使用される際に、マスク２７を、０次回折光が入射する位置に開口部を有するマスクに交換可能であってもよい。

上述のように３Ｄ−ＳＩＭモードでは３つの干渉縞が形成されるが、そのうち＋１次回折光と−１回折光との干渉縞は２Ｄ−ＳＩＭモードの場合と同様なので説明を省略し、０次回折光と＋１次回折光との干渉縞と０次回折光と−１次回折光との干渉縞のみについて記述する。なお、その際これら２つの干渉縞は全く同位相となることから「０次回折光と１次回折光との干渉縞」と記述する。図１１は、電圧パターン、及び０次回折光と１次回折光との干渉縞を示す概念図である。光変調器４１は、第１フレームの期間に電圧パターンＤＰｃを形成する。また、光変調器４１は、第２フレームの期間に、電圧パターンＤＰｃと反転した電圧パターンＤｐｄを形成する。

３Ｄ−ＳＩＭモードにおいて、干渉縞ＩＦｃは、電圧パターンＤＰｃが印加された光変調器４１により回折した０次回折光と１次回折光との干渉により形成される。電圧パターンＤＰｃの反転パターンである電圧パターンＤＰｄにより形成される干渉縞ＩＦｄは、電圧パターンＤＰｃにより形成される干渉縞ＩＦｃと位相がπずれた関係になる。より詳細に説明すると、０次回折光と１次回折光との干渉は、回折光の次数の差が１であるので、電圧パターンを反転させると、形成される干渉縞の位相がπずれるので、干渉縞ＩＦｄは、干渉縞ＩＦｃと位相がπずれた関係になる。

一般的に、３Ｄ−ＳＩＭモードでは、干渉縞の方向を３通りに変更し、干渉縞の位相を５通り以上に変化させて、干渉縞の方向と位相との組み合わせにより１５状態以上の干渉縞を形成し、各干渉縞に応じた標本の画像を取得する。本実施形態における構造化照明装置２は、干渉縞の各方向について、干渉縞の位相を偶数（例、２、４、６）通りに変化させる。正の整数ｕに対して干渉縞の位相の種類を２ｕ通りとおくと、位相の等間隔で変化させる場合、０からｕ−１までの整数ｖに対して干渉縞の位相φｖは、φｖ＝πｖ／ｕで表される。ここで、φｖの干渉縞の形成に用いる電圧パターンを反転させると、例えば図１１に示したように干渉縞の位相がπずれてπ（ｖ＋ｕ）／ｕになり、位相がφｖ＋ｕの干渉縞として使うことができる。

図１２は、３Ｄ−ＳＩＭモードにおける干渉縞の条件の一例を示す図である。図１２において位相は６通り（０、π／３、２π／３、３π／３、４π／３、５π／３）であり、上述のｕ＝３に相当する。φ１＝０、φ２＝π／３、φ３＝２π／３、φ４＝３π／３、φ５＝４π／３、φ６＝５π／３とおくと、φ１の干渉縞を形成するための電圧パターンとφ４の干渉縞を形成するための電圧パターンとが反転の関係になる。また、φ２の干渉縞を形成するための電圧パターンと、φ５の干渉縞を形成するための電圧パターンとが反転の関係になる。また、φ３の干渉縞を形成するための電圧パターンと、φ６の干渉縞を形成するための電圧パターンとが反転の関係になる。例えば、光変調器４１は、位相がφ４の干渉縞を形成する際に、位相φ１の干渉縞の形成時するために印加する電圧パターンと反転する電圧パターンを形成する。

ここで、φ１、φ２、φ３のそれぞれに応じた電圧パターンを含むグループを第１電圧パターン群とする。φ４、φ５、φ６のそれぞれに応じた電圧パターンを含むグループを第２電圧パターン群とする。第２電圧パターン群は、第１電圧パターン群に含まれる電圧パターンと反転した電圧パターンを含むグループである。制御部１５は、光変調器４１の複数の画素電極４７における電圧値の分布を、第１電圧パターン群と第２電圧パターン群とから順に選択される電圧パターンに設定する。第２電圧パターン群に含まれる電圧パターンは、第１電圧パターンに群に含まれる電圧パターンと反転の関係にあることから、光変調器４１の液晶層４４における電荷の偏り（焼付）の発生が抑制される。

上述のような位相がφ１〜φ６の干渉縞を形成するには、例えば図７に示した６種類の電圧パターンを用いればよい。例えば、図７（Ａ）の電圧パターンＶＰａを位相がφ１（０）の干渉縞に用いる場合、図７（Ｂ）の電圧パターンＶＰｂは、電圧パターンＶＰａの反転電圧パターンであるので、位相がφ４（３π／３）の干渉縞の形成に使える。図７（Ｃ）の電圧パターンＶＰｃを位相がφ３（２π／３）の干渉縞の形成に使用する場合、図７（Ｄ）の電圧パターンＶＰｄは、電圧パターンＶＰｃの反転電圧パターンであるので、位相がφ６（５π／３）の干渉縞の形成に使える。図７（Ｅ）の電圧パターンＶＰｅを位相がφ５（４π／３）の干渉縞の形成に使用する場合、図７（Ｆ）の電圧パターンＶＰｆは、電圧パターンＶＰｅの反転電圧パターンであるため、位相がφ２（π／３）の干渉縞の形成に使える。

なお、制御部１５は、撮像装置３が撮像する第１フレームの期間において複数の画素電極４７の少なくとも一部に第１電圧パターンを印加し、標本Ｘを撮像する第２フレームの期間において第１電圧パターンに対して反転した第２電圧パターンを印加すればよい。第１フレームの期間と第２フレームの期間とで印加される電圧パターンが反転する画素電極４７は、複数の画素電極４７の一部でもよいし、全部でもよい（以下、同様）。

次に、構造化照明顕微鏡１の動作に基づいて、３Ｄ−ＳＩＭモードにおける観察方法について説明する。構造化照明顕微鏡１は、図６に示したように干渉縞の条件を変更しながら、各条件の干渉縞に照明されている標本Ｘの画像を取得する。３Ｄ−ＳＩＭモードにおける干渉縞の条件は、例えば図１２に示した通りである。この場合、構造化照明顕微鏡１は、干渉縞の方向を３通りに変更し、干渉縞の各方向について位相を６通りに変更し、干渉縞の方向と位相との組み合わせの１８通りの条件のそれぞれにおいて、干渉縞に照明されている標本Ｘの画像を取得する。

図１３は、第１方向に関する６枚の画像を取得する際の光変調器４１および撮像素子３６の動作を示すタイミングチャートである。ここでは、図７に示した６種類の電圧パターンを用いて干渉縞の位相を６通りに変更する例を説明するが、３Ｄ−ＳＩＭモードで用いる電圧パターンは、周期、位相、及び方向（例、周期方向）の少なくとも１つが２Ｄ−ＳＩＭモードで用いる電圧パターンと異なっていてもよい。

制御部１５は、第１フレームが開始されるよりも前に、電圧パターンＶＰａを示す駆動信号（例、ビットマップデータ）を光変調器４１に供給する。光変調器４１は、第１フレームにおいて、複数の画素電極４７の電圧値の分布が第１電圧パターンＶＰａとなるように、プラス電位（例、＋Ｖ１）と、マイナス電位（例、−Ｖ１）とを印加する。これにより、標本Ｘ上には位相がφ１の干渉縞が形成される。制御部１５は、撮像素子３６を制御し、第１フレームにおいて、撮像素子３６の各画素の光電変換素子に標本Ｘからの光による電荷を蓄積させる。

制御部１５は、第１フレームの次の第２フレームが開始されるよりも前に、第１フレームの電圧パターンＶＰａと反転の関係にある電圧パターンＶＰｂを示す駆動信号を光変調器４１に供給する。光変調器４１は、第２フレームにおいて、複数の画素電極４７の電圧値の分布を電圧パターンＶＰｂに保持にする。これにより、標本Ｘ上には位相がφ４の干渉縞が形成される。制御部１５は、撮像素子３６を制御し、第２フレームにおいて、撮像素子３６の各画素の光電変換素子に標本Ｘからの光による電荷を蓄積させる。

ところで、第１フレームにおいて、光変調器４１の液晶層４４には駆動信号に応じた電界が印加され、第１基板４２側と第２基板４３側とで電荷の偏りが生じることがある。しかしながら、第２フレームにおいて、光変調器４１の液晶層４４には第１フレームと反転した電界が印加されるので、第１フレームに生じた電荷の偏り（例、焼付）の少なくとも一部が解消される。このように、構造化照明顕微鏡１は、撮像素子３６の露光期間の一部を使って、光変調器４１における焼付の発生を抑制できる。

制御部１５は、第３フレームが開始されるよりも前に、電圧パターンＶＰｃを示す駆動信号を光変調器４１に供給する。光変調器４１は、第３フレームにおいて、複数の画素電極４７の電圧値の分布を電圧パターンＶＰｃに保持にする。これにより、標本Ｘ上には位相がφ３の干渉縞が形成される。光変調器４１は、第２フレームにおいて電荷の偏りの少なくとも一部が解消されているので、第３フレームにおける電圧パターンを精度よく形成することができる。制御部１５は、撮像素子３６を制御し、第３フレームにおいて、撮像素子３６の各画素の光電変換素子に標本Ｘからの光による電荷を蓄積させる。

制御部１５は、第３フレームの次の第４フレームが開始されるよりも前に、第３フレームの電圧パターンＶＰｃと反転の関係にある電圧パターンＶＰｄを示す駆動信号を光変調器４１に供給する。光変調器４１は、第４フレームにおいて、複数の画素電極４７の電圧値の分布を電圧パターンＶＰｄに保持にする。第３フレームにおいて光変調器４１に生じた電荷の偏りは、その少なくとも一部が第４フレームにおいて解消される。標本Ｘ上には位相がφ６の干渉縞が形成される。制御部１５は、撮像素子３６を制御し、第４フレームにおいて、撮像素子３６の各画素の光電変換素子に標本Ｘからの光による電荷を蓄積させる。

制御部１５は、第５フレームが開始されるよりも前に、電圧パターンＶＰｅを示す駆動信号を光変調器４１に供給する。光変調器４１は、第５フレームにおいて、複数の画素電極４７の電圧値の分布を電圧パターンＶＰｅに保持にする。これにより、標本Ｘ上には位相がφ５の干渉縞が形成される。光変調器４１は、第４フレームにおいて電荷の偏りの少なくとも一部が解消されているので、第５フレームにおける電圧パターンを精度よく形成することができる。制御部１５は、撮像素子３６を制御し、第５フレームにおいて、撮像素子３６の各画素の光電変換素子に標本Ｘからの光による電荷を蓄積させる。

制御部１５は、第５フレームの次の第６フレームが開始されるよりも前に、第５フレームの電圧パターンＶＰｅと反転の関係にある電圧パターンＶＰｆを示す駆動信号を光変調器４１に供給する。光変調器４１は、第６フレームにおいて、複数の画素電極４７の電圧値の分布を電圧パターンＶＰｆに保持にする。第５フレームにおいて光変調器４１に生じた電荷の偏りは、その少なくとも一部が第６フレームにおいて解消される。標本Ｘ上には位相がφ２の干渉縞が形成される。制御部１５は、撮像素子３６を制御し、第６フレームにおいて、撮像素子３６の各画素の光電変換素子に標本Ｘからの光による電荷を蓄積させる。

制御部１５は、第１〜第６フレームの撮像により、干渉縞の周期方向が第１方向であって位相が６通り６枚の画像を取得する。制御部１５は、干渉縞の周期方向が第２方向である場合、干渉縞の周期方向が第３方向である場合についても同様にして、画像を取得する。このようにして、制御装置４は、干渉縞の方向を３通りに変更し、各方向について位相を６通りに変化せて、１８枚の画像を取得する。復調部４０は、これら１８枚の画像を使って復調処理を実行し、超解像画像のデータを生成する。

本実施形態において、奇数番目のフレーム（例、第１フレーム）において所定の電圧パターンを形成し、その次のフレームにおいて所定の電圧パターンに対して反転した電圧パターンを形成する。このようにすれば、光変調器４１における電荷の偏りが解消された状態で、次の奇数番目のフレームを開始することができる。なお、奇数番目のフレーム（例、第１フレーム）と反転の関係になるフレーム（第２フレーム）の撮像は、２番目から６番目のフレームのいずれにおいて行われてもよい。この場合においても、第１フレームにおいて光変調器４１に発生した電荷の偏りの少なくとも一部を第２フレームにおいて解消することができる。

本実施形態においては、撮像のフレーム数が偶数（例、６）である場合、奇数番目のフレーム（例、第１フレーム）と次の偶数番目のフレーム（第２フレーム）とを１組のフレームとして、１組のフレームにおいて電圧パターンを反転させる。構造化照明装置２は、干渉縞の各方向について６枚の画像を取得する場合、例えば、全ての組（３組）のフレームのそれぞれにおいて電圧パターンを反転させるが、複数組のフレームのうち、少なくとも１組のフレームにおいて電圧パターンを反転させればよい。このような場合においても、構造化照明装置２は、撮像素子３６の露光期間の少なくとも一部を利用して、光変調器４１における電荷の偏り（焼付）を低減できる。例えば、干渉縞の方向を所定の方向にした状態で位相を変更しながら５枚の画像を取得し、露光期間以外の期間に電荷の偏りを解消する場合、１０フレーム分の時間を要するが、本実施形態においては、６フレーム分の時間で画像を取得するとともに電荷の偏りを解消することができる。また、干渉縞の周期方向の１方向について６枚の画像を取得することにより、復調処理を精度よく行うこともできる。

なお、復調処理に使われる画像の数は、復調処理のアルゴリズムに応じて異なる。３方向の超解像効果を得る場合、例えば米国特許第８１１５８０６号明細書に開示されているように、干渉縞の各方向について位相が異なる５枚の画像を取得してもよい。この場合、構造化照明装置２は、上述した６つのフレーム期間のうち１つのフレーム期間に対応する画像取得を行わなければよい。このような場合において、構造化照明装置２は、撮像素子３６の露光期間の少なくとも一部を利用して、光変調器４１における電荷の偏り（焼付）を低減できる。

以上述べたように、本実施形態による制御方式に従うことで、例えば米国特許第８１１５８０６号明細書に開示されているように、３Ｄ−ＳＩＭモードにおいて必要な位相の異なる５枚の画像を取得するために５つの電圧パターンとその反転パターンを用意するのに比べ、取得画像数が増えるにもかかわらず、少ないパターン数と短い時間での画像取得が可能である。

また、３方向の超解像効果を得る場合、例えば国際公開第２０１４／０１３７２０号に開示されているように、１５枚よりも少ない枚数の画像により復調画像を行うこともある。例えば、干渉縞の方向が第１方向である条件において、干渉縞の位相を０、π／２、π、３π／２の４通りに変更し、干渉縞の方向が第２方向、第３方向である条件において、各方向について、干渉縞の位相を０、πの２通りに変更する。この場合、構造化照明装置２は、干渉縞の方向が第１方向である条件において、干渉縞の位相が０、πであるフレームを１組のフレームとして電圧パターンを反転させ、干渉縞の位相がπ／２、３π／２であるフレームを１組のフレームとして電圧パターンを反転させてもよい。また、構造化照明装置２は、干渉縞の方向が第２方向、第３方向である条件において、各方向について、干渉縞の位相が０、πであるフレームを１組のフレームとして電圧パターンを反転させてもよい。

次に、復調部４０が実行する復調処理の例について説明する。復調部４０は、干渉縞の向きおよび方向が互いに異なる状態で撮像された、複数の変調像を用いて、復元画像を生成することができる。復調部４０は、例えば、米国特許番号８１１５８０６号明細書に開示された方法で復調処理を行ってもよいが、この方法に限られない。

上述した実施形態の制御装置４は、例えば、メモリおよびＣＰＵを備えるコンピュータを含む。このコンピュータは、例えば記憶装置６などの記録媒体に記録された顕微鏡制御プログラムを読み出し、この顕微鏡制御プログラムに従って構造化照明顕微鏡１の各部に対する制御を実行することで、構造化照明顕微鏡１の各部に処理を実行させる。

この顕微鏡制御プログラムは、複数の画素電極が設けられた第１基板と、第１基板に対向する第２基板と、第１基板と第２基板との間に配置された強誘電性液晶とを含む分岐部によって、光源からの光を複数の回折光に分岐し、複数の回折光のうち少なくとも一部により形成される干渉縞によって標本を照明し、干渉縞が照射された標本の像を形成し、像を撮像し、撮像された画像を複数用いて復調処理を行い、干渉縞の方向および位相を制御する、構造化照明顕微鏡の制御をコンピュータに実行させる顕微鏡制御プログラムであって、制御は、撮像の１フレーム期間において、複数の画素電極の少なくとも一部に、第１電圧パターンと、第１電圧パターンに対して反転した第２電圧パターンとを印加することを含む。

また、この顕微鏡制御プログラムは、複数の画素電極が設けられた第１基板と、第１基板に対向する第２基板と、第１基板と第２基板との間に配置された強誘電性液晶とを含む分岐部によって、光源からの光を複数の回折光に分岐し、複数の回折光の少なくとも一部により形成される干渉縞によって標本を照明し、干渉縞が照射された標本の像を形成し、結像光学系が形成した像を撮像し、撮像された画像を複数用いて、復調処理を行い、干渉縞の方向および位相を制御する、構造化照明顕微鏡の制御をコンピュータに実行させる顕微鏡制御プログラムであって、制御は、標本を撮像する第１フレームの期間において複数の画素電極の少なくとも一部に第１電圧パターンを印加し、標本を撮像する第２フレームの期間において第１電圧パターンに対して反転した第２電圧パターンを印加することを含み、復調処理は、少なくとも、第１フレーム期間で撮像された画像と、第２フレーム期間で撮像された画像を用いる。

上述のプログラムは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等のコンピュータ読み取り可能な記録媒体に記録されていてもよい。また、コンピュータは、ＷＷＷシステムを利用している場合、ホームページ提供環境（あるいは表示環境）を含んでいてもよい。コンピュータ読み取り可能な記録媒体は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものを含んでいてもよい。プログラムは、構造化照明装置２が行う処理の一部を実行させるものであってもよい。

なお、制御部１５の少なくとも一部は、制御装置４と別に設けられていてもよく、例えば光変調器４１に設けられていてもよい。この場合、例えば、２−ＤＳＩＭモードにおいて、制御装置４は、干渉縞のパターンを示すビットマップデータを制御部１５に供給し、制御部１５は、このビットマップデータに相当する第１電圧パターンと、第１電圧パターンと反転した第２電圧パターンとを生成して、光変調器４１の複数の画素電極を駆動してもよい。

ところで、３Ｄ−ＳＩＭモードにおいては、複数の回折光のうち干渉縞の形成に用いる回折光の強度が適切に調整されていることが望まれる。例えば、複数の回折光のうち０次回折光と１次回折光との干渉縞を形成する場合、０次回折光と１次回折光の強度比を予め調整しておくことが望まれる。しかしながら、例えば強誘電液晶を用いて回折光を発生させる場合、各次数の回折光の強度を調整することが容易でない場合がある。例えば、文献「L. Shao et. al., Nat. Method 8, 1044(2011)」には、デューティにより各次数の回折光の強度を調整ことが示されているが、デューティ変化の分解能が十分でない場合がある。また、ＳＬＭへの入射光の偏光方向と、コーン中心（ｃｏｎｅ半角）の方向を調整するために１／２波長板を用いる場合、波長特性の影響が強く出る場合がある。

ここでは、複数の回折光のうち干渉縞の形成に用いる回折光の強度を調整（設定）する手法について説明する。本実施形態では、光変調器４１（図３参照）に入射する照明光Ｌ１の偏光方向と、光変調器４１の液晶層４４（図２参照）のコーン中心との角度を調整することにより、回折光の強度を調整する。光変調器４１における液晶層４４のコーン中心は、例えば、光変調器４１に設けられる配向膜（図示せず）にラビング処理などの表面処理を施しておくことにより、予め調整されている。ここでは、光変調器４１の向きにより、光変調器４１に入射する照明光Ｌ１の偏光方向と、光変調器４１の液晶層４４のコーン中心との角度を調整する。

図１４は、光変調器４１の向きと、偏光分離素子１２から出射する照明光Ｌ３との関係を示す説明図である（偏光分離素子１２、光変調器４１、照明光Ｌ１から照明光Ｌ３については、適宜、図３）。図１４（Ａ）には、光変調器４１における液晶層４４の液晶分子のコーン中心（図中符号５１で表す）の方向が光変調器４１に入射する照明光Ｌ１の偏光方向（Ｘ方向）と平行である場合を示した。また、図１４（Ｂ）には、コーン中心５１の方向が光変調器４１に入射する照明光Ｌ１の偏光方向と角度α（α＞０）をなす場合を示した。

コーン中心５１は、プラス電圧が印加された状態の液晶分子のダイレクタの方向Ｄ５と、マイナス電圧が印加された状態の液晶分子のダイレクタの方向Ｄ６との中心線である。なお、図中の符号θは、ダイレクタの方向Ｄ５と方向Ｄ６との角度（以下、コーン角という）である。

図１４（Ａ）に示すように（左から１つ目の図参照）、偏光分離素子１２から光変調器４１へ向かう照明光Ｌ１の偏光状態は、Ｘ方向の直線偏光である。また、光変調器４１のコーン中心５１（左から２つ目の図参照）の方向は、照明光Ｌ１の偏光方向（Ｘ方向）と平行に設定されている。まず、プラス電圧が印加された状態について説明する。プラス電圧が印加された画素において、ダイレクタの方向Ｄ５と照明光Ｌ１の偏光方向（Ｘ方向）との角度は反時計回りを正としてθ／２である。プラス電圧が印加された画素を通った照明光Ｌ２（左から３つ目の上図参照）の偏光方向とＸ方向との角度は、反時計回りを正としてθである。この照明光Ｌ２のうち偏光分離膜１２ａ（図３参照）で反射した照明光Ｌ３は、照明光Ｌ２のうちＹ方向の直線偏光であり、その偏光方向とＸ方向との角度は、反時計回りを正として＋π／２である。次に、マイナス電圧が印加された状態について説明する。マイナス電圧が印加された画素において、ダイレクタの方向Ｄ６と照明光Ｌ１の偏光方向（Ｘ方向）との角度は反時計回りを正として−θ／２である。マイナス電圧が印加された画素を通った照明光Ｌ２（左から３つ目の下図参照）の偏光方向とＸ方向との角度は、反時計回りを正として−θである。この照明光Ｌ２のうち偏光分離膜１２ａを透過した照明光Ｌ３は、照明光Ｌ２のうちＹ方向の直線偏光であり、その偏光方向とＸ方向との角度は、反時計回りを正として−π／２である。このようにコーン中心５１の方向が、光変調器４１に入射する照明光Ｌ１の偏光方向と平行である場合、光変調器４１および偏光分離素子１２は、位相差πの位相差型回折格子として機能する。

次に、コーン中心５１の方向が、光変調器４１に入射する照明光Ｌ１の偏光方向と非平行である場合について説明する。図１４（Ｂ）に示すように（左から１つ目の図参照）、入射する光Ｌ１の偏光状態は、Ｘ方向の直線偏光である。また、コーン中心５１（左から２つ目の図参照）の方向と、照明光Ｌ１の偏光方向（Ｘ方向）との角度は、反時計回りを正としてαである。まず、プラス電圧が印加された状態について説明する。プラス電圧が印加された画素において、ダイレクタの方向Ｄ５と照明光Ｌ１の偏光方向（Ｘ方向）との角度は反時計回りを正としてθ／２＋αである。プラス電圧が印加された画素を通った照明光Ｌ２（左から３つ目の上図参照）の偏光方向とＸ方向との角度は、反時計回りを正としてθ＋２αである。この照明光Ｌ２のうち偏光分離膜１２ａを透過した照明光Ｌ３は、照明光Ｌ２のうちＹ方向の直線偏光であり、その偏光方向とＸ方向との角度は、反時計回りを正として＋π／２である。次に、マイナス電圧が印加された状態について説明する。マイナス電圧が印加された画素において、ダイレクタの方向Ｄ６と照明光Ｌ１の偏光方向（Ｘ方向）との角度は反時計回りを正として−θ／２＋αである。マイナス電圧が印加された画素を通った照明光Ｌ２（左から３つ目の下図参照）の偏光方向とＸ方向との角度は、反時計回りを正として−θ＋２αである。この照明光Ｌ２のうち偏光分離膜１２ａを透過した照明光Ｌ３は、照明光Ｌ２のうちＹ方向の直線偏光であり、その偏光方向とＸ方向との角度は、反時計回りを正として−π／２である。光変調器４１をαだけ傾けた場合、偏光分離素子１２から出射する照明光Ｌ３の強度（図１４（Ｂ）左から４つ目の上下図において矢印の大きさで示す）は、プラス電圧が印加された状態（上図）において、マイナス電圧が印加された状態（下図）と比較して強くなる。このようにコーン中心５１の方向が、光変調器４１に入射する照明光Ｌ１の偏光方向と非平行である場合、光変調器４１および偏光分離素子１２（図３参照）は、位相差πの位相差型回折格子として機能し、かつ振幅型回折格子として機能する。そのため、例えば、０次回折光の強度が光変調器４１の向き（例、角度α）に応じた強度になり、０次回折光と１次回折光との強度比を調整（設定）することができる。

図１５は、干渉縞の例を示す図である。図１５（Ａ）は、例えば図１４（Ａ）に対応する干渉縞であり、図１５（Ｂ）は、例えば図１４（Ｂ）に対応する干渉縞である。図１５（Ａ）、図１５（Ｂ）には、それぞれ、縞方位（ライン方向）を３通りに変化させた際のそれぞれの干渉縞を示した。図１５（Ｂ）において符号５２は、撮像装置３（図１０参照）の視野を示す。上述のように光変調器４１の向きを角度αだけ変更すると、干渉縞の縞方位が角度αだけ変化する。そのため、撮像装置３の視野内において、干渉縞の縞方位が変化する。

ところで、光変調器４１の画素は、有限のサイズを有するので、表示する電圧パターンの配列方向やその周期によって必ずしも理想的な縞パターンを表示できるとは限らない。例えば、光変調器４１の画素の配列方向に回折光が発生するような向きの電圧パターンであれば、周期は必ず整数となるため、所望の周期の電圧パターンを表示することが困難となる場合がある。従って、複数の構造化照明に対応する回折光の向きがどれも光変調器４１の画素の配列方向とは異なるように、光変調器４１の向きをその面内で回転させておくことが望ましい。あるいは、光変調器４１に対して撮像素子を受光面内で回転させることで相対的に光変調器４１を回転させてもよい。

なお、図３などでは、光源２０からの照明光Ｌ１のうち偏光分離膜１２ａを透過した照明光Ｌ１が光変調器４１に入射する構成であるが、光源２０からの照明光Ｌ１のうち偏光分離膜１２ａを反射した照明光が光変調器４１に入射する構成でもよい。この場合、照明光Ｌ１の偏光状態を、偏光分離膜１２ａに対するＳ偏光にしておくとよい。また、光変調器４１から出射する照明光のうち、偏光分離膜１２ａで透過した照明光（偏光分離膜１２ａに対するＰ偏光）を、試料Ｓへ照射すればよい。

なお、本発明の技術範囲は、上記の実施形態あるいは変形例に限定されるものではない。例えば、上記の実施形態あるいは変形例で説明した要件の１つ以上は、省略されることがある。また、上記の実施形態あるいは変形例で説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。

１ 構造化照明顕微鏡、２ 構造化照明装置、３ 撮像装置、Ｘ 標本
１３ 分岐部、１５ 制御部、４１ 光変調器、４２ 第１基板、４３ 第２基板
４５ 対向電極、４７ 画素電極、ＶＰａ〜ＶＰｆ 電圧パターン

Claims (13)

1. 複数の画素電極が設けられた基板と、電子光学素子とを含む光変調器と、
   前記光変調器から射出された複数の光束の少なくとも一部により形成される干渉縞によって標本を照明する照明光学系と、
   前記干渉縞が照射された前記標本の像を撮像して画像を生成する撮像装置と、
   前記撮像装置により生成された画像を複数用いて、前記標本の画像を生成する復調部と、
   制御部と、を備える構造化照明顕微鏡であって、
   前記制御部は、前記撮像装置が前記像を撮像する第１フレーム期間において前記複数の画素電極の少なくとも一部に第１電圧パターンを印加し、前記像を撮像する第２フレーム期間において前記第１電圧パターンに対して反転した第２電圧パターンを印加し、
   前記復調部は、少なくとも、前記第１フレーム期間で撮像された画像と、前記第２フレーム期間で撮像された画像とを用いて、復調処理を行う、
   構造化照明顕微鏡。
2. 前記第２フレーム期間は、前記第１フレーム期間の次のフレーム期間である、
   請求項１に記載の構造化照明顕微鏡。
3. 前記制御部は、前記干渉縞の位相が２π／Ｎ＋１（Ｎは奇数）シフトした複数の干渉縞が生成されるように、複数の電圧パターンを印加し、
   前記撮像装置は、前記干渉縞の位相が異なる少なくともＮ枚の画像を撮像し、
   前記復調部は、少なくとも前記Ｎ枚の画像を用いて復調処理を行う、
   請求項１または請求項２に記載の構造化照明顕微鏡。
4. 前記撮像装置は、干渉縞の位相が異なるＮ＋１枚の画像を撮像し、
   前記復調部は、前記Ｎ＋１枚の画像を用いて復調処理を行う、
   請求項３に記載の構造化照明顕微鏡。
5. Ｎ＝５である、ことを特徴とする
   請求項３または請求項４に記載の構造化照明顕微鏡。
6. 前記複数の電圧パターンは、第１電圧パターン群と、第２電圧パターン群とを有し、前記第１電圧パターン群に含まれる電圧パターンは、前記第２電圧パターン群に含まれる電圧パターンの反転パターンである、
   請求項３から請求項５のいずれか１項に記載の構造化照明顕微鏡。
7. 前記照明光学系は、前記第１電圧パターンにより駆動される前記光変調器によって分岐した回折光により第１干渉縞を形成し、前記第２電圧パターンにより駆動される前記光変調器によって分岐した回折光により、前記第１干渉縞と位相がπずれた第２干渉縞を形成する、
   請求項１から請求項６のいずれか１項に記載の構造化照明顕微鏡。
8. 前記照明光学系は、前記干渉縞を、０次回折光と１次回折光との干渉により形成して、前記標本を照明する、
   請求項１から請求項７のいずれか１項に記載の構造化照明顕微鏡。
9. 前記電子光学素子は、液晶である、
   請求項１から請求項８のいずれか１項に記載の構造化照明顕微鏡。
10. 前記電子光学素子は、強誘電性液晶である、
    請求項１から請求項９のいずれか１項に記載の構造化照明顕微鏡。
11. 前記干渉縞が照射された前記標本の像を形成する結像光学系を備える、
    請求項１から請求項１０のいずれか１項に記載の構造化照明顕微鏡。
12. 複数の画素電極が設けられた基板と、電子光学素子とを含む光変調器によって、光源からの光を複数の回折光に分岐することと、
    前記複数の回折光のうち少なくとも一部により形成される干渉縞によって標本を照明することと、
    前記干渉縞が照射された前記標本の像を撮像することと、
    前記撮像された画像を複数用いて、復調処理を行うことと、
    前記像を撮像する第１フレーム期間において前記複数の画素電極の少なくとも一部に第１電圧パターンを印加し、前記像を撮像する第２フレーム期間において前記第１電圧パターンに対して反転した第２電圧パターンを印加することと、
    少なくとも、前記第１フレーム期間で撮像された画像と、前記第２フレーム期間で撮像された画像を用いて、復調処理を行うことと、を含む観察方法。
13. 複数の画素電極が設けられた基板と、電子光学素子とを含む光変調器によって、光源からの光を複数の回折光に分岐することと、
    前記複数の回折光のうち少なくとも一部により形成される干渉縞によって標本を照明することと、
    前記干渉縞が照射された前記標本の像を撮像することと、
    前記撮像された画像を複数用いて、復調処理を行うことと、
    前記像を撮像する第１フレーム期間において前記複数の画素電極の少なくとも一部に第１電圧パターンを印加し、前記像を撮像する第２フレーム期間において前記第１電圧パターンに対して反転した第２電圧パターンを印加することと、
    少なくとも、前記第１フレーム期間で撮像された画像と、前記第２フレーム期間で撮像された画像を用いて、復調処理を行うことと、をコンピュータに実行させる顕微鏡制御プログラム。

Images