[第1実施形態]
以下、本発明の第1実施形態として構造化照明顕微鏡装置(SIM:Structured Illumination Microscopy)を説明する。
図1は、構造化照明顕微鏡装置1の構成図である。以下では構造化照明顕微鏡装置1を3D−SIMモードで使用する場合を主として説明する。図1に示すとおり構造化照明顕微鏡装置1には、レーザユニット100と、光ファイバ11と、照明光学系10と、結像光学系30と、撮像素子35と、制御装置39と、画像記憶・演算装置40と、画像表示装置45とが備えられる。このうち、照明光学系10と結像光学系30とは、対物レンズ6及びダイクロイックミラー7を共用している。
レーザユニット100には、第1レーザ光源101、第2レーザ光源102、シャッタ1031、1032、ミラー105、ダイクロイックミラー106、レンズ107が備えられる。第1レーザ光源101及び第2レーザ光源102の各々は可干渉光源であって、互いの出射波長は異なる。ここでは、第1レーザ光源101の波長λ1は、第2レーザ光源102の波長λ2よりも長いと仮定する(λ1>λ2)。これらの第1レーザ光源101、第2レーザ光源102、シャッタ1031、1032は、それぞれ制御装置39によって駆動・制御される。
光ファイバ11は、レーザユニット100から射出したレーザ光を導光するために、例えば、偏波面保存型のシングルモードファイバによって構成される。光ファイバ11の出射端の光軸AZ方向における位置は、位置調整機構11Aによって調節可能である。この位置調整機構11Aは、制御装置39によって駆動・制御される。なお、位置調整機構11Aとしては、例えば、ピエゾ素子等が用いられる。
照明光学系10には、光ファイバ11の出射端側から順に、コレクタレンズ12と、偏光板23と、光束分岐部15と、集光レンズ16と、光束選択部24と、レンズ25と、視野絞り26と、フィールドレンズ27と、励起フィルタ28と、ダイクロイックミラー7と、対物レンズ6とが配置される。
光束分岐部15には、位相回折格子として機能する2次元の液晶空間光変調器(SLM:Spatial Light Modulator)13と、液晶駆動回路15Aとが備えられる。このうち液晶駆動回路15Aは、制御装置39によって駆動・制御される。ここで、SLMとは、入射光束に対して空間的に(その光束の空間内で)所定の分布を付与する機能を有した部材のことをいう。
光束選択部24には、0次光シャッタ200と、1/2波長板17と、高次光カット部材18と、回動機構200Aと、波長板駆動回路17Aとが備えられる。このうち回動機構200A、波長板駆動回路17Aは、それぞれ制御装置39によって駆動・制御される。
結像光学系30には、標本5の側から順に、対物レンズ6と、ダイクロイックミラー7と、バリアフィルタ31と、第2対物レンズ32とが配置される。
標本5は、例えば、平行平板状のガラス表面に配置された蛍光性の細胞(蛍光色素で染色された細胞)や、シャーレ内に存在する蛍光性の生体細胞(蛍光色素で染色された動く細胞)などの細胞である。この細胞には、波長λ1の光によって励起される第1蛍光領域と、波長λ2の光によって励起される第2蛍光領域との双方が発現している。第1蛍光領域は、波長λ1の光に応じて中心波長λ1’の第1蛍光を発生させ、第2蛍光領域は、波長λ2の光に応じて中心波長λ2’の第2蛍光を発生させる。
撮像素子35は、CCDやCMOS等からなる二次元撮像素子である。撮像素子35は、制御装置39によって駆動されると、撮像素子35の撮像面36に形成された像を撮像し、画像を生成する。この撮像素子35が生成した画像は、制御装置39を介して画像記憶・演算装置40へ取り込まれる。なお、撮像素子35は、所定のフレーム周期で画像生成(撮像)を繰り返すことが可能である。撮像素子35のフレーム周期(撮像の繰り返し周期)は、例えば、30msec、60msecなどに設定される。撮像素子35のフレーム周期(撮像の繰り返し周期)は、撮像素子の撮像時間(すなわち電荷蓄積及び電荷読出に要する時間)、干渉縞の方向切り換えに要する時間、その他の所要時間のうち、律速によって定められる。
制御装置39は、第1レーザ光源101、第2レーザ光源102、シャッタ1031、1032、位置調整機構11A、液晶駆動回路15A、回動機構200A、波長板駆動回路17A、撮像素子35を駆動・制御する。
画像記憶・演算装置40は、撮像素子35が生成した画像に対して復調演算を施して超解像画像を生成すると、その超解像画像を不図示の内部メモリに格納すると共に、画像表示装置45へ送出する。
次に、構造化照明顕微鏡装置1におけるレーザ光の振る舞いを説明する。
第1レーザ光源101から射出した波長λ1のレーザ光(第1レーザ光)は、シャッタ1031を介してミラー105へ入射すると、ミラー105を反射し、ダイクロイックミラー106へ入射する。一方、第2レーザ光源102から射出した波長λ2のレーザ光(第2レーザ光)は、シャッタ1032を介してビームスプリッタ106へ入射し、第1レーザ光と統合される。ダイクロイックミラー106から射出した第1レーザ光及び第2レーザ光は、レンズ107を介して光ファイバ11の入射端に入射する。
なお、制御装置39は、第1レーザ光源101、第2レーザ光源102、シャッタ1031、1032を制御することにより、レーザユニット100の出射波長、すなわち構造化照明顕微鏡装置1の光源波長λを、長い波長λ1と短い波長λ2との間で切り換えることができる。
光ファイバ11の入射端に入射したレーザ光は、光ファイバ11の内部を伝搬して光ファイバ11の出射端に点光源を生成する。その点光源から射出したレーザ光は、コレクタレンズ12によって平行光束に変換され、偏光板23を介してSLM13へ入射すると、各次数の回折光束(以下、「回折光束群」と称す。)に分岐される(詳細は後述)。この回折光束群に含まれる各次数の回折光束は、集光レンズ16に入射すると、集光レンズ16の集光作用を受けて瞳共役面6A’の各位置に集光する。
ここで、瞳共役面6A’は、フィールドレンズ27及びレンズ25に関して対物レンズ6の瞳面6A(各次数の回折光束が個別に集光する位置)と共役な位置のことである。集光レンズ16は、集光レンズ16の焦点位置(後ろ側焦点位置)が瞳共役面6A’と一致するように配置されている。但し、ここでいう「共役な位置」の概念には、当業者が対物レンズ6、フィールドレンズ27、レンズ25の収差、ビネッティング等の設計上必要な事項を考慮して決定した位置も含まれるものとする。
なお、光ファイバ11として偏波面保存型のシングルモードファイバを使用した場合、偏光板23は省略することも可能であるが、余分な偏光成分を確実にカットするために有効である。また、レーザ光の利用効率を高めるため、偏光板23の軸は、光ファイバ11から射出したレーザ光の偏光方向に一致していることが望ましい。因みに、光ファイバ11としてマルチモードファイバを使用した場合、偏光板23は必須である。また、SLM13を回折格子として利用する場合は、SLM13に入射する光束の偏光方向を、適切な方向に設定しておく必要がある。
さて、瞳共役面6A’に向かった回折光束群は、瞳共役面6A’の近傍に配置された光束選択部24へ入射する。
構造化照明顕微鏡装置1が3D−SIMモードで使用される場合、光束選択部24は、入射した回折光束群のうち3つの回折光束のみ(0次回折光束及び±1次回折光束のみ)を選択的に通過させる。なお、光束選択部24の0次光シャッタ200には、0次回折光束を必要に応じてオン/オフする機能があり、光束選択部24の高次光カット部材18には、2次以上の高次回折光束を常時遮光する機能がある(詳細は後述)。
光束選択部24を通過した0次回折光束及び±1次回折光束は、レンズ25によって視野絞り26付近でSLM13と共役な面を形成する。その後、0次回折光束及び±1次回折光束の各々は、フィールドレンズ27により収束光に変換され、さらに励起フィルタ28を経てからダイクロイックミラー7で反射し、対物レンズ6の瞳面6A上の互いに異なる位置に集光する。
瞳面6A上に集光した0次回折光束及び±1次回折光束の各々は、対物レンズ6の先端から射出される際には平行光束となり、標本5の表面で互いに干渉し、干渉縞を形成する。この干渉縞が、構造化照明光として使用される。
このような干渉縞により標本5を照明すると、標本5が空間変調され、干渉縞の周期構造と標本5における蛍光領域の周期構造との差に相当するモアレ縞が現れるが、このモアレ縞においては、蛍光領域における高周波数の構造が元の周波数より低周波数側にシフトしているため、この構造を示す蛍光は、元の角度よりも小さい角度で対物レンズ6へ向かうことになる。よって、干渉縞により標本5を照明すると、蛍光領域の高周波数の構造情報までもが対物レンズ6によって伝達される。
標本5で発生した蛍光は、対物レンズ6に入射すると、対物レンズ6で平行光に変換された後、ダイクロイックミラー7及びバリアフィルタ31を透過し、第2対物レンズ32を介して撮像素子35の撮像面36上に蛍光領域の変調像を形成する。その変調像は、撮像素子35によって画像化され、変調画像が生成される。その変調画像は、制御装置39を介して画像記憶・演算装置40へと取り込まれる。さらに、その変調画像には、画像記憶・演算装置40において復調演算が施され、蛍光領域の復調画像(超解像画像)が生成される。そして、この超解像画像は、画像記憶・演算装置40の内部メモリ(図示せず)に記憶されるとともに、画像表示装置45へと送出される。なお、復調演算としては、例えば、米国特許8115806号明細書に開示された方法が用いられる。
次に、SLM13を詳しく説明する。
図2(A)は、SLM13の一部を拡大した模式図である。図2(A)に示すとおりSLM13は反射型空間光変調器であり、画素回路を二次元配置したCMOSなどの回路層13cと、ネマティック液晶などからなる液晶層13aと、波長λ1、λ2の光に対して透明な保護層13bとを順に積層してなる。つまり、SLM13は、互いに直交する2方向の各々に亘って液晶素子からなる画素を密に配列した二次元液晶部材を含んでいる。このSLM13は、入射光束に対して保護層13bの側を向けており、その保護層13bの表面(入射面)の法線は、入射光束の主光線に対して例えば45°の角度を成す。
なお、SLMの構成は、正反射で使用される構成であっても良い。その場合は、ハーフミラーや偏光ビームスプリッタ、さらには波長板の組み合わせにより、SLMに対する入射光とSLMからの反射光とを空間的に分離することが望ましい。
回路層13cの各画素回路に電圧が印加されると、液晶層13aの各画素(Pixel)の配向が変化し、各画素の屈折率が変化する。液晶層13aの各画素の屈折率が変化すると、液晶層13aの各画素で反射する光の位相遅延量が変化する。
よって、回路層13cの各画素回路へ印加される電圧値を制御すれば、SLM13に対する入射光束の位相分布を制御することができる。なお、SLM13に対する入射光束の振幅分布及び偏光方向分布は何ら変化しない。
このような反射型空間光変調器としては、例えば、浜松ホトニクス社のX10468、HOLOEYE社のLC−R720などを適用することができる。また、ここではSLM13として反射型空間光変調器を使用したが、透過型空間光変調器を使用してもよい。また、ここでは光の変調方式として液晶方式を利用したが、光路の屈折率が可変の他の方式を利用してもよい。
さて、前述した液晶駆動回路15A(図1参照)は、制御装置39(図1参照)の制御下で、液晶相13aの屈折率分布を一方向に亘って周期的な分布に設定する。これによって、例えば図2(B)に示すような1方向位相回折格子がSLM13に表示される。入射光束を回折光束群に分岐するのは、この位相回折格子の働きである。
なお、SLM13に表示された位相回折格子の格子パターンは、実際には目視することはできない。但し、以下では説明の都合上、位相回折格子の格子パターンを可視化する。また、SLM13のうち少なくとも有効な光束の入射する領域の位相遅延量分布が周期的な分布に設定されることを「SLM13に位相回折格子が表示される」などと表現する。
図2(B)は、SLM13に表示された位相回折格子を標本側から見た模式図である。図2(B)では、相対的に屈折率の低い画素領域13A(位相遅延量の相対的に小さな画素領域)を白色で表し、相対的に屈折率の高い画素領域13B(位相遅延量の相対的に大きい画素領域)をグレーで表した。また、図2(B)では、位相回折格子の格子周期(構造周期)Pを実際よりも大きく描いた。
ここでは、相対的に屈折率の低い画素領域13Aに付与する位相遅延量は領域内で一定値であり、相対的に屈折率の高い画素領域13Bに付与する位相遅延量は領域内で一定値である。この場合、SLMは、矩形型の凹凸の回折格子と同じになる。
なお、SLMの位相遅延量分布のパターンは、SLMの各画素領域の境界領域のみにアンチエイリアスを施したようなパターンであっても良い。この場合も、SLMは上記矩形型の概念に含まれる。
但し、これに限定されず、SLMにおける位相遅延量の分布を、正弦波状の分布としてもよい。
具体的には、相対的に屈折率の低い画素領域13Aの位相遅延量は、正弦波状に分布する値であって、最小値を含むように設定されてもよく、相対的に屈折率の高い画素領域13Bの位相遅延量は、正弦波状に分布する値であって、最大値を含むように設定されてもよい。
なお、画像領域13A、13Bの位相遅延量分布を形成するために、複数の画素の値をつなげる場合は、局所的にみると、正弦波状の分布は不連続であるが、SLMの全体として、正弦波状に分布しているとみなせればよい。
ここで、画素領域13Aの位相遅延量、及び画素領域13Bの位相遅延量が、それぞれ一定値であり、互いに値が異なる場合(以下、矩形波モード)と、画素領域13Aの位相遅延量が正弦波状に分布する値であって、最大値を含み、画素領域13Bの位相遅延量が正弦波状に分布する値であって、最小値を含む場合(以下、正弦波モード)との違いは、以下のとおりである。
0次回折光束の強度と+1次回折光束の強度と−1次回折光束の強度との比が例えば0.7:1:1になるように第1の位相遅延量と第2の位相遅延量とを設定する場合、位相遅延量の分布形状に起因して第1の位相遅延量と第2の位相遅延量との差は、正弦波モードに比べて矩形波モードの方が小さくなる。
また、相対的に屈折率の低い画素領域13Aの位相遅延量は、逆台形状(上辺が長く、下辺が短い)に分布する値であって、下辺が最小値になるように設定し、相対的に屈折率の高い画素領域13Bの位相遅延量は、台形状(上辺が短く、下辺が長い)に分布する値であって、上辺が最大値になるように設定すればよい。さらに、台形(逆台形)の場合は、上辺と下辺を結ぶ線は通常直線であるが、直線を曲線に変更しても台形(逆台形)とみなす。
このSLM13へ入射した光束は、位相回折格子の周期構造の方向Vにかけて分岐した回折光束群に変換される。この回折光束群には、0次回折光束及び±1次回折光束が含まれ、このうち互いの次数が共通である±1次回折光束は、光軸AZに関して対称な方向に進行し、0次回折光束は、光軸AZに沿って進行する。これらの0次回折光束及び±1次回折光束は、瞳共役面6A’の互いに異なる位置に集光する。図2(C)に示すとおり、0次回折光束の集光点14aは、光軸AZ上に位置し、±1次回折光束の集光点14b、14cは、光軸AZに関して対称となり、これら集光点14c、14a、14bの配列方向は、回折光束群の分岐方向Vと同じになる。
なお、ここでいう「集光点」とは、最高強度の8割以上の強度を有する領域の重心位置のことである。そのため、本実施形態の照明光学系10は、完全な集光点が形成されるまで光束を集光する必要はない。
また、位相回折格子の構造周期Pは、±1次回折光束の各々の集光点14b、14cが瞳共役面6A’の概ね最外周に位置するような適正値P0に設定されている。この適正値P0によると、干渉縞(図2(D))の縞周期が適度に小さくなる(なお、図2(D)では、構造周期Pを実際よりも大きく描いた。)。
また、本実施形態では、後述する式(1)に基づいて、位相回折格子の屈折率差Δn、すなわち、画素領域13Aの屈折率と画素領域13Bの屈折率との差は、位相回折格子から射出する0次回折光束の強度と+1次回折光束の強度と−1次回折光束の強度との比が、例えば0.7:1:1となるような適正値Δn0に設定されている。この適正値Δn0によると、復調画像(超解像画像)のコントラストが最適となる(詳細は、後述する。)。
この理由は以下の通りである。
すなわち、0次回折光と1次回折光との強度比を1:1とした場合、3光束干渉による構造化照明を利用した3D−SIMモードにおける2次のOTFのフーリエスペクトルの大きさが、2光束干渉による構造化照明を利用した2D−SIMモードにおける2次のOTFのフーリエスペクトルよりも低下してしまうためである。その理由は、3D−SIMモードにおいては、0次回折光及び+1次回折光の干渉縞、0次回折光及び+1次回折光の干渉縞に起因する1次のOTFが生成され、そのために2次のOTFの大きさが低下してしまうことにある。ここで、2次のOTFとは、+1次回折光及び−1次回折光の干渉縞に起因するOTFを意味する。
したがって、復調画像(超解像画像)の高周波成分のコントラストを向上させるには、0次回折光束の強度を、±1次回折光束の強度より低くする必要がある。
さらに、前述した液晶駆動回路15Aは、制御装置39(図1参照)の制御下で、液晶層13aの屈折率分布を切り換えることにより、位相回折格子の表示方向を例えば図3(A1)→図3(A2)→図3(A3)に示すとおり60°の角度周期で3通りに切り換える。
図3(A1)に示すとおり位相回折格子の周期構造の方向がV1であるとき、図3(B1)に示すとおり瞳共役面6A’における集光点14c、14a、14bの配列方向は、方向V1と同じになる。
因みに、光ファイバ11から射出するレーザ光の波長をλ、SLM13の格子周期をP、レンズ16の焦点距離をfcとすると、光軸AZから集光点14b、14cまでの距離Dは下記の式で表される。
D∝2fcλ/P
図3(A2)に示すとおり位相回折格子の周期構造の方向がV2であるとき、図3(B2)に示すとおり瞳共役面6A’における集光点14c、14a、14bの配列方向は、方向V2と同じになる。なお、集光点14c、14bから光軸AZまでの距離は、周期構造の方向がV1であるときの距離(図3(B1)参照)と同じである。
図3(A3)に示すとおり位相回折格子の周期構造の方向がV3であるとき、図3(C3)に示すとおり瞳共役面6A’における集光点14c、14a、14bの配列方向は、方向V3と同じになる。なお、集光点14c、14bから光軸AZまでの距離は、周期構造の方向がV1であるときの距離(図3(B1)参照)と同じである。
したがって、本実施形態の液晶駆動回路15Aは、標本5に形成される干渉縞の方向を、図3(C1)→図3(C2)→図3(C3)に示すとおり、60°の角度周期で3通りに切り換えることができる。しかも、本実施形態では、位相回折格子としてSLM13を使用したので、干渉縞の方向切り換えは高速に行われる。
次に、0次光シャッタ200を詳しく説明する。
図4(A)は、0次光シャッタ200を説明する図である。図4(A)に示すとおり0次光シャッタ200は、円形の透明基板の一部に円形の遮光部200Cを形成してなる空間フィルタである。
0次光シャッタ200の遮光部200Cは、0次回折光束の光路(集光点14a)をカバーし、0次光シャッッタ200の非遮光部(透過部200B)は、±1次回折光束の光路となりうる領域(すなわち集光点14b、14cの形成されうる領域)の全体をカバーする。
この0次光シャッタ200は、前述した回動機構200A(図1参照)により、照明光学系10の光軸AZと平行、かつその光軸AZから離れた直線(軸AR)の周りに回動可能である。
なお、 回動機構200Aには、例えば、0次光シャッタ200を保持し、かつ軸ARの周りに回転可能な不図示の回動軸と、その回動軸へ回転力を与える不図示のモータ(回転モータ)とが備えられる。このモータが駆動されると、回転軸が回転し、0次光シャッタ200が軸ARの周りに回転する。
0次光シャッタ200の回動角が図4に示した基準角度(0°)に設定されると、遮光部200Cが0次回折光束の光路(集光点14a)に挿入され、0次光シャッタ200の回動角が基準角度から外れた所定角度(例えば30°)に設定されると、遮光部200Cが0次回折光束の光路(集光点14a)から外れる。
したがって、0次光シャッタ200の回動角を基準角度(0°)と所定角度(30°)との間で切り換えれば、±1次回折光束をオンしたまま0次回折光束をオン/オフすることができる。なお、図4(A)は0次回折光束がオフされた状態を示しており、図1は、0次回折光束がオンされた状態を示している。因みに、0次回折光束がオフされると構造化照明顕微鏡装置1が2D−SIMモードに設定され、0次回折光束がオンされると構造化照明顕微鏡装置1が3D−SIMモードに設定される。
なお、0次光シャッタ200の回動角が基準角度(0°)、所定角度(30°)の何れである場合にも、0次光シャッタ200の遮光部200Cは、±1次回折光束の光路となりうる領域(すなわち集光点14b、14cの形成されうる領域)を遮ることは無いものとする。
また、ここでは0次光シャッタ200を回動可能な空間フィルタとしたが、スライド可能な空間フィルタや、固定配置された液晶素子などで0次光シャッタ200を構成してもよい。液晶素子の配向を電気的に制御すれば、液晶素子の屈折率異方性を制御することができるので、液晶素子を0次光シャッタ200として機能させることができる。
次に、高次光カット部材18を詳しく説明する。
図4(B)は、高次光カット部材18を説明する図である。図4(B)に示すとおり高次光カット部材18は、円形の不透明基板(マスク用基板)に、円形の開口部18aと輪帯状の開口部18bとを形成してなる空間フィルタである。
高次光カット部材18において円形の開口部18aは、0次回折光束の光路(集光点14a)をカバーしており、輪帯状の開口部18bは、±1次回折光束の光路となりうる領域(すなわち集光点14b、14cの形成されうる領域)をカバーしている。また、高次光カット部材18において2次以降の高次回折光束の光路となりうる領域は、遮光部(非開口部)となっている。
なお、SLM13で発生する2次以降の高次回折光束の強度が十分に弱い場合には、高次光カット部材18を省略してもよい。
次に、1/2波長板17(図1参照)の機能を詳しく説明する。
1/2波長板17(図1参照)は、干渉縞に寄与する回折光束群の偏光状態をS偏光に維持するために使用される。その回折光束群の偏光状態がS偏光であるときに干渉縞のコントラストが最大となるからである。
図5(A)に示すとおり回折光束群の分岐方向がV1であるときには、回折光束群の偏光方向は、図5(A)に点線矢印で示した方向V1’とされるべきである。この方向V1’は、方向V1を光軸AZの周りに90°だけ回転させた方向である。
図5(B)に示すとおり回折光束群の分岐方向がV2であるときには、回折光束群の偏光方向は、図5(B)に点線矢印で示した方向V2’とされるべきである。この方向V2’は、方向V2を光軸AZの周りに90°だけ回転させた方向である。
図5(C)に示すとおり回折光束群の分岐方向がV3であるときには、回折光束群の偏光方向は、図5(C)に点線矢印で示した方向V3’とされるべきである。この方向V3’は、方向V3を光軸AZの周りに90°だけ回転させた方向である。
そこで、本実施形態では、SLM13の上流側に配置された偏光板23の軸方向を、方向V2’に予め一致させておき、SLM13の下流側に配置された1/2波長板17の進相軸の方向を、波長板駆動回路17A(図1参照)によって適宜に光軸AZの周りに回動させる。なお、1/2波長板17の進相軸とは、その軸の方向に偏光した光が1/2波長板17を通過するときの位相遅延量が最小となるような方向のことである。
また、本実施形態では、回折光束群の分岐方向の切り換えがSLM13によって高速化されたので、その高速化の効果が損なれないよう、1/2波長板17も液晶素子で構成されたと仮定する。この液晶素子の配向を波長板駆動回路17A(図1参照)が電気的に制御すれば、1/2波長板17の進相軸の方向が高速に切り換わる。
図5(A)に示すとおり回折光束群の分岐方向がV1であるとき、1/2波長板17の進相軸の方向は、図5(A)に実線の両矢印で示す方向に設定される。この方向は、1/2波長板17へ入射する回折光束群が有している偏光方向V2’と、1/2波長板17から射出する回折光束群が有しているべき偏光方向V1’とを二等分する方向である。
図5(B)に示すとおり回折光束群の分岐方向がV2であるとき、1/2波長板17の進相軸の方向は、図5(B)に実線の両矢印で示す方向に設定される。この方向は、1/2波長板17へ入射する回折光束群が有している偏光方向V2’と、1/2波長板17から射出する回折光束群が有しているべき偏光方向V2’とを二等分する方向(=V2’)である。
図5(C)に示すとおり回折光束群の分岐方向がV3であるとき、1/2波長板17の進相軸の方向は、図5(C)に実線の両矢印で示す方向に設定される。この方向は、1/2波長板17へ入射する回折光束群が有している偏光方向V2’と、1/2波長板17から射出する回折光束群が有しているべき偏光方向V3’とを二等分する方向である。
なお、ここでは、干渉縞に寄与する回折光束群をS偏光に保つために液晶素子からなる1/2波長板17を使用したが、干渉縞に寄与する回折光束群をS偏光に保つための方法は他にもある(後述)。
次に、干渉縞の位相シフトに関する液晶駆動回路15A(図1参照)の動作を詳しく説明する。
上述した復調演算には、例えば、同一の標本5かつ同一方向の干渉縞に関する変調画像であって、干渉縞の位相の異なる複数枚の変調画像(例えば5枚の変調画像)が必要である。なぜなら、構造化照明顕微鏡装置1が生成する変調画像には、標本5の蛍光領域の構造のうち、干渉縞により空間周波数の変調された構造情報である0次変調成分、+1次変調成分、−1次変調成分、+2次変調成分、−2次変調成分が含まれており、それら5つの未知パラメータを復調演算で既知とする必要があるからである。
そこで、液晶駆動回路15Aは、干渉縞の位相をシフトするために、SLM13における位相回折格子の表示先をシフトさせる。そのシフト方向は、例えば図6に示すとおり位相回折格子の周期構造の方向V(ここではV1、V2、V3の何れか)に対して非垂直な方向(x方向)である。
因みに、干渉縞の位相をφだけシフトさせるために必要な位相回折格子のx方向のシフト量Lは、位相回折格子の構造周期Pと、図6に示した角度θとによって定まる。この角度θは、位相回折格子のシフト方向(x方向)と周期構造の方向V(ここではV1、V2、V3の何れか)とが成す角度である。また、復調演算に必要な干渉縞の位相数がNである場合、位相シフト周期φは例えば2π/Nに設定される。
次に、光源波長λの切り換えに関する液晶駆動回路15A(図1参照)の動作を詳しく説明する。
干渉縞に寄与する0次回折光束と±1次回折光束との強度比は、基本的に、SLM13に表示された位相回折格子の位相差Φに依存する。位相回折格子の位相差Φとは、SLM13の入射光束に対して画素領域13Aが与える位相遅延量と画素領域13Bが与える位相遅延量との差のことである。
ここで、位相回折格子の位相差Φと位相回折格子で発生する各次数の回折強度との関係は、図7に示すとおりである。なお、ここでいう「回折強度」は、位相回折格子に対する入射光束の強度が「1」であるときに発生する回折光束の強度のことを指す。
図7によると、位相差Φ=0においては0次回折光束のみが発生し、他の次数の回折光束は発生しないことがわかる。
また、図7によると、位相差Φ=2[rad](曲線が交わっている箇所)においては0次回折光束、+1次回折光束、−1次回折光束の強度比は、1:1:1になることがわかる。
また、図7によると、位相差Φ=π≒3[rad]においては0次回折光束が発生せず、±1次回折光束と高次の回折光束とが発生することがわかる。
したがって、図7によると、0次回折光束の強度と+1次回折光束の強度と−1次回折光束の強度との比が例えば0.7:1:1になるような位相差Φは、Φ≒2.2であることがわかる。
なお、図7の曲線は、位相分布が正弦波モードである場合を示している。位相分布が矩形波モードの場合は、0次回折光束の強度と+1次回折光束の強度と−1次回折光束の強度との比を例えば0.7:1:1とするための位相差Φは、位相分布が正弦波モードである場合のそれと比べて小さくなるので、SLMに設定する位相値を変化させる必要がある。
そして、位相回折格子の位相差Φは、位相回折格子の屈折率差Δnによって定まる。位相回折格子の屈折率差Δnとは、SLM13における画素領域13Aの屈折率と画素領域13Bの屈折率と差のことである。
但し、位相回折格子の位相差Φは、位相回折格子の屈折率差Δnだけでなく、入射光束の波長λにも依存する。これを式で表すと、以下の式(1)とおりである。
Φ=2π・Δn・d/λ …(1)
なお、式(1)におけるdは、SLM13の液晶層13aの光軸AZ方向の厚さ(定数)である。
したがって、位相回折格子の屈折率差Δnの適正値Δn0は、光源波長λが長い波長λ1であるときと短い波長λ2であるときとで若干異なる。
そこで、本実施形態では、0次回折光束の強度と+1次回折光束の強度と−1次回折光束の強度との比(強度比)と屈折率差Δnとの関係を波長λごとに示す関数テーブルが制御装置39内の記憶部(不図示)に予め記憶されているものと仮定する。
この場合、制御装置39は、必要な強度比及び使用波長λに応じてこの関数テーブルを参照することにより、屈折率差Δnの適正値Δn0を求めることができる。これによって、液晶駆動回路15AがSLM13へ与えるべき駆動信号(電圧値)の適正値が確定する。
なお、ここでは、必要な強度比及び使用波長λに応じて屈折率差Δnの適正値Δn0を確定するために(つまりSLM13へ与えるべき駆動信号(電圧値)の適正値を確定するために)、「強度比及び使用波長λから屈折率差Δnを求めるための関数テーブル」を使用したが、他のテーブルを使用してもよい。例えば、「強度比から位相差Φを求めるための関数テーブル」と「使用波長λ及び位相差Φから屈折率差Δnを求めるための関数テーブル」との2つを使用してもよい。
また、ここでは、記憶部に格納されるべき情報を関数テーブルとしたが、記憶部に格納されるべき情報の一部又は全部は、関数それ自体であってもよい。例えば、「使用波長λ及び位相差Φから屈折率差Δnを求めるための関数テーブル」の代わりに式(1)を使用してもよい。
但し、関数テーブルを使用した方が、屈折率差Δnの適正値Δn0(ひいてはSLM13へ与えるべき電圧値の適正値)を高速に導出できるので好ましい。
そして、本実施形態の液晶駆動回路15A(図1参照)は、制御装置39(図1参照)の制御下で、SLM13の画素領域13Aに与える電圧値と画素領域13Bに与える電圧値との組み合わせを制御することにより、位相回折格子の屈折率差Δnを適宜に調整する。
具体的に、液晶駆動回路15Aは、光源波長λが長い波長λ1であるときには位相回折格子の屈折率差ΔnをΔn01に設定し、光源波長λが短い波長λ2であるときには位相回折格子の屈折率差ΔnをΔn02に設定する。
但し、Δn01は、光源波長λがλ1であるときに0次回折光束の強度と+1次回折光束の強度と−1次回折光束の強度との比が例えば0.7:1:1となるような適正値である。この適正値Δn01によると、波長λ1の復調画像(超解像画像)のコントラストが最適となる。
一方、Δn02は、光源波長λがλ2であるときに0次回折光束の強度と+1次回折光束の強度と−1次回折光束の強度との比が例えば0.7:1:1となるような適正値である。この適正値Δn02によると、波長λ2の復調画像(超解像画像)のコントラストが最適となる。
したがって、本実施形態では、復調画像(超解像画像)のコントラストは光源波長λに依らず高く維持される。
因みに、Δn01、Δn02の関係は、以下の式(2)で表される。
Δn01/λ1=Δn02/λ2 …(2)
上述したとおりλ1>λ2であるので、Δn01>Δn02である。
次に、波長の異なる2種類の超解像画像に必要なデータの取得手順を説明する。
図8は、制御装置39の動作フローチャートである。以下、図8の各ステップを順に説明する。
ステップS1:制御装置39は、回動機構200Aを介して0次光シャッタ200の回動角を基準角度に設定することにより、構造化照明顕微鏡装置1を3D−SIMモードに設定する。また、制御装置39は、レーザユニット100を介して構造化照明顕微鏡装置1の光源波長λを長い波長λ1に設定する。
ステップS2:制御装置39は、液晶駆動回路15Aを介してSLM13を駆動することによりSLM13へ位相回折格子を表示する。この位相回折格子の屈折率差ΔnはΔn01であり、位相回折格子の周期構造の方向VはV1であり、位相回折格子の構造周期PはP0である。また、制御装置39は、波長板駆動回路17Aを介して1/2波長板17を駆動することにより、1/2波長板17の進相軸を図5(A)における実線両矢印の方向に設定する。
ステップS3:制御装置39は、液晶駆動回路15Aを介してSLM13における位相回折格子の表示先を所定シフト周期でN通りにシフトさせることにより、干渉縞の位相をシフト周期φ=2π/NでN通りにシフトさせ、それらN通りの位相の下でレーザユニット100及び撮像素子35を駆動することにより、N枚の変調画像を取得する。
ステップS4:制御装置39は、液晶駆動回路15Aを介してSLM13を駆動することにより、位相回折格子の周期構造の方向VをV2に切り換えると共に、波長板駆動回路17Aを介して1/2波長板17を駆動することにより、1/2波長板17の進相軸を図5(B)における実線両矢印の方向に切り換えると、ステップS3を実行する。
なお、ステップS4においてSLM13に表示される位相回折格子とステップS2においてSLM13に表示される位相回折格子との間では、屈折率差Δn及び構造周期Pが共通である。
ステップS5:制御装置39は、液晶駆動回路15Aを介してSLM13を駆動することにより、位相回折格子の周期構造の方向VをV3に切り換えると共に、波長板駆動回路17Aを介して1/2波長板17を駆動することにより、1/2波長板17の進相軸を図5(C)における実線両矢印の方向に切り換えると、ステップS3を実行する。
なお、ステップS5においてSLM13に表示される位相回折格子とステップS2においてSLM13に表示される位相回折格子との間では、屈折率差Δn及び構造周期Pが共通である。
ステップS6:制御装置39は、レーザユニット100を介して構造化照明顕微鏡装置1の光源波長λを長い波長λ1から短い波長λ2へと切り換える。
ステップS7:制御装置39は、液晶駆動回路15Aを介してSLM13を駆動することによりSLM13へ位相回折格子を表示する。この位相回折格子の屈折率差ΔnはΔn02であり、位相回折格子の周期構造の方向VはV1であり、位相回折格子の構造周期PはP0である。また、制御装置39は、波長板駆動回路17Aを介して1/2波長板17を駆動することにより、1/2波長板17の進相軸を図5(A)における実線両矢印の方向に切り換える。
ステップS8:制御装置39は、液晶駆動回路15Aを介してSLM13における位相回折格子の表示先を所定シフト周期でN通りにシフトさせることにより、干渉縞の位相をシフト周期φ=2π/NでN通りにシフトさせ、それらN通りの位相の下でレーザユニット100及び撮像素子35を駆動することにより、N枚の変調画像を取得する。
ステップS9:制御装置39は、液晶駆動回路15Aを介してSLM13を駆動することにより、位相回折格子の周期構造の方向VをV2に切り換えると共に、波長板駆動回路17Aを介して1/2波長板17を駆動することにより、1/2波長板17の進相軸を図5(B)における実線両矢印の方向に切り換えると、ステップS8を実行する。
なお、ステップS9においてSLM13に表示される位相回折格子とステップS7においてSLM13に表示される位相回折格子との間では、屈折率差Δn及び構造周期Pが共通である。
ステップS10:制御装置39は、液晶駆動回路15Aを介してSLM13を駆動することにより、位相回折格子の周期構造の方向VをV3に切り換えると共に、波長板駆動回路17Aを介して1/2波長板17を駆動することにより、1/2波長板17の進相軸を図5(C)における実線矢印の方向に切り換えると、ステップS8を実行する。
なお、ステップS10においてSLM13に表示される位相回折格子とステップS7においてSLM13に表示される位相回折格子との間では、屈折率差Δn及び構造周期Pが共通である(以上、ステップS10)。
以上、本実施形態の制御装置39は、SLM13へ表示する位相回折格子の屈折率差Δnを、光源波長λが長いときほど大きく設定する。具体的に、本実施形態の制御装置39は、光源波長λが長い波長λ1であるときには屈折率差Δnを大きな値Δn01に設定し、光源波長λが短い波長λ2であるときには屈折率差Δnを小さな値Δn02に設定する(式(2)を参照。)。
したがって、本実施形態の制御装置39は、光源波長λの切り換えに拘わらず復調画像(超解像画像)のコントラストを維持することができる。
なお、本実施形態の画像記憶・演算装置40は、上記のステップS3〜S5で取得された変調画像(波長λ1で取得された変調画像)に対して3D−SIMモードの復調演算を施すことにより第1蛍光領域の超解像画像を生成し、上記のステップS8〜S10で取得された変調画像(波長λ2で取得された変調画像)に対して3D−SIMモードの復調演算を施すことにより第2蛍光領域の超解像画像を生成する。
上述したとおり本実施形態の制御装置39は、光源波長λの切り換え前後で復調画像(超解像画像)のコントラストを高く維持するので、波長λ1で取得された変調画像と、波長λ2で取得された変調画像との双方の画質が高くなる。
したがって、本実施形態の画像記憶演算装置40は、第1蛍光領域の超解像画像と第2蛍光領域の超解像画像との双方を、高精度に取得することができる。
その結果、本実施形態のユーザは、標本5上の互いに異なる蛍光領域(第1蛍光領域、第2蛍光領域)を正確に比較・評価することができる。
[実施形態の補足]
なお、上述した実施形態の制御装置39は、位相回折格子の屈折率差Δnの調整を光源波長λに応じて行ったが、標本5の種類に応じて行ってもよいし、標本5の種類と光源波長λとの双方に応じて行ってもよい。
なぜなら、復調画像(超解像画像)のコントラストを最適にするために必要な回折光束群の強度比は、標本5の種類(主に標本5の厚さ)によって、上述した強度比(0.7:1:1)から多少外れることもある。
そこで、本実施形態の構造化照明顕微鏡装置1には、次のような自動調整モードが搭載されてもよい。自動調整モードにおける制御装置39は、屈折率差Δnを調整しながら、変調画像の取得・復調画像(超解像画像)の生成からなる一連の処理を繰り返すと共に、復調画像(超解像画像)のコントラストを監視し、コントラストが最適となった時点で、屈折率差Δnの調整を終了する。
なお、この自動調整モードは、少なくとも標本5が交換されたタイミングで発現することが望ましい。或いは、装置の環境変化に対処するため、この自動調整モードを連続的又は定期的に発現させてもよい。
また、本実施形態の構造化照明顕微鏡装置1には、次のような手動調整モードが搭載されてもよい。手動調整モードにおける制御装置39及び画像表示装置45は、ユーザからの調整指示に応じて屈折率差Δnを調整しながら、変調画像の取得・復調画像(超解像画像)の生成・復調画像(超解像画像)の表示からなる一連の処理を繰り返す。ユーザは、表示された調復画像(超解像画像)を目視しながら調整指示を入力し、その復調画像(超解像画像)のコントラストが最適となった時点で調整指示の入力を終了する。
なお、構造化照明顕微鏡装置1に手動調整モードを搭載する場合は、ユーザからの調整指示を受け付ける不図示のユーザインタフェースが構造化照明顕微鏡装置1に備えられる必要がある。
また、上述した実施形態の制御装置39は、光源波長λの切り換え前後で位相回折格子の構造周期Pを不変としたが、光源波長λの切り換え前後で位相回折格子の構造周期Pを調整してもよい。例えば、光源波長λの切り換え前後で構造化照明顕微鏡装置1の超解像効果が不変となるように構造周期Pを調整してもよい。具体的には、光源波長λの切り換え前後で集光点14b、14cから光軸AZまでの距離が不変となるように構造周期Pを調整してもよい。
また、図1に示す構造化照明顕微鏡装置1では、反射型空間光変調器(SLM13)の姿勢を、保護層13bの表面(入射面)の法線が入射光束の主光線に対して例えば45°の角度を成すように設定したが、図9において符号Aで示すように、法線と主光線とが0°の角度を成すように設定してもよい。その場合は、例えば、レンズ16とSLM13との間にビームスプリッタ101を45°の角度で配置すればよい。このビームスプリッタ101は、レーザユニット100側からの光束を反射してSLM13へ正面から入射させると共に、SLM13で反射した光束(回折光束)を透過してレンズ16へ正面から入射させる。
また、上述した実施形態では、構造化照明顕微鏡装置1を3D−SIMモードで使用したが(すなわち0次光回折光束をオンして標本5へ投影する干渉縞を3光束干渉縞としたが)、構造化照明顕微鏡装置1を2D−SIMモードで使用してもよい(すなわち0次光回折光束をオフして標本5へ投影する干渉縞を2光束干渉縞としてもよい)。
また、構造化照明顕微鏡装置1を2D−SIMモードの1種であるTIRFM(全反射蛍光顕微鏡)として使用してもよい。構造化照明顕微鏡装置1をTIRFMとして使用する場合、対物レンズ6は、液浸型(油浸型)の対物レンズとして構成される。つまり、対物レンズ6と標本5のガラスとの間隙は、不図示の浸液(油)で満たされる。
また、構造化照明顕微鏡装置1をTIRFMとして使用する場合、標本5の表面に入射する±1次回折光束の入射角度は、エバネッセント場の生成条件である全反射条件(TIRF条件)を満たす必要がある。このTIRF条件を満たすために、瞳面6Aにおける±1次回折光束の集光点は、瞳面6Aの最外周における所定の輪帯状領域(TIRF領域)に位置していればよい。この場合、標本5の表面近傍には、干渉縞によるエバネッセント場が生起する。
因みに、2D−SIMモードでは0次回折光束を使用しないので、光源波長λを切り換えたとしても干渉縞に寄与する回折光束群の強度比は基本的に変化しないが、2D−SIMモードと3D−SIMモードとの間でモード切り換えが行われたときには、復調画像(超解像画像)のコントラストを最適にするために必要な強度比が変化するので、屈折率差Δnの調整を行うことが望ましい。
例えば、3D−SIMモードにおける制御装置39は、0次回折光束、+1次回折光束、−1次回折光束の強度比が例えば0.7:1:1となるように屈折率差Δnを設定し、2D−SIMモードにおける制御装置39は、0次回折光束、+1次回折光束、−1次回折光束の強度比が例えば0:1:1となるように屈折率差Δnを設定してもよい。
また、3D−SIMモードで生成される変調画像には、互いに分離すべき5成分が重畳されているのに対して、2D−SIMモードで生成される変調画像には、互いに分離すべき3成分が重畳されているので、3D−SIMモードでは、干渉縞の位相シフトにおいて必要な位相数Nは、例えば「5」となるのに対して、2D−SIMモードでは、干渉縞の位相シフトにおいて必要な位相数Nは、例えば「3」となる。また、2D−SIMモードと3D−SIMモードとの間では、変調画像の枚数が異なるので、画像記憶・演算装置40が実行すべき復調演算の内容が異なる。
また、上述した実施形態では、光源波長の数を2としたが、1としてもよく、また、2以上に拡張してもよい。
また、上述した実施形態では、標本5に入射する回折光束群をS偏光に保つために、進相軸の方向を切り換え可能な1/2波長板17を使用したが、1/2波長板の代わりに、2枚の1/4波長板を使用すると共に、一方の1/4波長板の進相軸の方向を切り換え可能としてもよい。
また、上述した実施形態では、超解像画像(復調画像)を取得するために、一連の変調画像を用いて公知の演算を行ったが、これに限定されることはなく、例えば、米国特許8081378に記載された光学的復調によって復調画像(超解像画像)を取得してもよい。
その場合、ダイクロイックミラー7をミラーに置き換え、SLM13とコレクタレンズ12との間の光路に対して、励起光(波長λ1、λ2)に応じて発生した蛍光(波長λ1’、λ2’)をその励起光から分離するダイクロイックミラーを配置し、分離された蛍光を受光する撮像素子を配置すればよい。
また、上述した実施形態の照明光学系10は、対物レンズ6による落射照明光学系で構成されたが、これに限定されることはなく、例えば、コンデサレンズによる透過照明光学系又はコンデンサレンズによる反射照明光学系で構成されてもよい。その場合、集光点が形成されるのは、コンデサレンズの瞳面である。
また、上述した実施形態では、2D−SIMモードの2光束干渉縞又は3D−SIMモードの3光束干渉縞を形成するための回折光として、±1次回折光及び0次回折光の組み合わせを用いたが、他の組み合わせを用いてもよい。3光束干渉縞を形成するためには、回折次数の間隔が等間隔な3つの回折光による3光束干渉を生起させればよいので、例えば、0次回折光、1次回折光、2次回折光の組み合わせ、±2次回折光及び0次回折光の組み合わせ、±3次回折光及び0次回折光の組み合わせ、などを用いることが可能である。
何れにせよ、制御装置39は、干渉縞に寄与する回折光束群の強度比を、その復調画像(超解像画像)のコントラストが最適となるような強度比に調整(制御)することが望ましい。
[実施形態の作用効果]
以上、本実施形態の構造化照明装置(照明光学系10)は、光源からの射出光束を複数の光束に分岐する分岐部と、前記複数の光束による干渉縞を標本(5)に形成する光学系(レンズ16、25、27、6)と、前記分岐部を制御する制御部(液晶駆動回路15A、制御装置39)とを備え、前記分岐部は、単位素子群からなる部材を含む空間光変調器(SLM13)を有し、前記制御部(液晶駆動回路15A、制御装置39)は、第1の位相遅延量を前記射出光束に対して付与する第1の領域と第2の位相遅延量を前記射出光束に対して付与する第2の領域との繰り返しからなる周期領域を前記空間光変調器内に設定するとともに、前記干渉縞に寄与する複数の光束の強度比が所定値になるように、前記第1の位相遅延量と前記第2の位相遅延量との間に差を付与する駆動信号を、前記単位素子群のうちの所定の単位素子へ出力する。
なお、前記第1の位相遅延量、及び前記第2の位相遅延量は、それぞれ一定値であり、前記第1の位相遅延量と前記第2の位相遅延量とは互いに値が異なる(例えば矩形波モード)。
或いは、前記第1の位相遅延量は、所定の形状に分布する値であって、最大値を含み、前記第2の位相遅延量は、所定の形状に分布する値であって、最小値を含む(例えば正弦波モード)。
また、前記制御部(液晶駆動回路15A、制御装置39)は、前記第1の領域と前記第2の領域との間に位相遅延量の差を付与するために、前記第1の領域と前記第2の領域との間に屈折率の差を付与する駆動信号を前記所定の単位素子へ出力する。
また、前記制御部(液晶駆動回路15A、制御装置39)は、前記所定の単位素子へ出力する前記駆動信号を、前記射出光束の波長に応じて切り換える。
また、前記制御部(液晶駆動回路15A、制御装置39)は、前記第1の領域と前記第2の領域との間の位相遅延量の差を、前記射出光束の波長(λ)が長いときほど大きくする。
また、前記制御部(液晶駆動回路15A、制御装置39)は、必要な前記強度比と前記波長とに応じて前記所定の単位素子へ出力すべき適正な前記駆動信号を確定するために必要な情報の少なくとも一部を、テーブルとして予め記憶している。
また、本実施形態の構造化照明装置(照明光学系10)は、前記空間光変調器(SLM13)における前記周期領域の形成先をシフトさせることにより前記干渉縞の位相をシフトさせる位相シフト部(液晶駆動回路15A、制御装置39)を更に備える。
また、本実施形態の構造化照明装置(照明光学系10)は、前記空間光変調器における前記周期領域の形成方向を切り換えることにより前記干渉縞の方向を切り換える方向切換部(液晶駆動回路15A、制御装置39)を更に備える。
また、前記空間光変調器(SLM13)は、前記射出光束の偏光方向分布及び振幅分布を維持しつつ前記射出光束の位相分布を変化させる空間光変調器である。
また、本実施形態の構造化照明顕微鏡装置(1)は、本実施形態の構造化照明装置(照明光学系10)と、前記干渉縞で空間変調された前記標本(5)の画像である変調画像を取得する撮像部(撮像素子35、制御装置39)とを備える。
また、本実施形態の構造化照明顕微鏡装置(1)は、前記変調画像に基づき前記標本(5)の復調画像を生成する演算部(画像記憶・演算装置40)を更に備える。
また、前記制御部(液晶駆動回路15A、制御装置39)は、前記復調画像のコントラストが最適になるように前記設定を行う。
したがって、本実施形態の構造化照明顕微鏡装置(1)の性能は、構造化照明顕微鏡装置(1)の使用状況、例えば、前記射出光束の波長、前記標本の厚さなどに依らず、維持される。
[その他]
なお、上述の各実施形態の要件は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。また、法令で許容される限りにおいて、上述の各実施形態及び変形例で引用した装置などに関する全ての公開公報及び米国特許の開示を援用して本文の記載の一部とする。