JP6720165B2 - 画像取得装置および画像取得方法 - Google Patents

Description

本発明は、画像取得装置および画像取得方法に関するものである。

ＤＭＤによって照射パターンの異なる複数の照明光を生成して標本上の複数の異なる位置に照射し、検出器によって検出された複数位置からの蛍光が混合された蛍光から、ＤＭＤによって照明光に付与された照射パターンに基づいて、各照射位置から発せられた蛍光を復元する顕微鏡が知られている（例えば、特許文献１参照。）。

ＷＯ２０１１／０２３５９３号パンフレット

特許文献１の技術は、ＤＭＤによって生成された照明光を標本の特定位置に照射するためのものであり、仮にこの技術を画像取得に応用する場合には、ＤＭＤの応答速度が光走査よりも遅いという問題から十分なフレームレートを確保することができないという不都合がある。
また、ＤＭＤの変わりにＥＯＭのような高速変調可能なデバイスを使用すれば上記課題を解決することができるが、多重数分の変調デバイスが必要となるためシステムが非常に高価になるという不都合がある。
本発明は、上述した事情に鑑みてなされたものであって、多重数分のデバイスを必要とすることなくフレームレートを向上することができる画像取得装置および画像取得方法を提供することを目的としている。

本発明の一態様は、複数の領域を同時に照明しながら、各々の照明領域に対応する局所信号を分離して取得する画像取得装置であって、光源から射出された光の強度を変調し相互に一次独立なパターンを有し、変調された変調照明光と変調されていない非変調照明光とを含む複数の照明光を生成する照明光生成部と、該照明光生成部により生成された複数の前記照明光を試料の異なる位置に照射する照明光学系と、該照明光学系により前記照明光が照射された複数の照射位置において発生した信号光が合成された合成信号光を検出して合成信号を出力する光検出部と、該光検出部により出力された前記合成信号から、前記変調照明光に対応した復調信号と前記合成信号との積の時間積分を用いて前記変調照明光に対応する変調局所信号を分離し、前記合成信号の時間積分から前記変調局所信号の総和を差分して前記非変調照明光に対応する非変調局所信号を分離する復調部とを備える画像取得装置である。

本態様によれば、照明光生成部により、光源から射出された光の強度を変調し相互に一次独立なパターンを有し、変調された変調照明光と変調されていない非変調照明光とを含む複数の照明光が生成され、生成された複数の照明光が、照明光学系によって試料の異なる位置に照射される。各照明光の照射位置においては、信号光が同時にそれぞれ発生するので、光検出器において複数の照射位置において発生した複数の信号光の合成信号光が検出されて合成信号を出力する。そして、出力された合成信号が復調部に入力されることにより、合成信号から、変調照明光に対応した復調信号と合成信号との積の時間積分を用いて変調照明光に対応する変調局所信号を分離し、合成信号の時間積分から変調局所信号の総和を差分して非変調照明光に対応する非変調局所信号を分離して各照射位置において発生した信号光が復調される。

この場合において、信号光復調部は、各照明光のパターンに同期する復調信号を用いて復調処理を行うので、照明光の相互の一次独立性を利用して合成信号光から各信号光を精度よく抽出することができる。したがって、複数の照射位置から同時に発せられた信号光を精度よく分離して検出することができ、多重数分のデバイスを必要とすることなくフレームレートを向上することができる。

上記態様においては、前記変調照明光に対応しない前記復調信号と前記変調照明光に対応しない前記変調局所信号および前記非変調局所信号との積の時間積分がゼロであってもよい。
また、上記態様においては、前記非変調照明光に対応する前記復調信号と前記合成信号との積の時間積分が前記合成信号の時間積分であってもよい。

また、上記態様においては、前記照明光生成部が生成した複数の前記照明光の少なくとも一つの光路に光の強度を変調する変調器を備えていてもよい。

また、上記態様においては、前記変調器を２以上備え、各該変調器が、相互に直交する前記復調信号を有する前記変調照明光をそれぞれ生成してもよい。
このようにすることで、複数の変調器によって、相互に直交する復調信号を有する２以上の照明光を生成することができ、直交性を有する復調信号を用いることによって得られる信号量が増加し、フレームレートをさらに向上することができる。

また、上記態様においては、複数の前記照射位置を前記試料中の任意位置に配置する機能を有していてもよい。

また、本発明の他の態様は、光源から射出された光の強度を変調し相互に一次独立なパターンを有し、変調された変調照明光と変調されていない非変調照明光とを含む複数の照明光を生成する照明光生成ステップと、該照明光生成ステップにより生成された複数の前記照明光を試料の異なる位置に照射する照射ステップと、該照射ステップにより前記照明光が照射された複数の照射位置において発生した信号光が合成された合成信号光を検出して合成信号を出力する光検出ステップと、該光検出ステップにより出力された前記合成信号から、前記変調照明光に対応した復調信号と前記合成信号との積の時間積分を用いて前記変調照明光に対応する変調局所信号を分離し、前記合成信号の時間積分から前記変調局所信号の総和を差分して前記非変調照明光に対応する非変調局所信号を分離する信号光復調ステップとを含む画像取得方法である。

本発明によれば、多重数分のデバイスを必要とすることなくフレームレートを向上することができるという効果を奏する。

本発明の一実施形態に係る画像取得装置を示す模式図である。 図１の画像取得装置における電気光学変調器による変調を受けたパターンの変調信号の一例を示す図である。 図１の画像取得装置における電気光学変調器による変調を受けていないパターンの変調信号の一例を示す図である。 図１の画像取得装置における電気光学変調器による変調を受けたパターンの復調信号の一例を示す図である。 図１の画像取得装置における電気光学変調器による変調を受けていないパターンの復調信号の一例を示す図である。 本発明の一実施形態に係る画像取得方法を説明するフローチャートである。 図１の画像取得装置の変形例であって、共焦点顕微鏡に適用した例を示す模式図である。 図１の画像取得装置の変形例であって、複数の照明光を合波する他の方法を示す図である。 図１の画像取得装置の変形例であって、図５Ａにおける破線部Ｓの位置に一対のミラーを配置した方法を示す図である。 図１の画像取得装置の変形例であって、複数の照明光を合波する他の方法を示す図である。 図１の画像取得装置の変形例であって、複数の照明光の間隔を調節する方法を示す図である。 図１の画像取得装置の変形例であって、３つの照明光を多重化する場合を示す図である。 図８の画像取得装置における第１の変調パターンの変調信号の一例を示す図である。 図８の画像取得装置における第２の変調パターンの変調信号の一例を示す図である。 図８の画像取得装置における変調を受けていないパターンの変調信号の一例を示す図である。 図８の画像取得装置における第１の変調パターンの復調信号の一例を示す図である。 図８の画像取得装置における第２の変調パターンの復調信号の一例を示す図である。 図８の画像取得装置における変調を受けていないパターンの復調信号の一例を示す図である。 図１の画像取得装置の変形例であって、音響光学偏向素子を用いて変調する場合を示す図である。 図１の画像取得装置の変形例であって、２つの音響光学偏向素子を用いて４つの照明光を多重化する場合を示す図である。 図１の画像取得装置の変形例であって、電気光学変調器による変調の際に弾かれる光を有効利用して４つの照明光を多重化する場合を示す図である。 図１２の画像取得装置において使用される光のパターンであって、光源からの光の変調信号のパターンを示す図である。 図１２の画像取得装置において使用される光のパターンであって、電気光学変調器から出力された直後の第１の照明光の変調信号のパターンを示す図である。 図１２の画像取得装置において使用される光のパターンであって、電気光学変調器から出力された直後の第２の照明光の変調信号のパターンを示す図である。 図１２の画像取得装置において使用される光のパターンであって、ビームスプリッタにより分岐された直後の第３の照明光の変調信号のパターンを示す図である。 図１２の画像取得装置において使用される光のパターンであって、ビームスプリッタにより分岐された直後の第４の照明光の変調信号のパターンを示す図である。 図１２の画像取得装置において使用される光のパターンであって、光源からの光の復調信号 図１２の画像取得装置において使用される光のパターンであって、電気光学変調器から出力された直後の第１の照明光の復調信号のパターンを示す図である。 図１２の画像取得装置において使用される光のパターンであって、電気光学変調器から出力された直後の第２の照明光の復調信号のパターンを示す図である。 図１２の画像取得装置において使用される光のパターンであって、ビームスプリッタにより分岐された直後の第３の照明光の復調信号のパターンを示す図である。 図１２の画像取得装置において使用される光のパターンであって、ビームスプリッタにより分岐された直後の第４の照明光の復調信号のパターンを示す図である。 図１２の画像取得装置においてビームスプリッタにより合波された直後の第１の照明光の変調信号のパターンを示す図である。 図１２の画像取得装置においてビームスプリッタにより合波された直後の第２の照明光の変調信号のパターンを示す図である。 図１２の画像取得装置においてビームスプリッタにより合波された直後の第３の照明光の変調信号のパターンを示す図である。 図１２の画像取得装置においてビームスプリッタにより合波された直後の第４の照明光の変調信号のパターンを示す図である。 図１２の画像取得装置においてビームスプリッタにより合波された直後の第１の照明光の復調信号のパターンを示す図である。 図１２の画像取得装置においてビームスプリッタにより合波された直後の第２の照明光の復調信号のパターンを示す図である。 図１２の画像取得装置においてビームスプリッタにより合波された直後の第３の照明光の復調信号のパターンを示す図である。 図１２の画像取得装置においてビームスプリッタにより合波された直後の第４の照明光の復調信号のパターンを示す図である。 図１の画像取得装置の変形例であって、ビームスプリッタによる合波の際に弾かれる光を有効利用して４つの照明光を多重化する場合を示す図である。 図１の画像取得装置の変形例であって、シート照明を利用した場合を示す模式図である。

以下、本発明の一実施形態に係る画像取得装置１および画像取得方法について、図面を参照して以下に説明する。
本実施形態に係る画像取得装置１は、多光子励起型の走査型蛍光顕微鏡であって、図１に示されるように、一定のピーク強度を有する極短パルスレーザ光を所定時間間隔で射出する光源２と、該光源２からの光から相互に一次独立なパターンを有し、変調された変調照明光と変調されていない非変調照明光とを含む２つの照明光Ｌ１，Ｌ２を生成する照明光生成部３と、生成された複数の照明光Ｌ１，Ｌ２を試料Ａの異なる位置に照射する照明光学系４と、照明光Ｌ１，Ｌ２の複数の照射位置において発生した蛍光（信号光）の合成蛍光（合成信号光）を検出して合成信号を出力する光検出部５と、出力された合成信号から、各照射位置において発生した蛍光を復調する復調部（信号光復調部）６とを備えている。

照明光生成部３は、光源２からの光を２つの光路に分岐する第１ビームスプリッタ（光分岐部）７と、分岐された一方の光路に設けられ、通過する光の強度の時間変化のパターンを変調する電気光学変調器（変調器）８と、結像レンズ９ａ，９ｂと、ミラー１０ａ，１０ｂと、２つの光路の光を合波する第２ビームスプリッタ（合波部）１１とを備えている。ミラー１０ａは、一方の光路に設けられた結像レンズ９ａによる一次結像位置を他方の光路に設けられた結像レンズ９ｂによる一次結像位置に対して光軸に直交する方向にシフトする位置に配置されている。

電気光学変調器８には、信号制御部１２が接続されている。信号制御部１２は、電気光学変調器８に対して、例えば、図２Ａに示されるような変調信号を送ることにより、光源からのパルス光を１つ置きに遮断して、５０％デューティとなるように変調させるようになっている。例えば、光源２から射出される光が８０ＭＨｚの繰り返し周波数である場合に、電気光学変調器８は、光源２からの光の強度を変調して４０ＭＨｚの照明光Ｌ１を生成するようになっている。これにより、電気光学変調器８から出力される照明光Ｌ１は、４０ＭＨｚで強度が変化する変調パターンを有している。

また、他方の光路には電気光学変調器８は設けられておらず、光源２から発せられた光がそのままのパターン、すなわち、一定のピーク強度を有するパルス列からなる変調を受けていないパターンの照明光Ｌ２が生成されるようになっている。
これにより、２つの光路を通過した変調パターンの照明光Ｌ１と変調を受けていないパターンの照明光Ｌ２とは、相互に一次独立なパターンで時間変化する強度を有するようになる。

照明光学系４は、第２ビームスプリッタ１１により合波された２つの照明光Ｌ１，Ｌ２をスキャナ１４に投影する瞳投影レンズ１３と、２つの照明光Ｌ１，Ｌ２を同時に同一方向（ＸＹ方向）に２次元的に走査するスキャナ１４と、該スキャナ１４により走査された照明光Ｌ１，Ｌ２をリレーするリレーレンズ１５ａ，１５ｂと、該リレーレンズ１５ａ，１５ｂによりリレーされた照明光Ｌ１，Ｌ２を試料Ａの複数の照射位置に照射する一方、試料Ａの各照射位置において発生した蛍光を集光する対物レンズ１６とを備えている。スキャナ１４は、例えば、ガルバノミラーである。

スキャナ１４と対物レンズ１６の瞳位置とは、光学的に共役な位置に配置されている。また、結像レンズ９ａ，９ｂと瞳投影レンズ１３との間のレンズ間距離は２つの光路で等しくなるように設定されている。
照明光学系４のリレーレンズ１５ａ，１５ｂと対物レンズ１６との間には、照明光Ｌ１，Ｌ２を透過し、蛍光を反射する特性を有するダイクロイックミラー１７が配置されている。光検出部５は、例えば、光電子増倍管等の光検出器５ａと、該光検出器５ａにより検出された蛍光の強度信号を増幅する増幅器５ｂとを備えている。

復調部６は、信号制御部１２から変調信号に同期した復調信号を受けて、光検出器５ａにより検出された合成蛍光から各照射位置において発生した蛍光を復調するようになっている。具体的には、変調照明光に対応した復調信号と合成信号との積の時間積分を用いて変調照明光に対応する変調局所信号を分離し、合成信号の時間積分から変調局所信号の総和を差分して非変調照明光に対応する非変調局所信号を分離するようになっている。この場合、変調照明光に対応しない復調信号と変調照明光に対応しない変調局所信号および非変調局所信号との積の時間積分はゼロとなり、非変調照明光に対応する復調符号と合成信号との積の時間積分が合成信号の時間積分となる。

この例では、復調用信号が変調のＯＮ／ＯＦＦに同期しており、ＯＮ時を１、ＯＦＦ時を−１とする。上記例においては、光源２からの光の強度を変調して変調パターンの照明光Ｌ１を生成するための図２Ａに示す変調信号に同期する図２Ｃに示す復調信号はｃｏｄｅ１＝（―１，１，―１，１）と表現できる。一方、図２Ｂに示されるように変調を行わない場合の復調信号は、図２Ｄに示されるように、ｃｏｄｅ２＝（１，１，１，１）と表現できる。各ｃｏｄｅ長は一画素の露光時間に対応している。この例では、ｃｏｄｅと光変調が各パルスに対応しているが、任意長さのパルス列ごとに変調を行ってもよい。

復調部６においては、変調パターンの蛍光の強度を、光検出器５ａにより検出された合成蛍光の強度に、変調タイミングに同期した復調信号ｃｏｄｅ１を乗算して露光時間にわたって積分することにより変調照明光に対応する変調局所信号を分離して復調するようになっている。他方、変調を受けていないパターンの蛍光の強度は、光検出器５ａにより検出された合成蛍光の強度を露光時間にわたって積分した合成蛍光の積分値から、復調された変調パターンの蛍光の強度（変調局所信号の総和）を減算することにより非変調照明光に対応する非変調局所信号を分離して復調するようになっている。復調信号ｃｏｄｅ２を乗算することは何も乗算しないことに等しいので、検出された合成蛍光の積分値から変調パターンの蛍光の強度を減算するだけで済む。

具体的な一例として、照明光Ｌ１のパルス一つに対応する蛍光信号強度をα、照明光Ｌ２のパルス一つに対応する蛍光信号をβとする。
また、露光時間をパルス４つ分とすると、照明光Ｌ１に対応する露光時間中の蛍光信号の時系列データＤ１は（０，α，０，α）となる。一方、照明光Ｌ２に対応する露光時間中の蛍光信号の時系列データＤ２は（β，β，β，β）となる。そのため合成蛍光信号の時系列データＤはＤ＝Ｄ１＋Ｄ２＝（β，α＋β，β，α＋β）となる。

合成蛍光信号の時系列データＤとｃｏｄｅ１との内積（乗算して積分するのと同一）を取ると、Ｄ１の積分値に相当する２αを算出することができる。さらに合成蛍光信号の時系列データＤとｃｏｄｅ２との内積が合成蛍光信号の積分値２α＋４βとなり、これに対して先に求めた照明光Ｌ１に対応する蛍光信号強度２αを減算することにより、照明光Ｌ２に対応する蛍光信号４βを得ることができる。

このように構成された本実施形態に係る画像取得装置１を用いた画像取得方法について、以下に説明する。
本実施形態に係る画像取得方法は、図３に示されるように、光源２から射出された極短パルスレーザ光から、相互に一次独立なパターンを有する複数の照明光Ｌ１，Ｌ２を生成する照明光生成ステップＳ１と、生成された複数の照明光Ｌ１，Ｌ２を試料Ａの異なる位置に照射する照射ステップＳ２と、照明光Ｌ１，Ｌ２が照射された複数の照射位置において発生した蛍光が合成された合成蛍光を検出する光検出ステップＳ３と、検出された合成蛍光から、各照明光Ｌ１，Ｌ２のパターンに同期する復調信号を用いて、各照射位置において発生した蛍光を復調する蛍光復調ステップ（信号光復調ステップ）Ｓ４とを含んでいる。

このように構成された本実施形態に係る画像取得装置１および画像取得方法によれば、２つに分岐した光路の一方に電気光学変調器８を設ければ済むので、単一の電気光学変調器８だけで２つの照明光Ｌ１，Ｌ２を多重化させることができ、装置を簡易かつ安価に構成することができるという利点がある。
そして、多重化された２つの照明光Ｌ１，Ｌ２を試料Ａに同時に照射するので、スキャナ１４によって２つの照明光Ｌ１，Ｌ２のスポットを試料Ａにおいて走査することによりサンプルにおける二つの異なる領域を同時にイメージングすることができるため、多重数分のデバイスを必要とすることなく観察範囲の画像を取得するフレームレートを２倍に向上することができるという利点がある。

また、一方の光路を通過する照明光Ｌ２に変調を掛けずに済むので、２つの電気光学変調器によって２つの照明光Ｌ１，Ｌ２を生成する場合と比較して、取得信号量を最大で１．５倍向上することができるという利点がある。

なお、本実施形態においては、画像取得装置１として、多光子励起型の蛍光顕微鏡を例示したので、照明光Ｌ１，Ｌ２から蛍光を分岐するダイクロイックミラー１７を対物レンズ１６とリレーレンズ１５ｂとの間に配置したが、これに代えて、図４に示されるように、共焦点顕微鏡に適用し、スキャナ１４よりも光源２側にダイクロイックミラー１７を配置し、かつ、対物レンズ１６による各照明光Ｌ１，Ｌ２の焦点位置と光学的に共役な位置にピンホール部材１８を配置することにしてもよい。

ピンホール部材１８における透孔１８ａの数および間隔は照明光Ｌ１，Ｌ２の数および焦点位置間の距離に応じて設定されている。
また、この場合、光源２としては一定の強度を有する連続光を射出するものを採用すればよい。

また、光分岐部７としてビームスプリッタを採用したが、偏光ビームスプリッタを採用してもよい。また、合波部１１としてビームスプリッタを採用したが、偏光ビームスプリッタあるいは、図５Ａに示されるように三角プリズム１９とミラー２０ａ，２０ｂとの組み合わせを採用してもよい。この場合に、矢印Ｂの方向に三角プリズム１９とミラー２０ａ，２０ｂとを相対移動させると、照明光Ｌ１，Ｌ２のＸ方向における間隔を変更することができる。

また、結像レンズ９ａ，９ｂと瞳投影レンズ１３との間で合波することに代えて、図６に示されるように結像レンズ９よりも光源２側において合波して、結像レンズ９を共通化してもよい。また、他の任意の方法により分岐および合波を行うことにしてもよい。

また、ミラー１０ａを固定して一次結像位置のシフト量を固定したが、これに代えて、ミラー１０ａを図７に示す矢印Ｃの方向に移動させることにより、一次結像位置のシフト量を調節可能にしてもよい。
また、変調器として電気光学変調器８を例示したが、これに代えて音響光学変調器等の変調器を採用してもよい。

また、図５Ｂに示されるように、三角プリズム１９とミラー２０ａ，２０ｂとの組み合わせに加えて照明光Ｌ１の光線高さを変化させるために、光路中に照明光Ｌ１，Ｌ２のＹ方向における間隔を可変可能な一対のミラー３７ａ，３７ｂを導入してもよい。これにより、ミラー３７ａ，３７ｂ間の間隔を狭めるまたは広げることによって、光軸に垂直な面においてＹ方向（隣り合うビームに対して垂直方向）にビームを移動することができる。
また、レンズ９ａ，９ｂを光軸に沿う方向に移動可能に設け、光軸に沿ってレンズ９ａ，９ｂを移動させることにより、試料Ａにおける各集光点のＺ方向位置を調整するようにしてもよい。

このようにすることにより、光軸に対して垂直なＸＹ方向への移動および光軸に沿うＺ方向への移動を組み合わせることにより、各々の焦点を任意位置に配置することができる。これにより、離れた任意ボリュームのイメージングを時間的同時性を有して行うことができる。その結果、脳の機能解明等において、複数領域の同時イメージングを用いて、異なる機能を持つ領域の相互作用を明らかにすることができる。

また、本実施形態においては、光源２からの光を２つに分岐したが、これに代えて、３以上に分岐することにしてもよい。到着パルス数は復調に使用するベクトル空間の次元と同じと考えることができるので、照明光の多重化は、露光時間中の到着パルス数と同数だけ行うことができる。これによりさらなる高速化を図ることができる。

図８に３つの光路に分岐する場合について例示する。
３つの光路への分岐は、光源２からの光を照明光Ｌ１，Ｌ２の光路と照明光Ｌ３の光路とに分岐するビームスプリッタ７ａと、ビームスプリッタ７ａの下流側に配置され、分岐された照明光Ｌ１，Ｌ２の光路を照明光Ｌ１の光路と照明光Ｌ２の光路とにさらに分岐するビームスプリッタ７ｂとによりなされる。３つの光路には、結像レンズ９ａ，９ｂ，９ｃがそれぞれ配置されている。
１つの光路には電気光学変調器８がなく、他の２つの光路には、相互に直交する変調パターンの照明光（変調照明光）Ｌ１，Ｌ２を生成する電気光学変調器（変調器）８ａ，８ｂをそれぞれ配置している。

具体的には、図９Ａおよび図９Ｄに示すように、一方の電気光学変調器８ａに対応する変調信号および変調パターンの復調信号ｃｏｄｅ１＝（−１，１，−１，１）、図９Ｂおよび図９Ｅに示すように、他方の電気光学変調器８ｂに対応する変調信号および変調パターンの復調信号ｃｏｄｅ２＝（１，−１，−１，１）、図９Ｃおよび図９Ｆに示すように、電気光学変調器８ａ，８ｂによる変調をうけていない変調信号および変調パターンの復調信号ｃｏｄｅ３＝（１，１，１，１）とする。
照明光Ｌ１のパルス一つに対応する蛍光信号をα、照明光Ｌ２のパルス一つに対応する蛍光信号をβ、照明光Ｌ３のパルス一つに対応する蛍光信号をγとする。

また、露光時間をパルス４つ分とすると、照明光Ｌ１に対応する露光時間中の蛍光信号の時系列データＤ１は（０，α，０，α）となる。そして、照明光Ｌ２に対応する露光時間中の蛍光信号の時系列データＤ２は（β，０，０，β）となり、照明光Ｌ３に対応する露光時間中の蛍光信号の時系列データＤ３は（γ，γ，γ，γ）となる。そのため合成蛍光信号の時系列データＤはＤ＝Ｄ１＋Ｄ２＋Ｄ３＝（β＋γ，α＋γ，γ，α＋β＋γ）となる。

合成蛍光信号の時系列データＤとｃｏｄｅ１との内積を取るとＤ１の積分値に相当する２α、合成蛍光信号の時系列データＤとｃｏｄｅ２との内積を取るとＤ２の積分値に相当する２βを算出することができる。さらに合成蛍光信号の時系列データＤとｃｏｄｅ３との内積が合成蛍光信号の積分値２α＋２β＋４γとなり、これに対して先に求めた照明光Ｌ１に対応する蛍光信号強度２αと照明光Ｌ２に対応する蛍光信号強度２βを減算することにより、照明光Ｌ３に対応する蛍光信号４γを得ることができる。

検出された合成蛍光の強度に変調に同期した復調信号ｃｏｄｅ１を乗算して積分することにより、第１の変調パターンの照明光Ｌ１に対応する蛍光を復調することができる。また、検出された合成蛍光の強度に変調にタイミング同期した復調信号ｃｏｄｅ２を乗算して積分することにより、第２の変調パターンの照明光Ｌ２に対応する蛍光を復調することができる。そして、検出された合成蛍光の強度の積分値から第１，第２の変調パターンに対応する蛍光をそれぞれ減算することにより、変調を受けていないパターンの照明光Ｌ３に対応する蛍光を復調することができる。

２つの変調パターンの照明光Ｌ１，Ｌ２の合波、および合波された変調パターンの照明光Ｌ１，Ｌ２と変調を受けていないパターンの照明光Ｌ３との合波は、それぞれミラー２１ａ，２１ｂと三角プリズム２２との組み合わせにより行うことにしている。これにより、３以上の照明光Ｌ１，Ｌ２，Ｌ３を効率よく合波することができる。この場合、ミラー２１ａ，２１ｂと三角プリズム２２との矢印Ｄ方向への相対移動により、照明光Ｌ１，Ｌ２，Ｌ３の間隔を変更することができる。

また、３つの光路に分岐する場合において、照明光Ｌ１，Ｌ２に対応する復調Ｃｏｄｅが相互に直交する変調パターンのものを説明したが、これに限られるものではなく、照明光Ｌ１，Ｌ２に対応する復調Ｃｏｄｅが相互に直交しない変調パターンのものを採用してもよい。

具体的には、一方の電気光学変調器８ａに対応する変調パターンの復調信号ｃｏｄｅ１＝（１，０，０，−１）、他方の電気光学変調器８ｂに対応する変調パターンの復調信号ｃｏｄｅ２＝（０，１，０，−１）、電気光学変調器８ａ，８ｂによる変調を受けていないパターンの復調信号ｃｏｄｅ３＝（１，１，１，１）とする。この場合、０に対応する光変調はＯＦＦである。
照明光Ｌ１のパルス一つに対応する蛍光信号をα、照明光Ｌ２のパルス一つに対応する蛍光信号をβ、照明光Ｌ３のパルス一つに対応する蛍光信号をγとする。

また、露光時間をパルス４つ分とすると、照明光Ｌ１に対応する露光時間中の蛍光信号の時系列データＤ１は（α，０，０，０）となる。そして、照明光Ｌ２に対応する露光時間中の蛍光信号の時系列データＤ２は（０，β，０，０）となり、照明光Ｌ３に対応する露光時間中の蛍光信号の時系列データＤ３は（γ，γ，γ，γ）となる。そのため合成蛍光信号の時系列データＤはＤ＝Ｄ１＋Ｄ２＋Ｄ３＝（α＋γ，β＋γ，γ，γ）となる。

合成蛍光信号の時系列データＤとｃｏｄｅ１との内積を取るとＤ１の積分値に相当するα、合成蛍光信号の時系列データＤとｃｏｄｅ２との内積を取るとＤ２の積分値に相当するβを算出することができる。さらに合成蛍光信号の時系列データＤとｃｏｄｅ３との内積が合成蛍光信号の積分値α＋β＋４γとなり、これに対して先に求めた照明光Ｌ１に対応する蛍光信号強度αと照明光Ｌ２に対応する蛍光信号強度βを減算することにより、照明光Ｌ３に対応する蛍光信号４γを得ることができる。

また、本実施形態においては、電気光学変調器８に代えて、共振電気光学変調器（図示略）を採用してもよい。共振電気光学変調器によれば、低電圧で駆動できるため、電力増幅器が不要のためコストを低く抑えることができるという利点がある。共振電気光学変調器の共振周期を繰り返し周期と同じにすることにより、露光時間中で任意のパターンを作り出すことができる。

また、電気光学変調器８によって一方の光路の光の強度を変調することとしたが、これに代えて、図１０に示されるように、音響光学偏向素子２３と、レンズ２４と、プリズム２５と、ミラー２６ａ，２６ｂと、ビームスプリッタ２７とを組み合わせて周波数の異なる光の干渉によるビート周波数に変調することにしてもよい。

例えば、図１０に示される例では、音響光学偏向素子２３によって、周波数変調しない光（光源周波数ＹＭＨｚの変調を受けていないパターン）Ｌ１、周波数ＸＭＨｚに周波数変調した光（第１の変調パターン）Ｌ２ａ、周波数Ｘ＋４０ＭＨｚに周波数変調した光（第２の変調パターン）Ｌ２ｂを生成する。生成された第１，第２の変調パターンの光Ｌ２ａ，Ｌ２ｂは、レンズ２４、プリズム２５、およびミラー２６ａ，２６ｂを経由して同一光路長の異なる光路を導かれた後にビームスプリッタ２７で合波されることにより干渉によって両者の差分周波数（４０ＭＨｚ）の照明光Ｌ２となる。ミラー２６ａは、光路長を調整するために矢印Ｅの方向に移動可能に設けられている。

これにより、周波数ＹＭＨｚの変調を受けていないパターンの照明光Ｌ１と、周波数４０ＭＨｚの変調パターンの照明光Ｌ２とを試料Ａの異なる位置に照射することができる。
この場合に、信号制御部１２は、音響光学偏向素子２３のドライバ２８を制御して、２つの変調パターンの光Ｌ２ａ，Ｌ２ｂの周波数を任意に調節することができ、周波数に応じて射出方向が異なることを利用して試料Ａにおける照明光Ｌ２の照射位置を音響光学偏向素子２３の電気的な制御によって任意に調節することができる。

また、図１１に示されるように３種類の変調パターンの照明光Ｌ１，Ｌ２，Ｌ３と、変調を受けていないパターンの照明光Ｌ４の合計４つを試料Ａに同時に照射することにしてもよい。
例えば、図１１に示される例では、２組の音響光学偏向素子２３ａ，２３ｂ、レンズ２４ａ，２４ｂ、プリズム２５ａ，２５ｂ、ミラー２６およびビームスプリッタ２７ａ，２７ｂを利用している。

一方の音響光学偏向素子２３ａには、光源２からの光の内、一偏光方向、例えば、Ｐ偏光の光が入射される。この音響光学偏向素子２３ａは、入射された光を、ＸＭＨｚ，ＹＭＨｚ，Ｘ＋２０ＭＨｚ，Ｙ＋２０ＭＨｚの４つの光に分岐する。分岐された光は、それぞれ、レンズ２４ａ、プリズム２５ａ、ミラー２６を経由することにより、ＸＭＨｚの光とＸ＋２０ＭＨｚの光、ＹＨＭｚの光とＹ＋２０ＭＨｚの光がそれぞれビームスプリッタ２７ａで合波されることによって干渉させられる。これにより、ビート周波数２０ＭＨｚの２つの照明光Ｌ１，Ｌ２が生成される。２つの照明光Ｌ１，Ｌ２は、音響光学偏向素子２３ａのドライバ２８に入力する駆動電圧波形の位相を調整することでビート周波数上での位相が９０°ずれるようにしている。これにより相互に直交するパターン作成することができる

他方の音響光学偏向素子２３ｂは、光源２からの光の内、他の偏光方向、例えば、Ｓ偏光の光が入射される。この音響光学偏向素子２３ｂは、入射された光を、Ω＝８０ＭＨｚ，Ｚ＋４０ＭＨｚ，ＺＭＨｚの３つの光に分岐する。分岐された光は、それぞれ、レンズ２４ｂ、プリズム２５ｂ、ミラー２６を経由することにより、Ｚ＋４０ＭＨｚの光とＺＭＨｚの光とがビームスプリッタ２７ｂで合波されることによって干渉させられる。これにより、ビート周波数４０ＭＨｚの照明光Ｌ３が生成される。ΩＭＨｚの光は、レンズ２４ｂ、プリズム２５ｂ、ミラー２６を経由してそのままビームスプリッタ２７ｂに導かれ、変調を受けていないパターンの照明光Ｌ４となる。

これら４つの照明光Ｌ１からＬ４は、ミラー３６を経由して偏光ビームスプリッタ２９により合波され、試料Ａの異なる位置に照射される。
このようにすることで、４つの照明光Ｌ１からＬ４を多重化して試料Ａに照射し、さらにフレームレートを向上することができるという利点がある。

また、図１２に示されるように、電気光学変調器８により５０％デューティで変調する際に、電気光学素子内の偏光素子により遮断された光を利用して多重化することにしてもよい。
すなわち、電気光学変調器８からは、位相が反転した２つの照明光Ｌ１，Ｌ２が射出されるので、一方の照明光Ｌ２の光路長を調節してレーザ光の発振周期の半分の時間遅延を与えることで、検出タイミングが異なる、照明光Ｌ１，Ｌ２を生成することができる。また、電気光学変調器８を有しない光路にビームスプリッタ３０を配置して分岐し、分岐された光の光路長を調節してレーザ光の発振周期の半分の時間遅延を与えることで、検出タイミングが異なる照明光Ｌ３，Ｌ４を生成することができる。

具体的には、図１３Ａおよび図１３Ｆに示されるように、光源２として周波数８０ＭＨｚで、ピーク強度一定のパルスレーザ光を射出する光源２を想定する。
そして、電気光学変調器８により５０％デューティに変調すると、図１３Ｂおよび図１３Ｇに示される４０ＭＨｚでオンオフされる第１の照明光Ｌ１と、図１３Ｃおよび図１３Ｈに示される位相が反転した第２の照明光Ｌ２の２つの照明光Ｌ１，Ｌ２が生成される。
一方、電気光学変調器８を有しない光路を通過する光がビームスプリッタ３０により分岐されることにより、図１３Ｄ、図１３Ｅ、図１３Ｉおよび図１３Ｊに示されるように、周波数８０ＭＨｚでオンオフされる第３、第４の照明光Ｌ３，Ｌ４が生成される。

そして、第２の照明光Ｌ２および第４の照明光Ｌ４については、レーザ光の発振周期１２．５ｎｓの半分の時間遅延６．２５ｎｓを与えるように光路長を調節することにより、図１４Ａから図１４Ｈに示されるように、第１の照明光Ｌ１と第３の照明光Ｌ３のペアと、第２の照明光Ｌ２と第４の照明光Ｌ４のペアとは異なる時刻に試料Ａに照射されるので、照明光Ｌ１，Ｌ３のペアまたは照明光Ｌ２，Ｌ４のペアに対応して発生する蛍光は時間的に分離することができる。各ペアを構成する２つの照明光Ｌ１，Ｌ３および照明光Ｌ２，Ｌ４は相互に一次独立の関係を有しているので、上記と同様にして復調することができる。

このようにすることで、照明光Ｌ１からＬ４の一次独立性と時間的な変調とを組み合わせて、より多くの多重化を行うことができ、さらにフレームレートを向上することができるという利点がある。電気光学変調部８において変調する際に弾かれた光も利用するので、エネルギーを効率よく利用することができるという利点もある。

さらに、図１５に示されるように、図１０に示される音響光学偏向素子２３を用いた変調を行う画像取得装置１において、ビームスプリッタ２７により合波する際に弾かれた光を遅延光路に導くことによって遅延させ、時間的に多重化することにしてもよい。図中、符号３１はλ／２板、符号３２はミラー、符号３３はリレーレンズ、符号３４は折り返しミラーである。ミラー３２は、λ／２板３１を通過してきた光の光路からは外れており、折り返しミラー３４によって折り返された光のみを反射する位置に配置されている。

図１０と同様にして、ビームスプリッタ２７において反射されたＸ＋４０ＭＨｚの光と、ビームスプリッタ２７を透過したＸＭＨｚの光とが合波されることにより、４０ＭＨｚの照明光Ｌ１となり、ビームスプリッタ２７を透過したＹ＝８０ＭＨｚの照明光Ｌ２とともに、偏光ビームスプリッタ３５において反射される。

ビームスプリッタ２７において反射されずに透過したＸ＋４０ＭＨｚの光と、ビームスプリッタ２７を透過せずに反射されたＸＭＨｚの光とが合波されることにより、４０ＭＨｚの照明光Ｌ３となって遅延光路に入射される。遅延光路においては、λ／２板３１によって偏光方向を変更され、リレーレンズ３３および折り返しミラー３４を経由して戻る途中でミラー３２により偏向され、偏光ビームスプリッタ３５を通過させられる。

一方、ビームスプリッタ２７を透過せずに反射されたＹ＝８０ＭＨｚの照明光Ｌ４は、遅延光路において、λ／２板３１によって偏光方向を変更され、リレーレンズ３３および折り返しミラー３４を経由して戻る途中でミラー３２により偏向され、偏光ビームスプリッタ３５を通過させられる。

これにより、相互に一次独立な４０ＭＨｚの照明光Ｌ１と８０ＭＨｚの照明光Ｌ２のペアおよび、相互に一次独立な４０ＭＨｚの照明光Ｌ３と８０ＭＨｚの照明光Ｌ４のペアが、時刻を異ならせて試料Ａの異なる位置に照射される。これにより、照明光Ｌ１からＬ４の一次独立性と時間的な変調とを組み合わせて、より多くの多重化を行うことができ、さらにフレームレートを向上することができるという利点がある。ビームスプリッタ２７において弾かれた光も利用するので、エネルギーを効率よく利用することができるという利点もある。

また、上記各実施形態においては、落射型の画像取得装置１について説明したが、これに限定されるものではない。例えば、図１６に示されるように、相互に一次独立なパターンを有するシート状の照明光Ｌ１，Ｌ２を対物レンズ１６の光軸に沿う方向に離間した位置に対物レンズ１６の光軸に直交する方向から同時に入射させるライトシート顕微鏡４０に適用してもよい。

図１６に示す例では、カメラ４１の１フレーム毎に一方の照明光Ｌ１，Ｌ２の強度を切り替えて対物レンズ１６の光軸に沿う方向に離れた２つの平面内において走査することにより、照明光Ｌ１，Ｌ２を擬似的にシート状に生成している。各走査位置における試料Ａからの光を顕微鏡レンズ４２および結像レンズ４３により集光し、カメラ４１によって画像を複数枚、例えば、露光時間中に４つのパルスがくる場合に２多重を行う場合は，パルス到着毎に画像を４枚取得し、照明光Ｌ１，Ｌ２の一次独立性を利用して取得された画像を演算することにより、各照射位置に対応する２枚の蛍光画像を復調して取得することができる。これを用いれば同じ時間に異なる場所で起きている現象を同時に捉えることができる
なお、擬似的なシート状の照明光に代えて、シリンドリカルレンズを用いて生成されたシート状の照明光を採用してもよい。

１ 画像取得装置
２ 光源
３ 照明光生成部
４ 照明光学系
５ 光検出部
６ 復調部（信号光復調部）
７，７ａ，７ｂ 第１ビームスプリッタ（光分岐部）
８，８ａ，８ｂ 電気光学変調器（変調器）
Ｓ１ 照明光生成ステップ
Ｓ２ 照射ステップ
Ｓ３ 光検出ステップ
Ｓ４ 蛍光復調ステップ（信号光復調ステップ）
Ｌ１，Ｌ２，Ｌ２ａ，Ｌ２ｂ，Ｌ３，Ｌ４ 照明光の主光線
Ａ 試料

Claims (7)

1. 複数の領域を同時に照明しながら、各々の照明領域に対応する局所信号を分離して取得する画像取得装置であって、
   光源から射出された光の強度を変調し相互に一次独立なパターンを有し、変調された変調照明光と変調されていない非変調照明光とを含む複数の照明光を生成する照明光生成部と、
   該照明光生成部により生成された複数の前記照明光を試料の異なる位置に照射する照明光学系と、
   該照明光学系により前記照明光が照射された複数の照射位置において発生した信号光が合成された合成信号光を検出して合成信号を出力する光検出部と、
   該光検出部により出力された前記合成信号から、前記変調照明光に対応した復調信号と前記合成信号との積の時間積分を用いて前記変調照明光に対応する変調局所信号を分離し、前記合成信号の時間積分から前記変調局所信号の総和を差分して前記非変調照明光に対応する非変調局所信号を分離する復調部とを備える画像取得装置。
2. 前記変調照明光に対応しない前記復調信号と前記変調照明光に対応しない前記変調局所信号および前記非変調局所信号との積の時間積分がゼロである請求項１に記載の画像取得装置。
3. 前記非変調照明光に対応する前記復調信号と前記合成信号との積の時間積分が前記合成信号の時間積分である請求項２に記載の画像取得装置。
4. 前記照明光生成部が生成した複数の前記照明光の少なくとも一つの光路に光の強度を変調する変調器を備える請求項１から請求項３のいずれかに記載の画像取得装置。
5. 前記変調器を２以上備え、
   各該変調器が、相互に直交する前記復調信号を有する前記変調照明光をそれぞれ生成する請求項４に記載の画像取得装置。
6. 複数の前記照射位置を前記試料中の任意位置に配置する機能を有する請求項１から請求項３のいずれかに記載の画像取得装置。
7. 光源から射出された光の強度を変調し相互に一次独立なパターンを有し、変調された変調照明光と変調されていない非変調照明光とを含む複数の照明光を生成する照明光生成ステップと、
   該照明光生成ステップにより生成された複数の前記照明光を試料の異なる位置に照射する照射ステップと、
   該照射ステップにより前記照明光が照射された複数の照射位置において発生した信号光が合成された合成信号光を検出して合成信号を出力する光検出ステップと、
   該光検出ステップにより出力された前記合成信号から、前記変調照明光に対応した復調信号と前記合成信号との積の時間積分を用いて前記変調照明光に対応する変調局所信号を分離し、前記合成信号の時間積分から前記変調局所信号の総和を差分して前記非変調照明光に対応する非変調局所信号を分離する信号光復調ステップとを含む画像取得方法。

Images