JPWO2016157346A1 - 顕微鏡装置、観察方法、及び制御プログラム - Google Patents

Abstract

【課題】試料の損傷の蓄積を抑制可能な顕微鏡装置を提供する。【解決手段】顕微鏡装置（１）は、活性化光（Ｌ１）と励起光（Ｌ２）とを照射する照明光学系（４）と、結像光学系（５）が形成した像を撮像する撮像部（６）と、撮像部の撮像結果を用いて画像処理を行う画像処理部（７）と、制御部（４２）と、を備える顕微鏡装置であって、制御部は、画像生成期間と、中断期間とを複数設け、画像生成期間において、活性化された蛍光物質に対して励起光を照射し、活性化された蛍光物質からの蛍光の像を撮像部に複数のフレーム期間で撮像させ、中断期間における励起光の強度を、画像生成期間における強度よりも低減させ、又は中断期間における励起光の照射を停止させ、画像処理部は、複数のフレーム期間で得られた撮像結果の少なくとも一部を用いて１枚の画像を生成する。

Description

本発明は、顕微鏡装置、観察方法、及び制御プログラムに関する。

超解像顕微鏡の技術として、例えばSingle-molecule Localization Microscopy法がある。例えば、確率的光学再構築顕微鏡技術（Stochastic Optical Reconstruction Microscopy）を利用した顕微鏡装置（以下、ＳＴＯＲＭという）がある（例えば特許文献１参照）。ＳＴＯＲＭは、蛍光物質が付与された試料の観察に用いられる。蛍光物質は、例えば、活性化光の照射により活性化し、活性化した状態で励起光の照射により蛍光を発するか、または不活性化する。ＳＴＯＲＭは、例えば、蛍光物質を低密度で活性化し、活性化した蛍光物質のみを励起光の照射により発光させることで、蛍光物質の像が疎な分布の蛍光画像を取得する。蛍光画像において、蛍光物質の像は個々に分離されており、個々の像の重心位置を求めることができる。ＳＴＯＲＭは、多数の蛍光画像から得られる多数の蛍光物質の重心位置にそれぞれ像を配置することで、高分解能の画像を生成（構築）する。

米国特許出願公開第２００８／０１８２３３６号

上述のようなＳＴＯＲＭは、例えば、活性化光、高強度の励起光を連続的に照射しながら多数の蛍光画像を取得するので、試料に損傷を与える。例えば、試料が生きた細胞（ライブセル）を含む場合、高強度の励起光を連続的に照射することにより損傷が蓄積して細胞が死滅し、所望の観察ができないことがある。本発明は、上述の事情に鑑みなされたものであり、試料の損傷の蓄積を抑制可能な顕微鏡装置、観察方法、及び制御プログラムを提供することを目的とする。

本発明の第１の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光とを照射する照明光学系と、蛍光物質からの蛍光の像を形成する結像光学系と、結像光学系が形成した像を撮像する撮像部と、撮像部の撮像結果を用いて画像処理を行う画像処理部と、制御部と、を備える顕微鏡装置であって、制御部は、画像生成期間と、中断期間とを複数設け、画像生成期間において、活性化された蛍光物質に対して励起光を照射し、活性化された蛍光物質からの蛍光の像を撮像部に複数のフレーム期間で撮像させ、中断期間における励起光の強度を、画像生成期間における強度よりも低減させ、又は中断期間における励起光の照射を停止させ、画像処理部は、複数のフレーム期間で得られた撮像結果の少なくとも一部を用いて１枚の画像を生成する、ことを特徴とする顕微鏡装置が提供される。

本発明の第２の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光とを照射することと、蛍光物質からの蛍光の像を形成することと、結像光学系が形成した像を撮像することと、撮像の結果を用いて画像処理を行うことと、を含む観察方法であって、画像生成期間と、中断期間とを複数設けることと、画像生成期間において、活性化された蛍光物質に対して励起光を照射し、活性化された蛍光物質からの蛍光の像を複数のフレーム期間で撮像させることと、中断期間における励起光の強度を、画像生成期間における強度よりも低減させ、又は中断期間における励起光の照射を停止させることと、を含み、画像処理は、複数のフレーム期間で得られた撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、ことを特徴とする観察方法が提供される。

本発明の第３の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光とを照射し、蛍光物質からの蛍光の像を撮像し、撮像の結果を用いて画像処理を行う顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、制御は、画像生成期間と、中断期間とを複数設けることと、画像生成期間において、活性化された蛍光物質に対して励起光を照射し、活性化された蛍光物質からの蛍光の像を複数のフレーム期間で撮像させることと、中断期間における励起光の強度を、画像生成期間における強度よりも低減させ、又は中断期間における励起光の照射を停止させることと、を含み、画像処理は、複数のフレーム期間で得られた撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、ことを特徴とする制御プログラムが提供される。

本発明によれば、試料の損傷の蓄積を抑制可能な顕微鏡装置、観察方法、及び制御プログラムを提供することができる。

実施形態に係る顕微鏡装置の動作を示す説明図である。 細胞内過酸化水素量の時間変化を示す概念図である。 第１実施形態に係る顕微鏡装置を示す図である。 第１実施形態に係る照明と撮像のシーケンスを示す図である。 第１実施形態に係る照明と撮像のシーケンスの他の形態を示す図である。 第１実施形態に係る観察方法を示すフローチャートである。 第２実施形態に係る顕微鏡装置を示す図である。 第２実施形態に係る照明と撮像のシーケンスを示す図である。 第３実施形態に係る照明と撮像のシーケンスを示す図である。 第４実施形態に係る顕微鏡装置１を示す図である。 第４実施形態に係る照明と撮像のシーケンスを示す図である。 試料の変位を検出する処理、撮像結果を補正する処理を示す図である。 第５実施形態に係る顕微鏡装置１を示す図である。 第５実施形態に係る照明と撮像のシーケンスを示す図である。 第６実施形態に係る顕微鏡装置１を示す図である。

実施形態について説明する。実施形態に係る顕微鏡装置は、例えば、ＳＴＯＲＭ、ＰＡＬＭ等のSingle-molecule Localization Microscopy法を利用した顕微鏡装置である。実施形態に係る顕微鏡装置は、１種類の蛍光物質で標識（ラベル）された試料の蛍光観察、及び２種類以上の蛍光物質で標識された試料の蛍光観察のいずれにも利用できる。また、実施形態に係る顕微鏡装置は、２次元の超解像画像を生成するモード、及び３次元の超解像画像を生成するモードを有し、２つのモードを切り替え可能である。以下、２次元の超解像画像を生成するモードを中心に説明した後、３次元の超解像画像を生成するモードについて説明する。

試料は、生きた細胞（ライブセル）を含むものでもよいし、ホルムアルデヒド溶液等の組織固定液を用いて固定された細胞を含むものでもよく、組織等でもよい。蛍光物質は、シアニン（ｃｙａｎｉｎｅ）染料等の蛍光色素でもよいし、蛍光タンパク質でもよい。蛍光色素は、活性化された状態（以下、活性化状態という）で励起光を受けた場合に蛍光を発するレポータ色素を含む。また、蛍光色素は、活性化光を受けてレポータ色素を活性化状態にするアクティベータ色素を含む場合がある。蛍光色素がアクティベータ色素を含まない場合、レポータ色素は、活性化光を受けて活性化状態になる。蛍光色素は、例えば、２種類のシアニン（ｃｙａｎｉｎｅ）染料を結合させた染料対（例、Ｃｙ３−Ｃｙ５染料対、Ｃｙ２−Ｃｙ５染料対、Ｃｙ３−Ａｌｅｘａ Ｆｌｕｏｒ６４７染料対（Ａｌｅｘａ Ｆｌｕｏｒは登録商標））、１種類の染料（例、Ａｌｅｘａ Ｆｌｕｏｒ６４７（Ａｌｅｘａ Ｆｌｕｏｒは登録商標））である。蛍光タンパク質は、例えばＰＡ−ＧＦＰ、Ｄｒｏｎｐａなどである。

まず、実施形態に係る顕微鏡装置の動作を概略して説明する。図１は、実施形態に係る顕微鏡装置の動作を示す説明図である。顕微鏡装置は、活性化された蛍光物質に対して励起光を照射し（図１の光照射；ＯＮ）、試料に対する撮像を複数のフレーム期間Ｔｆのそれぞれで行う。なお、蛍光物質は、確率的に活性化されている。１つのフレーム期間Ｔｆは、１枚の撮像画像を生成する期間である。１つのフレーム期間Ｔｆは、例えば、電荷を蓄積する期間Ｔｆ１、及び期間Ｔｆ１に蓄積された電荷を読み出す期間Ｔｆ２を含む。なお、電荷の蓄積と電荷の読み出しとが並列に行われる場合、１つのフレーム期間Ｔｆは、蛍光に応じた電荷を蓄積する期間Ｔｆ１となる。１つのフレーム期間Ｔｆの長さは、例えば、フレームレートの逆数である。顕微鏡装置は、各フレーム期間Ｔｆの撮像結果として、撮像画像Ｐ１〜Ｐｎを生成する。撮像画像Ｐ１〜Ｐｎのそれぞれにおいて、蛍光の像Ｉｍは、低密度で離散的に分布する。顕微鏡装置は、例えば、蛍光の像Ｉｍの光強度分布をガウシアン関数等でフィッティングすること等により、蛍光の像Ｉｍの位置情報（例、重心位置Ｑ）を算出する。

顕微鏡装置は、例えば、複数の撮像画像Ｐ１〜Ｐｎから得られる多数の重心位置Ｑを用いて、１枚の画像ＳＰを生成（構築）する。画像ＳＰは、例えば、ＳＴＯＲＭ、ＰＡＬＭなどの超解像画像である。画像ＳＰの生成に使われる撮像画像Ｐ１〜Ｐｎの枚数は、例えば、予め設定されたデフォルト値、ユーザが指定する指定値などの設定値である。画像生成期間Ｔ１は、例えば、所定値の枚数の撮像画像Ｐ１〜Ｐｎを取得する期間であり、複数のフレーム期間Ｔｆを含む。図１に示されるように、画像生成期間Ｔ１において、励起光が照射されている。

また、顕微鏡装置は、複数回数の画像生成期間Ｔ１で撮像を行って複数の画像ＳＰを生成することができる。例えば、複数の画像ＳＰはそれぞれ超解像画像として利用できるが、複数の画像ＳＰをマージすることで、１枚の画像ＳＰよりも情報量が多い超解像画像を得ることができる。また、複数の画像ＳＰを連続して再生することにより、動画とすることもできる。

図２は、生きた細胞を含む試料に対して複数回数の画像生成期間Ｔ１で撮像を行う場合において、細胞内過酸化水素量の時間変化を示す概念図である。図２（Ａ）は、複数回数の画像生成期間Ｔ１で撮像を連続的に行う場合の細胞内過酸化水素量を示す図である。この場合、複数回数の画像生成期間Ｔ１が連続することになり、複数回数の画像生成期間Ｔ１にわたり、光照射が連続的に行われる（光照射；ＯＮ）。励起光等の光強度の強い光が細胞に照射されると、細胞内および細胞外環境に、例えば活性酸素が生成される。なお、活性化光の光強度は、過酸化水素量の生成に対して無視できる程度に弱い。活性酸素は、例えば、水分子と反応して過酸化水素となり、細胞に損傷を与える。光照射が連続的に行われる場合、細胞外環境では、カタラーゼを溶液中に添加するため、発生した過酸化水素を分解することができる。一方、細胞内では、過酸化水素が蓄積し、細胞内の過酸化水素量が時間経過とともに上昇する。例えば、数分程度（例、３〜５分）の間、継続的に励起光を細胞に照射すると、過酸化水素量が閾値を超えて細胞が死滅してしまう。

本願発明者は、生きた細胞に、過酸化水素を分解（無毒化）する機能があることに着目し、この分解機能を利用して、細胞が死滅するまでに照射可能な光量（光の強さと照射時間の積）の総和を増やすこと、細胞を死滅させずに光照射を行うこと等が可能であることに思い至った。例えば、細胞内小器官のペルオキシソーム内にはカタラーゼという酵素が存在する。一方、細胞内であっても、ペルオキシソーム外では、カタラーゼの量が非常に少ない。したがって、励起光等の光強度の強い光が細胞に照射されると、過酸化水素が大量に発生し、ペルオキシソーム外では、過酸化水素の分解（無毒化）が追い付かない。本願発明者は、光照射を中断すると活性酸素の発生が抑制されるのに加え、蓄積された過酸化水素が分解により減少し、観察可能な時間が増加することを思い至った。

図２（Ｂ）は、画像生成期間Ｔ１の後に、活性化光および励起光を照射しない中断期間Ｔ２（回復期間、分解期間、非画像生成期間）を設ける場合の細胞内過酸化水素量を示す図である。図２（Ｂ）において、中断期間Ｔ２の長さは、画像生成期間Ｔ１に蓄積した細胞内過酸化水素のほぼ全部を分解する時間に設定されている。この場合、中断期間Ｔ２の終了時の細胞内過酸化水素量は、画像生成期間Ｔ１の開始時の細胞内過酸化水素量と同じになり、画像生成期間Ｔ１と中断期間Ｔ２とを交互に繰り返し行うと、細胞を死滅させずに光照射を行うことができる。

図２（Ｃ）は、画像生成期間Ｔ１の後に中断期間Ｔ２を設ける場合の細胞内過酸化水素量の他の例を示す図である。図２（Ｃ）において、中断期間Ｔ２の長さは、画像生成期間Ｔ１に蓄積した細胞内過酸化水素量の一部を分解する時間に設定されている。この場合、１組の画像生成期間Ｔ１および中断期間Ｔ２における細胞内過酸化水素量の増分は、１つの画像生成期間Ｔ１における細胞内過酸化水素量の増分と比べて減少する。したがって、１組の画像生成期間Ｔ１および中断期間Ｔ２を繰り返し設ける場合に、細胞内過酸化水素量が閾値に至るまでの画像生成期間Ｔ１の数は、画像生成期間Ｔ１のみを連続的に設ける場合に、細胞内過酸化水素量が閾値に至るまでの画像生成期間Ｔ１の数よりも多くなる。よって、細胞が死滅するまでに照射可能な光量（光の強さと照射時間の積）の総和を増やすことができ、より多くの情報を取得可能になる。例えば、画像生成期間Ｔ１に増加する細胞内過酸化水素量をＵ１、中断期間Ｔ２に減少する細胞内過酸化水素量をＵ２とする。１つの画像生成期間Ｔ１と１つの中断期間とを設ける場合の細胞内過酸化水素量の増分はＵ１−Ｕ２である。細胞を死滅させずに、所定の光の強さで画像生成期間Ｔ１を設けることが可能な回数（光量）は、画像生成期間Ｔ１のみを設ける場合にＱ／Ｕ１回であるが、中断期間Ｔ２を設ける場合にＱ／（Ｕ１−Ｕ２）となり、画像生成期間Ｔ１のみを設ける場合よりも増加する。例えばＵ２＝Ｕ１／２とすると、中断期間Ｔ２を設ける場合に細胞を死滅させずに画像生成期間Ｔ１を設けることが可能な回数（光量）は、２Ｑ／Ｕ１となり、中断期間Ｔ２を設けない場合に比べて２倍になる。

なお、図２（Ｂ）、図２（Ｃ）では、上記中断期間Ｔ２において、活性化光および励起光を照射しない場合を例示して説明したが、活性化光および励起光の照射を停止せず、低減してもよい。なぜなら、活性化光および励起光の照射を停止せず、低減した場合でも同様に、活性酸素の発生が抑制され、蓄積された過酸化水素が分解により減少し、観察可能な時間が増加するからである。このことは、以下の説明でも同様である。また、上記図２（Ａ）、図２（Ｂ）、図２（Ｃ）では、活性化光および励起光を照射する場合を記載したが、活性化光の光強度は、過酸化水素量の生成に対して無視できる程度に弱い。一方、励起光の光強度は強いため、上述したように、継続して照射すると、細胞内の過酸化水素量が時間経過とともに上昇する。つまり、図２（Ｂ）、図２（Ｃ）で示したように、中断期間を設けることにより、強い強度の励起光が停止または低減されるので、上述したように、細胞が死滅するまでに照射可能な光量（光の強さと照射時間の積）の総和を増やすことができる。このことは、以下の説明でも同様である。

なお、実施形態に係る顕微鏡装置は、図２（Ａ）に示したように、複数の画像生成期間Ｔ１を連続して設けることもできる。例えば、固定化された細胞あるいは組織、生きた細胞あるいは組織などの観察を行う際に、実施形態に係る顕微鏡装置は、図２（Ａ）に示した照明と撮像のシーケンスで動作することもできる。本実施形態に係る顕微鏡装置は、例えばユーザの指定により、中断期間Ｔ２を設けるか否かを切り替えることができる。

［第１実施形態］
第１実施形態について説明する。本実施形態では、標識に用いられる蛍光色素（例、レポータ色素）が１種類である形態について説明する。図３は、本実施形態に係る顕微鏡装置１を示す図である。顕微鏡装置１は、ステージ２、光源装置３と、照明光学系４と、結像光学系５と、撮像部６と、画像処理部７と、制御装置８とを備える。制御装置８は、顕微鏡装置１の各部を包括的に制御する制御部４２を備える。

ステージ２は、観察対象の試料Ｘを保持する。ステージ２は、例えば、その上面に試料Ｘを載置可能なものである。ステージ２は、例えば、机等のように試料Ｘを移動させる機構を有さないものでもよいし、ＸＹステージのように試料Ｘを移動させる機構を有するものでもよい。顕微鏡装置１は、ステージ２を備えなくてもよい。

光源装置３は、活性化光源１０ａ、励起光源１０ｂ、シャッタ１１ａ、及びシャッタ１１ｂを備える。活性化光源１０ａは、試料Ｘに含まれる蛍光物質を活性化する活性化光Ｌ１を発する。ここでは、蛍光物質がレポータ色素を含み、アクティベータ色素を含まないものとする。蛍光物質のレポータ色素は、活性化光Ｌ１が照射されることで、蛍光を発することが可能な活性化状態となる。蛍光物質は、レポータ色素およびアクティベータ色素を含むものでもよく、この場合、アクティベータ色素は、活性化光Ｌ１を受けた場合にレポータ色素を活性状態にする。なお、蛍光物質は、例えばＰＡ−ＧＦＰ、Ｄｒｏｎｐａなどの蛍光タンパク質でもよい。

励起光源１０ｂは、試料Ｘに含まれる蛍光物質を励起する励起光Ｌ２を発する。蛍光物質は、活性化状態において励起光Ｌ２が照射されると、蛍光を発するか、不活性化される。蛍光物質は、不活性化された状態（以下、不活性化状態という）において活性化光Ｌ１が照射されると、再度、活性化状態となる。

活性化光源１０ａおよび励起光源１０ｂは、例えば、レーザ光源などの固体光源を含み、それぞれ、蛍光物質の種類に応じた波長のレーザ光を発する。活性化光源１０ａの射出波長、励起光源１０ｂの射出波長は、例えば、約４０５ｎｍ、約４５７ｎｍ、約４８８ｎｍ、約５３２ｎｍ、約５６１ｎｍ、約６４０ｎｍ、約６４７ｎｍなどから選択される。ここでは、活性化光源１０ａの射出波長が約４０５ｎｍであり、励起光源１０ｂの射出波長が約４８８ｎｍ、約５６１ｎｍ、約６４７ｎｍから選択される波長であるとする。

シャッタ１１ａは、制御部４２により制御され、活性化光源１０ａからの活性化光Ｌ１を通す状態と、活性化光Ｌ１を遮る状態とを切り替え可能である。シャッタ１１ｂは、制御部４２により制御され、励起光源１０ｂからの励起光Ｌ２を通す状態と、励起光Ｌ２を遮る状態とを切り替え可能である。

なお、顕微鏡装置１は、光源装置３の少なくとも一部を備えなくてもよい。例えば、光源装置３は、ユニット化されており、顕微鏡装置１に交換可能（取り付け可能、取り外し可能）に設けられていてもよい。例えば、光源装置３は、顕微鏡装置１による観察時などに、顕微鏡装置１に取り付けられてもよい。

照明光学系４は、活性化光Ｌ１と、励起光Ｌ２とを試料Ｘに照射する。照明光学系４は、ミラー１２、ダイクロイックミラー１３、音響光学素子１４、レンズ１５、導光部材１６、レンズ１７、レンズ１８、フィルタ１９、ダイクロイックミラー２０、及び対物レンズ２１を備える。ミラー１２は、例えば、励起光源１０ｂの射出側に設けられる。励起光源１０ｂからの励起光Ｌ２は、ミラー１２で反射し、ダイクロイックミラー１３に入射する。ダイクロイックミラー１３は、例えば、活性化光源１０ａの射出側に設けられる。ダイクロイックミラー１３は、活性化光Ｌ１が透過し、励起光Ｌ２が反射する特性を有する。ダイクロイックミラー１３を透過した活性化光Ｌ１と、ダイクロイックミラー１３で反射した励起光Ｌ２は、同じ光路を通って音響光学素子１４に入射する。音響光学素子１４は、例えば音響光学フィルタなどである。

音響光学素子１４は、制御部４２に制御され、活性化光Ｌ１の光強度および励起光Ｌ２の光強度のそれぞれを調整可能である。また、音響光学素子１４は、制御部４２に制御され、活性化光Ｌ１、励起光Ｌ２のそれぞれについて、音響光学素子１４を通る状態（以下、通光状態という）と、音響光学素子１４により遮られる状態または強度が低減される状態（以下、遮光状態という）とを切り替え可能である。例えば、蛍光物質がレポータ色素を含みアクティベータ色素を含まない場合、制御部４２は、活性化光Ｌ１の照射と励起光Ｌ２の照射とを並行して行うように、音響光学素子１４を制御する。また、蛍光物質がレポータ色素およびアクティベータ色素を含む場合、制御部４２は、例えば、活性化光Ｌ１の照射後に励起光Ｌ２を照射するように、音響光学素子１４を制御する。

レンズ１５は、例えばカプラであり、音響光学素子１４からの活性化光Ｌ１、励起光Ｌ２を導光部材１６に集光する。導光部材１６は、例えば光ファイバであり、活性化光Ｌ１、励起光Ｌ２をレンズ１７へ導く。レンズ１７は、例えばコリメータであり、活性化光Ｌ１、励起光Ｌ２を平行光に変換する。レンズ１８は、例えば、活性化光Ｌ１、励起光Ｌ２を対物レンズ２１の瞳面の位置に集光する。フィルタ１９は、例えば、活性化光Ｌ１および励起光Ｌ２が透過し、他の波長の光の少なくとも一部を遮る特性を有する。ダイクロイックミラー２０は、活性化光Ｌ１および励起光Ｌ２が反射し、試料Ｘからの光のうち所定の波長帯の光（例、蛍光）が透過する特性を有する。フィルタ１９からの光は、ダイクロイックミラー２０で反射し、対物レンズ２１に入射する。試料Ｘは、観察時に対物レンズ２１の焦点面に配置される。

活性化光Ｌ１、励起光Ｌ２は、上述のような照明光学系４により、試料Ｘに照射される。なお、上述した照明光学系４は一例であり、適宜、変更可能である。例えば、上述した照明光学系４の一部が省略されてもよい。また、照明光学系４は、光源装置３の少なくとも一部を含んでいてもよい。また、照明光学系４は、開口絞り、照野絞りなどを備えてもよい。

結像光学系５は、試料Ｘに含まれる蛍光物質からの蛍光の像を形成する。結像光学系５は、対物レンズ２１、ダイクロイックミラー２０、フィルタ２４、レンズ２５、光路切替部材２６、レンズ２７、及びレンズ２８を備える。結像光学系５は、対物レンズ２１およびダイクロイックミラー２０を照明光学系４と共用している。試料Ｘからの光は、対物レンズ２１およびダイクロイックミラー２０を通ってフィルタ２４に入射する。フィルタ２４は、試料Ｘからの光のうち所定の波長帯の光が選択的に通る特性を有する。フィルタ２４は、例えば、試料Ｘで反射した照明光、外光、迷光などを遮断する。フィルタ２４は、例えば、フィルタ１９およびダイクロイックミラー２０とユニット化され、このフィルタユニット２９は、交換可能に設けられる。フィルタユニット２９は、例えば、光源装置３から射出される光の波長（例、活性化光Ｌ１の波長、励起光Ｌ２の波長）、試料Ｘから放射される蛍光の波長などに応じて交換される。

フィルタ２４を通った光は、レンズ２５を介して光路切替部材２６に入射する。光路切替部材２６は、例えばプリズムであり、結像光学系５の光路に挿脱可能に設けられる。光路切替部材２６は、例えば、制御部４２により制御される駆動部（図示せず）によって、結像光学系５の光路に挿脱される。光路切替部材２６は、結像光学系５の光路に挿入された状態において、試料Ｘからの蛍光を内面反射によって撮像部６へ向かう光路へ導く。レンズ２７及びレンズ２８は、例えば、アフォーカル光学系を構成する。

上述のような結像光学系５は、試料Ｘと光学的に共役な位置に、蛍光の像を形成する。上述した結像光学系５は一例であり、適宜、変更可能である。例えば、上述した結像光学系５の一部が省略されてもよい。また、結像光学系５は、開口絞り、視野絞りなどを備えてもよい。

本実施形態に係る顕微鏡装置１は、観察範囲の設定などに利用される観察光学系３０を備える。観察光学系３０は、試料Ｘから観察者の視点Ｖｐに向かう順に、対物レンズ２１、ダイクロイックミラー２０、フィルタ２４、レンズ２５、ミラー３１、レンズ３２、ミラー３３、レンズ３４、レンズ３５、ミラー３６、及びレンズ３７を備える。観察光学系３０は、対物レンズ２１からレンズ２５までの構成を結像光学系５と共用している。試料Ｘからの光は、レンズ２５を通った後に、光路切替部材２６が結像光学系５の光路から退避した状態において、ミラー３１に入射する。ミラー３１で反射した光は、レンズ３２を介してミラー３３に入射し、ミラー３３で反射した後に、レンズ３４およびレンズ３５を介してミラー３６に入射する。ミラー３６で反射した光は、レンズ３７を介して、視点Ｖｐに入射する。観察光学系３０は、例えば、レンズ３５とレンズ３７との間の光路に試料Ｘの中間像を形成する。レンズ３７は、例えば接眼レンズであり、観察者は、中間像を観察することにより観察範囲の設定などを行うことができる。

撮像部６は、結像光学系５が形成した像を撮像する。撮像部６は、撮像素子４０および制御部４１を備える。撮像素子４０は、例えばＣＭＯＳイメージセンサであるが、ＣＣＤイメージセンサなどの他のイメージセンサなどでもよい。撮像素子４０は、例えば、二次元的に配列された複数の画素を有し、各画素にフォトダイオードなどの光電変換素子が配置された構造である。撮像素子４０は、例えば、光電変換素子に蓄積された電荷を、読出回路によって読み出す。撮像素子４０は、読み出された電荷をデジタルデータに変換し、画素の位置と階調値とを関連付けたデジタル形式のデータを出力する。制御部４１は、制御装置８の制御部４２から入力される制御信号に基づいて撮像素子４０を動作させ、撮像画像のデータを制御装置８に出力する。また、制御部４１は、電荷の蓄積期間と電荷の読み出し期間を制御装置８に出力する。

制御装置８は、顕微鏡装置１の各部を総括して制御する。制御装置８は、制御部４２および画像処理部７を備える。制御部４２は、制御部４１から供給される電荷の蓄積期間と電荷の読み出し期間を示す信号（撮像タイミングの情報）に基づいて、音響光学素子１4に、光源装置３からの光を通す通光状態と、光源装置３からの光を遮る遮光状態とを切り替える制御信号を供給する。音響光学素子１４は、この制御信号に基づいて、通光状態と遮光状態とを切り替える。制御部４２は、音響光学素子１４を制御し、試料Ｘに活性化光Ｌ１が照射される期間、及び試料Ｘに活性化光Ｌ１が照射されない期間を制御する。また、制御部４２は、音響光学素子１４を制御し、試料Ｘに励起光Ｌ２が照射される期間、及び、試料Ｘに励起光Ｌ２が照射されない期間を制御する。制御部４２は、音響光学素子１４を制御し、試料Ｘに照射される活性化光Ｌ１の光強度および励起光Ｌ２の光強度を制御する。制御部４２は、撮像部６を制御し、撮像素子４０に撮像を実行させる。なお、制御部４２の代わりに制御部４１は、電荷の蓄積期間と電荷の読み出し期間を示す信号（撮像タイミングの情報）に基づいて、音響光学素子１４に遮光状態と通光状態とを切り替える制御信号を供給し、音響光学素子１４を制御してもよい。制御部４２が制御する照明と撮像のシーケンスについては、後に図４等を参照しつつ説明する。制御部４２は、撮像部６から撮像結果（撮像画像のデータ）を取得する。画像処理部７は、撮像部６の撮像結果を用いて、個々の像の重心位置を求めるなどの画像処理を行う。画像処理部７は、図１に示したように、例えば、複数のフレーム期間Ｔｆで得られた撮像画像Ｐ１〜Ｐｎに含まれる複数の蛍光の像のそれぞれの重心位置を輝点で表し、複数の輝点の少なくとも一部を重ねて（マージして）１枚の画像ＳＰ（例、超解像画像）を生成する。

制御装置８は、記憶装置（記憶部）４３および表示装置（表示部）４４のそれぞれと通信可能に接続される。表示装置４４は、例えば、液晶ディスプレイなどである。表示装置４４は、例えば、顕微鏡装置１の各種設定を示す画像、撮像部６による撮像画像、撮像画像から生成された画像などの各種画像を表示する。制御部４２は、表示装置４４を制御し、表示装置４４に各種画像を表示させる。例えば、制御部４２は、画像処理部７が生成した画像（例、ＳＴＯＲＭ画像、ＰＡＬＭ画像などの超解像画像）のデータを表示装置４４に供給し、この画像を表示装置４４に表示させる。例えば、顕微鏡装置１は、観察対象の試料Ｘの超解像画像をライブ映像で表示すること等もできる。記憶装置４３は、例えば磁気ディスクや光学ディスクなどであり、顕微鏡装置１の各種設定のデータ、撮像部６による撮像画像のデータ、画像処理部７が生成した画像のデータなど各種データを記憶する。制御部４２は、例えば、記憶装置４３に記憶された超解像画像のデータを表示装置４４に供給し、超解像画像を表示装置４４に表示させることができる。制御部４２は、記憶装置４３を制御し、各種データを記憶装置４３に記憶させる。

図４（Ａ）は、試料Ｘを観察する視野が固定される場合について、本実施形態に係る照明と撮像のシーケンスを示す概念図、図４（Ｂ）は視野Ｙの説明図である。制御部４２は、画像生成期間Ｔ１において、活性化光Ｌ１および励起光Ｌ２の少なくとも一方を試料Ｘにおける視野Ｙに照射させる。視野Ｙは、例えば撮像部６における撮像素子４０の受光面と光学的に共役な領域であり、試料Ｘの一部に配置される。例えば、制御部４２は、時刻ｔ１において、活性化光Ｌ１の照射を開始（活性化光；ＯＮ）させ、時刻ｔ１から時刻ｔ２までの期間において、活性化光Ｌ１を照射させる。また、制御部４２は、時刻ｔ１において、励起光Ｌ２の照射を開始（励起光；ＯＮ）させ、時刻ｔ１から時刻ｔ２までの期間において、励起光Ｌ２を照射させる。図４の「光照射（合算）」は、活性化光と励起光の少なくとも１つが照射される状態を「ＯＮ」で表し、活性化光及び励起光が照射されない状態を「ＯＦＦ」で表したものである。制御部４２は、画像生成期間Ｔ１において、撮像部６に複数のフレーム期間Ｔｆ（図１参照）で撮像させる。画像処理部７は、時刻ｔ１から時刻ｔ２までの画像生成期間Ｔ１内の複数のフレーム期間Ｔｆにおける撮像結果の少なくとも一部を用いて、１枚の画像ＳＰを生成する。

制御部４２は、画像生成期間Ｔ１後の中断期間Ｔ２における活性化光Ｌ１および励起光Ｌ２の照射を停止、または中断期間Ｔ２における活性化光Ｌ１および励起光Ｌ２の光強度を画像生成期間Ｔ１よりも弱く（低減）する。例えば、制御部４２は、時刻ｔ２において、活性化光Ｌ１の照射を停止（活性化光；ＯＦＦ）させ、時刻ｔ２から時刻ｔ３までの期間において、活性化光Ｌ１の照射の停止を維持させる。制御部４２は、時刻ｔ２において、励起光Ｌ２の照射を停止（励起光；ＯＦＦ）させ、時刻ｔ２から時刻ｔ３までの期間において、励起光Ｌ２の照射の停止を維持させる。この場合、活性化光Ｌ１および励起光Ｌ２が試料Ｘにおける視野Ｙに照射されない中断期間Ｔ２は、時刻ｔ２から時刻ｔ３までの期間になる。中断期間Ｔ２は、例えば、複数のフレーム期間Ｔｆ（図１参照）のいずれよりも長い。中断期間Ｔ２は、画像生成期間Ｔ１よりも長くてもよいし、短くてもよい。

制御部４２は、画像生成期間Ｔ１と中断期間Ｔ２とを交互に行う。例えば、制御部４２は、時刻ｔ２から時刻ｔ３までの中断期間Ｔ２に続いて、時刻ｔ３から時刻ｔ４までの画像生成期間Ｔ１を行う。制御部４２は、時刻ｔ３から時刻ｔ４までの画像生成期間Ｔ１において、時刻ｔ１から時刻ｔ２までの画像生成期間Ｔ１と試料Ｘにおける同じ視野Ｙに対して、活性化光Ｌ１、励起光Ｌ２を照射させる。制御部４２は、時刻ｔ３から時刻ｔ４までの画像生成期間Ｔ１において、時刻ｔ１から時刻ｔ２までの画像生成期間Ｔ１と試料Ｘにおける同じ視野Ｙを撮像させる。画像処理部７は、時刻ｔ３から時刻ｔ４までの画像生成期間Ｔ１内の複数のフレーム期間Ｔｆにおける撮像結果の少なくとも一部を用いて、１枚の画像ＳＰを生成する。このように、制御部４２は、中断期間Ｔ２の前後の画像生成期間Ｔ１において、試料Ｘにおける視野Ｙに活性化光Ｌ１、励起光Ｌ２を照射させ、試料Ｘにおける視野Ｙを撮像させる。画像処理部７は、各画像生成期間Ｔ１内の複数のフレーム期間Ｔｆにおける撮像結果の少なくとも一部を用いて、１枚の画像ＳＰを生成する。制御部４２は、以下同様に画像生成期間Ｔ１と中断期間Ｔ２とを交互に繰り返し設け、画像処理部７は、複数の画像ＳＰを生成する。

図５（Ａ）は、試料Ｘを観察する視野が変更される場合について、本実施形態に係る照明と撮像のシーケンスを示す概念図、図５（Ｂ）は視野の説明図である。試料Ｘにおける視野は、例えば、初期状態でＹ１に配置され、ステージ２を移動させることで、Ｙ２、Ｙ３へ順に移動した後にＹ１へと戻る。図５（Ａ）において、「ステージ」の「Ｙ１」、「Ｙ２」、「Ｙ３」は、それぞれ、試料Ｘにおける視野が図５（Ｂ）のＹ１、Ｙ２、Ｙ３に配置された状態を表す。制御部４２は、視野がＹ１に配置された状態（ステージ；Ｙ１）において、活性化光Ｌ１および励起光Ｌ２を照射させ、撮像部６に撮像処理を行わせる。画像処理部７は、この視野（Ｙ１）における画像生成期間Ｔ１の撮像結果の少なくとも一部を用いて、１枚の画像ＳＰ（Ｙ１）を生成する。

制御部４２は、視野（Ｙ１）における画像生成期間Ｔ１の終了後に、ステージ２を制御して、試料Ｘにおける視野をＹ２に配置させる。制御部４２は、視野がＹ２に配置された状態（ステージ；Ｙ２）において、活性化光Ｌ１および励起光Ｌ２を照射させ、撮像部６に撮像処理を行わせる。画像処理部７は、この視野（Ｙ２）における画像生成期間Ｔ１の撮像結果の少なくとも一部を用いて、１枚の画像ＳＰ（Ｙ２）を生成する。制御部４２は、視野（Ｙ２）における画像生成期間Ｔ１の終了後に、ステージ２を制御して、試料Ｘにおける視野をＹ３に配置させる。制御部４２は、視野がＹ３に配置された状態（ステージ；Ｙ３）において、活性化光Ｌ１および励起光Ｌ２を照射させ、撮像部６に撮像処理を行わせる。画像処理部７は、この視野（Ｙ３）における画像生成期間Ｔ１の撮像結果の少なくとも一部を用いて、１枚の画像ＳＰ（Ｙ３）を生成する。

制御部４２は、視野（Ｙ３）における画像生成期間Ｔ１の終了後に、ステージ２を制御して、試料Ｘにおける視野をＹ１に配置させ、画像生成期間Ｔ１を再度行う。前回の画像生成期間Ｔ１と、今回の画像生成期間Ｔ１との間において、視野Ｙ１は、活性化光Ｌ１および励起光Ｌ２が照射されない状態になっている。すなわち、視野Ｙ１において、前回と今回の画像生成期間Ｔ１の間が中断期間Ｔ２になる。視野Ｙ２、視野Ｙ３についても同様に、前回と今回の画像生成期間Ｔ１の間が中断期間Ｔ２になる。

なお、制御部４２は、一連の制御において画像生成期間Ｔ１を少なくとも２回行うが、画像生成期間Ｔ１を行う回数は任意に設定される。また、複数の画像生成期間Ｔ１は、長さが同じでもよいし、異なっていてもよい。また、制御部４２は、複数の画像生成期間Ｔ１の間に中断期間Ｔ２を少なくとも１回行えばよい。例えば、制御部４２は、画像生成期間Ｔ１を２回連続で行った後、中断期間Ｔ２を行い、続いて画像生成期間Ｔ１を行ってもよい。複数の中断期間Ｔ２を行う場合、複数の中断期間Ｔ２は、長さが同じでもよいし、異なっていてもよい。

次に、上述のような顕微鏡装置１の構成に基づき、実施形態に係る観察方法を説明する。図６は、実施形態に係る観察方法を示すフローチャートである。まず、顕微鏡装置１は、前処理として、中断期間Ｔ２を行うか否かを設定する。例えば、制御部４２は、中断期間Ｔ２を行うか否かの指示をユーザに求める画像を表示装置４４に表示させ、ユーザの指示に従って中断期間Ｔ２を行うか否かを設定する。また、制御部４２は、中断期間Ｔ２を行うか否かを示す設定情報に従って、中断期間Ｔ２を行うか否かを設定してもよい。この設定情報は、例えば、予め記憶装置４３に記憶されたものでもよい。以下、中断期間Ｔ２を行う場合について説明する。

ステップＳ１において、制御部４２は、例えば音響光学素子１４を制御し、活性化光Ｌ１、励起光Ｌ２の照射を開始させ、画像生成期間Ｔ１を開始する。これにより、照明光学系４は、試料Ｘにおける視野Ｙに活性化光Ｌ１、励起光Ｌ２を照射し、結像光学系５は、試料Ｘに含まれる蛍光物質からの蛍光の像を形成する（ステップＳ２）。ステップＳ３において、制御部４２は、撮像部６を制御し、蛍光の像を撮像させる。ステップＳ４において、制御部４２は、１回の画像生成期間Ｔ１における撮像が終了したか否かを判定する。例えば、１回の画像生成期間Ｔ１におけるフレーム期間の数（撮像回数）の設定値が記憶装置４３に記憶されており、制御部４２は、ステップＳ３の撮像が完了した際に撮像回数のカウンタをインクリメントし、このカウンタと設定値との比較により、１回の画像生成期間Ｔ１における撮像が終了したか否かを判定する。制御部４２は、１回の画像生成期間Ｔ１における撮像が終了していないと判定した場合（ステップＳ４；Ｎｏ）、ステップＳ３の処理を実行させる。

制御部４２は、１回の画像生成期間Ｔ１における撮像が終了したと判定した場合（ステップＳ４；Ｙｅｓ）、例えば、ステップＳ５において、画像処理部７に１枚の超解像画像を生成させる。画像処理部７は、ステップＳ３の撮像を設定値の回数だけ繰り返して得られた撮像結果の少なくとも一部を用いて、１枚の超解像画像を生成する。また、制御部４２は、１回の画像生成期間Ｔ１における撮像が終了したと判定した場合（ステップＳ４；Ｙｅｓ）、ステップＳ６において、所定回数の画像生成期間Ｔ１が終了したか否かを判定する。例えば、画像生成期間Ｔ１の回数の設定値が記憶装置４３に記憶されており、制御部４２は、１回の画像生成期間Ｔ１における撮像が終了したと判定した場合に画像生成期間Ｔ１の回数のカウンタをインクリメントし、このカウンタと設定値との比較により、所定回数の画像生成期間Ｔ１における撮像が終了したか否かを判定する。

制御部４２は、所定回数の画像生成期間Ｔ１における撮像が終了したと判定した場合（ステップＳ７；Ｙｅｓ）、一連の処理を終了する。また、制御部４２は、所定回数の画像生成期間Ｔ１における撮像が終了していないと判定した場合（ステップＳ７；Ｎｏ）、例えば音響光学素子１４を制御し、活性化光Ｌ１および励起光Ｌ２の照射を停止または低減させ、中断期間Ｔ２を開始する。ステップＳ８において、制御部４２は、活性化光Ｌ１および励起光Ｌ２の照射を停止または低減させてから所定時間が経過したか否かを判定する。所定時間は、複数の中断期間Ｔ２で一定（固定値）でもよいし、複数の中断期間Ｔ２で異なってもよい（可変値でもよい）。例えば、中断期間Ｔ２の長さは、画像生成期間Ｔ１の長さに応じて調整されてもよい。例えば、連続する画像生成期間Ｔ１と中断期間Ｔ２との合計の長さが固定値でもよい。例えば、画像生成期間Ｔ１が長い場合、この画像生成期間Ｔ１の次の中断期間Ｔ２を短く調整してもよい。例えば、画像生成期間Ｔ１の変動分を、次の中断期間Ｔ２に吸収させるように、中断期間Ｔ２の長さを調整してもよい。また、画像生成期間Ｔ１が長い場合、この画像生成期間Ｔ１の次の中断期間Ｔ２を長く調整してもよい。制御部４２は、所定時間が経過していないと判定した場合（ステップＳ８；Ｎｏ）、例えば所定の時間間隔でステップＳ８の処理を繰り返し行う。制御部４２は、所定時間が経過したと判定した場合（ステップＳ８；Ｙｅｓ）、ステップＳ１に戻り、活性化光Ｌ１、励起光Ｌ２の照射を開始させ、次の画像生成期間Ｔ１を開始する。制御部４２は、上述の処理を繰り返すことにより、所定回数の画像生成期間Ｔ１における撮像を実行させる。

［第２実施形態］
第２実施形態について説明する。本実施形態では、標識に用いられる蛍光色素（例、レポータ色素）が２種類である形態について説明するが、蛍光色素（例、レポータ色素）の数は３種類以上でもよい。図７は、本実施形態に係る顕微鏡装置１を示す図である。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。

本実施形態において、照明光学系４は、蛍光色素（例、レポータ色素）に応じた２種類の波長の励起光を試料Ｘに照射する。光源装置３は、励起光源１０ｃおよびシャッタ１１ｃを備える。励起光源１０ｂは、第１波長の励起光Ｌ２を発生し、励起光源１０ｃは、第１波長と異なる第２波長の励起光Ｌ３を発生する。ここでは、第２波長は、第１波長よりも短波長であるとする。例えば、第１波長は６４７ｎｍであり、第２波長は５６１ｎｍである。シャッタ１１ｃは、制御部４２により制御され、励起光源１０ｃからの励起光Ｌ３を通す状態と、励起光Ｌ３を遮る状態とを切り替え可能である。照明光学系４は、励起光源１０ｃの出射側にミラー５１を備える。励起光源１０ｃからの励起光Ｌ３は、ミラー５１で反射し、ダイクロイックミラー１３に入射する。ダイクロイックミラー１３およびダイクロイックミラー２０は、励起光Ｌ３が反射する特性を有し、励起光Ｌ３は、励起光Ｌ２と同じ光路を通って、試料Ｘに照射される。

図８は、本実施形態に係る照明と撮像のシーケンスを示す概念図である。制御部４２は、第１励起光（励起光Ｌ２）と第２励起光（励起光Ｌ３）とを、画像生成期間Ｔ１において交互に照射させる。制御部４２は、画像生成期間Ｔ１内の第１の期間（以下、第１波長期間Ｔ３という）において第１励起光を照射させ、画像生成期間Ｔ１内の第２の期間（以下、第２波長期間Ｔ４という）において第２励起光を照射させる。また、制御部４２は、画像生成期間Ｔ１において、活性化光を、第１励起光または第２励起光と並行して照射させる。例えば、制御部４２は、第１波長期間Ｔ３および第２波長期間Ｔ４にわたって、活性化光を照射させる。なお、活性化光の強度は、蛍光物質に応じて調整される。例えば、活性化光の強度は、第２励起光の照射時に、第１励起光の照射時よりも強く設定される。例えば、制御部４２は、音響光学素子１４を制御し、活性化光の強度を調整する。図８の「光照射（合算）」は、活性化光、第１励起光、第２励起光の少なくとも１つが照射される状態を「ＯＮ」で表し、活性化光、第１励起光、及び第２励起光が照射されない状態を「ＯＦＦ」で表したものである。

制御部４２は、撮像部６を制御し、第１波長期間Ｔ３（第１励起光の照射時）において第１撮像処理を実行させる。制御部４２は、画像生成期間Ｔ１において、第１波長期間Ｔ３に対応して第１撮像処理を繰り返し実行させる。画像処理部７は、画像生成期間Ｔ１における複数の第１撮像処理により得られる撮像結果の少なくとも一部を用いて、第１の画像Ｐａを生成する。また、制御部４２は、撮像部６を制御し、第２波長期間Ｔ４（第２励起光の照射時）において第２撮像処理を実行させる。制御部４２は、画像生成期間Ｔ１において、第２撮像処理を繰り返し実行させる。画像処理部７は、画像生成期間Ｔ１における複数の第２撮像処理により得られる撮像結果の少なくとも一部を用いて、第２の画像Ｐｂを生成する。２種類の蛍光色素（例、レポータ色素）は、試料Ｘにおいて異なる小器官などに標識されており、第１の画像Ｐａと第２の画像Ｐｂとで異なる小器官などの画像が得られる。画像処理部７は、例えば、第１の画像Ｐａおよび第２の画像Ｐｂを合成して、１枚の画像Ｐｔを生成する。なお、画像処理部７は、例えば、第１の画像Ｐａおよび第２の画像Ｐｂを用いずに、１枚の画像Ｐｔを生成してもよい。つまり、画像生成処理部７は、複数の第１撮像処理により得られる撮像結果の少なくとも一部と、第２撮像処理により得られる撮像結果の少なくとも一部と、を用いて、１枚の画像Ｐｔを生成してもよい。このように、画像生成期間Ｔ１において、第１励起光の照射と第２励起光の照射とを、フレーム期間ごとに切り替えて交互に繰り返し行う場合、時間空間的に観察対象の蛍光物質の局在を明らかにしやすい。

［第３実施形態］
第３実施形態について説明する。本実施形態では、標識に用いられる蛍光色素（例、レポータ色素）が２種類である他の形態について説明する。蛍光色素（例、レポータ色素）の数は３種類以上でもよい。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。

図９は、本実施形態に係る照明と撮像のシーケンスを示す概念図である。制御部４２は、画像生成期間Ｔ１において、複数の第１波長期間Ｔ３を連続的に行った後、複数の第２波長期間Ｔ４を連続的に行う。制御部４２は、複数の第１波長期間Ｔ３において、第１励起光を照射させ、撮像部６により第１撮像処理を繰り返し実行させる。画像処理部７は、画像生成期間Ｔ１における複数の第１撮像処理により得られる撮像結果の少なくとも一部を用いて、第１の画像Ｐａを生成する。制御部４２は、複数の第２波長期間Ｔ４において、第２励起光を照射させ、撮像部６により第２撮像処理を繰り返し実行させる。画像処理部７は、画像生成期間Ｔ１における複数の第２撮像処理により得られる撮像結果の少なくとも一部を用いて、第２の画像Ｐｂを生成する。画像処理部７は、例えば、第１の画像Ｐａおよび第２の画像Ｐｂを合成して、１枚の画像Ｐｔを生成する。なお、画像処理部７は、例えば、第１の画像Ｐａおよび第２の画像Ｐｂを用いずに、１枚の画像Ｐｔを生成してもよい。つまり、画像生成処理部７は、複数の第１撮像処理により得られる撮像結果の少なくとも一部と、第２撮像処理により得られる撮像結果の少なくとも一部と、を用いて、１枚の画像Ｐｔを生成してもよい。このように、第１波長期間Ｔ３において２以上のフレーム期間を連続的に設け、続いて第２波長期間Ｔ４において２以上のフレーム期間を連続的に設ける場合、観察対象の蛍光物質の退色を抑制することができ、また、２種類以上の蛍光を分離しやすい。なお、顕微鏡装置１は、第２実施形態で説明したように１つのフレーム期間ごとに励起光を切り替えるモードと、本実施形態のように２以上のフレーム期間ごとに励起光を切り替えるモードと、を切り替え可能でもよい。

［第４実施形態］
第４実施形態について説明する。本実施形態では、顕微鏡装置１におけるステージ２などの変位（ドリフト量）を検出する形態について説明する。ここでは、蛍光色素（例、レポータ色素）が２種類である例を説明するが、蛍光色素（例、レポータ色素）は、１種類または３種類以上でもよい。図１０は、本実施形態に係る顕微鏡装置１を示す図である。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。

本実施形態において、照明光学系４は、試料Ｘの位置を検出するための補助光Ｌ４を照射する。例えば、試料Ｘには、試料Ｘの位置を示す基準マーカが付与され、照明光学系４は、基準マーカを検出するための補助光Ｌ４を照射する。例えば、基準マーカは、蛍光を発する蛍光ビーズなどであり、補助光Ｌ４は、基準マーカを励起する光を含む。

光源装置３は、励起光源１０ｄおよびシャッタ１１ｄを備える。励起光源１０ｄは、補助光Ｌ４を発生する。補助光Ｌ４の波長は、例えば、活性化光Ｌ１、及び励起光Ｌ２のいずれとも異なる波長に設定される。補助光Ｌ４の光強度は、例えば、励起光Ｌ２の光強度よりも弱い。シャッタ１１ｄは、制御部４２により制御され、励起光源１０ｄからの補助光Ｌ４を通す状態と、補助光Ｌ４を遮る状態とを切り替え可能である。また、音響光学素子１４は、制御部４２に制御され、補助光Ｌ４を通す通光状態と、補助光Ｌ４を遮る状態または補助光Ｌ４の強度を低減する状態（遮光状態）とを切り替える。

照明光学系４は、励起光源１０ｄの出射側にミラー５１を備える。励起光源１０ｄからの補助光Ｌ４は、ミラー５１で反射し、ダイクロイックミラー１３に入射する。ダイクロイックミラー１３およびダイクロイックミラー２０は、補助光Ｌ４が反射する特性を有し、補助光Ｌ４は、活性化光Ｌ１、及び励起光Ｌ２と同じ光路を通って、試料Ｘに照射される。

制御部４２は、試料Ｘに補助光Ｌ４を照射させ、撮像部６に撮像させ、基準マーカからの蛍光を検出させる。基準マーカからの蛍光を検出する頻度は、任意に設定される。例えば、補助光Ｌ４に応じた撮像は、励起光に応じた１つのフレーム期間の撮像ごとに行ってもよいし、励起光に応じた複数のフレーム期間のそれぞれの撮像ごとに行ってもよい。

図１１は、本実施形態に係る照明と撮像のシーケンスを示す図である。制御部４２は、期間Ｔａにおいて、活性化光Ｌ１および励起光Ｌ２を試料Ｘに照射させ、撮像部６に試料Ｘを撮像させる。活性化光Ｌ１は、蛍光物質を確率的に活性化させ、活性化された蛍光物質は、励起光Ｌ２の照射により、励起される。期間Ｔａで取得される撮像画像（Ｐｄ１〜Ｐｄｍ）は、例えば試料Ｘに含まれる蛍光物質（例えば、レポータ色素）からの蛍光の像を撮像したものであり、試料Ｘの構造を示す画像の生成に使われる。撮像部６は、各フレーム期間Ｔｆの撮像結果として、撮像画像Ｐｄ１〜Ｐｄｎを生成する。画像処理部７は、撮像画像Ｐｄ１〜Ｐｄｎの少なくとも一部を用いて１枚の画像ＳＰ（例、超解像画像）を生成する。

また、制御部４２は、期間Ｔｂにおいて、活性化光Ｌ１および励起光Ｌ２の照射を停止あるいは低減した状態で補助光Ｌ４を照射させ、撮像部６に試料Ｘを撮像させる。期間Ｔｂは、例えば、期間Ｔａの１つ前のフレーム期間Ｔｆに行われる。例えば、図１１において、最初の期間Ｔｂの撮像により撮像画像Ｐｃ１が取得され、この期間Ｔｂに続く期間Ｔａにおいて所定回数（ｍ回）のフレーム期間Ｔｆの撮像により撮像画像Ｐｄ１〜Ｐｄｍが取得され、続いて期間Ｔｂの撮像により撮像画像Ｐｃ２が取得される。この場合、補助光Ｌ４に応じた撮像画像Ｐｃ１は、励起光Ｌ２に応じた撮像画像（Ｐｄ１〜Ｐｄｍ）に対して、１／ｍの頻度で取得される。なお、所定回数（ｍ）は、任意に設定され、例えば、１、１０、１００、１０００、５０００、１００００などでもよい。図１１において、符号Ｔ６は、１回の期間Ｔｂと、この期間Ｔｂに連続する期間Ｔａとを含む期間である。制御部４２は、例えば、１回の画像生成期間Ｔ１において複数回数の期間Ｔ６を設ける。

画像処理部７は、期間Ｔｂで得られた撮像結果（例、撮像画像Ｐｃ１、Ｐｃ２）を用いて、撮像画像Ｐｃ２の次の１つの期間Ｔａで得られた撮像画像の少なくとも一部を補正する。また、画像処理部７は、複数の期間Ｔａから得られる複数の撮像画像を補正し、補正後の撮像画像の少なくとも一部を用いて１枚の画像を生成する。画像処理部７は、期間Ｔｂにおける撮像結果（撮像画像Ｐｃ１、Ｐｃ２）を用いて、変位（ドリフト量、移動量）を算出する。画像処理部７は、算出した変位を用いて、期間Ｔａにおける撮像画像を補正する。例えば、画像処理部７は、撮像画像Ｐｃ１および撮像画像Ｐｃ２から算出される変位を用いて、撮像画像Ｐｃ２から撮像画像Ｐｃ３（図１２に示す）の間に期間Ｔａに撮像される撮像画像の重心位置Ｑを補正する。画像処理部７は、例えば、補正後の多数の重心位置Ｑをマージすることにより、１枚の画像を生成（構築）する。

図１２は、試料の変位を検出する処理、撮像結果を補正する処理を示す図である。図１２において、符号Ｐｃ１〜Ｐｃｎは、補助光Ｌ４に応じた撮像画像を示す。画像処理部７は、例えば、撮像画像Ｐｃ２と撮像画像Ｐｃ３との間に撮像される撮像画像を同じ補正量で補正する。画像処理部７は、例えば、撮像画像Ｐｃ１と撮像画像Ｐｃ２を用いて、撮像画像Ｐｃ２から撮像画像Ｐｃ３の間の期間Ｔａに撮像される撮像画像の補正量を算出する。図１２において、符号Ｐｅ１の撮像画像は、撮像画像Ｐｃ１と撮像画像Ｐｃ２との間に撮像される撮像画像Ｐｄ１〜Ｐｄｍのうちの１枚を代表的に示したものである。撮像画像Ｐｅ２〜Ｐｅｎについても同様である。符号Ｐｆ２〜Ｐｆｎは、補正された画像を示す。例えば、画像Ｐｆ２は、撮像画像Ｐｅ２を補正した画像である。

撮像画像Ｐｃ１〜Ｐｃｎには、それぞれ、基準マーカからの蛍光の像Ｉｍ２が分布している。撮像画像Ｐｃ２〜Ｐｃｎには、１回前に撮像された撮像画像における蛍光の像を点線で示した。例えば、撮像画像Ｐｃ２における点線の部分は、撮像画像Ｐｃ１における蛍光の像Ｉｍ２に相当する。画像処理部７は、例えば、撮像画像Ｐｃ１と撮像画像Ｐｃ２とで対応する蛍光の像の変位Ｖ（ベクトル）をそれぞれ算出する。例えば、試料Ｘにおいて基準マーカの間隔が、変位（例、ステージ２の変位）として想定される上限値よりも大きくなるように、試料Ｘにおいて基準マーカを疎に分布させておく。そして、画像処理部７は、撮像画像Ｐｃ１と撮像画像Ｐｃ２とで最も近い蛍光の像を、同じ基準マーカに対応する蛍光の像であるものとし、対応する蛍光の像の変位を算出する。そして、画像処理部７は、複数の蛍光について変位Ｖの平均Ｖａ（ベクトル）を算出する。なお、画像処理部７は、撮像画像Ｐｃ１と撮像画像Ｐｃ２とを相対的に移動させながら画像相関を求め、最も相関係数が高くなる撮像画像Ｐｃ１と撮像画像Ｐｃ２との相対移動量を変位の平均としてもよい。

画像処理部７は、撮像画像Ｐｃ１〜Ｐｃｎのうち比較する２つの画像の双方に写っている蛍光の像を用いて、変位を求める。例えば、画像処理部７は、撮像画像Ｐｃ１と撮像画像Ｐｃ３とに同じ基準マーカに対応する蛍光の像が写っており、この蛍光の像が撮像画像Ｐｃ２に写っていない場合、この蛍光の像を用いて、撮像画像Ｐｃ１と撮像画像Ｐｃ３とで蛍光の像の変位を算出することができる。また、画像処理部７は、比較する２つの画像のうち一方のみに写っている蛍光の像を、変位の算出に用いないこともできる。

画像処理部７は、励起光Ｌ２に応じた撮像画像Ｐｅ２〜Ｐｅｎのそれぞれについて、蛍光物質の重心位置を算出する。ここでは、撮像画像Ｐｅ１が基準の画像であるものとし、撮像画像Ｐｅ２における蛍光の像の位置を補正する例を説明する。画像処理部７は、撮像画像Ｐｅ２の各蛍光の像の重心位置Ｑを算出する。そして、画像処理部７は、補正対象の撮像画像Ｐｅ２の撮像タイミングに対応する補正用の撮像画像Ｐｃ２と、基準となる撮像画像Ｐｅ１の撮像タイミングに対応する補正用の撮像画像Ｐｃ１との変位の平均Ｖａを用いて、補正を行う。補正用の撮像画像Ｐｃ２は、例えば、補正対象の撮像画像Ｐｅ２が撮像された期間Ｔａの直前の期間Ｔｂで撮像された撮像画像である。画像処理部７は、画像Ｐｆ２のように、撮像画像Ｐｅ２における蛍光の像の重心位置Ｑを、変位の平均Ｖａを反転した補正量Ｖｂ（ベクトル）だけ移動させた重心位置Ｑ２に補正する。画像処理部７は、撮像画像Ｐｅ２と同様に、撮像画像Ｐｃ２から撮像画像Ｐｃ３の間の期間Ｔａに撮像される複数の撮像画像の少なくとも一部を補正する。また、画像処理部７は、同様にして、撮像画像Ｐｃ３以降の期間Ｔａに撮像される複数の撮像画像の少なくとも一部を補正する。画像処理部７は、例えば、基準の撮像画像（例、撮像画像Ｐｄ１〜Ｐｄｍ）、及び補正された画像の少なくとも一部を用いて、１枚の画像を生成する。
なお、上記では、撮像画像Ｐｄ１からＰｄｍまでの画像をＰｃ１とＰｃ２との変位の平均Ｖａを用いて補正する場合を例示したが、Ｐｄ１からＰｄｍの複数の撮像画像に対する補正量を個別に算出してもよい。例えば、Ｐｃ１とＰｃ２の変位の量を用いて、線形補間してもよい。例えば、Ｐｃ１とＰｃ２で求められる変位の平均Ｖａを撮像画像の数 ｍで除算した値を、Ｐｄ１に対する補正量とし、以後の撮像画像は、この除算した値を撮像画像の取得順序に応じて積算した補正量としてもよい。これにより、撮像画像をより精度よく補正できる。

［第５実施形態］
第５実施形態について説明する。本実施形態では、顕微鏡装置１におけるステージ２などの変位（ドリフト量）を検出する形態について説明する。ここでは、蛍光色素（例、レポータ色素）が２種類である例を説明するが、蛍光色素（例、レポータ色素）は、１種類または３種類以上でもよい。図１３は、本実施形態に係る顕微鏡装置１を示す図である。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。

本実施形態において、照明光学系４は、試料Ｘの位置を検出するための補助光Ｌ４を照射する。例えば、試料Ｘには、試料Ｘの位置を示す基準マーカが付与され、照明光学系４は、基準マーカを検出するための補助光Ｌ４を照射する。例えば、基準マーカは、蛍光を発する蛍光ビーズなどであり、補助光Ｌ４は、基準マーカを励起する光を含む。

光源装置３は、励起光源１０ｄおよびシャッタ１１ｄを備える。励起光源１０ｄは、補助光Ｌ４を発生する。補助光Ｌ４の波長は、例えば、活性化光Ｌ１、励起光Ｌ２、及び励起光Ｌ３のいずれとも異なる波長に設定される。補助光Ｌ４の光強度は、例えば、励起光Ｌ２の光強度、及び励起光Ｌ３の光強度のいずれよりも弱い。シャッタ１１ｄは、制御部４２により制御され、励起光源１０ｄからの補助光Ｌ４を通す状態と、補助光Ｌ４を遮る状態とを切り替え可能である。また、音響光学素子１４は、制御部４２に制御され、補助光Ｌ４を通す通光状態と、補助光Ｌ４を遮る状態または補助光Ｌ４の強度を低減する状態（遮光状態）とを切り替える。

照明光学系４は、励起光源１０ｄの出射側にミラー５１を備える。励起光源１０ｄからの補助光Ｌ４は、ミラー５１で反射し、ダイクロイックミラー１３に入射する。ダイクロイックミラー１３およびダイクロイックミラー２０は、補助光Ｌ４が反射する特性を有し、補助光Ｌ４は、活性化光Ｌ１、励起光Ｌ２、及び励起光Ｌ３と同じ光路を通って、試料Ｘに照射される。

制御部４２は、試料Ｘに補助光Ｌ４を照射させ、撮像部６に撮像させ、基準マーカからの蛍光を検出させる。基準マーカからの蛍光を検出する頻度は、任意に設定される。例えば、補助光Ｌ４に応じた撮像は、励起光に応じた１つのフレーム期間の撮像ごとに行ってもよいし、励起光に応じた複数のフレーム期間のそれぞれの撮像ごとに行ってもよい。

図１４は、本実施形態に係る照明と撮像のシーケンスを示す図である。制御部４２は、画像生成期間Ｔ１に、第１波長期間Ｔ３（例、期間Ｔ１２、期間Ｔ１４、期間Ｔ１６）と、第２波長期間Ｔ４（例、期間Ｔ１８、期間Ｔ２０、期間Ｔ２２）とを設ける。画像処理部７は、第１波長期間Ｔ３における撮像部６の撮像結果の少なくとも一部と、第２波長期間Ｔ４における撮像部の撮像結果の少なくとも一部とを用いて少なくとも１枚の画像を形成する。例えば、画像処理部７は、第１波長期間Ｔ３における撮像結果の少なくとも一部を用いて第１の画像Ｐａを生成し、第２波長期間Ｔ４における撮像結果の少なくとも一部を用いて第２の画像Ｐｂを生成する。例えば、第１の画像Ｐａおよび第２の画像Ｐｂは、試料Ｘの異なる構造を表した画像である。画像処理部７は、例えば、第１の画像Ｐａおよび第２の画像Ｐｂを用いて、１枚の画像Ｐｔを生成する。画像Ｐｔは、例えば、第１の画像Ｐａと第２の画像Ｐｂとを合成した画像である。なお、画像処理部７は、例えば、第１の画像Ｐａおよび第２の画像Ｐｂを用いずに、１枚の画像Ｐｔを生成してもよい。つまり、画像生成処理部７は、複数の第１撮像処理により得られる撮像結果の少なくとも一部と、第２撮像処理により得られる撮像結果の少なくとも一部と、を用いて、１枚の画像Ｐｔを生成してもよい。以下、より詳しく説明する。

制御部４２は、第１波長期間Ｔ３（例、期間Ｔ１２）において、活性化光Ｌ１を照射させ（活性化光；ＯＮ）、励起光Ｌ２を照射させ（第１励起光；ＯＮ）、活性化された蛍光物質からの蛍光の像を撮像部６に複数のフレーム期間で連続的に撮像させる（第１撮像処理；ＯＮ）。制御部４２は、例えば、第１波長期間Ｔ３における活性化光Ｌ１の光強度（図中Ｈ１レベル）を、蛍光物質の種類に応じて調整する。制御部４２は、第１波長期間Ｔ３において撮像を連続的に行う各期間（例、期間Ｔ１２）の１つ前のフレーム期間（例、期間Ｔ１１）において、補助光Ｌ４を照射させ、基準マーカからの光の像を撮像部６に撮像させる（第３撮像処理；ＯＮ）。画像処理部７は、例えば、期間Ｔ１４における試料Ｘの位置を、期間Ｔ１４の１つ前の期間Ｔ１３の基準マーカの位置と対応付けて、撮像画像の補正を行う。例えば、画像処理部７は、期間Ｔ１２の撮像画像と期間Ｔ１４の撮像画像とで位置合わせを行う際に、期間Ｔ１１の撮像画像と期間Ｔ１３の撮像画像を用いて、期間Ｔ１１から期間Ｔ１３までの基準マーカの変位を求め、この変位の分だけ期間Ｔ１４の撮像画像を補正することにより、期間Ｔ１４の撮像画像を期間Ｔ１２の撮像画像に位置合わせすることができる。今回と前回の第１波長期間Ｔ３のドリフト量は、直前の期間Ｔ５と、さらに１回前の期間Ｔ５との比較により求まる。この処理を繰り返すことにより、基準となる第１波長期間Ｔ３に位置合わせすることができる。このように、画像処理部７は、第１波長期間Ｔ３に得られる複数の撮像画像を位置合わせし、第１の画像Ｐａを生成する。

また、制御部４２は、第２波長期間Ｔ４（例、期間Ｔ１８）において、活性化光Ｌ１を照射させ（活性化光；ＯＮ）、第２励起光Ｌ３を照射させ（第２励起光；ＯＮ）、活性化された第２の蛍光物質からの蛍光の像を撮像部６に複数のフレーム期間で連続的に撮像させる（第２撮像処理；ＯＮ）。制御部４２は、例えば、第２波長期間Ｔ４における活性化光Ｌ１の光強度（図中Ｈ２レベル）を、第２の蛍光物質の種類に応じて調整する。制御部４２は、第２波長期間Ｔ４において撮像を連続的に行う各期間（例、期間Ｔ２０）の１つ前のフレーム期間（例、期間Ｔ１９）において、補助光Ｌ４を照射させ、基準マーカからの光の像を撮像部６に撮像させる（第３撮像処理；ＯＮ）。画像処理部７は、例えば、期間Ｔ２０における試料Ｘの位置を、期間Ｔ２０の１つ前の期間Ｔ１９の基準マーカの位置と対応付けて、撮像画像の補正を行う。例えば、画像処理部７は、期間Ｔ１８の撮像画像と期間Ｔ２０の撮像画像とで位置合わせを行う際に、期間Ｔ１７の撮像画像と期間Ｔ１９の撮像画像を用いて、期間Ｔ１７から期間Ｔ１９までの基準マーカの変位を求め、この変位の分だけ期間Ｔ２０の撮像画像を補正することにより、期間Ｔ２０の撮像画像を期間Ｔ１８の撮像画像に位置合わせすることができる。なお、上記では、期間Ｔ１７から期間Ｔ１９までの基準マーカの変位の分だけ、期間Ｔ２０の撮像画像を補正する場合を例示したが、期間Ｔ１７から期間Ｔ１９までの基準マーカの変位を用いて、期間Ｔ２０の複数の撮像画像に対する補正量を個別に算出してもよい。例えば、期間Ｔ１７から期間Ｔ１９までの基準マーカの変位の量を、期間Ｔ２０の撮像画像において、線形補間してもよい。例えば、期間Ｔ１７から期間Ｔ１９までの基準マーカの変位の量を、期間Ｔ２０の撮像画像の数で除算した値を、期間Ｔ２０の１枚目の撮像画像に対する補正量とし、以後の撮像画像は、この除算した値を撮像画像の取得順序に応じて積算した補正量としてもよい。これにより、撮像画像をより精度よく補正できる。このように、画像処理部７は、第２波長期間Ｔ４に得られる複数の撮像画像を位置合わせし、第２の画像Ｐｂを生成する。また、画像処理部７は、第１の画像Ｐａの位置の基準となる撮像画像（例、期間Ｔ１２における撮像画像）と、第２の画像Ｐｂの位置となる撮像画像（例、期間Ｔ１８における撮像画像）とで生じたドリフト量を、期間Ｔ１１と期間Ｔ１７の撮像画像を用いて求め、この変位に応じた補正量で第２の画像Ｐｂを補正する。これにより、第２の画像Ｐｂを第１の画像Ｐａと位置合わせすることができ、補正後の第２の画像Ｐｂと、第１の画像Ｐａとを合成することにより、画像Ｐｔが得られる。制御部４２は、例えば、画像Ｐｔを表示装置４４に表示させる。

ところで、試料Ｘのうち第１の画像Ｐａに表される部分は、第２の画像Ｐｂに表される部分と異なる。このような場合、自己相関によりドリフト量を求めることは難しいが、本実施形態によれば、ドリフト量を精度よく求めることができる。

なお、制御部４２は、例えば図８に示したシーケンスにおいて、中断期間Ｔ２に補助光Ｌ４を照射させ、撮像部６に補助光Ｌ４に応じた蛍光の像を撮像させてもよい。補助光Ｌ４に応じた蛍光の像を撮像は、第１励起光に応じた蛍光の撮像、第２励起光に応じた蛍光の撮像と比較して少ないフレーム数でもよく、試料Ｘに与える損傷が少ない。

なお、基準マーカを照明する補助光Ｌ４が励起光でなくてもよく、顕微鏡装置１は、試料Ｘを透過した光により基準マーカを検出するものでもよい。また、この場合、試料Ｘに基準マーカが付与されていなくてもよく、例えば試料Ｘの位置と関連付けられるキズなどを検出し、試料Ｘの変位を算出することもできる。また、画像処理部７は、撮像画像の全域における変位の平均を算出し、この平均を用いて撮像画像の全域で一様に補正を行ってもよいし、撮像画像の領域（例、複数の画素）ごとに変位を算出し、領域ごとに補正を行ってもよい。これにより、例えば、結像光学系５の視野の外縁に向かうにつれて収差が大きくなる場合、収差を加味した補正を行うこともできる。

［第６実施形態］
第６実施形態について説明する。本実施形態では、３次元の超解像画像を生成するモードについて説明する。図１５は、本実施形態に係る顕微鏡装置１を示す図である。ここでは、照明、撮像のシーケンスが第１実施形態と同様であるものとするが、照明、撮像のシーケンスは、上述した各実施形態のいずれであってもよいし、上述した各実施形態を組み合わせたものでもよい。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。

本実施形態に係る結像光学系５は、光学部材５２を備える。光学部材５２は、例えば、シリンドリカルレンズである。光学部材５２は、レンズ２７とレンズ２８との間の光路に挿脱可能に設けられる。光学部材５２は、２次元の超解像画像を生成するモードにおいて結像光学系５の光路から退避しており、３次元の超解像画像を生成するモードにおいて結像光学系５の光路に挿入される。光学部材５２が結像光学系５の光路に挿入された状態において、蛍光物質からの蛍光の像は、蛍光物質が結像光学系５の合焦位置に近いほど円形に近づき、蛍光物質が結像光学系５の合焦位置から離れるほど扁平率（楕円率）が高くなる。また、蛍光物質が結像光学系５の合焦位置に対して前ピン側に存在する場合と、後ピン側に存在する場合とで、楕円の長軸と短軸の方向が反転するため、扁平率と楕円の長軸、短軸の向きから、合焦位置に対するずれ量およびずれの向きが分かる。顕微鏡装置１は、例えば、キャリブレーションなどによって、予め取得された扁平率と合焦位置に対するずれ量との関係を用いて、結像光学系５の光軸方向における蛍光物質の位置を算出することができる。

なお、第４実施形態、第５実施形態で説明した基準マーカからの光（例、蛍光）の像を撮像する場合も同様であり、この像の扁平率と楕円の長軸、短軸の向きから、結像光学系５の光軸方向における試料Ｘの変位を算出することもできる。また、画像処理部７は、結像光学系５の光軸方向における試料Ｘの変位を用いて、補正を行うこともできる。
なお、第１実施形態、第２実施形態で説明した画像生成期間と中断期間とを設ける場合と、第４実施形態、第５実施形態で説明した基準マーカからの光（例、蛍光）の像を撮像する場合、とを組み合わせることもできる。この場合、例えば、基準マーカの変位の量を線形補間するに当たっては、画像生成期間に撮影された撮像画像のタイミングを利用して補正量を算出してもよい。

上述の実施形態において、制御装置８は、例えばコンピュータシステムを含む。制御装置８は、記憶装置４３に記憶されている制御プログラムを読み出し、この制御プログラムに従って各種の処理を実行する。この制御プログラムは、例えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光とを照射し、蛍光物質からの蛍光の像を撮像し、撮像の結果を用いて画像処理を行う顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、制御は、画像生成期間と、中断期間とを複数設けることと、画像生成期間において、活性化された蛍光物質に対して励起光を照射し、活性化された蛍光物質からの蛍光の像を複数のフレーム期間で撮像させることと、中断期間における励起光の強度を、画像生成期間における強度よりも低減させ、又は中断期間における励起光の照射を停止させることと、を含み、画像処理は、複数のフレーム期間で得られた撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む。このプログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。

なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。

１・・・顕微鏡装置、４・・・照明光学系、５・・・結像光学系、６・・・撮像部
７・・・画像処理部、４２・・・制御部、Ｘ・・・試料

Claims (19)

1. 試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光とを照射する照明光学系と、
   前記蛍光物質からの蛍光の像を形成する結像光学系と、
   前記結像光学系が形成した像を撮像する撮像部と、
   前記撮像部の撮像結果を用いて画像処理を行う画像処理部と、
   制御部と、を備える顕微鏡装置であって、
   前記制御部は、
   画像生成期間と、中断期間とを複数設け、
   前記画像生成期間において、前記活性化された蛍光物質に対して前記励起光を照射し、前記活性化された蛍光物質からの蛍光の像を前記撮像部に複数のフレーム期間で撮像させ、
   前記中断期間における前記励起光の強度を、前記画像生成期間における強度よりも低減させ、又は前記中断期間における前記励起光の照射を停止させ、
   前記画像処理部は、
   前記複数のフレーム期間で得られた撮像結果の少なくとも一部を用いて１枚の画像を生成する、
   ことを特徴とする顕微鏡装置。
2. 前記制御部は、前記画像生成期間と、中断期間とを交互に設ける、
   ことを特徴とする
   請求項１に記載の顕微鏡装置。
3. 前記中断期間は、前記複数のフレーム期間のいずれよりも長い、
   ことを特徴とする請求項１又は２に記載の顕微鏡装置。
4. 前記中断期間は、前記画像生成期間よりも長い、
   ことを特徴とする請求項１〜３のいずれか１項に記載の顕微鏡装置。
5. 前記制御部は、
   前記複数の画像生成期間の少なくとも１つの画像生成期間において、第１の期間と第２の期間とを設け、
   前記第１の期間において、第１波長の前記励起光を照射させ、前記活性化された蛍光物質からの蛍光の像を前記撮像部に複数のフレーム期間で撮像させ、
   前記第２の期間において、第２波長の前記励起光を照射させ、前記活性化された蛍光物質からの蛍光の像を前記撮像部に複数のフレーム期間で撮像させ、
   前記画像処理部は、前記第１の期間における前記撮像部の撮像結果の少なくとも一部と、前記第２の期間における前記撮像部の撮像結果の少なくとも一部とを用いて少なくとも１枚の画像を形成する、
   ことを特徴とする請求項１〜請求項４のいずれか一項に記載の顕微鏡装置。
6. 前記画像処理部は、
   前記第１の期間における前記撮像部の撮像結果の少なくとも一部および前記第２の期間における前記撮像部の撮像結果の少なくとも一部を用いて１枚の画像を生成する、
   ことを特徴とする請求項５に記載の顕微鏡装置。
7. 前記画像処理部は、
   前記第１の期間における前記撮像部の撮像結果の少なくとも一部を用いて第１の画像を形成し、前記第２の期間における前記撮像部の撮像結果の少なくとも一部を用いて第２の画像を形成する、
   ことを特徴とする請求項５に記載の顕微鏡装置。
8. 前記画像処理部は、前記第１の画像および前記第２の画像を用いて１枚の画像を生成する、
   ことを特徴とする請求項７に記載の顕微鏡装置。
9. 前記制御部は、
   基準マーカの位置を検出するための補助光を前記照明光学系から照射させ、前記基準マーカからの光の像を前記撮像部に撮像させる処理を、複数回実行させる、
   ことを特徴とする請求項５〜８のいずれか１項に記載の顕微鏡装置。
10. 前記補助光の光強度は、前記励起光の光強度よりも弱い、
    ことを特徴とする請求項９に記載の顕微鏡装置。
11. 前記画像処理部は、
    前記基準マーカからの光に応じた撮像結果の少なくとも一部を用いて、前記第１の期間における前記撮像部の撮像結果を補正し、前記第２の期間における前記撮像部の撮像結果を補正する、
    ことを特徴とする請求項９または１０に記載の顕微鏡装置。
12. 前記画像処理部は、前記第１の期間における前記撮像部の撮像結果から得られる画像と、前記第２の期間における前記撮像部の撮像結果から得られる画像との位置関係を補正する、
    ことを特徴とする請求項９〜１１のいずれか一項に記載の顕微鏡装置。
13. 前記制御部は、
    前記複数の画像生成期間の少なくとも１つの画像生成期間において、第１の期間と第２の期間とを複数設け、
    前記第１の期間において、第１波長の前記励起光を照射させ、前記試料からの光を前記撮像部に１つのフレーム期間で撮像させ、
    前記第２の期間において、第２波長の前記励起光を照射させ、前記試料からの光を前記撮像部に１つのフレーム期間で撮像させ、
    前記画像処理部は、前記複数の第１の期間における前記撮像部の撮像結果の少なくとも一部と、前記複数の第２の期間における前記撮像部の撮像結果の少なくとも一部とを用いて、少なくとも１枚の画像を形成する
    ことを特徴とする請求項１〜請求項４のいずれか一項に記載の顕微鏡装置。
14. 前記制御部は、
    前記画像生成期間において、前記第１の期間と前記第２の期間とを交互に設ける
    ことを特徴とする請求項１３に記載の顕微鏡装置。
15. 前記画像処理部は、
    前記複数の第１の期間における前記撮像部の撮像結果の少なくとも一部および前記複数の第２の期間における前記撮像部の撮像結果の少なくとも一部を用いて１枚の画像を形成する
    ことを特徴とする請求項１３または１４に記載の顕微鏡装置。
16. 前記画像処理部は、前記複数の第１の期間における前記撮像部の撮像結果を用いて第１の画像を形成し、前記複数の第２の期間における前記撮像部の撮像結果を用いて第２の画像を形成する、
    ことを特徴とする請求項１３または１４に記載の顕微鏡装置。
17. 前記画像処理部は、前記第１の画像および前記第２の画像を用いて前記１枚の画像を生成する、
    ことを特徴とする請求項１６に記載の顕微鏡装置。
18. 試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光とを照射することと、
    前記蛍光物質からの蛍光の像を形成することと、
    前記結像光学系が形成した像を撮像することと、
    前記撮像の結果を用いて画像処理を行うことと、を含む観察方法であって、
    画像生成期間と、中断期間とを複数設けることと、
    前記画像生成期間において、前記活性化された蛍光物質に対して前記励起光を照射し、前記活性化された蛍光物質からの蛍光の像を複数のフレーム期間で撮像させることと、
    前記中断期間における前記励起光の強度を、前記画像生成期間における強度よりも低減させ、又は前記中断期間における前記励起光の照射を停止させることと、を含み、
    前記画像処理は、
    前記複数のフレーム期間で得られた撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、
    ことを特徴とする観察方法。
19. 試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光とを照射し、前記蛍光物質からの蛍光の像を撮像し、前記撮像の結果を用いて画像処理を行う顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、
    前記制御は、
    画像生成期間と、中断期間とを複数設けることと、
    前記画像生成期間において、前記活性化された蛍光物質に対して前記励起光を照射し、前記活性化された蛍光物質からの蛍光の像を複数のフレーム期間で撮像させることと、
    前記中断期間における前記励起光の強度を、前記画像生成期間における強度よりも低減させ、又は前記中断期間における前記励起光の照射を停止させることと、を含み、
    前記画像処理は、
    前記複数のフレーム期間で得られた撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、
    ことを特徴とする制御プログラム。
    

Images