JPWO2016157345A1 - 顕微鏡装置、観察方法、及び制御プログラム - Google Patents

Abstract

【課題】顕微鏡の変位を精度よく検出可能な顕微鏡装置を提供する。【解決手段】顕微鏡装置（１）は、撮像部（６）と、画像処理部（７）と、制御部（４２）と、を備え、制御部は、第１の期間において、励起光を照射させ、活性化された蛍光物質からの蛍光の像を撮像部に複数のフレーム期間で撮像させ、第２の期間において、補助光を基準マーカに対して照射させ、基準マーカからの蛍光の像を撮像部に撮像させ、第２の期間における励起光の照射を停止させ、または、第２の期間における励起光の強度を第１の期間より低減させ、第１の期間における補助光の照射を停止させ、または、第１の期間における補助光の強度を第２の期間より低減させ、画像処理部は、第２の期間で得られた撮像結果を用いて、第１の期間で得られた撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成する。

Description

本発明は、顕微鏡装置、観察方法、及び制御プログラムに関する。

超解像顕微鏡の技術として、例えばSingle-molecule Localization Microscopy法がある。例えば、確率的光学再構築顕微鏡技術（Stochastic Optical Reconstruction Microscopy）を利用した顕微鏡装置（以下、ＳＴＯＲＭという）がある（例えば特許文献１参照）。ＳＴＯＲＭは、蛍光物質が付与された試料の観察に用いられる。蛍光物質は、例えば、活性化光の照射により活性化し、活性化した状態で励起光の照射により蛍光を発するか、または不活性化する。ＳＴＯＲＭは、例えば、蛍光物質を低密度で活性化し、活性化した蛍光物質のみを励起光の照射により発光させることで、蛍光の分布が疎な蛍光画像を取得する。蛍光画像において、蛍光物質の像は個々に分離され、個々の像の重心位置を求めることができる。ＳＴＯＲＭは、多数の蛍光画像から得られる多数の蛍光物質の位置にそれぞれ像を配置することで、高分解能の画像を得ることができる。また、時間経過とともに動く試料の観察において、蛍光ビーズなどの基準マーカを用いて、変位（ドリフト量）を算出する技術が提案されている。

米国特許出願公開第２００８／０１８２３３６号

蛍光ビーズなどの基準マーカは、試料の観察用の蛍光物質と比較して、強い蛍光を発する。例えば、観察用の蛍光物質に合わせて活性化光、励起光の照射条件を設定すると、基準マーカから発せられた蛍光をカメラで検出した際に検出値が飽和し、顕微鏡におけるステージ等の変位（ドリフト量）の検出精度が低下する。本発明は、上述の事情に鑑みなされたものであり、顕微鏡の変位（ドリフト量）を精度よく検出し、ひいては試料の挙動を精度よく検出可能な顕微鏡装置、観察方法、及び制御プログラムを提供することを目的とする。

本発明の第１の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射する照明光学系と、蛍光物質からの蛍光の像を形成する結像光学系と、結像光学系が形成した像を撮像する撮像部と、撮像部の撮像結果を用いて画像処理を行う画像処理部と、撮像部を制御する制御部と、を備える顕微鏡装置であって、制御部は、第１の期間において、活性化された蛍光物質に対して励起光を照射させ、活性化された蛍光物質からの蛍光の像を撮像部に複数のフレーム期間で撮像させ、第２の期間において、補助光を基準マーカに対して照射させ、基準マーカからの蛍光の像を撮像部に撮像させ、第２の期間における励起光の照射を停止させ、または、第２の期間における励起光の強度を第１の期間より低減させ、第１の期間における補助光の照射を停止させ、または、第１の期間における補助光の強度を第２の期間より低減させ、画像処理部は、第２の期間で得られた撮像結果を用いて、第１の期間で得られた撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成する、ことを特徴とする顕微鏡装置が提供される。

本発明の第２の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射する照明光学系と、蛍光物質からの蛍光の像を形成する結像光学系と、結像光学系が形成した像を撮像する撮像部と、撮像部の撮像結果を用いて画像処理を行う画像処理部と、撮像部を制御する制御部と、を備える顕微鏡装置であって、撮像部は、第１撮像部および第２撮像部を備え、結像光学系は、活性化された蛍光物質からの蛍光の像を第１撮像部に形成し、基準マーカからの蛍光の像を第２撮像部に形成し、制御部は、活性化された蛍光物質に対して励起光を照射させ、活性化された蛍光物質からの光を第１撮像部に複数のフレーム期間で撮像させ、補助光を基準マーカに対して照射させ、基準マーカからの蛍光の像を第２撮像部に撮像させ、画像処理部は、第２撮像部の撮像結果を用いて、第１撮像部の撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成する、ことを特徴とする顕微鏡装置が提供される。

本発明の第３の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射する照明光学系と、蛍光物質からの蛍光の像を形成する結像光学系と、結像光学系が形成した像を撮像する撮像部と、撮像部の撮像結果を用いて画像処理を行う画像処理部と、撮像部を制御する制御部と、を備える顕微鏡装置であって、結像光学系は、活性化された蛍光物質からの蛍光の像を撮像部の第１撮像領域に形成し、基準マーカからの蛍光の像を撮像部の第２撮像領域に形成し、制御部は、活性化された蛍光物質に対して励起光を照射させ、基準マーカに対して補助光を照射させ、撮像部に複数のフレーム期間で撮像させ、画像処理部は、第２撮像領域で得られる撮像結果を用いて、第１撮像領域で得られる撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成する、ことを特徴とする顕微鏡装置が提供される。

本発明の第４の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光とを照射する照明光学系と、蛍光物質からの蛍光の像を形成する結像光学系と、結像光学系が形成した像を撮像する撮像部と、撮像部の撮像結果を用いて画像処理を行う画像処理部と、撮像部を制御する制御部と、を備える顕微鏡装置であって、撮像部は、ＣＭＯＳイメージセンサを含み、制御部は、撮像部の露光効率、撮像部の撮像結果のうち画像処理に用いられるフレーム期間の比率、及び活性化光の照射タイミングと励起光の照射タイミングとの関係の少なくとも１つに基づいて、撮像部のフレーム期間における励起光の照射期間を設定し、活性化された蛍光物質に対して励起光を照射させ、活性化された蛍光物質からの蛍光の像を撮像部に複数のフレーム期間で撮像させ、画像処理部は、撮像部の撮像結果の少なくとも一部を用いて、１枚の画像を生成する、ことを特徴とする顕微鏡装置が提供される。

本発明の第５の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射することと、蛍光物質からの蛍光の像を形成することと、像を撮像することと、撮像の結果を用いて画像処理を行うことと、撮像を制御することと、を含む観察方法であって、制御は、第１の期間において、活性化された蛍光物質に対して励起光を照射させ、活性化された蛍光物質からの蛍光の像を複数のフレーム期間で撮像させることと、第２の期間において、補助光を基準マーカに対して照射させ、基準マーカからの蛍光の像を撮像させることと、第２の期間における励起光の照射を停止させること、または、第２の期間における励起光の強度を第１の期間より低減させることと、第１の期間における補助光の照射を停止させること、または、第１の期間における補助光の強度を第２の期間より低減させることと、を含み、画像処理は、第２の期間で得られた撮像結果を用いて、第１の期間で得られた撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、ことを特徴とする観察方法が提供される。

本発明の第６の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射することと、蛍光物質からの蛍光の像を結像光学系によって形成することと、像を撮像部によって撮像することと、撮像の結果を用いて画像処理を行うことと、撮像を制御することと、を含む観察方法であって、撮像部は、第１撮像部および第２撮像部を備え、結像光学系は、活性化された蛍光物質からの蛍光の像を第１撮像部に形成し、基準マーカからの蛍光の像を第２撮像部に形成し、制御は、活性化された蛍光物質に対して励起光を照射させ、活性化された蛍光物質からの光を第１撮像部に複数のフレーム期間で撮像させることと、補助光を基準マーカに対して照射させ、基準マーカからの蛍光の像を第２撮像部に撮像させることと、を含み、画像処理は、第２撮像部の撮像結果を用いて、第１撮像部の撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、ことを特徴とする観察方法が提供される。

本発明の第７の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射することと、蛍光物質からの蛍光の像を結像光学系によって形成することと、像を撮像部によって撮像することと、撮像の撮像結果を用いて画像処理を行うことと、撮像を制御することと、を含む観察方法であって、結像光学系は、活性化された蛍光物質からの蛍光の像を撮像部の第１撮像領域に形成し、基準マーカからの蛍光の像を撮像部の第２撮像領域に形成し、制御は、活性化された蛍光物質に対して励起光を照射させ、基準マーカに対して補助光を照射させ、撮像部に複数のフレーム期間で撮像させることを含み、画像処理は、第２撮像領域で得られる撮像結果を用いて、第１撮像領域で得られる撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、ことを特徴とする観察方法が提供される。

本発明の第８の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光とを照射することと、蛍光物質からの蛍光の像を形成することと、像を撮像部によって撮像することと、撮像の結果を用いて画像処理を行うことと、撮像を制御することと、を含む観察方法であって、撮像部は、ＣＭＯＳイメージセンサを含み、制御は、撮像部の露光効率、撮像部の撮像結果のうち画像処理に用いられるフレーム期間の比率、及び活性化光の照射タイミングと励起光の照射タイミングとの関係の少なくとも１つに基づいて、撮像部のフレーム期間における励起光の照射期間を設定し、活性化された蛍光物質に対して励起光を照射させることと、活性化された蛍光物質からの蛍光の像を撮像部に複数のフレーム期間で撮像させることと、を含み、画像処理は、撮像の結果の少なくとも一部を用いて、１枚の画像を生成することを含む、ことを特徴とする観察方法が提供される。

本発明の第９の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射し、蛍光物質からの蛍光の像を形成し、像を撮像し、撮像の結果を用いて画像処理を行い、撮像を制御する顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、顕微鏡装置の制御は、第１の期間において、活性化された蛍光物質に対して励起光を照射させ、活性化された蛍光物質からの蛍光の像を複数のフレーム期間で撮像させることと、第２の期間において、補助光を基準マーカに対して照射させ、基準マーカからの蛍光の像を撮像させることと、第２の期間における励起光の照射を停止させること、または、第２の期間における励起光の強度を第１の期間より低減させることと、第１の期間における補助光の照射を停止させること、または、第１の期間における補助光の強度を第２の期間より低減させることと、を含み、画像処理は、第２の期間で得られた撮像結果を用いて、第１の期間で得られた撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、ことを特徴とする制御プログラムが提供される。

本発明の第１０の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射し、蛍光物質からの蛍光の像を結像光学系によって形成し、像を撮像部によって撮像し、撮像の結果を用いて画像処理を行い、撮像を制御する顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、撮像部は、第１撮像部および第２撮像部を備え、結像光学系は、活性化された蛍光物質からの蛍光の像を第１撮像部に形成し、基準マーカからの蛍光の像を第２撮像部に形成し、顕微鏡装置の制御は、活性化された蛍光物質に対して励起光を照射させ、活性化された蛍光物質からの光を第１撮像部に複数のフレーム期間で撮像させることと、補助光を基準マーカに対して照射させ、基準マーカからの蛍光の像を第２撮像部に撮像させることと、を含み、画像処理は、第２撮像部の撮像結果を用いて、第１撮像部の撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、ことを特徴とする制御プログラムが提供される。

本発明の第１１の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射し、蛍光物質からの蛍光の像を結像光学系によって形成し、像を撮像部によって撮像し、撮像の撮像結果を用いて画像処理を行い、撮像を制御する顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、結像光学系は、活性化された蛍光物質からの蛍光の像を撮像部の第１撮像領域に形成し、基準マーカからの蛍光の像を撮像部の第２撮像領域に形成し、顕微鏡装置の制御は、活性化された蛍光物質に対して励起光を照射させ、基準マーカに対して補助光を照射させ、撮像部に複数のフレーム期間で撮像させることを含み、画像処理は、第２撮像領域で得られる撮像結果を用いて、第１撮像領域で得られる撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、ことを特徴とする制御プログラムが提供される。

本発明の第１２の態様に従えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光とを照射し、蛍光物質からの蛍光の像を形成し、像を撮像部によって撮像し、撮像の結果を用いて画像処理を行い、撮像を制御する顕微鏡装置を制御する制御プログラムであって、撮像部は、ＣＭＯＳイメージセンサを含み、顕微鏡装置の制御は、撮像部の露光効率、撮像部の撮像結果のうち画像処理に用いられるフレーム期間の比率、及び活性化光の照射タイミングと励起光の照射タイミングとの関係の少なくとも１つに基づいて、撮像部のフレーム期間における励起光の照射期間を設定し、活性化された蛍光物質に対して励起光を照射させることと、活性化された蛍光物質からの蛍光の像を撮像部に複数のフレーム期間で撮像させることと、を含み、画像処理は、撮像の結果の少なくとも一部を用いて、１枚の画像を生成することを含む、ことを特徴とする制御プログラムが提供される。

本発明によれば、顕微鏡の変位を精度よく検出し、ひいては試料の挙動を精度よく検出可能な顕微鏡装置、観察方法、及び制御プログラムを提供することができる。

第１実施形態に係る顕微鏡装置を示す図である。 第１実施形態に係る照明と撮像のシーケンスを示す図である。 第１の期間および第２の期間の照明と撮像のシーケンスを示す図である。 試料の変位を検出する処理、撮像結果を補正する処理を示す図である。 第１実施形態に係る観察条件の設定処理を示すフローチャートである。 第１実施形態に係る観察方法を示すフローチャートである。 第２実施形態に係る顕微鏡装置を示す図である。 第２実施形態に係る照明と撮像のシーケンスを示す図である。 第２実施形態に係る照明と撮像のシーケンスの他の形態を示す図である。 第３実施形態に係る顕微鏡装置を示す図である。 第３実施形態に係る撮像部および結像光学系の一部を示す図である。 第３実施形態に係る照明と撮像のシーケンスを示す図である。 第３実施形態に係る照明と撮像のシーケンスの他の形態を示す図である。 第３実施形態に係る照明と撮像のシーケンスの他の形態を示す図である。 第３実施形態に係る照明と撮像のシーケンスの他の形態を示す図である。 第３実施形態に係る観察条件の設定処理を示すフローチャートである。 第３実施形態に係る観察方法を示すフローチャートである。 第４実施形態に係る顕微鏡装置を示す図である。 第４実施形態に係る撮像部および結像光学系の一部を示す図である。 第５実施形態に係るローリングシャッタ照明の説明図である。 第５実施形態に係るグローバル露光照明の説明図である。 第５実施形態に係る観察方法を示すフローチャートである。 第６実施形態に係る照明と撮像のシーケンスを示す図である。 第６実施形態に係る観察方法を示すフローチャートである。 第７実施形態に係る顕微鏡装置を示す図である。

［第１実施形態］
第１実施形態について説明する。実施形態に係る顕微鏡装置は、例えば、ＳＴＯＲＭ、ＰＡＬＭ等のSingle-molecule Localization Microscopy法を利用した顕微鏡装置である。本実施形態では、試料の標識に用いられるレポータ色素が１種類であって、レポータ色素からの蛍光の検出と試料の位置の検出とを時分割で行う形態について説明する。図１は、第１実施形態に係る顕微鏡装置１を示す図である。顕微鏡装置１は、ステージ２、光源装置３と、照明光学系４と、結像光学系５と、撮像部６と、制御装置８とを備える。制御装置８は、画像処理部７と、制御部４２とを備える。

ステージ２は、観察対象の試料Ｘを保持する。ステージ２は、例えば、その上面に試料Ｘを載置可能なものである。ステージ２は、例えば、机等のように試料Ｘを移動させる機構を有さないものでもよいし、ＸＹステージのように試料Ｘを移動させる機構を有するものでもよい。顕微鏡装置１は、ステージ２を備えなくてもよい。

試料Ｘは、生きた細胞（ライブセル）を含むものでもよいし、ホルムアルデヒド溶液等の組織固定液を用いて固定された細胞を含むものでもよく、組織等でもよい。蛍光物質は、シアニン（cyanine）染料等の蛍光色素でもよいし、蛍光タンパク質でもよい。蛍光色素は、活性化された状態（以下、活性化状態という）で励起光を受けた場合に蛍光を発するレポータ色素を含む。また、蛍光色素は、活性化光を受けてレポータ色素を活性化状態にするアクティベータ色素を含む場合がある。蛍光色素がアクティベータ色素を含まない場合、レポータ色素は、活性化光を受けて活性化状態になる。蛍光色素は、例えば、２種類のシアニン（cyanine）染料を結合させた染料対（例、Ｃｙ３−Ｃｙ５染料対、Ｃｙ２−Ｃｙ５染料対、Ｃｙ３−Ａｌｅｘａ Ｆｌｕｏｒ６４７染料対（Ａｌｅｘａ Ｆｌｕｏｒは登録商標））、１種類の染料（例、Ａｌｅｘａ Ｆｌｕｏｒ６４７（Ａｌｅｘａ Ｆｌｕｏｒは登録商標））である。蛍光タンパク質は、例えばＰＡ−ＧＦＰ、Ｄｒｏｎｐａなどである。

光源装置３は、活性化光源１０ａ、励起光源１０ｂ、励起光源１０ｄ、シャッタ１１ａ、シャッタ１１ｂ、及びシャッタ１１ｄを備える。活性化光源１０ａは、試料Ｘに含まれる蛍光物質を活性化する活性化光Ｌ１を発する。蛍光物質は、例えば、生きた細胞において抗体を介して細胞膜タンパク質と結合したもの、固定化された細胞内に存在するもの等である。活性化光Ｌ１は、試料Ｘに含まれるレポータ色素を活性化する。ここでは、蛍光物質がレポータ色素を含み、アクティベータ色素を含まないものとする。蛍光物質のレポータ色素は、活性化光Ｌ１が照射されることで、蛍光を発することが可能な活性化状態となる。蛍光物質は、レポータ色素およびアクティベータ色素を含むものでもよく、この場合、アクティベータ色素は、活性化光Ｌ１を受けた場合にレポータ色素を活性化状態にする。

励起光源１０ｂは、試料Ｘに含まれる蛍光物質を励起する第１波長の励起光（以下、第１励起光Ｌ２という）を発する。蛍光物質は、活性化状態において第１励起光Ｌ２が照射されると、蛍光を発するか、不活性化される。蛍光物質は、不活性化された状態（以下、不活性化状態という）において活性化光Ｌ１が照射されると、再度、活性化状態となる。

励起光源１０ｄは、ステージ２等の顕微鏡の変位（ドリフト量）を検出するための補助光Ｌ４を発する。例えば、試料Ｘには、顕微鏡の変位（ドリフト量）を検出するための基準マーカが付与され、補助光は基準マーカの検出に利用される。基準マーカは、例えば、蛍光ビーズなどのように蛍光物質を含むものであり、補助光は、基準マーカを励起する。基準マーカは、例えば、活性化光が照射されなくとも補助光Ｌ４の照射により蛍光を発する。

活性化光源１０ａ、励起光源１０ｂ、励起光源１０ｄは、例えば、それぞれ、レーザ光源などの固体光源を含み、蛍光物質の種類に応じた波長のレーザ光を発する。活性化光源１０ａの射出波長、励起光源１０ｂの射出波長は、例えば、約４０５ｎｍ、約４５７ｎｍ、約４８８ｎｍ、約５３２ｎｍ、約５６１ｎｍ、約６４０ｎｍ、約６４７ｎｍなどから選択される。励起光源１０ｄの射出波長は、例えば活性化光源１０ａ、励起光源１０ｂと異なるが、同じでもよい。ここでは、活性化光源１０ａの射出波長が約４０５ｎｍであり、励起光源１０ｂの射出波長が約４８８ｎｍ、約５６１ｎｍ、約６４７ｎｍから選択される波長であるとする。

シャッタ１１ａは、制御部４２により制御され、活性化光源１０ａからの活性化光Ｌ１を通す状態と、活性化光Ｌ１を遮る状態とを切り替え可能である。シャッタ１１ｂは、制御部４２により制御され、励起光源１０ｂからの第１励起光Ｌ２を通す状態と、第１励起光Ｌ２を遮る状態とを切り替え可能である。シャッタ１１ｄは、制御部４２により制御され、励起光源１０ｄからの補助光Ｌ４を通す状態と、補助光Ｌ４を遮る状態とを切り替え可能である。

なお、顕微鏡装置１は、光源装置３の少なくとも一部を備えなくてもよい。例えば、光源装置３は、ユニット化されており、顕微鏡装置１に交換可能（取り付け可能、取り外し可能）に設けられていてもよい。例えば、光源装置３は、顕微鏡装置１による観察時などに、顕微鏡装置１に取り付けられてもよい。

照明光学系４は、活性化光Ｌ１と、第１励起光Ｌ２と、補助光Ｌ４とを試料Ｘに照射する。照明光学系４は、ダイクロイックミラー１２、ミラー５１、ダイクロイックミラー１３、音響光学素子１４、レンズ１５、導光部材１６、レンズ１７、レンズ１８、フィルタ１９、ダイクロイックミラー２０、及び対物レンズ２１を備える。ミラー５１は、例えば、励起光源１０ｄの射出側に設けられる。励起光源１０ｄからの補助光Ｌ４は、ミラー５１で反射し、ダイクロイックミラー１２に入射する。ダイクロイックミラー１２は、例えば、励起光源１０ｂの光射出側に設けられる。ダイクロイックミラー１２は、第１励起光Ｌ２が反射し、補助光Ｌ４が透過する特性を有する。ダイクロイックミラー１２で反射した第１励起光Ｌ２、及びダイクロイックミラー１２を透過した補助光Ｌ４は、同じ光路を通ってダイクロイックミラー１３に入射する。ダイクロイックミラー１３は、例えば、活性化光源１０ａの射出側に設けられる。ダイクロイックミラー１３は、活性化光Ｌ１が透過し、第１励起光Ｌ２および補助光Ｌ４が反射する特性を有する。ダイクロイックミラー１３を透過した活性化光Ｌ１と、ダイクロイックミラー１３で反射した第１励起光Ｌ２および補助光Ｌ４は、同じ光路を通って音響光学素子１４に入射する。

音響光学素子１４は、例えば音響光学フィルタなどである。音響光学素子１４は、制御部４２に制御され、活性化光Ｌ１の光強度、第１励起光Ｌ２の光強度、及び補助光Ｌ４の光強度のそれぞれを調整可能である。また、音響光学素子１４は、制御部４２に制御され、活性化光Ｌ１、第１励起光Ｌ２、及び補助光Ｌ４のそれぞれについて、音響光学素子１４を通る状態（以下、通光状態という）と、音響光学素子１４により遮られる状態または照射強度が低減される状態（以下、これらを遮光状態という）とを切り替え可能である。

例えば、蛍光物質がレポータ色素を含みアクティベータ色素を含まない場合、制御部４２は、活性化光Ｌ１の照射と第１励起光Ｌ２の照射とを並行して行うように、音響光学素子１４を制御する。また、蛍光物質がレポータ色素およびアクティベータ色素を含む場合、制御部４２は、例えば、活性化光Ｌ１の照射後に第１励起光Ｌ２を照射するように、音響光学素子１４を制御する。また、制御部４２は、活性化光Ｌ１および第１励起光Ｌ２の照射が停止または照射強度が低減された状態で補助光Ｌ４が照射されるように、音響光学素子１４を制御する。

レンズ１５は、例えばカプラであり、音響光学素子１４からの活性化光Ｌ１、第１励起光Ｌ２、及び補助光Ｌ４のそれぞれを導光部材１６に集光する。導光部材１６は、例えば光ファイバであり、活性化光Ｌ１、第１励起光Ｌ２、及び補助光Ｌ４のそれぞれをレンズ１７へ導く。レンズ１７は、例えばコリメータであり、活性化光Ｌ１、第１励起光Ｌ２、及び補助光Ｌ４を平行光に変換する。レンズ１８は、例えば、活性化光Ｌ１、第１励起光Ｌ２、及び補助光Ｌ４をそれぞれ対物レンズ２１の瞳面の位置に集光する。フィルタ１９は、例えば、活性化光Ｌ１、第１励起光Ｌ２、及び補助光Ｌ４が透過し、他の波長の光（例、外光、迷光）の少なくとも一部を遮る特性を有する。ダイクロイックミラー２０は、活性化光Ｌ１第１励起光Ｌ２、及び補助光Ｌ４が反射し、試料Ｘからの光のうち所定の波長帯の光（例、蛍光）が透過する特性を有する。フィルタ１９を透過した光は、ダイクロイックミラー２０で反射し、対物レンズ２１に入射する。試料Ｘは、観察時に対物レンズ２１の焦点面に配置される。

活性化光Ｌ１、第１励起光Ｌ２、及び補助光Ｌ４は、上述のような照明光学系４により、試料Ｘに照射される。なお、上述した照明光学系４は一例であり、適宜、変更可能である。例えば、上述した照明光学系４の一部が省略されてもよい。また、照明光学系４は、光源装置３の少なくとも一部を含んでいてもよい。また、照明光学系４は、開口絞り、照野絞りなどを備えてもよい。

結像光学系５は、試料Ｘに含まれる蛍光物質からの蛍光の像を形成する。結像光学系５は、対物レンズ２１、ダイクロイックミラー２０、フィルタ２４、レンズ２５、光路切替部材２６、レンズ２７、及びレンズ２８を備える。結像光学系５は、対物レンズ２１およびダイクロイックミラー２０を照明光学系４と共用している。試料Ｘからの光は、対物レンズ２１およびダイクロイックミラー２０を通ってフィルタ２４に入射する。フィルタ２４は、試料Ｘからの光のうち所定の波長帯の光が選択的に透過する特性を有する。フィルタ２４は、例えば、試料Ｘで反射した照明光、外光、迷光などを遮断する。フィルタ２４は、例えば、フィルタ１９およびダイクロイックミラー２０とユニット化され、このフィルタユニット２９は、交換可能に設けられる。フィルタユニット２９は、例えば、光源装置３から射出される照明光の波長（例、活性化光Ｌ１の波長、第１励起光Ｌ２の波長、補助光Ｌ４の波長）、試料Ｘから放射される蛍光の波長などに応じて交換される。

フィルタ２４を透過した光は、レンズ２５を介して光路切替部材２６に入射する。光路切替部材２６は、例えばプリズムであり、結像光学系５の光路に挿脱可能に設けられる。光路切替部材２６は、例えば、制御部４２により制御される駆動部（図示せず）によって、結像光学系５の光路に挿脱される。光路切替部材２６は、結像光学系５の光路に挿入された状態において、試料Ｘからの蛍光を内面反射によって撮像部６へ向かう光路へ導く。レンズ２７及びレンズ２８は、例えば、アフォーカル光学系を構成する。

上述のような結像光学系５は、試料Ｘと光学的に共役な位置に、試料Ｘから放射された蛍光の像（例、蛍光の像）を形成する。上述した結像光学系５は一例であり、適宜、変更可能である。例えば、上述した結像光学系５の一部が省略されてもよい。また、結像光学系５は、開口絞り、視野絞りなどを備えてもよい。

本実施形態に係る顕微鏡装置１は、観察範囲の設定などに利用される観察光学系３０を備える。観察光学系３０は、試料Ｘから観察者の視点Ｖｐに向かう順に、対物レンズ２１、ダイクロイックミラー２０、フィルタ２４、レンズ２５、ミラー３１、レンズ３２、ミラー３３、レンズ３４、レンズ３５、ミラー３６、及びレンズ３７を備える。観察光学系３０は、対物レンズ２１からレンズ２５までの構成を結像光学系５と共用している。試料Ｘからの光は、レンズ２５を通った後に、光路切替部材２６が結像光学系５の光路から退避した状態において、ミラー３１に入射する。ミラー３１で反射した光は、レンズ３２を介してミラー３３に入射し、ミラー３３で反射した後に、レンズ３４およびレンズ３５を介してミラー３６に入射する。ミラー３６で反射した光は、レンズ３７を介して、視点Ｖｐに入射する。観察光学系３０は、例えば、レンズ３５とレンズ３７との間の光路に試料Ｘの中間像を形成する。レンズ３８は、例えば接眼レンズであり、観察者は、中間像を観察することにより観察範囲の設定などを行うことができる。

撮像部６は、結像光学系５が形成した像を撮像する。撮像部６は、撮像素子４０および制御部４１を備える。撮像素子４０は、例えばＣＭＯＳイメージセンサであるが、ＣＣＤイメージセンサなどの他のイメージセンサなどでもよい。撮像素子４０は、例えば、二次元的に配列された複数の画素を有し、各画素にフォトダイオードなどの光電変換素子が配置された構造である。撮像素子４０は、例えば、光電変換素子に蓄積された電荷を、読出回路によって読み出す。撮像素子４０は、読み出された電荷をデジタルデータ（例、階調値）に変換し、画素の位置と階調値とを関連付けたデジタル形式のデータを出力する。制御部４１は、制御部４２から入力される制御信号に基づいて撮像素子４０を動作させ、撮像画像のデータを制御部４２に出力する。また、撮像部６の制御部４１は、撮像素子４０における電荷の蓄積期間と電荷の読み出し期間を示す信号（撮像タイミングの情報）を制御部４２の制御部４２に出力する。

制御装置８は、顕微鏡装置１の各部を総括して制御する。制御装置８は、制御部４２および画像処理部７を備える。制御部４２は、例えば、撮像部６から供給される信号（撮像タイミングを示す情報）に基づいて、音響光学素子１４を制御する。例えば、制御部４２は、撮像部６から供給される信号を音響光学素子１４に供給し、音響光学素子１４は、この信号をトリガーとして通光状態と遮光状態とを切り替える。

例えば、制御部４２は、音響光学素子１４を制御し、試料Ｘに活性化光Ｌ１が照射される期間、及び試料Ｘに活性化光Ｌ１が照射されない期間を制御する。また、制御部４２は、例えば音響光学素子１４を制御し、試料Ｘに第１励起光Ｌ２が照射される期間、及び、試料Ｘに第１励起光Ｌ２が照射されない期間を制御する。また、制御部４２は、例えば音響光学素子１４を制御し、試料Ｘに補助光Ｌ４が照射される期間、及び試料Ｘに補助光Ｌ４が照射されない期間を制御する。制御部４２は、音響光学素子１４を制御し、試料Ｘに照射される活性化光Ｌ１の光強度、第１励起光Ｌ２の光強度、補助光Ｌ４の光強度をそれぞれ制御する。なお、撮像部６の制御部４１は、制御部４２の代わりに、音響光学素子１４を制御してもよい。例えば、撮像部６は、電荷の蓄積期間と電荷の読み出し期間を示す信号（撮像タイミングの情報）に基づいて、音響光学素子１４に遮光状態と通光状態とを切り替える制御信号を供給し、音響光学素子１４を制御してもよい。

制御部４２は、撮像部６を制御し、撮像素子４０に撮像を実行させる。制御部４２の制御による照明と撮像のシーケンスについては、後述する。制御部４２は、撮像部６から撮像結果（撮像画像のデータ）を取得する。画像処理部７は、撮像部６の撮像結果を用いて画像処理を行う。画像処理部７が行う処理については、後に図３、図４等を参照しつつ、説明する。

制御部４２は、記憶装置（記憶部）４３および表示装置（表示部）４４のそれぞれと通信可能に接続される。表示装置４４は、例えば、液晶ディスプレイなどである。表示装置４４は、例えば、顕微鏡装置１の各種設定を示す画像、撮像部６による撮像画像、撮像画像から生成された画像などの各種画像を表示する。制御部４２は、表示装置４４を制御し、表示装置４４に各種画像を表示させる。例えば、制御部４２は、画像処理部７が生成した画像（例、ＳＴＯＲＭ画像、ＰＡＬＭ画像などの超解像画像）のデータを表示装置４４に供給し、この画像を表示装置４４に表示させる。例えば、顕微鏡装置１は、観察対象の試料Ｘの超解像画像をライブ映像で表示すること等もできる。記憶装置４３は、例えば磁気ディスクや光学ディスクなどであり、顕微鏡装置１の各種設定のデータ、撮像部６による撮像画像のデータ、画像処理部７が生成した画像のデータなど各種データを記憶する。制御部４２は、例えば、記憶装置４３に記憶された超解像画像のデータを表示装置４４に供給し、超解像画像を表示装置４４に表示させることができる。制御部４２は、記憶装置４３を制御し、各種データを記憶装置４３に記憶させる。

図２は、第１実施形態に係る照明と撮像のシーケンスを示す図である。制御部４２は、第１の期間Ｔａにおいて、活性化光Ｌ１を照射させる（活性化光；ＯＮ）。第１の期間Ｔａにおいて、制御部４２は、活性化された蛍光物質に対して第１励起光Ｌ２を照射させ、活性化された蛍光物質からの蛍光の像を撮像部６に複数のフレーム期間Ｔｆで撮像させる。制御部４２は、第２の期間Ｔｂにおいて、第１励起光Ｌ２の照射を停止または照射強度を低減した状態で補助光Ｌ４を基準マーカに対して照射させ、基準マーカからの蛍光の像を撮像部６に撮像させる。なお、本実施形態では、第１励起光Ｌ２と補助光Ｌ４とで波長が異なるものとするが、同じでもよい。第２の期間Ｔｂは、例えば、第１の期間Ｔａの１つ前のフレーム期間Ｔｆを含む。制御部４２は、期間Ｔ１の間に、第１の期間Ｔａと第２の期間Ｔｂとを交互に繰り返し行う。画像処理部７は、第２の期間Ｔｂにおける撮像画像を用いて、第１の期間Ｔａの撮像画像を補正する。画像処理部７は、補正によって、期間Ｔ１に含まれる複数の第１の期間Ｔａで得られる複数の撮像画像の位置合わせを行い、複数の撮像画像で蛍光の像に相当する輝点をマージすることによって、１枚の画像を生成する。図２では、第１の期間Ｔａにおいて、活性化光Ｌ１を照射させた場合を例示して説明したが、例えば、活性化光Ｌ１は、第１の期間Ｔａと異なる期間で照射されていてもよい。また、例えば、活性化光Ｌ１は、第１の期間Ｔａの前に照射されていてもよい。また、例えば、活性化光Ｌ１は、第２の期間Ｔｂと同じ期間で照射されてもよいし、第２の期間Ｔｂと異なる期間で照射されてもよい（以下同様）。

図３は、第１の期間および第２の期間の照明と撮像のシーケンスを示す図である。図３において、符号Ｔｆは、撮像処理の１つのフレーム期間である。１つのフレーム期間Ｔｆは、１枚の撮像画像を生成する期間である。１つのフレーム期間Ｔｆは、例えば、電荷を蓄積する期間Ｔｆ１、及び期間Ｔｆ１に蓄積された電荷を読み出す期間Ｔｆ２を含む。なお、電荷の蓄積と電荷の読み出しとが並列に行われる場合、１つのフレーム期間Ｔｆは、蛍光に応じた電荷を蓄積する期間Ｔｆ１となる。１つのフレーム期間Ｔｆの長さは、例えば、フレームレートの逆数である。

制御部４２は、第１の期間Ｔａにおいて、活性化光Ｌ１および第１励起光Ｌ２を試料Ｘに照射させ、撮像部６に試料Ｘを撮像させる。活性化光Ｌ１および第１励起光Ｌ２の照射は、試料Ｘからの蛍光の像が疎な分布になるように行われる。第１の期間Ｔａで取得される撮像画像（Ｐｄ１〜Ｐｄｍ）は、例えば試料Ｘに含まれる蛍光物質（例えば、レポータ色素）からの蛍光の像を撮像したものであり、試料Ｘの構造を示す画像の生成に使われる。撮像部６は、各フレーム期間Ｔｆの撮像結果として、撮像画像Ｐｄ１〜Ｐｄｎを生成する。画像処理部７は、撮像画像Ｐｄ１〜Ｐｄｎの少なくとも一部を用いて１枚の画像ＳＰ（例、超解像画像）を生成する。以下の説明において、少なくとも１枚の画像ＳＰの生成に用いられる撮像画像（例えば、撮像画像Ｐｄ１〜Ｐｄｎ）の一連の撮像処理を、適宜、１ピリオドの撮像という。画像ＳＰの生成に使われる撮像画像（例えば、撮像画像Ｐｄ１〜Ｐｄｎ）の枚数は、例えば、予め設定されたデフォルト値、ユーザが指定する指定値などの設定値である。

また、制御部４２は、第２の期間Ｔｂにおいて、活性化光Ｌ１および第１励起光Ｌ２の照射を停止または照射強度を低減した状態で補助光Ｌ４を照射させ、撮像部６に試料Ｘを撮像させる。第２の期間Ｔｂは、例えば、第１の期間Ｔａの１つ前のフレーム期間Ｔｆに行われる。例えば、図２において、最初の第２の期間Ｔｂの撮像により撮像画像Ｐｃ１が取得され、この第２の期間Ｔｂに続く第１の期間Ｔａにおいて所定回数（ｍ回）のフレーム期間Ｔｆの撮像により撮像画像Ｐｄ１〜Ｐｄｍが取得され、続いて第２の期間Ｔｂの撮像により撮像画像Ｐｃ２が取得される。この場合、補助光Ｌ４に応じた撮像画像Ｐｃ１は、第１励起光Ｌ２に応じた撮像画像（Ｐｄ１〜Ｐｄｍ）に対して、１／ｍの頻度で取得される。なお、所定回数（ｍ）は、任意に設定され、例えば、１、１０、１００、１０００、５０００、１００００などでもよい。図２において、符号Ｔ２は、１回の第２の期間Ｔｂと、この第２の期間Ｔｂに連続する所定回数の第１の期間Ｔａとを含む期間である。制御部４２は、期間Ｔ２を繰り返し行うことで、１ピリオドの撮像を行い、複数の撮像画像を取得する。

画像処理部７は、第２の期間Ｔｂで得られた撮像結果（例、撮像画像Ｐｃ１、Ｐｃ２）を用いて、１つの第１の期間Ｔａで得られた撮像画像の少なくとも一部を補正する。また、画像処理部７は、複数の第１の期間Ｔａから得られる複数の撮像画像を補正し、補正後の撮像画像の少なくとも一部を用いて１枚の画像を生成する。例えば、撮像画像Ｐｄ１〜Ｐｄｍのそれぞれにおいて、蛍光の像Ｉｍは、低密度で離散的に分布する。画像処理部７は、例えば、蛍光の像Ｉｍの光強度分布をガウシアン関数等でフィッティングすること等により、蛍光の像Ｉｍの位置情報（例、重心位置Ｑ）を算出する。また、画像処理部７は、第２の期間Ｔｂにおける撮像結果（撮像画像Ｐｃ１、Ｐｃ２）を用いて、変位（ドリフト量、移動量）を算出する。画像処理部７は、算出した変位を用いて、第１の期間Ｔａにおける撮像画像を補正する。例えば、画像処理部７は、撮像画像Ｐｃ１および撮像画像Ｐｃ２から算出される変位を用いて、撮像画像Ｐｃ２から撮像画像Ｐｃ３の間の第１の期間Ｔａに撮像される撮像画像の重心位置Ｑを補正する。画像処理部７は、例えば、補正後の多数の重心位置Ｑをマージすることにより、１枚の画像を生成（構築）する。

図４は、試料の変位を検出する処理、撮像結果を補正する処理を示す図である。図４において、符号Ｐｃ１〜Ｐｃｎは、補助光Ｌ４に応じた撮像画像を示す。画像処理部７は、例えば、撮像画像Ｐｃ２と撮像画像Ｐｃ３との間に撮像される撮像画像を同じ補正量で補正する。画像処理部７は、例えば、撮像画像Ｐｃ１と撮像画像Ｐｃ２を用いて、撮像画像Ｐｃ２から撮像画像Ｐｃ３の間の第１の期間Ｔａに撮像される撮像画像の補正量を算出する。図４において、符号Ｐｅ１の撮像画像は、撮像画像Ｐｃ１と撮像画像Ｐｃ２との間に撮像される撮像画像Ｐｄ１〜Ｐｄｍのうちの１枚を代表的に示したものである。撮像画像Ｐｅ２〜Ｐｅｎについても同様である。符号Ｐｆ２〜Ｐｆｎは、補正された画像を示す。例えば、画像Ｐｆ２は、撮像画像Ｐｅ２を補正した画像である。

撮像画像Ｐｃ１〜Ｐｃｎには、それぞれ、基準マーカからの蛍光の像Ｉｍ２が分布している。撮像画像Ｐｃ２〜Ｐｃｎには、１回前に撮像された撮像画像における蛍光の像を点線で示した。例えば、撮像画像Ｐｃ２における点線の部分は、撮像画像Ｐｃ１における蛍光の像Ｉｍ２に相当する。画像処理部７は、例えば、撮像画像Ｐｃ１と撮像画像Ｐｃ２とで対応する蛍光の像の変位Ｖ（ベクトル）をそれぞれ算出する。例えば、試料Ｘにおいて基準マーカの間隔が、変位（例、ステージ２の変位）として想定される上限値よりも大きくなるように、試料Ｘにおいて基準マーカを疎に分布させておく。そして、画像処理部７は、撮像画像Ｐｃ１と撮像画像Ｐｃ２とで最も近い蛍光の像を、同じ基準マーカに対応する蛍光の像であるものとし、対応する蛍光の像の変位を算出する。そして、画像処理部７は、複数の蛍光について変位Ｖの平均Ｖａ（ベクトル）を算出する。なお、画像処理部７は、撮像画像Ｐｃ１と撮像画像Ｐｃ２とを相対的に移動させながら画像相関を求め、最も相関係数が高くなる撮像画像Ｐｃ１と撮像画像Ｐｃ２との相対移動量を変位の平均としてもよい。

画像処理部７は、撮像画像Ｐｃ１〜Ｐｃｎのうち比較する２つの画像の双方に写っている蛍光の像を用いて、変位を求める。例えば、画像処理部７は、撮像画像Ｐｃ１と撮像画像Ｐｃ３とに同じ基準マーカに対応する蛍光の像が写っており、この蛍光の像が撮像画像Ｐｃ２に写っていない場合、この蛍光の像を用いて、撮像画像Ｐｃ１と撮像画像Ｐｃ３とで蛍光の像の変位を算出することができる。画像処理部７は、画像に写っている像の一部を変位の算出に用いなくてもよい。例えば、画像処理部７は、比較する２つの画像のうち一方のみに写っている蛍光の像を、変位の算出に用いなくてもよい。例えば、画像処理部７は、光強度、像のサイズに関する閾値に基づいて変位の算出に用いない像を選択してもよい。例えば、光強度、像のサイズに関する閾値は、ユーザにより設定されてもよい。例えば、画像処理部７は、所定の領域に写っている蛍光の像を、変位の算出に用いなくてもよい。この所定の領域は、ユーザにより選択されてもよい。上記は、画像に写っている像の一部を変位の算出に用いないものの指定であるが、逆に用いるものを選択、設定する様にするようにしてもよい。上記により、より精度よく補正することが可能となる。

画像処理部７は、第１励起光Ｌ２に応じた撮像画像Ｐｅ２〜Ｐｅｎのそれぞれについて、蛍光物質の重心位置を算出する。ここでは、撮像画像Ｐｅ１が基準の画像であるものとし、撮像画像Ｐｅ２における蛍光の像の位置を補正する例を説明する。画像処理部７は、撮像画像Ｐｅ２の各蛍光の像の重心位置Ｑを算出する。そして、画像処理部７は、補正対象の撮像画像Ｐｅ２の撮像タイミングに対応する補正用の撮像画像Ｐｃ２と、基準となる撮像画像Ｐｅ１の撮像タイミングに対応する補正用の撮像画像Ｐｃ１との変位の平均Ｖａを用いて、補正を行う。補正用の撮像画像Ｐｃ２は、例えば、補正対象の撮像画像Ｐｅ２が撮像された第１の期間Ｔａの直前の第２の期間Ｔｂで撮像された撮像画像である。画像処理部７は、画像Ｐｆ２のように、撮像画像Ｐｅ２における蛍光の像の重心位置Ｑを、変位の平均Ｖａを反転した補正量Ｖｂ（ベクトル）だけ移動させた重心位置Ｑ２に補正する。画像処理部７は、撮像画像Ｐｅ２と同様に、撮像画像Ｐｃ２から撮像画像Ｐｃ３の間の第１の期間Ｔａに撮像される複数の撮像画像の少なくとも一部を補正する。また、画像処理部７は、同様にして、撮像画像Ｐｃ３以降の第１の期間Ｔａに撮像される複数の撮像画像の少なくとも一部を補正する。画像処理部７は、例えば、基準の撮像画像（例、撮像画像Ｐｄ１〜Ｐｄｍ）、及び補正された画像の少なくとも一部を用いて、１枚の画像を生成する。

次に、上述の顕微鏡装置１の構成に基づき、本実施形態に係る観察方法について説明する。顕微鏡装置１は、例えば、観察条件の設定を行った後、撮像画像の取得などを行う。観察方法の全体のフローの説明に先立ち、まず観察条件の設定処理について説明する。図５は、観察条件の設定処理（後に図６に示すステップＳ１０の処理）を示すフローチャートである。

ステップＳ１において、例えば、ユーザは、第１励起光Ｌ２の波長、活性化光Ｌ１の波長を選択し、制御部４２は、第１励起光Ｌ２の波長、活性化光Ｌ１の波長を設定する。例えば、制御部４２は、第１励起光Ｌ２の波長、活性化光Ｌ１の波長の候補を示すリストを表示装置４４に表示させ、ユーザの入力を受け付ける。制御部４２は、第１励起光Ｌ２の波長、活性化光Ｌ１の波長を、ユーザの入力に応じて設定する。なお、ユーザが蛍光物質の種類を指定し、制御部４２は、第１励起光Ｌ２の波長、活性化光Ｌ１の波長を、蛍光物質の種類に応じた波長に設定してもよい。この場合、例えば、蛍光物質の種類と、第１励起光Ｌ２の波長および活性化光Ｌ１の波長とを関連付けたテーブルデータを、予め記憶装置４３に記憶させておき、制御部４２は、このテーブルデータを用いて、第１励起光Ｌ２の波長、活性化光Ｌ１の波長を設定してもよい。ステップＳ２において、制御部４２は、第１励起光Ｌ２の強度、活性化光Ｌ１の強度を設定する。本実施形態では、第１励起光Ｌ２に応じた蛍光物質からの蛍光の像と、補助光Ｌ４に応じた基準マーカからの蛍光の像とを期間を分けて撮像するので、例えば、第１励起光Ｌ２、活性化光Ｌ１の波長、強度を蛍光物質からの蛍光の像の撮像に適した波長、強度に設定可能である。第１励起光Ｌ２の強度、活性化光Ｌ１の強度は、例えば、上記のテーブルデータに含まれてもよい。ステップＳ３において、制御部４２は、撮像条件の設定を行う。例えば、制御部４２は、撮像条件として、１つのフレーム期間Ｔｆの長さ（露光時間）を設定する。露光時間は、例えば、蛍光物質の種類、第１励起光Ｌ２の強度に応じて定められてもよく、上記のテーブルデータに含まれてもよい。

ステップＳ４において、例えば、ユーザは、補助光Ｌ４の波長を選択し、制御部４２は、補助光Ｌ４の波長を設定する。ステップＳ４の処理は、例えば、ステップＳ１の処理と同様に、表示装置４４に表示された候補から選択する形態などでもよい。ステップＳ５において、制御部４２は、補助光Ｌ４の強度を設定する。本実施形態では、補助光Ｌ４に応じた基準マーカからの光と、第１励起光Ｌ２に応じた蛍光物質からの蛍光とを期間を分けて検出するので、例えば、補助光Ｌ４の波長、強度を基準マーカの検出に適した波長、強度に設定可能である。

ステップＳ６において、制御部４２は、例えば、第１励起光Ｌ２に応じた撮像の総フレーム数、ピリオド数を設定する。総フレーム数は、ピリオド数に含まれるフレーム期間の総数である。例えば、１ピリオドに含まれるフレーム期間が２０００回であり、ピリオド数が１０である場合、総フレーム数は２０００×１０である。制御部４２は、例えば、総フレーム数とピリオド数を用いて、１ピリオドに含まれるフレーム期間の数を算出する。このように、総フレーム数、１ピリオドに含まれるフレーム期間の数、ピリオド数の３項目のパラメータうち、２項目の値が指定される場合、例えば制御部４２は、これらの値を用いて残り１項目の値を算出することができる。また、３項目のパラメータのうち少なくとも１項目の値は、予めデフォルト値として与えられてもよい。例えば、１項目のパラメータの値がデフォルト値で与えられる場合、ユーザは、１項目の値を指定し、制御部４２は、指定された値およびデフォルト値を用いて、残りの１項目のパラメータの値を算出してもよい。ステップＳ７において、制御部４２は、補助光Ｌ４に応じた撮像の頻度を設定する。補助光Ｌ４に応じた撮像の頻度は、例えば、第１励起光Ｌ２に応じた撮像を何回行うたびに、補助光Ｌ４に応じた撮像を行うかで表される。補助光Ｌ４に応じた撮像の頻度は、例えば、図３を参照した説明における所定回数（ｍ）である。制御部４２は、例えば、補助光Ｌ４に応じた撮像の頻度を、ユーザの指定値、あるいは予め記憶されたデフォルト値に設定する。

次に、本実施形態に係る観察方法のフローについて説明する。図６は、本実施形態に係る観察方法を示すフローチャートである。ステップＳ１０において、制御部４２は、観察条件を設定する（図５参照）。制御部４２は、ステップＳ１１において、補助光Ｌ４の照射を開始させ、第２の期間Ｔｂを開始する。ステップＳ１２において、結像光学系５は、補助光Ｌ４に応じた基準マーカからの蛍光の像を形成する。ステップＳ１３において、制御部４２は、撮像部６に、補助光Ｌ４に応じた基準マーカからの蛍光の像を撮像させる。ステップＳ１４において、制御部４２は、補助光Ｌ４の照射を停止または照射強度を低減させ、第２の期間Ｔｂを終了する。ステップＳ１５において制御部４２は、活性化光Ｌ１、第１励起光Ｌ２の照射を開始させ、第１の期間Ｔａを開始する。ステップＳ１６において、結像光学系５は、第１励起光Ｌ２に応じた蛍光物質からの蛍光の像を形成する。ステップＳ１７において、制御部４２は、第１励起光Ｌ２に応じた蛍光物質からの蛍光の像を、撮像部６に撮像させる。ステップＳ８において、制御部４２は、第１の期間を終了するか否かを判定する。例えば、制御部４２は、ステップＳ３の撮像が完了した際に撮像回数（フレーム期間の数）のカウンタをインクリメントし、このカウンタと設定値との比較により、第１の期間Ｔａをするか否かを判定する。撮像回数の設定値は、例えば、図３を参照して説明した所定回数（ｍ）であり、補助光Ｌ４に応じた撮像の頻度の逆数に相当する。撮像回数の設定値は、例えば、ステップＳ１０の設定処理（図５のステップＳ７参照）で設定され、制御部４２は、撮像回数のカウンタが設定値に達した場合に、第１の期間Ｔａを終了すると判定する。制御部４２は、例えば、カウンタが設定値未満である場合に、第１の期間Ｔａを終了しないと判定し（ステップＳ１８；Ｎｏ）、ステップＳ１７の撮像処理を繰り返す。

制御部４２は、第１の期間Ｔａを終了すると判定した場合（ステップＳ１８；Ｙｅｓ）、ステップＳ１９において、活性化光Ｌ１、第１励起光Ｌ２の照射を停止または照射強度を低減させ、第１の期間Ｔａを終了する。ステップＳ２０において、制御部４２は、撮像を終了するか否かを判定する。例えば、制御部４２は、撮像回数のカウンタが総フレーム数（図５のステップＳ６参照）に達した場合に、撮像を終了すると判定する。制御部４２は、撮像を終了しないと判定した場合（ステップＳ２０；Ｎｏ）、ステップＳ１１に戻り、補助光Ｌ４の照射を開始させ、第１の期間Ｔａに続く第２の期間Ｔｂを開始させる。制御部４２は、ステップＳ１１以降の処理を繰り返すことによって、総フレーム数に応じた撮像画像を取得させる。ステップＳ２１において、画像処理部７は、例えば、制御部４２が撮像を終了すると判定した場合（ステップＳ１９；Ｙｅｓ）、少なくとも１枚の画像を生成する。例えば、画像処理部７は、１ピリオドに含まれるフレーム期間の数を用いて、各ピリオドの撮像画像を特定する。画像処理部７は、特定した撮像画像の少なくとも一部を用いて、超解像画像を生成する。また、制御部４２は、画像処理部７が生成した超解像画像を表示装置４４に表示させる。

なお、ステップＳ１０の設定処理（図５のステップＳ６参照）において、ピリオド数が２以上に設定されている場合、画像処理部７は、例えば、１ピリオドの撮像の結果を用いて１枚の画像ＳＰを生成し、ピリオド数に応じた数の画像ＳＰを生成する。画像処理部７は、画像ＳＰを生成する処理の少なくとも一部を、１ピリオドの撮像と並行して、行ってもよい。例えば、画像処理部７は、ステップＳ１７の撮像処理が行われるたびに、撮像画像のデータを取得し、その撮像画像に含まれる蛍光の像Ｉｍ（図３参照）の重心位置Ｑを算出してもよい。また、例えば、ピリオド数が２以上に設定されている場合、画像処理部７は、１ピリオドの撮像の結果を用いて画像ＳＰを生成する処理の少なくとも一部を、次の１ピリオドの撮像を行う間に行ってもよい。なお、本実施形態では、第１励起光Ｌ２と補助光Ｌ４とで波長が異なるが同じでもよく、この場合にも、第１励起光Ｌ２を停止または照射強度を低減した第２の期間Ｔｂで基準マーカからの蛍光の像を撮像するので、基準マーカの位置を精度よく検出することができ、ドリフト量を精度よく求めることができる。第１励起光Ｌ２と補助光Ｌ４とで波長が異なる場合、第１励起光Ｌ２により試料Ｘから放射される蛍光の像を撮像する際に、基準マーカからの蛍光の像が撮像画像に写り込むことを抑制することができる。本実施形態において、活性化光Ｌ１および第１励起光Ｌ２を照射するが、蛍光物質（レポータ色素）の種類によっては、活性化光Ｌ１を照射せずに励起光（例、第１励起光Ｌ２）を照射してもよく、以下の実施形態についても同様である。

［第２実施形態］
第２実施形態について説明する。本実施形態では、標識に用いられるレポータ色素が２種類であって、レポータ色素からの蛍光の検出と試料の位置の検出とを時分割で行う形態について説明する。レポータ色素の数は１種類または３種類以上でもよい。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。

図７は、第２実施形態に係る顕微鏡装置を示す図である。本実施形態において、光源装置３は、励起光源１０ｃおよびシャッタ１１ｃを備える。励起光源１０ｃは、試料Ｘに含まれる第２の蛍光物質を励起する第２波長の励起光（以下、第２励起光Ｌ３という）を発する。ここでは、励起光源１０ｃの射出波長は、例えば、約４８８ｎｍ、約５６１ｎｍ、約６４７ｎｍから選択される波長であるとする。第２の蛍光物質は、例えば、第１励起光Ｌ２に対応する蛍光物質（以下、第１の蛍光物質という）と同様に、レポータ色素を含み試料Ｘの標識に用いられる。第２の蛍光物質は、アクティベータ色素を含んでもよいし、アクティベータ色素を含まなくてもよい。第２の蛍光物質は、例えば、抗体を介して細胞のタンパク質などと結合したものであり、結合先のタンパク質の種類が第１の蛍光物質と異なる。第２の蛍光物質は、活性化光Ｌ１が照射されると、活性化状態になる。第２の蛍光物質を活性化する活性化光の波長は、例えば、第１の蛍光物質を活性化する活性化光Ｌ１の波長と同じであるが、異なってもよい。第２の蛍光物質は、活性化状態において第２励起光Ｌ３が照射されると、蛍光を発するか、不活性化される。第２の蛍光物質は、不活性化された状態（以下、不活性化状態という）において活性化光Ｌ１が照射されると、再度、活性化状態となる。シャッタ１１ｃは、制御部４２により制御され、励起光源１０ｃからの第２励起光Ｌ３を通す状態と、第２励起光Ｌ３を遮る状態とを切り替え可能である。

照明光学系４は、励起光源１０ｃの出射側にダイクロイックミラー５０を備える。ダイクロイックミラー５０は、第２励起光Ｌ３が反射し、補助光Ｌ４が透過する特性を有する。励起光源１０ｃからのは、ダイクロイックミラー５０で反射し、ダイクロイックミラー１２を透過して、ダイクロイックミラー１３に入射する。ダイクロイックミラー１３およびダイクロイックミラー２０は、第２励起光Ｌ３が反射する特性を有し、第２励起光Ｌ３は、活性化光Ｌ１、第１励起光Ｌ２、及び補助光Ｌ４と同じ光路を通って、試料Ｘに照射される。制御部４２は、例えば、音響光学素子１４を制御し、第２励起光Ｌ３が音響光学素子１４を通る通光状態と、第２励起光Ｌ３が音響光学素子１４で遮られるまたは照射強度が低減される遮光状態とを切り替える。制御部４２は、試料Ｘに第２励起光Ｌ３を照射させ、撮像部６に撮像させる。

図８は、本実施形態に係る照明と撮像のシーケンスを示す図である。制御部４２は、１ピリオドの撮像の期間Ｔ３に、第１波長期間（例、期間Ｔ１２、期間Ｔ１４、期間Ｔ１６）と、第２波長期間（例、期間Ｔ１８、期間Ｔ２０、期間Ｔ２２）とを設ける。本実施形態では、第１の期間Ｔａに、第１波長期間または第２波長期間が１つ含まれる。画像処理部７は、第１波長期間における撮像部６の撮像結果の少なくとも一部と、第２波長期間における撮像部の撮像結果の少なくとも一部とを用いて少なくとも１枚の画像を形成する。例えば、画像処理部７は、例えば、第１波長期間における撮像結果を用いて第１の画像Ｐａを生成し、第２波長期間における撮像結果を用いて第２の画像Ｐｂを生成する。例えば、第１の画像Ｐａおよび第２の画像Ｐｂは、試料Ｘの異なる構造を表した画像である。画像処理部７は、例えば、第１の画像Ｐａおよび第２の画像Ｐｂを用いて、画像Ｐｔを生成する。画像Ｐｔは、例えば、第１の画像Ｐａと第２の画像Ｐｂとを合成した画像である。なお、画像Ｐｔは、第１の画像Ｐａと第２の画像Ｐｂとを生成することなく、第１波長期間における撮像部６の撮像結果の少なくとも一部と、第２波長期間における撮像部の撮像結果の少なくとも一部とを用いて作成してもよい。以下、より詳しく説明する。

制御部４２は、第１波長期間（例、期間Ｔ１２）において、活性化光Ｌ１を照射させ（活性化光；ＯＮ）、第１励起光Ｌ２を照射させ（第２励起光；ＯＮ）、活性化された第１の蛍光物質からの蛍光の像を撮像部６に複数のフレーム期間で連続的に撮像させる（第１撮像処理；ＯＮ）。制御部４２は、例えば、第１波長期間における活性化光Ｌ１の光強度を、第１の蛍光物質の種類に応じて調整する。制御部４２は、第１波長期間において撮像を連続的に行う各期間（例、期間Ｔ１２）の１つ前のフレーム期間（例、期間Ｔ１１）において、補助光Ｌ４を照射させ、基準マーカからの蛍光の像を撮像部６に撮像させる（第３撮像処理；ＯＮ）。画像処理部７は、例えば、期間Ｔ１４における試料Ｘの撮像画像を、期間Ｔ１４の１つ前の期間Ｔ１３の基準マーカの撮像画像と対応付けて、撮像画像の補正を行う。例えば、画像処理部７は、期間Ｔ１２の撮像画像と期間Ｔ１４の撮像画像とで位置合わせを行う際に、期間Ｔ１１の撮像画像と期間Ｔ１３の撮像画像を用いて、期間Ｔ１１から期間Ｔ１３までの基準マーカの変位を求め、この変位の分だけ期間Ｔ１４の撮像画像を補正することにより、期間Ｔ１４の撮像画像を期間Ｔ１２の撮像画像に位置合わせすることができる。すなわち、今回と前回の第１の期間Ｔａのドリフト量は、直前の第２の期間Ｔｂと、さらに１回前の第２の期間Ｔｂとの比較により求まる。この処理を繰り返すことにより、基準となる第１の期間Ｔａに位置合わせすることができる。このように、画像処理部７は、第１波長期間に得られる複数の撮像画像を位置合わせし、第１の画像Ｐａを生成する。

また、制御部４２は、第２波長期間（例、期間Ｔ１８）において、活性化光Ｌ１を照射させ（活性化光；ＯＮ）、第２励起光Ｌ３を照射させ（第２励起光；ＯＮ）、活性化された第２の蛍光物質からの蛍光の像を撮像部６に複数のフレーム期間で連続的に撮像させる（第２撮像処理；ＯＮ）。制御部４２は、例えば、第２波長期間における活性化光Ｌ１の光強度を、第２の蛍光物質の種類に応じて調整する。制御部４２は、第２波長期間において撮像を連続的に行う各期間（例、期間Ｔ２０）の１つ前のフレーム期間（例、期間Ｔ１９）において、補助光Ｌ４を照射させ、基準マーカからの蛍光の像を撮像部６に撮像させる（第３撮像処理；ＯＮ）。画像処理部７は、例えば、期間Ｔ２０における試料Ｘの撮像画像を、期間Ｔ２０の１つ前の期間Ｔ１９の基準マーカの撮像画像と対応付けて、撮像画像の補正を行う。例えば、画像処理部７は、期間Ｔ１８の撮像画像と期間Ｔ２０の撮像画像とで位置合わせを行う際に、期間Ｔ１７の撮像画像と期間Ｔ１９の撮像画像を用いて、期間Ｔ１７から期間Ｔ１９までの基準マーカの変位を求め、この変位の分だけ期間Ｔ２０の撮像画像を補正することにより、期間Ｔ２０の撮像画像を期間Ｔ１８の撮像画像に位置合わせすることができる。なお、上記では、期間Ｔ１７から期間Ｔ１９までの基準マーカの変位の分だけ、期間Ｔ２０の撮像画像を補正する場合を例示したが、期間Ｔ１７から期間Ｔ１９までの基準マーカの変位を用いて、期間Ｔ２０の複数の撮像画像に対する補正量を個別に算出してもよい。例えば、期間Ｔ１７から期間Ｔ１９までの基準マーカの変位の量を、期間Ｔ２０の撮像画像において、線形補間してもよい。例えば、期間Ｔ１７から期間Ｔ１９までの基準マーカの変位の量を、期間Ｔ２０の撮像画像の数で除算した値を、期間Ｔ２０の１枚目の撮像画像に対する補正量とし、以後の撮像画像は、この除算した値を撮像画像の取得順序に応じて積算した補正量としてもよい。これにより、撮像画像をより精度よく補正できる。このように、画像処理部７は、第２波長期間に得られる複数の撮像画像を位置合わせし、第２の画像Ｐｂを生成する。また、画像処理部７は、第１の画像Ｐａの位置の基準となる撮像画像（例、期間Ｔ１２における撮像画像）と、第２の画像Ｐｂの位置となる撮像画像（例、期間Ｔ１８における撮像画像）とで生じたドリフト量を、期間Ｔ１１と期間Ｔ１７の撮像画像を用いて求め、この変位に応じた補正量で第２の画像Ｐｂを補正する。これにより、第２の画像Ｐｂを第１の画像Ｐａと位置合わせすることができ、補正後の第２の画像Ｐｂと、第１の画像Ｐａとを合成することにより、画像Ｐｔが得られる。制御部４２は、例えば、画像Ｐｔを表示装置４４に表示させる。

ところで、試料Ｘのうち第１の画像Ｐａに表される部分は、第２の画像Ｐｂに表される部分と異なる。このような場合、自己相関によりドリフト量を求めることは難しいが、本実施形態によれば、ドリフト量を精度よく求めることができる。

図９は、本実施形態に係る照明と撮像のシーケンスの他の形態を示す図である。制御部４２は、第１の期間Ｔａに第１波長期間Ｔｃと第２波長期間Ｔｄとを複数設ける。制御部４２は、第１波長期間Ｔｃにおいて、第１励起光Ｌ２を照射させ（第１励起光；ＯＮ）、活性化光Ｌ１を照射させ（活性化光；ＯＮ）、試料Ｘからの蛍光の像を撮像部６に１つのフレーム期間で撮像させる（第１撮像処理；ＯＮ）。また、制御部４２は、第２波長期間Ｔｄにおいて、第２励起光Ｌ３を照射させ（第２励起光；ＯＮ）、活性化光Ｌ１を照射させ（活性化光；ＯＮ）、試料Ｘからの蛍光の像を撮像部６に１つのフレーム期間で撮像させる（第２撮像処理；ＯＮ）。制御部４２は、例えば、第１波長期間Ｔｃと第２波長期間Ｔｄとを交互に設ける。画像処理部７は、図８と同様に、今回と前回の第１の期間Ｔａのドリフト量を、直前の第２の期間Ｔｂと、さらに１回前の第２の期間Ｔｂとの比較により求める。画像処理部７は、この処理を繰り返すことにより、各第１の期間Ｔａの撮像画像と、基準となる第１の期間Ｔａの撮像画像との位置を補正する。画像処理部７は、補正後の複数の第１波長期間Ｔｃにおける撮像部６の撮像結果の少なくとも一部と、補正後の複数の第２波長期間Ｔｄにおける撮像部６の撮像結果の少なくとも一部とを用いて、輝点をマージした少なくとも１枚の画像（例、超解像画像）を形成する。

なお、画像処理部７は、撮像画像の全域における変位の平均を算出し、この平均を用いて撮像画像の全域で一様に補正を行ってもよいし、撮像画像の領域（例、複数の画素）ごとに変位を算出し、領域ごとに補正を行ってもよい。これにより、例えば、結像光学系５の視野の外縁に向かうにつれて収差が大きくなる場合、収差を加味した補正を行うこともできる。

［第３実施形態］
第３実施形態について説明する。本実施形態では、レポータ色素からの蛍光の光路と、試料の位置の検出に用いられる光の光路とを空間的に分離する形態について説明する。レポータ色素は、１種類でもよいし、２種類以上でもよい。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。

図１０は、本実施形態に係る顕微鏡装置１を示す図である。本実施形態に係る撮像部６は、第１撮像部５５および第２撮像部５６を備える。第１撮像部５５および第２撮像部５６は、それぞれ、例えば撮像素子を備えるカメラなどである。制御部４２は、活性化光Ｌ１および第１励起光Ｌ２を照射させ、第１撮像部５５に撮像させ、補助光Ｌ４を試料に照射させ、第２撮像部５６に撮像させる。画像処理部７（図１参照）は、第２撮像部５６の撮像結果を用いて変位（ドリフト量）を算出し、この変位を用いて第１撮像部５５の撮像結果を補正し、補正後の撮像結果を用いて超解像画像を生成する。制御部４２は、例えば、活性化光Ｌ１および第１励起光Ｌ２の照射と、補助光Ｌ４の照射とを並行して実行させ、第１撮像部５５の撮像と、第２撮像部５６の撮像とを並行して実行させる。

なお、補助光Ｌ４の照射が行われる期間は、その少なくとも一部が、活性化光Ｌ１および第１励起光Ｌ２の照射が行われる期間とずれていてもよい。また、第１撮像部５５による撮像が行われる期間は、その少なくとも一部が、第２撮像部５６による撮像が行われる期間とずれていてもよい。

図１１は、本実施形態に係る撮像部および結像光学系の一部を示す図である。結像光学系５は、試料Ｘからの蛍光のうち、第１励起光Ｌ２に応じた蛍光物質からの蛍光Ｌ５を第１撮像部５５へ導き、試料Ｘからの蛍光のうち補助光Ｌ４に応じた基準マーカからの蛍光Ｌ６を第２撮像部５６へ導く。結像光学系５は、レンズ２８の光出射側に、ダイクロイックミラー５７を備える。ダイクロイックミラー５７は、蛍光Ｌ５が透過し、蛍光Ｌ６が反射する特性を有する。ダイクロイックミラー５７と第１撮像部５５との間の光路には、フィルタ５８およびレンズ５９が設けられる。フィルタ５８は、蛍光Ｌ５と異なる波長の光を遮断する。ダイクロイックミラー５７と第２撮像部５６との間の光路には、フィルタ６０およびレンズ６１が設けられる。フィルタ６０は、蛍光Ｌ６と異なる波長の光を遮断する。

図１２は、本実施形態に係る照明と撮像のシーケンスを示す図である。図１２において、制御部４２は、蛍光物質からの蛍光Ｌ５の像を第１撮像部５５に連続的に撮像させ、基準マーカからの蛍光Ｌ６の像を第２撮像部５６に間欠的に撮像させる。制御部４２は、例えば、期間Ｔ２を通して、第１励起光Ｌ２および活性化光Ｌ１を照射させる。制御部４２は、例えば、期間Ｔ２の最初のフレーム期間Ｔｆにおいて、補助光Ｌ４を照射させ、第１撮像部５５および第２撮像部５６に、それぞれ撮像を行わせる。図１１に示したように、第１撮像部５５には、第１励起光Ｌ２に応じた蛍光物質からの蛍光Ｌ５が入射し、第１撮像部５５は、蛍光Ｌ５の像を撮像する。制御部４２は、期間Ｔ２において、第１撮像部５５に繰り返し撮像させる。第２撮像部５６には、補助光Ｌ４に応じた基準マーカからの蛍光Ｌ６が入射し、第２撮像部５６は、蛍光Ｌ６の像を撮像する。図１２において、制御部４２は、期間Ｔ２において第２撮像部５６の撮像の終了時またはその後に、補助光Ｌ４の照射を停止または照射強度を低減する。制御部４２は、期間Ｔ２を繰り返し行う。画像処理部７は、第２撮像部５６の撮像結果を用いて、第１撮像部５５の撮像結果を補正し、少なくとも１枚の画像ＳＰを生成する。

図１３は、本実施形態に係る照明と撮像のシーケンスの他の形態を示す図である。制御部４２は、例えば、第１励起光Ｌ２および活性化光Ｌ１を、期間Ｔ２を通して連続的に照射させる。制御部４２は、期間Ｔ２において、補助光Ｌ４を間欠的に照射させる。制御部４２は、例えば、期間Ｔ２の最初のフレーム期間Ｔｆにおいて、補助光Ｌ４を照射させ、第２撮像部５６に撮像させる。制御部４２は、期間Ｔ２において第２撮像部５６の撮像終了時またはその後に、補助光Ｌ４の照射を停止または照射強度を低減する。制御部４２は、期間Ｔ２において、第１撮像部５５および第２撮像部５６に連続的に撮像させる。制御部４２は、基準マーカからの蛍光Ｌ６の像を第２撮像部５６に連続的に撮像させる。期間Ｔ２において電荷読出を繰り返し行うが、補助光Ｌ４が照射されていないフレーム期間Ｔｆにおいては、基準マーカから蛍光Ｌ６がほぼ放射されないので、撮像画像に蛍光Ｌ６の像がほぼ写らない。制御部４２は、期間Ｔ２を繰り返し行う。画像処理部７は、第２撮像部５６の撮像結果を用いて、第１撮像部５５の撮像結果を補正し、少なくとも１枚の画像ＳＰを生成する。

図１４は、本実施形態に係る照明と撮像のシーケンスの他の形態を示す図である。制御部４２は、例えば、第１励起光Ｌ２および活性化光Ｌ１を、期間Ｔ２を通して連続的に照射させる。制御部４２は、期間Ｔ２において、補助光Ｌ４を連続的に照射させる。制御部４２は、蛍光物質からの蛍光Ｌ５の像を第１撮像部５５に連続的に撮像させ、基準マーカからの蛍光Ｌ６の像を第２撮像部５６に間欠的に撮像させる。制御部４２は、期間Ｔ２を繰り返し行う。画像処理部７は、第２撮像部５６の撮像結果を用いて、第１撮像部５５の撮像結果を補正し、少なくとも１枚の画像ＳＰを生成する。

図１５は、本実施形態に係る照明と撮像のシーケンスの他の形態を示す図である。制御部４２は、例えば、第１励起光Ｌ２および活性化光Ｌ１を、期間Ｔ２を通して連続的に照射させる。制御部４２は、期間Ｔ２において、補助光Ｌ４を連続的に照射させる。制御部４２は、蛍光物質からの蛍光Ｌ５の像を第１撮像部５５に連続的に撮像させ、基準マーカからの蛍光Ｌ６の像を第２撮像部５６に連続的に撮像させる。この場合、期間Ｔ２において、基準マーカからの蛍光Ｌ６の像を撮像した画像が複数得られる。画像処理部７は、期間Ｔ２において第２撮像部５６が撮像した撮像画像から１または２以上の撮像画像を用いて、第１撮像部５５が撮像した撮像画像を補正する。制御部４２は、期間Ｔ２を繰り返し行う。画像処理部７は、第２撮像部５６の撮像結果を用いて、第１撮像部５５の撮像結果を補正し、少なくとも１枚の画像ＳＰを生成する。

図１６は、観察条件を設定する処理（図１７のステップＳ２３の処理）の一例を示すフローチャートである。ステップＳ３０において、例えば、ユーザは、第１励起光Ｌ２の波長、活性化光Ｌ１の波長を選択し、制御部４２は、第１励起光Ｌ２の波長、活性化光Ｌ１の波長を設定する。ステップＳ３１において、制御部４２は、第１励起光Ｌ２の強度、活性化光Ｌ１の強度を設定する。ステップＳ３２において、例えば、ユーザは、補助光Ｌ４の波長を選択し、制御部４２は、補助光Ｌ４の波長を設定する。ステップＳ３３において、制御部４２は、補助光Ｌ４の強度を設定する。ステップＳ３４において、制御部４２は、撮像条件を設定する。例えば、制御部４２は、蛍光物質の種類に応じて第１撮像部５５の露光時間、ゲインなどを調整する。また、例えば、制御部４２は、第２の蛍光物質の種類に応じて第２撮像部５６の露光時間、ゲインなどを調整する。ステップＳ３５において、制御部４２は、第１励起光Ｌ２に応じた撮像の総フレーム数を設定する。総フレーム数は、例えば、少なくとも１枚の超解像画像を生成するのに必要とされる撮像画像の枚数に相当する。総フレーム数は、複数の画像を生成するのに必要とされるフレーム数でもよい。

図１７は、本実施形態に係る観察方法を示すフローチャートである。ここでは、図１５に示したシーケンスを例に説明する。まず、ステップＳ２３において、制御部４２は、観察条件を設定する。ステップＳ２４において制御部４２は、活性化光Ｌ１、第１励起光Ｌ２、及び補助光Ｌ４を照射させる。補助光Ｌ４は、例えば、活性化光Ｌ１、第１励起光Ｌ２の照射と並行して、照射される。例えば、補助光Ｌ４の照射は、活性化光Ｌ１、第１励起光Ｌ２が照射される期間の一部に、間欠的に行われてもよい。ステップＳ２５において、結像光学系５は、試料Ｘから放射される蛍光の像を形成する。例えば、結像光学系５は、試料Ｘから放射される蛍光Ｌ５の像を第１撮像部５５に形成し、基準マーカからの蛍光Ｌ６の像を第２撮像部５６に形成する。ステップＳ２６において、制御部４２は、撮像部６に蛍光の像を撮像させる。例えば、制御部４２は、試料Ｘから放射される蛍光Ｌ５の像を第１撮像部５５に撮像させ、基準マーカからの蛍光Ｌ６の像を第２撮像部５６に撮像させる。ステップＳ２７において、撮像を終了するか否かを判定する。例えば、制御部４２は、予め設定された撮像回数（フレーム期間の数）に到達した場合に、撮像を終了すると判定し（ステップＳ２７；Ｙｅｓ）、ステップＳ２８において画像を生成し、一連の処理を終了する。制御部４２は、ステップＳ２７において、撮像を終了しないと判定した場合（ステップＳ２７；Ｎｏ）、ステップＳ２６に戻り撮像を繰り返させる。なお、図１２、図１３のように補助光Ｌ４を間欠的に照射する場合、例えば、観察条件の設定処理（図１７、ステップＳ２３参照）において、補助光Ｌ４を照射させるフレーム期間を設定しておき、この設定に基づいて、補助光Ｌ４を照射（図１７、ステップＳ２４参照）させてもよい。また、図１２、図１４のように、補助光Ｌ４に応じた撮像を行うフレーム期間を間欠的に設ける場合、例えば、観察条件の設定処理（図１７、ステップＳ２３参照）において、図５のステップＳ７のように補助光Ｌ４に応じた撮像の頻度を設定しておき、この設定に基づいて撮像させてもよい。

［第４実施形態］
第４実施形態について説明する。本実施形態では、レポータ色素からの蛍光の光路と、試料の位置の検出に用いられる光の光路とを空間的に分離する他の形態について説明する。レポータ色素は、１種類でもよいし、２種類以上でもよい。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。

図１８は、本実施形態に係る顕微鏡装置１を示す図である。結像光学系５は、活性化された蛍光物質からの蛍光の像を撮像部６の第１撮像領域６ａに形成し、基準マーカからの蛍光の像を撮像部の第２撮像領域６ｂに形成する。制御部４２は、活性化された蛍光物質に対して第１励起光Ｌ２を照射させ、基準マーカに対して補助光Ｌ４を照射させ、撮像部６に複数のフレーム期間で撮像させる。画像処理部７は、第２撮像領域６ｂで得られる撮像結果を用いて、第１撮像領域６ａで得られる撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成する。

図１９は、第４実施形態に係る撮像部および結像光学系の一部を示す図である。結像光学系５は、試料Ｘからの蛍光のうち第１励起光Ｌ２に応じた蛍光物質からの蛍光Ｌ５を第１撮像領域６ａへ導き、試料Ｘからの蛍光のうち補助光Ｌ４に応じた基準マーカからの蛍光Ｌ６を第２撮像領域６ｂへ導く。結像光学系５は、レンズ２８の光出射側に、ダイクロイックミラー５７を備える。ダイクロイックミラー５７は、蛍光Ｌ５が透過し、蛍光Ｌ６が反射する特性を有する。ダイクロイックミラー５７を透過した蛍光Ｌ５は、フィルタ５８を介してミラー６５に入射し、ミラー６５で反射してダイクロイックミラー６６に入射する。ダイクロイックミラー５７で反射した蛍光Ｌ６は、ミラー６７で反射した後にフィルタ６０を介して、ダイクロイックミラー６６に入射する。ダイクロイックミラー６６は、蛍光Ｌ５が反射し、蛍光Ｌ６が透過する特性を有する。ダイクロイックミラー６６で反射した蛍光Ｌ５およびダイクロイックミラー６６を透過した蛍光Ｌ６は、レンズ６８を通って撮像部６に入射する。結像光学系５において、ダイクロイックミラー５７、ミラー６５、ダイクロイックミラー６６、ミラー６７の少なくとも１つは、撮像部６へ向かう蛍光Ｌ５の光路と蛍光Ｌ６の光路とがずれるように、結像光学系５の光軸に対する角度が調整されている。ダイクロイックミラー６６で反射した蛍光Ｌ５は、第１撮像領域６ａに入射し、第２撮像領域６ｂに入射しない。また、ダイクロイックミラー６６を透過した蛍光Ｌ６は、第２撮像領域６ｂに入射し、第１撮像領域６ａに入射しない。

図１９において、符号Ｐｇは、撮像部６により得られる画像を示す。画像Ｐｇにおいて、第１撮像領域６ａに対応する領域Ａ１には、第１励起光Ｌ２に応じた蛍光物質からの蛍光の像Ｉｍが写っており、第２撮像領域６ｂには、補助光Ｌ４に応じた基準マーカからの蛍光の像Ｉｍ２が写っている。図１などに示した画像処理部７は、第２撮像領域６ｂで得られる画像データを用いてステージ２等の顕微鏡の変位（ドリフト量）を算出し、この変位を用いて、第１撮像領域６ａで得られる画像データを補正し、補正後の画像データを用いて試料Ｘの構造を示す画像（例、超解像画像）を生成する。なお、本実施形態において、照明と撮像のシーケンスは、例えば、図１３に示したシーケンスでもよいし、図１５に示したシーケンスでもよい。この場合、第１撮像部を第１撮像領域とし、第２撮像部を第２撮像領域とする。

［第５実施形態］
第５実施形態について説明する。本実施形態では、標識に用いられるレポータ色素が２種類であって、露光期間の設定を切り替える形態について説明する。レポータ色素は、１種類でもよいし、３種類以上でもよい。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。本実施形態に係る顕微鏡装置１において、撮像部６の撮像素子４０（図１参照）は、ＣＭＯＳイメージセンサを含む。顕微鏡装置１は、ローリングシャッタ照明モード（以下、ＲＳ照明モードという）と、グローバル露光照明モード（以下、ＧＥ照明モードという）とを有し、これら２つの照明モードを切替可能である。

図２０（Ａ）は、撮像素子４０の動作の説明図である。撮像素子４０は、水平方向に並ぶ１行の画素（ライン）ごとに、露光と電荷の読出を行う。例えば、垂直方向の始端の１行の画素群ＰＸ１は、時刻ｔ１に露光を開始し、時刻ｔ２に露光を終了して電荷の読出を行う。また、垂直走査方向において、１行の画素群ＰＸ１の次の１行の画素群ＰＸ２は、時刻ｔ１よりも後の時刻ｔ３に露光を開始し、時刻ｔ４に露光を終了した後、電荷の読出を行う。このように撮像素子４０は、線順次で電荷を読出し、１行の画素群ＰＸ１〜ＰＸＪから読み出された電荷に基づいて、１枚の撮像画像Ｘ１を生成する。撮像素子４０は、同様の動作により、撮像画像Ｘ２、撮像画像Ｘ３、・・・を生成する。

図２０（Ｂ）は、ＲＳ照明モードの説明図を示す図である。ＲＳ照明モードにおいて、フレーム期間Ｔｆ１（例、撮像画像Ｘ１の生成期間）に対応する１行の画素群ＰＸ１の露光開始時刻ｔ１から、１行の画素群ＰＸＪの露光終了時刻ｔ５に全てにわたって、試料Ｘに第１励起光Ｌ２が照射され、撮像素子４０には、第１励起光Ｌ２に応じた蛍光物質からの蛍光Ｌ５が入射する。このフレーム期間Ｔｆ１においては、蛍光Ｌ５に応じた電荷を時刻ｔ１〜ｔ５にわたって蓄積するので、ノイズの少ない撮像画像Ｘ１が得られる。

ここで、フレーム期間Ｔｆ２（例、撮像画像Ｘ２の生成期間）に対応する１行の画素群ＰＸ１の露光開始時刻ｔ６から、１行の画素群ＰＸＪ露光終了時刻ｔ７の間の時刻ｔ８において、第１励起光Ｌ２の照射が停止され、第２励起光Ｌ３の照射が開始されたとする。時刻ｔ８以降の期間において、撮像素子４０には、第２励起光Ｌ３に応じた蛍光物質からの蛍光Ｌ７が入射する。このフレーム期間Ｔｆ２においては、蛍光Ｌ５の入射による電荷と、蛍光Ｌ７の入射による電荷とが混在して、撮像画像Ｘ２が生成される。撮像画像Ｘ２は、試料Ｘにおいて蛍光Ｌ５に対応する構造と蛍光Ｌ７に対応する構造との区別が難しく、例えば、超解像画像の生成に用いられない（捨てフレーム、無効フレームになる）。なお、フレーム期間Ｔｆ２の次のフレーム期間Ｔｆ３においては、露光期間にわたって波長の蛍光Ｌ７が入射するので、蛍光Ｌ７に対応する構造を区別することが容易であり、かつノイズの少ない撮像画像Ｘ３が得られる。撮像画像Ｘ２を超解像画像の生成に用いない場合、総フレーム数を確保する上で必要な撮像回数が増加し、総フレーム数の撮像に要する時間が増加する。また、超解像画像の生成に用いない撮像画像Ｘ２を取得する際に試料Ｘに励起光が照射されている場合、試料Ｘのダメージ増加、退色を招く可能性がある。

図２１（Ａ）は、ＧＥ照明モードの説明図を示す図である。ＧＥ照明モードにおいて、１行の画素群ＰＸ１の露光開始が可能になる時刻ｔ１０から、１行の画素群ＰＸＪの露光開始が可能になる時刻ｔ１１までの間、第１励起光Ｌ２および第２励起光Ｌ３の照射が停止される。そして、時刻ｔ１１において、第１励起光Ｌ２の照射が開始され、１行の画素群ＰＸ１の露光終了時刻ｔ１２において、第１励起光Ｌ２の照射が停止される。このフレーム期間Ｔｆ４においては、露光期間にわたって、ほぼ蛍光Ｌ５のみが入射するので、蛍光Ｌ５に対応する構造を区別することが容易な撮像画像が得られる。また、１行の画素群ＰＸＪの露光開始が可能になる時刻ｔ１３において、第２励起光Ｌ３の照射が開始され、１行の画素群ＰＸ１の露光終了時刻ｔ１４において、第２励起光Ｌ３の照射が停止される。このフレーム期間Ｔｆ５においては、露光期間にわたって、ほぼ蛍光Ｌ７のみが入射するので、蛍光Ｌ７に対応する構造を区別することが容易な撮像画像が得られる。このように、ＧＥ照明モードでは、例えば励起光の波長が切り替わるフレーム期間Ｔｆ４、フレーム期間Ｔｆ５の双方の撮像画像を超解像画像の生成に用いることができ、撮像部６が行う複数のフレーム期間の撮像のうち画像処理部７の画像処理に用いられるフレーム期間の比率（以下、フレーム利用率という）を、ＲＳ照明モードよりも高くすることができる。

図２１（Ｂ）は、ＧＥ照明モードにおける露光効率の説明図である。ＧＥ照明モードは、ＲＳ照明モードと比較して、フレーム利用率を高くすることができるが、露光効率が低くなる。露光効率は、１つのフレーム期間の長さに占める露光期間の長さの割合である。ＧＥ照明モードでは、１つのフレーム期間の長さは、１行の画素群の露光開始が可能な時刻ｔ２０から、この１行の画素群の電荷読出時刻ｔ２１までの時間（図２１（Ｂ）の「露光時間」）である。ここでは、露光効率ηは、露光時間をＤ１とし、通光時間（励起光の照射時間）をＤ２として、η＝Ｄ２／Ｄ１×１００（％）で表される。なお、ＧＥ照明モードにおいて、露光時間Ｄ１は、通光時間Ｄ２と、励起光の照射が停止されている遮光時間Ｄ３との和に相当し、概ねＤ１＝Ｄ２＋Ｄ３の関係がある。この式をηの式の右辺に代入すると、η＝１／（１＋Ｄ３／Ｄ２）×１００（％）となる。ここで、遮光時間Ｄ３は、撮像素子４０の電荷読出の速度に依存する装置パラメータであり、Ｄ２を増加させるほどＤ３／Ｄ２が減少し、ηを増加させることができる。

本実施形態において、制御部４２は、上記のフレーム利用率と露光効率との少なくとも一方に基づいて、撮像部６のフレーム期間における励起光（例、第１励起光Ｌ２、第２励起光Ｌ３）の照射期間（照明モード）を設定する。例えば、制御部４２は、照明モードを、ＲＳ照明モード（図２０（Ｂ）参照）またはＧＥ照明モード（図２１（Ａ）参照）に設定することで、励起光の照射期間を設定する。

図２２は、本実施形態に係る観察方法を示すフローチャートである。ステップＳ４０において、制御部４２は、露光時間を決定する。例えば、制御部４２は、露光時間をユーザからの指定値、または予め定められた設定値に決定する。ステップＳ４１において、制御部４２は、ステップＳ４０で決定した露光時間（Ｄ１）を用いて、ＧＥ照明モードを採用した場合の露光効率を算出する。例えば、遮光時間Ｄ３は装置パラメータであり、Ｄ１とＤ３とからＤ２が求まるので、ηを求めることができる。ステップＳ４２において、制御部４２は、露光効率ηが閾値以上であるか否かを判定する。この閾値は、任意に設定される値であり、例えば９０％である。制御部４２は、ηが閾値以上であると判定した場合（ステップＳ４２；Ｙｅｓ）、ステップＳ４６において、照明モードをＧＥ照明モードに設定する。この場合、露光効率ηを閾値以上に確保しつつ、ＲＳ照明モードに比べてフレーム利用率を高くすることができる。また、制御部４２は、露光効率ηが閾値未満であると判定した場合（ステップＳ４２；Ｎｏ）、ステップＳ４３においてＲＳ照明を採用した場合の処理時間を算出する。処理時間は、画像処理に用いないフレーム期間と画像処理に用いるフレーム期間との和であり、例えば、総フレーム数、上記のフレーム利用率、及び１つのフレーム期間の長さから求まる。制御部４２は、ステップＳ４４において処理時間が閾値未満であるか否かを判定する。制御部４２は、処理時間が閾値未満であると判定した場合（ステップＳ４４；Ｙｅｓ）、ステップＳ４５において、照明モードをＲＳ照明モードに設定する。この場合、処理時間を閾値未満におさえつつ、ノイズの少ない撮像画像が得られる。制御部４２は、処理時間が閾値以上であると判定した場合（ステップＳ４４；Ｎｏ）、ステップＳ４６において、照明モードをＧＥ照明モードに設定する。制御部４２は、活性化された蛍光物質に対して、ＧＥ照明モードまたはＲＳ照明モードにより励起光を照射させ、活性化された蛍光物質からの蛍光の像を撮像部６に複数のフレーム期間で撮像させる。画像処理部７は、撮像部６の撮像結果の少なくとも一部を用いて、１枚の画像を生成する。

なお、ステップＳ４４は、処理時間による判定処理の代わりに、画像処理に用いない撮像画像の枚数（捨てフレームの数、無効フレームの数）が閾値未満であるか否かの判定処理であってもよい。本実施形態において、制御部４２は、処理時間に応じた判定処理（ステップＳ４４）を露光効率に応じた判定処理（ステップＳ４２）の後で行うが、ステップＳ４２の判定処理をステップＳ４４の判定処理の後で行ってもよい。例えば、制御部４２は、ステップＳ４０の次に、ＲＳ照明を採用した場合の処理時間を算出（例、ステップＳ４３）し、次いで処理時間が閾値未満であるか否かの判定を行ってもよい。また、制御部４２は、処理時間が閾値未満であると判定した場合にＲＳ照明モードに設定し、処理時間が閾値以上であると判定した場合にステップＳ４２の判定処理を行ってもよい。

なお、制御部４２は、処理時間に応じた判定処理（ステップＳ４４）を行わなくてもよい。例えば、制御部４２は、ステップＳ４２において露光効率ηが閾値未満であると判定した場合（ステップＳ４２；Ｎｏ）、ステップＳ４３およびステップＳ４４の処理を行わずに、ステップＳ４５において照明モードをＲＳ照明モードに設定してもよい。また、制御部４２は、露光効率ηに応じた判定処理（ステップＳ４２）を行わなくてもよい。例えば、制御部４２は、ステップＳ４１およびステップＳ４２の処理を行わないで、ステップＳ４３およびステップＳ４４の処理を行って、照明モードをＧＥ照明モードまたはＲＳ照明モードに設定してもよい。

［第６実施形態］
第６実施形態について説明する。本実施形態では、標識に用いられるレポータ色素が２種類であって、露光期間の設定を切り替える他の形態について説明する。レポータ色素は、３種類以上でもよい。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。

本実施形態において、制御部４２は、活性化光Ｌ１の照射タイミングと励起光（第１励起光Ｌ２、第２励起光Ｌ３）の照射タイミングとの関係に基づいて、撮像部のフレーム期間における励起光の照射期間を設定する。活性化光Ｌ１の照射タイミングと励起光（第１励起光Ｌ２、第２励起光Ｌ３）の照射タイミングとの関係は、例えば、蛍光物質の種類によって定まる。

図２３は、照明と撮像のシーケンスの例を示す図である。図２３（Ａ）は、例えば、レポータ色素を含みアクティベータ色素を含まない蛍光物質を用いる場合の例である。この場合、活性化光Ｌ１の照射と第１励起光Ｌ２の照射とを並行して行う。例えば、制御部４２は、期間Ｔ２５において、活性化光Ｌ１および第１励起光Ｌ２を照射させ、かつ第２励起光Ｌ３を照射させないで、撮像部６に複数のフレーム期間で撮像処理を実行させる。また、第２励起光Ｌ３についても同様に、活性化光Ｌ１と並行して照射を行う。制御部４２は、期間Ｔ２６において、活性化光Ｌ１および第２励起光Ｌ３を照射させ、かつ第１励起光Ｌ２を照射させないで、撮像部６に複数のフレーム期間で撮像処理を実行させる。なお、期間Ｔ２５と期間Ｔ２６において活性化光Ｌ１の強度は異なってもよい。

図２３（Ａ）において、ＲＳ照明モードを採用した場合、期間Ｔ２６の最初のフレーム期間Ｔｆ１０において、撮像素子４０に、第１励起光Ｌ２に応じた蛍光物質からの蛍光と第２励起光Ｌ３に応じた蛍光物質からの蛍光とが入射する。そのため、フレーム期間Ｔｆ１０における撮像画像は、例えば画像処理に利用されない。例えば、図２３（Ａ）において期間Ｔ２６には１５回のフレーム期間が含まれており、フレーム利用率が１４／１５となり、ＧＥ照明モードを採用する場合と比較して処理時間の増加が無視できる場合が多い。

図２３（Ｂ）は、例えば、レポータ色素およびアクティベータ色素を含む蛍光物質を用いる場合の例である。この場合、活性化光Ｌ１の照射と、第１励起光Ｌ２の照射と、第２励起光Ｌ３の照射とを、時間的に切り替えて行う。例えば、制御部４２は、期間Ｔ２７において活性化光Ｌ１を照射させ、次に期間Ｔ２８において第１励起光Ｌ２を照射させ、かつ第２励起光Ｌ３を照射させないで、撮像部６に複数のフレーム期間で撮像処理を実行させる。また、制御部４２は、期間Ｔ２９において活性化光Ｌ１を照射させ、次に期間Ｔ３０において第２励起光Ｌ３を照射させ、かつ第１励起光Ｌ２を照射させないで、撮像部６に複数のフレーム期間で撮像処理を実行させる。制御部４２は、例えば期間Ｔ２８〜期間Ｔ３０を含む期間を繰り返し設ける。

図２３（Ｂ）において、ＲＳ照明モードを採用した場合、期間Ｔ２８の最初のフレーム期間Ｔｆ１１において、撮像素子４０に試料Ｘから第１励起光Ｌ２に応じた蛍光物質からの蛍光が入射する期間は、図２０に示した１行の画素群ＰＸ１と１行の画素群ＰＸＪとで異なることになる。そのため、ＲＳ照明モードを採用した場合、フレーム期間Ｔｆ１１における撮像画像は、例えば画像処理に使われない。例えば、図２３（Ｂ）において期間Ｔ２８には、３回のフレーム期間が含まれており、フレーム期間Ｔｆ１１における撮像画像を用いない場合のフレーム利用率が２／３となり、ＧＥ照明モードを採用する場合と比較して処理時間の増加が無視できない場合が多い。また、期間Ｔ２８において後のフレーム期間になるほど、活性化光Ｌ１の照射から時間が経過しており、所望の撮像画像を取得しにくい場合がある。例えば、期間Ｔ２８において最後のフレーム期間Ｔｆ１２における撮像画像を画像処理に用いない場合、フレーム利用率はさらに低下して１／３になる。期間Ｔ３０についても同様に、例えば、最初のフレーム期間Ｔｆ１３における撮像画像を画像処理に用いない場合、フレーム利用率が２／３となり、さらに、最後のフレーム期間Ｔｆ１４における撮像画像を画像処理に用いない場合、フレーム利用率が１／３となる。図２３（Ｂ）において、ＧＥ照明モードを採用すると、ＲＳ照明モードを採用する場合と比較して、フレーム利用率が高くなり、処理時間を短縮すること等ができる。また、活性化光Ｌ１が照射された後の最初のフレームの期間（例、フレーム期間Ｔｆ１１、フレーム期間Ｔｆ１３）は、所望の撮像画像を得やすいので、ＧＥ照明モードを採用すると、所望の撮像画像を用いて画像処理を行うことができる。

図２４は、本実施形態に係る観察方法を示すフローチャートである。ステップＳ５０において、制御部４２は、活性化光Ｌ１と励起光（第１励起光Ｌ２、第２励起光Ｌ３）とが並行して照射されるか否かを判定する。例えば、制御部４２は、ユーザからの入力情報、あるいは予め記憶装置４３などに記憶された設定情報に基づいて、ステップＳ５０の判定処理を行う。例えば、活性化光Ｌ１と励起光とを並行して照射されるか否かをユーザが指示し、制御部４２は、ユーザの指示を示す入力情報に従って、ステップＳ５０の判定処理を行ってもよい。また、例えば、蛍光物質の種類をユーザが入力し、制御部４２は、蛍光物質の種類と、活性化光、励起光の照射タイミングとを関連付けたデータベースを参照して、蛍光物質の種類に応じた活性化光、励起光の照射タイミングの情報を取得し、この情報に基づいて、ステップＳ５０の判定処理を行ってもよい。制御部４２は、活性化光Ｌ１と励起光とが並行して照射される（例、図２３（Ａ））と判定した場合（ステップＳ５０；Ｙｅｓ）、ステップＳ５１において照明モードをＲＳ照明に設定する。また、制御部４２は、活性化光Ｌ１と励起光とが並行して照射されない（例、図２３（Ｂ））と判定した場合（ステップＳ５０；Ｎｏ）、ステップＳ５２において照明モードをＧＥ照明に設定する。なお、制御部４２は、照明光（例、活性化光Ｌ１、第１励起光Ｌ２、第２励起光Ｌ３）の波長が切り替わる頻度（例、周波数）に応じて、ＧＥ照明モードに設定するか、もしくはＲＳ照明モードに設定するかを判定してもよい。例えば、制御部４２は、照明光の波長が切り替わる頻度が閾値以上である場合に照明モードをＧＥ照明モードに設定し、照明光の波長が切り替わる頻度が閾値未満である場合に照明モードをＲＳ照明モードに設定してもよい。

［第７実施形態］
第７実施形態について説明する。本実施形態では、３次元の超解像画像を生成するモードについて説明する。照明のシーケンスは、上述した各実施形態のいずれであってもよいし、上述した各実施形態を組み合わせたものでもよい。本実施形態において、上述した実施形態と同様の構成については、同じ符号を付してその説明を、適宜、簡略化あるいは省略する。

図２５は、第７実施形態に係る顕微鏡装置を示す図である。本実施形態に係る結像光学系５は、光学部材５２を備える。光学部材５２は、例えば、シリンドリカルレンズである。光学部材５２は、レンズ２７とレンズ２８との間の光路に挿脱可能に設けられる。光学部材５２は、２次元の超解像画像を生成するモードにおいて結像光学系５の光路から退避しており、３次元の超解像画像を生成するモードにおいて結像光学系５の光路に挿入される。光学部材５２が結像光学系５の光路に挿入された状態において、蛍光物質からの蛍光の像は、蛍光物質が結像光学系５の合焦位置に近いほど円形に近づき、蛍光物質が結像光学系５の合焦位置から離れるほど扁平率（楕円率）が高くなる。また、蛍光物質が結像光学系５の合焦位置に対して前ピン側に存在する場合と、後ピン側に存在する場合とで、楕円の長軸と短軸の方向が反転するため、扁平率と楕円の長軸、短軸の向きから、合焦位置に対するずれ量およびずれの向きが分かる。顕微鏡装置１は、例えば、キャリブレーションなどによって、予め取得された扁平率と合焦位置に対するずれ量との関係を用いて、結像光学系５の光軸と平行な方向における蛍光物質の位置を算出することができる。

なお、第４実施形態で説明した基準マーカからの光（例、蛍光）の像を撮像する場合も同様であり、この像の扁平率と楕円の長軸、短軸の向きから、結像光学系５の光軸方向における変位（ドリフト量）を算出することもできる。また、画像処理部７は、結像光学系５の光軸方向における変位（ドリフト量）を用いて、補正を行うこともできる。

上述の実施形態において、制御部４２は、例えばコンピュータシステムを含む。制御部４２は、記憶装置４３に記憶されている制御プログラムを読み出し、この制御プログラムに従って各種の処理を実行する。この制御プログラムは、例えば、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射し、蛍光物質からの蛍光の像を形成し、像を撮像し、撮像の結果を用いて画像処理を行い、撮像を制御する顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、顕微鏡装置の制御は、第１の期間において、活性化された蛍光物質に対して励起光を照射させ、活性化された蛍光物質からの蛍光の像を複数のフレーム期間で撮像させることと、第２の期間において、補助光を基準マーカに対して照射させ、基準マーカからの蛍光の像を撮像させることと、第２の期間における励起光の照射を停止させること、または、第２の期間における励起光の強度を第１の期間より低減させることと、第１の期間における補助光の照射を停止させること、または、第１の期間における補助光の強度を第２の期間より低減させることと、を含み、画像処理は、第２の期間で得られた撮像結果を用いて、第１の期間で得られた撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む。

また、上記の制御プログラムは、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射し、蛍光物質からの蛍光の像を結像光学系によって形成し、像を撮像部によって撮像し、撮像の結果を用いて画像処理を行い、撮像を制御する顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、撮像部は、第１撮像部および第２撮像部を備え、結像光学系は、活性化された蛍光物質からの蛍光の像を第１撮像部に形成し、基準マーカからの蛍光の像を第２撮像部に形成し、顕微鏡装置の制御は、活性化された蛍光物質に対して励起光を照射させ、活性化された蛍光物質からの光を第１撮像部に複数のフレーム期間で撮像させることと、補助光を基準マーカに対して照射させ、基準マーカからの蛍光の像を第２撮像部に撮像させることと、を含み、画像処理は、第２撮像部の撮像結果を用いて、第１撮像部の撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含むものでもよい。

また、上記の制御プログラムは、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射し、蛍光物質からの蛍光の像を結像光学系によって形成し、像を撮像部によって撮像し、撮像の撮像結果を用いて画像処理を行い、撮像を制御する顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって結像光学系は、活性化された蛍光物質からの蛍光の像を撮像部の第１撮像領域に形成し、基準マーカからの蛍光の像を撮像部の第２撮像領域に形成し、顕微鏡装置の制御は、活性化された蛍光物質に対して励起光を照射させ、基準マーカに対して補助光を照射させ、撮像部に複数のフレーム期間で撮像させることを含み、画像処理は、第２撮像領域で得られる撮像結果を用いて、第１撮像領域で得られる撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含むものでもよい。

また、上記の制御プログラムは、試料に含まれる蛍光物質を活性化する活性化光と、活性化された蛍光物質を励起する励起光とを照射し、蛍光物質からの蛍光の像を形成し、像を撮像部によって撮像し、撮像の結果を用いて画像処理を行い、撮像を制御する顕微鏡装置を制御する制御プログラムであって、撮像部は、ＣＭＯＳイメージセンサを含み、顕微鏡装置の制御は、撮像部の露光効率、撮像部の撮像結果のうち画像処理に用いられるフレーム期間の比率、及び活性化光の照射タイミングと励起光の照射タイミングとの関係の少なくとも１つに基づいて、撮像部のフレーム期間における励起光の照射期間を設定し、活性化された蛍光物質に対して励起光を照射させることと、活性化された蛍光物質からの蛍光の像を撮像部に複数のフレーム期間で撮像させることと、を含み、画像処理は、撮像の結果の少なくとも一部を用いて、１枚の画像を生成することを含むものでもよい。

上述の各種制御プログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。

なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。

１・・・顕微鏡装置、４・・・照明光学系、５・・・結像光学系、６・・・撮像部
６ａ・・・第１撮像領域、６ｂ・・・第２撮像領域、７・・・画像処理部、
４１・・・制御部、４２・・・制御部、５５・・・第１撮像部、５６・・・第２撮像部

Claims (21)

1. 試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射する照明光学系と、
   前記蛍光物質からの蛍光の像を形成する結像光学系と、
   前記結像光学系が形成した像を撮像する撮像部と、
   前記撮像部の撮像結果を用いて画像処理を行う画像処理部と、
   前記撮像部を制御する制御部と、を備える顕微鏡装置であって、
   前記制御部は、
   第１の期間において、前記活性化された蛍光物質に対して前記励起光を照射させ、前記活性化された蛍光物質からの蛍光の像を前記撮像部に複数のフレーム期間で撮像させ、
   第２の期間において、前記補助光を前記基準マーカに対して照射させ、前記基準マーカからの蛍光の像を前記撮像部に撮像させ、
   前記第２の期間における前記励起光の照射を停止させ、または、前記第２の期間における前記励起光の強度を前記第１の期間より低減させ、
   前記第１の期間における前記補助光の照射を停止させ、または、前記第１の期間における前記補助光の強度を前記第２の期間より低減させ、
   前記画像処理部は、
   前記第２の期間で得られた撮像結果を用いて、前記第１の期間で得られた撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成する、
   ことを特徴とする顕微鏡装置。
2. 前記励起光の波長と前記補助光の波長とが互いに異なる、
   ことを特徴とする請求項１に記載の顕微鏡装置。
3. 前記補助光は前記励起光よりも弱い、
   ことを特徴とする請求項１または請求項２に記載の顕微鏡装置。
4. 前記制御部は、
   前記第１の期間内に、第１波長期間と第２波長期間とを設け、
   前記第１波長期間において、第１波長の前記励起光を照射させ、前記活性化された蛍光物質からの蛍光の像を前記撮像部に複数のフレーム期間で撮像させ、
   前記第２波長期間において、第２波長の前記励起光を照射させ、前記活性化された蛍光物質からの蛍光の像を前記撮像部に複数のフレーム期間で撮像させ、
   前記画像処理部は、前記第１波長期間における前記撮像部の撮像結果の少なくとも一部と、前記第２波長期間における前記撮像部の撮像結果の少なくとも一部とを用いて少なくとも１枚の画像を形成する、
   ことを特徴とする請求項１〜請求項３のいずれか一項に記載の顕微鏡装置。
5. 前記制御部は、
   前記第１の期間内に、第１波長期間と第２波長期間とを設け、
   前記第１波長期間において、第１波長の前記励起光を照射させ、前記試料からの光を前記撮像部に１つのフレーム期間で撮像させ、
   前記第２波長期間において、第２波長の前記励起光を照射させ、前記試料からの光を前記撮像部に１つのフレーム期間で撮像させ、
   前記画像処理部は、前記複数の第１波長期間における前記撮像部の撮像結果の少なくとも一部と、前記複数の第２波長期間における前記撮像部の撮像結果の少なくとも一部とを用いて、少なくとも１枚の画像を形成する、
   ことを特徴とする請求項１〜請求項３のいずれか一項に記載の顕微鏡装置。
6. 前記制御部は、前記第１波長期間と前記第２波長期間とを交互に設ける、
   ことを特徴とする請求項５に記載の顕微鏡装置。
7. 前記画像処理部は、
   前記第１波長期間における前記撮像部の撮像結果の少なくとも一部および前記第２波長期間における前記撮像部の撮像結果の少なくとも一部を用いて１枚の画像を生成する、
   ことを特徴とする請求項４〜請求項６のいずれか一項に記載の顕微鏡装置。
8. 前記画像処理部は、
   前記第１波長期間における前記撮像部の撮像結果の少なくとも一部を用いて第１の画像を形成し、前記第２波長期間における前記撮像部の撮像結果の少なくとも一部を用いて第２の画像を形成する、
   ことを特徴とする請求項４〜請求項６のいずれか一項に記載の顕微鏡装置。
9. 前記画像処理部は、
   前記第１の期間における前記撮像部の撮像結果の少なくとも一部を用いて、前記第１の画像と前記第２の画像との位置関係を補正する、
   ことを特徴とする請求項８に記載の顕微鏡装置。
10. 前記画像処理部は、前記第１の画像および前記第２の画像を用いて１枚の画像を生成する、
    ことを特徴とする請求項８または請求項９に記載の顕微鏡装置。
11. 試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光と、前記励起光と波長が異なり基準マーカを励起する補助光とを照射する照明光学系と、
    前記蛍光物質からの蛍光の像を形成する結像光学系と、
    前記結像光学系が形成した像を撮像する撮像部と、
    前記撮像部の撮像結果を用いて画像処理を行う画像処理部と、
    前記撮像部を制御する制御部と、を備える顕微鏡装置であって、
    前記撮像部は、第１撮像部および第２撮像部を備え、
    前記結像光学系は、前記活性化された蛍光物質からの蛍光の像を前記第１撮像部に形成し、前記基準マーカからの蛍光の像を前記第２撮像部に形成し、
    前記制御部は、
    前記活性化された蛍光物質に対して前記励起光を照射させ、前記活性化された蛍光物質からの光を前記第１撮像部に複数のフレーム期間で撮像させ、
    前記補助光を前記基準マーカに対して照射させ、前記基準マーカからの蛍光の像を前記第２撮像部に撮像させ、
    前記画像処理部は、
    前記第２撮像部の撮像結果を用いて、前記第１撮像部の撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成する、
    ことを特徴とする顕微鏡装置。
12. 試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射する照明光学系と、
    前記蛍光物質からの蛍光の像を形成する結像光学系と、
    前記結像光学系が形成した像を撮像する撮像部と、
    
    前記撮像部の撮像結果を用いて画像処理を行う画像処理部と、
    前記撮像部を制御する制御部と、を備える顕微鏡装置であって、
    前記結像光学系は、前記活性化された蛍光物質からの蛍光の像を前記撮像部の第１撮像領域に形成し、前記基準マーカからの蛍光の像を前記撮像部の第２撮像領域に形成し、
    前記制御部は、前記活性化された蛍光物質に対して前記励起光を照射させ、前記基準マーカに対して前記補助光を照射させ、前記撮像部に複数のフレーム期間で撮像させ、
    前記画像処理部は、
    前記第２撮像領域で得られる撮像結果を用いて、前記第１撮像領域で得られる撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成する、
    ことを特徴とする顕微鏡装置。
13. 試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光とを照射する照明光学系と、
    前記蛍光物質からの蛍光の像を形成する結像光学系と、
    前記結像光学系が形成した像を撮像する撮像部と、
    前記撮像部の撮像結果を用いて画像処理を行う画像処理部と、
    前記撮像部を制御する制御部と、を備える顕微鏡装置であって、
    前記撮像部は、ＣＭＯＳイメージセンサを含み、
    前記制御部は、
    前記撮像部の露光効率、前記撮像部の撮像結果のうち前記画像処理に用いられるフレーム期間の比率、及び前記活性化光の照射タイミングと前記励起光の照射タイミングとの関係の少なくとも１つに基づいて、前記撮像部のフレーム期間における前記励起光の照射期間を設定し、前記活性化された蛍光物質に対して前記励起光を照射させ、
    前記活性化された蛍光物質からの蛍光の像を前記撮像部に複数のフレーム期間で撮像させ、
    前記画像処理部は、
    前記撮像部の撮像結果の少なくとも一部を用いて、１枚の画像を生成する、
    ことを特徴とする顕微鏡装置。
14. 試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射することと、
    前記蛍光物質からの蛍光の像を形成することと、
    前記像を撮像することと、
    前記撮像の結果を用いて画像処理を行うことと、
    前記撮像を制御することと、を含む観察方法であって、
    前記制御は、
    第１の期間において、前記活性化された蛍光物質に対して前記励起光を照射させ、前記活性化された蛍光物質からの蛍光の像を複数のフレーム期間で撮像させることと、
    第２の期間において、前記補助光を前記基準マーカに対して照射させ、前記基準マーカからの蛍光の像を撮像させることと、
    前記第２の期間における前記励起光の照射を停止させること、または、前記第２の期間における前記励起光の強度を前記第１の期間より低減させることと、
    前記第１の期間における前記補助光の照射を停止させること、または、前記第１の期間における前記補助光の強度を前記第２の期間より低減させることと、を含み、
    前記画像処理は、
    前記第２の期間で得られた撮像結果を用いて、前記第１の期間で得られた撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、
    ことを特徴とする観察方法。
15. 試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射することと、
    前記蛍光物質からの蛍光の像を結像光学系によって形成することと、
    前記像を撮像部によって撮像することと、
    前記撮像の結果を用いて画像処理を行うことと、
    前記撮像を制御することと、を含む観察方法であって、
    前記撮像部は、第１撮像部および第２撮像部を備え、
    前記結像光学系は、前記活性化された蛍光物質からの蛍光の像を前記第１撮像部に形成し、前記基準マーカからの蛍光の像を前記第２撮像部に形成し、
    前記制御は、
    前記活性化された蛍光物質に対して前記励起光を照射させ、前記活性化された蛍光物質からの光を前記第１撮像部に複数のフレーム期間で撮像させることと、
    前記補助光を前記基準マーカに対して照射させ、前記基準マーカからの蛍光の像を前記第２撮像部に撮像させることと、を含み、
    前記画像処理は、
    前記第２撮像部の撮像結果を用いて、前記第１撮像部の撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、
    ことを特徴とする観察方法。
16. 試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射することと、
    前記蛍光物質からの蛍光の像を結像光学系によって形成することと、
    前記像を撮像部によって撮像することと、
    前記撮像の撮像結果を用いて画像処理を行うことと、
    前記撮像を制御することと、を含む観察方法であって、
    前記結像光学系は、前記活性化された蛍光物質からの蛍光の像を前記撮像部の第１撮像領域に形成し、前記基準マーカからの蛍光の像を前記撮像部の第２撮像領域に形成し、
    前記制御は、前記活性化された蛍光物質に対して前記励起光を照射させ、前記基準マーカに対して前記補助光を照射させ、前記撮像部に複数のフレーム期間で撮像させることを含み、
    前記画像処理は、
    前記第２撮像領域で得られる撮像結果を用いて、前記第１撮像領域で得られる撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、
    ことを特徴とする観察方法。
17. 試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光とを照射することと、
    前記蛍光物質からの蛍光の像を形成することと、
    前記像を撮像部によって撮像することと、
    前記撮像の結果を用いて画像処理を行うことと、
    前記撮像を制御することと、を含む観察方法であって、
    前記撮像部は、ＣＭＯＳイメージセンサを含み、
    前記制御は、
    前記撮像部の露光効率、前記撮像部の撮像結果のうち前記画像処理に用いられるフレーム期間の比率、及び前記活性化光の照射タイミングと前記励起光の照射タイミングとの関係の少なくとも１つに基づいて、前記撮像部のフレーム期間における前記励起光の照射期間を設定し、前記活性化された蛍光物質に対して前記励起光を照射させることと、
    前記活性化された蛍光物質からの蛍光の像を前記撮像部に複数のフレーム期間で撮像させることと、を含み、
    前記画像処理は、
    前記撮像の結果の少なくとも一部を用いて、１枚の画像を生成することを含む、
    ことを特徴とする観察方法。
18. 試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射し、前記蛍光物質からの蛍光の像を形成し、前記像を撮像し、前記撮像の結果を用いて画像処理を行い、前記撮像を制御する顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、
    前記顕微鏡装置の制御は、
    第１の期間において、前記活性化された蛍光物質に対して前記励起光を照射させ、前記活性化された蛍光物質からの蛍光の像を複数のフレーム期間で撮像させることと、
    第２の期間において、前記補助光を前記基準マーカに対して照射させ、前記基準マーカからの蛍光の像を撮像させることと、
    前記第２の期間における前記励起光の照射を停止させること、または、前記第２の期間における前記励起光の強度を前記第１の期間より低減させることと、
    前記第１の期間における前記補助光の照射を停止させること、または、前記第１の期間における前記補助光の強度を前記第２の期間より低減させることと、を含み、
    前記画像処理は、
    前記第２の期間で得られた撮像結果を用いて、前記第１の期間で得られた撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、
    ことを特徴とする制御プログラム。
19. 試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射し、前記蛍光物質からの蛍光の像を結像光学系によって形成し、前記像を撮像部によって撮像し、前記撮像の結果を用いて画像処理を行い、前記撮像を制御する顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、
    前記撮像部は、第１撮像部および第２撮像部を備え、
    前記結像光学系は、前記活性化された蛍光物質からの蛍光の像を前記第１撮像部に形成し、前記基準マーカからの蛍光の像を前記第２撮像部に形成し、
    前記顕微鏡装置の制御は、
    前記活性化された蛍光物質に対して前記励起光を照射させ、前記活性化された蛍光物質からの光を前記第１撮像部に複数のフレーム期間で撮像させることと、
    前記補助光を前記基準マーカに対して照射させ、前記基準マーカからの蛍光の像を前記第２撮像部に撮像させることと、を含み、
    前記画像処理は、
    前記第２撮像部の撮像結果を用いて、前記第１撮像部の撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、
    ことを特徴とする制御プログラム。
20. 試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光と、基準マーカを励起する補助光とを照射し、前記蛍光物質からの蛍光の像を結像光学系によって形成し、前記像を撮像部によって撮像し、前記撮像の撮像結果を用いて画像処理を行い、前記撮像を制御する顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、
    前記結像光学系は、前記活性化された蛍光物質からの蛍光の像を前記撮像部の第１撮像領域に形成し、前記基準マーカからの蛍光の像を前記撮像部の第２撮像領域に形成し、
    前記顕微鏡装置の制御は、前記活性化された蛍光物質に対して前記励起光を照射させ、前記基準マーカに対して前記補助光を照射させ、前記撮像部に複数のフレーム期間で撮像させることを含み、
    前記画像処理は、
    前記第２撮像領域で得られる撮像結果を用いて、前記第１撮像領域で得られる撮像結果の少なくとも一部を補正し、補正後の撮像結果の少なくとも一部を用いて１枚の画像を生成することを含む、
    ことを特徴とする制御プログラム。
21. 試料に含まれる蛍光物質を活性化する活性化光と、前記活性化された蛍光物質を励起する励起光とを照射し、前記蛍光物質からの蛍光の像を形成し、前記像を撮像部によって撮像し、前記撮像の結果を用いて画像処理を行い、前記撮像を制御する顕微鏡装置を制御する制御プログラムであって、
    前記撮像部は、ＣＭＯＳイメージセンサを含み、
    前記顕微鏡装置の制御は、
    前記撮像部の露光効率、前記撮像部の撮像結果のうち前記画像処理に用いられるフレーム期間の比率、及び前記活性化光の照射タイミングと前記励起光の照射タイミングとの関係の少なくとも１つに基づいて、前記撮像部のフレーム期間における前記励起光の照射期間を設定し、前記活性化された蛍光物質に対して前記励起光を照射させることと、
    前記活性化された蛍光物質からの蛍光の像を前記撮像部に複数のフレーム期間で撮像させることと、を含み、
    前記画像処理は、
    前記撮像の結果の少なくとも一部を用いて、１枚の画像を生成することを含む、
    ことを特徴とする制御プログラム。
    

Images