JP6552793B2 - 標本観察装置 - Google Patents

Description

本発明は、標本観察装置に関するものである。

従来、回折限界を超える空間分解能で取得した画像の空間強度分布における回折限界を上回る高周波数領域を強調することにより、超解像画像を生成する標本観察装置が知られている（例えば、特許文献１参照。）。特許文献１に記載の標本観察装置は、共焦点ピンホールの径を絞ることにより回折限界を超える空間分解能で画像を取得し、この画像に対して高周波数領域を強調する画像処理を施すことで超解像画像を生成している。

特開２０１３−２００８３号公報

しかしながら、特許文献１に記載の標本観察装置のようにピンホール径を絞ると、光検出器に入射する光の量が低減してしまい、超解像画像を生成するための画像において十分なＳ／Ｎが得られないという不都合がある。

本発明は上述した事情に鑑みてなされたものであって、超解像画像を生成可能な高Ｓ／Ｎの画像を取得することができる標本観察装置を提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、標本を載置するステージと、光源から発せられた励起光を前記標本に照射する対物レンズと、該対物レンズにより前記標本に照射される励起光の空間強度分布を変調する変調部と、前記標本における前記対物レンズの焦点位置から戻る戻り光を通過させ、該焦点位置以外からの光を遮断可能な通過制限部材と、該通過制限部材を通過した戻り光を検出して、超解像画像を生成するための元画像データ、および、基準となる基準画像データを取得する画像データ取得部と、該画像データ取得部により取得された前記元画像データと基準になる基準画像データとの前記空間強度分布が広がる方向の位置ずれ量を算出する位置ずれ量算出部と、該位置ずれ量算出部により所定の位置ずれ検出閾値を超える前記位置ずれ量が算出された場合に、前記画像データ取得部により取得される前記元画像データの前記位置ずれ量が前記所定の位置ずれ検出閾値以下になるように前記ステージ、前記変調部および／または前記画像データ取得部を制御する制御部と、前記標本における同一範囲に複数回にわたり励起光を照射して得られる複数の前記元画像データのうち、前記位置ずれ量が前記所定の位置ずれ検出閾値以下の所定の枚数の前記元画像データを積算して積算画像を生成する画像データ積算部と、前記積算画像を元画像として、超解像画像を生成する画像処理部と、を備える標本観察装置を提供する。

本発明によれば、光源から発せられた励起光が変調部により空間強度分布を変調されて対物レンズにより標本に照射され、標本から戻る戻り光の内、通過制限部材を通過した戻り光のみが画像データ取得部により検出される。これにより、画像データ取得部による分解能を向上し、回折限界を超える空間分解能で元画像データを取得することができる。また、画像データ積算部により標本における同一範囲の複数の元画像データを積算することで、通過範囲制限部材による遮光によって画像データ取得部により取得される戻り光の光量が低下しても、元画像データを加算した分だけ輝度が増大した積算画像を生成することができる。

この場合において、画像データ積算部による元画像データの積算中に観察位置にずれが生じると、標本の同一範囲の正確な積算結果が得られず、高Ｓ／Ｎの積算画像を生成することができない。これに対し、位置ずれ量算出部により、基準画像データに対する元画像データの位置ずれ量を算出して、所定の位置ずれ検出閾値を超える位置ずれ量が算出された場合に、制御部によるステージ、変調部および／または画像データ取得部の制御により、画像データ取得部において位置ずれ量が所定の位置ずれ検出閾値以下の元画像データが取得されることで、画像データ積算部によりこれら位置ずれ量が所定の位置ずれ検出閾値以下の元画像データどうしを積算することができる。

したがって、標本における同一範囲を正確に積算して、超解像画像を生成可能な高Ｓ／Ｎの積算画像を取得することができる。これにより、積算画像を元画像としてこれに高周波数領域を強調する画像処理を施すことで、高周波数領域が可視化された良好な超解像画像を生成することができる。

上記発明においては、前記制御部が、前記ステージおよび／または前記変調部の制御により、前記標本における励起光の照射位置を調整することとしてもよい。

このように構成することで、標本における観察位置にずれが生じた場合に、ずれが起こる前の観察位置、すなわち、基準画像の観察位置と同位置に戻すことができる。これにより、積算画像を構成する複数の元画像データ間の観察位置を簡易に一致させて、超解像画像を生成可能な高Ｓ／Ｎの積算画像を容易に取得することができる。

上記発明においては、前記画像データ取得部が前記標本の像が結像する位置に配された撮像素子であり、前記制御部が、前記標本の結像に対する前記撮像素子の位置を調整することとしてもよい。

このように構成することで、手ブレ補正の原理と同様に、ステージや変調部により発生する観察位置のずれが元画像データに表れないようにすることができる。例えば、ディスク共焦点顕微鏡の場合は、ディスクの回転により多数本のビームを標本上に高速走査させながら、標本の結像位置に配置したＣＣＤのような撮像素子で画像取得を行うので、このような場合に特に有効である。

上記発明においては、前記位置ずれ量算出部が、前記画像データ取得部により前記元画像データが取得される度に前記位置ずれ量を算出し、前記画像データ取得部が、前記位置ずれ量算出部により前記所定の位置ずれ検出閾値を超える位置ずれ量が算出された場合に前記元画像データの取得を中断し、前記制御部により前記元画像データの位置ずれが解消された後に前記元画像データの取得を再開することとしてもよい。

このように構成することで、標本への余分な励起光照射の回数を最小限に抑えることができる。したがって、一連の元画像データを取得し終えてから位置ずれを検出して、位置ずれが生じている全ての元画像データを取得し直す場合のように取得し直す分だけ標本に励起光を照射し続ける必要がなく、蛍光褪色や標本への光ダメージの蓄積が懸念されなくて済む。

上記発明においては、前記画像データ取得部が、前記標本における観察位置とは異なる位置である位置ずれ検出位置の画像データを取得し、前記位置ずれ量算出部が、前記画像データ取得部により取得された前記位置ずれ検出位置の画像データを用いて前記元画像データと前記基準画像データとの位置ずれ量を算出することとしてもよい。

このように構成することで、観察位置の画像データを用いて位置ずれの検出を行う場合のように、位置ずれの検出のために観察位置の元画像データを無駄にすることがなく、観察位置での元画像データの取得回数を最小限に止めることができる。これにより、蛍光褪色や標本への光ダメージを抑制することができる。観察位置における元画像データのコントラストが弱い場合でも、位置ずれ検出位置のコントラストが強い画像データを用いれば、位置ずれの検出精度を向上できる。

上記発明においては、前記制御部が、前記基準画像データに対する前記元画像データの位置ずれ量と該位置ずれ量を前記所定の位置ずれ検出閾値以下にするために必要な前記ステージ、前記変調部および／または前記画像データ取得部の制御量とを対応付けたテーブルを有することとしてもよい。

このように構成することで、標本における観察位置がどの程度ずれたときに、元画像データの位置ずれ量としてどの程度検出されるのかをテーブルに基づいて容易に把握することができる。これにより、標本状態や観察条件を反映して元画像データの位置ずれ量から観察位置の位置ずれ量を正確に把握することができる。

上記発明においては、前記位置ずれ量算出部により算出される前記位置ずれ量が所定の異常検出閾値を超えた場合に異常状態であることを報知する報知部を備えることとしてもよい。

このように構成することで、元画像データと基準画像データとの位置ずれ量が観察位置のずれ等では起こり得ないような大きさになった場合において、観察側の異常あるいは位置ずれ量算出部側の異常等、何らかの異常があるとして、制御部による無理な制御を行わないよう対応することができる。

上記発明においては、前記制御部が、前記変調部の制御により観察位置の位置ずれを補正することとしてもよい。
このように構成することで、ステージとして電動ステージを採用しなくても位置ずれを解消することができる。

上記発明においては、前記元画像データと前記基準画像データとの前記空間強度分布が広がる方向に交差する方向の第２位置ずれ量を算出する第２位置ずれ量算出部と、該第２位置ずれ量算出部により所定の第２閾値を超える第２位置ずれ量が算出された場合に、前記画像データ取得部により取得される前記元画像データの前記位置ずれ量が前記所定の位置ずれ検出閾値以下になるように前記ステージおよび／または前記対物レンズを制御する第２制御部とを備えることとしてもよい。

このように構成することで、第２位置ずれ量算出部により、基準画像データに対する元画像データの第２位置ずれ量を算出して、所定の第２閾値を超える第２位置ずれ量が算出された場合に、第２制御部によるステージおよび／または対物レンズの制御により、画像データ取得部において第２位置ずれ量が所定の第２閾値以下の元画像データが取得される。したがって、画像データ積算部によりこれら第２位置ずれ量が所定の第２閾値以下の元画像データどうしを積算することができる。これにより、対物レンズの光軸方向に観察位置がずれた場合であっても、元画像データにおける励起光の空間強度分布が広がる方向に交差する方向の位置ずれを解消することができる。

上記発明においては、前記標本に対する前記対物レンズの光軸方向の合焦状態を調節するアクティブ型オートフォーカス部を備えることとしてもよい。
このように構成することで、対物レンズの光軸方向に位置ずれが生じた場合でも、アクティブ型オートフォーカス部により、標本に対する合焦状態が調節されて対物レンズの光軸方向の観察位置のずれが解消される。これにより、観察位置の３次元的な全ての方向のずれを解消することができる。

本発明は、光源から発せられた励起光を標本に照射する対物レンズと、該対物レンズにより前記標本に照射された励起光の空間強度分布を変調する変調部と、前記標本における前記対物レンズの焦点位置から戻る戻り光を通過させ、該焦点位置以外からの光を遮断可能な通過制限部材と、該通過制限部材を通過した戻り光を検出して、超解像画像を生成するための元画像データ、および、基準となる基準画像データを取得する画像データ取得部と、該画像データ取得部により取得された前記元画像データと基準になる基準画像データとの前記空間強度分布が広がる方向の位置ずれ量を算出する位置ずれ量算出部と、前記標本における同一範囲に複数回にわたり励起光を照射して得られる複数の前記元画像データのうち、前記位置ずれ量が所定の位置ずれ検出閾値以下の前記元画像データを積算して積算画像を生成する画像データ積算部と、前記積算画像を元画像として、超解像画像を生成する画像処理部と、前記位置ずれ量算出部により前記所定の位置ずれ検出閾値を超える前記位置ずれ量が算出された場合に、前記画像データ積算部により積算する前記元画像データの前記基準画像データに対する位置ずれ量が前記所定の位置ずれ検出閾値以下となるように、前記元画像データの画素をシフトして前記位置ずれを補正する位置ずれ補正部と、を備える標本観察装置を提供する。

本発明によれば、元画像データにおいて所定の位置ずれ検出閾値を超える量の位置ずれが生じた場合であっても、位置ずれ補正部により画素がシフトされて位置ずれ量が所定の位置ずれ検出閾値以下に補正された元画像データを用いて画像データ積算部により積算画像を生成することができる。

したがって、標本における同一範囲を正確に積算して、超解像画像を生成可能な高Ｓ／Ｎの積算画像を取得することができる。これにより、積算画像を元画像としてこれに高周波数領域を強調する画像処理を施すことで、高周波数領域が可視化された良好な超解像画像を生成することができる。

上記発明においては、前記画像データ取得部が、観察対象領域よりも広い視野の前記元画像データを取得することとしてもよい。
このように構成することで、元画像データの画素をシフトして位置ずれを補正する場合において、元画像データの周囲の画素を切り捨てても、観察対象領域が元画像データに含まれるようにすることができる。

上記発明においては、前記位置ずれ量算出部が、前記元画像データと前記基準画像データとの前記空間強度分布が広がる方向に交差する方向の位置ずれをも算出することとしてもよい。

このように構成することで、位置ずれ量算出部により、基準画像データに対する励起光の空間強度分布が広がる方向に交差する方向の位置ずれ量が所定の閾値を超える元画像データが算出されれば、励起光の空間強度分布が広がる方向に交差する方向の位置が異なる他の基準画像データに基づいて、その元画像データを位置ずれ量が所定の閾値以下になるように補正して元画像データ間の観察位置を一致させることができる。

本発明によれば、超解像画像を生成可能な高Ｓ／Ｎの画像を取得することができるという効果を奏する。

本発明の第１実施形態に係る標本観察装置を示す概略構成図である。 （ａ）は観察位置の基準画像データを示す図であり、（ｂ）は観察位置の元画像データを示す図であり、（ｃ）は基準画像データと元画像データの差分画像データを示す図であり、（ｄ）は（ｃ）における各画素の輝度差を示すである。 画像データ蓄積部に格納されている基準画像データおよび各元画像データと、それぞれの差分画像データの一例を示す図である。 画像間差分とオフセットの方向および量とを関連付けた一例を示す図である。 ＋Ｘ、−Ｘ、＋Ｙ、−Ｙの位置ずれ量と画像間差分とを対応付けた一例を示す図である。 観察位置の標準画像データの一例を示す図である。 観察位置の元画像データの一例を示す図である。 超解像画像を生成する工程を説明するフローチャートである。 基準画像データと各元画像データとこれらの各差分画像データの一例を時系列的に配列した図である。 元画像データを積算化処理して積算画像をフィルタ処理する様子を示す図である。 本発明の第１実施形態の第１変形例に係る標本観察装置により超解像画像を生成する工程を説明するフローチャートである。 観察位置とマーカー位置の一例を示す図である。 位置ずれ検出用の画像データと観察画像データの一例を時系列的に配列した図である。 基準位置の元画像データと、基準位置に対してＺ方向に±１ｕｍずれた位置の元画像データと、それぞれの基準画像データに対する差分画像データの一例を示す図である。 標本におけるＺ＝１での元画像データとその差分画像データの一例を時系列的に配列した図である。 標本におけるＺ＝２での元画像データとその差分画像データの一例を時系列的に配列した図である。 標本におけるＺ＝３での元画像データとその差分画像データの一例を時系列的に配列した図である。 本発明の第３実施形態に係る標本観察装置を示す概略構成図である。 図１８の観察位置、対物レンズ、共焦点ディスクおよび撮像素子の位置関係を示す図である。 結像に対して撮像素子の位置を微小にシフト調整した様子を示す図である。 本発明の第４実施形態に係る標本観察装置を示す概略構成図である。 元画像データの画素をシフトして位置ずれを補正する様子を示す図である。 Ｚ方向に異なる位置の各基準画像データと各元画像データの一例を示す図である。

〔第１実施形態〕
本発明の第１実施形態に係る標本観察装置について、図面を参照して以下に説明する。
本実施形態に係る標本観察装置１は、図１に示されるように、標本Ｓを載置するステージ３と、励起光を発生する光源５と、光源５から発せられた励起光を２次元的に走査させるスキャナ（変調部）７と、スキャナ７により走査された励起光を集光する瞳投影レンズ９と、瞳投影レンズ９により集光された励起光を平行光に変換する結像レンズ１３と、結像レンズ１３を透過した励起光を標本Ｓに照射する一方、標本Ｓにおいて発生る蛍光（戻り光）を集光する対物レンズ１５とを備えている。符号１１は、結像レンズ１３からの励起光を瞳投影レンズ９に向けて反射する反射ミラーである。

ステージ３は、対物レンズ１５の光軸方向（Ｚ方向）および光軸方向に対して直交する方向（Ｘ方向、Ｙ方向）に移動することができるようになっている。
スキャナ７は、例えば、近接ガルバノミラーであり、互いに直交する搖動軸回りに搖動可能な２枚のガルバノミラー（図示略）を備えている。このスキャナ７は、２枚のガルバノミラーの各搖動軸回りの揺動角度をそれぞれ制御することで、励起光をＸ方向およびＹ方向に走査させて、空間強度分布を変調することができるようになっている。

また、標本観察装置１は、対物レンズ１５により集光されて励起光の光路を戻る蛍光を光路から分岐させるダイクロイックミラー１７と、ダイクロイックミラー１７により分岐された蛍光を集光する共焦点レンズ１９と、共焦点レンズ１９により集光され蛍光の通過を制限する共焦点ピンホール（通過制限部材）２１と、共焦点ピンホール２１を通過した蛍光を平行光に変換するコリメートレンズ２３と、コリメートレンズ２３を透過した蛍光を検出する光電子増倍管（ＰＭＴ）のような検出器（画像データ取得部）２５とを備えている。

共焦点ピンホール２１は、対物レンズ１５の焦点位置と光学的に共役な位置に配置されており、標本Ｓにおける対物レンズ１５の焦点位置において発生する蛍光のみを通過させるようになっている。また、共焦点ピンホール２１は、蛍光を通過させる開口の大きさを変更することができるようになっている。
検出器２５は、検出した蛍光の強度に相当する光強度信号を出力するようになっている。

また、標本観察装置１には、画像データの取得や画像データの処理等を行うＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）２７と、ＰＣ２７により取得された画像データ等を表示するモニタ２９と、ステージ３、光源５、スキャナ７、共焦点ピンホール２１、検出器２５およびＰＣ２７を制御するシステム制御部（制御部）３１とが備えられている。

ＰＣ２７は、画像データを取得する画像データ取得部３３と、画像データ取得部３３により取得された画像データを蓄積する画像データ蓄積部３５と、画像データ蓄積部３５に蓄積されている画像データ間の位置の差分を算出する差分算出部（位置ずれ量算出部）３７と、差分算出部３７により算出された位置の差分に基づいて、画像データの位置ずれを判定する位置ずれ判定部３９と、標本Ｓにおける同一範囲の複数の画像データを積算して積算画像を生成するデータ積算部（画像データ積算部）４１と、積算画像に画像処理を施す画像処理部４３とを備えている。

画像データ取得部３３は、検出器２５から送られてくる光強度信号をスキャナ７による励起光の走査位置に対応する画素毎に輝度情報に変換して、標本Ｓの画像データを取得するようになっている。以下、画像データ取得部３３により取得される同一の観察位置の画像データのうち、基準になる画像データを「基準画像データ」といい、超解像画像を生成するための積算用の画像データを「元画像データ」という。

画像データ蓄積部３５は、基準画像データをアドレス０に格納し、順次取得された同一範囲の元画像データをアドレス１から順に時系列的に格納していくようになっている。

差分算出部３７は、元画像データと基準画像データとの励起光の空間強度分布が広がる方向、すなわち、Ｘ方向およびＹ方向の位置の差分を算出するようになっている。例えば、差分算出部３７は、元画像データと基準画像データの各画素における輝度の差分の絶対値を算出し、これを全画素に渡り実施するようになっている。以下、輝度の差分は絶対値を用いるものとする。

例えば、図２（ａ）に示す基準画像データと図２（ｂ）に示す元画像データとの各画素における輝度の差分を算出した画像データ（以下、差分画像データという。）を図２（ｃ）に例示する。この差分画像データにおいては、図２（ｄ）に示すように、元画像データ上でコントラストの強い部分に変化がある場合は、その部分の画素において基準画像データとの輝度差が大きくなっている。変化が起こっていない部分の画素においては基準画像データとの輝度差が０になることが理想だが、実際は検出器２５や増幅回路（図示略）等のノイズにより、ランダムな揺らぎを持つ輝度の差分が得られてしまう。図２（ｄ）において、各画素の数値は輝度の差分の一例を示している。

そこで、差分算出部３７は、ノイズレベルとノイズレベルを明らかに上回る差分とを区別するための所定の第１差分閾値（位置ずれ検出閾値）を上回る輝度の差分が得られた画素（以下、位置ずれ画素という。）のみをカウントするようになっている。位置ずれ画素においてのみ有意な変化があったと判定することで、ノイズの影響を抑えることができる。差分画像データ上で、位置ずれ画素の数をカウントすることで、元画像データ上で変化が起こっている部分が多いほどカウント数も増加する相関関係となる。図３は、画像データ蓄積部３５に格納されている基準画像データおよび各元画像データと、これらの差分画像データの一例を示している。

また、差分算出部３７は、画像データ取得部３３により元画像データが１枚取得される度に、その元画像データと基準画像データとの位置の差分、つまり、これらの位置ずれ画素のカウント数（以下、位置ずれ画素のカウント数を「画像間差分」という。）を算出するようになっている。

位置ずれ判定部３９は、元画像データの位置ずれ量、すなわち、差分算出部３７により算出された画像間差分が所定の第２差分閾値を超えた場合に、観察位置に位置ずれが発生していると判定するようになっている。このようにすることで、ノイズ等の影響による誤動作なく観察位置の位置ずれの発生の有無を判定することができる。

第２差分閾値は、標本Ｓの形状やコントラストの状態により適切な値が変わる。また、観察位置のずれ方向およびずれ量と画像間差分との関係は、標本Ｓの状態により左右される。そこで、システム制御部３１は、図４に示すように、基準画像データと基準画像データの観察位置に対してＸ，Ｙ方向にオフセットさせた観察位置の画像データとを取得しておき、これらの画像間差分をオフセットの方向と量に関連付けたテーブルを有している。

例えば、位置ずれ判定部３９において、元画像データが標本Ｓ上の寸法で１ｕｍ以上ずれたら観察位置がずれていると判定するような第２差分閾値を設定することとする。この場合は、＋Ｘ、−Ｘ、＋Ｙ、−Ｙでそれぞれ１ｕｍオフセットした画像データを事前に取得しておき、各画像データと基準画像データとの差分画像データにおいて、図５に示すように、画像間差分の値を測定しておく。

この方法では、画像間差分から観察位置のずれの方向を判断することはできないが、例えば、図４および図５に示す例で画像間差分が１番少ない−Ｘ方向に１ｕｍずれた場合の画像間差分＝１５８８を第２差分閾値とすれば、この画像間差分を超えたときに位置ずれが発生したことにすることで、少なくともいずれかの方向に１ｕｍ以上ずれる前に位置ずれを検出することができる。なお、元画像データが斜め方向にずれた場合はこの限りでないが、実際の顕微鏡あるいはステージの位置ドリフトとしては、＋Ｘ、−Ｘ、＋Ｙ、−Ｙの何れか１方向にずれていくケースが多いため、上記方法においても観察位置のずれの検出には十分有効である。

画像処理部４３は、データ積算部４１により生成された積算画像を元画像としてこれに高周波数領域を強調する画像処理、すなわち、高周波数強調フィルタを適用することで、高周波数領域が可視化された超解像画像を生成するようになっている。

システム制御部３１は、位置ずれ判定部３９により所定の第２差分閾値を超える位置ずれが生じたと判定された場合に、取得する元画像データの位置ずれ量が所定の第２差分閾値以下になるようにスキャナ７を制御するようになっている。例えば、スキャナ７において、その走査範囲を観察位置のずれに応じて微小にオフセット調整することで、元画像データの位置ずれを解消することができる。

元画像データの位置ずれは、ステージ３の位置がドリフトすることにより発生する場合もあるし、あるいは、ステージ３の位置は動いていなくても励起光の照射位置がドリフトすることにより発生する場合もある。しかしながら、標本Ｓと標本Ｓに照射する励起光の照射範囲の相対的な位置関係だけで元画像データ上の位置が決まるので、位置ずれの原因となる部分に関係なく、スキャナ７の制御により、位置ずれを解消するという目的を達成することができる。

例えば、図６に示す観察位置の標準画像データに対して、図７に示すように、スキャナ７のオフセットにより励起光の照射範囲を右にシフトすることで、発生した標本Ｓにおける観察位置のドリフトを元画像データ上で元に戻すように調整することができる。

このように構成された本実施形態に係る標本観察装置１の作用について以下に説明する。
本実施形態に係る標本観察装置１により標本Ｓの超解像画像を生成する場合において、まず、標本Ｓの元画像データを取得する過程について説明する。
光源５から発生させた励起光は、ダイクロイックミラー１７により反射されてスキャナ７により走査され、瞳投影レンズ９、反射ミラー１１、結像レンズ１３を介して対物レンズ１５により標本Ｓに照射される。これにより、スキャナ７の各ガルバノミラーの搖動動作に応じて、標本Ｓ上で励起光が２次元的に走査される。

レーザ光が照射されることにより標本Ｓにおいては発生した蛍光は、対物レンズ１５により集光された後、結像レンズ１３、反射ミラー１１、瞳投影レンズ９およびスキャナ７を介して励起光の光路を戻り、ダイクロイックミラー１７を透過して励起光の光路から分岐され、共焦点レンズ１９により集光される。

共焦点レンズ１９により集光された蛍光の内、標本Ｓにおける対物レンズ１５の焦点位置において発生した光のみが共焦点ピンホール２１を通過し、コリメートレンズ２３を介して検出器２５により検出される。検出器２５においては、検出した蛍光の強度に相当する光強度信号がシステム制御部３１を介してＰＣ２７に送られる。

ＰＣ２７においては、画像データ取得部３３により、検出器２５から送られてくる光強度信号がスキャナ７による励起光の走査位置に対応する画素毎に輝度情報に変換されて、標本Ｓの画像データが取得される。画像データ取得部３３により取得された画像データは、画像データ蓄積部３５に格納される。

次に、超解像画像を生成する過程について、図８のフローチャートを参照して説明する。
本実施形態においては、例えば、元画像データを６４枚取得することとする。
まず、上述した手順により標本Ｓにおける観察位置の基準画像データが取得され（ステップＳＡ１）、画像データ蓄積部３５のアドレス０に格納される（ステップＳＡ２）。

次いで、画像データ蓄積部３５のアドレスが１進み（ステップＳＡ３）、観察位置の元画像データが取得されて（ステップＳＡ４）、画像データ蓄積部３５のアドレス１（カレントアドレス）に蓄積される（ステップＳＡ５）。そして、差分算出部３７により、アドレス０の基準画像データとアドレス１の元度画像データとの差分が演算され（ステップＳＡ６）、第１差分閾値を上回る輝度の差分が得られた位置ずれ画素の数がカウントされる。

次いで、差分算出部３７により算出されたカウント数、すなわち、画像間差分に基づいて、位置ずれ判定部３９により観察位置の位置ずれの有無が判定される（ステップＳＡ７）。画像間差分が第２差分閾値以下と判定された場合は（ステップＳＡ７「Ｙｅｓ」）、最終アドレス、すなわち、所望の撮影枚数（本実施形態においては６４枚）に到達したか否か確認される（ステップＳＡ８）。最終アドレスに到達するまでは（ステップＳＡ８「Ｎｏ」）、アドレスが１ずつ進められて（ステップＳＡ３）、ステップＳＡ３〜ステップＳＡ８が繰り返される。

一方、画像間差分が第２差分閾値を超えていると判定された場合は（ステップＳＡ７「Ｎｏ」）、システム制御部３１によりスキャナ７が制御されて、励起光の照射位置が調整される。これにより、＋Ｘ、−Ｘ、＋Ｙ、−Ｙの方向で元画像データの位置がオフセット調整され、画像間差分が第２差分閾値以下になるように位置ずれが補正される（ステップＳＡ９）。

位置ずれ補正が終了したら、画像データ蓄積部３５のアドレスを進めずに元画像データが取得し直されて画像データ蓄積部３５に蓄積され、差分算出部３７により基準画像データとの画像間差分が算出される（ステップＳＡ１０）。取得し直された元画像データにおける画像間差分が減少している場合は（ステップＳＡ１１「Ｙｅｓ」）、位置ずれ判定部３９により位置ずれが再度判定される（ステップＳＡ１２）。

画像間差分が第２差分閾値以下と判定された場合は（ステップＳＡ１２「Ｙｅｓ」）、最終アドレスかどうか確認される（ステップＳＡ８）。一方、画像間差分が第２差分閾値を超えていると判定された場合は（ステップＳＡ１２「Ｎｏ」）、ステップＳＡ９に戻り、画像データ蓄積部３５のアドレスを進めずにステップＳＡ９〜ステップＳＡ１２が繰り返される。

このようにして、元画像データを順次取得しながら位置ずれが発生した場合は、元画像データの取得を一時中断して観察位置の位置ずれを補正し、補正後に元画像データの取得を再開する。例えば、図９に示すように、４枚目（図９において、Ｔ＝４）の元画像データが取得された時点で画像間差分が第２差分閾値を超えた場合は、システム制御部３１により励起光の照射位置が調整されて元画像データの位置ずれが補正され、再び４枚目の元画像データが取得し直される。そして、取得し直された４枚目の元画像データと基準画像データとの画像間差分が第２差分閾値以下になったら、５枚目（図９において、Ｔ＝５）以降の元画像データの取得が続行される。図９において、Ｔ＝１，Ｔ＝２，Ｔ＝３・・・は元画像データの枚数を示している。

そして、図８のフローチャートのステップＳＡ８において、最終アドレスに到達すると（ステップＳＡ８「Ｙｅｓ」）、元画像データの取得が終了する。これにより、画像データ蓄積部３５において、画像間差分が第２差分閾値以下、すなわち、位置ずれがほとんどない６４枚の元画像データを揃えることができる。

続いて、データ積算部４１により、画像データ蓄積部３５に格納されている６４枚の元画像データが積算されて、積算画像が生成される。そして、画像処理部４３により、積算画像を元画像として、高周波数強調フィルタが適用されて超解像画像が作成される。

なお、図８のフローチャートのステップＳＡ１１において、取得し直された元画像データの画像間差分が増加している場合は、元画像データの位置ずれの程度を遥かに越えるほどに観察位置が大きくずれたり観察条件が変化したりしたような異常状態が発生していることが疑われる。このような場合は、観察位置のオフセット調整により位置ずれをいくら合わせ込もうとしても、もはや観察位置に元画像データを戻すことはできず制御が収束しない。したがって、位置ずれ判定部３９により、異常が生じているものと判断されて異常終了する。

ここで、画像データ取得部３３による元画像データの取得中に観察位置にずれが生じた場合に、取得した複数の元画像データをそのまま積算したのでは標本Ｓの同一範囲の正確な積算結果が得られず、高Ｓ／Ｎの積算画像を生成することができない。これに対し、本実施形態に係る標本観察装置１によれば、基準画像データに対する元画像データの位置ずれ量が所定の第２差分閾値を超えたら、システム制御部３１の制御により観察位置のずれが補正されて、元画像データが取得し直される。そして、位置ずれがほとんどない元画像データどうしが積算される。

したがって、図１０に示すように、標本Ｓにおける同一範囲を正確に積算して、超解像画像を生成可能な高Ｓ／Ｎの積算画像を取得することができる。そして、この積算画像を元画像としてこれに高周波数領域を強調する画像処理を施すことで、高周波数領域が可視化された良好な超解像画像を生成することができる。

また、位置ずれが発生した場合に元画像データの取得を一時中断して、位置ずれを適切に補正した後に元画像データの取得を再開することで、一連の元画像データを取得し終えてから、位置ずれが生じている全ての元画像データを取得し直すような場合と比較して、標本Ｓへの余分な励起光照射の回数を最小限に抑えることができる。したがって、標本Ｓに励起光を照射し続ける必要がなく、蛍光褪色や標本への光ダメージの蓄積が懸念されなくて済む。

本実施形態においては、スキャナ７の制御により励起光の照射位置を調整して元画像データの位置ずれを解消することとしたが、これに代えて、システム制御部３１によりステージ３をＸ，Ｙ方向に移動させることで、励起光の照射位置を調整して元画像データの位置ずれを解消することとしてもよい。また、スキャナ７とステージ３の両方で位置ずれを解消することとしてもよい。

また、本実施形態においては、標本観察装置１が、対物レンズの光軸方向の合焦状態を調節する公知の顕微鏡用アクティブ型フォーカスドリフト補正装置（アクティブ型オートフォーカス部)を備えることとしてもよい。元画像データの取得のために必要な時間は数分以内と比較的短時間のため、Ｚ方向の位置ずれの影響は限定的であり問題となることは少ない。しかしながら、Ｚ方向の位置ずれも画像精度に影響を及ぼすような場合は、顕微鏡用アクティブ型フォーカスドリフト補正装置を使用することにより、Ｘ，Ｙ方向の位置ずれの補正と同時に、Ｚ方向の位置ずれを常時補正しておくことができる。

また、本実施形態においては、差分算出部３７により算出される画像間差分が所定の異常検出閾値を超えた場合に、音声等により異常状態であることをユーザに報知する報知部（図示略）を備えることとしてもよい。
このようにすることで、画像間差分が観察位置のずれ等では起こり得ないような大きさになった場合において、観察側の異常あるいは差分算出部３７側の異常等、何らかの異常があるとして、システム制御部３１による無理な制御を行わないよう対応することができる。

本実施形態は以下のように変形することができる。
本実施形態においては、基準画像データと元画像データの位置の差分として、輝度差が第１差分閾値を超える位置ずれ画素の数をカウントすることとした。これに対し、第１変形例としては、差分算出部３７が元画像データのある領域にわたり輝度差分の積分値を算出し、位置ずれ判定部３９が、その輝度差分の積分値が所定の第２差分閾値を超えていた場合に位置ずれが発生したと判定することとしてもよい。この場合も、元画像データの位置ずれが生じていない場合に検出ノイズの積分値で誤検出されないように、ノイズの積分値を明らかに上回った場合に検知するような値の閾値を設定することとすればよい。

また、本実施形態においては、各画素の輝度データの差分を算出することとしたが、第２変形例としては、差分算出部３７が、基準画像データと元画像データの画像処理アルゴリズムを介したパターンマッチングにより観察位置の位置ずれの方向と量を算出することとしてもよい。

このようにすることで、上述した各画素の輝度データの差分による方法よりも、位置ずれの方向と量を正確に算出することができる。したがって、元画像データの位置ずれをオフセットする制御において、画像処理アルゴリズムにより算出された観察位置の位置ずれの方向と量を適用することで、観察位置に元画像データを一致させることが可能となる。

本変形例においては、図１１のフローチャートに示されるように、ルーチンＢとして、図８のルーチンＡにおけるステップＳＡ６の差分演算に代えて、パターンマッチングを行うこととすればよい（ステップＳＢ６）。また、２度目のルーチンＢのパターンマッチング（ステップＳＢ１０）が終了したら、差分が減少しているか否かを判断することなく、位置ずれ判定部３９により位置ずれを判定することとすればよい（ステップＳＡ１１）。

また、本実施形態においては、標本Ｓにおける観察位置の元画像データそのものを用いて観察位置の位置ずれを判定することとしたが、第３変形例としては、画像データ取得部３３が、標本Ｓにおける観察位置とは異なる位置である位置ずれ検出位置の画像データを位置ずれ検出用として取得することとしてもよい。

また、差分算出部３７が、画像データ取得部３３により同一の位置ずれ検出位置において取得された画像データと基準画像データとの画像間差分を算出することとしてもよい。なお、図１２に示すように、実際の観察位置とは別の位置にマーカーを標識したマーカー位置を位置ずれ検出位置とし、このマーカー位置と実際の観察位置との間の移動には再現性と精度が保証されていることとする。

この場合、最初にマーカー位置で基準画像データを取得した後、図１３に示すように、観察位置の元画像データを順次取得していく際にその取得ごとにマーカー位置へ一旦移動して画像データを取得し、この画像データを用いて元画像データと基準画像データとの画像間差分を算出することとすればよい。

そして、位置ずれ判定部３９により、これらマーカー位置の基準画像データと画像データとの位置の差分から位置ずれが発生していると判定された場合は、システム制御部３１により、観察位置のずれを補正した後、実際の観察位置に移動して積算用の元画像データを取得することとすればよい。

このようにすることで、観察位置の画像データを用いて位置ずれの検出を行う場合のように、位置ずれの検出のために観察位置の元画像データを無駄にすることがなく、実際の観察位置での画像取得回数、すなわち、観察位置への励起光の照射回数を最小限に抑えることができる。これにより、標本Ｓへの光ダメージや蛍光褪色の影響を最小限に止めることができる。また、観察位置における元画像データのコントラストが弱い場合でも、位置ずれ検出位置のコントラストが強い元画像データを用いれば、位置ずれの検出精度を向上できる

〔第２実施形態〕
次に、本発明の第２実施形態に係る標本観察装置について説明する。
本実施形態に係る標本観察装置１は、差分算出部（第２位置ずれ量算出部）３７が、元画像データと基準画像データとのＺ方向の位置ずれ量（第２位置ずれ量）を算出し、システム制御部（第２制御部）３１が、差分算出部３７により所定の第２差分閾値（第２閾値）を超える位置ずれ量が算出された場合に、画像データ取得部３３により取得される元画像データの位置ずれ量が所定の第２差分閾値以下になるようにステージ３および／または対物レンズ１５を制御する点で第１実施形態と異なる。
以下、第１実施形態に係る標本観察装置１と構成を共通する箇所には、同一符号を付して説明を省略する。

標本ＳがＺ方向の断面の形状が変化する場合は、基準画像データと元画像データとの間（以下、単に「画像データ間」という。）でＺ位置のずれが起こり、図１４に示すように、画像データ間の輝度差分も当然増加する。例えば、Ｘ，Ｙ方向の位置ずれ補正をどんなに行っても画像間差分が第２差分閾値以下に収まらない場合は、Ｚ方向の位置ずれが発生している可能性が疑われる。

システム制御部３１は、対物レンズ１５の位置および／またはステージ３の高さにより焦点を調整するようになっている。基準画像データと元画像データとの画像間差分が第２差分閾値以下になれば、Ｚ位置のずれが適切に補正されたことになる。あるいは、Ｘ，Ｙ方向の位置ずれ補正を行う前に、まず、Ｚ方向の焦点調整により画像間差分を最小にした後に、Ｘ，Ｙ方向の位置ずれを補正することとしてもよい。

このように構成された標本観察装置１の作用について説明する。
本実施形態においては、超解像画像を生成するための積算画像として、Ｚ方向に断面の位置が異なるものを３枚（３スライス）生成する場合を例示して説明する。
この場合は、まず、図１５〜１７に示すように、Ｚ方向の位置が異なる３つの基準位置（Ｚ＝１、Ｚ＝２、Ｚ＝３）においてそれぞれ基準画像データを取得する。

次いで、画像データ取得部３３により、図１５に示すように、Ｚ＝１の元画像データを取得する。そして、差分算出部３７により、元画像データを取得する度にＺ＝１の基準画像データとの間で画像間差分を算出し、第２差分閾値を超えていたら、システム制御部３１により、Ｘ，Ｙ方向に観察位置の位置ずれ補正を行う。

それでもなお画像間差分が第２差分閾値を超えていたら、システム制御部３１によりＺ方向に位置ずれ補正を行い、画像間差分が第２差分閾値以下になったら、次の元画像データの取得に移行する。このようにして、Ｚ＝１のスライスにおいては、Ｘ，Ｙ，Ｚ方向で基準画像データと一致する一連の元画像データを取得する。
Ｚ＝２以降のスライスについても、Ｚ＝１の場合と同様の手順により、観察位置のずれが生じた場合にＸ，Ｙ，Ｚ方向に補正した元画像データを取得する。

本実施形態に係る標本観察装置１によれば、差分算出部３７により、基準画像データに対する元画像データの画像間差分を算出して、所定の第２差分閾値を超える画像間差分が算出された場合に、システム制御部３１によるステージ３および／または対物レンズ１５の制御により、画像間差分が所定の第２差分閾値以下の元画像データが取得される。

したがって、画像データ積算部４１によりこれら位置ずれ量が所定の第２差分閾値以下の元画像データどうしを積算することができる。これにより、対物レンズ１５の光軸方向に観察位置がずれた場合であっても、元画像データにおける励起光の空間強度分布が広がる方向に交差する方向の位置ずれを解消することができる。

本実施形態においては、Ｚ方向のドリフトがＸ，Ｙ方向のドリフトに比べて非常に緩慢に起こるのであれば、各Ｚ位置のスライスの元画像データの１枚目でＺ方向の位置をオフセット調整し、各Ｚ位置で基準画像データの取得を開始する時に、そのＺ位置での元画像データと基準画像データとの画像間差分が最小になるようにしておくこととしてもよい。

この操作により、最初に取得した基準画像データの観察位置（Ｚ＝１）と同じ焦点位置に補正した状態を再現できる。積算用の元画像データを取得していく場合は、画像間差分からＸ，Ｙ方向だけの観察位置のずれを補正することとしてよい。このようにした場合でも、短時間なのでその間にＺ方向の観察位置のずれは発生し難い。Ｚ＝２以降のスライスについても同様である。

本実施形態においては、第２位置ずれ量算出部として差分算出部３７を採用し、第２制御部としてシステム制御部３１を採用することとしたが、標本観察装置１が、差分算出部３７およびシステム制御部３１とは別に、第２位置ずれ量算出部および第２制御部を備えることとしてもよい。

また、本実施形態においては、公知の顕微鏡用アクティブ型フォーカスドリフト補正装置（アクティブ型オートフォーカス部）を使用することにより、Ｘ，Ｙ方向の位置ずれの補正と同時にＺ方向の位置ずれを補正することとしてもよい。

〔第３実施形態〕
次に、本発明の第３実施形態に係る標本観察装置について説明する。
本実施形態に係る標本観察装置１０１は、図１８に示すように、スキャナ７および共焦点ピンホール２１に代えて、集光レンズアレイ１５１および共焦点ディスク（変調部）１５３とを備え、また、コリメートレンズ２３、検出器２５、画像データ取得部３３に代えて、リレーレンズ１５５およびＣＣＤのような撮像素子（画像データ取得部）１５７を備える点で第１実施形態と異なる。
以下、第１実施形態に係る標本観察装置１と構成を共通する箇所には、同一符号を付して説明を省略する。

集光レンズアレイ１５１は、光源５からの励起光を集光して共焦点ディスク１５３に入射させるようになっている。集光レンズアレイ１５１を介することで、光源５から発せられた励起光の共焦点ディスク１５３への入射効率を向上することができる。

共焦点ディスク１５３は、多数の微小開口を備えており、回転モータ１５９により、集光レンズアレイ１５１ともに、所定の回転軸回りに同期して回転させられるようになっている。この共焦点ディスク１５３は、入射した励起光を複数に分割して、それら複数の励起光を標本Ｓ上に集光させるようになっている。

また、共焦点ディスク１５３は、所定の回転軸回りに回転させられることで、標本Ｓ上で複数の励起光を２次元的に走査させることができるようになっている。これにより、複数の励起光を標本Ｓ上の観察対象領域に満遍なく走査させることができる。
リレーレンズ１５５は、共焦点ディスク１５３を介して戻る蛍光をリレーして撮像素子１５７の受光面上に結像させるようになっている。

撮像素子１５７は、対物レンズ１５の焦点位置と光学的に共役な位置に配置されている。また、撮像素子１５７は、ピエゾ素子などの微動調整可能なアタッチメント（図示略）にマウントされており、システム制御部３１により、リレーレンズ１５５によって結像される像に対して位置を微小にシフト調整することができるようになっている。

このように構成された標本観察装置１０１の作用について説明する。
本実施形態に係る標本観察装置１０１により画像データを取得する場合、回転モータ１５９により集光レンズアレイ１５１および共焦点ディスク１５３を所定の回転軸回りに回転させて、光源５から励起光を発生させる。

光源５から発せられた励起光は、集光レンズアレイ１５１により集光されてダイクロイックミラー１７を透過し、共焦点ディスク１５３の複数の開口を通過して複数に分割される。分割された複数の蛍光は、結像レンズ１３により結像されて対物レンズ１５により標本Ｓに照射される。これにより、共焦点ディスク１５３の回転に従い、標本Ｓ上で複数の励起光が２次元的に走査される。

励起光が照射されることにより標本Ｓにおいて発生した蛍光は、対物レンズ１５および結像レンズ１３を介して励起光の光路を戻り、共焦点ディスク１５３の各開口を再び通過する。そして、蛍光は、ダイクロイックミラー１７により反射された後、リレーレンズ１５５を介して撮像素子１５７により受光される。これにより、撮像素子１５７においては画像データが取得される。

このようにして共焦点ディスク１５３を回転させながら、撮像素子１５７により画像データを連続的に取得したり、あるいは、複数の励起光が観察領域を満遍なく走査する時間を露光時間として元画像データを取得したりすることができる。
差分算出部３７による元画像データと基準画像データとの画像間差分の算出や、位置ずれ判定部３９による観察位置のずれの判定、観察位置にずれが生じた場合の元画像データの取得し直し等については第１実施形態と同様である。

この場合において、システム制御部３１により、図１９に示すように、標本Ｓの像の結像位置に配されている撮像素子１５７の位置を微小にシフト調整することで、図２０に示すように、取得する元画像データ内の観察対象を微小にシフト調整して位置ずれを補正することができる。

したがって、本実施形態に係る標本観察装置１０１によれば、標本Ｓにおける同一範囲を正確に積算して、超解像画像を生成可能な高Ｓ／Ｎの積算画像を取得することができる。これにより、積算画像を元画像としてこれに高周波数領域を強調する画像処理を施すことで、高周波数領域が可視化された良好な超解像画像を生成することができる。

〔第４実施形態〕
次に、本発明の第４実施形態に係る標本観察装置について説明する。
本実施形態に係る標本観察装置２０１は、図２１に示すように、位置ずれが生じている元画像データを後処理で補正する画像シフト補正部（位置ずれ補正部）１６１を備える点で第１実施形態と異なる。
以下、第１実施形態に係る標本観察装置１と構成を共通する箇所には、同一符号を付して説明を省略する。

差分算出部３７は、画像データ蓄積部３５に格納されている一連の元画像データにおいて、パターンマッチングにより、基準画像データに対する位置ずれの方向と量を算出するようになっている。

画像シフト補正部１６１は、位置ずれ判定部３９により観察位置のずれが生じていると判定された元画像データの基準画像データに対する画像間差分が所定の第２差分閾値以下になるように、その元画像データの画素をシフトすることにより位置ずれを補正するようになっている。また、画像シフト補正部１６１は、画像データ取得部３３により積算用の全ての元画像データが取得された後に、位置ずれが生じている元画像データの位置ずれを補正するようになっている。

画像データ取得部３３は、ある程度予測される観察位置のずれ量の分だけ、観察対象領域よりも広い視野の元画像データを取得するようになっている。元画像データの位置ずれを画素シフトにより調整すると、積算処理に使える画像領域は画像中央の重複する領域だけとなり、画像周辺部のデータは切り捨てられてしまうことになる。そのため、取得したい観察領域に対してある程度予測される観察位置のずれ量の分だけ広い領域の画像データを取得することで、その後に画素シフトで各元画像データの位置合わせを行った際に、所望の観察領域が全ての元画像データにおいて重複する状態を実現することができる。

このように構成された標本観察装置２０１によれば、画像データ取得部３３により、観察位置の基準画像データと全ての元画像データが順次取得されて、画像データ蓄積部３５に蓄積される。そして、差分算出部３７により全ての元画像データに対して、パターンマッチングにより基準画像データとの画像間差分が算出され、位置ずれ判定部３９により観察位置の位置ずれが判定される。

次いで、図２２に示すように、いずれかの元画像データにおいて所定の第２差分閾値を超える量の位置ずれが生じている場合は、画像シフト補正部１６１により、その元画像データの画素がシフトされて画像間差分が所定の第２差分閾値以下になるように補正される。これにより、画像データ蓄積部３５において、画像間差分が第２差分閾値以下、すなわち、位置ずれがほとんどない元画像データを揃えることができ、画像データ積算部４１により、これらの元画像データを用いて積算画像を生成することができる。

したがって、標本Ｓにおける同一範囲を正確に積算して、超解像画像を生成可能な高Ｓ／Ｎの積算画像を取得することができる。これにより、積算画像を元画像としてこれに高周波数領域を強調する画像処理を施すことで、高周波数領域が可視化された良好な超解像画像を生成することができる。

本実施形態においては、Ｘ，Ｙ方向の位置ずれのみを補正する場合を説明したが、画像間差分からＺ方向の位置ずれを補正することとしてもよい。例えば、超解像画像を生成するための積算画像として、図２３に示すように、Ｚ方向に断面の位置が異なる５つの位置（５スライス）において、各々の断面で４枚取得する場合を例示して説明する。

最初にＺ＝１〜５までの基準画像データを取得し、次にＺ＝１のスライスにおける元画像データ、Ｚ＝２における元画像データというようにＺ＝５における元画像データまで順次取得していく。次いで、差分算出部３７により、各Ｚ位置における元画像データに対して、そのＺ位置での基準画像データとパターンマッチング等によってＸ，Ｙ方向の位置ずれを算出する。

この場合において、パターンのマッチングがＸ，Ｙ方向の位置ずれだけではない程に乱れている場合は、Ｚ方向の異なるスライス位置の基準画像データに対してもマッチングを行う。異なるスライス位置の基準画像データとのマッチングが最適になれば、元画像データを取得中にＺ方向のドリフトが生じてしまったことが判別できる。

次いで、画像シフト補正部１６１により、元画像データのＸ，Ｙ方向の位置ずれを画素シフトにより補正する。また、Ｚ位置については、現在取得していると想定しているＺ位置なのか、あるいはドリフトしてしまって別のＺ位置に移ってしまっているのかが分るので、Ｚ位置がドリフトでスワップしてしまっている場合などはＺスタックの順番を補正するなどして適切なＺ位置の画像として補正することができる。
なお、両端のＺスライスははじかれてしまう可能性があるので、予めＺスライスはドリフトで予想される分広めに設定しておくことが好ましい。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記各実施形態および変形例に適用したものに限定されることなく、これらの実施形態および変形例を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。

１，１０１，２０１ 標本観察装置
３ ステージ
７ スキャナ（変調部）
１５ 対物レンズ
２１ 共焦点ピンホール（通過範囲制限部材）
２５ 検出器（画像データ取得部）
３１ システム制御部（制御部、第２制御部）
３３ 画像データ取得部
３７ 差分算出部（位置ずれ量算出部、第２位置ずれ量算出部）
４１ 画像データ積算部
１５７ 撮像素子
１６１ 画像シフト補正部（位置ずれ補正部）
Ｓ 標本

Claims (13)

1. 標本を載置するステージと、
   光源から発せられた励起光を前記標本に照射する対物レンズと、
   該対物レンズにより前記標本に照射される励起光の空間強度分布を変調する変調部と、
   前記標本における前記対物レンズの焦点位置から戻る戻り光を通過させ、該焦点位置以外からの光を遮断可能な通過制限部材と、
   該通過制限部材を通過した戻り光を検出して、超解像画像を生成するための元画像データ、および、基準となる基準画像データを取得する画像データ取得部と、
   該画像データ取得部により取得された前記元画像データと基準になる基準画像データとの前記空間強度分布が広がる方向の位置ずれ量を算出する位置ずれ量算出部と、
   該位置ずれ量算出部により所定の位置ずれ検出閾値を超える前記位置ずれ量が算出された場合に、前記画像データ取得部により取得される前記元画像データの前記位置ずれ量が前記所定の位置ずれ検出閾値以下になるように前記ステージ、前記変調部および／または前記画像データ取得部を制御する制御部と、
   前記標本における同一範囲に複数回にわたり励起光を照射して得られる複数の前記元画像データのうち、前記位置ずれ量が前記所定の位置ずれ検出閾値以下の所定の枚数の前記元画像データを積算して積算画像を生成する画像データ積算部と、
   前記積算画像を元画像として、超解像画像を生成する画像処理部と、
   を備える標本観察装置。
2. 前記制御部が、前記ステージおよび／または前記変調部の制御により、前記標本における励起光の照射位置を調整する請求項１に記載の標本観察装置。
3. 前記画像データ取得部が前記標本の像が結像する位置に配された撮像素子であり、
   前記制御部が、前記標本の結像に対する前記撮像素子の位置を調整する請求項１に記載の標本観察装置。
4. 前記位置ずれ量算出部が、前記画像データ取得部により前記元画像データが取得される度に前記位置ずれ量を算出し、
   前記画像データ取得部が、前記位置ずれ量算出部により前記所定の位置ずれ検出閾値を超える位置ずれ量が算出された場合に前記元画像データの取得を中断し、前記制御部により前記元画像データの位置ずれが解消された後に前記元画像データの取得を再開する請求項１から請求項３のいずれかに記載の標本観察装置。
5. 前記画像データ取得部が、前記標本における観察位置とは異なる位置である位置ずれ検出位置の画像データを取得し、
   前記位置ずれ量算出部が、前記画像データ取得部により取得された前記位置ずれ検出位置の画像データを用いて前記元画像データと前記基準画像データとの位置ずれ量を算出する請求項１から請求項４のいずれかに記載の標本観察装置。
6. 前記制御部が、前記基準画像データに対する前記元画像データの位置ずれ量と該位置ずれ量を前記所定の位置ずれ検出閾値以下にするために必要な前記ステージ、前記変調部および／または前記画像データ取得部の制御量とを対応付けたテーブルを有する請求項１から請求項５のいずれかに記載の標本観察装置。
7. 前記位置ずれ量算出部により算出される前記位置ずれ量が所定の異常検出閾値を超えた場合に異常状態であることを報知する報知部を備える請求項１から請求項６のいずれかに記載の標本観察装置。
8. 前記制御部が、前記変調部の制御により観察位置の位置ずれを補正する請求項１から請求項７のいずれかに記載の標本観察装置。
9. 前記元画像データと前記基準画像データとの前記空間強度分布が広がる方向に交差する方向の第２位置ずれ量を算出する第２位置ずれ量算出部と、
   該第２位置ずれ量算出部により所定の第２閾値を超える第２位置ずれ量が算出された場合に、前記画像データ取得部により取得される前記元画像データの前記位置ずれ量が前記所定の位置ずれ検出閾値以下になるように前記ステージおよび／または前記対物レンズを制御する第２制御部とを備える請求項１から請求項７のいずれかに記載の標本観察装置。
10. 前記標本に対する前記対物レンズの光軸方向の合焦状態を調節するアクティブ型オートフォーカス部を備える請求項１から請求項８のいずれかに記載の標本観察装置。
11. 光源から発せられた励起光を標本に照射する対物レンズと、
    該対物レンズにより前記標本に照射された励起光の空間強度分布を変調する変調部と、
    前記標本における前記対物レンズの焦点位置から戻る戻り光を通過させ、該焦点位置以外からの光を遮断可能な通過制限部材と、
    該通過制限部材を通過した戻り光を検出して、超解像画像を生成するための元画像データ、および、基準となる基準画像データを取得する画像データ取得部と、
    該画像データ取得部により取得された前記元画像データと基準になる基準画像データとの前記空間強度分布が広がる方向の位置ずれ量を算出する位置ずれ量算出部と、
    前記標本における同一範囲に複数回にわたり励起光を照射して得られる複数の前記元画像データのうち、前記位置ずれ量が所定の位置ずれ検出閾値以下の前記元画像データを積算して積算画像を生成する画像データ積算部と、
    前記積算画像を元画像として、超解像画像を生成する画像処理部と、
    前記位置ずれ量算出部により前記所定の位置ずれ検出閾値を超える前記位置ずれ量が算出された場合に、前記画像データ積算部により積算する前記元画像データの前記基準画像データに対する位置ずれ量が前記所定の位置ずれ検出閾値以下となるように、前記元画像データの画素をシフトして前記位置ずれを補正する位置ずれ補正部と、
    を備える標本観察装置。
12. 前記画像データ取得部が、観察対象領域よりも広い視野の前記元画像データを取得する請求項１１に記載の標本観察装置。
13. 前記位置ずれ量算出部が、前記元画像データと前記基準画像データとの前記空間強度分布が広がる方向に交差する方向の位置ずれをも算出する請求項１１または請求項１２に記載の標本観察装置。