JP6406008B2

JP6406008B2 - 光学観察装置

Info

Publication number: JP6406008B2
Application number: JP2014266213A
Authority: JP
Inventors: 佳澄横田
Original assignee: Shimadzu Corp
Current assignee: Shimadzu Corp
Priority date: 2014-12-26
Filing date: 2014-12-26
Publication date: 2018-10-17
Anticipated expiration: 2034-12-26
Also published as: JP2016126129A

Description

本発明は、被観察物からの光を結像して観察する光学観察装置に関する。

光学顕微鏡は、被観察物から発せられる反射光、透過光、蛍光等の光を対物レンズや接眼レンズ等の結像光学系によって拡大結像して観察する装置である。光学顕微鏡により一度に観察可能な範囲（以下、「観察可能範囲」とする）は主に対物レンズの倍率によって決定され、高倍率のときは、観察可能範囲が小さくなる。このため、対物レンズを高倍率にした場合、観察者が観察対象とする範囲（以下、「観察目的範囲」とする）の一部しか観察できないことがある。

これに対して、特許文献１には、観察可能範囲が観察目的範囲よりも小さい場合に、観察可能範囲毎に被観察物の観察画像を取得し、これらの観察画像をつなぎ合わせることにより、観察目的範囲の全体像を作成する方法が提示されている。この方法では、移動可能なステージに被観察物を載置し、結像光学系（対物レンズ）を低倍率にして観察目的範囲の観察画像を取得する。そして、この観察画像を複数の小領域に分け、結像光学系を高倍率に変更し、ステージの移動と静止を繰り返して全ての小領域を結像光学系の観察可能範囲内に順に配置させ、各小領域の観察画像を取得する。その後、全ての小領域の観察画像をつなぎ合わせて観察目的範囲の全体像を形成する。

特開平１１−０９５１２５号公報

近年、光学顕微鏡の観察画像はデジタル化されるとともに、その制御及びデータ処理は光学顕微鏡に接続されたパーソナルコンピュータ（ＰＣ）において為されることが多い。上記のように全体像を作成する場合、ＰＣは、まず、或る小領域に対応する移動制御信号を光学顕微鏡に送る。光学顕微鏡は、この移動制御信号に基づいてステージを所定の位置に移動させる。そして、位置センサ等によりステージの移動の終了を確認すると、移動終了信号をＰＣに送る。ＰＣは移動終了信号を受け取ると、次に、撮像制御信号を光学顕微鏡に送る。光学顕微鏡は、撮像制御信号を受け取ると、観察視野（観察可能範囲）内の像を撮像し、その撮像データをＰＣに送る。ＰＣは、光学顕微鏡から取得した撮像データを前記小領域の位置情報に関連づけて保存した後、次の小領域に対応する移動制御信号を光学顕微鏡に送る。これらの処理を全ての小領域について行った後、ＰＣは、前記位置情報に基づいて全ての撮像データを合成する。

上記の方法では、ＰＣは各小領域毎にステージの移動が終了したことを確認する必要がある。この確認に要する時間が積み重なることにより、全体像の作成に要する時間が長くなる。高倍率の全体像を作成しようとするほど、この確認時間が全撮影時間に占める割合が増大する。

本発明が解決しようとする課題は、複数の位置で被観察物の観察像の撮像を繰り返す光学観察装置において、全撮影時間を短縮することのできる光学観察装置を提供することである。

上記課題を解決するために成された本発明に係る光学観察装置は、
a) 試料台上に載置された被観察物からの光を結像する結像光学系と、
b) 前記結像光学系に対する前記試料台の複数の相対位置及び各相対位置への移動の順番に関する移動情報を保持する移動情報保持手段と、
c) 前記試料台を、前記複数の相対位置に前記順番に沿って移動させ、各相対位置で静止させる移動手段と、
d) 前記結像光学系により得られる観察像の撮像データを、前記試料台の各相対位置への移動時間と各静止位置における静止時間のいずれよりも短い時間間隔で継続的に取得する撮像データ取得手段と、
e) 前記撮像データが、前記試料台が移動しているときと静止しているときのいずれのタイミングで撮像されたものであるかを区別するための区別情報を、該撮像データに付与する区別情報付与手段と、
を有することを特徴とする。

ここで言う「光」とは、可視光、赤外光、紫外光、Ｘ線等、いずれの波長の光であっても良い。また、「被観察物からの光」とは、透過光、反射光、蛍光等、どのような種類の光であっても良い。また、「静止」とは、撮像データ取得手段により撮影される画像にブレが生じない程度に低い移動速度である状態であれば良い。

本発明に係る光学観察装置では、結像光学系に対する試料台の複数の相対位置と各相対位置への移動の順番に関する移動情報が、予め移動情報保持手段に保持される。移動手段は、この移動情報に基づき、各相対位置への試料台の移動と各相対位置での静止の動作を実行する。一方、撮像データ取得手段は、試料台が移動しているか静止しているかにかかわらず、結像光学系から得られる観察像を、試料台の各相対位置への移動時間と各静止位置における静止時間のいずれよりも短い時間間隔で継続的に撮像し、その撮像データを取得する。これにより、撮像データ取得手段は、静止時の観察像だけでなく移動時の観察像も撮像するが、本発明に係る光学観察装置では更に、移動時と静止時を区別するための区別情報を撮像データに付与する区別情報付与手段を設けているため、本発明の光学観察装置に接続されるＰＣ等の制御／データ処理装置は、撮像データに付与された区別情報から、その撮像データが静止時のものであるか移動時の観察像ものであるかを判別することができる。また、本発明に係る光学観察装置では、全ての相対位置と各相対位置への移動の順番を予め決めているため、ＰＣは、静止時の撮像データを順番に抽出することにより、それに対応する相対位置を知ることができる。従って、ＰＣは、各々の静止時の撮像データとその相対位置の情報に基づいて観察目的範囲の全体像を作成することができる。またＰＣは、上記の従来技術のように逐一試料台の移動が終了したことを確認する必要がないため、全撮影時間を短縮することが可能となる。

なお、例えば１番目の相対位置での（静止時の）撮像データと２番目の相対位置での（静止時の）撮像データの間には、必ず移動時の撮像データが含まれる。そのため、ＰＣは、移動時の撮像データが間に含まれていることに基づいて、１番目の相対位置での撮像データと２番目の相対位置での撮像データを区別することができる。また、撮像データ取得手段が取得する撮像データの時間間隔は、上記のように、各静止位置における静止時間よりも短い。そのため、同じ相対位置における静止時の撮像データが複数、連続して取得されることがある。そのような場合は、ＰＣは、そのいずれか１つだけを抽出するようにすれば良い。静止時の撮像データが複数連続で得られた場合（すなわち、それらの間に移動時の撮像データが含まれていない場合）は、上記の理由から、全て同じ相対位置での撮像データである。

光学観察装置が例えば被観察物を照らす照明光源を備えている場合、移動時には該照明光源を消灯し、静止時には点灯することにより、輝度情報を前記区別情報として撮像データに付与するものとすることができる。ＰＣは、複数の撮像データの中から、全体的に一様に輝度の低い撮像データを移動時のものであると判断することができる。
このような照明光源には、点灯消灯動作を高速で行うことのできるＬＥＤを用いることが望ましい。また、照明光源と被観察物の間や、被観察物と撮像データ取得手段の間にシャッタを設けても同様の効果を得ることができる。
さらに、前記結像光学系により得られる観察像を撮影する撮像素子の合焦位置と共役な位置に光源を設け、該光源の点灯と消灯による輝度情報を前記区別情報として撮像データに付与しても良い。このような光源からの光は、例えばハーフミラーを介して撮像素子に導入されるように構成することにより、被観察物の観察画像と区別して撮像素子に導入することができる。

また、区別情報として撮像時刻を撮像データに付与することもできる。この場合、移動開始時刻と試料台の各相対位置への移動時間と各相対位置での静止時間から、ＰＣが各相対位置に試料台が静止している時間帯を算出し、その時間帯に含まれる撮像時刻が付与された各撮像データを順番に抽出する。

本発明に係る光学観察装置では、試料台を水平方向に移動させても高さ方向に移動させても良い。試料台を水平方向に移動させた場合、各相対位置での静止画像は、上記の全体像の作成等に用いることができる。また、試料台を高さ方向に移動させた場合、各相対位置での静止画像は、結像光学系の焦点を合わせるために用いることができる。

一般的な結像光学系の合焦動作は、試料台を高さ方向に移動させながら、最もピントの合った撮像データが得られる位置で試料台を静止させるというものである。しかし、移動時に撮像された画像にはブレが生じるため、焦点が合っているか否かを撮像データから正確に判断するには、所定の高さ毎に試料台を静止させ、各高さでの静止画像を取得することが望ましい。この各高さでの静止画像の取得に、本発明に係る光学観察装置を用いることができる。
即ち、移動手段は、移動情報保持手段に保持された移動情報に基づき、所定の相対位置（高さ）毎の試料台の静止と各相対位置への試料台の移動を繰り返す。一方、撮像データ取得手段は、試料台の移動や静止にかかわらず、該試料台上の被観察物の撮像データを取得する。区別情報付与手段は、各撮像データに、移動時と静止時を区別するための区別情報を付与する。ＰＣは、その区別情報に基づいて、静止時の撮像データを各相対位置（高さ）に移動した順に取得する。そのようにして異なる高さでの静止画像を取得した後は、それらの画像についてコントラスト解析を行い、ピントが合った画像を決定する。そして、その撮像データに対応する高さに試料台を移動させるよう装置に制御信号を送ることにより、結像光学系の焦点を合わせる。

本発明に係る光学観察装置では、試料台の複数の相対位置及び各相対位置への移動の順番に関する移動情報が予め保持され、その順番通りに試料台が各相対位置への移動とその相対位置での静止を繰り返すと共に、その相対位置での観察像の撮像データが所定の時間間隔で継続的に取得される。これにより、本発明の光学観察装置に接続されるＰＣ等の制御／データ処理装置は試料台の静止を逐一確認する必要がなくなるため、全撮影時間が短縮される。また、本発明に係る光学観察装置では、試料台が移動状態にあるときと静止状態にあるときを区別するための区別情報を撮像データに付与しているため、制御／データ処理装置は、得られた撮像データの中から静止時のものだけを抽出し、各々の相対位置の情報に基づいて観察目的範囲の全体像を作成することができる。

本発明に係る光学観察装置の一実施例を示す概略構成図。本実施例の光学観察装置における可動ステージの移動の一例を示す説明図。観察画像の輝度状態と、可動ステージの状態と、照明光源の状態の関係を示す状態遷移図。本実施例の光学観察装置における可動ステージの移動の別の一例を示す説明図。観察画像の輝度状態と、可動ステージの状態と、照明光源の状態の関係を示す状態遷移図。本実施例の光学観察装置の変形例を示す概略構成図。本実施例の光学観察装置の別の変形例を示す概略構成図。変形例の光学観察装置によって取得される観察画像の一例を示す説明図。

本発明に係る光学観察装置について、可視光観察の光学顕微鏡を例に、図１〜図３を用いて説明する。

図１は本実施例の光学顕微鏡１と、その制御／データ処理を行うパーソナルコンピュータ（ＰＣ）２の概略構成図である。この光学顕微鏡１は、被観察物Ｓを載置し、ＸＹＺの３軸方向に移動が可能な可動ステージ１１と、被観察物Ｓに照明光を照射する照明光源１２と、結像光学系１３としての対物レンズ１３Ａ、アパーチャ１３Ｂ、接眼レンズ１３Ｃと、結像光学系１３により結像される被観察物Ｓの観察像を撮像する観察像撮像機１４と、ＰＣ２からの制御コマンドを受けて、これら各部を制御する制御部１５と、を有する。また、制御部１５には、ＰＣ２から送出される移動情報を記憶するための移動情報記憶部１６が備わっている。

被観察物Ｓは、可動ステージ１１の中央部に載置される。可動ステージ１１のＺ軸（可動ステージ１１の載置面に垂直な方向）への移動は合焦動作に用いるもので、被観察物Ｓの観察位置の変更は、Ｘ軸とＹ軸の２軸（可動ステージ１１の載置面に平行な方向）にて行う。

照明光源１２は可動ステージ１１の下方に設けられており、被観察物Ｓを透過光によって観察する。この照明光源１２は、ＬＥＤなどのように高速点灯及び高速消灯が可能なものを用いる。

観察像撮像機１４はＣＣＤカメラやＣＭＯＳカメラであり、ＵＳＢ、ＩＥＥＥ１３９４やＥｔｈｅｒｎｅｔ（登録商標）などのインターフェースによりＰＣ２に接続され、所定の撮像時間間隔（フレームレート）にて結像光学系１３により結像される観察像を撮像し、各時刻の撮像データをＰＣ２に伝送する。なお、この撮像時間間隔は、可動ステージ１１の各相対位置への移動に要する時間と各相対位置における静止時間のいずれよりも短く設定する。

以下、本実施例の光学顕微鏡１とＰＣ２により、被観察物Ｓ中の所定の観察目的範囲の観察画像を高倍率で作成する方法を説明する。なお、ここでは、観察目的範囲の低倍率の観察画像データは、予め、低倍率の対物レンズ１３Ａを用いて取得されているものとする。

ユーザは、観察目的範囲の高倍率観察に用いる対物レンズ１３Ａの倍率を指定する。すると、ＰＣ２は、指定された倍率と、低倍率の観察画像を取得する際に用いた対物レンズ１３Ａの倍率に基づいて、観察画像中の観察可能範囲の大きさを求める。そして、この観察可能範囲に基づいて全体像を複数の小領域に分け、各小領域の中心位置と、各中心位置への移動の順序を決める。図２は、観察目的範囲中に設定した複数の小領域と、各小領域の中心位置（図中のＡ_１〜Ａ_１６）の一例である。これらの小領域は、画像を繋ぎ合わせる際の調整用に、隣接する領域を一部重複させている。
その後、各中心位置を可動ステージ１１の各相対位置に対応させ、各相対位置と移動の順序に関する情報を移動情報として、制御コマンドと共に制御部１５に送出する。

制御部１５は、移動情報を移動情報記憶部１６に記憶した後、観察像撮像機１４に撮像を開始させると共に、該移動情報中の１番目の相対位置に可動ステージ１１を移動させる。そして、１番目の相対位置に可動ステージ１１を静止させた後、移動情報記憶部１６に記憶された移動情報から順次、相対位置の情報を読み取り、各相対位置への可動ステージ１１の移動と各相対位置での可動ステージ１１の静止を制御する。また、可動ステージ１１の制御に応じて、照明光源１２の点灯消灯動作を制御する。

図３は可動ステージ１１の移動と静止の状態、観察像撮像機１４の撮影タイミング、照明光源１２の点灯と消灯の状態の遷移を示したものである。制御部１５は、図３に示すように、可動ステージ１１を移動させているときは照明光源１２を消灯させ、可動ステージ１１を静止させているときは照明光源１２を点灯させるように、可動ステージ１１の制御に応じて照明光源１２の点灯消灯動作を制御する。
この一連の制御により、可動ステージ１１を移動させているときの撮像データ（例えばＦ_１やＦ_２等）は暗く、可動ステージ１１を静止させているときの撮像データ（例えばＦ_４やＦ_９等）は明るくなる。

ＰＣ２は、観察像撮像機１４から得られる撮像データの中から、輝度の低い撮像データを棄てることで、可動ステージ１１が静止しているときの撮像データを抽出することができる。また、上記のように、観察像撮像機１４の撮像時間間隔は可動ステージ１１の各相対位置への移動に要する時間と各相対位置における静止時間のいずれよりも短く設定されているため、ｎ番目の相対位置での撮像データＡ_ｎと（ｎ＋１）番目の相対位置での撮像データＡ_ｎ＋１の間には、必ず移動時の撮像データが含まれる。そのため、ＰＣ２は、移動時の撮像データが間に含まれていることに基づいて、ｎ番目の相対位置での撮像データＡ_ｎと（ｎ＋１）番目の相対位置での撮像データＡ_ｎ＋１を区別することができる。また、輝度の高い撮像データが連続して取得された場合（例えばＦ_３、Ｆ_４、Ｆ_５）は、上記理由から全て同じ相対位置での撮像データであるため、輝度が最も高い撮像データ（例えばＦ_４）を採用する等により、いずれか１つのみを取得する。撮像データ毎の輝度の比較は、例えば、画像を構成する各画素の輝度の総和や平均等により求めることができる。

また、ＰＣ２は自身から可動ステージ１１に移動情報を送出しているため、各々の静止時の撮像データに対応する、観察目的範囲中の小領域を対応づけることができる。例えば、図２のように、Ａ_１からＡ_１６の順で可動ステージ１１を移動させるようにＰＣ２が移動情報を送出した場合、各静止時の撮像データを、抽出した順にＡ_１からＡ_１６に対応する小領域に貼り合わせ、重複部の削除や各撮像データの輝度を調整することにより、全体像を作成することができる。

可動ステージ１１の静止時間は、観察像撮像機１４のフレームレートによって決定される。例えば、２フレームの撮像に必要な時間を静止時間とすれば、どのような状況下であっても最低１フレームは、十分に照明光源１２からの光を受けた適切な画像を得ることができる。特別な場合は２フレーム共に適切な画像を得る可能性がある（例えば図２中のＦ_１４（Ａ_３）とＦ_１５（Ａ_３’））が、その際には、いずれかのフレームの画像（例えばＦ_１４（Ａ_３））のみを選択する。

以上の一連の制御により、可動ステージ１１の移動状態と静止状態を区別するための区別情報を観察像撮像機１４の撮像データに付与することが可能となる。そのため、ＰＣ２は連続的に出力される撮像データから静止状態のものを逐次抽出するだけで良く、適切な静止画像を最小の時間で取得することが可能となる。

次に、本実施例の光学顕微鏡１を自動合焦動作に適用した例を図４及び図５に示す。装置構成は図１の構成と同じである。

自動合焦動作では、可動ステージ１１をＺ軸方向（例えば下から上）に移動させ、各相対位置（図中のＢ_１〜Ｂ_６）に順に静止させる（図４）。これは、移動方向がＸＹ軸方向からＺ軸方向に変わっただけで、その他は上記実施例に示す方法と全く同じである。図５に示す可動ステージ１１と照明光源１２の制御も図３と同様に適用することができるため、上記と同様の方法により、Ｚ軸方向で可動ステージ１１が静止しているときの撮像データを抽出することができる。

この適用例においても、ＰＣ２が可動ステージ１１に移動情報を送出しているため、ＰＣ２は、各々の静止時の撮像データに対応するＺ軸の位置（図中のＢ１〜Ｂ６）を把握することができる。その後、得られた各静止時の撮像データに対してコントラスト解析等を行い、合焦状態であると判断することのできる、コントラストが最もはっきりとした静止時の撮像データを決定する。そして、その撮像データに対応するＺ軸上の位置に可動ステージ１１を移動することにより、結像光学系１３の焦点位置に可動ステージ１１の位置を合わせることができる。この場合も、可動ステージ１１の移動開始から移動終了までに要する時間は最小限で済む。

なお、上記の実施例では透過光を用いた場合について説明しているが、反射光を用いた場合でも同様の構成を実現できることは明らかである。

また、上記の実施例では撮像データに付与する区別情報として、照明光源１２の点灯と消灯による輝度情報の変化を用いたが、これは、図６に示すように、照明光源１２と観察像撮像機１４の間に、電気的に開閉を制御することができるシャッタ１７を設けることによっても実現することができる。電気的に光学的な開閉を制御することのできるシャッタとして、クロスニコルを利用した液晶シャッタや、電気的な駆動制御を有する機械的シャッタ等がある。

また、図７に示すように、アパーチャ１３Ｂの接眼レンズ１３Ｃ側の枠上にＬＥＤ光源１８を設け、その点灯と消灯を可動ステージ１１の制御に連動させることにより、撮像データに区別情報を付与することも可能である。
図８に、この方法で撮像される画像の例を示す。中央部の矩形領域は観察画像が表示される領域である。その周囲の黒い部分はアパーチャ１３Ｂの枠に対応する。アパーチャ１３Ｂの枠に対応する部分は、ＬＥＤ光源１８が点灯していない状態では黒く表示されるが、ＬＥＤ光源１８が点灯すると、図８に示すように、ＬＥＤ光源１８に対応する部分が光って表示される。そのため、上記実施例と同様に、例えば、可動ステージ１１が静止しているときにＬＥＤ光源１８を点灯させるようにすれば、静止時の撮像データの抽出処理を、枠の所定位置の点灯／消灯の確認のみで済ませることが可能となる。

また、区別情報として撮像時刻のデータを撮像データに付与することもできる。可動ステージ１１の各相対位置への移動距離は予め求めることができるため、可動ステージ１１の移動速度をＰＣ２が予め取得していれば、それらの情報と移動開始時刻（撮像開始時刻）から、各相対位置への到達時刻を算出することができる。ＰＣ２は、各相対位置への到達時刻に一致する（又は最も近い）撮像時刻の撮像データを、静止時の撮像データとして抽出すれば良い。

以上の構成は、顕微分光システムに適用することも可能である。この場合、上記実施例に示した方法により、顕微画像をつなげて広域画像とするマッピング画像を短時間で得ることが可能となるため、分光測定点の位置決め時間を短縮することができる。更に、分光された単色光や、赤外顕微鏡での干渉計によって生成された赤外干渉光を照明光とすることで、照明光に含まれる波長領域に応じたマッピング画像を短時間で取得することが可能となる。

１…光学顕微鏡
１１…可動ステージ
１２…照明光源
１３…結像光学系
１３Ａ…対物レンズ
１３Ｂ…アパーチャ
１３Ｃ…接眼レンズ
１４…観察像撮像機
１５…制御部
１６…移動情報記憶部
１７…シャッタ
１８…ＬＥＤ光源
２…ＰＣ
Ｓ…被観察物

Claims

a) 試料台上に載置された被観察物からの光を結像する結像光学系と、
b) 前記結像光学系に対する前記試料台の複数の相対位置及び各相対位置への移動の順番に関する移動情報を保持する移動情報保持手段と、
c) 前記試料台を、前記複数の相対位置に前記順番に沿って移動させ、各相対位置で静止させる移動手段と、
d) 前記結像光学系により得られる観察像の撮像データを、前記試料台の各相対位置間への移動時間と各静止位置における静止時間のいずれよりも短い時間間隔で継続的に取得する撮像データ取得手段と、
e) 前記撮像データが、前記試料台が移動しているときと静止しているときのいずれのタイミングで撮像されたものであるかを区別するための区別情報を、該撮像データに付与する区別情報付与手段と、
を有することを特徴とする光学観察装置。
前記移動手段が、前記試料台上の被観察物の載置面に垂直な方向に該試料台を移動させることを特徴とする請求項１に記載の光学観察装置。
前記被観察物を照らす照明光源を更に有し、前記区別情報付与手段が、前記試料台が移動しているときには該照明光源を消灯し、静止しているときには点灯することにより、輝度情報を前記区別情報として前記撮像データに付与することを特徴とする請求項１又は２に記載の光学観察装置。
前記被観察物を照らす照明光源と、該照明光源と前記撮像データ取得手段の間に設けられたシャッタを更に有し、前記区別情報付与手段が、前記試料台が移動しているときには該シャッタを閉ざし、静止しているときには開くことにより、輝度情報を前記区別情報として前記撮像データに付与することを特徴とする請求項１又は２に記載の光学観察装置。
前記結像光学系により得られる観察像を撮影する撮像素子と、該撮像素子の合焦位置と共役な位置に設けられた光源とを備え、前記区別情報が、前記光源の点灯と消灯により付与されることを特徴とする請求項１又は２に記載の光学観察装置。