JP4667754B2

JP4667754B2 - 走査型レーザ顕微鏡の受光装置及びこれを用いた走査型レーザ顕微鏡

Info

Publication number: JP4667754B2
Application number: JP2004046952A
Authority: JP
Inventors: 功石部; 純一岡田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2004-02-23
Filing date: 2004-02-23
Publication date: 2011-04-13
Anticipated expiration: 2024-02-23
Also published as: JP2005234500A

Description

本発明は、標本上を光で２次元走査して標本画像を形成する走査型画像入力に係り、特に共焦点走査型光学顕微鏡に関する。

光学顕微鏡は、ステージ上に載置したプレパラート上の標本を対物レンズで拡大して観測する構造となっており、一般に標本に対する照明はランプ等の光源からの光をコンデンサレンズを用いて標本の観察領域全体に均等になるようにして照明する構造を採用していた。しかしながら、照明系としてこのような構造を採用した場合、フレア等の問題があり、また、低コントラストの標本を観察するにあたっては大変見ずらいものとなってしまうという問題がある。

これらの問題を改善するものとして、点状光投射型（スポット光投射型）の光学顕微鏡である共焦点走査型光学顕微鏡が提案された。この共焦点走査型光学顕微鏡はレーザ光源等の点光源を対物レンズを介して観察標本に点状に照射し、これにより観察標本の透過光または反射光もしくは点状光を照射したことにより標本から発生した蛍光を、再び対物レンズ、光学系を介して点状に結像し、これを検出器で検出して像の濃淡情報を得るようにしたものである。

これだけでは点状光源が照射された点の濃淡情報しか得られないので、標本をｘ軸及びｙ軸の方向に移動して２次元面内で機械的に移動させるｘ−ｙ走査方式や、光路をスキャン走査する走査光学系など、標本と照射点位置とを相対的に２次元走査し、このｘ−ｙ走査に同期してＣＲＴディスプレイ等の表示装置によりｘ−ｙ走査位置に対応した各点位置に前記濃度情報の信号と対応する輝点を表示することで、画像として観察できるようにしている。

さらに近年、生物標本を観察する上で必要な場所のみ点光源をあて、無駄な測定を行わないよう、音響光学素子などを使用したレーザ光源やレーザダイオードを利用して2次元走査の帰線時間あるいは指定した任意の領域以外に励起光源を当てないように制御しているものがある。

以上は共焦点走査型光学顕微鏡の原理構成である。具体的には、レーザ光で走査されている標本からの透過光、反射光あるいは蛍光を検出器である光電子増倍管やフォトダイオード等の光電変換器により電気信号に変換したものをＡ／Ｄ変換回路によって量子化してからメモリに記憶している。このように共焦点走査型光学顕微鏡は、標本像情報を光電変換器で電気信号に変換してからディジタル信号に変換してメモリに記憶する光電信号処理回路を備えている。

とくに光電変換回路は微小な光強度を電気信号に変換するため、光電子増倍管やフォトダイオードで発生した電荷をコンデンサなどの容量性を持つ素子に蓄積して測定する電圧を増幅する積算方式が採られている。

図３に上記共焦点走査型光学顕微鏡において光電変換されたアナログ信号を量子化するまでの回路構成を示している。光電変換回路１に入射した光が光電変換回路１で電気信号に変換され、この電気信号がＡ／Ｄ変換回路２で量子化された後にディジタル値として制御ユニットにおくられる。さらに、このディジタル値はディジタル減算器４で減算処理された後に画像化される。

例えば、図4に示される標本を走査する場合、共焦点走査型光学顕微鏡の光学系が図4の標本の一番高い表面に合焦しているとすれば、光電変換回路１からは図２（ｃ）に示すような信号が発生する。すなわち、合焦面では光電変換回路１に入射する光量が増加するために信号レベルが高く、合焦面の前後の走査領域では光電変換回路１に入射する光量が無くなるために信号レベルが０になる。この信号レベルの低くなる部分が最終的な画像の黒レベルとなる。画像で黒レベルとは、光電変換回路へ光が入射しない状態における光電変換回路１の出力に相当するものであり、回路ではオフセット電圧となる。

一般に画像の黒レベルは光電変換回路に使用される光電変換素子やオペアンプの出力の温度依存性によって変動する。このため、ディジタル減算回路４の走査型画像入力装置及び走査型プローブ顕微鏡出力に着目すると、図5に示すように複数ラインの走査の間に、１ライン目からｎライン目まで画像の黒レベルが変動している。そこで、ｎライン目のデータ取得が完了後に黒レベルの補正を実施している。なお、図5では縦軸をディジタル減算回路出力をアナログ値に換算して表示している。

上記の黒レベル補正は、シャッタを閉じるなどの方法によって光電変換回路１の入射光を遮断した状態でデータを取り込み、ディジタル減算器４において遮光時のデータを現在の入力データで減算することにより実現される。また、上記したような黒レベル補正方式では、遮光時のデータを取り込むため光電変換回路１を遮光する機械的動作を必要とするので、高速走査時に１フレーム毎、特に１ライン走査毎に画像の黒レベルの補正を実施することが困難である。このため、走査時間中に前記光電変換回路に標本からの光が入射しない部分を使用して前記光電変換回路の出力に含まれる信号から画像の黒レベルの補正量を検出し、この検出した補正量に基づいて前記輝度信号を補正するようにした構成も考えられている。
特開平9-243929 特開平9-297269

しかしながら、上記したような黒レベル補正方式では、遮光時のデータを取り込むため光電変換回路１を遮光する機械的動作を必要とするので、高速走査時に１フレーム毎、特に１ライン走査毎に画像の黒レベルの補正を実施することが困難であったり、画像処理で黒レベルに当たる位置を探すという処理が必要となり、その上、一様な明るさを持つ標本には適用できず、画像の取り込み誤差の影響も受けやすい。

本発明は、上記のような実情に鑑みてなされたもので、標本走査中に光電変換回路への入射光を高速で遮断することで画像の黒レベルを補正でき、走査速度の高速な共焦点走査型光学顕微鏡においてもリアルタイムの画像の黒レベル補正を実現し、黒レベルの安定した画像を得られる走査型顕微鏡を提供することを目的とする。

本発明は、上記目的を達成するために以下のような手段を講じた。本発明は、標本を光学的に２次元走査し、且つ、帰線区間など視野外の位置でレーザを当てないように制御することのできるレーザ光源を持ち、得られた該標本からの光を光電変換回路で受光して輝度信号に変換し、この輝度信号を画像処理して標本画像の情報を取得する走査型画像入力装置において、走査時間中に前記光電変換回路に標本からの光が入射しない（画像データの取得を行わない時間）帰線区間を使用して、光量0の状態で前記光電変換回路の出力に含まれる信号から画像の黒レベルの補正量を検出し、この検出した補正量に基づいて前記輝度信号を補正するようにした。

図1にレーザー顕微鏡の基本的な構成を示す。標本18に対して励起光を照射するレーザ光源11は少なくとも数μs単位での光源のON/OFF制御が可能な特徴を持ち、光源より照射された励起光は二次元走査装置14によって、対物レンズ17を介して標本にレーザを照射する。このときレーザ光は前記二次元走査装置14によって図６の様なラスタスキャンをおこなう。このラスタスキャンでは平面の一方向に動作した後、元の位置へ動く動作を行う。この時間が帰線時間となり、標本18へレーザを当てることは不要な変化を与えることになるのでレーザの照射はOFFされる。

標本18に照射された励起光によって生じた蛍光(あるいは反射光)は対物レンズ17を通過して検出光路へと導入される。検出光路では波長選択のフィルタやピンホールと通過した後、必要な波長のみ、受光素子41に入射される。

受光素子41は入射された光の強度に応じて光電変換を行い、電流(電荷)を発生する。この電流量(電荷の総量)は光の強度と相関性を持っている。標本面の情報を二次元情報として構築するには、前記の電流量を一定時間ごとに測定し、レーザの照射位置と対応づけて画像化を行う。

電流量を測定する回路(図９)は測定光を受光する受光素子41、受光素子41からの電流を受ける容量性素子42、容量性素子42に蓄積された電荷を放電する放電回路43、放電回路43を制御するアナログスイッチ45、容量性素子に蓄積された電荷を電位差として測定するA/Dコンバータ回路46、A/D コンバータ46からのディジタルデータを測定情報として画像表示装置へ送る回路から構成されている。

電流量を測定する回路は測定対象となる電流が数百nA以下と微小であるのでノイズを除去する目的と増幅する目的からアナログの積算回路がもちいられる。アナログ積算回路では前記受光素子41からの電流は容量性を持つ素子に電荷を蓄積し、容量素子42の両端の電位差という形で測定される。この電位差は電荷の蓄積によるので長時間蓄積するほど電位差が大きくなり、電流に含まれるノイズ分も平均化される。電位差はA/Dコンバータなどで測定された後、次の位置での測定のため蓄積された電荷はアナログスイッチ45によって放電回路43へ接続され放電される。

ここで電荷の放電は十分な時間をかけなければ電荷量は0になり得ないため、十分な放電時間の設定が必要となる。また、放電回路44の工夫で積極的に電荷をはき出し、短時間で一定の電圧まで放電するような回路構成を持つことができるが回路要素は複雑となる。さらに一般的に電気回路の構成要素は温度特性を持っており、アナログ積算回路では放電回路内部に温度特性を持ってしまうため、放電量が温度特性を持ってしまうことになっている。このため周囲の温度が変化すると1画素ごとの放電量に変化が生じ、結果として表示画面上で黒レベルの変動が発生し、縞状の存在しない情報が標本の画像に紛れ込んでしまう。

このような現象を対策するために、回路的に温度補償を行うことは非常に困難なため、ある一点のデータを基準値として測定し、A/D変換後のディジタルデータに基準値分を減算する等の補正処理を行う。

黒レベルを補正するための基準値データは光量が0の状態で測定することが必要であり、短時間での変動にも対応するため、頻繁に測定,補正を行う必要がある。そこで、標本を二次元走査するときに発生する水平方向あるいは垂直方向の帰線時間を利用する。この時間は画像表示に必要なデータの測定は行われず、高速On/OFF制御可能なレーザ光源を使用している装置であれば、この時間のみレーザ光をOFFし、標本からの光量を0とすることができる。この時間に必要な黒レベルのデータを取得する。データ取得の方法は通常の受光素子からの輝度情報の測定と同じである。

請求項2の場合では、微弱な蛍光を測定するため、1画素辺りの積算時間が非常に長い場合、黒レベルの測定を同じサンプリング時間の条件で測定すると帰線時間の内に完了できないことが起こる。黒レベルの測定自体は理論上いくら長時間積算しても蓄積される受光素子からの電荷は0であるので、測定周期を縮めても問題は生じない。このため、黒レベルの測定のみサンプリングの速度を変更することを行い、帰線時間内に確実にデータを測定、画像取り込みの時間に影響を与えないように動作をさせる。

請求項3の場合、前項で理論上黒レベル測定で蓄積される電荷量は0であるが、実際の回路では回路素子に発生するオフセット電圧、それに伴うリーク電流の発生があるため、長時間の蓄積で黒レベルの基準が図７の様に変化してしまう事がおこる。このため、測定の基準を蓄積の影響が出ない放電終了直後、蓄積の開始時に測定する事を行う。

請求項5の場合、黒レベルの変化には温度の係数が存在するのでサーミスタなど温度を測定することで補正量を計算していく事をおこなう。

請求項6の場合、前記の黒レベル基準の変動で実際の画像データのサンプリング速度と剥離がある場合、黒レベルのオフセットが取りきれず、画像のサンプリング速度を変えるごとに画像の黒レベルの輝度が変化してしまう事が起こる。このため、あらかじめサンプリング速度と黒レベルの変化量を測定しておき、相関性を求めておくことで補正量を調整する事を行う。

請求項1の構成によればこの手法によればメカ的な動作など動作に時間を要するものを使用せずレーザ光源の制御で黒レベルを取得することができる。また短時間での補正値が取得できるため、ライン単位での補正が可能となり画面表示された標本像で黒レベルの変動による横縞は発生しなくなる。

請求項2,3,4の構成によれば通常の画像測定とは別条件でデータの取得が行えるため、補正値のデータ処理の手法が平均化などいろいろと取ることができる。

請求項5の構成によれば、温度変化に対しても適切な黒レベル補正値を使用することができる。

請求項6の構成によれば温度センサなどが無くとも補正値の推測で補正を行うことができる。

実施例１を図面を参照して説明する。レーザ光源11とレーザ光の高速ON/OFF制御を行う音響光学素子とレーザ光を標本面へ二次元走査する2軸のガルバノミラーからなる走査装置と標本面からの蛍光あるいは反射光の光量を測定する受光回路と受光回路からの光強度信号を画像化し、且つレーザのON/OFF制御および2次元走査の制御を行う制御ユニットからなるレーザ走査顕微鏡において、前記受光回路は光電子増倍管あるいはフォトダイオード等の受光素子41と、光電変換された電流を蓄積するコンデンサ42と、コンデンサ両端の電位差を変換するADコンバータ46と、蓄積された電荷を放電する放電回路43、放電回路の切り替えを行うアナログスイッチ45からなる回路で構成されている。

レーザ光源11から照射されるレーザ光は制御ユニット54によって、照射されている所が帰線時間か否か判断され、帰線時間である場合レーザ光をOFFするように音響光学素子を制御する。音響光学素子を通過したレーザ光は2軸のガルバノミラーに照射され、標本面へ二次元走査をおこなう。標本面に照射されたレーザ光は蛍光あるいは反射光を起こし、再びガルバノミラーを通過して受光回路へと導かれる。制御ユニット54は二次元走査の位置を管理しながら、画像化する点にレーザが来たときに受光回路からの光量データを受け取る。受け取られたデータはライン、あるいは面のデータにまとめられてディスプレイ上に表示を行う。

前記受光回路は光電子増倍管あるいはフォトダイオード等の受光素子41で標本からの光を光電変換し、変換された電流はコンデンサによって蓄積(積分)され、コンデンサ両端の電位差となる。電位差はADコンバータ46によって検出、ディジタルデータに変換されて画像化を行う制御ユニットへ送られる。また、コンデンサ42に蓄積された電荷はA/Dコンバータ46の測定終了後、次の点での測定のためアナログスイッチ45によって放電回路43に接続され蓄積された電荷を放電する動作を行う。

上記のような標本面の測定を行う中で、黒レベルの測定は二次元走査中の水平あるいは垂直方向の帰線時間の間に測定を行う。レーザ光は帰線時間になったところで音響光学素子で遮断されるので、標本面からの光は0になる。このタイミングで黒レベルの測定を行う。

他の光量データと同様の手法でに取られた黒レベルのデータは制御ユニットに取り込まれ、黒レベル補正のため、以降の標本からの光強度データと減算処理を行われる。なお黒レベルの補正値は次の黒レベル測定が行われるまで一定である。
この手法によればメカ的な動作など動作に時間を要するものを使用せずレーザ光源の制御で黒レベルを取得することができる。また短時間での補正値が取得できるため、ライン単位での補正が可能となり画面表示された標本像で黒レベルの変動による横縞は発生しなくなる。

変形例として、レーザ光源は通常のCWレーザに音響光学素子を接続したもので高速On/Off制御を実現したが、音響光学素子以外にEOMや液晶シャッタなどμsオーダーの応答性を持つ素子を使用しても良い。また、単体で高速On/Off制御可能なレーザーダイオードを使用したレーザ光源を使用しても良い。制御ユニット54は画像表示に使用されるパーソナルコンピュータを中心とした専用回路で構成されるが、補正制御までを専用のディジタル回路内に納めても良い。
放電回路は最も簡単なCR放電回路としたが、一定の電位になるよう電荷を吸い出す(加える)チャージ回路としても良い。

実施例2を説明する。実施例1の構成で、黒レベルの補正値を取得するための条件を切り替える手法であって、実施例1の構成に加え、制御ユニットは受光回路内のA/Dコンバータ46およびアナログスイッチ45の動作周波数を測定中任意に変更できる。

通常の画素ごとの測定を終え、帰線時間になったら受光回路のサンプリング速度を黒レベル測定用のサンプリング速度に変更する。その後変更されたサンプリング速度で黒レベルの測定を行う。このため、画像データのサンプリング速度によらず、放電完了後から一定時間後の電位を測定する動作を行う。これによりサンプリング速度を変更して画像を取得しても同じ条件下で黒レベルの測定を行うことができる。

実施例1の手法では通常の画素ごとのデータを取るのと同じサンプリング間隔で黒レベルのデータを取得するが、このサンプリング間隔が長くなった場合、黒レベル測定が基線時間内で終わらないことがおきる。このような場合黒レベル測定の時のみ速度を変更することで測定を基線時間内に完了することができる。

さらに放電完了から一定時間後のデータを必ず取ることができるので、外部からコンデンサ52に流入した電荷分によるチャージが特定できる。特に放電から蓄積に変わる瞬間の電位の過渡応答があるのでこのような部分をさけてデータの取得が可能となる。

変形例として、サンプリング速度を変更できることから黒レベルの測定を1帰線時間内に複数回サンプリングして平均化等の演算処理をして補正値としても良い。

実施例3を説明する。実施例2の構成に加え、サーミスタなその温度測定手段を受光回路周辺にもち、制御ユニットは黒レベルの温度特性を保持しており、前記温度測定手段から温度情報を得ることで温度変化が生じた場合でも適切な補正値が求められることができる、受光回路である。

黒レベル変動の原因である放電仕切れない電流あるいは界外部から漏れて来る電荷は温度依存性がある。このため、図８のように一定時間経過後の黒レベル(オフセット量)は変化する。ここで実施例2の手法では放電完了から一定時間後のデータを黒レベルとするため、実際の画像データ取得の時と取り込みのタイミングが異なる場合、黒レベル量に差が生じる。このため、このような場合温度変化量を考慮して補正値を決める必要がある。

サーミスタは受光回路、特に温度係数に関わるコンデンサ42や放電回路43周辺に配置される。受光回路の温度を検出したサーミスタは変換回路を介して制御ユニットに取り込まれる。制御ユニットは事前に各サンプリング速度と温度変化による黒レベルの関係をテーブルデータあるいは関数として持っており、サーミスタからの温度情報と、現在の黒レベル測定値からサンプリング速度に対して最適な補正値を求め、画像処理に使用する。

変形例として温度測定手段はサーミスタ以外に感温抵抗などを使用してもいい。

実施例4を説明する。実施例2の構成に加え、制御ユニットは任意の時間ごとの黒レベルの温度特性を保持しており、黒レベルを時間を変えて何点か測定することから温度情報を推測し、温度変化が生じた場合でも適切な補正値が求められることができる、受光回路である。

実施例3で述べたように温度はコンデンサ42に蓄積される電荷量に影響を及ぼす。しかし、温度変化の少ない微小時間内に何点か黒レベルを測定することで図８のように、一定時間経過後の黒レベルを推定することは数値解析を行うことで容易に行える。

制御ユニットは帰線時間でコンデンサ42に蓄積された電荷の放電完了からたとえば100ns,500ns,1000nsなど数点ある時間経過後の黒レベルを測定する。制御ユニットはさらに測定された各時間ごとの黒レベルデータから、直線補間あるいは最小二乗補間、スプライン補間など測定していない時間経過後の黒レベルを求めるのに必要な補正関数を求める。この補正関数から画像データ取得時のサンプリング周期での黒レベルをもとめて、画像の補整に使用する。

この方式は温度変化時の黒レベル変動の特性がわかっていれば、最適な補間関数を導くことで、温度センサなど無くともある程度正確に黒レベルの補正値を得ることができる。

レーザー顕微鏡の基本的な構成を示す図である。標本の一番高い表面に合焦している場合の画像信号を示す図である。光電変換されたアナログ信号を量子化するまでの回路構成を示す図である。共焦点走査型光学顕微鏡の標本の例を示す図である。複数ラインの走査の間に画像の黒レベルが変動していることを示す図である。二次元走査装置によるラスタスキャンをしめす図である。リーク電流による長時間の蓄積で黒レベルの基準の変化を示す図である。一定時間経過後の黒レベル(オフセット量)の変化を示す図である。電流量を測定する回路を示す図である。

符号の説明

１：光電変換回路
２：Ａ／Ｄ変換回路

４：ディジタル減算回路

１１：レーザ光源
１２：コリメータレンズ
１３：ダイクロイックミラー
１４：二次元走査装置
１５：レンズ
１６：ダイクロイックミラー
１７：対物レンズ
１８：標本
１９：ステージ

２１ａ：バリアフィルタ
２２ａ：集光レンズ
２３ａ：受光素子
２４：コンデンサレンズ
２５：ビームスプリッタ
２６：リングスリット
２７：受光素子
２８：観察光学系
２９：透過照明光学系
３０：落射照明光学系

４１：受光素子
４２：容量性素子
４３：放電回路

４５：アナログスイッチ
４６：A/Dコンバータ回路

５４：制御ユニット

Claims

少なくとも数μｓ単位でON/OFF制御可能なレーザ光源ユニットと、
レーザ光を標本面へ二次元走査する走査装置と、
標本からの蛍光あるいは反射光の光量を測定する受光回路と、
受光回路からの光強度信号を画像化し、且つレーザのON/OFF制御および2次元走査の制御を行う制御ユニットからなるレーザ走査顕微鏡に用いる受光装置において、
該受光装置の前記受光回路は、
受光素子と、
光電変換された電流を蓄積するコンデンサと、
コンデンサ両端の電位差を変換するADコンバータと、
蓄積された電荷を放電する放電回路と、
放電回路の切り替えを行うスイッチからなる回路で構成されており、
表示画像輝度の基準値を走査中のデータ取得時間外にレーザを遮断して輝度0の基準値を測定する事を特徴とした受光装置。
請求項1の構成において、制御ユニットは画像データ取り込みの周期と基準値測定時の取り込み周期を独立して設定、切り替えることのできる受光装置。
請求項2の構成において、制御ユニットはコンデンサに蓄積された電荷を蓄積開始直後に基準値を測定することを特徴とした受光装置。
請求項1あるいは2の構成において、制御ユニットはデータ取得時間外に複数回測定し演算処理を行うことにより基準値をもとめることを特徴とした受光装置。
請求項2の構成に加え、受光回路の温度測定手段を備え、制御ユニットは基準値の温度変化を補正する演算を行うことを特徴とした受光装置。
請求項3の構成において、制御ユニットは複数の測定から基準値を演算し求めることができることを特徴とした受光装置。
前記ON/OFF制御は、音響光学素子、EOM、または液晶シャッタによってなされることを特徴とする請求項１ないし６のいずれか一つに記載の受光装置。
前記レーザ光源は、レーザダイオードを使用したレーザ光源であることを特徴とする請求項１ないし６のいずれか一つに記載の受光装置。
請求項１ないし８のいずれか一つに記載の受光装置を用いるレーザ走査顕微鏡。