JP3869521B2 - 走査型レーザ顕微鏡 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は走査型レーザ顕微鏡、更に詳しくはレーザの強度の変動により発生する画像のノイズを除去する部分に特徴のある走査型レーザ顕微鏡に関する。
【０００２】
【従来の技術】
光学顕微鏡は、ステージ上に搭載したプレパラート上の試料（標本）を、対物レンズで拡大し観察する装置であり、一般には、試料の照明としてランプ等の光源からの照明光をコンデンサレンズにより試料の観察領域全体に均等になるように照明する構造を採用している。
【０００３】
しかしながら、照明系としてこのような構造を採用した場合、フレア等の問題があり、また、低コントラストの試料の観察するにあたっては大変見ずらいという問題がある。そこで、これを改善するものとして点状光投射型（スポット光投射型）の光学顕微鏡である走査型光学顕微鏡が提案されている。
【０００４】
この光学顕微鏡では点光源を対物レンズを介して観察試料に点状に照射するところにその特徴がある。この点状照明により観察試料を透過した透過光又は反射光、あるいは照明光により試料から発生する蛍光は、再び対物レンズ、光学系を介して点状に結像され、これがピンホール開口を有する検出器にて検出されて像の濃度情報が得られるようになっている。
【０００５】
但し、これだけでは点状光源が照射された点の濃度しか得られないので、試料自体をＸ軸、Ｙ軸の方向に移動して二次元平面内で機械的に移動させたり（Ｘ−Ｙ走査方式）、逆に光路をＸ軸、Ｙ軸の方向に振ることでスキャン走査させ二次元平面をカバ−できるように照明している。そして、これらのＸ−Ｙ走査により得られた濃度情報に対応した輝度信号を、ＣＲＴディスプレイ等の画像表示装置に同期して表示することで画像として観察できるようにしている。
【０００６】
以上が走査型光学顕微鏡の原理である。一方、走査型光学顕微鏡において、光源としてレーザ光を使うと画像の解像が向上することが広く知られており、特に走査型レーザ顕微鏡と呼ばれている。かかる走査型レーザ顕微鏡では、レーザ走査されている標本の透過光又は反射光を電気信号に変換する光電子増倍管やフォトダイオード等の光電変換検出器と、得られた電気信号を画像データとして保存、加工、表示をするための構成とが設けられている。
【０００７】
図１１は一般的な走査型レーザ顕微鏡の構成を示す図である。
【０００８】
この走査型レーザ顕微鏡は、光学顕微鏡本体１１０と、レーザ光源１２０と、２次元走査機構部１３０と、ピンホール板１４０と、光検出部１５０と、信号処理部１６０と、表示部１８０とから構成されている。
【０００９】
この走査型レーザ顕微鏡においては、まず、レーザ光源１２０から射出されたスポット光が、光学顕微鏡本体１１０の顕微鏡ステージ上の試料表面上に照射される。
【００１０】
実際には、試料面上をＸＹ走査するため、導かれたレーザ光は２次元走査機構部１３０にて、対物レンズに対するスポット光の光路がＸＹ軸方向に振られることになる。
【００１１】
図１２はガルバノミラ−ＸＹそれそれ２枚をつかったときの２次元走査機構の概略構成例を示す図である。
【００１２】
同図に示すように、光源から入射されたレーザ光は、Ｘガルバノミラー及びＹガルバノミラーによりＸＹ方向に振られ、ＸＹ走査が行われる。
【００１３】
スポット光を照射した結果、試料からの反射光、又は蛍光の情報は、対物レンズ、２次元走査機構部１３０を介してピンホール板１４０を通過した後、光検出部１５０で受光され電気信号に光電変換される。
【００１４】
ピンホール板１４０は、所定径のピンホールが開けられたものであり、光検出部１５０の前面の結像位置に配置される。ピンホール板１４０を通過する光は試料面上の観察点で焦点にあった情報のみが検出されることとなるので、共焦点効果が得られる。２次元走査機構部１３０の駆動は、信号処理部１６０に設けられた２次元走査駆動部１６９が走査制御信号を発生することで行われる。なお、この２次元走査駆動部１６９の制御は、信号処理部１６０内のＣＰＵ１６６が行う。また信号処理部１６０においては、この走査制御信号を基準として各種データ処理が行われている。
【００１５】
一方、光検出部１５０にて検出された電気信号は、信号処理部１６０にて処理され表示される。
【００１６】
まず、利得可変部１６１にて所定の信号増幅が行われ、次にオフセット調整部１６２にて所定の信号の増減が行われる。これらにおける設定量はＣＰＵ１６６により、Ｄ／Ａ変換部１６８，１６７を介して所望の値に設定される。
【００１７】
次に、オフセット調整部１６２から出力された信号はＡ／Ｄ変換部１６３にてアナログ／デジタル変換された後、記録部１６４にて画像データとして一時記憶される。記憶された画像データは、その後、必要に応じて加工、表示、保存される。
【００１８】
画像データの加工は、ＣＰＵ１６６にて画像処理されることで行われる。また、表示は、記録部１６４から画像データが出力され、Ｄ／Ａ変換部１６５を通して表示部１８０で表示されることで行われる。これにより得られた画像を観察をすることができる。
【００１９】
また、深さ方向つまり３次元情報が必要な場合は、Ｚ走査駆動部１７０により、所望のＺ位置ヘ移動させ、画像データを順次記憶部１６４に記憶させ必要な画像（３次元画像）を構築させる。これにより、３次元画像の表示、観察も可能となる。
【００２０】
これらの観察対象となる標本の例として、まず、生物標本では、細胞、染色体等がある。これらの生物標本を観察する場合には、試料に蛍光色素を混合し、レーザを励起光源として照射し、その発光（蛍光）を捉えて画像化する。また、工業用標本では、ＩＣ、金属表面等がある。この場合はレーザの反射光を捉えて画像化する。
【００２１】
【発明が解決しようとする課題】
ところで、上述した従来技術において、標本からの発光量、もしくは反射光量は、励起用のレーザ光の強度、レーザの照射対象である標本の種類や位置、受光系の感度、電気処理系の性能，また全体を構成する光学系の性能等により決定される。したがって、最終の画像の信号として常に同じ輝度信号にするのは困難である。このため、撮像の度に前回撮像時との画像間での輝度ムラが発生したり、さらには画像ノイズが混在した画像が表示されることも度々ある。このような、輝度ムラやノイズを削除する方法はいくつか考案されている。
【００２２】
一般的に、画像間の画像のムラをなくすには、得られた画像情報を表示しながら、観察者自身が可変利得増幅回路の利得設定及びオフセット回路のオフセット量の設定を行えばよい。このため多くの装置では所望の画像状態が得られるように、表示画面の状態を見ながら画像状態を手動調整することができるようになっている。例えば標本の光の信号を画像データに変換する，光電信号処理回路において画像状態の調整を実現する方法や、または表示直前の処理においてＬＵＴ （ルックアップテーブル）等を用いて最適な表示に調整する方法がある。
【００２３】
これをさらに拡張した先行例として、特開平８−１６０３０４号公報に開示された技術がある。
【００２４】
図１３は特開平８−１６０３０４号の構成を示すブロック図である。
【００２５】
同図に示す光電変換処理回路においては、１枚の画面内の特定部分についての利得やオフセット量の調整することや、各画像別の設定機能、つまり連続して取り込む複数画像の１枚毎の利得やオフセット量を個別に設定するといったことが実現され、適応範囲に幅を持たせている。具体的には、画像データを１画素として得られるサンプリングのタイミング信号（サンプリングパルス）に同期して、１画素毎に増幅率やオフセット量を可変できリアルタイムに画像補正が可能である。これを画素位置に対応して、あるいは領域に対応して行うことができ、所望の状態の画像を得ることができる。また、記憶手段に各画素位置毎に利得データやオフセット量を記憶させておき、各画素位置での光検出信号に対する増幅度や付与するオフセット量を個別に変えることができる。これにより、得られる画像は画像の各位置で所望の状態に調整することができるようになる。従って、画像の特定部位をリアルタイムに強調または補正して表示することができる。
【００２６】
この特開平８−１６０３０４号公報に開示された技術を用いれば、各画像毎の画像輝度むらはおさえられ、また周期的なノイズはこれによっても除去も可能となる。
【００２７】
ところで、ノイズの発生について他の原因を考えてみると、システムの構成上重要な部分を占める励起用光源であるレーザにも、画像にノイズを発生させる原因がある。例えばよく使われる光源用レーザとして、へリウムネオンレーザ、アルゴンイオンレーザ、クリプトンレーザ、クリプトンとアルゴンの混合気体のレーザ等があるが、これらのレーザにおける発振光強度は、必ずしも時間に対して常に一定ではない。
【００２８】
その理由は、気体レーザ管内のプラズマ平衡状態がごくまれに乱れ、不安定な状態が生じてドロップアウトという現象が発生することがある。ドロップアウト現象が発生すると、発振状態が乱され発振波長の光強度の変動が一瞬生ずる。この励起光の強度変動により、観察光となるべき発光量または反射光の強度が低下し、画像輝度信号としても低下することとなる。
【００２９】
図１２に示したように、試料に対する照射光はＸ方向のラインを順次ずらすように走査され、このラインの集合として画像が取得されるため、上記ドロップアウトによる変動が画像にラインノイズとして混ざり、画像の見えを悪くすることになる。
【００３０】
図１４は蛍光標本におけるラインノイズの発生を示す図である。
【００３１】
同図（ａ）に示すように、ラインノイズが発生していないときには、画像状態は良好であるが、同図（ｂ）に示すように、観察標本にＸ方向の輝度が低下したラインノイズがのると、画像は見づらいものとなる。また、これらのノイズは、突然にしかもランダムに起き、規則性もなく予測ができない現象である。気体レーザの種類によって発生率に差はあるが、それぞれ固有の確率で発生し、レーザ側の改良でその変動を完全に止めることは極めて困難である。
【００３２】
したがって、従来からレーザの安定性確保の面でなく、取得した画像データを処理することでラインノイズを少なくする方法が求められている。
【００３３】
これらのノイズを除去する方法としては、例えば平均化やメディアンフィルタ等による画像処理方法が考えられる。しかし、これらの方法はノイズを単に目立たなくするだけで、ラインノイズを本質的に除去できる方法であるとは言い難い。また、取り込んだ後に平均化等の画像の処理を行う場合には、ラインノイズの領域のみを処理するわけでなく、ノイズの発生しない領域にも不要なフィルタ処理を行ってしまうため、逆に画像の劣化を招くことにもなる。
【００３４】
本発明は、このような実情を考慮してなされたもので、その第１の目的は、レーザの強度の変動により発生する画像のラインノイズを確実に検出可能とした走査型レーザ顕微鏡を提供することにある。
【００３５】
また、第２の目的は、レーザの強度の変動により発生する画像のラインノイズを確実に検出するとともに、検出されたラインノイズを画像劣化を招くことなく除去可能とした走査型レーザ顕微鏡を提供することにある。
【００３６】
【課題を解決するための手段】
本発明は、標本に対してスポット光をライン状に走査し、スポット光に基づく標本からの光を検出し得られた複数のライン画像データを用い、標本画像を作成する走査型レーザ顕微鏡において、ライン画像データの一部若しくは全部と、これと隣接する二以上のライン画像データの一部若しくは全部とを比較し、ライン画像データの少なくとも一部が、隣接する二以上のライン画像データ全ての対応部分に対して所定値以上の輝度差を有するときに、ラインノイズ発生と判定するラインノイズ検出手段と、ラインノイズ検出手段によりライン画像データにラインノイズ発生と判定されたときに、ラインノイズ発生と判定されたライン画像データの注目画素と、当該ライン画像データに隣接する二以上のライン画像データにおける注目画素に隣接する少なくとも二以上の各画素との画素間距離、及び隣接する少なくとも二以上の各画素のデータとに基づいてライン画像データに対する補間データを作成し、ライン画像データのラインノイズ発生部分を補間データにより画素補間する画像復元手段とを備えた走査型レーザ顕微鏡である。
【００３７】
スポット光のライン状走査は、標本の深さ方向にも行う。
【００３８】
複数のライン画像データから成る３次元画像を構築する場合、画像復元手段は、ライン画像データの注目画素とこの注目画素に対して少なくとも標本の深さ方向を含む４方向に隣接する各画素の画素間距離と、注目画素に対して少なくとも４方向に隣接する各画素のデータとに基づいてライン画像データに対する補間データを作成し、ライン画像データのラインノイズ発生部分を補間データにより画素補間する。
【００５３】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
【００５４】
（発明の第１の実施の形態）
図１は本発明の第１の実施の形態に係る走査型レーザ顕微鏡の一例を示す構成図であり、図１１に示す従来装置と同一部分には同一符号を付して詳細説明を省略する。
【００５５】
本実施形態の走査型レーザ顕微鏡は、Ａ／Ｄ変換部１６３と記憶部１６４と間に、レーザ光源１２０におけるドロップアウト等に起因するラインノイズを検出するラインノイズ検出部２００と、この検出されたラインノイズを除去して画像を復元する画像復元部３００とを設けた他、図１１に説明した従来の走査型レーザ顕微鏡と同様に構成されている。
【００５６】
図２は本実施形態におけるラインノイズ検出部の構成例を示すブロック図である。
【００５７】
ラインノイズ検出部２００は、Ａ／Ｄ変換部１６３よりライン画像が入力され、ｎ＋１ライン目、ｎライン目及びｎ−１ライン目の画像と、ノイズ判定信号を画像復元部３００に出力するようになっている。
【００５８】
このラインノイズ検出部２００は、ラインメモリ（＃１）２６１と、ラインメモリ（＃２）２６２と、比較値設定部（＃１）２６７と、比較値設定部（＃２）２６８と、比較器（＃１）２６３と、比較器（＃２）２６４と、判定部２６５とによって構成されている。
【００５９】
ラインメモリ（＃１）２６１及び（＃２）２６２は、輝度データ１ラインを記録することができるメモリ手段である。これらに記憶されるデータは、いずれもＡ／Ｄ変換部１６３にてサンプリングしたクロック信号に同期したデータであり、かつ、Ａ／Ｄ変換部１６３からラインメモリ（＃１）２６１へ、ラインメモリ（＃１）２６１からラインメモリ（＃２）２６２へと順次入力される。このため、同図に示すように、ラインメモリ（＃１）２６１は、ｎライン目の輝度データ１ラインを記録し出力し、ラインメモリ（＃２）２６２は、ｎ−１ライン目の輝度データ１ラインを記録し出力することとなる。
【００６０】
比較値設定部（＃１）２６７，（＃２）２６８は、書き換え可能なメモリ手段を備えてそれぞれ上記判断の基準値を保存している。各々は、ラインメモリ（＃１）２６１，（＃２）２６２からのデータ出力タイミングに合わせて、各基準値を比較器（＃１）２６３，（＃２）２６４に入力する。比較値設定部（＃１）２６７，（＃２）２６８では、入力されたデータに対して設定された基準値との演算を行い、例えば、データ×０．９等，比較基準値として出力する。
【００６１】
比較器（＃１）２６３は、比較値設定部（＃１）２６７からの出力データ（ｎライン目）と、Ａ／Ｄ変換部１６３から入力されるデータ（ｎ＋１ライン目）とを比較し、ｎライン目のデータがｎ＋１ライン目のデータよりｎライン目のデータの所定の基準値，例えば輝度が１０％以上低下した値ならラインノイズと判断し、それ以外の場合はノイズはないと判断してその結果を判定部２６５に入力する。同様に、比較器（＃２）２６４も、比較値設定部（＃２）２６８からの出力データ（ｎ−１ライン目）と、ラインメモリ（＃１）２６１からの出力データ （ｎライン目）とを比較し、ｎライン目のデータがｎ−１ラインのデータより基準値以上に低下しているか否かについてその判断結果を判定部２６５に入力するようになっている。
【００６２】
判定部２６５は、比較器（＃１）と比較器（＃２）の結果が両方共ノイズと判断したとき、すなわち、ｎライン目の輝度が、ｎ＋１ライン目及びｎ−１ライン目の何れと比較しても所定値以上輝度が低下していると判断されるとラインノイズありと判定し、それ以外のときはラインノイズなしと判定する。そして、この判定結果に対応したノイズ判定信号を画像復元部３００に出力する。
【００６３】
図３は本実施形態における画像復元部の構成例を示すブロック図である。
【００６４】
画像復元部は、加算器３８１と、割算器３８２と、画像選択部３８３とによって構成されている。
【００６５】
加算器３８１は、入力されたｎ＋１ライン目及びｎ−１ライン目の画像データを加算し、割算器３８２はこの加算値を２で割って画像選択部３８３に入力する。
【００６６】
画像選択部３８３には、ラインノイズ検出部２００からのｎライン目画像データ及びノイズ判定信号と、割算器３８２からの出力が入力されている。この画像選択部３８３は、ノイズ判定信号がノイズ有りの場合には割算器３８２からの出力を選択し、ノイズなしの場合にはｎライン目画像データを選択してｎライン目のデータとして記憶部１６４に入力する。
【００６７】
次に、以上のように構成された本発明の実施の形態に係る走査型レーザ顕微鏡の動作について説明する。
【００６８】
まず、試料観察に当たり、レーザ光源１２０から射出されたレーザ光は、２次元走査機構部１３０にファイバーあるいはファイバーを使うことなく直接に導かれたのち、対物レンズを通り光学顕微鏡本体１１０の顕微鏡ステージ上の試料表面上にスポット光として照射される。
【００６９】
なお、試料は、２次元走査駆動部１６９からの走査制御信号に基づく２次元走査機構部１３０の動作によって、レーザ光によるＸＹ走査がなされる。すなわち、例えば２枚のガルバノミラーを用いてＸ方向とＹ方向とに走査させ、試料面上でレーザスポット光によるラスタスキャンがなされる。このＸＹの走査に必要な信号は、Ｘ、Ｙまたは水平（Ｈ）、垂直（Ｖ）の同期信号である。このときＸ方向の一走査による画像をライン画像あるいはラインの画像という。ラスタスキャンによって得られる試料画像はこのラインの画像を順に並べたものとなる。
【００７０】
スポット光を照射した結果、試料から反射光、又は蛍光が生じ、これらの観察光が対物レンズ、２次元走査機構部１３０を介してピンホール板１４０を通過した後、光検出部１５０にて電気信号に光電変換される。
【００７１】
本実施形態では、光検出部１５０には光電子増倍管（ＰＭＴ）が用いられている。ピンホール板１４０は、所定径のピンホールが開けられたものであり、光検出部１５０の前面の結像位置に配置され、そこを通過した光は試料面上の観察点で焦点にあった情報のみ検出でき、共焦点効果が得られる。
【００７２】
検出された電気信号は、信号処理部１６０にて処理され表示される。まず、利得可変部１６１にて所定の信号増幅が行われ、次にオフセット調整部１６２にて所定の信号増減が行われる。次に、オフセット調整部１６２から出力した信号はのＡ／Ｄ変換部１６３にてアナログ／デジタル変換された後、ラインノイズ検出部２００にてレーザの強度変動による画像のラインノイズが検出される。
【００７３】
図４はＡ／Ｄ変換された画像にラインノイズが生じている場合を示す図である。
【００７４】
同図に示すように、ｎ−１ライン目，ｎライン目，ｎ＋１ライン目の画像データのうち、ｎライン目にラインノイズが生じている。ここでは、判定の基準値として−１０％が比較値設定部２６７，２６８に設定されている。したがって、ｎライン目と、ｎ−１ライン目及びｎ＋１ライン目とにおける輝度データのそれそれの輝度差が−１０％以上の低下であれば、ラインノイズ検出部２００によりラインノイズと判定される。なお、基準値は状況に応じて設定変更可能である。
【００７５】
この場合のラインノイズ検出部２００による具体的な処理は以下の通りである。
【００７６】
まず、Ａ／Ｄ変換部１６３よりの入力画像データであるラインの画像は、ｎ＋１ライン目の画像として画像復元部３００に出力されるとともに、ラインメモリ（＃１）２６１及び比較器（＃１）２６３に入力される。このラインメモリ（＃１）２６１は、次のラインの画像がラインノイズ検出部２００に入力されるタイミングでその記憶したライン画像を画像復元部３００、比較器（＃２）２６４、比較値設定部（＃１）２６７、ラインメモリ（＃２）２６２に出力する。この出力ライン画像はこの時点ではｎライン目となっている。同様に、ラインメモリ （＃２）２６２も、記憶したライン画像を画像復元部３００、比較器（＃２）２６４、比較値設定部（＃２）２６８に出力する。この出力ライン画像はｎ−１ライン目となっている。
【００７７】
これにより、ラインノイズ検出部２００から画像復元部３００へはｎ＋１，ｎ，ｎ−１ライン目の画像が入力されるとともに、ｎライン目においてノイズが発生したか否かの判定結果を示すノイズ判定信号が画像復元部３００に対して出力される。
【００７８】
このとき、比較器（＃１）２６３においては、Ａ／Ｄ変換部１６３から入力されるｎ＋１ライン目と、比較値設定部（＃１）２６７からのｎライン目の輝度が比較され、ｎライン目の輝度が基準値以上下がっているか否かの判断結果が判定部２６５に出力される。同様に、比較器（＃２）２６４においては、ラインメモリ（＃１）２６１からのｎライン目と、比較値設定部（＃２）２６８からのｎ−１ライン目の輝度が比較され、ｎライン目の輝度が基準値以上下がっているか否かの判断結果が判定部２６５に出力される。
【００７９】
判定部２６５においては、比較器（＃１）２６３及び（＃２）２６４での比較判断結果がｎライン目の輝度のｎ＋１ライン目との比較でも、ｎ−１ライン目との比較でも両者とも基準値（ここでは−１０％）以上下がっている場合に、ラインノイズ有りと判定される。このような条件を満すことが、単なるエッジ部でなく図４に示すようにその１ラインだけでノイズが生じていること（輝度低下）を示すものだからである。
【００８０】
なお、ラインメモリ（＃１）２６１及び（＃２）２６２から出力されるデータは、Ａ／Ｄ変換部１６３でのサンプリングクロック信号に同期したデータであるので、画像復元部３００に出力されるｎ＋１，ｎ，ｎ−１ライン目の画像データは、Ｘ方向の位置が一致しており、これらの処理に時間的に同期している。この様子が図５に示される。
【００８１】
図５は本実施形態における各信号のタイムチャート図である。
【００８２】
同図では、ｎライン目に図４に示すようなラインノイズが含まれる場合におけるラインノイズ検出部２００からの各ライン画像出力、比較器出力、判定部出力及び画像復元部３００の出力が示されている。
【００８３】
次に、画像復元部３００の動作について説明する。
【００８４】
図３に示すように画像復元部３００では、ラインノイズ検出部２００からのノイズ判定信号をもとに処理を行う。ノイズがない場合には、画像選択部３８３によりそのままｎラインのデータが記憶部１６４に出力され、記憶部１６４にてｎラインのデータとして記憶される。
【００８５】
一方、ノイズありの場合には、ｎ−１，ｎ＋１ラインのデータから復元した値がｎラインデータとして記憶部１６４に出力される。
【００８６】
この補間は、観察する画像は隣り合うライン間のデータは、大きく変わらないという画像のライン相関性に基づくものである。すなわち失われたｎラインのデータは上下ライン上の画素データを用いて、ここではライン補間により上下ラインの平均値で補間され、自然な画像に復元される。
【００８７】
具体的には、まず、ラインノイズ検出部２００からのｎ−１，ｎ＋１ライン目のデータが加算器３８１に入力され、加算される。次に、割算器３８２にて２で割られ平均値が計算されて、画像選択部３８３に入力される。そしてノイズ判定信号に基づき、ノイズの場合は上下ラインの平均値が選択され、ノイズでない場合はラインノイズ検出部２００からのｎラインのデータそのままが選択される。
【００８８】
以上の各動作を図５の信号タイムチャートを使って説明する。
【００８９】
まず、ｎラインの６〜９個目のデータに輝度が低下したラインノイズが発生している場合、ｎ−１，ｎ＋１ラインのデータの比較後、比較器＃１、＃２はラインノイズ有りと判断し、それそれＨレベルの信号を判定部２６５に送る。そして、判定部に両比較器の判断がノイズ有りなので、最終判断として、ラインノイズありの結果判定をする（Ｈレベル出力）。
【００９０】
次に、ラインノイズの発生している期間のデータは、ｎ−１，ｎ＋１ラインのデータから得られた平均値で補間され、補間後のデータとして置き換えられる。これにより、ラインノイズは除去される。
【００９１】
また、この処理を使うことで、ラインノイズのみならず孤立点ノイズの除去も可能となる。さらに、上記処理ではレーザ等に起因するラインノイズのみが除去される。すなわち、急に画像の階調が変化するなどの境界やエッジ部分等はこの処理では無効となり、処理画像に影響を与えない。
【００９２】
次に、補間された画像データでは、記録部１６４にて画像データとして一時記憶される。記憶された画像データは、その後加工、表示、保存される。加工としてはＣＰＵ１６６により所望の画像処理が行われる。また、表示は記録部１６４から画像データが出力され、Ｄ／Ａ変換部１６５を通して、表示部１８０にて表示されることで行われる。これにより、画像を観察をすることが可能となる。
【００９３】
上述したように、本発明の実施の形態に係る走査型レーザ顕微鏡は、ラインノイズ検出部２００を設けて前後ライン画像との輝度差からラインノイズを検出するようにしたので、レーザの強度の変動により発生する画像のラインノイズを、画像領域エッジ部と混同することなく確実に検出することができる。
【００９４】
また、検出されたラインノイズを前後ライン画像により補間する画像復元部３００を設けたので、画像劣化を招くことなくラインノイズを除去することができる。
【００９５】
したがって、このように、励起光源であるレーザ光強度の不規則で突然の強度変動の影響による画像ノイズに対し、画像のラインの相関性を利用しラインノイズが除去されるので、ノイズ除去の処理の影響を周囲の画像に影響を与えず、自然な階調で良好なレーザ顕微鏡画像を得ることができる。
【００９６】
また、この処理を使うことで、ラインノイズのみならず孤立点ノイズの除去も可能となる。さらに、上記したようにレーザ等に起因するラインノイズのみが除去され、急に画像の階調が変化するなどのエッジ部分等はこの処理では除外され、処理画像に影響を与えない。
【００９７】
（発明の第２の実施の形態）
本実施形態の走査型レーザ顕微鏡は、図１の画像復元部３００内にＸＺ画像復元部が設けられる他、第１の実施形態と同様に構成される。本実施形態では、Ｚ走査駆動部１７０を使い、Ｚ軸を移動しながらＸＺ画像の観測、つまり選択したＸラインでの断面図観察を行う場合のラインノイズ除去について説明する。
【００９８】
図６は本発明の第２の実施の形態に係る走査型レーザ顕微鏡のＸＺ画像復元部の構成例を示すブロック図である。
【００９９】
このＸＺ画像復元部は、乗算器３２１，３２２，加算器３２３，３２４と、割算器３２５と、画像選択部３２６とによって構成される。
【０１００】
画像選択部３２６は、第１実施形態の画像選択部３８３と同様に構成されており、ラインノイズ検出部２００からのノイズ判定信号がノイズ有りの場合には割算器３２５の出力を選択し、ノイズなしの場合にはラインノイズ検出部２００からのＺ枚目のラインデータを選択し、記憶部１６４に入力する。
【０１０１】
また、画像選択部３２６には、Ｚ方向の移動距離ステップである距離Ａ，ＢがＣＵＰ１６６を介して入力されるようになっている。Ｚ方向への移動距離は必ずしも一定間隔とはかぎらないので、その点も考慮する必要がある。
【０１０２】
乗算器３２１，３２２は、それぞれＺ−１枚目のラインデータと距離Ｂとの積、Ｚ＋１枚目のラインデータと距離Ａとの積を加算器３２３に入力する。
【０１０３】
加算器３２３は、乗算器３２１及び３２２からの入力値を加算し、割算器３２５に入力する。
【０１０４】
加算器３２４は、距離Ａ及びＢの和を割算器３２５に入力する。
【０１０５】
割算器３２５は、加算器３２３からの入力を加算器３２４からの入力で割り、その結果を画像選択部３２６に入力する。この結果、画像選択部３２６には、Ｚ−１枚目とＺ＋１枚目との各ラインデータを距離Ａ，Ｂを考慮した線形補間値が入力される。
【０１０６】
次に、以上のように構成された本発明の実施の形態に係る走査型レーザ顕微鏡の動作について説明する。
【０１０７】
第１の実施形態ではＸＹ平面上の画像のＹ方向のラインに対してライン補間が行われたが、本実施形態ではＸＺ平面の画像のＺ方向のラインに対してライン補間が行われ、復元処理が行われる。
【０１０８】
図７は本実施形態の走査型レーザ顕微鏡により処理するＸＺ平面の画像面を示す図である。
【０１０９】
この場合、ＸＹ平面画像がＸＺ断面平面画像となっただけであるので、ラインノイズ検出部２００における動作は、第１実施形態の場合と同様である。具体的には、ｎ−１ライン目，ｎライン目，ｎ＋１ライン目のデータが、Ｚ−１，Ｚ，Ｚ＋１枚目に対応し、Ｚ枚目のラインノイズについてのノイズ判定信号が画像選択部２２６に入力される。
【０１１０】
乗算器３２１，３２２，加算器３２３，３２４と、割算器３２５とは、Ｚ−１，Ｚ＋１枚目のデータにて補間を行う。ここで、一定間隔のＺの移動距離のステップなら、図３の画像復元部３００でもデータ補間が可能である。しかし、図８に示すように、移動ステップがそれそれ異なる場合、平均値の補間データでは線形性を欠き、自然な階調の補正にはならない。
【０１１１】
図８はＺ軸移動するときのＺ−１，Ｚ，Ｚ＋１枚目のラインデータについて示した図である。
【０１１２】
同図に示すように、本実施形態の例ではＺ枚目のラインデータにラインノイズがのっている。また、Ｚ−１〜Ｚ間の移動ステップの距離はＡであり、Ｚ〜Ｚ＋１間の移動ステップの距離はＢである。すなわち移動ステップの距離比はＡ：Ｂである。また、このときのそれそれの輝度データをＤ（ｘ，ｚ−１）、Ｄ（ｘ，ｚ）、Ｄ（ｘ，ｚ＋１）、とすると、距離比を考慮して算出される新たな補間データは、

となる。この線形補間により自然な階調の補間ができる。
【０１１３】
上記した図６のＸＺ画像復元部は、この処理を行うものである。
【０１１４】
すなわちＺ−１，Ｚ＋１ライン目のデータに、それぞれ移動距離比のデータＡ，Ｂが乗算器３２１，３２２にて積算され、その値が加算器３２３にて加算される。一方、加算器３２４にて距離比Ａ，Ｂが加算され、これらの各加算値をもって割算器３２５にて補間データが算出される。なお、距離Ａ，Ｂは、Ｚ走査駆動部１７０から顕微鏡本体１１０出力されるものであり、ここではＺ走査駆動部１７０を制御するＣＰＵ１６６によりＸＺ画像復元部に与えられる。
【０１１５】
そしてラインノイズ検出部２００の判定部２６５からの信号をもとに、最終的には選択部３２６にて、そのままのデータか，補間したデータかの選択が行われる。これにより、一定ステップだけでなく、任意のＺ方向の移動ステップに対してＸＺ画像を取り込んでも、ラインノイズの除去が可能となる。
【０１１６】
上述したように、本発明の実施の形態に係る走査型レーザ顕微鏡は、画像復元部３００にＸＺ画像復元部を設け、任意のＺ方向の移動ステップに対しても前後ラインに対する相関値を演算できるようにしたので、Ｚ方向に一定ステップだけでなく、任意の移動ステップに対してＸＺ画像を取り込んでも、ラインノイズの除去を行うことができる。
【０１１７】
また、本実施形態の走査型レーザ顕微鏡によれば、ＸＹ平面画像のみならず、ＸＺ断面画像についてもラインノイズの除去されたより自然な高品質な画像を得ることができる。
【０１１８】
（発明の第３の実施の形態）
本実施形態の走査型レーザ顕微鏡は、図１の画像復元部３００の構成が異なる他、第１の実施形態と同様に構成される。本実施形態では、Ｚ走査駆動部１７０によりＺ軸を移動しながらＸＹＺの３次元画像の構築する場合のラインノイズ除去について説明する。
【０１１９】
本実施形態において、第１、第２の実施形態と異なる部分は、画像復元部３００の処理である。第１の実施形態では、ＸＹ平面の前後ラインでラインノイズのデータを復元し、また第２の実施形態では、ＸＺ平面の前後ラインでラインノイズのデータを復元したが、本実施形態では隣接画像のデータをもとにＸＹＺ方向の各画像をつかって補間する場合を説明する。
【０１２０】
すなわちＸＹＺの３次元画像の構築する場合、あるライン画像に対して隣接するライン画像はＹＺ平面上（ＸＹＺ空間内）に複数存在する。本実施形態ではこれらの隣接ライン画像のうち複数の隣接画素を用いて補間を行おうとするものである。したがって、第１、第２の実施形態の場合では、ラインノイズ検出がされると、そのまま連続してノイズ発生のライン画像が補間されたが、本実施形態では、一旦すべての又は補間に必要なライン画像が記憶部１６４に格納された後に、ノイズ検出されたライン画像について補間されるようになっている。
【０１２１】
まず、具体的なライン画像の補間について説明する前に、本実施形態における画素補間の考え方について説明する。
【０１２２】
例えば画素補間する際に隣接画素の相関性を用いて補間する場合、それぞれの画素間距離から相関率を求め、すなわち補間する際の画像データの寄与率を算出し、演算時にこれを考慮して画素補間を行う必要がある。
【０１２３】
図９はこのような画素補間モデルを示す図である。
【０１２４】
同図において、注目画素Ｄに対する周辺画素ｎの距離をＬｎ（Ｌ１，Ｌ２，Ｌ３，．．．）とし、その画像データをＤｎ（Ｄ１，Ｄ２，Ｄ３．．．）とすると、
Ｄ＝（Σ（Ｄｎ／Ｌｎ））／（Σ（１／Ｌｎ）） …（２）
で注目画素の画像データＤを求めることができる。
【０１２５】
この考え方を走査型レーザ顕微鏡におけるライン画像の集合からなる３次元画像の場合に適用する。
【０１２６】
図１０はＸＹＺ画素補間モデルを示す図であり、破線ｌはライン画像を示している。したがって、点Ｄ（ｘ，ｙ，ｚ），Ｄ（ｘ，ｙ，ｚ−１），Ｄ（ｘ，ｙ，ｚ＋１），Ｄ（ｘ，ｙ−１，ｚ），Ｄ（ｘ，ｙ−１，ｚ−１），Ｄ（ｘ，ｙ−１，ｚ＋１），Ｄ（ｘ，ｙ＋１，ｚ），Ｄ（ｘ，ｙ＋１，ｚ−１），Ｄ（ｘ，ｙ＋１，ｚ＋１）はＹＺ断面上に示された各ライン画像の点である。
【０１２７】
ここで、Ｄ（ｘ，ｙ，ｚ）のデータに対して、ＸＹ画像平面のＸライン間の間隔がＣとし、これは常に一定間隔であるとする。一方、ＸＹ画像平面間のＺ方向の移動ステップをそれぞれＡ，Ｂとする。また、補間対象となるデータをＤ（ｘ，ｙ，ｚ）とすると、図１０に示すように４方向の隣接画素は、Ｄ（ｘ，ｙ，ｚ−１），Ｄ（ｘ，ｙ，ｚ＋１），Ｄ（ｘ，ｙ−１，ｚ），Ｄ（ｘ，ｙ＋１，ｚ）となる。これをもとに、Ｄ（ｘ，ｙ，ｚ）についての補間演算を以下のように行うことができる。
【０１２８】

これにより、任意の深さ方向の３次元画像に対しても、最適な補間が可能となり、ラインノイズに対してもライン補間が行われる。
【０１２９】
同様な考え方でさらに周囲画素を含んだ８方向のデータの補間も可能である。また、それ以上の多数要素を用いた補間であっても（２）式を用いれば可能である。すなわち、（２）式は補間に関する一般式であってこれによりすべての場合に対応できる。
【０１３０】
このように構成された走査型レーザ顕微鏡では、第１，第２の実施形態の場合と同様に動作し、各ラインの画像について、ラインノイズの有無が検査される他、一旦保存した各ライン画像を用い、（３）式に示す演算を実現する画像復元部３００によって、ラインノイズを有するライン画像について周囲のライン画像を用いた精度の高い補間演算が行われる。
【０１３１】
上述したように、本発明の実施の形態に係る走査型レーザ顕微鏡は、（３）式に示す相関演算を実現する画像復元部３００を設けたので、より周辺ノイズに影響されない最適な補間演算を行うことができる。
【０１３２】
また、本実施形態の走査型レーザ顕微鏡によれば、ＸＹ平面画像及びＸＺ断面画像のみならず３次元画像についても、ラインノイズの除去されたより自然で高品質な画像を得ることができる。
【０１３３】
なお、本発明は、上記各実施の形態に限定されるものでなく、その要旨を逸脱しない範囲で種々に変形することが可能である。
【０１３４】
まず、上記各実施形態で説明した処理は、ラスタスキャンの画像全てに対しても適用でき、とくに走査速度、走査サイズ等には制限はない。さらに、入力の信号は、１系統だけでなく複数入力にて並列処理を行う場合にも適用可能である。
【０１３５】
また、光検出部１５０は、ＰＭＴに限られるものでなく、フォトダイオード （ＰＤ）、ＣＣＤ、ＣＭＤ等の光電変換を効率よく行える他の手段を適用してもよい。
【０１３６】
さらに、２次元走査機構部１３０は、ガルバノミラーに限られるものでなく、ＸＹの走査が制御できる手段であれば、共振ガルバノミラー、ポリゴンミラー、ＡＯＤ等の他の手段でもよい。
【０１３７】
また、実施形態に記載した手法は、計算機に実行させることができるプログラムとして、例えば磁気ディスク（フロッピーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納し、また通信媒体により伝送して頒布することもできる。本装置を実現する計算機は、記憶媒体に記録されたプログラムを読み込み、このプログラムによって動作が制御されることにより上述した処理を実行する。
【０１３８】
【発明の効果】
以上詳記したように本発明によれば、レーザの強度の変動により発生する画像のラインノイズを確実に検出し、ラインノイズ発生と判定されたライン画像データの注目画素と、当該ライン画像データに隣接する二以上のライン画像データにおける注目画素に隣接する少なくとも二以上の各画素との画素間距離、及び隣接する少なくとも二以上の各画素のデータとに基づいて画素補間を行い、これにより、画像劣化を招くことなくラインノイズを除去でき、ノイズ除去の処理の影響を周囲の画像に影響を与えず、自然な階調で良好なレーザ顕微鏡画像を得ることができる走査型レーザ顕微鏡を提供できる。
【０１３９】
また、本発明によれば、レーザの強度の変動により発生する画像のラインノイズを確実に検出するとともに、検出されたラインノイズを画像劣化を招くことなく除去できる走査型レーザ顕微鏡を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る走査型レーザ顕微鏡の一例を示す構成図。
【図２】同実施形態におけるラインノイズ検出部の構成例を示すブロック図。
【図３】同実施形態における画像復元部の構成例を示すブロック図。
【図４】Ａ／Ｄ変換された画像にラインノイズが生じている場合を示す図。
【図５】同実施形態における各信号のタイムチャート図。
【図６】本発明の第２の実施の形態に係る走査型レーザ顕微鏡のＸＺ画像復元部の構成例を示すブロック図。
【図７】同実施形態の走査型レーザ顕微鏡により処理するＸＺ平面の画像面を示す図。
【図８】Ｚ軸移動するときのＺ−１，Ｚ，Ｚ＋１枚目のラインデータについて示した図。
【図９】このような画素補間モデルを示す図。
【図１０】ＸＹＺ画素補間モデルを示す図。
【図１１】一般的な走査型レーザ顕微鏡の構成を示す図。
【図１２】ガルバノミラ−ＸＹそれそれ２枚をつかったときの２次元走査機構の概略構成例を示す図。
【図１３】特開平８−１６０３０４号の構成を示すブロック図。
【図１４】蛍光標本におけるラインノイズの発生を示す図。
【符号の説明】
１１０…光学顕微鏡本体
１２０…レーザ光源
１３０…２次元走査機構部
１４０…ピンホール板
１５０…光検出部
１６０…信号処理部
１６１…利得可変部
１６２…オフセット調整部
１６３…Ａ／Ｄ変換部
１６４…記録部
１６５，１６７，１６８…Ｄ／Ａ変換部
１６６…ＣＰＵ
１６９…２次元走査駆動部
１７０…Ｚ走査駆動部
１８０…表示部
２００…ラインノイズ検出部
２６１…ラインメモリ（＃１）
２６２…ラインメモリ（＃２）
２６３…比較器（＃１）
２６４…比較器（＃２）
２６５…判定部
２６７…比較値設定部（＃１）
２６８…比較値設定部（＃２）
３００…画像復元部
３２１，３２２…乗算器
３２３，３２４…加算器
３２５…割算器
３２６…画像選択部
３８１…加算器
３８２…割算器
３８３…画像選択部

Claims (3)

1. 標本に対してスポット光をライン状に走査し、前記スポット光に基づく前記標本からの光を検出し得られた複数のライン画像データを用い、前記標本画像を作成する走査型レーザ顕微鏡において、
   前記ライン画像データの一部若しくは全部と、これと隣接する二以上の前記ライン画像データの一部若しくは全部とを比較し、前記ライン画像データの少なくとも一部が、前記隣接する二以上の前記ライン画像データ全ての対応部分に対して所定値以上の輝度差を有するときに、ラインノイズ発生と判定するラインノイズ検出手段と、
   前記ラインノイズ検出手段により前記ライン画像データに前記ラインノイズ発生と判定されたときに、前記ラインノイズ発生と判定された前記ライン画像データの注目画素と、当該ライン画像データに隣接する二以上の前記ライン画像データにおける前記注目画素に隣接する少なくとも二以上の各画素との画素間距離、及び前記隣接する少なくとも二以上の前記各画素のデータとに基づいて前記ライン画像データに対する補間データを作成し、前記ライン画像データの前記ラインノイズ発生部分を前記補間データにより画素補間する画像復元手段と、
   を備えたことを特徴とする走査型レーザ顕微鏡。
2. 前記スポット光の前記ライン状走査は、前記標本の深さ方向にも行うことを特徴とした請求項１記載の走査型レーザ顕微鏡。
3. 複数の前記ライン画像データから成る３次元画像を構築する場合、
   前記画像復元手段は、前記ライン画像データの注目画素とこの注目画素に対して少なくとも前記標本の深さ方向を含む４方向に隣接する各画素の画素間距離と、前記注目画素に対して少なくとも４方向に隣接する前記各画素のデータとに基づいて前記ライン画像データに対する補間データを作成し、前記ライン画像データの前記ラインノイズ発生部分を前記補間データにより画素補間することを特徴とした請求項１記載の走査型レーザ顕微鏡。

Images