JP3867143B2 - 三次元顕微鏡システムおよび画像表示方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、三次元顕微鏡システムおよび三次元の画像表示方法に関する。
【０００２】
【従来の技術】
近年、細胞や遺伝子の操作、或いはマイクロマシンの組み立て等、顕微鏡を見ながら行う作業が増えている。
これはレンズを経由して物を見る作業になるので、多くの場合、レンズのピント（焦点）を合わせる必要がある。つまり、作業者は、顕微鏡の焦点距離を手動で動かして物体の上下方向の各部に焦点を合わせる。この焦点合わせに伴って得られる物体上下方向各部の画像を観察することで、作業者の脳裏には物体の三次元形状が構築される。作業者は、この脳裏に構築した形状を頼りに所望の作業を行うことになる。しかし、この作業は、時間が掛かり且つ多大な労力を要するので、作業能率が低く、作業者に相当な作業上の負担を強いている。また、目的とする作業を行うには、作業者の熟練も必要になっている。
【０００３】
人間が裸眼で物を見る場合、通常は、近いものにも遠いものも自動的にピント（焦点）が合う。これは目が可変焦点機構として機能しており、近接のピントが合った画像と遠景のピントが合った画像が自動的に脳により合成されるからである。
この人間の目に拠るピント操作を必要とせず、全視野に常時ピントが合っている顕微鏡として、全焦点顕微鏡が注目されている。この全焦点顕微鏡としては、従来、レンズを機械的に移動させて全焦点にピントを合わせる方式の顕微鏡が知られていた。
【０００４】
通常の画像処理システムは、カメラからのＮＴＳＣビデオ信号を一つのＡＤＣで逐次取り込み画像データをＰＣ内のメモリに構築するものであるため、インターレースのビデオ信号を用いても、フレームレート３０frame／sec.以上での取り込みは不可能である。
【０００５】
近年、画像入力・処理を高速化する事を目的として、ビジョンチップの開発が行われている。中でも画像デバイス上の任意の部分を読み込めるＣ−ＭＯＳビジョンチップの開発が盛んに行われている。これらのビジョンチップの構成としては、以下のようなものがある。
（１）Single ADC Architecture
（２）Column Parallel ADC Architecture
（３）Pixel Parallel ADC Architecture
（１）のタイプのものはＰＣベースのビジョンシステムであり、十分なデータ転送の帯域が確保できない問題がある。（２）、（３）は、画像情報を並列に取り込み、処理が行える事からデータ転送帯域・処理能力は高い。特に（３）は、処理自体は超並列処理である事からデータ転送・処理とも高速であるが、まだ試作の域を越えていないため、十分な画像解像度を確保する事が困難である。
【０００６】
更に、特許文献１には、蛍光色素を付与し蛍光を発する複数の細胞と蛍光を発しない複数の細胞とからなる試料について落射蛍光顕微鏡を用いて細胞の反射光像と透過光像とを観察し、それぞれテレビカメラで撮影する工程と、撮影した細胞の反射光像を画像解析装置で二値化処理して蛍光を発する細胞と発しない細胞とに区別し、蛍光を発する細胞の二値化した蛍光像をフレームメモリに記録する工程と、二値化した蛍光像と透過光像とをモニタ上で重ね合わせ、または併置する工程とからなることを特徴として細胞の位置決め方法を構成が記載されている。
【０００７】
本発明者は、画面に物体（試料）の内部の透過した画像を三次元に鮮明に表示することのできる三次元透過型顕微鏡システムおよび三次元透過型顕微鏡画像表示方法を提供することを目的として、特許出願を行った（特許文献２）。
また、実時間全焦点顕微鏡カメラシステムについて非特許文献１に記載された発表を行った。当該文献には全焦点顕微鏡カメラの原理が簡単に説明されている。
【０００８】
【特許文献１】
特開平６−３０８１１８号公報
【特許文献２】
特願２００２−９２３４９
【非特許文献１】
日本ロボット学会誌２１巻１号 頁４３−４４
【０００９】
【発明が解決しようとする課題】
全焦点顕微鏡カメラシステムによれば、
・実時間で視野全部にいつもピントが合っている画像（全焦点画像）
・物体の奥行きデータ
を同時に獲得することができる。本システムは、顕微鏡画像の作業環境上部のみから観察した特定の焦点距離だけの顕微鏡画像の代わりに、コンピュータ内に構成された三次元データと全ての焦点距離の画像（全焦点画像）を用いたバーチャルな三次元表示を、見たい視点位置から自由に観察しながら操作することを可能とする。
【００１０】
最近、顕微鏡画像を覗きながら細胞、ＤＮＡあるいはＩＣチップの接続部（足）等の体積測定が求められるようになった。本発明は細胞、ＤＮＡあるいは半導体ＩＣチップの接続部等のような微小物体の体積をより正確に、かつほぼリアルタイムで測定できる三次元顕微鏡システム（実態顕微鏡）の提供および該システムによる画像表示方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
三次元形状を獲得するための“Depth from Focus”理論の概略を説明する。
顕微鏡画像の場合、被写体深度の浅さが操作性に大きな問題を与える。一方、このことは「ピントの合う度合」の焦点距離に対する感度が高いことを意味し、ピントの合う焦点距離が物体の奥行き方向の距離測定に利用できることを意味する。このことを三次元形状の測定に積極的に利用するのが“Depth from Focus”理論である。全焦点顕微鏡カメラは全焦点画像を得るばかりでなく、“Depth from Focus”理論に基づき、単眼で物体の三次元形状を獲得することができる。
【００１２】
図１に“Depth from Focus”原理図を示す。奥行きの異なる物体を観察する場合、ピントのボケた画像はピントの合った画像に比較し、高周波成分が失われる傾向があることから、撮像面までの距離（ピント）を振りながら画像各点で画像の濃淡データの分布を計測し、ピントの合った合ピン位置を検出する。一度ピントの合った撮像面までの距離が得られれば、そのピントのあった画素値を画素ごとに埋め込むことで全焦点画像が得られ、また光学の基礎式（レンズのガウス法則）を用いることで、物体までの距離を算出し奥行き画像が得られる。
【００１３】
本発明は、上述した原理になる全焦点顕微鏡カメラを一台もしくは二台使用して、二つの方向から、かつ時間軸を同じにして並列的に全焦点画像、さらには物体である被測定物についての奥行き画像を並列して得る。
並列した奥行き画像を処理して並列された２つの輪郭画像を形成し、これらの２つの輪郭画像から三次元計状の画像を構成する。
【００１４】
すなわち、本発明になる画像表示方法は、被観察物からの光路が、前記顕微鏡の対物レンズにまで実質的に対称になるようにして形成され、撮像面までの前記対物レンズの焦点距離が振られた時に、前記画像処理装置によって、画像各点画像の濃淡データが計測され、焦点位置の合った合ピン位置が検出されて焦点が異なる画像列が構成され、焦点位置の合った画素値を持つ画素によって全焦点画像が被観察物の奥行きについて時間軸が一致して並列して構成され、並列した各全焦点画像によってそれぞれ被観察物の輪郭が認識された画像が構成され、二つの輪郭が認識された画像を合成して三次元形状の画像が構成される。
このようにして、構成された三次元形状の画像から被測定物の体積が算出される。
【００１５】
【発明の実施の形態】
以下、本発明の実施例を図面に基づいて説明する。
図２は、本発明の第１の実施例の構成を示す。図２において、三次元顕微鏡システム１００は、後で詳述する全焦点顕微鏡を形成する顕微鏡１０１と、画像処理装置１０２と、対称型の光路形成手段１０３とから形成される。顕微鏡１０１としては、例えば透過型あるいは反射型の顕微鏡を採用することができる。
【００１６】
光路形成手段１０３は、被測定板１１１に載置された被測定物である、例えば細胞１１２に近接して光軸について対称した形で２つのプリズムあるいはミラーからなる２つの反射手段１１３Ａ、１１３Ｂおよび反射手段１１３Ａ、１１３Ｂで反射された光を顕微鏡１０１の対象レンズ１２１に導くためのプリズム、ハーフミラーあるいはコンデンサレンズ等の光導入手段１１４を備える。
【００１７】
反射手段１１３Ａ、１１３Ｂは、細胞１１２からの２つの光路（光路Ａ、光路Ｂ）１１５Ａ、１１５Ｂが視差角９０°になるように設定、配置されている。この９０°配置によって後述する三次元形状の形成が容易になし得るが、本実施例の場合、９０°に限定されない。３〜５°配置でも可能であり、これらの値から９０°までの間に設定してもよい。
【００１８】
両眼視の場合には、立体的に見える数度から数十度の視差角をつけた画像を取ることが重要であるが、例えば細胞の体積をこのシステムで測るような場合には、視差角を９０°つけた左右の画像を獲得し、その左右の画像の輪郭線から、細胞の体積を計測システムを構築できる。左右の画像を観察者の左右の目に投影することで高倍率な実態顕微鏡、すなわち左右の画像の差から奥行き間の得られる顕微鏡システムを構成することができる。
【００１９】
顕微鏡１０１は、対物レンズ１２１、ピエゾアクチュエータ１２２を備え、上下に、すなわち細胞１１２に向かって高速に振幅がなされる。
これは、図３に示すように細胞１１２に対して焦点距離を高速に動かし、異なる焦点距離での複数枚の画像信号を並列して得る。この場合に、画像各点で画像の濃淡データの分布が計測される。これはピントのあった画素値を画素ごとに埋め込む、すなわち適用することで全焦点画像を得るためのものである。尚ここで、「全」と記載するが、実質的に実用的にということであって限定する意図で使用していない。
【００２０】
画像処理手段１０２は、ハイスピードカメラ（高速度カメラ）１２３を備える。ハイスピードカメラ１２３は、異なる焦点距離での複数枚の画像を高速撮像、さらに高速画像処理することにより、全ての距離にピントがあっている画像と奥行き方向の情報を獲得する。
【００２１】
このような操作に伴って、多数の、例えば９００枚のピンボケスタック画像を含む焦点距離の異なる画像列（Ａ、Ｂ）１２４Ａ、１２４Ｂが、例えばそれぞれ３０枚得られる。さらに、全焦点アルゴリズム１２５によって時間的方向に連続して並行した全焦点画像１２６Ａ、１２６Ｂが得られる。
【００２２】
前述したように、図１の“Depth from Focus”原理図に示すように、奥行きの異なる物体を観測する場合、ピントのボケた画像はピントの合った画像に比較し高周波成分が失われる傾向があることから、撮像面までの距離（ピント）を振りながら、画像各点で画像の濃淡データの分布を計測し、合ピン位置を検出する。一度ピントの合った撮像面までの距離が得られれば、そのピントのあった画素値を画素ごとに埋め込むことで全焦点画像が得られ、また光学の基礎式（レンズのガウス法則）を用いることで、物体までの距離を算出し奥行き画像が並列して得られる。
【００２３】
奥行き画像からそれぞれ細胞１１２の輪郭が認識され（ＣＰＵの一部である輪郭認識手段１２７）、処理手段１２８によってＡ、Ｂの２つの画像は２つの輪郭ａ、ｂとして表示され、所定の方式に従って合成され、三次元形状に近似した輪郭ｃを有する画像として表示される。輪郭ｃから細胞１１２の体積が直ちに算出され、測定されることになる。
【００２４】
以上のように、顕微鏡１０１と、顕微鏡１０１で得られた画像信号を処理して画像表示する画像処理装置との組み合わせからなる三次元顕微鏡システム１００において、被観察物である細胞１１２からの光路１１５Ａ、１１５Ｂが実質的に対称になるようにして反射する反射手段１１３Ａ、１１３Ｂを設け、顕微鏡１０１は、対物レンズ１２１が前記反射手段からの光路１１５Ａ、１１５Ｂが実質的に対称になるようにして配設され、撮像面（図３）までの対物レンズ１２１の焦点距離が振られた時に、画像処理装置１０２によって、画像各点画像の濃淡データが計測され、焦点位置の合った合ピン位置が検出されて焦点が異なる画像列１２４Ａ、１２４Ｂが構成され、焦点位置の合った画素値を持つ画素によって全焦点画像１２６Ａ、１２６Ｂが被観察物の奥行きについて時間軸が一致して並列して構成され、並列した各全焦点画像によってそれぞれ被観察物の輪郭が認識された画像ａ、ｂが構成され、二つの輪郭が認識された画像ａ、ｂを合成して三次元形状の画像ｃを構成する三次元顕微鏡システムおよびこれを使用した画像表示方法が構成される。
【００２５】
図４は、本発明の第２の実施例を示す。第１の実施例と同一の構成については同一の番号を付し、説明は第１の実施例についての説明を援用するものとする。
この実施例にあっては、二台の顕微鏡１０１Ａ、１０１Ｂが細胞１１２に対して対称に配置される。従って、２つの光路１１５Ａ、１１５Ｂを経た光はそれぞれの顕微鏡１０１Ａ、１０１Ｂの対物レンズ１２１Ａ、１２１Ｂに導入される。この場合には、二台の顕微鏡１０１Ａ、１０１Ｂが使用されるために第１の実施例における反射手段１１３Ａ、１１３Ｂは必要とされない。
【００２６】
第１の実施例にあっては顕微鏡１０１、ハイスピードカメラ１２３は１台であるのに対して第２の実施例にあっては、二台の顕微鏡１０１Ａ、１０１Ｂおよび二台のハイスピードカメラ１２３Ａを使用しているが、画像処理装置１０２の内容は実質的に同一のものとされる。
この例にあっては顕微鏡１０１Ａ、１０１Ｂである全焦点顕微鏡を二台用い、右画像と左画像の全焦点画像をそれぞれ得、その画像をそれぞれ人間の右、左目に入れることで通所、困難とされてきた高倍率の実体顕微鏡を実現している。通常の低倍率の実体顕微鏡は低倍率であるがために、対象物の被写界深度がある程度深く、両眼で見える範囲で左右どちらの目にも焦点があった画像が得られている。従来、高倍率においては被写界深度が浅いため左右の画像でどちらからみてもピントのあっている部分が少なく、結果的に立体に見えないことから、高倍率の実体顕微鏡は存在しなかったが、当該実施例（第１実施例を含めて）によって高倍率の実体顕微鏡が構成されることになる。
【００２７】
この全焦点顕微鏡では、対物レンズ１２１Ａ、１２１Ｂにつけたピエゾアクチュエータ１２２Ａ、１２２Ｂを振りながら、画像を高速に数十枚振り込み、焦点距離の異なる画像を合成することで、全焦点画像を実時間（３０ｆｐｓ）で獲得することを実現している。
このシステムを二台使い、視差角を実体顕微鏡における立体視に必要な数度から数十度の左右の全焦点画像を獲得し、その画像を左右の目に与えることにより、高倍率の実体顕微鏡を実現するものである。
【００２８】
また、全焦点顕微鏡を二台用いることは高価になることから、対物レンズと対称との間に光学系を組み、一枚の画像に左右の画像が得られる光学システムを構築することにより、第１の実施例に示す一台の全焦点タイプのシステムでも上記の第２の実施例と同じシステムを構築することが可能である。
【００２９】
以上のように、顕微鏡１０１（１０１Ａ、１０１Ｂ）と、顕微鏡１０１（１０１Ａ、１０１Ｂ）で得られた画像信号を処理して画像表示する画像処理装置１０２との組み合わせからなる三次元顕微鏡システム１００において、被観察物である細胞１１２からの光路１１５Ａ、１１５Ｂが実質的に対称になるようにして対物レンズ１２１Ａ、１２１Ｂをそれぞれ配設した二台の顕微鏡１０１Ａ、１０１Ｂを備え、撮像面までの対物レンズ１２１Ａ、１２１Ｂの焦点距離が振られた時に、画像処理装置１０２Ａ、１０２Ｂによって、画像各点画像の濃淡データが計測され、焦点位置の合った合ピン位置が検出されて焦点が異なる画像列１２４Ａ、１２４Ｂが構築され、焦点位置の合った画素値を持つ画素によって全焦点画像１２６Ａ、１２６Ｂが被観察物の奥行きについて時間軸が一致して並列して構成され、並列した各全焦点画像によってそれぞれ被観察物の輪郭が認識された画像ａ、ｂが構成され、二つの輪郭が認識された画像ａ、ｂを合成して三次元形状の画像ｃを構成する三次元顕微鏡システムおよびこれを使用した画像表示方法が構成される。
【００３０】
以下、本発明に使用する全焦点顕微鏡の実施の形態を図５〜図１０に基づき説明する。この例にあっては全焦点顕微鏡として透過型顕微鏡を例にとって説明するが、本実施例にあっては透過型顕微鏡に限定されず、他の顕微鏡も採用可能である。
【００３１】
図５に、透過型顕微鏡システム１の全体の概略構成を示す。透過型顕微鏡２（図２および図４における透過型顕微鏡１０１（１０１Ａ、１０１Ｂ）に相当）は、対象物ＯＢからの反射光を入射させる光学系１１、この光学系１１を取り付けた高速撮影装置としての高速撮影カメラ（透過型顕微鏡２のカメラのカメラヘッドを成す）１２とを備える。この透過型顕微鏡２には、この高速撮影カメラ１２の（図２および図４におけるハイスピードカメラ１２３（１２３Ａ、１２３Ｂ）に相当）撮影データを取り込んで高速に処理して全焦点画像を生成する画像処理装置１３（図１および図４の例ではハイスピードカメラも画像処理装置に含めているが、以後の説明では含めていない。）が接続される。画像処理装置１３は処理装置１６としてのＣＰＵ、画像メモリ１７を含み、画像表示装置１５に接続される。処理装置１６と画像表示装置１５とを兼用することができる。ここでは理解の便宜上分けて表示してある。この画像処理装置１３が生成した全焦点画像に色処理を施すＲＧＢ出力ボード１４と、このＲＧＢ出力ボード１４と関連した合ピン度出力ボード１８とを備える。また、この顕微鏡には、焦点距離移動装置２６が備えられる。光学系１１は、可変焦点機構１１Ａおよびズームレンズ１１Ｃ、１１Ｂを備える。
【００３２】
図６には、上述の構成を有する透過型顕微鏡システム１の機能ブロック図を示す。高速撮影カメラ１２は、カメラセンサ１２Ａと、このカメラセンサの出力信号を処理するカメラ出力回路１２Ｂとを備える。
【００３３】
光学系１１は、前述のように、対象物ＯＢに近い側から順に位置させる可変焦点機構１１Ａ、照明系１１Ｂ、及びズームレンズ１１Ｃを備える。
可変焦点機構１１Ａを、照明系１１Ｂを介してマクロズームレンズ１１Ｃの先端に取り付けている。これにより、マクロズームレンズの本来の光学特性（焦点距離）を高速に振る可変焦点機構が得られる。
【００３４】
図７に、焦点距離移動装置２６が上述した可変焦点機構１１Ａを駆動させるタイミングを示す。焦点距離の制御は図７のように３０Ｈｚのノコギリ波に同期して、各焦点距離毎に８回撮影する。このノコギリ波は高速撮影カメラ１２のカメラ出力回路１２Ｂから送られる同期信号を用いて焦点距離移動装置２６で生成される。可変焦点機構１１Ａにはヒステリシスがあるので必ず各波形毎（撮影毎）にヒステリシスがリセットされる。
【００３５】
高速撮影カメラ１２を説明するに際し、高速撮影法の様々な手法について先に説明する。
【００３６】
高速撮影カメラは、通常、１）センサの読み取りクロックを上げる、２）読み取りピクセル数を減らす、３）読み取りピクセルを並列化する、の何れかの手法又はそれらを組み合わせてフレームレートを高速化させている。
【００３７】
１番目のピクセルレートの高速化は理論的には理解し易いが、センサデバイスの特性や周辺回路の条件から高速化には限度がある。
また、２番目の読み取りピクセル数を減らす手法は、例えば、５００×５００ピクセルを３０フレームで撮影可能なセンサに対して、縦２５０×横２５０ピクセルで読み取りを止め、次フレームに進むようにするもので、これにより４倍のスピードアップを図り、１２０（＝３０×４）フレームのコマ数が出る。この場合、解像度は下がる。
３番目の読み取りピクセルの並列化は、種々の態様で行われている。一例として、撮影領域を成す画素領域を、一定領域の高速度画像センサそのものを並列化して形成する手法がある。例えば（株）ファトロン社製の高速度カメラ「アルチマシリーズ」は図８に模式的に示すように高速度センサ（横２５６×縦１６ピクセル）を独立して１６個、アレイ状に並列配置し、全体としては２５６×２５６のピクセルサイズの撮影領域を形成している。各高速度センサは２５ＭＨｚで読み出される。
【００３８】
本形態の高速撮影カメラ１２のカメラセンサ１２Ａは、上述した３番目の並列化の手法を採用しており、図８に示す如く、撮影用の高速度画像センサをアレイ状に配設している。なお、この高速撮影カメラ１２は、上述した２番目の手法、又は、２番目と３番目の手法を組み合わせる手法で構成してもよい。
なお、３番目の読み取りピクセルの並列化の手法には、上述した如く複数個の高速度センサをアレイ状に並列配置する方式のほか、種々の態様で並列化を図る方式も採用できる。
【００３９】
１つの例として、撮影領域を成す１枚の画素領域（例えば２５６×２５６ピクセル）を上下左右に複数分割（例えば４分割）し、各分割領域から並行して同時に画素データを読み出し、読み取り速度を高速化する方式を採用することもできる。
また別の例として、１枚の画速領域の内、複数ライン（例えば２ライン：各ラインは例えば２５６ピクセル）分の画素データを並行して同時に読み出し、これを全部のラインについて順次行うことで、読み取り速度を高速化する方式を採用することもできる。
【００４０】
さらに、別の例として、１枚の画素領域を構成する各ライン（例えば２５６ピクセル）のうち、複数の画素（例えば１０画素）から画素データを同時に並行して読み出し、これをそのライン及び残りのラインについて順次繰り返すことで、読み取り速度を高速化する方式を採用することもできる。
【００４１】
カメラ出力回路１２Ｂは、クロックジェネレータのほか、各センサに対応して、増幅器、ＣＤＳ（Correlated Double Sampling）回路、Ａ／Ｄコンバータなどの回路を備えた処理回路部を備える。このため、カメラセンサ１２Ａからの画像データは、カメラ出力回路１２Ｂにおいて、処理回路部毎に、増幅され、ＣＤＳ処理され、デジタル化される。このカメラ出力回路１２Ｂから出力されるデータはＬＶＤＳ（Low Voltage Differential Signaling）方式で画像処理装置１３に送られる。
【００４２】
画像処理装置１３は、高速大容量のＦＰＧＡ（Field Programmable Gate Array）に拠るハードウェアロジックで構成されている。この画像処理装置１３は、そのボードにＦＰＧＡ、大容量のＳＤＲＡＭ、及びＬＶＤＳインターフェースを搭載し、外部機器とインターフェースできるようになっている。
この画像処理装置１３により、可変焦点機構１１Ａの焦点距離を動かしながら取り込んだ画像データに対して、合ピン度ＩＱＭ（Image Quality Measure）の値がそれぞれ画素毎に評価される。
【００４３】
前述したように“Depth from Focus”理論によれば、ピントが合っているかどうかはその画像の局所空間周波数分析を行うと判明し、周波数がピークとなる焦点距離がピントの合っている部分になる。直感的にも、ボケた部分は周波数が低く、ピントが合った部分は周波数が高いものと推測できる。基本的には可変焦点機構１１Ａでレンズの焦点距離を動かしながら画像を１枚１枚取り込み、それぞれの画像の局所空間周波数分析を行い、周波数のピークの部分、つまり焦点が合った部分をピクセル単位で各画像からピックアップし、１枚の画像として張り合わせることで、全焦点画像が得られる。また、それらの焦点距離から、全焦点画像に映り込んでいる対象物の三次元データも得られる。
【００４４】
各画素の局所空間周波数分析は、次式のＩＱＭ（Image Quality Measure）で定義される、画像濃淡値の空間的な分散で評価できる。
【数１】

ここで、（−Ｌｃ、−Ｌｒ）−（Ｌｃ、Ｌｒ）と（ｘｉ、ｙｉ）−（ｘｆ、ｙｆ）はそれぞれ分散評価と平滑化を行うための小領域である。また、Ｄは画素単位で正規化するための評価を行うすべての画素数である。
【００４５】
従って、可変焦点機構１１Ａの焦点距離を動かしながらＩＱＭの値をそれぞれ画素毎もしくは領域毎に評価し、ＩＱＭ値のピークを検出し、その時に画素濃淡値ｆと画像距離ｘから算出した物体距離Ｘを、それぞれの画素位置に対するマトリックス要素にそれぞれ代入する。この処理をすべての焦点距離について行った後、それぞれのマトリックスが全焦点画像と奥行き画像になる。
このＩＱＭの処理を簡略化すると、近隣３近傍ラプラシアンフィルタと２×２近傍の平滑化処理になる。
【００４６】
そこで、画像処理装置１３は、図９に示す簡略的な画像処理を行うこともできる。つまり、高速撮影カメラ１２から送られてきた８０ＭＨｚの画像信号はラプラシアン回路で空間周波数の分析に付され、ピークメモリに記録される。ラプラシアンの出力とピークメモリが比較され、それがピーク値、すなわちピントが合っている画像であればＳＤＲＡＭ内のフレームメモリに書き込まれる。それ以外の出力は捨てられる。
【００４７】
このようにして演算されたＳＤＲＡＭに書き込まれた画像データは、標準ＮＴＳＣ信号の形態でフレームレート３０ＨｚでＲＧＢ出力ボード１４を介してモニタ１５に送られ、実時間の全焦点画像として表示される。また、焦点距離から成る三次元データはＬＶＤＳに変換されて、処理装置１６に転送される。
【００４８】
このように本実施形態では、実時間全焦点形式である三次元透過型顕微鏡によってカメラ画像を得ることができ、操作者が脳裏で対象物の三次元形状を想像する必要がない。視野全てにピント（焦点）が合っているため、カメラの焦点距離を操作することも不要になる。しかも“ライブ（実時間）”画像が得られる。つまり、視野内の画像表示に遅延も殆ど無く、動きがそのまま殆どリアルタイムに見える。これにより、顕微鏡カメラを用いた作業の効率が大幅に向上する。
【００４９】
これを従来の機械的にレンズの焦点を合わせる方式の全焦点顕微鏡カメラと比較すると、その有効性は際立っている。従来の場合、機械的に焦点を合わせる操作や、その後の処理動作が介在するので、１画面を得るのに数秒から数分、掛かっていた。３０フレームの通常のビデオカメラで撮影しているので静止画は得られるが、ライブ動画は到底、不可能であった。顕微鏡を覗きながらの作業を行うのに、画像が数秒に１回しか変化しない状態ではデレイが生じ、この顕微鏡を用いた実際の作業は殆ど無理である。人が滑らかな動画として見られるフレーム周波数は秒３０枚以上である。本実施形態の実時間全焦点顕微鏡のフレーム取り込み速度は２４０コマ／秒である。すなわち、１／３０秒の間に連続的に焦点を変化させて８回、画像を取り込むので、２４０（＝３０×８）コマ／秒になる。これにより、人間が普通に（顕微鏡以外で）物の見るときと同程度の実時間性が確保される。
【００５０】
また、人間は普通の大きさの世界では実時間全焦点であるが、ミクロの世界では顕微鏡を用いる必要があり、それは実時間単一焦点である。このため、従来では操作者は焦点を煩雑に動かす操作を強いられていた。この実時間全焦点顕微鏡カメラにより、ミクロの世界を普通の大きさの世界と同様に扱うことが可能になる。
【００５１】
また、顕微鏡で物を見るためには前準備として切片の作成が必要であったが、これは顕微鏡が単一焦点であることを前提としている。本実施形態のように全焦点になれば、切片が不要になるケースもある。
さらに、この実時間全焦点顕微鏡カメラにより、今まで見たこともない微少なマイクロマシンの全体の動きやミクロの生物の生態観察も可能になる。
【００５２】
次に、前述した画像（カラーの場合ＲＧＢの３チャンネル）に加え、各焦点距離での、各画素位置での合ピン度（合焦度）をあらわすＩＱＭ画像を加えた、ＲＧＢ＋ＩＱＭの４チャンネルのデータを使い、全焦点画像（どこにもピントの合った画像）と、試料の内部の透過した奥行き画像を獲得する得られた画像について一連の処理を行って画像表示を行う。
【００５３】
三次元ＣＧを表示するボリュームレンダリング技術として、各スライス画像ＲＧＢ３チャンネルに物体の透明度Ｐを加えた、ＲＧＢＰの４チャンネルで表示することにより、物体内部を表示する技術を用いる。例えば、ガラスのＰ値は高く、擦りガラスは中程度、不透明物体では低いＰ値に設定する。
【００５４】
そこで、図５において、１．の合ピン度ＩＱＭ２２と、２．ボリュームレンダリング技術で用いられる透明度Ｐ２３をルックアップテーブル２１（記憶手段、記憶装置）で関連付けることにより、焦点距離を動かしながら撮像された画像列を、ボリュームレンダリング表示することを可能とし、物体内部をＭＲＩ画像のように観測することを可能にする。さらには、任意方向でのスライス画像（縦方向あるいは横方向であってもよい）を表示することを可能とする。
【００５５】
透過型蛍光顕微鏡は、図１０に示すように、ＯＢ（物体、試料）にある波長の光を当てることで、焦点距離移動に応じた蛍光画像データ（ｘ、ｙ）が得られ、遺伝子や機能タンパク質などの観測が可能となる。特に、ＤＮＡ、ＲＮＡ解析がある程度進んだ現在では、タンパク質の構成が、酵素などの機能に大きく影響を与えることから、機能構造解析が進められている。この蛍光顕微鏡の場合、上記のアルゴリズムにおいて、合ピン度の変わりに物体の蛍光度を透明度に関連付けることにより、蛍光物質の三次元構造が観測可能となる。例えば、人間の脳のニューロン反応を実時間で観測しようとする場合、ニューロン反応時間（３、４ミリsec）の間に３、４画像表示する。
【００５６】
図１１にフローチャートを示す。
メモリ初期化（焦点距離ＦＶ＝０）を行う（Ｓ１）。焦点距離制御（ＦＶ＝ＦＶ＋１）を行い（Ｓ２）、ＲＧＢ３チャンネルによるオリジナル画像ＯＲＧ（ＦＶ、ｘ、ｙ）を生成し、入力を行う（Ｓ３）。ＲＧＢ３チャンネルにＩＱＭチャンネルを加え、４チャンネルによる画像前処理を行う（Ｓ４）。
ＯＲＧ（ＦＶ、ｘ、ｙ）→ＯＲＧ＋ＩＱＭ（ＦＶ、ｘ、ｙ）
ＩＱＭ（ＦＶ、ｘ、ｙ）と透明度Ｐ（ＦＶ、ｘ、ｙ）をルックアップテーブル２１ＬＵＴで対応付けを行う（Ｓ５）。
ＦＶ＜ＦＶｍａｘを判断し（Ｓ６）、ＦＶｍａｘ以内であれば焦点距離を変え、前述のステップを繰り返す。
ＦＶｍａｘを越えると、ＯＲＧ（ＦＶ、ｘ、ｙ）＋Ｐ（ＦＶ、ｘ、ｙ）データでボリュームレンダリングを行い（Ｓ７）、画面表示装置に画面の表示を行う。
【００５７】
図１２に、焦点距離を移動していった状態でのスライスした画像データを示す。
図１３に、物体内部をＭＲＩ画像のように形成したボリュームレンダリングされた三次元顕微鏡画像の全景４１を表示画面４０に表示した例を示す。表示画面４０に横スライス画像４２および縦スライス画像４３に示す。
【００５８】
【発明の効果】
本発明によれば、細胞・ＤＮＡあるいは半導体ＩＣチップの接続部等のような微小物体の奥行きデータを三次元に獲得することができ、体積をより正確にかつほぼリアルタイムで測定することのできる三次元顕微鏡（実体顕微鏡システム）およびこれを使用した画像表示方法を提供することができる。
【図面の簡単な説明】
【図１】全焦点顕微鏡における“Depth from Focus”理論を示す図。
【図２】本発明の第２の実施例の構成を示す図。
【図３】細胞観察と全焦点アルゴリズムによる合ピン判定を示す図。
【図４】本発明の第２の実施例の構成を示す図。
【図５】本発明の実施例の一例に使用する透過型顕微鏡システムの全体構成を示す概略ブロック図。
【図６】実時間全焦点顕微鏡の機能を中心に示す機能ブロック図。
【図７】高速撮影カメラの撮影タイミングを説明する図。
【図８】高速撮影カメラのカメラセンサ及びカメラ出力回路の構成及び動作を説明する模式図。
【図９】画像処理装置で行われる簡略化した機能を説明する機能ブロック図。
【図１０】蛍光画像データ作成方法を示す説明図。
【図１１】フローチャート図。
【図１２】焦点距離を移動させたときの一連の顕微鏡画像を示す図。
【図１３】ボリュームレンダリングされた三次元顕微鏡画像を示す図。
【符号の説明】
１００…三次元顕微鏡システム、１０１…顕微鏡（全焦点顕微鏡）、１０２…画像処理装置、１０３…光路形成手段、１１２…細胞、１１３Ａ、１１３Ｂ…反射手段、１２１…対物レンズ、１２２…ピエゾアクチュエータ、１２３…ハイスピード（高速）カメラ、１２４（１２４Ａ、１２４Ｂ）…焦点距離の異なる画像列Ａ、Ｂ、１２５…全焦点アルゴリズム、１２６Ａ、１２６Ｂ…全焦点画像、１２７…輪郭認識手段、１２８…処理手段、ａ、ｂ…輪郭、ｃ…合成された三次元形状輪郭。

Claims (5)

1. 顕微鏡と、該顕微鏡で得られた画像信号を処理して画像表示する画像処理装置との組み合わせからなる三次元顕微鏡システムにおいて、
   被観察物からの２つ光路が光軸に対して実質的に対称になるようにされて配置され、該被観察物からのそれぞれの光が反射する２つの反射手段を設け、
   それぞれ反射された光によって画像を形成する前記顕微鏡は、対物レンズが前記２つの反射手段からのそれぞれの光路が実質的に対称になるようにして配設され、
   撮像面までの前記対物レンズの焦点距離が振られた時に、前記２つの反射手段からのそれぞれの光で前記顕微鏡によって形成された画像について、前記画像処理装置によって、画像各点で画像の濃淡データが計測され、焦点位置の合った合ピン位置がそれぞれ検出され、それぞれ焦点位置の合った画素値を持つ画素によってそれぞれの全焦点画像が前記被観察物の奥行きについて時間軸が一致して並列して構成され、
   並列した各全焦点画像によってそれぞれ被観察物の輪郭が認識された画像が構成され、
   二つの輪郭が認識された画像を合成して三次元形状の画像を構成することを特徴とする三次元顕微鏡システム。
2. 顕微鏡と、該顕微鏡で得られた画像信号を処理して画像表示する画像処理装置との組み合わせからなる三次元顕微鏡システムにおいて、
   被観察物からの２つ光路が実質的に対称になるようにして対物レンズをそれぞれ配設した二台の顕微鏡を備え、
   撮像面までの前記対物レンズの焦点距離が振られた時に、前記二台の顕微鏡で形成された画像について、前記画像処理装置によって、画像各点で画像の濃淡データがそれぞれ計測され、焦点位置の合った合ピン位置が検出され、それぞれ焦点位置の合った画素値を持つ画素によってそれぞれの全焦点画像が被観察物の奥行きについて時間軸が一致して並列して構成され、
   並列した各全焦点画像によってそれぞれ被観察物の輪郭が認識された画像が構成され、
   二つの輪郭が認識された画像を合成して三次元形状の画像を構成することを特徴とする三次元顕微鏡システム。
3. 顕微鏡と、該顕微鏡で得られた画像信号を処理して画像表示する画像処理装置との組み合わせからなる三次元顕微鏡システムによる画像表示方法において、
   被観察物からの２つ光路が光軸に対して実質的に対称になるようにされて配置された２つの反射手段から前記顕微鏡の対物レンズへの２つの光路が実質的に対称になるようにして形成され、
   撮像面までの前記対物レンズの焦点距離が振られた時に、前記２つの反射手段からのそれぞれの光で前記顕微鏡によって形成された画像について、前記画像処理装置によって、画像各点画像の濃淡データがそれぞれ計測され、焦点位置の合った合ピン位置がそれぞれ検出され、焦点位置の合った画素値を持つ画素によってそれぞれの全焦点画像が被観察物の奥行きについて時間軸が一致して並列して構成され、
   並列した各全焦点画像によってそれぞれ被観察物の輪郭が認識された画像が構成され、
   二つの輪郭が認識された画像を合成して三次元形状の画像が構成されることを特徴とする画像表示方法。
4. 顕微鏡と、該顕微鏡で得られた画像信号を処理して画像表示する画像処理装置との組み合わせからなる三次元顕微鏡システムによる画像表示方法において、
   被観察物からの２つの光路が実質的に対称になるようにして二台の顕微鏡の対物レンズをそれぞれ配設し、
   撮像面までの前記対物レンズの焦点距離が振られた時に、前記二台の顕微鏡で得られたそれぞれの画像について、前記画像処理装置によって、画像各点画像の濃淡データがそれ ぞれ計測され、焦点位置の合った合ピン位置が検出され、それぞれ焦点位置の合った画素値を持つ画素によってそれぞれの全焦点画像が被観察物の奥行きについて時間軸が一致して並列して構成され、
   並列した各全焦点画像によってそれぞれ被観察物の輪郭が認識された画像が構成され、
   二つの輪郭が認識された画像を合成して三次元形状の画像を構成することを特徴とする画像表示方法。
5. 顕微鏡と、該顕微鏡で得られた画像信号を処理して画像表示する画像処理装置との組み合わせからなる三次元顕微鏡システムによる画像表示方法において、
   被観察物からの２つの光路が、前記顕微鏡の対物レンズにまで実質的に対称になるようにして形成され、
   撮像面までの前記対物レンズの焦点距離が振られた時に、前記顕微鏡で形成されたそれぞれの画像について、前記画像処理装置によって、画像各点画像の濃淡データがそれぞれ計測され、焦点位置の合った合ピン位置がそれぞれ検出され、焦点位置の合った画素値を持つ画素によってそれぞれ全焦点画像が被観察物の奥行きについて時間軸が一致して並列して構成され、
   並列した各全焦点画像によってそれぞれ被観察物の輪郭が認識された画像が構成され、
   二つの輪郭が認識された画像を合成して三次元形状の画像が構成され、
   構成された三次元形状の画像から被測定物の体積が算出されることを特徴とする画像表示方法。

Images