JP4811632B2 - ３次元共焦点顕微鏡システム - Google Patents

Description

本発明は、３次元共焦点顕微鏡システムに関し、詳しくは、マイクロＰＩＶ（Particle Image Velocimetry：粒子画像流速測定法）に用いられる３次元共焦点顕微鏡システムの改良に関するものである。

共焦点顕微鏡は、試料を薄切片にすることなくスライス画像が得られ、そのスライス画像から試料の正確な３次元立体像を構築できるので、生物やバイオテクノロジーなどの分野における生きた細胞の生理反応観察や形態観察あるいは半導体市場におけるＬＳＩの表面観察などに使用されている（例えば、特許文献１参照）。

特開２００２−７２１０２号公報

図５は特許文献１に記載の共焦点顕微鏡の構成図である。ビデオカメラ１、共焦点スキャナ２、顕微鏡３、アクチュエータ４および対物レンズ５は、同じ光軸上に配置されている。共焦点スキャナ２は、多数のピンホールを持つニポウディスクと、それに対応するマイクロレンズアレイを有するもので、シンプルな光学系から成るニポウディスク方式を採用したコンパクトなアドオンタイプである。

この共焦点スキャナ２は顕微鏡３のカメラポートに取り付けられる。共焦点顕微鏡は、レーザ光を使用して、対物レンズ５、アクチュエータ４および顕微鏡３を経由して、試料の像を共焦点スキャナ２に入力する。共焦点スキャナ２は、試料の共焦点画像を得て、ビデオカメラ１に入力する。

図６は、図５の共焦点顕微鏡が取り扱う各種信号のタイムチャートである。ビデオカメラ１は、共焦点画像をビデオ信号１０１に変換し、共焦点スキャナ２、同期インターフェイスボックス９の信号入力端子および画像処理装置６の画像入力端子にビデオ信号１０１を入力する。共焦点スキャナ２は、ビデオ信号１０１に同期して、ニポウディスクの回転同期制御を行う。

同期インターフェイスボックス９は、ビデオ信号１０１の偶数側パルス列または奇数側パルス列の何れか一方を抽出し、内部Ａ信号を作成する。任意波形発生器７は、Ｈレベルのパルス信号であるトリガ信号１０２を発生し、同期インターフェイスボックス９のトリガ入力端子に入力して、焦点面の走査の開始タイミングに利用する。

同期インターフェイスボックス９は、トリガ信号１０２の立下りに同期して、内部Ｂ信号を作成する。内部Ｂ信号は、Ｈレベルのパルス幅時間が３５ｍｓｅｃ程度であり、ビデオカメラ１のビデオレートの時間に比して若干長いパルス信号である。同期インターフェイスボックス９は、内部Ａ信号の反転信号と内部Ｂ信号とを論理積演算することにより、開始信号１０３を発生し、画像処理装置６および任意波形発生器７の同期入力端子に入力する。

画像処理装置６は、同期入力端子からの開始信号１０３の立上りに同期して、ビデオ信号１０１を画像データに変換し記録するキャプチャを開始する。同期インターフェイスボックス９は、信号入力端子からのビデオ信号１０１に基づいて、共焦点スキャナ２によるニポウディスクの回転同期制御、画像処理装置６によるビデオ信号の取得の開始タイミング、および光学制御系による対物レンズの焦点位置の走査開始のタイミングを全て同期させる。

任意波形発生器７は、開始信号１０３の立上りに同期して、光学制御系による対物レンズ５の焦点位置の走査を開始する。任意波形発生器７は、走査信号１０４を発生し、コントローラ８に入力する。走査信号１０４は、ＬレベルからＨレベルまで一定時間で直線的に増加するノコギリ波状の信号である。コントローラ８は、走査信号１０４をアクチュエータ４に入力する。アクチュエータ信号１０５は実際のアクチュエータの位置信号であり、伸びきってから一気に原点に戻ったあとにオーバーシュートがあり、この間は不感帯となる。

アクチュエータ４は、顕微鏡３の対物レンズレボルバーと対物レンズ５との間に取り付けられ、ピエゾ駆動により走査信号１０４のレベルに比例して画像の焦点方向の長さが変化し、対物レンズ５の焦点位置を制御する。共焦点顕微鏡は、走査信号１０４に基づいて、焦点面を走査することにより、試料のスライス画像を取得する。

このような構成によれば、ニポウディスクの回転同期制御、画像処理装置によるビデオ信号の取得の開始タイミングおよび光学制御系によるレンズの焦点位置の走査開始のタイミングが、すべてビデオ信号に同期することにより、共焦点画像の位置精度が向上し、複数のスライス画像を取得する際に個々の取得時間のバラツキがなくなるので、信頼性の高いスライス画像が得られる。

一方、化学工業をはじめとする様々な工業の分野に適用される技術としてマイクロ流路が知られている。マイクロ流路とは、極微量の液体やガスなどを流す微小な流路であって、例えばＹ字形状で２つの別々の入口から異なる液体または異なるガスなどを流入させると流路内で混合し、これら液体やガスの流れや反応が制御される。

上述の３次元共焦点顕微鏡システムは、このマイクロ流路を測定対象とすることが可能で、マイクロ流路の３次元解析に用いる画像を取得する。これにより、マイクロ流路における高精度なＰＩＶ（Particle Image Velocimetry(粒子画像流速測定法)）が可能になる。

ＰＩＶとは、時間差撮影された２枚の粒子画像から粒子の移動量(流速)を測定するものとして知られている。このＰＩＶを用いてマイクロ流路内の流速を測定することは、マイクロＰＩＶと呼ばれている。

このようなマイクロＰＩＶでは、例えば微小流路内に直径１μｍ程度の蛍光ビーズを流し、その蛍光ビーズの時間差撮影を行い流速測定を行うものがある。このため蛍光顕微鏡に、前述した３次元共焦点顕微鏡システムを使うことで、微小流路について数μｍ幅で光軸方向のスライス画像を取得することができる。これにより、マイクロ流路内の３次元画像解析を行うことができ、マイクロ流路内の様々な深さの蛍光ビーズを鮮明に撮像でき精密なマイクロＰＩＶを行うことができる。

しかしながら、マイクロＰＩＶの３次元解析を行う場合、通常、試料に対して対物レンズの焦点位置を移動させながら同じ焦点位置で連続して２枚の画像を取得する。マイクロＰＩＶの解析を正確に行うには、この２枚の画像を取得する際、撮像位置が同じ高さにあることが重要であり、撮像面が異なった高さの２枚の画像で解析を行った結果は信頼性に欠けるという問題があった。

本発明は、このような従来の共焦点顕微鏡システムが有していた問題を解決しようとするものであり、アクチュエータの正確な位置情報を用いてマイクロＰＩＶに用いる画像を同一焦点位置で取得するようにした３次元共焦点顕微鏡システムを実現することを目的とするものである。

本発明は次の通りの構成になった３次元共焦点顕微鏡システムである。

（１）顕微鏡を介してマイクロ流路のスライス像を共焦点画像として取得する共焦点スキャナと、
前記共焦点画像の画像データを出力するビデオカメラと、
前記顕微鏡の対物レンズの焦点位置を光軸方向に移動するアクチュエータと、
このアクチュエータを介して前記対物レンズを光軸方向に走査するための走査波形信号を発生する制御部と、
前記ビデオカメラで取得した少なくとも２枚の画像データに基づき前記マイクロ流路内の流体の速度を算出する画像処理部と、
を備えた３次元共焦点顕微鏡システムであって、
前記アクチュエータから出力される位置信号に基づいて、前記対物レンズの同一焦点位置で前記少なくとも２枚の画像データを取得し、
前記少なくとも２枚の画像データの取得時に、前記アクチュエータの位置の変化が予め設定した範囲を超えたか否かを判断し、その判断結果に基づいて前記走査波形信号を補正する補正手段を有し、
前記走査波形信号は、ステップ状波形であって、
前記補正手段は、前記ステップ状波形のステップ部の長さを、画像取込周期の４倍以上に補正し、
前記画像処理部は、前記ステップ部の１ステップの間に前記ビデオカメラで取得した画像データのうち、最初と最後の前記画像取込周期に取得した画像データを含まない前記少なくとも２枚の画像データに基づき前記マイクロ流路内の流体の速度を算出する、
ことを特徴とする３次元共焦点顕微鏡システム。

（２）顕微鏡を介してマイクロ流路のスライス像を共焦点画像として取得する共焦点スキャナと、
前記共焦点画像の画像データを出力するビデオカメラと、
前記顕微鏡の対物レンズの焦点位置を光軸方向に移動するアクチュエータと、
このアクチュエータを介して前記対物レンズを光軸方向に走査するための走査波形信号を発生する制御部と、
前記ビデオカメラで取得した少なくとも２枚の画像データに基づき前記マイクロ流路内の流体の速度を算出する画像処理部と、
を備えた３次元共焦点顕微鏡システムであって、
前記アクチュエータから出力される位置信号に基づいて、前記対物レンズの同一焦点位置で前記少なくとも２枚の画像データを取得し、
前記少なくとも２枚の画像データの取得時に、前記アクチュエータの位置の変化が予め設定した範囲を超えたか否かを判断し、その判断結果に基づいて前記走査波形信号を補正する補正手段を有し、
前記走査波形信号は、三角状波形であって、
前記補正手段は、前記少なくとも２枚の画像データの取得時に、前記アクチュエータの位置の変化が予め設定した範囲内になるような、画像取込周期の４倍以上の長さのスロープをもった三角状波になるように補正し、
前記画像処理部は、前記アクチュエータの位置の変化が予め設定した範囲にある間に前記ビデオカメラで取得した画像データのうち、最初と最後の前記画像取込周期に取得した画像データの少なくともいずれか一方を含む前記少なくとも２枚の画像データに基づき前記マイクロ流路内の流体の速度を算出する、
ことを特徴とする３次元共焦点顕微鏡システム。

本発明によれば、以下のような効果がある。

請求項１に記載の発明によれば、アクチュエータの位置を常にモニタし、アクチュエータの正確な位置情報を用いて対物レンズの走査波形を補正することで、マイクロＰＩＶに用いる２枚の画像を同一焦点位置で取得できるようになり、正確なマイクロＰＩＶ解析を行うことが可能となった。

請求項２に記載の発明によれば、走査波形を三角波にすることにより、取得したすべての画像を使ってマイクロＰＩＶ解析が行える。従って、画像を捨てることが無く効率よくマイクロＰＩＶ解析を行うことができる。三角波であるため厳密には常に画像取得時の高さ変化してしまうが、許容される範囲の変化であれば測定時間が短縮できる。

以下図面を用いて本発明を詳細に説明する。図１は本発明に係る３次元共焦点顕微鏡システムの一実施例を示す構成図である。

図１において、高速カメラ１ａは、例えば１０００枚／秒の高スピードで画像データを取得する。共焦点スキャナ２ａは、従来技術で説明したものと同様のニポウディスク方式であり、多数のピンホールを持つニポウディスクと、それに対応するマイクロレンズアレイを有する。

この共焦点スキャナ２ａは蛍光顕微鏡３ａのカメラポートに光路２２を介して取り付けられ共焦点顕微鏡が構成される。共焦点顕微鏡は、レーザ光を使用して、対物レンズ５ａ、アクチュエータ４ａおよび蛍光顕微鏡３を経由して、試料２０の蛍光像を共焦点スキャナ２ａに入力する。共焦点スキャナ２ａは、試料２０の共焦点画像を得て、光路２３を介してその共焦点画像を高速カメラ１ａに入力する。高速カメラ１ａ、共焦点スキャナ２ａおよび蛍光顕微鏡３は支持台２１に設置されている。

レーザ光源２４は、ファイバ２５を介して共焦点スキャナ２ａに試料２０の共焦点画像を得るための蛍光励起用のレーザ光を供給する。試料２０はマイクロ流路であり、ステージ２６に固定される。ステージ２６はステージ支持部２７に取り付けられている。マイクロ流路内の液体やガスなどは、外部からの加圧または吸引などにより、マイクロ流路内を流れる。この中に蛍光ビーズを入れておき、その共焦点画像を共焦点顕微鏡で取得する。

同期信号制御器１０は、高速カメラ１ａから出力される垂直同期信号を受けて、これを基に各種のトリガ信号を生成する。
波形発生器７ａは、同期信号制御器１０からの走査波形発生トリガ信号を受信すると、あらかじめパーソナルコンピュータ２８（以下ＰＣ２８という）の波形計算部１１から送られ記憶した走査波形を発生して、アクチュエータドライバ１２へ送る。

波形計算部１１は、試料２０を観察する際の対物レンズ５ａの走査周期と光軸方向の走査距離から、ステップ波形（段階的に増加して元のレベルにもどる波形）を計算によって求め、それを走査波形として波形発生器７ａに出力する。
アクチュエータドライバ１２は、波形発生器７ａから出力される走査波形信号に基づいて、アクチュエータ４ａを駆動するための駆動信号を発生する。
このアクチュエータ４ａを介して対物レンズ５ａを光軸方向に走査するための走査波形信号を発生する部分が制御部である。

アクチュエータ４ａは、蛍光顕微鏡３ａの対物レンズレボルバーと対物レンズ５ａとの間に取り付けられ、ピエゾ駆動により走査信号のレベルに比例して画像の焦点方向の長さが変化し、対物レンズ５ａの焦点位置を制御する。つまり、波形発生器７ａの出力波形に従って対物レンズ５ａが光軸方向に走査される。
これにより、試料２０の光軸方向のスライス画像が高速カメラ１ａにより取得される。

また、アクチュエータ４ａには、自身の位置をセンシングする位置センサ（図示せず）が設けられている。この位置センサが位置信号を出力してアクチュエータドライバ１２ａにフィードバックすることにより、アクチュエータ４ａの位置制御が行われる。

ＰＣ２８の画像処理部６ａは、対物レンズ５ａの走査開始に同期して高速カメラ１ａからの画像データが入力され、試料２０の断面スライス像を連続的に取得する。また、ＰＣ２８の画像処理部６ａは高速カメラ１ａから入力された少なくとも２枚の画像データを用いてマイクロＰＩＶ解析を行い、マイクロ流路内の流体の速度を算出する。

ここで、走査波形の補正前の画像取込とアクチュエータの位置制御について説明する。
図２は、走査波形の補正前の画像取込周期とアクチュエータの位置制御の関係を示すタイムチャートである。マイクロＰＩＶを行うために、対物レンズ５ａの走査波形（ｂ）のステップ部（平らな部分）の長さを画像取込周期（垂直同期信号周期）(ａ)の２倍である時間ｔ１にして試料２０のスライス画像を２枚取得する。

しかし、一般的な特性として、通常アクチュエータ４ａは走査波形の信号に対して応答が遅延して図２（ｃ）に示すようにその位置変化は滑らかな階段状になる。図２の破線で区切られた区間（１），区間（２）で示した時間帯は２枚の画像の露光時間（取得時間）を示し、露光している間にアクチュエータ４ａの高さが変化して、結果的に２枚の画像が試料２０の同じ高さで取得されたものではなくなる。

この問題を解決するため、図１に示すように、アクチュエータドライバ１２は、アクチュエータ４ａの位置信号をそのまま出力し、正確なアクチュエータ４ａの位置（対物レンズ５ａの焦点位置）を常にＰＣ２８に送りフィードバックする。ＰＣ２８は、Ａ／Ｄ変換ボード（図示せず）を備え、その位置信号をＡ／Ｄ変換し、高速カメラ１ａが露光（画像取得）している間、アクチュエータの位置が変化しているかどうかをモニタする。

そして、高速カメラ１ａが２回の露光中にアクチュエータの位置変化がなくなる（または予め設定した値以下になる）まで、段階的に変化する走査波形のステップ部（平らな部分）の時間を長くする。なお、ステップ部の長さは、試料２０の同じ高さで２枚の画像が取れるように、必要最小限にし、最適化する。

このような構成の動作を、図３に示す各信号のタイムチャートを参照して説明する。
図３は、図１に記載の３次元共焦点顕微鏡システムで取り扱われる各信号のタイムチャートである。
高速カメラ１ａから、同期信号制御器１０に垂直同期信号（ａ）が送られると、信号制御器１０では、この垂直同期信号を基に共焦点スキャナ２ａへニポウディスクの回転同期制御を行う同期信号を送ると共に、各種トリガ信号すなわち画像取込トリガ信号（ｂ）、走査波形発生トリガ信号（ｄ）を生成する。

同期信号制御器１０では、ＰＣ２８から画像取込開始信号を受信すると、画像取込開始信号がLOWになった後の最初の垂直同期信号に同期した走査波形発生トリガ信号（ｄ）を波形発生器７ａへ送ると共に、垂直同期信号に同期した画像取込トリガ信号（ｂ）を高速カメラ１ａへ送る。波形発生器７ａは走査波形発生トリガ信号（ｄ）に同期して走査波形（ｅ）を出力する。なお、画像取込開始信号は、操作者によりＰＣ２８から任意のタイミングで信号制御器１０に入力する信号であり、そのパルス幅は垂直同期信号の周期の２倍以上である。

高速カメラ１ａは、画像取込トリガ信号（ｂ）を受信した後、画像取込周期（ｃ）に示すように所定の枚数の画像データをカメラ内に取り込みＰＣ２８に出力する。
高速カメラ１ａは、内部メモリに画像データを格納していき、メモリ内が一杯になったら最古のデータ上に最新のデータを上書きしていき、常に画像を取得し続けて垂直同期信号（ａ）を出力している。また、ＰＣ２８からカメラ制御信号により必要な画像の取得枚数が設定されると、画像取り込みトリガ信号が入力されてから設定された枚数までの画像データをＰＣ２８にリアルタイムで送信する。

ＰＣ２８では、アクチェータ４ａの位置信号（ｆ）を常にモニタしているため、例えば、高速カメラ１ａの画像取込周期が１ｍｓで、位置信号のＡ／Ｄ変換周期が０．１ｍｓであれば、Ａ／Ｄデータ１０データ毎に画像データ１枚が取得されたことになり、取得した画像データと位置信号のデータを対応させることができる。

これに基づいて、取り込んだ画像の中にアクチュエータの位置変化のない（または予め設定した値以下になる）少なくとも２枚の画像が存在するように、波形計算部１１を使ってステップ波のステップ部（平らな部分）の時間的長さを長く補正することができる。本実施例の場合では図４に示すようにステップ部(平らな部分)の長さを画像取込周期の４倍にして、ステップ波が変化する際に取得された画像は破棄する。

図４は、走査波形の補正後の画像取込周期とアクチュエータの位置制御の関係を示すタイムチャートである。
図４では、ステップ波のステップ部（平らな部分）の長さを時間ｔ２に延ばした一例を示している。画像取込周期（ａ）は、画像取込トリガ信号が高速カメラ１ａに入力された以後の画像取込周期を示している。

図４に示した破線で区切られた区間（１），区間（２），区間（３），区間（４）は走査波形（ｂ）の１ステップの間に高速カメラ１ａが４回露光（画像取得）することを意味し、その中で区間（２），（３）のアクチュエータの位置信号（ｃ）は常に同じ高さ（または予め設定した値以下の位置変化）にあることを示す。

図１のＰＣ２８は、このようにして得た区間（２）と区間（３）の時の画像は試料の同じ高さのものであると判断し、画像処理部６ａは、この２枚の画像を用いてマイクロＰＩＶ解析を行う。これにより、精度の高いマイクロＰＩＶの結果が得られる。

なお、本発明は、上記実施例に限定されることなく、その本質から逸脱しない範囲で更に多くの変更、変形をも含むものである。

例えば、上述の実施例ではステップ波について説明したが、求められる試料の高さの精度が許容される程度において、三角波を用いてアクチュエータを駆動しても良い。図１において、ＰＣ２８は、アクチュエータ４ａの位置を常にモニタし、高速カメラ１ａが２回の露光中にアクチュエータ４ａの位置変化が予め設定した範囲の移動量以下になるようになだらかなスロープをもった三角状波のデータを波形計算部１１で生成する。
これにより、アクチュエータ４ａの駆動信号（走査波形信号）は、２枚の画像データの取得時に、アクチュエータ４ａの位置の変化が予め設定した範囲になるようなスロープをもった三角状波に補正される。

従って、図４の区間（１）と区間（２）に取得された画像や区間（３）と区間（４）に取得された画像を用いてもＰＩＶを行うことができるため画像を捨てることが無く効率よくマイクロＰＩＶを行うことができる。三角波であるため厳密には常に画像取得時の高さが変化してしまうが、許容される範囲の変化であれば測定時間が短縮できる。

また、アクチュエータから出力される位置信号により、試料の深さ方向の位置が正確に求められるため、スライス画像を合成して正確な３次元画像を作成することができると共にマイクロＰＩＶを試料のどの位置について行っているかが正確に認識できる。

本発明に係る３次元共焦点顕微鏡システムの一実施例を示す構成図である。 補正前の画像取込周期とアクチュエータの位置制御の関係を示すタイムチャートである。 図１の共焦点顕微鏡が取り扱う各信号のタイムチャートである。 補正後の画像取込周期とアクチュエータの位置制御の関係を示すタイムチャートである。 従来の共焦点顕微鏡の一例を示す構成図である。 図５の共焦点顕微鏡が取り扱う各信号のタイムチャートである。

符号の説明

１ａ 高速カメラ
２ａ 共焦点スキャナ
３ａ 蛍光顕微鏡
４ａ アクチュエータ
５ａ 対物レンズ
６ａ 画像処理部
７ａ 波形発生器
１０ 同期信号制御器
１１ 波形計算部
１２ アクチュエータドライバ
２０ 試料
２１ 支持台
２２、２３ 光路
２４ レーザ光源
２５ ファイバ
２６ ステージ
２７ ステージ支持部
２８ パーソナルコンピュータ（ＰＣ）

Claims (2)

1. 顕微鏡を介してマイクロ流路のスライス像を共焦点画像として取得する共焦点スキャナと、
   前記共焦点画像の画像データを出力するビデオカメラと、
   前記顕微鏡の対物レンズの焦点位置を光軸方向に移動するアクチュエータと、
   このアクチュエータを介して前記対物レンズを光軸方向に走査するための走査波形信号を発生する制御部と、
   前記ビデオカメラで取得した少なくとも２枚の画像データに基づき前記マイクロ流路内の流体の速度を算出する画像処理部と、
   を備えた３次元共焦点顕微鏡システムであって、
   前記アクチュエータから出力される位置信号に基づいて、前記対物レンズの同一焦点位置で前記少なくとも２枚の画像データを取得し、
   前記少なくとも２枚の画像データの取得時に、前記アクチュエータの位置の変化が予め設定した範囲を超えたか否かを判断し、その判断結果に基づいて前記走査波形信号を補正する補正手段を有し、
   前記走査波形信号は、ステップ状波形であって、
   前記補正手段は、前記ステップ状波形のステップ部の長さを、画像取込周期の４倍以上に補正し、
   前記画像処理部は、前記ステップ部の１ステップの間に前記ビデオカメラで取得した画像データのうち、最初と最後の前記画像取込周期に取得した画像データを含まない前記少なくとも２枚の画像データに基づき前記マイクロ流路内の流体の速度を算出する、
   ことを特徴とする３次元共焦点顕微鏡システム。
2. 顕微鏡を介してマイクロ流路のスライス像を共焦点画像として取得する共焦点スキャナと、
   前記共焦点画像の画像データを出力するビデオカメラと、
   前記顕微鏡の対物レンズの焦点位置を光軸方向に移動するアクチュエータと、
   このアクチュエータを介して前記対物レンズを光軸方向に走査するための走査波形信号を発生する制御部と、
   前記ビデオカメラで取得した少なくとも２枚の画像データに基づき前記マイクロ流路内の流体の速度を算出する画像処理部と、
   を備えた３次元共焦点顕微鏡システムであって、
   前記アクチュエータから出力される位置信号に基づいて、前記対物レンズの同一焦点位置で前記少なくとも２枚の画像データを取得し、
   前記少なくとも２枚の画像データの取得時に、前記アクチュエータの位置の変化が予め設定した範囲を超えたか否かを判断し、その判断結果に基づいて前記走査波形信号を補正する補正手段を有し、
   前記走査波形信号は、三角状波形であって、
   前記補正手段は、前記少なくとも２枚の画像データの取得時に、前記アクチュエータの位置の変化が予め設定した範囲内になるような、画像取込周期の４倍以上の長さのスロープをもった三角状波になるように補正し、
   前記画像処理部は、前記アクチュエータの位置の変化が予め設定した範囲にある間に前記ビデオカメラで取得した画像データのうち、最初と最後の前記画像取込周期に取得した画像データの少なくともいずれか一方を含む前記少なくとも２枚の画像データに基づき前記マイクロ流路内の流体の速度を算出する、
   ことを特徴とする３次元共焦点顕微鏡システム。

Images