JP4998782B2 - 顕微鏡画像処理装置及び顕微鏡画像処理方法 - Google Patents

Description

本発明は、共焦点顕微鏡による測定対象の蛍光像を色分解する顕微鏡画像処理装置及び顕微鏡画像処理方法に関する。

共焦点顕微鏡は、試料を薄切片にすることなくスライス画像が得られ、そのスライス画像から試料の正確な３次元立体像を構築できるので、生物やバイオテクノロジーなどの分野における生きた細胞の生理反応観察や形態観察あるいは半導体市場におけるＬＳＩの表面観察などに使用されている。

図９はこのような共焦点顕微鏡を用いた顕微鏡画像処理装置の従来例を示す構成説明図である。蛍光顕微鏡２及び、共焦点スキャナ３は共焦点顕微鏡を構成する。蛍光顕微鏡２は、試料からなる測定対象１に特定の波長の光を照射して励起し、励起された試料１から拡大された蛍光像を得る。共焦点スキャナ３は、多数のピンホールを持つニポウディスクと、それに対応するマイクロレンズアレイを有し、蛍光顕微鏡２から蛍光像を入射して測定対象１の共焦点画像を得る。画像分光装置４はカメラ５の前に配置され、搭載されたバンドパスフィルタにより、共焦点スキャナ３から入射された共焦点画像について分光し、色分解を行う。カメラ５は、色分解された共焦点画像を画像信号に変換する。画像処理部６はカメラ５から入力した画像信号に基づいてスライス画像を合成し、高精度な３次元画像を生成する。制御用パソコン７はカメラ５を制御して、対応する３次元画像を表示する。

図９の装置の動作を次に説明する。測定対象１は蛍光顕微鏡２により特定の波長の光を照射されて励起され、励起された試料から出る蛍光像は蛍光顕微鏡２により拡大され、拡大された蛍光像が共焦点スキャナ３に入射する。共焦点スキャナ３から出射された測定対象１の共焦点画像は、画像分光装置４に搭載されたバンドパスフィルタにより分光され、色分解が行われる。色分解された共焦点画像はカメラ５で画像信号に変換され、画像処理部６によりスライス画像が合成され、高精度な３次元画像が生成され、制御用パソコン７の表示部に表示される。

このような顕微鏡画像処理装置の先行技術としては下記のような特許文献が知られている。

特開２００６−０１０９４４号公報

図９装置の画像分光装置４において色分解を行うには、測定対象の色分解に最適なバンドパスフィルタが測定対象毎に必要である。図１０には赤に蛍光を持つ第１の測定対象２１（例えばｍＲＦＰにより染色されたもの）と青緑に蛍光を持つ第２の測定対象２２（例えばＧＦＰにより染色されたもの）の蛍光スペクトルが示されている。この場合、蛍光スペクトルの重なりが少ないので、測定対象２１，２２が同位置に存在して蛍光が混色する場合でも、図１１に示すように赤分解用バンドパスフィルタ（透過域３１）と青緑分解用バンドパスフィルタ（透過域３２）を用いることにより容易に色分解が可能である。

しかし、図１０の場合にさらに加えて黄緑に蛍光を持つ第３の測定対象２３（例えばＹＦＰにより染色されたもの）が単独で存在する場合には、図１２に示すように蛍光スペクトルが重なり合うので、バンドパスフィルタによる色分解は困難となる。これが、分子生物学における実験結果の評価を困難にしていた。

本発明は上記従来技術の課題を解決するためになされたもので、多種類の蛍光試薬で染色された測定対象の色分解を行うことのできる顕微鏡画像処理装置を実現することを目的としている。

このような課題を達成するために、本発明のうち請求項１記載の発明は、
測定試料を観察する顕微鏡と、
前記測定試料を撮影するカラーカメラと、
前記カラーカメラから得られるカラー画像について色度図に基づいて色分解演算を行うときに、前記カラー画像について画素の色度座標を演算し、前記色度座標上で異なる蛍光色の代表値を読み取り、白を中心として一定の回転方向に一巡して隣接する２つの前記代表値の色と前記白とのなす角度の２等分線を演算し、前記２等分線を判別式として前記カラー画像について色分解を行う画像処理部と、
を備えている。

請求項２記載の発明は、
請求項１記載の顕微鏡画像処理装置において、
前記カラー画像を共焦点画像として生成するための共焦点スキャナを備えている。

請求項３記載の発明は、
顕微鏡により観察した測定試料をカラーカメラで撮影して、カラー画像を生成し、
前記カラーカメラから得られるカラー画像について色度図に基づいて色分解演算を行うときに、前記カラー画像について画素の色度座標を演算し、前記色度座標上で異なる蛍光色の代表値を読み取り、白を中心として隣接する２つの前記代表値の色と前記白とのなす角度の２等分線を演算し、前記２等分線を判別式として前記カラー画像について色分解を行っている。

請求項４記載の発明は、
請求項３記載の顕微鏡画像処理方法において、
前記カラー画像は共焦点画像として生成している。

本発明の顕微鏡画像処理装置によれば、顕微鏡と共焦点スキャナからなる共焦点顕微鏡により測定試料の共焦点像をカメラで撮影し、得られる画像を画像処理部で画像処理する顕微鏡画像処理装置において、 前記カメラをカラーカメラで構成し、前記画像処理部は、前記カラーカメラから得られるカラー画像について色度図に基づいて色分解演算を行うことによって、多種類の蛍光試薬で染色された測定対象の色分解を行うことのできる顕微鏡画像処理装置を実現することができる。

以下本発明の実施の形態について図面を用いて詳細に説明する。

図１は本発明の実施の形態に係る顕微鏡画像処理装置の一実施例を示す構成説明図である。図９と同じ部分は同一の記号を付して、重複する説明は省略する。カラーカメラ１５は、共焦点スキャナ３から入射された共焦点画像を画像信号に変換する。カラーカメラ１５としては、市販のデジタルカメラなど、一般的なカラーカメラを用いることができる。画像処理部１６はカラーカメラ１５から入力したカラー画像信号に基づいて色度図により色分解演算を行い、スライス画像を合成し、高精度な３次元画像を生成する。制御用パソコン７はカメラ１５を制御するとともに、対応する３次元画像を表示する。

図１の装置の動作を次に説明する。共焦点スキャナ３から出射された測定対象１の共焦点画像は、カラーカメラ１５でカラー画像信号に変換され、画像処理部１６により色分解演算が行われた後、スライス画像が合成されて高精度な３次元画像が生成され、制御用パソコン７の表示部に表示される。

画像処理装置１６における色分解演算の原理を以下に説明する。下記（１）〜（３）の３種類の蛍光ビーズが同一の視野内に入るように調整した測定対象をデジタルカメラにより測定し（図２）、測定結果を演算してＣＩＥ ＸＹＺ表色系のｘｙ色度図上にプロットすると、図３の色度座標値及び図４の色度図（蛍光色４１〜４３）に示すように、上記単色の３色はすべて異なる色として認識される。
（１）赤の蛍光（蛍光極大６１０ｎｍ）を持ちｍＲＦＰ（蛍光極大６０７ｎｍ） と同様の蛍光を持つ蛍光試薬により染色された蛍光ビーズ
（２）青緑の蛍光（蛍光極大５１０ｎｍ）を持ちＧＦＰ（蛍光極大５１０ｎｍ）と同様の蛍光を持つ蛍光試薬により染色された蛍光ビーズ
（３）黄緑の蛍光（蛍光極大５３０ｎｍ）を持ちＹＦＰ（蛍光極大５２５ｎｍ）と同様の蛍光を持つ蛍光試薬により染色された蛍光ビーズ

さらに、上記の赤の蛍光試薬と青緑蛍光試薬により２重染色された蛍光ビーズについて、励起光強度を変化させることにより赤の蛍光強度を変化させると、図４の色度図（蛍光色４４）及び図５の色度座標値に示すように、どのような混合比においても赤と青緑の混色は黄緑と同じ色として認識されず、識別されることが確認できた。すなわち、赤の蛍光と青緑の蛍光が同位置に存在し混色された蛍光と、黄緑の蛍光との色分解は、バンドパスフィルタによる従来の方法では困難であったが、色度図上の２点が表す２つの色を混ぜた色は、その２点を結ぶ線上の色になるため、色度図上にプロットすることにより、数値的に異なる色として認識分別できる。

図６は画像処理装置１６における色分解演算の手順を示すフローチャートである。

ステップＳ１：まず、共焦点スキャナ３から出射された蛍光像について、カラーカメラ１５で取得した撮影画像の画素の色度座標を計算する。

ステップＳ２：次に明るさがある閾値以下の画素は無視する（黒とする）。

ステップＳ３：次に各蛍光の色度座標の代表値を画像から読み取る。すなわち、各蛍光の色度座標の代表値を決定するため、異なる蛍光（たとえば青緑、黄緑、赤等）であると考えられる領域の画素（１つから任意の個数）を蛍光像から抽出し、抽出した画素でのＲＧＢの輝度を読み取る。

ステップＳ４：次に白を中心として各代表値の蛍光の色を一定の回転方向（たとえば反時計回り）に順番を決める。図７に順番を付けた代表値の一例として、第１の蛍光色（赤）４１，第２の蛍光色（黄緑）４２，第３の蛍光色（青緑）４３を示す。

ステップＳ５：次に、ステップＳ４で番号付けした順序に（すなわち前述の一定の回転方向に）一巡して、隣接する代表値の色と白のなす角度（白点から隣り合う２点を見込む角度）の２等分線を演算する。図８は図７の３つの代表値の場合について２等分線を演算により求めた様子を示す。第１の蛍光色（赤）４１及び第２の蛍光色（黄緑）４２と白２４のなす角度から２等分線５１が求まり、第２の蛍光色（黄緑）４２及び第３の蛍光色（青緑）４３と白２４のなす角度から２等分線５２が求まり、第３の蛍光色（青緑）４３及び第１の蛍光色（赤）４１と白２４のなす角度から２等分線５３が求まる。

ステップＳ６：ステップＳ５で求めた直線を判別式として撮影画像の画素の色分解（色分け）を行う。すなわち、上記の２等分線を隣接する２色の判別式とし、ステップＳ１の色度座標を用いて全画素が第１の蛍光色（赤）４１，第２の蛍光色（黄緑）４２，第３の蛍光色（青緑）４３のいずれの領域に属する色かを判別する。ただし、あらかじめ黒と判別した部分は黒のままとする。

上記のような構成の顕微鏡画像処理装置によれば、一般的なカラーカメラと画像演算により、多種類の蛍光試薬で染色された測定対象からの測定画像を色分解することができる。例えば赤に蛍光を持つ測定対象（たとえばｍＲＦＰにより染色されたもの）と青緑の蛍光を持つ測定対象（たとえばＧＦＰにより染色されたもの）が同位置に存在したときの蛍光の混色と、黄緑の蛍光（たとえばＹＦＰで染色されたもの）との色分解が容易となる。

また、測定対象ごとに専用の高価なバンドパスフィルタを用いる必要がないので、安価に実現することができる。

なお、上記の実施例は代表値が３色の場合を示したが、４色以上の場合にも同様に適用することができる。

また、計数の対象とする画像は共焦点画像に限らず、共焦点スキャナを省略したときの蛍光画像について計数してもよい。

また、カラーカメラとして、同等の画像を得ることのできる分光フィルタと単色カメラを組み合わせ、時分割などによりカラー画像を作成する装置を用いてもよい。

また、本発明は、上記実施例に限定されることなく、その本質から逸脱しない範囲で更に多くの変更、変形を含むものである。

本発明の実施の形態に係る顕微鏡画像処理装置の一実施例を示す構成説明図である。 本発明の顕微鏡画像処理装置のカラーカメラ１５で取得した画像の概念図である。 図２の撮影画像の色度座標値を示す表である。 図２の撮影画像の色度図を示す説明図である。 図２の撮影画像で赤の蛍光強度を変化させたときの色度座標値を示す表である。 画像処理装置１６における色分解演算の手順を示すフローチャートである。 図６のステップＳ４の手順を示す説明図である。 図６のステップＳ５の手順を示す説明図である。 共焦点顕微鏡を用いた顕微鏡画像処理装置の従来例を示す構成説明図である。 測定対象の蛍光スペクトルを示すチャートである。 バンドパスフィルタによる色分解を示すチャートである。 測定対象の蛍光スペクトルが重なり合う場合を示すチャートである。

符号の説明

１ 測定試料
２ 顕微鏡
３ 共焦点スキャナ
１５ カラーカメラ
１６ 画像処理部

Claims (4)

1. 測定試料を観察する顕微鏡と、
   前記測定試料を撮影するカラーカメラと、
   前記カラーカメラから得られるカラー画像について色度図に基づいて色分解演算を行うときに、前記カラー画像について画素の色度座標を演算し、前記色度座標上で異なる蛍光色の代表値を読み取り、白を中心として一定の回転方向に一巡して隣接する２つの前記代表値の色と前記白とのなす角度の２等分線を演算し、前記２等分線を判別式として前記カラー画像について色分解を行う画像処理部と、
   を備えた顕微鏡画像処理装置。
2. 前記カラー画像を共焦点画像として生成するための共焦点スキャナを備えた
   請求項１記載の顕微鏡画像処理装置。
3. 顕微鏡により観察した測定試料をカラーカメラで撮影して、カラー画像を生成し、
   前記カラーカメラから得られるカラー画像について色度図に基づいて色分解演算を行うときに、前記カラー画像について画素の色度座標を演算し、前記色度座標上で異なる蛍光色の代表値を読み取り、白を中心として隣接する２つの前記代表値の色と前記白とのなす角度の２等分線を演算し、前記２等分線を判別式として前記カラー画像について色分解を行う
   顕微鏡画像処理方法。
4. 前記カラー画像を共焦点画像として生成する
   請求項３記載の顕微鏡画像処理方法。

Images