JP5119702B2 - 画像処理方法及び共焦点顕微鏡 - Google Patents

Description

本発明は、画像処理方法及び共焦点顕微鏡に関するものである。

従来の共焦点顕微鏡においては、被観察物から放出された２種類の波長の異なる蛍光により被観察物の撮像を行って２つの画像データを作成し、その後、この画像データを処理して目的とする画像を得ることが行われている。

その例を図４を用いて説明する。図４は、共焦点顕微鏡で取得された従来の複数チャンネルの画像の例である。なお、以下の図において、各画像は実際には色つきのものであるが、出願の制約上色が使えないので、各色に対応する部分を異なった模様で表している。図４左上はチャンネル１として取得された画像である。図４右上はチャンネル２として取得された画像である。これら画像は図４下のように重ね合わせられてコンピュータのモニタ上に表示されている。

この図は細胞の模式図を表しており、チャンネル１で取得される蛍光は、細胞内部全てから発光しており、チャンネル２で取得される蛍光は、細胞の外壁と核とから発光している（図では明瞭ではないが、チャンネル２の最外周の楕円は、チャンネル１の最外周の楕円より大きくこれが外壁の外周を表している。そして、チャンネル２の最外周の楕円のすぐ内側の楕円が外壁の内周、すなわち細胞内部の外周を表しており、これが、チャンネル１の最外周の大きさと一致している）。

チャンネル１には、核を含む細胞内部の蛍光、チャンネル２には、核と外壁の蛍光のデータが取得されており、核のところだけは各チャンネルともデータが存在していることがわかる。よって、チャンネル１とチャンネル２のデータを重ね合わせることにより、図４下に示すように、細胞の核の部分、細胞の核以外の部分、細胞の外壁が、それぞれ別々の色で表示されることになる。

図５はこの重ね合わせた画像を、縦軸をチャンネル１の輝度、横軸をチャンネル２の輝度として２次元頻度分布表示したものである。この場合、チャンネル１が強く光っており、チャンネル２が弱いないしはほとんどない画素は縦軸近傍に沿った位置で表現される。その逆も同様である。チャンネル１及び２が両方とも同程度の輝度で十分の明るさがある画素は、この図の４５度の線近傍上にならんでいる。

図６は、図４に示すような閾値で区切られた領域の各々を色分けをするために、それぞれのチャンネルにおける閾値を２次元頻度分布図上で設定している図である。この例では、チャンネル１の輝度が８０（相対値、以下同じ）未満でチャンネル２が４０未満の部分を黒に、チャンネル１が８０以上でチャンネル２が４０未満の部分を赤に、チャンネル１が８０未満でチャンネル２が４０以上の部分を緑に、チャンネル１が８０以上でチャンネル２が４０以上の部分を青に割り当てている。この色割り当てのデータを用いて、再度取得画像の色を設定しなおす。

図７は、この色割り当てのデータを用いて処理した後の取得画像の例であり、色割り当てデータに対応した色で表示されている（図４下の図と同じである）。このように、前述した核のところだけが青く表示され、核の部分を他の部分と区別して観察することができ、空間的に相関があることが分かる。

従来は、それぞれの相関性を画像処理するこのような方法で両方のチャンネルの蛍光の輝度に相関があるか否か、２次元分布図を用いて色分けし、解析をおこなっていた。

しかしながら、取得される画像において、それぞれのチャンネルの明るさは画像内でほぼ一定ではないことがある。

図８は、このような明るさが均一でない画像のチャンネル１（ＣＨ１）とチャンネル２（ＣＨ２）の画像を重ね合わせた画像の１例である。この場合、右側に行くほど暗くなっている。このような画像が取得された場合、図６に示すような従来の方法を用いて色分けを行うと、図９に示すように、本来は相関があるべき核の内部において、その右側の部分で、チャンネル１のデータが閾値以下となってしまい、相関がないと判断されてしまって、緑に割り当たってしまう。よって、正確な明るさの相関関係が判断できないという問題点が発生する。

本発明はこのような事情に鑑みてなされたもので、取得された画像の輝度に基づいて、表示する色分けをする際、取得された画像データが均一でない場合においても、より正確に輝度に基づいて色分け（色割り）された画像データを得ることができる画像処理方法、及びこの画像処理方法を使用可能な共焦点顕微鏡を提供することを課題とする。

前記課題を解決するための第１の手段は、同じ物体を撮像した２つの画像データを処理する方法であって、ｘ−ｙ直交座標系上での画素（ｘ，ｙ）に対応する、第１の画像データの輝度をＡ（ｘ，ｙ）、第２の画像データの輝度をＢ（ｘ，ｙ）で表すとき、前記輝度Ａ及びＢをそれぞれ軸とする（Ａ，Ｂ）直交座標系において、Ａ（ｘ，ｙ）／Ｂ（ｘ，ｙ）を、原点を通る少なくとも２本の線で３つ以上の範囲に区分し、対応画素（ｘ，ｙ）を各区毎に異なった色で表示し、さらに、前記輝度Ａ及びＢをそれぞれ軸とする（Ａ，Ｂ）直交座標系において、座標の原点を中心とする楕円（円を含む）内にある部分に対応する画素（ｘ，ｙ）を、前記異なった各色とは別の色で表示することを特徴とする画像処理方法である。

前記課題を解決するための第２の手段は、前記第１の手段であって、前記２つの画像データが、共焦点顕微鏡において、物体から放出され２つの波長の蛍光により得られたものであることを特徴とするものである。

前記課題を解決するための第３の手段は、前記第２の手段の画像処理方法が使用可能とされていることを特徴とする共焦点顕微鏡である。

本発明によれば、取得された画像データに明るさ画均一でない場合においても、より正確に輝度に基づいて色分けされた画像データを得ることができる画像処理方法、及びこの画像処理方法を使用可能な共焦点顕微鏡を提供することができる。

以下、本発明の実施の形態の例を、図を用いて説明する。以下の説明において、得られる２つの画像データは、図４左上のチャンネル１（ＣＨ１）のデータ、右上のチャンネル２（ＣＨ２）のデータと同じものとする。

図１は、本発明の実施の形態である画像処理方法において色分けデータを得るために、各チャンネルの輝度の比率を直線で示したグラフで得る方法の原理を示す図である。図４のチャンネル１の輝度データをＡ（ｘ，ｙ）、チャンネル２の輝度データをＢ（ｘ，ｙ）で表す。ただし、（ｘ，ｙ）は、それぞれ、図４に示された画像データの各画素位置をｘ−ｙ直交座標で表したものである。

図１において（ＣＨ１，ＣＨ２）直交座標をとり、｛Ａ（ｘ，ｙ），Ｂ（ｘ，ｙ）｝を、この座標系上にプロットする。そして、原点を通る２本の１次関数を示す直線により、この座標面を３つの領域に区分する。そして、この直線の傾きを変更できるようにする。図１においては、ＣＨ１／ＣＨ２＝４を示す直線と、ＣＨ１／ＣＨ２＝３／７を示す直線を採用している。これにより、Ａ（ｘ，ｙ）／Ｂ（ｘ，ｙ）＞４の領域（Ａ（ｘ，ｙ）／Ｂ（ｘ，ｙ）がこの領域内にある点（ｘ，ｙ）を赤（領域ａ）で示す）、４≧Ａ（ｘ，ｙ）／Ｂ（ｘ，ｙ）≧３／７の領域（Ａ（ｘ，ｙ）／Ｂ（ｘ，ｙ）がこの領域内にある点（ｘ，ｙ）を青（領域ｂ）で示す）、Ａ（ｘ，ｙ）／Ｂ（ｘ，ｙ）＜３／７の領域（Ａ（ｘ，ｙ）／Ｂ（ｘ，ｙ）がこの領域内にある点（ｘ，ｙ）を緑（領域ｃ）で示す）に区分される。

そして、この直線の傾きは、ΔＣＨ１／ΔＣＨ２として表されるので、それぞれの比率を選択可能となる。従って、ＣＨ１とＣＨ２との比率として４：１よりもＣＨ１の比率が大きい領域が赤となり、３：７よりもＣＨ２の比率が大きい領域が緑となり、４：１よりもＣＨ１の比率が小さく、３：７よりもＣＨ２の比率が小さい領域が青で示される。

また、本実施形態の例においては、それぞれの色割り当てを行う際に、チャンネル１及びチャンネル２の明るさが暗い部分を黒として割り当てるために、（ＣＨ１，ＣＨ２）平面の原点付近に、原点を中心とする楕円を設け、｛Ａ（ｘ，ｙ），Ｂ（ｘ，ｙ）｝がこの楕円の外周よりも内側にある部分（明るさが暗い部分）の点（ｘ，ｙ）を黒とすることで、従来の例として図６に示したチャンネル１が８０未満でチャンネル２が４０未満の部分に相当する部分を黒に割り当てたのと同様の効果を得ることができる。

図２に、以上に示した本発明の実施の形態において、色割り当ての処理を行った後の取得画像の例を示す。この実施の形態の方法を採用することで、従来の方法（図９）では消えていた核の右側の部分も、核の色である青として表示されるようになる。

以上の実施の形態においては、色割り当てをするための１次関数を示す直線を２本として説明したが、さらに本数を増やして色の割り当てを増やすことも可能である。

図３は、共焦点顕微鏡の概要を示す図である。異なる波長のレーザ１−１、１−２、１−３から出射された各励起レーザ光は、レーザーミラー２−１、２−２、２−３によって１本の光路上に合成される。次に、ダイクロイックミラー３で反射され、試料６上を二次元に走査するためのスキャナ４に入射する。スキャナ４で走査光に変えられたレーザ光は、対物レンズ５に入射し、顕微鏡筐体７のステージ上に置かれた試料６上に集光される。試料６上に集光されたレーザ光は、試料にあらかじめ含まれている各励起レーザ波長に対応した蛍光色素を励起し、各々の励起光に対応した波長の違う蛍光光が試料から放出される。

蛍光光は、対物レンズ５、スキャナ４を通り、ダイクロイックミラー３に入射する。この例では、ダイクロイックミラー３は、各励起レーザ光波長を反射し、出力された各蛍光波長を透過するミラーであるので、入射された蛍光光は透過して、試料６上で集光されたレーザ光の焦点と共役の位置に配置されたピンホール８に入射する。ピンホール８は、レーザ光の焦点と共役の位置に配置されているため、光軸上の位置として、集光されたレーザ光の焦点位置よりも手前ないしは奥の位置で励起された蛍光光を通さず、焦点位置で励起された蛍光光のみを通す。ピンホール８を通過した蛍光光は、各蛍光波長を分離できるように設定されたダイクロイックミラー９−１、９−２に入射する。

ダイクロイックミラー９−１及び９−２は各蛍光波長を分離し、分離された蛍光光は、それぞれに対応した光電子増倍管１０−１、１０―２、１０―３に入射する。光電子増倍管１０−１、１０―２、１０―３は、光信号を電気信号に変換し、各々の電気信号をコンピュータ１１に送信する。コンピュータ１１は、受信した各々の電気信号をアナログ―デジタル変換し、各データを分離したチャンネルのデジタルデータにする。このデジタルデータを、スキャナ４の走査に同期して二次元に配置することで、コンピュータ１１内に焦点位置のみの情報を持った、各蛍光波長が分離された複数チャンネルの画像データを取得することができる。

この共焦点顕微鏡は３チャンネルのものであるが、このうち２チャンネルで形成された画像データを使用して、前述の本発明の実施の形態である画像処理を行い、目的とする画像を形成する。すなわち、この蛍光顕微鏡のコンピュータ１１は、前述の本発明の実施の形態である画像処理を行って、その結果得られた色画像を、表示装置に表示する機能を有している。

本発明の実施の形態である画像処理方法において色分けデータを得るために、各チャンネルの輝度の比率を直線で示したグラフを得る方法の原理を示す図である。 本発明の実施の形態において、色割り当ての処理を行った後の取得画像の例を示す図である。 共焦点顕微鏡の概要を示す図である。 従来の画像処理方法を説明するための図である。 画像を、縦軸をチャンネル１の輝度、横軸をチャンネル２の輝度として２次元頻度分布を表示した図である。 従来の色分け画像処理を行う方法を説明するための図である。 従来の色割り当てのデータを用いて処理した後の取得画像の例を示す図である。 明るさが均一でない画像の１例を示す図である。 従来の方法で明るさが均一でない画像を処理したときの不具合を示す図である。

符号の説明

１−１，１−２，１−３…レーザ、２−１，２−２，２−３…レーザーミラー、３…ダイクロイックミラー、４…スキャナ、５…対物レンズ、６…試料、７…顕微鏡筐体、８…ピンホール、９−１，９−２…ダイクロイックミラー、１０−１、１０―２、１０―３…電子増倍管、１１…コンピュータ

Claims (3)

1. 同じ物体を撮像した２つの画像データを処理する方法であって、ｘ−ｙ直交座標系上での画素（ｘ，ｙ）に対応する、第１の画像データの輝度をＡ（ｘ，ｙ）、第２の画像データの輝度をＢ（ｘ，ｙ）で表すとき、前記輝度Ａ及びＢをそれぞれ軸とする（Ａ，Ｂ）直交座標系において、Ａ（ｘ，ｙ）／Ｂ（ｘ，ｙ）を、原点を通る少なくとも２本の線で３つ以上の範囲に区分し、対応画素（ｘ，ｙ）を各区毎に異なった色で表示し、さらに、前記輝度Ａ及びＢをそれぞれ軸とする（Ａ，Ｂ）直交座標系において、座標の原点を中心とする楕円（円を含む）内にある部分に対応する画素（ｘ，ｙ）を、前記異なった各色とは別の色で表示することを特徴とする画像処理方法。
2. 請求項１に記載の画像処理方法であって、前記２つの画像データが、共焦点顕微鏡において、物体から放出され２つの波長の蛍光により得られたものであることを特徴とする画像処理方法。
3. 請求項２に記載の画像処理方法が使用可能とされていることを特徴とする共焦点顕微鏡。