JP6772529B2 - 画像処理方法、画像処理装置、プログラム - Google Patents

Description

本発明は、画像処理方法、画像処理装置及びプログラムに関する。

近年、患者の血液等の体液（試料）に含まれるバイオマーカー（例えばＤＮＡ、ＲＮＡなどの核酸、タンパク質など）を検出することで、がんやアルツハイマー、その他の遺伝子疾患などの病気や細菌などによる感染症などを診断する方法（リキッドバイオプシー）が注目されている。

バイオマーカーを測定する方法としては、デジタルＥＬＩＳＡ、デジタルＰＣＲ、デジタルインベーダーなどのように、デジタルカウント法を用いたバイオマーカーの定量方法がある。デジタルカウント法とは、バイオマーカーを含む試料を基板に形成された多数の微細（例えば数μｍサイズ）なウェルに分けて入れ、バイオマーカーが入っているウェルを数えることで、バイオマーカーの濃度を調べる手法である。

デジタルカウント法には、試料に含まれるバイオマーカー等の検出対象を蛍光物質で標識しておき、多数のウェルに収容された試料に励起光を照射することで、蛍光を発するバイオマーカーの数（バイオマーカーが入っているウェルの数）を数える方法がある。

バイオマーカーの数を効率よく数えるためには、試料に励起光を照射した様子をＣＣＤ素子等の撮影装置で撮影する（例えば特許文献１参照）。そして、撮影された画像に現れた蛍光部分の数を、画像処理装置において自動的に数えることが考えられている。

特開２００２−２５７７３０号公報

しかしながら、撮影装置で得られる画像には、ノイズ（例えば電気的なノイズ、基板の自家蛍光に基づくノイズ）が含まれていることがある。この場合、画像処理装置において、ノイズを蛍光部分として誤って数えてしまう可能性があり、好ましくない。
特に、検出対象を示す蛍光が弱い場合には、撮影装置において感度（例えばＩＳＯ感度）を高めたり、露光時間を長くしたりする必要がある。この場合、撮影された画像にノイズが含まれやすく、ノイズを蛍光部分として誤って数えてしまう可能性が高くなる。

本発明は、上述した事情に鑑みたものであって、画像に含まれるノイズを効率よく除去し、画像に現れる複数の蛍光部分をより正確に数えることが可能な画像処理方法、画像処理装置及びプログラムを提供することを目的とする。

本発明の第一態様は、蛍光を発する複数の蛍光部分を含む撮影対象をカラーで撮影した測定画像を取得する画像取得ステップと、前記測定画像の各測定画素における３原色の明度値の比率が、前記蛍光部分に対応するカラーの参照画素における３原色の明度値の比率と同等であるかを判定する色判定ステップと、前記色判定処理の後に、前記色判定処理において前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等であると判定された前記測定画素の輝度値が、前記参照画素の輝度値に対して所定範囲内にあるかを判定する輝度判定処理と、前記色判定ステップにおいて前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等であると判定された場合に、前記測定画素を、前記蛍光部分に対応する蛍光対応画素とする蛍光画素設定ステップと、前記色判定ステップにおいて前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等でないと判定された場合に、前記測定画素を、前記蛍光部分に対応しない非対応画素とする非蛍光画素設定ステップと、を備える画像処理方法である。
この方法では、前記色判定ステップにおいて前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等であると判定され、かつ、前記輝度判定ステップにおいて前記測定画素の輝度値が前記参照画素の輝度値に対して所定範囲内にあると判定された場合に、前記蛍光画素設定ステップにおいて前記測定画素を前記蛍光対応画素とし、前記色判定ステップにおいて前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等でないと判定された場合、又は、前記輝度判定ステップにおいて前記測定画素の前記測定画素の輝度値が前記参照画素の輝度値に対して所定範囲内にないと判定された場合に、前記非蛍光画素設定ステップにおいて前記測定画素を前記非対応画素とする。

前記画像処理方法は、前記測定画像の全ての前記測定画素に対して前記蛍光画素設定ステップ及び前記非蛍光画素設定ステップを実施した後に、前記蛍光対応画素が所定数以上集まっているか否かを判定する集合判定ステップと、前記集合判定ステップにおいて前記蛍光対応画素が所定数以上集まっていると判定された場合に、集まっている複数の前記蛍光対応画素を、前記蛍光部分に相当する蛍光対応領域として設定する対応領域設定ステップと、前記集合判定ステップにおいて前記蛍光対応画素が所定数以上集まっていないと判定された場合に、集合している複数の前記蛍光対応画素又は１つの前記蛍光対応画素を、前記蛍光部分に相当しない非対応領域として設定する非対応領域設定ステップと、を備えてもよい。

前記画像取得ステップは、第一波長の蛍光を発する第一蛍光部分を含む撮影対象をカラーで撮影した第一測定画像を取得する第一画像取得ステップと、前記第一波長と異なる第二波長の蛍光を発する第二蛍光部分を含む撮影対象をカラーで撮影した第二測定画像を取得する第二画像取得ステップと、を含み、前記第一測定画像及び前記第二測定画像に対し、それぞれ前記色判定ステップ、前記蛍光画素設定ステップ、前記非蛍光画素設定ステップを実施してもよい。

本発明の第二態様は、蛍光を発する複数の蛍光部分を含む撮影対象をカラーで撮影した測定画像を取得する画像取得処理と、前記測定画像の各測定画素における３原色の明度値の比率が、前記蛍光部分に対応するカラーの参照画素における３原色の明度値の比率と同等であるかを判定する色判定処理と、前記色判定処理の後に、前記色判定処理において前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等であると判定された前記測定画素の輝度値が、前記参照画素の輝度値に対して所定範囲内にあるかを判定する輝度判定処理と、前記色判定処理において前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等であると判定された場合に、前記測定画素を、前記蛍光部分に対応する蛍光対応画素とする蛍光画素設定処理と、前記色判定処理において前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等でないと判定された場合に、前記測定画素を、前記蛍光部分に対応しない非対応画素とする非蛍光画素設定処理と、を実行する制御部を備える画像処理装置である。
制御部は、前記色判定処理において前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等であると判定され、かつ、前記輝度判定処理において前記測定画素の輝度値が前記参照画素の輝度値に対して所定範囲内にあると判定された場合に、前記蛍光画素設定処理において前記測定画素を前記蛍光対応画素とし、前記色判定処理において前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等でないと判定された場合、又は、前記輝度判定処理において前記測定画素の前記測定画素の輝度値が前記参照画素の輝度値に対して所定範囲内にないと判定された場合に、前記非蛍光画素設定処理において前記測定画素を前記非対応画素とする。

本発明の第三態様は、蛍光を発する複数の蛍光部分を含む撮影対象をカラーで撮影した測定画像を取得する画像取得工程と、前記測定画像の各測定画素における３原色の明度値の比率が、前記蛍光部分に対応するカラーの参照画素における３原色の明度値の比率と同等であるかを判定する色判定工程と、前記色判定工程の後に、前記色判定工程において前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等であると判定された前記測定画素の輝度値が、前記参照画素の輝度値に対して所定範囲内にあるかを判定する輝度判定工程と、前記色判定工程において前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等であると判定された場合に、前記測定画素を、前記蛍光部分に対応する蛍光対応画素とする蛍光画素設定工程と、前記色判定工程において前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等でないと判定された場合に、前記測定画素を、前記蛍光部分に対応しない非対応画素とする非蛍光画素設定工程と、をコンピュータに実行させるプログラムである。
このプログラムは、前記色判定工程において前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等であると判定され、かつ、前記輝度判定工程において前記測定画素の輝度値が前記参照画素の輝度値に対して所定範囲内にあると判定された場合に、前記蛍光画素設定処理において前記測定画素を前記蛍光対応画素とし、前記色判定工程において前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等でないと判定された場合、又は、前記輝度判定工程において前記測定画素の前記測定画素の輝度値が前記参照画素の輝度値に対して所定範囲内にないと判定された場合に、前記非蛍光画素設定処理において前記測定画素を前記非対応画素とする処理を前記コンピュータに実行させる。

本発明によれば、測定画像に含まれるノイズを効率よく除去することができるため、複数の蛍光部分を正しく数えることができる。

本発明の一実施形態に係る画像処理装置を含む画素抽出システムの構成例を示すブロック図である。 本発明の一実施形態に係る画像処理方法を示すフローチャートである。 本発明の一実施形態に係る画像処理方法における撮影対象の一例を示す模式図である。 図３の撮影対象において一部のウェルが蛍光で光っている様子を示す模式図である。 図４の撮影対象を撮影した測定画像の一例を示す模式図である。 図５の測定画像に対して本発明の一実施形態に係る画像処理方法を実施した後の抽出画像の一例を示す模式図である。

本発明の一実施形態について、図１から図６を参照して説明する。

〔画像処理方法〕
はじめに、本実施形態に係る画像処理方法について、図２から図６を参照して説明する。画像処理方法は、例えば後述する画像処理装置１０１の制御部１０４（図１参照）によって実行されてもよいが、これに限ることはない。

図２に示すように、本実施形態の画像処理方法では、はじめに、蛍光を発する複数の蛍光部分を含む撮影対象をカラーで撮影した測定画像を取得する（画像取得ステップＳ１０１）。

本実施形態における撮影対象は、図３に例示するように、基板１０に形成された多数の微細なウェル２０（例えば直径５μｍのウェル２０）に、蛍光物質で標識されたバイオマーカー等の検出対象を含む試料を分けて入れたものである。蛍光物質は、検出対象と反応することで所定波長の励起光が照射された際に所定波長の蛍光（所定の色の蛍光）を発する。本実施形態において、試料はウェル２０に入り込むことが可能な多数の粒子３０を含んでおり、検出対象は粒子３０に結合されている。

図３に例示する基板１０に所定波長の励起光を照射すると、粒子３０に付着し検出対象と反応した蛍光物質が所定の色の蛍光を発することで、例えば図４に示すように、蛍光物質が付着している粒子３０を収容したウェル２０全体が蛍光物質の蛍光によって所定の色で光る。本実施形態における撮影対象の蛍光部分は、蛍光物質の蛍光によって所定の色で光るウェル２０（発光ウェル２１，２２）である。

図４に例示するように、発光ウェル２１，２２には、色味及び明るさにムラが無い第一発光ウェル２１や、色味にムラが無いものの明るさにムラがある第二発光ウェル２２がある。第二発光ウェル２２のような明るさのムラは、例えば図３に示すように、蛍光を発する蛍光物質（蛍光物質が付着した粒子３０）がウェル２０内において偏って位置することで発生することがある。
図４においては、第二発光ウェル２２における明るさのムラを、色味が同じであるが明るさが異なる二つの蛍光領域２４，２５で模式的に示している。第一蛍光領域２４は、ムラの無い第一発光ウェル２１と同じ明るさで光っている領域である。第二蛍光領域２５は、第一蛍光領域２４と同じ色味を有するが、第一蛍光領域２４よりも若干暗い明るさで光っている領域である。

本実施形態では、画像取得ステップＳ１０１において取得される測定画像が、カラーカメラを用いて撮影された１枚のカラー画像である。

図５は、図４に例示した撮影対象を画像取得ステップＳ１０１において取得した測定画像の一例である。図５において、縦横に配列された多数の四角形は、それぞれ測定画像の測定画素を示している。図５の測定画像においては、ドットの密度で各測定画素における明るさを示し、ドットの密度が高いほど明るいことを示している。ドットが無い測定画素は、測定画像のうち最も暗い画素となっている。

図５において、符号３１，３２，３３，３４で示す測定画素は、いずれも発光ウェル２１，２２（蛍光部分）の蛍光を捉えた蛍光画素である。各蛍光画素３１，３２，３３，３４の色味は、いずれも発光ウェル２１，２２の蛍光の色味に対応している。また、蛍光画素３１，３２，３３，３４のうち発光ウェル２１，２２の周縁の内側に位置する蛍光画素３１，３２，３３には、第一発光ウェル２１や第二発光ウェル２２の第一蛍光領域２４の明るさに対応する第一蛍光画素３１、第二発光ウェル２２の第二蛍光領域２５の明るさに対応する第二蛍光画素３２、第二発光ウェル２２の第一、第二蛍光領域２４，２５の中間の明るさに対応する第三蛍光画素３３がある。

図５において、符号３５で示す測定画素は、電気的なノイズが現れている画素（ノイズ画素３５）であり、例えば測定画像において最も明るい。ノイズ画素３５の色味は、前述の蛍光画素３１，３２，３３，３４の色味と異なることが多いが、稀に蛍光画素３１，３２，３３，３４の色味と類似する又は同じとなる場合もある。
本実施形態の画像処理方法では、測定画像から主に上記した電気的なノイズを除去するために、測定画像に対し、後述する色判定ステップＳ１０３、輝度判定ステップＳ１０４、集合判定ステップＳ１０８を行う。

上記画像取得ステップＳ１０１の後には、測定画像の各測定画素における３原色（ＲＧＢ）成分の３つの明度値（以下、「３原色の明度値」と呼ぶ）の比率が、参照画素における３原色の明度値の比率と同等であるかを判定する（色判定ステップＳ１０３）。

参照画素は、正しく蛍光を発している蛍光部分を測定画像の場合と同様の条件で撮影した画像において、蛍光部分に対応し、かつ、目視によってノイズが含まれていないことが確認されたカラーの画素である。参照画素には、３原色の明度値のデータが含まれている。また、参照画素には、予め３原色の明度値のデータに基づいて算出された輝度値のデータが含まれてもよい。

参照画素は、例えば、目視によってノイズが含まれていないことが確認された複数のカラー画素のデータを平均化したものであってもよいし、例えば、目視によってノイズが含まれていないことが確認された一つのカラー画素であってもよい。
参照画素は、例えば前述した画像取得ステップＳ１０１の前に、正しく蛍光を発している蛍光部分を含む参照対象を、測定画像の場合と同様の条件で撮影した参照画像から取得してもよい。また、参照画素は、例えば撮影対象に正しく蛍光を発している蛍光部分を撮影対象に設けておくことで、画像取得ステップＳ１０１において測定画像に含まれるように取得してもよい。

色判定ステップＳ１０３を行う際には、例えば、事前に測定画像を３原色の画像（Ｒ画像、Ｇ画像、Ｂ画像）に分けておいてもよいし、例えば、各測定画素に対して色判定ステップＳ１０３を行う前に、対象の測定画素だけを３原色に分けてもよい。

そして、色判定ステップＳ１０３において、測定画素における３原色の明度値の比率と、参照画素における３原色の明度値の比率との比較は、例えば以下のように行うことができる。
はじめに、測定画素の３原色のうち選択された一原色の明度値が、参照画素のうち測定画素と同じ一原色の明度値と同じ値となるように、測定画素の３原色の明度値に対して同一の所定係数を掛ける。その後、測定画素において所定係数を掛けた一原色以外の２つの原色の明度値について、参照画素における一原色以外の２つの原色の明度値と比較する。

この点について、より具体的に説明する。例えば、測定画素における３原色の明度値Ｒｍｃ、Ｇｍｃ、Ｂｍｃのうち緑色の明度値Ｇｍｃが、参照画素における３原色の明度値Ｒｒｃ、Ｇｒｃ、Ｂｒｃのうち緑色の明度値Ｇｒｃと同じ値となるように、測定画素の３原色の明度値Ｒｍｃ、Ｇｍｃ、Ｂｍｃに対して、所定係数ａ＝Ｇｒｃ／Ｇｍｃを掛ける。その後、測定画素において所定係数ａを掛けた赤色及び青色の明度値ａ×Ｒｍｃ、ａ×Ｂｍｃを、参照画素における赤色及び青色の明度値Ｒｒｃ、Ｂｒｃと比較する。

色判定ステップＳ１０３では、測定画素において所定係数を掛けた一原色以外の２つの原色の明度値が、いずれも参照画素における一原色以外の２つの原色の明度値に対し、所定範囲内にある場合に、同等であると判定する。
また、色判定ステップＳ１０３では、測定画素において所定係数を掛けた一原色以外の２つの原色の明度値の少なくとも一方が、参照画素における一原色以外の２つの原色の明度値に対し、所定範囲内に無い場合に、同等ではないと判定する。

上記の「所定範囲」は、例えば、測定画素において所定係数を掛けた一原色以外の２つの原色の明度値と、参照画素における一原色以外の２つの原色の明度値との差分の範囲である。差分の範囲は、例えば３原色の各成分（各色）の明度値の階調が２５６段階（０〜２５５）である場合に、一原色以外の２つの原色の明度値について、それぞれ０以上２００以下とすることができる。
差分が「０」であることは、差分が無いことを意味する。すなわち、差分を「０」とした場合、色判定ステップＳ１０３では、測定画素において所定係数を掛けた一原色以外の２つの原色の明度値が、参照画素における一原色以外の２つの原色の明度値と、同一であるか否かを判定する。

上記の色判定ステップＳ１０３において、測定画素における３原色の明度値の比率が、参照画素における３原色の明度値の比率と同等ではないと判定された場合には、該当する測定画素を、撮影対象の蛍光部分に対応しない非対応画素とする（非蛍光画素設定ステップＳ１０６）。非蛍光画素設定ステップＳ１０６では、例えば非対応画素に数値「０」を対応付けることで、該当する測定画素が撮影対象の蛍光部分に対応しないことを示す。

上記の色判定ステップＳ１０３において、測定画素における３原色の明度値の比率が、参照画素における３原色の明度値の比率と同等であると判定された場合には、該当する測定画素の輝度値が、参照画素の輝度値に対して所定範囲内にあるかを判定する（輝度判定ステップＳ１０４）。

輝度判定ステップＳ１０４では、はじめに、測定画素における３原色の明度値を以下の式に当てはめて、測定画素の輝度値を算出する。
（輝度値）＝０．２９９×Ｒｍｃ＋０．５８７×Ｇｍｃ＋０．１１４×Ｂｍｃ
Ｒｍｃ：測定画素における赤色の明度値
Ｇｍｃ：測定画素における緑色の明度値
Ｂｍｃ：測定画素における青色の明度値
参照画素の輝度値は、測定画素の場合と同様に算出される。参照画素の輝度値は、例えば輝度判定ステップＳ１０４において算出されてもよいし、例えば画像処理方法を実施する前に算出されてもよい。

輝度判定ステップＳ１０４における「所定範囲」は、例えば、測定画素の輝度値と、参照画素の輝度値との差分の範囲である。差分は例えば「０」であってもよい。この場合、輝度判定ステップＳ１０４では、測定画素の輝度値が参照画素の輝度値と同一であるか否かを判定する。
また、上記「所定範囲」は、例えばウェル２０に収容された粒子３０が励起光によって発光するときにとり得る輝度の範囲に基づいて適宜設定されてよい。

上記の輝度判定ステップＳ１０４において、測定画素の輝度値が参照画素の輝度値に対して所定範囲内にないと判定された場合には、前述した非蛍光画素設定ステップＳ１０６において、該当する測定画素を、撮影対象の蛍光部分に対応しない非対応画素とする。

上記の輝度判定ステップＳ１０４において、測定画素の輝度値が参照画素の輝度値に対して所定範囲内にあると判定された場合には、該当する測定画素を、撮影対象の蛍光部分に対応する蛍光対応画素とする（蛍光画素設定ステップＳ１０５）。蛍光画素設定ステップＳ１０５では、例えば蛍光対応画素に数値「１」を対応付けることで、該当する測定画素が撮影対象の蛍光部分に対応することを示す。

本実施形態では、前述した色判定ステップＳ１０３や輝度判定ステップＳ１０４を行う前に、測定画像から１つの測定画素を選択する（画素選択ステップＳ１０２）。
また、選択された測定画素について、色判定ステップＳ１０３、輝度判定ステップＳ１０４、蛍光画素設定ステップＳ１０５、非蛍光画素設定ステップＳ１０６を適宜実施した後には、測定画像の全ての測定画素を「蛍光対応画素」、「非対応画素」の何れかに選別したか判定する（選別完了判定ステップＳ１０７）。

選別完了判定ステップＳ１０７において、一部の測定画素が選別されていないと判定された場合には、画素選択ステップＳ１０２に戻り、色判定ステップＳ１０３、輝度判定ステップＳ１０４、蛍光画素設定ステップＳ１０５、非蛍光画素設定ステップＳ１０６を適宜実施する。
選別完了判定ステップＳ１０７において、全ての測定画素が選別されたと判定された場合には、画素選択ステップＳ１０２に戻らず、以下の集合判定ステップＳ１０８に進む。

測定画像の全ての測定画素を「蛍光対応画素」、「非対応画素」の何れかに選別した後には、蛍光対応画素が所定数以上集まっているか否かを判定する（集合判定ステップＳ１０８）。
集合判定ステップＳ１０８における所定数は、例えば撮影対象の蛍光部分の領域に含まれる測定画像の画素数とすることができる。図５に例示するように、蛍光部分である発光ウェル２１，２２に対応する測定画像の画素（第一、第二、第三蛍光画素３１，３２，３３）の数が４つである場合、上記した所定数は、例えば２つ以上４つ以下とすることができ、例えば３つとしてもよい。

また、集合判定ステップＳ１０８において、蛍光対応画素が集まっているとは、２つ以上の蛍光対応画素同士が隣り合っていることを意味する。例えば、上記した所定数が３つ以上である場合、一の蛍光対応画素が他の蛍光対応画素と２つ以上隣接していることを意味する。また、所定数が３つ以上である場合には、例えば複数の蛍光対応画素が一方向に隣り合って並んでいてもよいが、例えば２つの蛍光対応画素が同一の蛍光対応画素に対して異なる方向に隣り合って並んでいてもよい。

集合判定ステップＳ１０８において蛍光対応画素が所定数以上集まっていると判定された場合には、集まっている複数の蛍光対応画素を、蛍光部分に相当する蛍光対応領域として設定する（対応領域設定ステップＳ１０９）。対応領域設定ステップＳ１０９においては、例えば蛍光対応領域を構成する蛍光対応画素に数値「１」を対応付けることで、該当する蛍光対応画素が撮影対象の蛍光部分に対応することを示す。

集合判定ステップＳ１０８において蛍光対応画素が所定数以上集まっていないと判定された場合に、集合している複数の蛍光対応画素又は１つの蛍光対応画素を、撮影対象の蛍光部分に相当しない非対応領域として設定する（非対応領域設定ステップＳ１１０）。非対応領域設定ステップＳ１１０においては、例えば非対応領域を構成する蛍光対応画素に数値「０」を対応付けることで、該当する蛍光対応画素が撮影対象の蛍光部分に対応しないことを示す。
以上により、本実施形態に係る画像処理方法が完了する。

上記した画像処理方法を図５に示す測定画像に対して実施した場合には、図６に示すように、測定画像から撮影対象の複数の蛍光部分（発光ウェル２１，２２）に相当する複数の蛍光対応領域４１のみを含む抽出画像を得ることができる。図６において、蛍光対応領域４１を構成する蛍光対応画素４２は、図５における第一蛍光画素３１や第三蛍光画素３３に対応している。

〔画像処理装置〕
次に、本実施形態に係る画像処理装置１０１について説明する。
図１に示すように、本実施形態に係る画像処理装置１０１は、蛍光を発する複数の蛍光部分を含む撮影対象をカラーで撮影して測定画像を取得し、測定画像から蛍光部分に対応する画素を抽出する画素抽出システム１００に含まれている。画素抽出システム１００は、画像処理装置１０１の他に、照射装置１０２と、撮影装置１０３と、を備える。

照射装置１０２は、撮影対象に向けて励起光を照射する。励起光は、撮影対象の蛍光部分が蛍光を発するように励起する光である。照射装置１０２は、例えば１つの波長の励起光だけを出射するように構成されてもよいし、複数の異なる波長の励起光を選択的に出射するように構成されてもよい。照射装置１０２は、一つの光源によって構成されてもよいし、波長の異なる励起光を出射する複数の光源によって構成されてもよい。

撮影装置１０３は、照射装置１０２によって蛍光部分が発光した状態で撮影対象をカラーで撮影する。撮影装置１０３は、ＣＣＤ素子等の撮像素子を備えたカメラを含む。
カメラは、例えば近年の携帯端末等に備えるカメラのようにカラーで撮影するカラーカメラである。
撮影装置１０３は、撮影対象を拡大した状態で撮影するための顕微鏡（例えば蛍光顕微鏡）を含んでもよい。

画像処理装置１０１は、制御部１０４と、記憶部１０５と、を備える。
記憶部１０５は、制御部１０４が実行する各種処理に用いる各種データや、制御部１０４が実行した各種処理によって得られたデータを記憶する。
制御部１０４は、前述した画像処理方法の各種ステップに対応する各種処理を実行する。以下、制御部１０４が実行する各種処理について説明する。

制御部１０４は、撮影装置１０３において撮影対象をカラーで撮影した測定画像を取得する画像取得処理を実行する。画像取得処理は、画像処理方法の画像取得ステップＳ１０１に対応する。画像取得処理において、制御部１０４は取得した測定画像のデータ（特に３原色の明度値のデータ）を記憶部１０５に記憶させる。

制御部１０４は、画像取得処理の後に、測定画像の各測定画素における３原色（ＲＧＢ）の明度値の比率が、参照画素における３原色の明度値の比率と同等であるかを判定する色判定処理を実行する。色判定処理は、画像処理方法の色判定ステップＳ１０３に対応する。
色判定処理に用いる参照画素のデータ（特に３原色の明度値のデータ）は、例えば予め記憶部１０５に記憶されていてもよい。この場合、制御部１０４は、色判定処理において参照画素のデータを記憶部１０５から読み出す。
また、参照画素のデータは、例えば正しく蛍光を発している蛍光部分を撮影対象に設けることで画像取得処理において測定画像と同時に取得されたものであってもよい。この場合、制御部１０４は、色判定処理において測定画像に含まれる参照画素のデータを記憶部１０５から読み出す。

制御部１０４は、上記の色判定処理において、測定画素における３原色の明度値の比率が、参照画素における３原色の明度値の比率と同等ではないと判定した場合に、該当する測定画素を、撮影対象の蛍光部分に対応しない非対応画素とする非蛍光画素設定処理を実行する。非蛍光画素設定処理は、画像処理方法の非蛍光画素設定ステップＳ１０６に対応する。非蛍光画素設定処理において、制御部１０４は、例えば非対応画素を数値「０」に対応付けたデータを記憶部１０５に記憶させる。

制御部１０４は、上記の色判定処理において、測定画素における３原色の明度値の比率が、参照画素における３原色の明度値の比率と同等であると判定した場合に、該当する測定画素の輝度値が、参照画素の輝度値に対して所定範囲内にあるかを判定する輝度判定処理を実行する。輝度判定処理は、画像処理方法の輝度判定ステップＳ１０４に対応する。輝度判定処理において、制御部１０４は、例えば、記憶部１０５に記憶された測定画素や参照画素における３原色の明度値のデータに基づいて、測定画素や参照画素の輝度値を算出してもよい。

制御部１０４は、輝度判定処理において、測定画素の輝度値が参照画素の輝度値に対して所定範囲内にないと判定した場合に、該当する測定画素に対して前述の非蛍光画素設定処理を実行する。

制御部１０４は、輝度判定処理において、測定画素の輝度値が参照画素の輝度値に対して所定範囲内にあると判定した場合に、該当する測定画素を、撮影対象の蛍光部分に対応する蛍光対応画素とする蛍光画素設定処理を実行する。蛍光画素設定処理は、画像処理方法の蛍光画素設定ステップＳ１０５に対応する。蛍光画素設定処理において、制御部１０４は、例えば蛍光対応画素を数値「１」に対応付けたデータを記憶部１０５に記憶させる。

本実施形態の制御部１０４は、前述した色判定処理や輝度判定処理を行う前に、測定画像から１つの測定画素を選択する画素選択処理を実行する。画素選択処理は、画像処理方法の画素選択ステップＳ１０２に対応する。
また、本実施形態の制御部１０４は、画素選択処理において選択された測定画素について、色判定処理、輝度判定処理、蛍光画素設定処理、非蛍光画素設定処理を適宜実施した後に、測定画像の全ての測定画素を「蛍光対応画素」、「非対応画素」の何れかに選別したか判定する選別完了判定処理を実行する。選別完了判定処理は、画像処理方法の選別完了判定ステップＳ１０７に対応する。

制御部１０４は、選別完了判定処理において一部の測定画素が選別されていないと判定した場合に、画素選択処理に戻り、色判定処理、輝度判定処理、蛍光画素設定処理、非蛍光画素設定処理を適宜実行する。
制御部１０４は、選別完了判定処理において全ての測定画素が選別されたと判定した場合に、測定画像のデータに基づいて「蛍光対応画素」及び「非対応画素」のみを含む情報画像を作成して記憶部１０５に記憶させ、以下の集合判定処理を実行する。

制御部１０４は、測定画像の全ての測定画素を「蛍光対応画素」、「非対応画素」の何れかに選別した後に、蛍光対応画素が所定数以上集まっているか否かを判定する集合判定ステップＳ１０８を実行する。集合判定処理は、画像処理方法の集合判定ステップＳ１０８に対応する。集合判定処理において、制御部１０４は記憶部１０５から情報画像に含まれる蛍光対応画素のデータを読み出す。

制御部１０４は、集合判定処理において蛍光対応画素が所定数以上集まっていると判定した場合に、集まっている複数の蛍光対応画素を、撮影対象の蛍光部分に相当する蛍光対応領域として設定する対応領域設定処理を実行する。対応領域設定処理は、画像処理方法の対応領域設定ステップＳ１０９に対応する。対応領域設定処理において、制御部１０４は、例えば蛍光対応領域を構成する蛍光対応画素を数値「１」に対応付けたデータを記憶部１０５に記憶させる。

制御部１０４は、集合判定処理において蛍光対応画素が所定数以上集まっていないと判定した場合に、集合している複数の蛍光対応画素又は１つの蛍光対応画素を、撮影対象の蛍光部分に相当しない非対応領域として設定する非対応領域設定処理を実行する。非対応領域設定処理は、画像処理方法の非対応領域設定ステップＳ１１０に対応する。非対応領域設定処理において、制御部１０４は、例えば非対応領域を構成する蛍光対応画素を数値「０」に対応付けたデータを記憶部１０５に記憶させる。

制御部１０４が上記の処理を実行した後、記憶部１０５には、撮影対象の複数の蛍光部分に相当する複数の蛍光対応領域のみを含む抽出画像が記憶される。この抽出画像は、画像処理方法を実施することで得られる図６に例示したような抽出画像と同様である。

本実施形態の画像処理方法及び画像処理装置１０１によれば、測定画像に含まれるノイズを効率よく除去することができ、撮影対象における複数の蛍光部分を正しく数えることが可能となる。
例えば、図５に例示するノイズ（特にノイズ画素３５）を含む測定画像に対して本実施形態の画像処理方法を実施することで、図６に示すように、撮影対象の複数の蛍光部分に相当する複数の蛍光対応領域４１のみを含む抽出画像を効率よく得ることができる。これにより、複数の蛍光対応領域４１のみを含む抽出画像を用いて、撮影対象における複数の蛍光部分を自動的に正しく数えることが可能となる。
以下、本実施形態の画像処理方法による効果について、図５，６を参照して具体的に説明する。なお、本実施形態の画像処理装置１０１よる効果は、画像処理方法による効果と同様である。

本実施形態の画像処理方法では、図５に示す測定画像に対して色判定ステップＳ１０３を実施することで、図５に示す測定画像のうち、３原色の明度値の比率が参照画素と同等ではない電気的なノイズ（ノイズ画素３５）を除去することができる。電気的なノイズにおける３原色の明度値の比率は、参照画素（蛍光部分）における比率と大きく異なる場合が多いため、色判定ステップＳ１０３を実施することで電気的なノイズを効率よく除去することができる。
また、色判定ステップＳ１０３を実施することで、図５に示す測定画像のうち、３原色の明度値の比率が参照画素と同等ではない基板１０の自家蛍光（励起光を基板１０に照射することで基板１０において生じる蛍光）も除去することができる。
以上により、電気的なノイズ、及び、基板１０の自家蛍光に基づくノイズが、図６に示す抽出画像に残ることを抑制できる。

また、本実施形態の画像処理方法では、仮に、電気的なノイズ（ノイズ画素３５）や基板１０の自家蛍光における３原色の明度値の比率が参照画素と同等であっても、輝度判定ステップＳ１０４を実施することで、輝度値が参照画素の輝度値に対して所定範囲内にない電気的なノイズや基板１０の自家蛍光を除去することができる。
電気的なノイズの輝度値は、参照画素（蛍光部分）の輝度値よりも非常に大きい場合が多く、また、基板１０の自家蛍光の輝度値は、参照画素（蛍光部分）の輝度値よりも非常に小さい場合が多い。このため、輝度判定ステップＳ１０４を実施することで、電気的なノイズ及び基板１０の自家蛍光を効率よく測定画像から除去することができる。
以上により、電気的なノイズ、及び、基板１０の自家蛍光に基づくノイズが、図６に示す抽出画像に残ることを好適に抑制できる。
なお、輝度判定ステップＳ１０４を実施すると、輝度値が参照画素の輝度値に対して所定範囲内にない蛍光画素（例えば第二蛍光画素３２）が除去されることもある。

また、本実施形態の画像処理方法では、仮に、電気的なノイズや基板１０の自家蛍光における３原色の明度値の比率が参照画素と同等であり、また、電気的なノイズや基板１０の自家蛍光の輝度値が参照画素に対して所定範囲内にあっても、集合判定ステップＳ１０８を実施することで、画素として所定数以上集まっていない電気的なノイズや基板１０の自家蛍光を除去することができる。
電気的なノイズが現れるノイズ画素３５は、図５に例示するように単独で存在することが多い。このため、集合判定ステップＳ１０８を実施することで、電気的なノイズを効率よく測定画像から除去することができる。
以上により、電気的なノイズが、図６に示す抽出画像に残ることをさらに好適に抑制できる。

また、本実施形態の画像処理方法によれば、輝度判定ステップＳ１０４や集合判定ステップＳ１０８は、測定画像のうち色判定ステップＳ１０３において参照画素と同等であると判定された測定画素に対してのみ実施すればよい。このため、撮影対象の複数の蛍光部分に相当する複数の蛍光対応領域４１のみを含む抽出画像を効率よく得ることができる。

以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。

例えば、撮影対象の蛍光部分が、第一励起光を照射することで第一波長の蛍光（第一の色の蛍光）を発する第一蛍光部分、及び、第一励起光とは異なる波長の第二励起光を照射することで第一波長と異なる第二波長の蛍光（第二の色の蛍光）を発する第二蛍光部分を含む場合、本発明の画像処理方法の画像取得ステップＳ１０１は、例えば第一画像取得ステップ及び第二画像取得ステップを含んでもよい。

第一画像取得ステップでは、第一波長の蛍光を発する第一蛍光部分を含む第一測定画像を取得する。第一画像取得ステップでは、第一励起光を撮影対象に照射して第一蛍光部分が第一波長の蛍光を発するようにすればよい。
第二画像取得ステップでは、第二波長の蛍光を発する第二蛍光部分を含む第二測定画像を取得する。第二画像取得ステップでは、第二励起光を撮影対象に照射して第二蛍光部分が第二波長の蛍光を発するようにすればよい。
そして、第一画像取得ステップ及び第二画像取得ステップの後には、第一測定画像及び第二取得画像に対し、それぞれ上記実施形態と同様の色判定ステップＳ１０３、蛍光画素設定ステップＳ１０５、非蛍光画素設定ステップＳ１０６を適宜実施すればよい。また、必要に応じて、輝度判定ステップＳ１０４、集合判定ステップＳ１０８、対応領域設定ステップＳ１０９、非対応領域設定ステップＳ１１０を適宜実施してもよい。

第一、第二蛍光部分を含む撮影対象は、例えば、二種類の蛍光物質によって標識された検出対象を含む試料を、基板１０の多数のウェル２０に分けて入れることで構成できる。二種類の蛍光物質は、互いに異なる波長の励起光に個別に反応して、互いに異なる波長の蛍光を発する。

本発明の画像処理方法が第一画像取得ステップ及び第二画像取得ステップを含む場合には、同一の撮影対象から二種類の測定画像を得ることが可能となり、各種類の測定画像を用いて複数の蛍光部分を正確に数えることができる。したがって、本発明の画像処理方法をデジタルカウント法に適用することで、複数種類の検出対象（バイオマーカー）を効率よく測定することが可能となる。

また、本発明の画像処理方法は、例えば輝度判定ステップＳ１０４を含まなくてもよい。この場合、画像処理方法では、色判定ステップＳ１０３において、測定画素における３原色の明度値の比率が参照画素における３原色の明度値の比率と同等であると判定された場合に、蛍光画素設定ステップＳ１０５を実施すればよい。同様にして、本発明の画像処理装置１０１の制御部１０４は、例えば輝度判定処理を実行しなくてもよい。

また、例えば、画像処理装置１０１の制御部１０４の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御部が実行する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

また、「コンピュータシステム」は、コンピュータネットワークシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１０ 基板
２０ ウェル
２１，２２ 発光ウェル（蛍光部分）
２４，２５ 蛍光領域
３１，３２，３３，３４ 蛍光画素
４１ 蛍光対応領域
４２ 蛍光対応画素
１０１ 画像処理装置
１０４ 制御部
１０５ 記憶部

Claims (5)

1. 蛍光を発する複数の蛍光部分を含む撮影対象をカラーで撮影した測定画像を取得する画像取得ステップと、
   前記測定画像の各測定画素における３原色の明度値の比率が、前記蛍光部分に対応するカラーの参照画素における３原色の明度値の比率と同等であるかを判定する色判定ステップと、
   前記色判定ステップの後に、前記色判定ステップにおいて前記測定画素における３原色
   の明度値の比率が前記参照画素における３原色の明度値の比率と同等であると判定された
   前記測定画素の輝度値が、前記参照画素の輝度値に対して所定範囲内にあるかを判定する
   輝度判定ステップと、
   前記色判定ステップにおいて前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等であると判定された場合に、前記測定画素を、前記蛍光部分に対応する蛍光対応画素とする蛍光画素設定ステップと、
   前記色判定ステップにおいて前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等でないと判定された場合に、前記測定画素を、前記蛍光部分に対応しない非対応画素とする非蛍光画素設定ステップと、
   を備え、
   前記色判定ステップにおいて前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等であると判定され、かつ、前記輝度判定ステップにおいて前記測定画素の輝度値が前記参照画素の輝度値に対して所定範囲内にあると判定された場合に、前記蛍光画素設定ステップにおいて前記測定画素を前記蛍光対応画素とし、
   前記色判定ステップにおいて前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等でないと判定された場合、又は、前記輝度判定ステップにおいて前記測定画素の前記測定画素の輝度値が前記参照画素の輝度値に対して所定範囲内にないと判定された場合に、前記非蛍光画素設定ステップにおいて前記測定画素を前記非対応画素とする、
   画像処理方法。
2. 前記測定画像の全ての前記測定画素に対して前記蛍光画素設定ステップ及び前記非蛍光画素設定ステップを実施した後に、前記蛍光対応画素が所定数以上集まっているか否かを判定する集合判定ステップと、
   前記集合判定ステップにおいて前記蛍光対応画素が所定数以上集まっていると判定された場合に、集まっている複数の前記蛍光対応画素を、前記蛍光部分に相当する蛍光対応領域として設定する対応領域設定ステップと、
   前記集合判定ステップにおいて前記蛍光対応画素が所定数以上集まっていないと判定された場合に、集合している複数の前記蛍光対応画素又は１つの前記蛍光対応画素を、前記蛍光部分に相当しない非対応領域として設定する非対応領域設定ステップと、
   を備える請求項１に記載の画像処理方法。
3. 前記画像取得ステップは、
   第一波長の蛍光を発する第一蛍光部分を含む撮影対象をカラーで撮影した第一測定画像を取得する第一画像取得ステップと、
   前記第一波長と異なる第二波長の蛍光を発する第二蛍光部分を含む撮影対象をカラーで撮影した第二測定画像を取得する第二画像取得ステップと、
   を含み、
   前記第一測定画像及び前記第二測定画像に対し、それぞれ前記色判定ステップ、前記蛍光画素設定ステップ、前記非蛍光画素設定ステップを実施する請求項１または２に記載の画像処理方法。
4. 蛍光を発する複数の蛍光部分を含む撮影対象をカラーで撮影した測定画像を取得する画像取得処理と、
   前記測定画像の各測定画素における３原色の明度値の比率が、前記蛍光部分に対応するカラーの参照画素における３原色の明度値の比率と同等であるかを判定する色判定処理と、
   前記色判定処理の後に、前記色判定処理において前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等であると判定された前記測定画素の輝度値が、前記参照画素の輝度値に対して所定範囲内にあるかを判定する輝度判定処理と、
   前記色判定処理において前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等であると判定された場合に、前記測定画素を、前記蛍光部分に対応する蛍光対応画素とする蛍光画素設定処理と、
   前記色判定処理において前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等でないと判定された場合に、前記測定画素を、前記蛍光部分に対応しない非対応画素とする非蛍光画素設定処理と、
   を実行する制御部を備え、
   前記制御部は、
   前記色判定処理において前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等であると判定され、かつ、前記輝度判定処理において前記測定画素の輝度値が前記参照画素の輝度値に対して所定範囲内にあると判定された場合に、前記蛍光画素設定処理において前記測定画素を前記蛍光対応画素とし、
   前記色判定処理において前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等でないと判定された場合、又は、前記輝度判定処理において前記測定画素の前記測定画素の輝度値が前記参照画素の輝度値に対して所定範囲内にないと判定された場合に、前記非蛍光画素設定処理において前記測定画素を前記非対応画素とする、
   画像処理装置。
5. 蛍光を発する複数の蛍光部分を含む撮影対象をカラーで撮影した測定画像を取得する画像取得工程と、
   前記測定画像の各測定画素における３原色の明度値の比率が、前記蛍光部分に対応するカラーの参照画素における３原色の明度値の比率と同等であるかを判定する色判定工程と、
   前記色判定工程の後に、前記色判定工程において前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等であると判定された前記測定画素の輝度値が、前記参照画素の輝度値に対して所定範囲内にあるかを判定する輝度判定工程と、
   前記色判定工程において前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等であると判定された場合に、前記測定画素を、前記蛍光部分に対応する蛍光対応画素とする蛍光画素設定工程と、
   前記色判定工程において前記測定画素における３原色の明度値の比率が前記参照画素おける３原色の明度値の比率と同等でないと判定された場合に、前記測定画素を、前記蛍
   光部分に対応しない非対応画素とする非蛍光画素設定工程と、
   をコンピュータに実行させ、さらに、
   前記色判定工程において前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等であると判定され、かつ、前記輝度判定工程において前記測定画素の輝度値が前記参照画素の輝度値に対して所定範囲内にあると判定された場合に、前記蛍光画素設定処理において前記測定画素を前記蛍光対応画素とし、
   前記色判定工程において前記測定画素における３原色の明度値の比率が前記参照画素における３原色の明度値の比率と同等でないと判定された場合、又は、前記輝度判定工程において前記測定画素の前記測定画素の輝度値が前記参照画素の輝度値に対して所定範囲内にないと判定された場合に、前記非蛍光画素設定処理において前記測定画素を前記非対応画素とする処理を前記コンピュータに実行させる、
   プログラム。

Images