JPWO2019172097A1 - 画像処理方法、画像処理装置及びプログラム - Google Patents

Abstract

本発明の課題は、蛍光物質による特定のタンパク質の蛍光染色と、細胞あるいは細胞内の関心領域を可視化するための色素染色とが多重に施された組織標本において、特定タンパク質の発現量をより正確に定量評価可能な画像処理方法、画像処理装置及びプログラムを提供することである。特定の生体物質に結合可能な蛍光物質を用いて前記特定の生体物質が染色されるとともに、可視光で観察可能な色素を用いて細胞が染色された組織標本を撮像して得られた蛍光画像及び細胞形態画像を入力する入力工程と、蛍光画像から、輝点を含む所定の領域を抽出し、所定の領域の輝度値を算出する輝度値算出工程と、所定の領域の輝度値を、細胞形態画像における色素情報に基づいて補正する輝度値補正工程と、を含む。

Description

本発明は、画像処理方法、画像処理装置及びプログラムに関し、特に病理診断に用いられる画像処理に関する。

病理診断において、組織切片で過剰発現をしている生体物質の発現量を定量することは、予後の予測やその後の治療計画を決める上で非常に重要な情報となり得る。特に、細胞内の癌タンパク質の発現量を定量評価することは、癌の悪性度を判断する上での重要な手がかりとなる。

特定のタンパク質の発現量を定量評価するため、従来、当該特定タンパク質をターゲットとする蛍光物質集積粒子を用いて組織標本を染色し、これを撮像した蛍光画像から蛍光輝点を抽出して輝点数を計測し、輝点数に基づいてタンパク質の発現量を評価する手法が用いられている。ところが、蛍光画像上では一つの輝点に見えていても、実際には複数の蛍光物質集積粒子がクラスターを形成している場合があり、単純に輝点数を計測するのみでは正確な評価は難しい。

そこで、例えば特許文献１には、蛍光物質集積粒子の粒子数によって特定タンパク質の発現量を評価する手法が開示されている。具体的には、まず蛍光画像から蛍光輝点を抽出し、抽出された蛍光輝点の輝度分布を解析することで、一粒子当たりの平均輝度値を算出する。算出された平均輝度値と各輝点の輝度値に基づいて、各輝点に含まれる粒子数を算出し、粒子数を比較することで特定タンパク質の発現レベルを評価する。この手法によれば、単純に輝点数を計測する場合よりも、信頼性の高い結果を得られる。

国際公開第２０１２／０２９３４２号

ところで、特定タンパク質の蛍光染色に併せて、細胞あるいは細胞内の関心領域を特定するために、組織標本を可視光で観察可能な染色試薬を用いて色素染色するのが一般的である。このとき、染色に用いた色素が光源からの励起光や蛍光物質が放つ蛍光を吸収してしまうことで、検出される輝度値が低下する場合がある。輝度値の検出精度が低下すると、特定タンパク質の発現レベルの検出精度が低下するという問題が生じていた。

本発明は上記課題を鑑みてなされたものであり、蛍光物質による特定のタンパク質の蛍光染色と、細胞あるいは細胞内の関心領域を可視化するための色素染色とが多重に施された組織標本において、特定タンパク質の発現量をより正確に定量評価可能な画像処理方法、画像処理装置及びプログラムを提供することを目的とする。

上記課題を解決するため、請求項１に記載の画像処理方法は、
特定の生体物質に結合可能な蛍光物質を用いて前記特定の生体物質が染色されるとともに、可視光で観察可能な色素を用いて細胞が染色された組織標本を撮像して得られた蛍光画像及び細胞形態画像を入力する入力工程と、
前記蛍光画像から、輝点を含む所定の領域を抽出し、前記所定の領域の輝度値を算出する輝度値算出工程と、
前記所定の領域の輝度値を、前記細胞形態画像における色素情報に基づいて補正する輝度値補正工程と、を含む
ことを特徴とする。

請求項２に記載の発明は、請求項１に記載の画像処理方法において、
前記細胞形態画像における各画素について、前記細胞形態画像の染色に用いた色素の色素量を算出する色素量算出工程を含み、
前記輝度値補正工程は、前記色素量を前記色素情報として用いて輝度値を補正する
ことを特徴とする。

請求項３に記載の発明は、請求項２に記載の画像処理方法において、
前記色素量算出工程は、カラーデコンボリューション手法により、前記細胞形態画像の各画素の色素基底に基づいて色素量を推定するとともに、前記細胞形態画像の各画素に対応させて、前記色素量を分布させた色素濃度画像を生成し、
前記輝度値補正工程は、前記色素濃度画像に基づいて輝度値を補正する
ことを特徴とする。

請求項４に記載の発明は、請求項１に記載の画像処理方法において、
前記細胞形態画像における各画素について、前記細胞形態画像の染色に用いた色素の彩度を算出する彩度算出工程を含み、
前記輝度値補正工程は、前記彩度を前記色素情報として用いて輝度値を補正する
ことを特徴とする。

請求項５に記載の発明は、請求項１に記載の画像処理方法において、
前記輝度値補正工程は、ＲＧＢ値を前記色素情報として用いて輝度値を補正する
ことを特徴とする。

請求項６に記載の発明は、請求項１から５のいずれか一項に記載の画像処理方法において、
前記組織標本は、単一又は波長特性の異なる複数種類の蛍光物質、及び単一又は波長特性の異なる複数種類の色素によって染色され、
前記輝度値補正工程は、蛍光物質と色素との組み合わせごとに、当該色素の色素情報に基づいて、前記輝度値を補正する
ことを特徴とする。

請求項７に記載の発明は、請求項１から６のいずれか一項に記載の画像処理方法において、
前記組織標本は、波長特性の異なる複数種類の色素によって染色され、
前記輝度値補正工程は、複数種類の色素の染色順に応じて前記輝度値の補正を異ならせる
ことを特徴とする。

請求項８に記載の画像処理方法は、
特定の生体物質に結合可能な蛍光物質を用いて前記特定の生体物質が染色されるとともに、可視光で観察可能な色素を用いて細胞が染色された組織標本を撮像して得られた蛍光画像及び細胞形態画像を入力する入力工程と、
前記蛍光画像から、輝点を含む所定の領域を抽出し、前記所定の領域の輝度値を算出する輝度値算出工程と、
前記所定の領域の輝度値に基づいて、前記特定の生体物質の発現レベルを示す特徴量を算出する特徴量算出工程と、
前記特徴量を、前記細胞形態画像における色素情報に基づいて補正する特徴量補正工程と、を含む
ことを特徴とする。

請求項９に記載の発明は、請求項１から８のいずれか一項に記載の画像処理方法において、
前記蛍光物質は、単体の蛍光物質を複数集積した蛍光物質集積粒子である
ことを特徴とする。

請求項１０に記載の画像処理装置は、
特定の生体物質に結合可能な蛍光物質を用いて前記特定の生体物質が染色されるとともに、可視光で観察可能な色素を用いて細胞が染色された組織標本を撮像して得られた蛍光画像及び細胞形態画像を入力する入力部と、
前記蛍光画像から、輝点を含む所定の領域を抽出し、前記所定の領域の輝度値を算出する輝度値算出部と、
前記所定の領域の輝度値を、前記細胞形態画像における色素情報に基づいて補正する輝度値補正部と、を備える
ことを特徴とする。

請求項１１に記載のプログラムは、
画像処理装置のコンピューターを、
特定の生体物質に結合可能な蛍光物質を用いて前記特定の生体物質が染色されるとともに、可視光で観察可能な色素を用いて細胞が染色された組織標本を撮像して得られた蛍光画像及び細胞形態画像を入力する入力部、
前記蛍光画像から、輝点を含む所定の領域を抽出し、前記所定の領域の輝度値を算出する輝度値算出部、
前記所定の領域の輝度値を、前記細胞形態画像における色素情報に基づいて補正する輝度値補正部、
として機能させる。

本発明によれば、蛍光物質による特定のタンパク質の蛍光染色と、細胞あるいは細胞内の関心領域を可視化するための色素染色とが多重に施された組織標本において、特定タンパク質の発現量をより正確に定量評価可能な画像処理方法、画像処理装置及びプログラムを提供することができる。

本発明の生体物質定量方法を適用した病理診断支援システムのシステム構成を示す図である。 図１の画像処理装置の機能的構成を示すブロック図である。 明視野画像の一例を示す図である。 蛍光画像の一例を示す図である。 第１実施形態における画像解析処理１を示すフローチャートである。 図５のステップＳ２の処理の詳細を示すフローチャートである。 明視野画像が抽出された画像を示す図である。 細胞核が抽出された画像を示す図である。 図５のステップＳ４の処理の詳細を示すフローチャートである。 図５のステップＳ８の処理の詳細を示すフローチャートである。 蛍光画像が抽出された画像を示す図である。 輝点領域が抽出された画像を示す図である。 輝度分布曲線の一例である。 変形例１における画像解析処理２を示すフローチャートである。 変形例２における画像解析処理３を示すフローチャートである。 第２実施形態における画像解析処理４を示すフローチャートである。

[第１実施形態]
以下、図面を参照して本発明を実施するための第１実施形態について説明するが、本発明はこれらに限定されない。

＜病理診断支援システム１００の構成＞
図１に、本発明の画像処理方法を適用した病理診断支援システム１００の全体構成例を示す。病理診断支援システム１００は、所定の染色試薬で染色された組織標本の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織標本における特定の生体物質の発現量を定量的に評価するシステムである。

図１に示すように、病理診断支援システム１００は、顕微鏡画像取得装置１Ａと、画像処理装置２Ａと、がケーブル３Ａ等のインターフェースを介してデータ送受信可能に接続されて構成されている。なお、顕微鏡画像取得装置１Ａと画像処理装置２Ａとの接続方式は特に限定されない。例えば、顕微鏡画像取得装置１Ａと画像処理装置２ＡはＬＡＮ（Local Area Network）により接続されることとしてもよいし、無線により接続される構成としてもよい。

顕微鏡画像取得装置１Ａは、公知のカメラ付き光学顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織標本の顕微鏡画像を取得し、画像処理装置２Ａに送信するものである。
顕微鏡画像取得装置１Ａは、照射手段、結像手段、撮像手段、通信Ｉ／Ｆ等を備えて構成されている。照射手段は、光源、フィルター等により構成され、スライド固定ステージに載置されたスライド上の組織標本に光を照射する。結像手段は、接眼レンズ、対物レンズ等により構成され、照射した光によりスライド上の組織標本から発せられる透過光、反射光、又は蛍光を結像する。撮像手段は、ＣＣＤ(Charge Coupled Device)センサー等を備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信Ｉ／Ｆは、生成された顕微鏡画像の画像データを画像処理装置２Ａに送信する。本実施の形態において、顕微鏡画像取得装置１Ａは、明視野観察に適した照射手段及び結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段及び結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野／蛍光を切り替えることが可能である。

なお、顕微鏡画像取得装置１Ａとしては、カメラ付き顕微鏡に限定されず、例えば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織標本全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置（例えば、特表２００２−５１４３１９号公報参照）等を用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織標本全体像を表示部で一度に閲覧可能な画像データを取得することができる。

画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像を解析することにより、観察対象の組織標本における特定の生体物質の発現量を算出する。
図２に、画像処理装置２Ａの機能構成例を示す。図２に示すように、画像処理装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５等を備えて構成され、各部はバス２６を介して接続されている。

制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等を備えて構成され、記憶部２５に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置２Ａの動作を統括的に制御する。例えば、制御部２１は、記憶部２５に記憶されているプログラムとの協働により画像解析処理１（図５参照）を実行し、入力工程、輝度値算出工程、輝度値補正工程、色素量算出工程、彩度算出工程を実行する手段としての機能を実現する。

操作部２２は、文字入力キー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部２１に出力する。

表示部２３は、例えば、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等のモニタを備えて構成されており、制御部２１から入力される表示信号の指示に従って、各種画面を表示する。本実施の形態において、表示部２３は、画像解析結果を出力するための出力手段として機能する。

通信Ｉ／Ｆ２４は、顕微鏡画像取得装置１Ａをはじめとする外部機器との間でデータ送受信を行うためのインターフェースである。通信Ｉ／Ｆ２４は、制御部２１とともに明視野画像と蛍光画像の入力する入力工程を実行する手段として機能する。

記憶部２５は、例えばＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリー等で構成されている。記憶部２５には、前述のように各種プログラムや各種データ等が記憶されている。
その他、画像処理装置２Ａは、ＬＡＮアダプターやルーター等を備え、ＬＡＮ等の通信ネットワークを介して外部機器と接続される構成としてもよい。

本実施の形態における画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された明視野画像及び蛍光画像を用いて解析を行うことが好ましい。
明視野画像は、Ｈ（ヘマトキシリン）染色及びＤＡＢ染色により染色された組織標本を、顕微鏡画像取得装置１Ａにおいて明視野で拡大結像及び撮影することにより得られる顕微鏡画像であって、当該組織標本における細胞の形態を表す細胞形態画像である。ヘマトキシリンは青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など（好塩基性の組織等）を染色する。ＤＡＢ染色は標識酵素にペルオキシダーゼ、発色基質にペルオキシターゼにより茶褐色に発色するジアミノベンジジン（ＤＡＢ）を用いた酵素抗体法である。図３に、Ｈ染色及びＤＡＢ染色を施した組織標本を撮影した明視野画像の一例を示す。図３においては、ＤＡＢ染色により免疫細胞を染色している。
蛍光画像は、特定の生体物質と特異的に結合及び／又は反応する生体物質認識部位が結合した蛍光物質を内包したナノ粒子（蛍光物質集積粒子と呼ぶ）を含む染色試薬を用いて染色された組織標本に対し、顕微鏡画像取得装置１Ａにおいて所定波長の励起光を照射して蛍光物質集積粒子を発光（蛍光）させ、この蛍光を拡大結像及び撮影することにより得られる顕微鏡画像である。即ち、蛍光画像に現れる蛍光は、組織標本における生体物質認識部位に対応する特定の生体物質の発現を示すものである。図４に、蛍光画像の一例を示す。

＜蛍光画像の取得＞
ここで、蛍光画像の取得方法について、この蛍光画像の取得に際して用いられる染色試薬（蛍光物質集積粒子）、染色試薬による組織標本の染色方法等も含めて詳細に説明する。

〔蛍光物質〕
蛍光画像の取得のための染色試薬に用いられる蛍光物質としては、蛍光有機色素及び量子ドット（半導体粒子）を挙げることができる。２００〜７００ｎｍの範囲内の波長の紫外〜近赤外光により励起されたときに、４００〜１１００ｎｍの範囲内の波長の可視〜近赤外光の発光を示すことが好ましい。

蛍光有機色素としては、フルオレセイン系色素分子、ローダミン系色素分子、Alexa Fluor（インビトロジェン社製）系色素分子、ＢＯＤＩＰＹ（インビトロジェン社製）系色素分子、カスケード系色素分子、クマリン系色素分子、エオジン系色素分子、ＮＢＤ系色素分子、ピレン系色素分子、Texas Red系色素分子、シアニン系色素分子等を挙げることができる。

具体的には、５−カルボキシ−フルオレセイン、６−カルボキシ−フルオレセイン、５，６−ジカルボキシ−フルオレセイン、６−カルボキシ−２’，４，４’，５’，７，７’−ヘキサクロロフルオレセイン、６−カルボキシ−２’，４，７，７’−テトラクロロフルオレセイン、６−カルボキシ−４’，５’−ジクロロ−２’，７’−ジメトキシフルオレセイン、ナフトフルオレセイン、５−カルボキシ−ローダミン、６−カルボキシ−ローダミン、５，６−ジカルボキシ−ローダミン、ローダミン６Ｇ、テトラメチルローダミン、Ｘ−ローダミン、及びAlexa Fluor 350、Alexa Fluor 405、Alexa Fluor 430、Alexa Fluor 488、Alexa Fluor 500、Alexa Fluor 514、Alexa Fluor 532、Alexa Fluor 546、Alexa Fluor 555、Alexa Fluor 568、Alexa Fluor 594、Alexa Fluor 610、Alexa Fluor 633、Alexa Fluor 635、Alexa Fluor 647、Alexa Fluor 660、Alexa Fluor 680、Alexa Fluor 700、Alexa Fluor 750、BODIPY FL、BODIPY TMR、BODIPY 493／503、BODIPY 530／550、BODIPY 558／568、BODIPY 564／570、BODIPY 576／589、BODIPY 581／591、BODIPY 630／650、BODIPY 650／665（以上インビトロジェン社製）、メトキシクマリン、エオジン、ＮＢＤ、ピレン、Cy5、Cy5.5、Cy7等を挙げることができる。単独でも複数種を混合したものを用いてもよい。

量子ドットとしては、II−VI族化合物、III−V族化合物、又はIV族元素を成分として含有する量子ドット（それぞれ、「II−VI族量子ドット」、「III−V族量子ドット」、「IV族量子ドット」ともいう。）のいずれかを用いることができる。単独でも複数種を混合したものを用いてもよい。

具体的には、ＣｄＳｅ、ＣｄＳ、ＣｄＴｅ、ＺｎＳｅ、ＺｎＳ、ＺｎＴｅ、ＩｎＰ、ＩｎＮ、ＩｎＡｓ、ＩｎＧａＰ、ＧａＰ、ＧａＡｓ、Ｓｉ、Ｇｅが挙げられるが、これらに限定されない。

上記量子ドットをコアとし、その上にシェルを設けた量子ドットを用いることもできる。以下、本明細書中シェルを有する量子ドットの表記法として、コアがＣｄＳｅ、シェルがＺｎＳの場合、ＣｄＳｅ／ＺｎＳと表記する。例えば、ＣｄＳｅ／ＺｎＳ、ＣｄＳ／ＺｎＳ、ＩｎＰ／ＺｎＳ、ＩｎＧａＰ／ＺｎＳ、Ｓｉ／ＳｉＯ₂、Ｓｉ／ＺｎＳ、Ｇｅ／ＧｅＯ₂、Ｇｅ／ＺｎＳ等を用いることができるが、これらに限定されない。
量子ドットは必要に応じて、有機ポリマー等により表面処理が施されているものを用いてもよい。例えば、表面カルボキシ基を有するＣｄＳｅ／ＺｎＳ（インビトロジェン社製）、表面アミノ基を有するＣｄＳｅ／ＺｎＳ（インビトロジェン社製）等が挙げられる。

〔蛍光物質集積粒子〕
本実施の形態において蛍光物質集積粒子とは、蛍光物質がナノ粒子内部に分散されたもの、あるいはナノ粒子の表面に吸着されたものをいい、蛍光物質とナノ粒子自体とが化学的に結合していても、結合していなくてもよい。
ナノ粒子を構成する素材は特に限定されるものではなく、ポリスチレン、ポリ乳酸、シリカ、メラミン等を挙げることができる。

本実施の形態で用いられる蛍光物質集積粒子は、公知の方法により作製することが可能である。例えば、蛍光有機色素を内包したシリカナノ粒子は、ラングミュア ８巻 ２９２１ページ（１９９２）に記載されているＦＩＴＣ内包シリカ粒子の合成を参考に合成することができる。ＦＩＴＣの代わりに所望の蛍光有機色素を用いることで種々の蛍光有機色素内包シリカナノ粒子を合成することができる。

量子ドットを内包したシリカナノ粒子は、ニュー・ジャーナル・オブ・ケミストリー ３３巻 ５６１ページ（２００９）に記載されているＣｄＴｅ内包シリカナノ粒子の合成を参考に合成することができる。

蛍光有機色素を内包したポリスチレンナノ粒子は、米国特許４３２６００８（１９８２）に記載されている重合性官能基をもつ有機色素を用いた共重合法や、米国特許５３２６６９２（１９９２）に記載されているポリスチレンナノ粒子への蛍光有機色素の含浸法を用いて作製することができる。

量子ドットを内包したポリマーナノ粒子は、ネイチャー・バイオテクノロジー１９巻６３１ページ（２００１）に記載されているポリスチレンナノ粒子への量子ドットの含浸法を用いて作製することができる。

本実施の形態で用いられる蛍光物質集積粒子の平均粒径は特に限定されないが、粒子径が大きいものは抗原にアクセスしにくく、粒子径が小さく輝度値が低いものは蛍光粒子の信号がバックグラウンドノイズ（カメラのノイズや細胞の自家蛍光）に埋もれてしまうことから、５０〜３００ｎｍ程度のものが好適である。
平均粒径は、走査型電子顕微鏡（ＳＥＭ）を用いて電子顕微鏡写真を撮影し十分な数の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径として求めた。本願においては、１０００個の粒子の粒径の算術平均を平均粒径とした。変動係数も、１０００個の粒子の粒径分布から算出した値とした。
蛍光粒子一粒子の輝度値と粒径の間には正の相関があり、分布曲線の形状はいずれもほぼｔ分布となって一致した。

〔生体物質認識部位と蛍光物質集積粒子との結合〕
本実施の形態に係る生体物質認識部位とは、目的とする生体物質と特異的に結合及び／又は反応する部位である。目的とする生体物質は、それと特異的に結合する物質が存在するものであれば特に限定されるものではないが、代表的にはタンパク質（ペプチド）および核酸（オリゴヌクレオチド、ポリヌクレオチド）、抗体等が挙げられる。したがって、そのような目的とする生体物質に結合する物質としては、前記タンパク質を抗原として認識する抗体やそれに特異的に結合する他のタンパク質等、および前記核酸にハイブリタイズする塩基配列を有する核酸等が挙げられる。具体的には、細胞表面に存在するタンパク質であるＨＥＲ２に特異的に結合する抗ＨＥＲ２抗体、細胞核に存在するエストロゲン受容体（ＥＲ）に特異的に結合する抗ＥＲ抗体、細胞骨格を形成するアクチンに特異的に結合する抗アクチン抗体等があげられる。中でも抗ＨＥＲ２抗体及び抗ＥＲ抗体を蛍光物質集積粒子に結合させたものは、乳癌の投薬選定に用いることができ、好ましい。

生体物質認識部位と蛍光物質集積粒子の結合の態様としては特に限定されず、共有結合、イオン結合、水素結合、配位結合、物理吸着及び化学吸着等が挙げられる。結合の安定性から共有結合等の結合力の強い結合が好ましい。

また、生体物質認識部位と蛍光物質集積粒子の間を連結する有機分子があってもよい。例えば、生体物質との非特異的吸着を抑制するため、ポリエチレングリコール鎖を用いることができ、Thermo Scientific社製ＳＭ（ＰＥＧ）１２を用いることができる。

蛍光物質内包シリカナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。例えば、無機物と有機物を結合させるために広く用いられている化合物であるシランカップリング剤を用いることができる。このシランカップリング剤は、分子の一端に加水分解でシラノール基を与えるアルコキシシリル基を有し、他端に、カルボキシル基、アミノ基、エポキシ基、アルデヒド基等の官能基を有する化合物であり、上記シラノール基の酸素原子を介して無機物と結合する。具体的には、メルカプトプロピルトリエトキシシラン、グリシドキシプロピルトリエトキシシラン、アミノプロピルトリエトキシシラン、ポリエチレングリコール鎖をもつシランカップリング剤（例えば、Gelest社製PEG-silane no．SIM6492.7）等が挙げられる。シランカップリング剤を用いる場合、二種以上を併用してもよい。

蛍光有機色素内包シリカナノ粒子とシランカップリング剤との反応手順は、公知の手法を用いることができる。例えば、得られた蛍光有機色素内包シリカナノ粒子を純水中に分散させ、アミノプロピルトリエトキシシランを添加し、室温で１２時間反応させる。反応終了後、遠心分離又はろ過により表面がアミノプロピル基で修飾された蛍光有機色素内包シリカナノ粒子を得ることができる。続いてアミノ基と抗体中のカルボキシル基とを反応させることで、アミド結合を介し抗体を蛍光有機色素内包シリカナノ粒子と結合させることができる。必要に応じて、ＥＤＣ（1-Ethyl-3-[3-Dimethylaminopropyl]carbodiimide Hydrochloride：Pierce（登録商標）社製）のような縮合剤を用いることもできる。

必要により、有機分子で修飾された蛍光有機色素内包シリカナノ粒子と直接結合しうる部位と、分子標的物質と結合しうる部位とを有するリンカー化合物を用いることができる。具体例として、アミノ基と選択的に反応する部位とメルカプト基と選択的に反応する部位の両方をもつsulfo-SMCC（Sulfosuccinimidyl ４［N-maleimidomethyl］-cyclohexane-1-carboxylate：Pierce社製）を用いると、アミノプロピルトリエトキシシランで修飾した蛍光有機色素内包シリカナノ粒子のアミノ基と、抗体中のメルカプト基を結合させることで、抗体結合した蛍光有機色素内包シリカナノ粒子ができる。

蛍光物質内包ポリスチレンナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。すなわち、アミノ基等の官能基をもつポリスチレンナノ粒子へ蛍光有機色素、量子ドットを含浸することにより、官能基もつ蛍光物質内包ポリスチレンナノ粒子を得ることができ、以降ＥＤＣ又はｓｕｌｆｏ−ＳＭＣＣを用いることで、抗体結合した蛍光物質内包ポリスチレンナノ粒子ができる。

特定抗原を認識する抗体としては、M.アクチン、M.S.アクチン、S.M.アクチン、ACTH、Alk-1、α1-アンチキモトリプシン、α1-アンチトリプシン、AFP、bcl-2、bcl-6、β-カテニン、BCA 225、CA19-9、CA125、カルシトニン、カルレチニン、CD1a、CD3、CD4、CD5、CD8、CD10、CD15、CD20、CD21、CD23、CD30、CD31、CD34、CD43、CD45、CD45R、CD56、CD57、CD61、CD68、CD79a、"CD99、MIC2"、CD138、クロモグラニン、c-KIT、c-MET、コラーゲン タイプIV、Cox-2、サイクリンD1、ケラチン、サイトケラチン（高分子量）、パンケラチン、パンケラチン、サイトケラチン5/6、サイトケラチン 7、サイトケラチン 8、サイトケラチン8/18、サイトケラチン 14、サイトケラチン 19、サイトケラチン 20、CMV、E-カドヘリン、EGFR、ER、EMA、EBV、第VIII因子関連抗原、ファッシン、FSH、ガレクチン-3、ガストリン、GFAP、グルカゴン、グリコフォリン A、グランザイムB、hCG、hGH、ヘリコバクターピロリ、HBc 抗原、HBs 抗原、ヘパトサイト特異抗原、HER2、HSV -I、HSV -II、HHV-8、IgA、IgG、IgM、IGF-1R、インヒビン、インスリン、カッパ L鎖、Ki67、ラムダ L鎖、LH、リゾチーム、マクロファージ、メランA、MLH-1、MSH-2、ミエロパーオキシダーゼ、ミオゲニン、ミオグロビン、ミオシン、ニューロフィラメント、NSE、p27(Kip1)、p53、p53、P63、PAX 5、PLAP、ニューモシスティス カリニ、ポドプラニン（D2-40）、PGR、プロラクチン、PSA、前立腺酸性フォスファターゼ、Renal Cell Carcinoma、S100、ソマトスタチン、スペクトリン、シナプトフィジン、TAG-72、TdT、サイログロブリン、TSH、TTF-1、TRAcP、トリプターゼ、ビリン、ビメンチン、WT1、Zap-70が挙げられる。

〔染色方法〕
以下、組織標本の染色方法について述べる。以下に説明する染色方法は組織標本に限定せず、細胞染色にも適用可能である。
また、以下に説明する染色方法が適用できる標本の作製法は特に限定されず、公知の方法により作製されたものを用いることができる。

１）脱パラフィン工程
キシレンを入れた容器に組織標本を浸漬させ、パラフィンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でキシレンを交換してもよい。
次いで、エタノールを入れた容器に組織標本を浸漬させ、キシレンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でエタノールを交換してもよい。
次いで、水を入れた容器に組織標本を浸漬させ、エタノールを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中で水を交換してもよい。

２）賦活化処理
公知の方法にならい、目的とする生体物質の賦活化処理を行う。賦活化条件に特に定めはないが、賦活液としては、０．０１Ｍ クエン酸緩衝液（ｐＨ６．０）、１ｍＭ ＥＤＴＡ溶液（ｐＨ８．０）、５％ 尿素、０．１Ｍ トリス塩酸緩衝液等を用いることができる。加熱機器は、オートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバス等を用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は５０−１３０℃、時間は５−３０分で行うことができる。
次いで、ＰＢＳ（Phosphate Buffered Saline：リン酸緩衝生理食塩水）を入れた容器
に、賦活化処理後の標本を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でＰＢＳを交換してもよい。

３）生体物質認識部位が結合された蛍光物質集積粒子を用いた染色
生体物質認識部位が結合された蛍光物質集積粒子のＰＢＳ分散液を組織標本に載せ、目的とする生体物質と反応させる。蛍光物質集積粒子と結合させる生体物質認識部位を変えることにより、さまざまな生体物質に対応した染色が可能となる。数種類の生体物質認識部位が結合された蛍光物質集積粒子を用いる場合には、それぞれの蛍光物質集積粒子ＰＢＳ分散液を予め混合しておいてもよいし、別々に順次組織標本に載せてもよい。
温度は特に限定されるものではないが、室温で行うことができる。反応時間は、３０分以上２４時間以下であることが好ましい。
蛍光物質集積粒子による染色を行う前に、ＢＳＡ含有ＰＢＳ等、公知のブロッキング剤を滴下することが好ましい。
次いで、ＰＢＳを入れた容器に、染色後の組織標本を浸漬させ、未反応蛍光物質集積粒子の除去を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でＰＢＳを交換してもよい。カバーガラスを組織標本に載せ、封入する。必要に応じて市販の封入剤を使用してもよい。
なお、Ｈ染色及びＤＡＢ染色を行う場合、カバーガラスによる封入前にＨ染色及びＤＡＢ染色を行う。

〔蛍光画像の取得〕
染色した組織標本に対し顕微鏡画像取得装置１Ａを用いて、広視野の顕微鏡画像（蛍光画像）を取得する。顕微鏡画像取得装置１Ａにおいて、染色試薬に用いた蛍光物質の吸収極大波長及び蛍光波長に対応した励起光源及び蛍光検出用光学フィルターを選択する。
蛍光画像の視野は、３ｍｍ²以上であることが好ましく、３０ｍｍ²以上であることがさらに好ましく、３００ｍｍ²以上であることがさらに好ましい。

＜病理診断支援システム１００の動作（画像処理方法を含む。）＞
以下、病理診断支援システム１００において、上記説明した蛍光画像及び明視野画像を取得して解析を行う動作について説明する。ここでは、特定の生体物質（ここでは、乳癌組織におけるＫｉ６７タンパクとする。以下、特定タンパクと呼ぶ。）を認識する生体物質認識部位が結合した蛍光物質集積粒子を含む染色試薬を用いて染色された組織標本を観察対象とする場合を例にとり説明するが、これに限定されるものではない。

まず、操作者は、Ｈ染色試薬及びＤＡＢ染色試薬、並びに特定タンパクを認識する生体物質認識部位が結合した蛍光物質集積粒子を蛍光標識材料とした染色試薬の、３種の染色試薬を用いて組織標本を染色する。
その後、顕微鏡画像取得装置１Ａにおいて、（ａ１）〜（ａ５）の手順により明視野画像及び蛍光画像が取得される。
（ａ１）操作者は、Ｈ染色試薬及びＤＡＢ染色試薬並びに蛍光物質集積粒子を含む染色試薬により染色された組織標本をスライドに載置し、そのスライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織上の観察対象の領域を視野に納める。
（ａ３）撮像手段で撮影を行って明視野画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
（ａ４）ユニットを蛍光ユニットに変更する。
（ａ５）視野及び撮影倍率を変えずに撮像手段で撮影を行って蛍光画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。

画像処理装置２Ａにおいては、明視野画像及び蛍光画像に基づき画像解析処理１が実行される。
図５に、画像処理装置２Ａにおける画像解析処理１のフローチャートを示す。図５に示す画像解析処理１は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。

まず、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａからの明視野画像が入力されると（ステップＳ１：入力工程）、制御部２１により、明視野画像から色素染色の有無に基づいて細胞核の領域の抽出が行われる（ステップＳ２）。
図６に、ステップＳ２における処理の詳細フローを示す。ステップＳ２の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。

ステップＳ２においては、まず、制御部２１により、明視野画像のモノクロ画像への変換が行われる（ステップＳ２１）。図７Ａに、明視野画像の一例を示す。
次いで、モノクロ画像に対し予め定められた閾値を用いて閾値処理が施され、各画素の値が二値化される（ステップＳ２２）。

次いで、制御部２１により、ノイズ処理が行われる（ステップＳ２３）。ノイズ処理は、具体的には、二値画像にクロージング処理が施されることにより行うことができる。クロージング処理は、膨張処理を行ってから同じ回数分だけ収縮処理を行う処理である。膨張処理は、注目画素からｎ×ｎ画素（ｎは２以上の整数）の範囲内にある画素に１つでも白が含まれている場合に注目画素を白に置き換える処理である。収縮処理は、注目画素からｎ×ｎ画素の範囲内にある画素に１つでも黒が含まれている場合に注目画素を黒に置き換える処理である。クロージング処理により、ノイズ等の小さい領域を除去することができる。図７Ｂに、ノイズ処理後の画像の一例を示す。図７Ｂに示すように、ノイズ処理後には、細胞核が抽出された画像（細胞核画像）が生成される。

次いで、制御部２１により、ノイズ処理後の画像にラベリング処理が施され、抽出された細胞核のそれぞれにラベルが付与される（ステップＳ２４）。ラベリング処理とは、連結している画素に同じラベル（番号）を付与していくことで画像内のオブジェクトを識別する処理である。ラベリング処理により、ノイズ処理後の画像から各細胞核を識別してラベルを付与することができる。

続いて、制御部２１により、明視野画像の色素染色の有無に基づいて、細胞種の識別が行われる（ステップＳ３）。本実施形態においては、ＤＡＢ染色により免疫細胞を染色する。ステップＳ２で抽出された細胞核の各々について、制御部２１によってＤＡＢ染色の有無が識別されることにより、染色された免疫細胞と染色されていない癌細胞とが識別される。

一方で、制御部２１により、明視野画像の各画素の画素値に基づいて、色素濃度画像が作成される（ステップＳ４：色素量算出工程）。
図８に、ステップＳ４における処理の詳細フローを示す。ステップＳ４の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。

まず、制御部２１により、明視野画像の各画素について、ウィナー推定等の手法を用いて各画素に対応する標本上の点における波長ごとの分光透過率が算出される（ステップＳ４１）。

続いて、制御部２１により、細胞形態画像の各画素について、組織標本上の各画素に該当する点における色素量が算出される（ステップＳ４２）。本実施形態においては組織標本に対してＨ染色及びＤＡＢ染色が施されているため、それぞれの色素について色素量が算出される。具体的には、ランベルトベールの法則によって成立する、分光透過率と色素量との間に成立する関係式を、色素ごと（本実施形態においては、Ｈ染色試薬及びＤＡＢ染色試薬のそれぞれの発色に基づく色素ごと）に立て、これらを連立させて解くことによって、色素量が算出される。

次いで、制御部２１により、各画素について算出された色素量が明視野画像の対応する画素に分布された色素濃度画像が構築される（ステップＳ４３）。
以上により、色素濃度画像の作成が完了する。

一方、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａからの蛍光画像が入力されると（ステップＳ５：入力工程）、制御部２１により、ステップＳ４で作成された色素濃度画像と蛍光画像とが加算される（ステップＳ６）。

次いで、制御部２１により、色素濃度に応じて蛍光輝度が補正される（ステップＳ７：輝度値補正工程）。
これについて具体的に説明する。明視野画像の作成に用いた染色試薬の色素が、光源からの励起光や蛍光物質は放つ蛍光を吸収してしまうことにより、蛍光物質の輝度は色素量に応じて減衰する。色素との重畳により減衰した蛍光物質集積粒子の輝度をＩ、減衰前の蛍光物質集積粒子の輝度をＩ₀とすると、蛍光輝度値Ｉは下記の式（１）で表される。
Ｉ＝Ｉ₀ｅｘｐ（−Ａｄ） ・・・（１）
ここで、変数ｄはステップＳ４で算出した色素量である。また、Ａは減衰係数であり、蛍光物質集積粒子、蛍光波長、染色試薬の色素、撮影条件等によって決まる値である。
したがって、減衰前の輝度値Ｉ₀は、下記の式（２）で表される。
Ｉ₀＝Ｉ／ｅｘｐ（−Ａｄ） ・・・（２）
即ち、蛍光画像の各画素について上記した式（２）によって算出された蛍光輝度値Ｉ₀を用いて、以降の解析が行われる。

続いて、制御部２１により、蛍光画像から輝点領域が抽出される（ステップＳ８）。
図９に、ステップＳ８における処理の詳細フローを示す。ステップＳ８の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。

ステップＳ８においては、まず、制御部２１により、蛍光画像から蛍光輝点の波長に応じた色成分の抽出が行われる（ステップＳ８１）。
図１０Ａに、蛍光画像の一例を示す。
ステップＳ８１では、たとえば、蛍光粒子の発光波長が５５０ｎｍである場合には、その波長成分を有する蛍光輝点のみが画像として抽出される。

次いで、制御部２１により、抽出された画像に閾値処理が施され、二値化画像が生成され、輝点領域が抽出される（ステップＳ８２）。
なお、閾値処理の前に細胞自家蛍光や他の不要信号成分等のノイズ除去処理が施されてもよく、ガウシアンフィルタ等のローパスフィルタや二次微分等のハイパスフィルタが好ましく用いられる。
図１０Ｂに、輝点領域が抽出された画像の一例を示す。図１０Ｂに示すように、かかる画像では蛍光輝点を中心とした輝点領域が抽出されている。

次いで、制御部２１により、輝点領域にラベリング処理が施され、抽出された輝点領域のそれぞれにラベルが付与される（ステップＳ８３）。

次いで、制御部２１により、各輝点領域の輝度積算値が算出される（ステップＳ９：輝度値算出工程）。具体的には、蛍光画像から輝点領域が抽出された画像が生成されると、輝点領域ごとに、輝点領域が抽出された画像とその輝点領域に対応する部位の蛍光画像とが重ね合わされ、輝点領域が抽出された画像をマスクとして、蛍光画像から輝点領域に対応する第２の蛍光画像が生成され、その第２の蛍光画像に基づき、Ｘ座標位置及びＹ座標位置における輝度分布が作成され、この値を積算したものが輝度積算値である。

次いで、制御部２１により、各輝点領域の蛍光粒子数が算出される（ステップＳ１０：特徴量算出工程）。具体的には、まず、ステップＳ９において算出された輝度積算値より、図１１に示すような横軸を輝度積算値、縦軸を頻度（全輝点数に対する比、又は、輝点数）とする輝度分布曲線を作成する。この輝度分布曲線に基づいて、例えば、最頻値となる輝度積算値（輝度分布曲線のピークの輝度積算値Ｌ）が平均輝度値として算出される。各輝点領域の輝度積算値を平均輝度値で除算して得られた値が、各輝点領域における蛍光色素集積粒子の数、即ち蛍光粒子数である。

ステップＳ３とステップＳ１０の処理の終了後、細胞核画像と輝点領域画像の加算処理が行われる（ステップＳ１１）。この時、細胞核画像と輝点領域画像との位置ズレを補正することが有効である。
次いで、細胞核上における輝点領域の分布が画像処理装置２Ａの表示部２３に表示されるとともに、細胞種ごとに一細胞核当たりの蛍光粒子数が算出されて表示部２３に表示される（ステップＳ１２）。
ここで、細胞種ごとの蛍光粒子数の算出とは、ステップＳ３によって識別された免疫細胞と癌細胞のそれぞれについて蛍光粒子数を算出することであり、表示部２３には免疫細胞と癌細胞のそれぞれの特定タンパクの発現レベルが分類されて表示される。

以上説明したように、第１実施形態に係る病理診断支援システム１００によれば、特定の生体物質に結合可能な蛍光物質を用いて特定の生体物質が染色されるとともに、可視光で観察可能な色素を用いて細胞が染色された組織標本を撮像して得られた蛍光画像及び細胞形態画像を入力する入力工程と、蛍光画像から、輝点を含む所定の領域を抽出し、所定の領域の輝度値を算出する輝度値算出工程と、所定の領域の輝度値を、細胞形態画像における色素情報に基づいて補正する輝度値補正工程と、を含む画像処理が実行される。これにより、蛍光物質による特定のタンパク質の蛍光染色と、細胞あるいは細胞内の関心領域を可視化するための色素染色とが多重に施された組織標本において、色素による影響を抑えて蛍光物質の輝度値を精度よく検出することができるため、特定タンパク質の発現量をより正確に定量評価可能となる。

また、第１実施形態に係る病理診断支援システム１００においては、単に明視野画像のＲＧＢ値や彩度等を用いずに色素量を算出するため、色素による影響を定量的に抑えることが可能となる。
このような補正方法は、波長特性の異なる複数種類の色素によって組織標本を多重染色する場合に、特に効果的である。複数の色素が互いに重なり合った場合には画素値が高くなるため、単に画素値によって補正すると輝度積算値が本来の値よりも小さくなってしまうが、本実施形態のように色素ごとに補正式を立てることで、輝度値の補正精度を高くすることができる。

また、第１実施形態に係る病理診断支援システム１００においては、単体の蛍光物質を複数集積した蛍光物質集積粒子を用いて蛍光染色を行っている。蛍光物質集積粒子は、単体の蛍光物質に比べ高輝度かつ高耐光性であるため、蛍光物質の存在を輝点として検出可能であり、本発明のように生体物質の発現量を評価する場合に適している。

また、細胞種ごとに高精度で蛍光粒子数を算出することができるため、上記した例では免疫細胞及び癌細胞のそれぞれについて特定タンパクの発現レベルを特定可能である。このような解析手法は、詳細に患者の治療方法を示すためのより強力な手がかりとなり得る。

［変形例１］
上記の実施形態においては、色素量に応じて蛍光輝度を補正するものとしたが、変形例１においては、ＲＧＢの画素値に応じて蛍光輝度を補正する。
図１２に、変形例１に係る画像処理装置２Ａにおける画像解析処理２のフローチャートを示す。図１２に示す画像解析処理２は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。

図１２におけるステップＳ１０１〜ステップＳ１０３及びステップＳ１０４の処理は、図５におけるステップＳ１〜ステップＳ３及びステップＳ５の処理とそれぞれ同様であるため、説明を省略する。

ステップＳ１０５において、制御部２１により、ステップＳ１０１で入力された明視野画像とステップＳ１０４で入力された蛍光画像とが加算される。
次いで、制御部２１により、ＲＧＢ画素値に応じて蛍光輝度が補正される（ステップＳ１０６）。ここで、色素の重畳による減衰前の蛍光輝度値Ｉ₀は、減衰後の蛍光輝度値Ｉ、減衰係数Ａを用いて、下記の式（３）で表される。
Ｉ₀＝Ｉ／ｅｘｐ（−Ａｄ₁） ・・・（３）
ここで、変数ｄ₁は、ある画素のＲＧＢ画素値が（Ｒ，Ｇ，Ｂ）であるとすると、下記の式（４）で表される。
ｄ₁＝ａＲ＋ｂＧ＋ｃＢ ・・・（４）
なお、ａ，ｂ及びｃはＲ，Ｇ，Ｂの各々に対応する係数である。
即ち、蛍光画像の各画素について上記した式（３）によって算出された蛍光輝度値Ｉ₀を用いて、以降の解析が行われる。

ステップＳ１０７〜ステップＳ１１１の処理は、図５のステップＳ８〜ステップＳ１２の処理と同様であるため、説明を省略する。

［変形例２］
変形例２においては、ＨＳＶ画像に基づいて蛍光輝度を補正する。
図１３に、変形例２に係る画像処理装置２Ａにおける画像解析処理３のフローチャートを示す。図１３に示す画像解析処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。

図１３におけるステップＳ２０１〜ステップＳ２０３及びステップＳ２０５の処理は、図５におけるステップＳ１〜ステップＳ３及びステップＳ５の処理とそれぞれ同様であるため、説明を省略する。

ステップＳ２０４において、制御部２１により、明視野画像がＲＧＢから公知の数式を用いてＨＳＶに変換された、ＨＳＶ画像が生成される（ステップＳ２０４：彩度算出工程）。
次いで、制御部２１により、ステップＳ２０４で作成されたＨＳＶ画像とステップＳ２０５で入力された蛍光画像とが加算される（ステップＳ２０６）。

次いで、制御部２１により、ＨＳＶ画素値に応じて蛍光輝度が補正される（ステップＳ２０７）。色素の重畳による減衰前の蛍光輝度値Ｉ₀は、減衰後の蛍光輝度値Ｉ、減衰係数Ａを用いて、下記の式（５）で表される。
Ｉ₀＝Ｉ／ｅｘｐ（−Ａｄ₂） ・・・（５）
ここで、ある画素の彩度の値がＳであるとすると、
ｄ₂＝Ｓ ・・・（６）
である。即ち、蛍光輝度値Ｉ₀は、彩度に基づいて補正される。

ステップＳ２０８〜ステップＳ２１２の処理は、図５のステップＳ８〜ステップＳ１２の処理と同様であるため、説明を省略する。

なお、同様に彩度に応じて蛍光輝度を補正する方法としては、Ｌａｂ画像やＬＣＨ画像を用いた補正も可能である。

Ｌａｂ画像に基づく蛍光輝度の補正を行う場合には、色素の重畳による減衰前の蛍光輝度値Ｉ₀は、減衰後の蛍光輝度値Ｉ、減衰係数Ａを用いて、下記の式（７）で表される。
Ｉ₀＝Ｉ／ｅｘｐ（−Ａｄ₃） ・・・（７）
ここで、変数ｄ₃は、下記の式（８）で表される。
ｄ₃-＝ａ²＋ｂ² ・・・（８）
即ちｄ₃は彩度を表し、蛍光輝度値Ｉ₀は彩度に基づいて補正される。

同様に、ＬＣｈ画像に基づく蛍光輝度の補正を行う場合には、色素の重畳による減衰前の蛍光輝度値Ｉ₀は、減衰後の蛍光輝度値Ｉ、減衰係数Ａを用いて、下記の式（９）で表される。
Ｉ₀＝Ｉ／ｅｘｐ（−Ａｄ₄） ・・・（９）
ここで、変数ｄ₄は、ある画素の彩度の値がＣであるとすると、
ｄ₄＝Ｃ ・・・（１０）
であり、蛍光輝度値Ｉ₀は彩度に基づいて補正される。

変形例１及び変形例２に示したように、本発明の適用範囲は幅広く、各種の色空間に基づいて輝度値を補正することが可能である。
なお、変形例１のようにＲＧＢ値から直接補正式を立てる場合には、色素濃度画像を生成するステップ又はＨＳＶ画像等に変換するステップを省略可能であるため、簡便な方法であるといえる。

［第２実施形態］
以下、図面を参照して本発明を実施するための第２実施形態について説明するが、本発明はこれらに限定されない。なお、第１実施形態と同様の構成については、同一の符号を付して詳細な説明を省略する。

第１実施形態においては、蛍光画像から輝点領域を抽出する前に蛍光輝度の補正を行うものとしたが、第２実施形態においては、輝点領域を抽出し、蛍光粒子数を算出した後に明視野画像に基づいて蛍光粒子数の補正を行う。
図１４に、第２実施形態に係る画像処理装置２Ａにおける画像解析処理４のフローチャートを示す。図１４に示す画像解析処理４は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。

図１４におけるステップＳ３０１〜ステップＳ３０３、ステップＳ３０４及びステップＳ３０５〜ステップＳ３０７の処理は、図５におけるステップＳ１〜ステップＳ３、ステップＳ５及びステップＳ８〜ステップＳ１０の処理とそれぞれ同様であるため、説明を省略する。

ステップＳ３０８において、制御部２１により、第１実施形態と同様に、明視野画像の各画素の画素値に基づいて色素濃度画像が作成される。
続いて、制御部２１により、ステップＳ３０８で作成された色素濃度画像と、ステップＳ３０７で作成された輝点領域が抽出された画像とが加算される（ステップＳ３０９）。

次いで、制御部２１により、色素濃度に応じて蛍光粒子数が補正される（ステップＳ３１０:特徴量補正工程）。
具体的には、まず、第１実施形態におけるステップＳ７の処理と同様に、色素量ｄに基づいて減衰後の蛍光輝度値Ｉを補正した蛍光輝度値Ｉ₀が算出される。算出された蛍光輝度値Ｉ₀と蛍光輝度値Ｉとの比（ｒ＝Ｉ₀／Ｉ）を算出し、ステップＳ３０７で算出された蛍光粒子数をｒで除算することで、蛍光粒子数を補正することができる。

ステップＳ３１１及びステップＳ３１２の処理は、図５のステップＳ１１及びステップＳ１２の処理と同様であるため、説明を省略する。

以上説明したように、第２実施形態に係る病理診断支援システム１００によれば、特定の生体物質に結合可能な蛍光物質を用いて特定の生体物質が染色されるとともに、可視光で観察可能な色素を用いて細胞が染色された組織標本を撮像して得られた蛍光画像及び細胞形態画像を入力する入力工程と、蛍光画像から、輝点を含む所定の領域を抽出し、所定の領域の輝度値を算出する輝度値算出工程と、所定の領域の輝度値に基づいて、特定の生体物質の発現レベルを示す特徴量を算出する特徴量算出工程と、特徴量を、細胞形態画像における色素情報に基づいて補正する特徴量補正工程と、を含む画像処理が実行される。
したがって、蛍光輝点の輝度が検出可能な程度に十分に高い場合には、特徴量の算出を先に実行してその後特徴量を補正することでも、上記第１実施形態と同様の効果を得られる。

[他の実施形態]
なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。

例えば、上記実施形態おいては、補正式によって蛍光輝度を補正するものとしたが、例えばルックアップテーブルを用意し、明視野画像のＲＧＢ値から蛍光輝度の補正量を算出するものとしてもよい。

また、上記実施形態においては、単一の蛍光物質集積粒子を用いて蛍光染色するものとしたが、これに限らず、波長特性の異なる複数の蛍光物質で蛍光染色してもよい。この場合、蛍光物質によって補正式（上記した減衰係数Ａ）が変動するため、蛍光物質と色素の組み合わせごとに補正式を立てて補正を行うことが望ましい。

また、明視野画像用の色素染色を蛍光染色の前に行うと、蛍光物質集積粒子が生体物質に付着しにくくなるため、色素染色は蛍光染色の後に行うことが好ましい。なお、色素染色を蛍光染色の後に行う場合には、第１実施形態及び第２実施形態の何れの補正方法も用いることができるが、蛍光染色の前に色素染色を行う場合には、第２実施形態のように蛍光粒子数を補正するものとし、染色順に応じた補正式を立てて上記したｒを算出することが望ましい。
また、波長特性の異なる複数の色素で多重に色素染色を行う場合は、染色順に応じた補正式を立てて補正を行うことが望ましい。

また、上記実施形態においては、蛍光物質として、高輝度であって輝点数を計測することが容易な蛍光物質集積粒子を用いるものとしたが、これに限らず、蛍光色素単体や量子ドット単体を用いてもよい。

また、上記実施形態においては、明視野画像から細胞核の抽出を行うものとしたが、これに限らず任意の関心領域を抽出するものとしてもよい。

また、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてＨＤＤや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。

また、画像処理装置は必ずしも単体の装置で構成する必要はなく、入力部、輝度値算出部、輝度値補正部などの構成毎に特化した装置を組み合わせた構成であってもよい。

その他、病理診断支援システム１００を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明は、画像処理方法、画像処理装置及びプログラムに利用できる。

１Ａ 顕微鏡画像取得装置
２Ａ 画像処理装置
２１ 制御部
２２ 操作部
２３ 表示部
２４ 通信Ｉ／Ｆ
２５ 記憶部
２６ バス
３Ａ ケーブル
１００ 病理診断支援システム

Claims (11)

1. 特定の生体物質に結合可能な蛍光物質を用いて前記特定の生体物質が染色されるとともに、可視光で観察可能な色素を用いて細胞が染色された組織標本を撮像して得られた蛍光画像及び細胞形態画像を入力する入力工程と、
   前記蛍光画像から、輝点を含む所定の領域を抽出し、前記所定の領域の輝度値を算出する輝度値算出工程と、
   前記所定の領域の輝度値を、前記細胞形態画像における色素情報に基づいて補正する輝度値補正工程と、を含む
   画像処理方法。
2. 前記細胞形態画像における各画素について、前記細胞形態画像の染色に用いた色素の色素量を算出する色素量算出工程を含み、
   前記輝度値補正工程は、前記色素量を前記色素情報として用いて輝度値を補正する
   請求項１に記載の画像処理方法。
3. 前記色素量算出工程は、カラーデコンボリューション手法により、前記細胞形態画像の各画素の色素基底に基づいて色素量を推定するとともに、前記細胞形態画像の各画素に対応させて、前記色素量を分布させた色素濃度画像を生成し、
   前記輝度値補正工程は、前記色素濃度画像に基づいて輝度値を補正する
   請求項２に記載の画像処理方法。
4. 前記細胞形態画像における各画素について、前記細胞形態画像の染色に用いた色素の彩度を算出する彩度算出工程を含み、
   前記輝度値補正工程は、前記彩度を前記色素情報として用いて輝度値を補正する
   請求項１に記載の画像処理方法。
5. 前記輝度値補正工程は、ＲＧＢ値を前記色素情報として用いて輝度値を補正する
   請求項１に記載の画像処理方法。
6. 前記組織標本は、単一又は波長特性の異なる複数種類の蛍光物質、及び単一又は波長特性の異なる複数種類の色素によって染色され、
   前記輝度値補正工程は、蛍光物質と色素との組み合わせごとに、当該色素の色素情報に基づいて、前記輝度値を補正する
   請求項１から５のいずれか一項に記載の画像処理方法。
7. 前記組織標本は、波長特性の異なる複数種類の色素によって染色され、
   前記輝度値補正工程は、複数種類の色素の染色順に応じて前記輝度値の補正を異ならせる
   請求項１から６のいずれか一項に記載の画像処理方法。
8. 特定の生体物質に結合可能な蛍光物質を用いて前記特定の生体物質が染色されるとともに、可視光で観察可能な色素を用いて細胞が染色された組織標本を撮像して得られた蛍光画像及び細胞形態画像を入力する入力工程と、
   前記蛍光画像から、輝点を含む所定の領域を抽出し、前記所定の領域の輝度値を算出する輝度値算出工程と、
   前記所定の領域の輝度値に基づいて、前記特定の生体物質の発現レベルを示す特徴量を算出する特徴量算出工程と、
   前記特徴量を、前記細胞形態画像における色素情報に基づいて補正する特徴量補正工程と、を含む
   画像処理方法。
9. 前記蛍光物質は、単体の蛍光物質を複数集積した蛍光物質集積粒子である
   請求項１から８のいずれか一項に記載の画像処理方法。
10. 特定の生体物質に結合可能な蛍光物質を用いて前記特定の生体物質が染色されるとともに、可視光で観察可能な色素を用いて細胞が染色された組織標本を撮像して得られた蛍光画像及び細胞形態画像を入力する入力部と、
    前記蛍光画像から、輝点を含む所定の領域を抽出し、前記所定の領域の輝度値を算出する輝度値算出部と、
    前記所定の領域の輝度値を、前記細胞形態画像における色素情報に基づいて補正する輝度値補正部と、を備える
    画像処理装置。
11. 画像処理装置のコンピューターを、
    特定の生体物質に結合可能な蛍光物質を用いて前記特定の生体物質が染色されるとともに、可視光で観察可能な色素を用いて細胞が染色された組織標本を撮像して得られた蛍光画像及び細胞形態画像を入力する入力部、
    前記蛍光画像から、輝点を含む所定の領域を抽出し、前記所定の領域の輝度値を算出する輝度値算出部、
    前記所定の領域の輝度値を、前記細胞形態画像における色素情報に基づいて補正する輝度値補正部、
    として機能させるためのプログラム。

Images