JP6717751B2 - 画像処理方法、画像生成方法、画像処理装置及びプログラム - Google Patents

Description

本発明は、細胞の形態を表す明視野画像及び特定の生体物質の発現を蛍光輝点で表す蛍光画像から、病理画像を生成する画像処理方法、画像生成方法、画像処理装置及びプログラムに関する。

病理診断において、組織切片で過剰発現をしているタンパク質などの特定の生体物質及びその発現量を特定することは、予後の予測やその後の治療計画を決める上で非常に重要な情報となり得る。そこで、近年、生体物質の発現量の定量精度を高めるために、蛍光物質を用いて特定の生体物質を染色し、蛍光画像における蛍光物質の蛍光を解析する定量方法が多く開発されている。

一方、発現量の定量精度を高めると同時に、細胞の形態を表す画像上で、特定の生体物質の発現位置を目視により確認したいという、病理医や研究者らの要求がある。
病理診断においては、細胞の形態を表す画像として、例えばヘマトキシリン染色やヘマトキシリン−エオジン染色等の組織染色を施した標本を撮像した明視野画像が、一般的に用いられている。このように染色を施された明視野画像上における、特定タンパクの発現位置や発現量を目視により確認したい場合、明視野画像と蛍光画像（暗視野画像）を単に重ね合わせた画像は、画像の輝度やコントラストが低いため、生体物質の発現位置が判別しにくい等の問題がある。また、明視野画像内に蛍光画像の蛍光輝点の色相と近い領域が存在する場合には、特定の生体物質の発現状況を視覚的に判断することはさらに難しい。

例えば、特許文献１には、蛍光体で標識した生体サンプルの全体を撮影した蛍光画像（暗視野画像）と明視野画像を重ね合わせたサムネイル画像を生成し、当該サムネイル画像から、生体サンプルの観察領域を設定することが記載されている。

特開２０１１−７０１４０号公報

しかし、特許文献１においては、明視野画像は、細胞の形態を得るためではなく、生体サンプルのラベルなどの情報を得ることを目的として用いられている。そのため、特許文献１の発明では、組織染色を施された細胞の形態を表す明視野画像と特定タンパクの発現を蛍光の発光で表す暗視野画像とを組み合わせて、特定の生体物質の発現状況を視認しやすい画像を得ることはできないという問題点があった。

本発明の主な目的は、蛍光物質の発光に基づく生体物質の発現を、明視野画像において視覚的に確認しやすい画像を生成可能な画像処理方法、画像生成方法、画像処理装置及びプログラムを提供することにある。

上記課題を解決するため、本発明の第１項に記載の発明によれば、
標本における細胞の形態を表す明視野画像と、平均粒径が３０〜８００ｎｍの粒子により標識され、前記標本に存在する特定の物質を蛍光輝点で表す蛍光画像とを入力する入力工程と、
前記蛍光画像において前記蛍光輝点の領域を抽出する輝点抽出工程と、
前記明視野画像と、前記蛍光輝点の抽出後の前記蛍光画像とを重ね合わせた合成画像を生成する合成画像生成工程と、
前記合成画像から、前記標本における前記特定の物質の位置又は量を特定する合成画像解析工程と、
を有することを特徴とする画像処理方法が提供される。

本発明の第２項に記載の発明によれば、
前記明視野画像に対する色相の変換及びコントラストの調整、並びに前記蛍光画像に対する色相の変換、コントラストの調整及び透過率の調整のうち、少なくとも一つの画像処理を行う画像調整工程を有することを特徴とする第１項に記載の画像処理方法が提供される。

本発明の第３項に記載の発明によれば、
前記画像調整工程において、前記蛍光輝点の抽出後の前記蛍光画像に対して、前記蛍光輝点の色相を変換することを特徴とする第２項に記載の画像処理方法が提供される。

本発明の第４項に記載の発明によれば、
前記画像調整工程において、前記蛍光輝点の抽出後の前記蛍光画像に対して、前記蛍光輝点のコントラストを調整することを特徴とする第２項または第３項に記載の画像処理方法が提供される。

本発明の第５項に記載の発明によれば、
前記画像調整工程において、前記蛍光輝点の抽出後の前記蛍光画像に対して、前記蛍光輝点の透過率を調整することを特徴とする第２項〜第４項の何れか一項に記載の画像処理方法が提供される。

本発明の第６項に記載の発明によれば、
前記画像調整工程において、前記明視野画像及び前記蛍光画像の色情報に基づいて、前記蛍光輝点の抽出後の前記蛍光画像に対して、色相の変換、コントラストの調整、透過率の調整のうち、少なくとも一つの画像処理を行うことを特徴とする第２項に記載の画像処理方法が提供される。

本発明の第７項に記載の発明によれば、
前記蛍光輝点の座標を算出する算出工程と、
算出された座標を示す座標画像を生成する座標画像生成工程と、を有し、
前記合成画像生成工程において、前記明視野画像と前記蛍光画像と前記座標画像を重ね合わせた合成画像を生成することを特徴とする第１項〜第６項の何れか一項に記載の画像処理方法が提供される。

本発明の第８項に記載の発明によれば、
標本における細胞の形態を表す明視野画像と、平均粒径が３０〜８００ｎｍの粒子により標識され、前記標本に存在する特定の物質を蛍光輝点で表す蛍光画像とを入力する入力工程と、
前記蛍光画像において前記蛍光輝点の領域を抽出する輝点抽出工程と、
前記明視野画像と、前記蛍光輝点の抽出後の前記蛍光画像とを重ね合わせた合成画像を生成する合成画像生成工程と、
前記合成画像から、前記標本における前記特定の物質の位置又は量を特定する合成画像解析工程と、
を有することを特徴とする画像生成方法が提供される。
本発明の第９項に記載の発明によれば、
標本における細胞の形態を表す明視野画像と、平均粒径が３０〜８００ｎｍの粒子により標識され、前記標本に存在する特定の物質を蛍光輝点で表す蛍光画像とを入力する入力手段と、
前記蛍光画像において前記蛍光輝点の領域を抽出する輝点抽出手段と、
前記明視野画像と、前記蛍光輝点の抽出後の前記蛍光画像とを重ね合わせた合成画像を生成する合成画像生成手段と、
前記合成画像から、前記標本における前記特定の物質の位置又は量を特定する合成画像解析手段と、
を備えることを特徴とする画像処理装置が提供される。

本発明の第１０項に記載の発明によれば、
コンピュータを、
標本における細胞の形態を表す明視野画像と、平均粒径が３０〜８００ｎｍの粒子により標識され、前記標本に存在する特定の物質を蛍光輝点で表す蛍光画像とを入力する入力手段、
前記蛍光画像において前記蛍光輝点の領域を抽出する輝点抽出手段、
前記明視野画像と、前記蛍光輝点の抽出後の前記蛍光画像とを重ね合わせた合成画像を生成する合成画像生成手段、
前記合成画像から、前記標本における前記特定の物質の位置又は量を特定する合成画像解析手段、
として機能させるためのプログラムが提供される。

本発明によれば、蛍光物質の発光に基づく生体物質の発現を、明視野画像において容易に視覚的に確認することができる。

本発明の生体物質定量方法を用いた病理診断支援システムのシステム構成を示す図である。 図１の画像処理装置の機能的構成を示すブロック図である。 明視野画像の一例を示す図である。 蛍光画像の一例を示す図である。 図２の制御部により実行される第一の画像処理方法を示すフローチャートである。 輝点画像を示す図である。 コントラストが調整された輝点画像を示す図である。 コントラストが調整された輝点画像と明視野画像を重ね合わせた画像の一例である。 図７Ａ内の矩形で囲まれた領域の拡大図である。 明視野画像及び蛍光画像を重ね合わせた画像の一例である。 図８Ａ内の矩形で囲まれた領域の拡大図である。 図２の制御部により実行される第二の画像処理方法を示すフローチャートである。 図２の制御部により実行される第三の画像処理方法を示すフローチャートである。 輝点画像から輝点座標を抽出した座標画像の一例である。 輝点画像、明視野画像、及び座標画像を重ね合わせた合成画像の一例である。 輝点画像から輝点領域の輪郭を抽出した座標画像の一例である。 輝点画像、明視野画像、及び座標画像を重ね合わせた合成画像の一例である。

以下、図を参照して本発明を実施するための形態について説明するが、本発明はこれらに限定されない。

＜病理診断支援システム１００の構成＞
図１に、本発明の生体物質定量方法を用いた病理診断支援システム１００の全体構成例を示す。病理診断支援システム１００は、所定の染色試薬で染色された標本の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織標本における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。

図１に示すように、病理診断支援システム１００は、顕微鏡画像取得装置１Ａと、画像処理装置２Ａがケーブル３Ａ等のインターフェースを介してデータ送受信可能に接続されて構成されている。なお、顕微鏡画像取得装置１Ａと画像処理装置２Ａとの接続方式は特に限定されない。例えば、顕微鏡画像取得装置１Ａと画像処理装置２ＡはＬＡＮ（Local Area Network）により接続されることとしてもよいし、無線により接続される構成としてもよい。
さらに、病理診断支援システム１００は標本の染色を自動で行う染色装置を備えても良い。

顕微鏡画像取得装置１Ａは、公知のカメラ付き光学顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織標本の顕微鏡画像を取得し、画像処理装置２Ａに送信するものである。
顕微鏡画像取得装置１Ａは、照射手段、結像手段、撮像手段、通信Ｉ／Ｆ等を備えて構成されている。照射手段は、光源、フィルター等により構成され、スライド固定ステージに載置されたスライド上の組織標本に光を照射する。結像手段は、接眼レンズ、対物レンズ等により構成され、照射した光によりスライド上の組織標本から発せられる透過光、反射光、又は蛍光を結像する。撮像手段は、ＣＣＤ(Charge Coupled Device)センサー等を備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信Ｉ／Ｆは、生成された顕微鏡画像の画像データを画像処理装置２Ａに送信する。本実施の形態において、顕微鏡画像取得装置１Ａは、明視野観察に適した照射手段及び結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段及び結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野／蛍光を切り替えることが可能である。

なお、顕微鏡画像取得装置１Ａとしては、カメラ付き顕微鏡に限定されず、例えば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織標本全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置（例えば、特表２００２−５１４３１９号公報参照）等を用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織標本全体像を表示部で一度に閲覧可能な画像データを取得することができる。

画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像を解析することにより、観察対象の組織標本における特定の生体物質の発現分布を表示する。
図２に、画像処理装置２Ａの機能構成例を示す。図２に示すように、画像処理装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５等を備えて構成され、各部はバス２６を介して接続されている。

制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等を備えて構成され、記憶部２５に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置２Ａの動作を統括的に制御する。例えば、制御部２１は、記憶部２５に記憶されているプログラムとの協働により画像解析処理（図５参照）を実行し、輝点抽出手段、合成画像生成手段、画像調整手段、輝点の座標の算出手段、座標画像生成手段、としての機能を実現する。

操作部２２は、文字入力キー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部２１に出力する。

表示部２３は、例えば、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等のモニタを備えて構成されており、制御部２１から入力される表示信号の指示に従って、各種画面を表示する。本実施の形態において、表示部２３は、画像解析結果を出力するための出力手段として機能する。

通信Ｉ／Ｆ２４は、顕微鏡画像取得装置１Ａをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信Ｉ／Ｆ２４は、明視野画像と蛍光画像の入力手段として機能する。

記憶部２５は、例えばＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリー等で構成されている。記憶部２５には、前述のように各種プログラムや各種データ等が記憶されている。
その他、画像処理装置２Ａは、ＬＡＮアダプターやルーター等を備え、ＬＡＮ等の通信ネットワークを介して外部機器と接続される構成としてもよい。

本実施の形態における画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された同一視野範囲を撮影した明視野画像及び蛍光画像を用いて病理画像を生成することが好ましい。
明視野画像は、Ｈ（ヘマトキシリン）染色試薬、ＨＥ（ヘマトキシリン−エオジン）染色試薬を用いて染色された組織標本を、顕微鏡画像取得装置１Ａにおいて明視野で拡大結像及び撮影することにより得られる顕微鏡画像であって、当該組織標本における細胞の形態を表す細胞形態画像である。ヘマトキシリンは青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など（好塩基性の組織等）を染色する。エオジンは赤〜ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など（好酸性の組織等）を染色する。図３に、ＨＥ染色を行った組織標本を撮影した明視野画像の一例を示す。
蛍光画像は、特定の生体物質を特異的に標識する蛍光物質を含む染色試薬を用いて染色された組織標本に対し、顕微鏡画像取得装置１Ａにおいて所定波長の励起光を照射して蛍光物質を発光（蛍光）させ、この蛍光を拡大結像及び撮影することにより得られる顕微鏡画像である。即ち、蛍光画像に現れる蛍光は、組織標本における、特定の生体物質の発現を示すものである。図４に、蛍光画像の一例を示す。

＜蛍光画像の取得＞
ここで、蛍光画像の取得方法について、この蛍光画像の取得に際して用いられる染色試薬、染色試薬による組織標本の染色方法等も含めて詳細に説明する。

〔蛍光物質〕
蛍光画像の取得のための染色試薬に用いられる蛍光物質としては、蛍光有機色素及び量子ドット（半導体粒子）を挙げることができる。２００〜７００ｎｍの範囲内の波長の紫外〜近赤外光により励起されたときに、４００〜１１００ｎｍの範囲内の波長の可視〜近赤外光の発光を示すことが好ましい。

蛍光有機色素としては、フルオレセイン系色素分子、ローダミン系色素分子、Alexa Fluor（インビトロジェン社製）系色素分子、BODIPY（インビトロジェン社製）系色素分子、カスケード系色素分子、クマリン系色素分子、エオジン系色素分子、ＮＢＤ系色素分子、ピレン系色素分子、Texas Red系色素分子、シアニン系色素分子等を挙げることができる。

具体的には、５−カルボキシ−フルオレセイン、６−カルボキシ−フルオレセイン、５，６−ジカルボキシ−フルオレセイン、６−カルボキシ−２’，４，４’，５’，７，７’−ヘキサクロロフルオレセイン、６−カルボキシ−２’，４，７，７’−テトラクロロフルオレセイン、６−カルボキシ−４’，５’−ジクロロ−２’，７’−ジメトキシフルオレセイン、ナフトフルオレセイン、５−カルボキシ−ローダミン、６−カルボキシ−ローダミン、５，６−ジカルボキシ−ローダミン、ローダミン ６Ｇ、テトラメチルローダミン、Ｘ−ローダミン、及びAlexa Fluor 350、Alexa Fluor 405、Alexa Fluor 430、Alexa Fluor 488、Alexa Fluor 500、Alexa Fluor 514、Alexa Fluor 532、Alexa Fluor 546、Alexa Fluor 555、Alexa Fluor 568、Alexa Fluor 594、Alexa Fluor 610、Alexa Fluor 633、Alexa Fluor 635、Alexa Fluor 647、Alexa Fluor 660、Alexa Fluor 680、Alexa Fluor 700、Alexa Fluor 750、BODIPY FL、BODIPY TMR、BODIPY 493／503、BODIPY 530／550、BODIPY 558／568、BODIPY 564／570、BODIPY 576／589、BODIPY 581／591、BODIPY 630／650、BODIPY 650／665（以上インビトロジェン社製）、メトキシクマリン、エオジン、ＮＢＤ、ピレン、Cy5、Cy5.5、Cy7等を挙げることができる。単独でも複数種を混合したものを用いてもよい。

量子ドットとしては、II−VI族化合物、III−V族化合物、又はIV族元素を成分として含有する量子ドット（それぞれ、「II−VI族量子ドット」、「III−V族量子ドット」、「IV族量子ドット」ともいう。）のいずれかを用いることができる。単独でも複数種を混合したものを用いてもよい。

具体的には、ＣｄＳｅ、ＣｄＳ、ＣｄＴｅ、ＺｎＳｅ、ＺｎＳ、ＺｎＴｅ、ＩｎＰ、ＩｎＮ、ＩｎＡｓ、ＩｎＧａＰ、ＧａＰ、ＧａＡｓ、Ｓｉ、Ｇｅが挙げられるが、これらに限定されない。

〔蛍光物質内包ナノ粒子〕
本実施の形態において、蛍光物質は、蛍光物質内包ナノ粒子（蛍光粒子）を形成していても良い。蛍光粒子とは、蛍光物質がナノ粒子内部に分散されたものをいい、蛍光物質とナノ粒子自体とが化学的に結合していても、結合していなくてもよい。ナノ粒子を構成する素材は特に限定されるものではなく、ポリスチレン、ポリ乳酸、シリカ、メラミン等を挙げることができる。

また、量子ドットをコアとし、その上にシェルを設けた量子ドットを蛍光粒子として用いることもできる。以下、本明細書中シェルを有する量子ドットの表記法として、コアがＣｄＳｅ、シェルがＺｎＳの場合、ＣｄＳｅ／ＺｎＳと表記する。例えば、ＣｄＳｅ／ＺｎＳ、ＣｄＳ／ＺｎＳ、ＩｎＰ／ＺｎＳ、ＩｎＧａＰ／ＺｎＳ、Ｓｉ／ＳｉＯ₂、Ｓｉ／ＺｎＳ、Ｇｅ／ＧｅＯ₂、Ｇｅ／ＺｎＳ等を用いることができるが、これらに限定されない。
量子ドットは必要に応じて、有機ポリマー等により表面処理が施されているものを用いてもよい。例えば、表面カルボキシ基を有するＣｄＳｅ／ＺｎＳ（インビトロジェン社製）、表面アミノ基を有するＣｄＳｅ／ＺｎＳ（インビトロジェン社製）等が挙げられる。

本実施の形態で用いられる蛍光粒子は、公知の方法により作製することが可能であり、蛍光色素の内包には、原料であるモノマーに蛍光色素の分子を結合させて粒子を合成する方法、樹脂に蛍光色素を吸着させて導入する方法など、樹脂中への蛍光色素の導入はいかなる方法を用いても構わない。

蛍光有機色素を内包したポリスチレンナノ粒子は、米国特許４３２６００８（１９８２）に記載されている重合性官能基をもつ有機色素を用いた共重合法や、米国特許５３２６６９２（１９９２）に記載されているポリスチレンナノ粒子への蛍光有機色素の含浸法を用いて作製することができる。

量子ドットを内包したポリマーナノ粒子は、ネイチャー・バイオテクノロジー１９巻６３１ページ（２００１）に記載されているポリスチレンナノ粒子への量子ドットの含浸法を用いて作製することができる。

本実施の形態で用いられる蛍光物質内包ナノ粒子の平均粒径は特に限定されないが、３０〜８００ｎｍ程度のものを用いることができる。また、粒径のばらつきを示す変動係数（＝（標準偏差／平均値）×１００％）は特に限定されないが、２０％以下のものを用いることが好ましい。平均粒径は、走査型電子顕微鏡（ＳＥＭ）を用いて電子顕微鏡写真を撮影し十分な数の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径として求めた。本願においては、１０００個の粒子の粒径の算術平均を平均粒径とした。変動係数も、１０００個の粒子の粒径分布から算出した値とした。

〔蛍光粒子の表面修飾〕
蛍光粒子は、染色対象の生体物質と特異的に結合及び／又は反応するための表面修飾を施される。染色対象の生体物質は、それと特異的に結合する物質が存在するものであれば特に限定されるものではないが、代表的にはタンパク質（ペプチド）および核酸（オリゴヌクレオチド、ポリヌクレオチド）、抗体等が挙げられる。したがって、そのような染色対象の生体物質に結合する物質としては、前記タンパク質を抗原として認識する抗体やそれに特異的に結合する他のタンパク質等、および前記核酸にハイブリタイズする塩基配列を有する核酸等が挙げられる。具体的には、細胞核に存在するタンパク質であるＫｉ６７に特異的に結合する抗Ｋｉ６７抗体、細胞核に存在するエストロゲン受容体（ＥＲ）に特異的に結合する抗ＥＲ抗体、細胞骨格を形成するアクチンに特異的に結合する抗アクチン抗体等があげられる。中でも抗Ｋｉ６７抗体及び抗ＥＲ抗体を蛍光粒子に結合させたものは、乳癌の投薬選定に用いることができ、好ましい。

表面修飾された蛍光粒子と、染色対象の生体物質は、直接結合されても良いが、別の物質を介して間接的に結合されても良い。例えば、染色対象の生体物質に特異的に結合する一次抗体及び、一次抗体に特異的に結合するビオチン化二次抗体を介して、ビオチンに特異的に結合するストレプトアビジンにより修飾された蛍光物質と染色対象の生体物質が結合することとしても良い。
一次抗体及び二次抗体は、蛍光粒子が染色対象の生体物質に特異的に結合できる組み合わせの抗体を任意に用いることができる。

特定抗原としては以下を例示することができ、各抗原を認識する抗体はさまざまな抗体メーカーから入手可能であるとともに一般的な知識に基づいて作成可能である。特定抗原の例示として、Ｍ.アクチン、Ｍ.Ｓ.アクチン、Ｓ.Ｍ.アクチン、ＡＣＴＨ、Ａｌｋ−１、α１−アンチキモトリプシン、α１−アンチトリプシン、ＡＦＰ、ｂｃｌ−２、ｂｃｌ−６、β-カテニン、ＢＣＡ２２５、ＣＡ１９−９、ＣＡ１２５、カルシトニン、カルレチニン、ＣＤ１ａ、ＣＤ３、ＣＤ４、ＣＤ５、ＣＤ８、ＣＤ１０、ＣＤ１５、ＣＤ２０、ＣＤ２１、ＣＤ２３、ＣＤ３０、ＣＤ３１、ＣＤ３４、ＣＤ４３、ＣＤ４５、ＣＤ４５Ｒ、ＣＤ５６、ＣＤ５７、ＣＤ６１、ＣＤ６８、ＣＤ７９a、“ＣＤ９９、ＭＩＣ２”、ＣＤ１３８、クロモグラニン、ｃ−ＫＩＴ、ｃ−ＭＥＴ、コラーゲンタイプＩＶ、Ｃｏｘ−２、サイクリンＤ１、ケラチン、サイトケラチン（高分子量）、パンケラチン、パンケラチン、サイトケラチン５／６、サイトケラチン７、サイトケラチン８、サイトケラチン８／１８、サイトケラチン14、サイトケラチン１９、サイトケラチン２０、ＣＭＶ、Ｅ−カドヘリン、ＥＧＦＲ、ＥＲ、ＥＭＡ、ＥＢＶ、第ＶＩＩＩ因子関連抗原、ファッシン、ＦＳＨ、ガレクチン−３、ガストリン、ＧＦＡＰ、グルカゴン、グリコフォリンＡ、グランザイムＢ、ｈＣＧ、ｈＧＨ、ヘリコバクターピロリ、ＨＢｃ抗原、ＨＢｓ抗原、ヘパトサイト特異抗原、ＨＥＲ２、ＨＳＶ−Ｉ、ＨＳＶ−ＩＩ、ＨＨＶ−８、ＩｇＡ、ＩｇＧ、ＩｇＭ、ＩＧＦ−１Ｒ、インヒビン、インスリン、カッパL鎖、Ｋｉ６７、ラムダＬ鎖、ＬＨ、リゾチーム、マクロファージ、メランＡ、ＭＬＨ−１、ＭＳＨ−２、ミエロパーオキシダーゼ、ミオゲニン、ミオグロビン、ミオシン、ニューロフィラメント、ＮＳＥ、ｐ２７（Ｋｉｐ１）、ｐ５３、ｐ５３、Ｐ６３、ＰＡＸ ５、ＰＬＡＰ、ニューモシスティス カリニ、ポドプラニン（Ｄ２−４０）、ＰＧＲ、プロラクチン、ＰＳＡ、前立腺酸性フォスファターゼ、Ｒｅｎａｌ Ｃｅｌｌ Ｃａｒｃｉｎｏｍａ、Ｓ１００、ソマトスタチン、スペクトリン、シナプトフィジン、ＴＡＧ−７２、ＴｄＴ、サイログロブリン、ＴＳＨ、ＴＴＦ−１、ＴＲＡｃＰ、トリプターゼ、ビリン、ビメンチン、ＷＴ１、Ｚａｐ−７０が挙げられる。

目的とする生体物質が核酸の場合、病気との関連が指摘されている特定核酸遺伝子としては以下を例示することができ、各特定核酸遺伝子を認識するプローブは、BACプローブとして入手可能であるとともに一般的な知識に基づいて作成可能である。具体的な特定核酸遺伝子は、癌の増殖や分子標的薬の奏効率に関係する遺伝子として、ＨＥＲ２、ＴＯＰ２Ａ、ＨＥＲ３、ＥＧＦＲ、Ｐ５３、ＭＥＴなどが挙げられ、さらに、各種癌関連遺伝子として知られている遺伝子として、以下のものが挙げられる。チロシンキナーゼ関連遺伝子として、ＡＬＫ、ＦＬＴ３、ＡＸＬ、ＦＬＴ４（ＶＥＧＦＲ３、ＤＤＲ１、ＦＭＳ（ＣＳＦ１Ｒ）、ＤＤＲ２、ＥＧＦＲ（ＥＲＢＢ１）、ＨＥＲ４（ＥＲＢＢ４）、ＥＭＬ４−ＡＬＫ、ＩＧＦ１Ｒ、ＥＰＨＡ１、ＩＮＳＲ、ＥＰＨＡ２、ＩＲＲ（ＩＮＳＲＲ）、ＥＰＨＡ３、ＫＩＴ、ＥＰＨＡ４、ＬＴＫ、ＥＰＨＡ５、ＭＥＲ（ＭＥＲＴＫ）、ＥＰＨＡ６、ＭＥＴ、ＥＰＨＡ７、ＭＵＳＫ、ＥＰＨＡ８、ＮＰＭ１−ＡＬＫ、ＥＰＨＢ１、ＰＤＧＦＲα（ＰＤＧＦＲＡ）、ＥＰＨＢ２、ＰＤＧＦＲβ（ＰＤＧＦＲＢ）、ＥＰＨＢ３、ＲＥＴ、ＥＰＨＢ４、ＲＯＮ（ＭＳＴ１Ｒ）、ＦＧＦＲ１、ＲＯＳ（ＲＯＳ１）、ＦＧＦＲ２、ＴＩＥ２（ＴＥＫ）、ＦＧＦＲ３、ＴＲＫＡ（ＮＴＲＫ１）、ＦＧＦＲ４、ＴＲＫＢ（ＮＴＲＫ２）、ＦＬＴ１（ＶＥＧＦＲ１）、ＴＲＫＣ（ＮＴＲＫ３）が挙げられる。また、乳がん関連の遺伝子としてＡＴＭ、ＢＲＣＡ１、ＢＲＣＡ２、ＢＲＣＡ３、ＣＣＮＤ１、Ｅ−Ｃａｄｈｅｒｉｎ、ＥＲＢＢ２、ＥＴＶ６、ＦＧＦＲ１、ＨＲＡＳ、ＫＲＡＳ、ＮＲＡＳ、ＮＴＲＫ３、ｐ５３、ＰＴＥＮが挙げられる。カルチノイド腫瘍に関連する遺伝子として、ＢＣＬ２、ＢＲＤ４、ＣＣＮＤ１、ＣＤＫＮ１Ａ、ＣＤＫＮ２Ａ、ＣＴＮＮＢ１、ＨＥＳ１、ＭＡＰ２、ＭＥＮ１、ＮＦ１、ＮＯＴＣＨ１、ＮＵＴ、ＲＡＦ、ＳＤＨＤ、ＶＥＧＦＡが挙げられる。大腸がん関連遺伝子として、ＡＰＣ、ＭＳＨ６、ＡＸＩＮ２、ＭＹＨ、ＢＭＰＲ１Ａ、ｐ５３、ＤＣＣ、ＰＭＳ２、ＫＲＡＳ２ （ｏｒ Ｋｉ−ｒａｓ）、ＰＴＥＮ、ＭＬＨ１、ＳＭＡＤ４、ＭＳＨ２、ＳＴＫ１１、ＭＳＨ６が挙げられる。肺がん関連の遺伝子としては、ＡＬＫ、ＰＴＥＮ、ＣＣＮＤ１、ＲＡＳＳＦ１Ａ、ＣＤＫＮ２Ａ、ＲＢ１、ＥＧＦＲ、ＲＥＴ、ＥＭＬ４、ＲＯＳ１、ＫＲＡＳ２、ＴＰ５３、ＭＹＣが挙げられる。肝臓がん関連の遺伝子としては、Ａｘｉｎ１、ＭＡＬＡＴ１、ｂ−ｃａｔｅｎｉｎ、ｐ１６ ＩＮＫ４Ａ、ｃ−ＥＲＢＢ−２、ｐ５３、ＣＴＮＮＢ１、ＲＢ１、Ｃｙｃｌｉｎ Ｄ１、ＳＭＡＤ２、ＥＧＦＲ、ＳＭＡＤ４、ＩＧＦＲ２、ＴＣＦ１、ＫＲＡＳが挙げられる。腎臓がん関連遺伝子として、Ａｌｐｈａ、ＰＲＣＣ、ＡＳＰＳＣＲ１、ＰＳＦ、ＣＬＴＣ、ＴＦＥ３、ｐ５４ｎｒｂ／ＮＯＮＯ、ＴＦＥＢが挙げられる。甲状腺がん関連遺伝子として、ＡＫＡＰ１０、ＮＴＲＫ１、ＡＫＡＰ９、ＲＥＴ、ＢＲＡＦ、ＴＦＧ、ＥＬＥ１、ＴＰＭ３、Ｈ４／Ｄ１０Ｓ１７０、ＴＰＲが挙げられる。卵巣がん関連遺伝子として、ＡＫＴ２、ＭＤＭ２、ＢＣＬ２、ＭＹＣ、ＢＲＣＡ１、ＮＣＯＡ４、ＣＤＫＮ２Ａ、ｐ５３、ＥＲＢＢ２、ＰＩＫ３ＣＡ、ＧＡＴＡ４、ＲＢ、ＨＲＡＳ、ＲＥＴ、ＫＲＡＳ、ＲＮＡＳＥＴ２が挙げられる。前立腺がん関連遺伝子として、ＡＲ、ＫＬＫ３、ＢＲＣＡ２、ＭＹＣ、ＣＤＫＮ１Ｂ、ＮＫＸ３．１、ＥＺＨ２、ｐ５３、ＧＳＴＰ１、ＰＴＥＮが挙げられる。骨腫瘍関連遺伝子として、ＣＤＨ１１、ＣＯＬ１２Ａ１、ＣＮＢＰ、ＯＭＤ、ＣＯＬ１Ａ１、ＴＨＲＡＰ３、ＣＯＬ４Ａ５、ＵＳＰ６が挙げられる。

蛍光粒子を修飾する物質と蛍光粒子の結合の態様は特に限定されず、共有結合、イオン結合、水素結合、配位結合、物理吸着及び化学吸着等が挙げられる。結合の安定性から、共有結合等の結合力の強い結合が好ましい。

また、蛍光粒子を修飾する物質と蛍光粒子の間を連結する有機分子があってもよい。例えば、生体物質との非特異的吸着を抑制するため、ポリエチレングリコール鎖を用いることができ、Thermo Scientific社製ＳＭ（ＰＥＧ）ｎ（ｎ＝２〜２４）を用いることができる。

蛍光物質内包シリカナノ粒子を表面修飾する場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。例えば、無機物と有機物を結合させるために広く用いられている化合物であるシランカップリング剤を用いることができる。このシランカップリング剤は、分子の一端に加水分解でシラノール基を与えるアルコキシシリル基を有し、他端に、カルボキシル基、アミノ基、エポキシ基、アルデヒド基等の官能基を有する化合物であり、上記シラノール基の酸素原子を介して無機物と結合する。具体的には、メルカプトプロピルトリエトキシシラン、グリシドキシプロピルトリエトキシシラン、アミノプロピルトリエトキシシラン、ポリエチレングリコール鎖をもつシランカップリング剤（例えば、Gelest社製PEG-silane no．SIM6492.7）等が挙げられる。シランカップリング剤を用いる場合、二種以上を併用してもよい。

蛍光有機色素内包ナノ粒子とシランカップリング剤との反応手順は、公知の手法を用いることができる。例えば、得られた蛍光有機色素内包ナノ粒子を純水中に分散させ、アミノプロピルトリエトキシシランを添加し、室温で１２時間反応させる。反応終了後、遠心分離又はろ過により表面がアミノプロピル基で修飾された蛍光有機色素内包ナノ粒子を得ることができる。続いてアミノ基と抗体中のカルボキシル基とを反応させることで、アミド結合を介し抗体を蛍光有機色素内包ナノ粒子と結合させることができる。必要に応じて、EDC（1-Ethyl-3-［3-Dimethylaminopropyl］carbodiimide Hydrochloride：Pierce（登録商標）社製）のような縮合剤を用いることもできる。

必要により、有機分子で修飾された蛍光有機色素内包ナノ粒子と直接結合しうる部位と、分子標的物質と結合しうる部位とを有するリンカー化合物を用いることができる。具体例として、アミノ基と選択的に反応する部位とメルカプト基と選択的に反応する部位の両方をもつsulfo-SMCC（Sulfosuccinimidyl ４［N-maleimidomethyl］-cyclohexane-1-carboxylate：Pierce社製）を用いると、アミノプロピルトリエトキシシランで修飾した蛍光有機色素内包ナノ粒子のアミノ基と、抗体中のメルカプト基を結合させることで、抗体結合した蛍光有機色素内包ナノ粒子ができる。

蛍光物質内包ポリスチレンナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。すなわち、アミノ基等の官能基をもつポリスチレンナノ粒子へ蛍光有機色素、量子ドットを含浸することにより、官能基をもつ蛍光物質内包ポリスチレンナノ粒子を得ることができ、以降EDC又はsulfo-SMCCを用いることで、抗体結合した蛍光物質内包ポリスチレンナノ粒子ができる。

〔染色方法〕
以下、組織標本の染色方法について述べるが、本発明は組織標本に限定されるものではなく、基板上に固定した細胞等の標本にも適用可能である。
また、以下に説明する染色方法が適用できる標本の作製法は特に限定されず、公知の方法により作製されたものを用いることができる。

１）脱パラフィン工程
キシレンを入れた容器に組織標本を浸漬させ、パラフィンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でキシレンを交換してもよい。
次いで、エタノールを入れた容器に組織標本を浸漬させ、キシレンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でエタノールを交換してもよい。
次いで、水を入れた容器に組織標本を浸漬させ、エタノールを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中で水を交換してもよい。

２）賦活化処理
公知の方法にならい、目的とする生体物質の賦活化処理を行う。賦活化条件に特に定めはないが、賦活液としては、０．０１Ｍ クエン酸緩衝液（ｐＨ６．０）、１ｍＭ ＥＤＴＡ溶液（ｐＨ８．０）、５％ 尿素、０．１Ｍ トリス塩酸緩衝液等を用いることができる。加熱機器は、オートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバス等を用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は５０−１３０℃、時間は５−３０分で行うことができる。
次いで、ＰＢＳ（Phosphate Buffered Saline：リン酸緩衝生理食塩水）を入れた容器に、賦活化処理後の標本を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でＰＢＳを交換してもよい。

３）表面修飾された蛍光物質を用いた染色
表面修飾された蛍光物質のＰＢＳ分散液を組織標本に載せ、目的とする生体物質と反応させる。蛍光物質の表面修飾を変えることにより、さまざまな生体物質に対応した染色が可能となる。表面修飾を施された蛍光物質を複数種類用いる場合には、それぞれの蛍光物質ＰＢＳ分散液を予め混合しておいてもよいし、別々に順次組織標本に載せてもよい。
温度は特に限定されるものではないが、室温で行うことができる。反応時間は、３０分以上２４時間以下であることが好ましい。
蛍光物質による染色を行う前に、ＢＳＡ含有ＰＢＳ等、公知のブロッキング剤を滴下することが好ましい。
次いで、ＰＢＳを入れた容器に、染色後の組織標本を浸漬させ、未反応蛍光物質の除去を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でＰＢＳを交換してもよい。カバーガラスを組織標本に載せ、封入する。必要に応じて市販の封入剤を使用してもよい。
なお、Ｈ染色試薬、もしくはＨＥ染色試薬を用いて染色を行う場合、カバーガラスによる封入前にＨ染色、もしくはＨＥ染色を行う。

〔蛍光画像の取得〕
染色した組織標本に対し顕微鏡画像取得装置１Ａを用いて、広視野の顕微鏡画像（蛍光画像）を取得する。顕微鏡画像取得装置１Ａにおいて、染色試薬に用いた蛍光物質の吸収極大波長及び蛍光波長に対応した励起光源及び蛍光検出用光学フィルターを選択する。

＜病理診断支援システム１００の動作（画像処理方法を含む。）＞
以下、病理診断支援システム１００において、上記説明した蛍光画像及び明視野画像を取得して病理画像を生成する画像処理方法について説明する。ここでは、ＨＥ染色試薬及び特定のタンパク質（以下、特定タンパクと呼ぶ。）を認識する生体物質認識部位が結合した蛍光粒子を含む染色試薬を用いて染色された組織標本を観察対象とする場合を例にとり説明するが、これに限定されるものではない。

まず、操作者は、ＨＥ染色試薬と、特定タンパクを認識する生体物質認識部位が結合した蛍光粒子を蛍光標識材料とした染色試薬との、２種の染色試薬を用いて組織標本を染色する。
その後、顕微鏡画像取得装置１Ａにおいて、（ａ１）〜（ａ５）の手順により明視野画像及び明視野画像と同一範囲を撮影した蛍光画像が取得される。
（ａ１）操作者は、ＨＥ染色試薬と蛍光粒子を含む染色試薬とにより染色された組織標本をスライドに載置し、そのスライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織上の観察対象の領域を視野に納める。
（ａ３）撮像手段で撮影を行って明視野画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
（ａ４）ユニットを蛍光ユニットに変更する。
（ａ５）視野及び撮影倍率を変えずに撮像手段で撮影を行って蛍光画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。

画像処理装置２Ａにおいては、明視野画像及び蛍光画像を重ねた病理画像を生成する画像処理が実行される。画像処理装置２Ａにおける画像処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。

［第一の画像処理方法］
図５に、画像処理装置２Ａにおいて病理画像を生成する第一の画像処理方法のフローチャートを示す。
まず、図３に示されるような明視野画像が通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａから入力される（ステップＳ１１）と、制御部２１は、明視野画像のコントラストを調整（ステップＳ１２：画像調整工程）して、組織染色を施された細胞領域を強調した明視野画像を生成する。

一方、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａから図４に示されるような蛍光画像が入力されると（ステップＳ１３：入力工程）、制御部２１は、蛍光画像から蛍光の輝点を示す輝点領域が抽出された画像（輝点画像）を生成する（ステップＳ１４：輝点抽出工程）。
輝点画像の生成方法は任意であるが、例えば、蛍光物質が発する蛍光の波長に応じた色成分を蛍光画像から抽出して、抽出した色成分の輝度が所定の閾値以下である画素を透明化して輝点が存在しない背景領域を透明にすることにより生成する。例えば、蛍光粒子の発光波長のピークが６１５ｎｍである場合には、６１５ｎｍの波長成分が所定の閾値以上である画素は輝点領域として残し、その他の画素を背景領域として透明化した輝点画像を生成する。図６Ａは輝点画像の一例である。
なお、ステップＳ１４の処理の前に細胞自家蛍光や他の不要信号成分等のノイズ除去処理を施してもよく、ガウシアンフィルタ等のローパスフィルタや二次微分等のハイパスフィルタを好ましく用いることができる。図６Ａに、輝点画像の一例を示す。

ステップＳ１２とステップＳ１４の処理の終了後、制御部２１は、コントラストを調整された明視野画像と輝点画像を重ねた合成画像を表示部２３に表示する（ステップＳ１５：合成画像生成工程）。
次いで、制御部２１は、輝点画像の色相の変換（ステップＳ１６）及びコントラストの調整（ステップＳ１７）、及び輝点領域の透過率の変更（ステップＳ１８）を行う（画像調整工程）。ステップＳ１６〜Ｓ１８の画像調整工程においては、例えば、操作者が操作部２２を介して蛍光画像の色相、コントラスト、及び透過率を変える操作を行うと、制御部２１が、表示部２３に表示させる合成画像を随時更新する。これにより、操作者は、表示部２３に表示された合成画像を確認しながら、明視野画像上で最も輝点領域を視認しやすい色相、コントラスト、及び透過率を選択することができる。
図６Ｂは、図６Ａの輝点画像に対してステップＳ１６〜Ｓ１８の処理を行った後の輝点画像の一例である。

図７Ａは、ステップＳ１８の処理後の合成画像の一例であり、図７Ｂは、図７Ａ内の矩形で囲まれた領域の拡大図を示す。比較として、ステップＳ１２、Ｓ１４、及びＳ１６〜Ｓ１８の処理を行うことなく、通信Ｉ／Ｆ２４から入力された明視野画像（図３）及び蛍光画像（図４）を単純に加算した画像を図８Ａに示す。図８Ｂは、図８Ａ内の矩形で囲まれた領域の拡大図を示す。図７Ａ、図７Ｂ、図８Ａ、及び図８Ｂより、ステップＳ１２、Ｓ１４、及びＳ１６〜Ｓ１８の処理を施すことによって、明視野画像上における輝点領域の分布を確認しやすい画像が得られることがわかる。

なお、本実施の形態における合成画像は、図５の画像処理が全て終了するまでは、複数の画像がそれぞれにレイヤーとして存在し、各レイヤーに対して個別に画像処理を施すことができる状態の画像であることが好ましい。図５の画像処理が全て終了した後には、レイヤーを統合して一枚の画像とする処理を行っても良い。
また、合成画像を表示するタイミングは任意であり、ステップＳ１２とＳ１４の処理の終了後に限られるものではない。例えば、ステップＳ１２の明視野画像のコントラスト調整及びステップＳ１４の輝点画像の生成の前、またはステップＳ１６〜Ｓ１８の処理の後に表示しても良い。

［第二の画像処理方法］
図９に、画像処理装置２Ａにおいて病理画像を生成する第二の画像処理方法のフローチャートを示す。なお、第二の画像処理方法が、上述した第一の画像処理方法と異なる構成を中心に説明し、共通する構成については説明を省略する。
まず、図３に示されるような明視野画像が通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａから入力される（ステップＳ２１）と、制御部２１は、明視野画像の色相を変換（ステップＳ２２：画像調整工程）して、明視野画像における観察したい細胞領域を強調した明視野画像を生成する。例えば、ＨＥ染色を施した標本の細胞核の領域に発現する特定タンパクを観察したい場合には、ステップＳ２２においては、明視野画像を色分解して、青色の成分を強調するような色相変換を行う。
次いで、制御部２１は、色相変換した明視野画像の色相を抽出する（ステップＳ２３）。例えば、画像内の全ての画素におけるＲＧＢ値の平均値を算出して、明視野画像の色相として抽出する。

一方、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａからの蛍光画像が入力されると（ステップＳ２４）、制御部２１は、蛍光画像から輝点領域が抽出された輝点画像を生成する（ステップＳ２５：輝点抽出工程）。
輝点画像の生成方法の詳細は、第一の画像処理方法のステップＳ１４における輝点画像の生成方法と同様である。

ステップＳ２３とステップＳ２５の処理の終了後、制御部２１は、ステップＳ２３で抽出した明視野画像の色相に基づいて、輝点画像の色相を変換し（ステップＳ２６）、ステップＳ２２で色相変換した明視野画像とステップＳ２６で色相変換された輝点画像を重ねた合成画像を表示部２３に表示させる（ステップＳ２７：合成画像生成工程）。

ステップＳ２６において、制御部２１は、ステップＳ２３で抽出した明視野画像の色相に基づいて、自動的に輝点領域の色相を変換することが好ましい。具体的には、例えば、ステップＳ２３で抽出した明視野画像の色相の補色のＲＧＢ値を算出して、モノクロ変換した輝点画像の色相を当該補色に色相変換する。
また、制御部２１がステップＳ２６において輝点領域の色相変換を自動的に行って、ステップＳ２７で合成画像を表示した後、第一の画像処理方法のステップＳ１６と同様にして、操作者が合成画像を確認しながら操作部２２を介して色相を変える操作を行ってもよい。

なお、第二の画像処理方法においても、第一の画像処理方法のステップＳ１６〜Ｓ１８と同様の、明視野画像のコントラスト調整の工程、及び輝点画像のコントラスト調整及び透過率変更の少なくとも１つの画像調整工程が含まれていても良い。
また、合成画像を表示するタイミングは任意であり、ステップＳ２６の色相変換の終了後に限られるものではない。例えば、ステップＳ２６の色相変換の前に表示しても良い。

［第三の画像処理方法］
図１０に、画像処理装置２Ａにおいて病理画像を生成する第三の画像処理方法のフローチャートを示す。なお、第三の画像処理方法が、上述した第一の画像処理方法及び第二の画像処理方法と異なる構成を中心に説明し、共通する構成については説明を省略する。

第三の画像処理方法におけるステップＳ３１〜ステップＳ３４の処理は、第一の画像処理方法におけるステップＳ１１〜Ｓ１４の処理と同様である。
ステップＳ３４の処理の後、制御部２１は、１つ１つの輝点領域の位置を表す輝点座標を算出する（ステップＳ３５：算出工程）。輝点座標の定義は任意であるが、例えば、ステップＳ３４で生成した輝点画像に閾値処理を施し、二値化された各輝点領域の重心を算出して輝点座標としても良い。また、特定タンパクを標識している複数の蛍光粒子が密集したものが一つの輝点領域に含まれているような場合には、１つ１つの蛍光粒子の位置を、公知の任意の方法により輝点座標として算出しても良い。

次いで、制御部２１は、算出された輝点座標を示す座標画像を生成する（ステップＳ３６：座標画像生成工程）。座標画像において、輝点座標以外の領域は透明であり、輝点座標の表示方法は任意である。例えば、各輝点領域の特徴量（輝度積算値、面積、周囲長など）に基づいて、輝点座標の色相、透明度、大きさ等を変えて表示しても良い。
また、例えば、二値化された輝点領域の輪郭を抽出した画像を座標画像としても良い。このような座標画像において、例えば、輝点領域の輪郭の外側の領域は透明であり、輝点領域の輪郭線及び輪郭の内側の色相は任意である。輪郭線の色相、透明度、太さ等は、各輝点領域の特徴量（輝度積算値、面積、周囲長など）に基づいて変化させても良い。

ステップＳ３２及びステップＳ３６の処理の終了後、制御部２１は、コントラストを調整された明視野画像、ステップＳ３４で生成された輝点画像、ステップＳ３６で生成された座標画像、の３枚の画像を重ねた合成画像を表示部２３に表示させる（ステップＳ３７：合成画像生成工程）。

図１１Ａは、図６Ｂの輝点画像から輝点座標を抽出した座標画像において、図７Ｂと同一領域を拡大した図の一例であり、図１１Ｂは合成画像の一例である。図１１Ｂのように、明視野画像上に、輝点領域に加えて輝点座標を重ね合わせて合成画像を表示することにより、特定タンパクの発現位置や発現数の把握がさらに容易となる。
図１２Ａは、図６Ｂの輝点画像から輝点領域の輪郭を抽出した座標画像において、図７Ｂと同一領域を拡大した図の一例であり、図１２Ｂは合成画像の一例である。図１２Ｂのように、明視野画像上に、輝点領域に加えて輝点領域の輪郭を重ね合わせた合成画像を表示することにより、特定タンパクの発現領域の把握がさらに容易となる。
なお、ステップＳ３７の合成画像生成工程では、例えば、コントラストを調整された明視野画像及び座標画像の２枚の画像のみを重ねた画像を合成画像として表示部２３に表示させても良い。

次いで、座標画像の色相変換（ステップＳ３８）及び透過率調整（ステップＳ３９）を行う。ステップＳ３８〜Ｓ３９の処理においては、例えば、操作者が、操作部２２を介して座標画像の色相及び透過率を変更する操作を行うと、制御部２１が表示部２３に表示される合成画像を随時更新する。これにより、操作者は、表示部２３に表示された合成画像を確認しながら、明視野画像上で最も座標画像を視認しやすい色相及び透過率を選択することができる。

また、第三の画像処理方法においても、第二の画像処理方法のステップＳ２２〜２３と同様の明視野画像の色相変換及び色相抽出の工程、及び、第一の画像処理方法のステップＳ１６〜Ｓ１８と同様の輝点画像の色相変換、コントラスト調整、及び透過率変更の少なくとも１つの画像調整工程が含まれていても良い。
また、合成画像を表示するタイミングは任意であり、ステップＳ３２及び３６の終了後に限られるものではない。例えば、ステップＳ３２の明視野画像のコントラスト調整及びステップＳ３４の輝点画像の生成の前に表示しても良い。

以上の本実施形態によれば、画像調整を施した蛍光画像を明視野画像と合成することにより、細胞の形態を染色した組織標本を撮影した明視野画像上に、蛍光画像に基づく特定タンパクの発現を目視により確認しやすい合成画像を生成することができる。
また、明視野画像に対しても色相変換やコントラスト調整を行うことにより、さらに特定タンパクの発現を把握しやすく、視認性の高い合成画像を得ることができる。
また、第二の画像処理方法のように、明視野画像の色相に基づいて蛍光画像の色相を変換することとすれば、特定タンパクの発現位置や発現量の視認性が高い合成画像を自動的に生成することができる。
また、第三の画像処理方法のように、明視野画像上に、輝点領域に加えて座標画像を表示することにより、特定タンパクの発現位置、発現数、及び発現領域を、より容易に把握することができる。

なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
例えば、上記第一〜第三の画像処理方法においては、操作者が操作部２２を介して何らかの操作を行うことなく、画像処理装置２Ａの制御部２１が全ての画像処理を自動的に行って合成画像を生成しても良い。さらに、画像処理装置２Ａの制御部２１が自動的に生成した合成画像に対して、操作者が操作部２２を介して画像調整を行って、合成画像を修正可能であることが好ましい。
また、合成画像として重ね合わせる画像の種類は、操作者が任意に選択して組み合わせ可能であるとしても良い。

また、輝点画像の色相変換においては、例えば複数の色調を利用したヒートマップ表示を用いて、蛍光の輝度に応じて色調を異ならせて表示するような色相変換を行っても良い。

また、上記第一〜第三の画像処理方法においては、蛍光画像の背景領域を透明化することとしたが、明視野画像において細胞や細胞核等の計測対象が存在しない背景領域を透明化しても良い。また、例えば明視野画像の背景領域を黒に色相変換するなど、明視野画像の背景領域と蛍光画像の背景領域の色相がほぼ同一となるように色相変換を施すことによっても、特定タンパクの発現の視認性の高い合成画像を得ることができる。

また、本発明の方法で明視野画像上に表示される生体物質は、１種類に限定されるものではない。例えば、複数の生体物質を、それぞれ異なる波長の蛍光を発する蛍光物質により染色することとすれば、各々の生体物質の発現を表す蛍光画像に対して本発明の画像処理を行って、明視野画像上に複数の生体物質の発現を異なる色相で表示することができる。

本発明は、病理診断の画像処理に好適に利用することができる。

１Ａ 顕微鏡画像取得装置
２Ａ 画像処理装置
３Ａ ケーブル
２１ 制御部
２２ 操作部
２３ 表示部
２４ 通信Ｉ／Ｆ
２５ 記憶部
２６ バス
１００ 病理診断支援システム

Claims (10)

1. 標本における細胞の形態を表す明視野画像と、平均粒径が３０〜８００ｎｍの粒子により標識され、前記標本に存在する特定の物質を蛍光輝点で表す蛍光画像とを入力する入力工程と、
   前記蛍光画像において前記蛍光輝点の領域を抽出する輝点抽出工程と、
   前記明視野画像と、前記蛍光輝点の抽出後の前記蛍光画像とを重ね合わせた合成画像を生成する合成画像生成工程と、
   前記合成画像から、前記標本における前記特定の物質の位置又は量を特定する合成画像解析工程と、
   を有することを特徴とする画像処理方法。
2. 前記明視野画像に対する色相の変換及びコントラストの調整、並びに前記蛍光画像に対する色相の変換、コントラストの調整及び透過率の調整のうち、少なくとも一つの画像処理を行う画像調整工程を有することを特徴とする請求項１に記載の画像処理方法。
3. 前記画像調整工程において、前記蛍光輝点の抽出後の前記蛍光画像に対して、前記蛍光輝点の色相を変換することを特徴とする請求項２に記載の画像処理方法。
4. 前記画像調整工程において、前記蛍光輝点の抽出後の前記蛍光画像に対して、前記蛍光輝点のコントラストを調整することを特徴とする請求項２または３に記載の画像処理方法。
5. 前記画像調整工程において、前記蛍光輝点の抽出後の前記蛍光画像に対して、前記蛍光輝点の透過率を調整することを特徴とする請求項２〜４の何れか一項に記載の画像処理方法。
6. 前記画像調整工程において、前記明視野画像及び前記蛍光画像の色情報に基づいて、前記蛍光輝点の抽出後の前記蛍光画像に対して、色相の変換、コントラストの調整、透過率の調整のうち、少なくとも一つの画像処理を行うことを特徴とする請求項２に記載の画像処理方法。
7. 前記蛍光輝点の座標を算出する算出工程と、
   算出された座標を示す座標画像を生成する座標画像生成工程と、を有し、
   前記合成画像生成工程において、前記明視野画像と前記蛍光画像と前記座標画像を重ね合わせた合成画像を生成することを特徴とする請求項１〜６の何れか一項に記載の画像処理方法。
8. 標本における細胞の形態を表す明視野画像と、平均粒径が３０〜８００ｎｍの粒子により標識され、前記標本に存在する特定の物質を蛍光輝点で表す蛍光画像とを入力する入力工程と、
   前記蛍光画像において前記蛍光輝点の領域を抽出する輝点抽出工程と、
   前記明視野画像と、前記蛍光輝点の抽出後の前記蛍光画像とを重ね合わせた合成画像を生成する合成画像生成工程と、
   前記合成画像から、前記標本における前記特定の物質の位置又は量を特定する合成画像解析工程と、
   を有することを特徴とする画像生成方法。
9. 標本における細胞の形態を表す明視野画像と、平均粒径が３０〜８００ｎｍの粒子により標識され、前記標本に存在する特定の物質を蛍光輝点で表す蛍光画像とを入力する入力手段と、
   前記蛍光画像において前記蛍光輝点の領域を抽出する輝点抽出手段と、
   前記明視野画像と、前記蛍光輝点の抽出後の前記蛍光画像とを重ね合わせた合成画像を生成する合成画像生成手段と、
   前記合成画像から、前記標本における前記特定の物質の位置又は量を特定する合成画像解析手段と、
   を備えることを特徴とする画像処理装置。
10. コンピュータを、
    標本における細胞の形態を表す明視野画像と、平均粒径が３０〜８００ｎｍの粒子により標識され、前記標本に存在する特定の物質を蛍光輝点で表す蛍光画像とを入力する入力手段、
    前記蛍光画像において前記蛍光輝点の領域を抽出する輝点抽出手段、
    前記明視野画像と、前記蛍光輝点の抽出後の前記蛍光画像とを重ね合わせた合成画像を生成する合成画像生成手段、
    前記合成画像から、前記標本における前記特定の物質の位置又は量を特定する合成画像解析手段、
    として機能させるためのプログラム。

Images