JP7259844B2 - 画像処理方法、画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理方法、画像処理装置及びプログラムに関する。

病理診断において、組織切片で過剰発現をしているタンパク質などの特定の生体物質及びその発現量を特定することは、予後の予測やその後の治療計画を決める上で非常に重要な情報となり得る。
近年、蛍光物質を用いて特定の生体物質を染色する蛍光染色技術、例えば蛍光 in situハイブリダイゼーション（fluorescent in situ hybridization：ＦＩＳＨ）によって得られた蛍光画像と、既存の免疫染色技術を用いて細胞を染色して得られた細胞形態画像と、を組み合わせて、細胞レベルのタンパク質発現量解析や分子導体解析を行う技術が開発されている。これには、細胞形態画像から細胞の種類の同定を正確に行う必要があるため、病理医などの専門家による判断が不可欠であった。しかし、人手によって組織切片から膨大な数の細胞を観察し、その種類を同定するのには時間を要するものであった。

そこで近年、画像認識技術を用いて細胞画像から細胞領域を自動的に識別する手法が多く検討されている。
例えば、特許文献１には、核に対する標識特異的結合パートナーと、細胞膜に対する標識特異的結合パートナーとによって多重染色された細胞を同一の視野について撮影した、核染色画像と細胞膜染色画像を用いて、細胞の輪郭を自動的に抽出する方法が開示されている。このように、画像認識技術によって人手によらず自動的に細胞識別等を行うことで、医療現場での負担が大幅に軽減されることとなる。

特開２０１１－１８６７５０号公報

ところで、細胞内の複数種類の生体物質をターゲットとする染料を用いて細胞を多重に染色した多重染色画像から、その染色状態の違いに基づいて細胞の種類を同定する場合がある。
例えば、マクロファージは、がんの微小環境を形成する細胞であり、マクロファージの一部は、癌の微小環境において抗腫瘍性のＭ１型から腫瘍促進性のＭ２型へとシフトすることが知られている。これらは腫瘍関連マクロファージ（Tumor-associated macrophages：ＴＡＭ）と呼ばれ、腫瘍治療において有望な標的と考えられている。組織切片上のＴＡＭの存在を識別するため、Ｍ１型マクロファージに特異的に発現するタンパク質と、Ｍ２型マクロファージに特異的に発現するタンパク質と、をそれぞれ標的とした多重染色を行うことで、染色状態の違いからその同定を行うことができる。

特許文献１に記載の方法では、細胞形態画像から細胞を抽出することは可能であるものの、上記したような複雑な識別対象、即ち単一の染料のみによって染色された単陽性細胞、あるいは複数の染料によって染色された多重陽性細胞のような、断片的な染色状態にある細胞を、染色状態の違いに基づいて識別することは困難であった。

本発明は上記課題に鑑みてなされたものであって、画像認識技術を用いた細胞識別において、複雑な染色状態にある細胞の種類の識別が可能な画像処理方法、画像処理装置及びプログラムを提供することを目的とする。

上記課題を解決するため、請求項１に記載の画像処理方法は、
発色の異なる複数の染料によって多重に染色された組織標本を撮像して得られた多重染色画像から、細胞の染色状態の違いに基づいて細胞の種類を同定する画像処理方法において、
前記多重染色画像において、第１の染料及び第２の染料によって染色された第１の細胞が存在する第１の細胞候補領域と、前記第１の染料によって染色され前記第２の染料によって染色されなかった第２の細胞が存在する第２の細胞候補領域とを識別する染色情報識別工程と、
前記第１の細胞候補領域と前記第２の細胞候補領域に対して所定の領域形成処理を行うことにより、前記第１の細胞が同定された第１の細胞領域と前記第２の細胞が同定された第２の細胞領域とを形成する領域形成工程と、を備え、
前記染色情報識別工程は、
前記第１の染料による染色が検出されたピクセルの近傍に位置するピクセルに前記第２の染料による染色が検出されたか否かを表す、染料間の空間的相関と、細胞の構成要素間の相対的な位置関係と、に基づいて、前記多重染色画像上の前記第１の細胞及び前記第２の細胞の染色状態を識別するとともに、
前記多重染色画像上の各位置について、前記第１の細胞の存在確率と前記第２の細胞の存在確率を算出し、少なくとも前記第１の細胞の存在確率と前記第２の細胞の存在確率を含む複数の細胞の存在確率を空間的につなぎ合わせた確率マップを出力する
ことを特徴とする。

請求項２に記載の発明は、請求項１に記載の画像処理方法において、
前記組織標本は、複数の異なる生体物質が、各々発色の異なる染料によって染色された細胞を含む
ことを特徴とする。

請求項３に記載の発明は、請求項１又は２に記載の画像処理方法において、
前記領域形成工程は、前記所定の領域形成処理として、前記第１の細胞候補領域と前記第２の細胞候補領域に対する小面積領域の削除及び／又は欠損領域の補間を行う
ことを特徴とする。

請求項４に記載の発明は、請求項１から３のいずれか一項に記載の画像処理方法において、
前記第１の細胞候補領域と前記第２の細胞候補領域を所定の領域ごとに分割するための分割基準を識別する分割情報識別工程を含み、
前記分割情報識別工程は、
前記多重染色画像上の各位置について、前記複数の染料間の空間的相関及び細胞の構成要素間の相対的な位置関係に基づいて、前記分割基準の存在確率を算出し、当該存在確率を空間的につなぎ合わせた分割基準の確率マップを生成する
ことを特徴とする。

請求項５に記載の発明は、請求項４に記載の画像処理方法において、
前記分割基準は、前記染料による染色領域の内部に配置された核である
ことを特徴とする。

請求項６に記載の発明は、請求項４に記載の画像処理方法において、
前記分割基準は、前記細胞候補領域の内部であって、前記染料による染色領域に包囲された非染色領域である
ことを特徴とする。

請求項７に記載の発明は、請求項４から６のいずれか一項に記載の画像処理方法において、
前記領域形成工程は、前記所定の領域形成処理として、前記染色情報識別工程によって出力された前記第１の細胞候補領域と前記第２の細胞候補領域を、前記分割情報識別工程によって出力された分割基準を基準として分割する、分割工程を含む
ことを特徴とする。
請求項８に記載の発明は、請求項１に記載の画像処理方法において、
前記染色情報識別工程は、前記第１の染料と前記第２の染料とが互いに異なる部位を染色し、前記第１の染料の発色位置と前記第２の染料の発色位置が近接して確認される領域を、第１の細胞が存在する第１の細胞候補領域とする
ことを特徴とする。
請求項９に記載の画像処理方法は、
発色の異なる複数の染料によって多重に染色された組織標本を撮像して得られた多重染色画像から、細胞の染色状態の違いに基づいて細胞の種類を同定する画像処理方法において、
前記多重染色画像において、第１の染料及び第２の染料によって染色された第１の細胞が存在する第１の細胞候補領域と、前記第１の染料によって染色され前記第２の染料によって染色されなかった第２の細胞が存在する第２の細胞候補領域と、前記第１の染料によって染色されず前記第２の染料によって染色された第３の細胞が存在する第３の細胞候補領域とを識別する染色情報識別工程と、
前記第１の細胞候補領域と前記第２の細胞候補領域と前記第３の細胞候補領域に対して所定の領域形成処理を行うことにより、前記第１の細胞が同定された第１の細胞領域と前記第２の細胞が同定された第２の細胞領域と第３の細胞が同定された第３の細胞領域を形成する領域形成工程と、を備え、
前記染色情報識別工程は、
前記第１の染料による染色が検出されたピクセルの近傍に位置するピクセルに前記第２の染料による染色が検出されたか否かを表す、染料間の空間的相関と、細胞の構成要素間の相対的な位置関係と、に基づいて、前記多重染色画像上の前記第１の細胞と前記第２の細胞と前記第３の細胞の染色状態を識別するとともに、
前記多重染色画像上の各位置について、前記第１の細胞の存在確率と前記第２の細胞の存在確率と前記第３の細胞の存在確率を算出し、前記第１の細胞の存在確率と前記第２の細胞の存在確率と前記第３の細胞の存在確率を含む複数の細胞の存在確率を空間的につなぎ合わせた確率マップを出力する
ことを特徴とする。

請求項１０に記載の発明は、
発色の異なる複数の染料によって多重に染色された組織標本を撮像して得られた多重染色画像から、細胞の染色状態の違いに基づいて細胞の種類を同定する画像処理装置において、
前記多重染色画像において、第１の染料及び第２の染料によって染色された第１の細胞が存在する第１の細胞候補領域と、前記第１の染料によって染色され前記第２の染料によって染色されなかった第２の細胞が存在する第２の細胞候補領域とを識別する染色情報識別部と、
前記第１の細胞候補領域と前記第２の細胞候補領域に対して所定の領域形成処理を行うことにより、前記第１の細胞が同定された第１の細胞領域と前記第２の細胞が同定された第２の細胞領域とを形成する領域形成部と、を備え、
前記染色情報識別部は、
前記第１の染料による染色が検出されたピクセルの近傍に位置するピクセルに前記第２の染料による染色が検出されたか否かを表す、染料間の空間的相関と、細胞の構成要素間の相対的な位置関係と、に基づいて、前記多重染色画像上の前記第１の細胞及び前記第２の細胞の染色状態を識別するとともに、
前記多重染色画像上の各位置について、前記第１の細胞の存在確率と前記第２の細胞の存在確率を算出し、少なくとも前記第１の細胞の存在確率と前記第２の細胞の存在確率を含む複数の細胞の存在確率を空間的につなぎ合わせた確率マップを出力する
ことを特徴とする。

請求項１１に記載の発明は、
発色の異なる複数の染料によって多重に染色された組織標本を撮像して得られた多重染色画像から、細胞の染色状態の違いに基づいて細胞の種類を同定する画像処理装置のコンピューターを、
前記多重染色画像において、第１の染料及び第２の染料によって染色された第１の細胞が存在する第１の細胞候補領域と、前記第１の染料によって染色され前記第２の染料によって染色されなかった第２の細胞が存在する第２の細胞候補領域とを識別する染色情報識別部、
前記第１の細胞候補領域と前記第２の細胞候補領域に対して所定の領域形成処理を行うことにより、前記第１の細胞が同定された第１の細胞領域と前記第２の細胞が同定された第２の細胞領域とを形成する領域形成部、として機能させるためのプログラムであって、
前記染色情報識別部に、
前記第１の染料による染色が検出されたピクセルの近傍に位置するピクセルに前記第２の染料による染色が検出されたか否かを表す、染料間の空間的相関と、細胞の構成要素間の相対的な位置関係と、に基づいて、前記多重染色画像上の前記第１の細胞及び前記第２の細胞の染色状態を識別させるとともに、
前記多重染色画像上の各位置について、前記第１の細胞の存在確率と前記第２の細胞の存在確率を算出し、少なくとも前記第１の細胞の存在確率と前記第２の細胞の存在確率を含む複数の細胞の存在確率を空間的につなぎ合わせた確率マップを出力させる。

本発明によれば、画像認識技術を用いた細胞識別において、複雑な染色状態にある細胞の種類の識別が可能な画像処理方法、画像処理装置及びプログラムを提供することができる。

本発明の画像処理方法を適用した画像処理システムのシステム構成を示す図である。 図１の画像処理装置の機能的構成を示すブロック図である。 第１実施形態に係る細胞識別処理１を示すフローチャートである。 第１実施形態に係る染色情報識別処理を示すフローチャートである。 確率マップの概念を示す図である。 確率マップの概念を示す図である。 第１実施形態に係る領域形成処理を示すフローチャートである。 第２実施形態に係る細胞識別処理２を示すフローチャートである。 第２実施形態に係る分割情報識別処理を示すフローチャートである。 第２実施形態に係る領域形成処理を示すフローチャートである。 第２実施形態における細胞識別処理２による出力の一例を示す図である。

≪第１実施形態≫
以下、図を参照して本発明を実施するための第１実施形態について説明する。

＜画像処理システム１００の構成＞
図１に、本発明に係る画像処理システム１００の全体構成例を示す。画像処理システム１００は、所定の染料で染色された組織標本の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、組織標本上の細胞の種類を同定して出力するシステムである。

図１に示すように、画像処理システム１００は、顕微鏡画像取得装置１Ａと、画像処理装置２Ａと、がケーブル３Ａ等のインターフェースを介してデータ送受信可能に接続されて構成されている。なお、顕微鏡画像取得装置１Ａと画像処理装置２Ａとの接続方式は特に限定されない。例えば、顕微鏡画像取得装置１Ａと画像処理装置２ＡはＬＡＮ（Local Area Network）により接続されることとしてもよいし、無線により接続される構成としてもよい。

顕微鏡画像取得装置１Ａは、公知のカメラ付き光学顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織標本の顕微鏡画像を取得し、画像処理装置２Ａに送信するものである。
顕微鏡画像取得装置１Ａは、照射手段、結像手段、撮像手段、通信Ｉ／Ｆ等を備えて構成されている。照射手段は、光源、フィルター等により構成され、スライド固定ステージに載置されたスライド上の組織標本に光を照射する。結像手段は、接眼レンズ、対物レンズ等により構成され、照射した光によりスライド上の組織標本から発せられる透過光、反射光を結像する。撮像手段は、ＣＣＤ(Charge Coupled Device)センサー等を備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信Ｉ／Ｆは、生成された顕微鏡画像の画像データを画像処理装置２Ａに送信する。本実施の形態において、顕微鏡画像取得装置１Ａは、明視野観察に適した照射手段及び結像手段を組み合わせた明視野ユニットを備えている。なお、顕微鏡画像取得装置１Ａは、蛍光観察に適した照射手段及び結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野／蛍光を切り替え可能な構成としてもよい。

なお、顕微鏡画像取得装置１Ａとしては、カメラ付き顕微鏡に限定されず、例えば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織標本全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置（例えば、特表２００２－５１４３１９号公報参照）等を用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織標本全体像を表示部で一度に閲覧可能な画像データを取得することができる。

画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像を解析することにより、観察対象の組織標本における細胞の種類を同定して出力する。
図２に、画像処理装置２Ａの機能構成例を示す。図２に示すように、画像処理装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５等を備えて構成され、各部はバス２６を介して接続されている。

制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等を備えて構成され、記憶部２５に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置２Ａの動作を統括的に制御する。例えば、制御部２１は、記憶部２５に記憶されているプログラムとの協働により細胞識別処理１（図３参照）等を実行し、染色情報識別工程、領域形成工程をそれぞれ実行する染色情報識別部、領域形成部（第２実施形態においては、さらに分割情報識別工程及び分割工程を実行する手段）としての機能を実現する。

操作部２２は、文字入力キー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部２１に出力する。

表示部２３は、例えば、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等のモニタを備えて構成されており、制御部２１から入力される表示信号の指示に従って、各種画面を表示する。本実施の形態において、表示部２３は、細胞識別処理１の結果としての細胞領域を出力するための出力手段として機能する。

通信Ｉ／Ｆ２４は、顕微鏡画像取得装置１Ａをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信Ｉ／Ｆ２４は、明視野画像の入力手段として機能する。

記憶部２５は、例えばＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリー等で構成されている。記憶部２５には、前述のように各種プログラムや各種データ等が記憶されている。
その他、画像処理装置２Ａは、ＬＡＮアダプターやルーター等を備え、ＬＡＮ等の通信ネットワークを介して外部機器と接続される構成としてもよい。

＜多重染色画像の取得＞
本実施形態における画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された組織標本の染色画像、特に発色の異なる複数の染料によって、複数種類の生体物質が染色された多重染色画像を用いて解析を行う。
本実施形態における多重染色画像は、たとえばマクロファージに特異的に発現する２種以上のタンパク質が、複数の染料によって可視化された組織標本を、顕微鏡画像取得装置１Ａによって撮像して得られた画像である。タンパク質および遺伝子から任意に選ばれた２種類を用いてもよく、生体物質が染色体や小胞体などが染料によって可視化された組織標本であってもよい。
ここで、多重染色画像の取得方法について、この多重染色画像の取得に際して用いられる染料、及び当該染料による組織標本の染色方法等も含めて詳細に説明する。

［タンパク質など］
タンパク質は、たとえばマクロファージにおいて特異的に発現されるタンパク質から任意に選択することができ、例えば、ＰＤ－１、ＣＤ１６３、ＣＤ２０４、ＣＤ６８、Ｉｂａ１、ＣＤ１１ｃ、ＣＤ２０６、ＣＤ８０、ＣＤ８６、ＣＤ１６３、ＣＤ１８１、ＣＤ１９７、ｉＮＯＳ、Ａｒｇｉｎａｓｅ１、ＣＤ３８、Ｅｇｒ２等が挙げられる。
なお、染色の対象とする２種以上のマクロファージタンパク質のうち、少なくとも一つが、Ｍ２マクロファージに特異的に発現するタンパク質（例えば、ＣＤ１６３、ＣＤ２０４等）であることが好ましく、組織標本として腫瘍組織を用いる場合には、腫瘍関連マクロファージ（ＴＡＭ）に特異的に発現するタンパク質であることが好ましい。
また、がん細胞などにおいて発現・分泌される生体物質から任意に選択することができ、例えば、ＰＤＬ１、ＣＴＬＡ４、ＣＤ８、ＣＤ３０、ＣＤ４８、ＣＤ５９、ＩＤＯ、ＴＤＯ、ＣＳＦ－１Ｒ、ＨＤＡＣ、ＣＸＣＲ４、ＦＬＴ－３、ＴＩＧＩＴ、ＩＮＦ－α、ＩＮＦ－β、ＩＮＦ－ω、ＩＮＦ－ε、ＩＮＦ－κ、ＩＮＦ－γ、ＩＮＦ－λＣＳＦ、ＥＰＯ、ＥＧＦ、ＦＧＦ、ＰＤＧＦ、ＨＧＦ、ＴＧＦ、ＣＤ３、ＣＤ４、ＣＤ２５、ＣＤ２８、ＣＤ８０、ＣＤ８６、ＣＤ１６０、ＣＤ５７、ＯＸ４０（ＣＤ１３４）、ＯＸ４０Ｌ（ＣＤ２５２）、ＩＣＯＳ（ＣＤ２７８）、ＩＣＯＳＬ（ＣＤ２７５）、ＣＤ１５５、ＣＤ２２６、ＣＤ１１２、ＣＤ２７、ＣＤ７０、４－１ＢＢ（ＣＤ１３７）、４－１ＢＢＬ（ＣＤ１３７Ｌ）、ＧＩＴＲ（ＣＤ３５７）、ＧＩＴＲＬ、ＢＴＬＡ（ＣＤ２７２）、ＨＶＥＭ（ＣＤ２７０）、ＴＩＭ－３、ガレクチン－９（Ｇａｌｅｃｔｉｎ－９）、ＬＡＧ－３（ＣＤ２２３）、Ｂ７－Ｈ３（ＣＤ２７６）、Ｂ７－Ｈ４、Ｂ７－Ｈ５、ＣＤ４０、ＣＤ４０Ｌ、ＰＤ－１、ＰＤ－Ｌ２、２Ｂ４（ＣＤ２４４）、ＫＬＲＧ－１、Ｅ－Ｃａｄｈｅｒｉｎ、Ｎ－Ｃａｄｈｅｒｉｎ、Ｒ－Ｃａｄｈｅｒｉｎ、ＣＤ６８、ＣＤ１６３およびＣＳＦ１－Ｒを挙げることができる。
さらに、遺伝子としてはＤＮＡであってもよいし、ｍＲＮＡ、ｔＲＮＡ、ｍｉＲＮＡ（ｍｉＲ４７１７等）、ｓｉＲＮＡ、ｎｏｎ－ｃｏｒｄｉｎｇ－ＲＮＡなどのＲＮＡであってもよい。
本実施形態においては、Ｍ１マクロファージ及びＭ２マクロファージの両方に発現するタンパク質としてＣＤ６８を、Ｍ２マクロファージ（あるいはＴＡＭ）に特異的に発現するタンパク質としてＣＤ１６３を、それぞれ下記の染料を用いて染色するものとする。したがって、ＣＤ６８及びＣＤ１６３がともに発現している細胞はＭ２マクロファージ（あるいはＴＡＭ）であり、ＣＤ６８のみが発現している細胞はＭ１マクロファージであると判定することができる。

［染料］
組織標本の染色は、組織標本と標識物質とを接触させることにより、染色の目的となるマクロファージタンパク質に標識物質を直接的または間接的に結合させて行うことが好ましく、例えば、マクロファージタンパク質に直接的または間接的に結合する抗体に標識物質を結合させた標識化抗体を、組織標本と反応させて行う免疫染色であることが好ましい。

組織標本の染色は、色素染色によって行われることが好ましい。色素染色は各マクロファージタンパク質を明視野観察可能な色素で染色する手法であれば特に限定されず、例えば、標識物質（酵素）を任意の方法で染色の対象であるマクロファージタンパク質に結合させ、酵素基質反応により呈色する色素（基質）を添加することで色素を組織標本に沈着させることにより標的物質を染色する酵素抗体法を用いることができる。
例えば、標的となるタンパク質と直接的または間接的に結合する抗体に酵素を結合させた標識化抗体をあらかじめ反応させた組織標本に、当該酵素の基質である色素を添加することで行う、免疫染色であることが好ましい。酵素としてはペルオキシダーゼ、アルカリフォスファターゼが、色素としては３，３’－ジアミノベンジジン（ＤＡＢ）、ＨｉｓｔｏＧｒｅｅｎ、ＴＭＢ、ＢｅｔａｚｏｉｄＤＡＢ、Ｃａｒｄａｓｓｉａｎ ＤＡＢ、Ｂａｊｏｒａｎ Ｐｕｒｐｌｅ、Ｖｉｎａ Ｇｒｅｅｎ、Ｒｏｍｕｌｉｎ ＡＥＣ、Ｆｅｒａｎｇｉ Ｂｌｕｅ、ＶｕｌｃａｎＦａｓｔ Ｒｅｄ、Ｗａｒｐ Ｒｅｄ等が挙げられる。なお、色素の安定性の観点から、ＤＡＢによる染色を行う場合には、他の染料による染色の前に行うことが好ましい。
本実施形態においては、ＣＤ６８及びＣＤ１６３を、それぞれＤＡＢ及びＨｉｓｔｏＧｒｅｅｎによって染色する。

［組織標本］
組織標本とは、被験体から採取された組織切片や、被験体から採取された組織に含まれる細胞を培養した細胞であって、本実施形態においては腫瘍組織から採取した組織切片を用いるものとする。組織標本は、一般的には、免疫染色法により目的タンパク質の発現量を評価する場合などで慣用されているような、組織切片や細胞を載置した標本スライドの形態をとる。
組織標本の作製法は特に限定されず、一般的には、例えば、被験体から採取した組織切片を、ホルマリン等を用いて固定し、アルコールで脱水処理した後、キシレン処理を行い、高温のパラフィン中に浸すことでパラフィン包埋を行うことで作製した組織試料を３～４μｍの切片にすることで得ることができ、当該組織切片をスライドガラス上に載置して乾燥することで標本スライドを作製することができる。

［染色方法］
以下、組織標本の染色方法について述べる。以下に説明する染色方法は組織切片に限定されず、細胞染色にも適用可能である。

１）脱パラフィン工程
キシレンを入れた容器に組織標本を浸漬させ、パラフィンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でキシレンを交換してもよい。
次いで、エタノールを入れた容器に組織標本を浸漬させ、キシレンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でエタノールを交換してもよい。
次いで、水を入れた容器に組織標本を浸漬させ、エタノールを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中で水を交換してもよい。

２）賦活化処理
公知の方法にならい、目的とする生体物質の賦活化処理を行う。賦活化条件に特に定めはないが、賦活液としては、０．０１Ｍ クエン酸緩衝液（ｐＨ６．０）、１ｍＭ ＥＤＴＡ溶液（ｐＨ８．０）、５％ 尿素、０．１Ｍ トリス塩酸緩衝液等を用いることができる。加熱機器は、オートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバス等を用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は５０－１３０℃、時間は５－３０分で行うことができる。
次いで、リン酸緩衝生理食塩水（Phosphate Buffered Saline：ＰＢＳ）を入れた容器に、賦活化処理後の組織標本を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でＰＢＳを交換してもよい。

３）ブロッキング処理
賦活化処理の後、各染色を行う前にバックグラウンドノイズの低減等を目的として、必要に応じてブロッキング等の処理を行うことが好ましい。例えば、ＢＳＡ（ウシ血清アルブミン）含有ＰＢＳやＴｗｅｅｎ２０などの界面活性剤をブロッキング剤として滴下することで抗体の組織標本への非特異的な吸着を抑制することがでる。また、例えば、色素染色においてペルオキシダーゼの酵素基質反応を用いる場合などにおいては、内因性ペルオキシダーゼによる非特異的な呈色反応を防ぐために過酸化水素によるペルオキシダーゼブロック等の処理を行うことが好ましい。
これらの処理を行った後にはＰＢＳ等により洗浄を行うことが好ましい。洗浄条件は行った処理に応じて適宜調節することができ、例えば、室温で、３分以上３０分以下で行うことができる。

４）染色処理
洗浄後の組織標本に対して、色素染色を行う。
免疫染色では、検出の目的となるマクロファージタンパク質に直接的または間接的に結合しうる抗体と標識物質とを直接的間接的に結合させた標識化抗体を適当な媒体に分散させ、組織切片等の組織標本に載せ、目的とする生体物質と反応させることで、目的のマクロファージタンパク質を染色する。
一次抗体に標識物質を結合させたものを標識化抗体としてもよいし、二次抗体に標識物質を結合させたものを標識化抗体としてもよい。一次抗体に標識物質を結合させたものを標識化抗体とした場合には、標識化抗体は組織標本中のマクロファージタンパク質と直接結合することによりそれらを染色する。二次抗体に標識物質を結合させたものを標識化抗体とした場合には、標識化抗体は、組織標本中のマクロファージタンパク質に予め結合させておいた一次抗体に結合することにより、組織標本中のマクロファージタンパク質を染色する。

また、抗体と標識物質との結合は直接的であっても間接的であってもよい。例えば標識化抗体が二次抗体であり、二次抗体と標識物質が間接的に結合している染色の様態の一つとして、［組織標本（目的タンパク質）］…［一次抗体（プローブ）］…［二次抗体］－［ビオチン］／［アビジン］－［標識物質］が挙げられる。
“…”は抗原抗体反応により結合していることを表し、“－”は必要に応じてリンカー分子を介していてもよい共有結合により結合していることを表し、“／”はアビジン・ビオチン反応により結合していることを表す。）となる実施形態が挙げられる。このような染色は、例えば、最初に一次抗体の溶液に組織標本を浸漬し、次に二次抗体－ビオチン結合体の溶液に組織標本を浸漬し、最後にアビジン－標識物質の溶液に組織切片を浸漬することによって行うことができる。

一次抗体には、目的生体物質としてのタンパク質を抗原として特異的に認識して結合する抗体（ＩｇＧ）を用いることができる。
二次抗体には、一次抗体を抗原として特異的に認識して結合する抗体（ＩｇＧ）を用いることができる。
一次抗体および二次抗体はいずれも、ポリクローナル抗体であってもよいが、定量の安定性の観点から、モノクローナル抗体が好ましい。抗体を産生する動物（免疫動物）の種類は特に限定されるものではなく、従来と同様、マウス、ラット、モルモット、ウサギ、ヤギ、ヒツジなどから選択すればよい。

なお、上記の色素染色に併せて、任意の物質を蛍光標識する蛍光染色を行ってもよい。例えば、蛍光色素を用いた蛍光 in situ ハイブリダイゼーション（ＦＩＳＨ）法により、任意の遺伝子を染色させることなどが可能である。

５）後処理
染色工程を終えた組織標本は、上述したシグナル計測のための撮影等に適したものとなるよう、固定化・脱水、透徹、封入などの処理を行うことが好ましい。
固定化・脱水処理は、組織標本を固定処理液（ホルマリン、パラホルムアルデヒド、グルタールアルデヒド、アセトン、エタノール、メタノール等の架橋剤）に浸漬すればよい。透徹は、固定化・脱水処理を終えた標本スライドを透徹液（キシレン等）に浸漬すればよい。封入処理は、透徹処理を終えた標本スライドを封入液に浸漬すればよい。これらの処理を行う上での条件、たとえば標本スライドを所定の処理液に浸漬する際の温度および浸漬時間は、従来の免疫染色法に準じて、適切なシグナルが得られるよう適宜調整することができる。

＜画像処理システム１００の動作（画像処理方法を含む。）＞
以下、画像処理システム１００において、上記説明した多重染色画像を取得して解析を行う動作について説明する。

まず、操作者は、上記した方法により、ＣＤ６８及びＣＤ１６３をそれぞれＤＡＢ及びＨｉｓｔｏＧｒｅｅｎによって染色した組織標本を用意する。
その後、顕微鏡画像取得装置１Ａにおいて、（ａ１）～（ａ３）の手順により多重染色画像が取得される。
（ａ１）操作者は、組織標本をスライドに載置し、そのスライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織上の観察対象の領域を視野に納める。
（ａ３）撮像手段で撮影を行って多重染色画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
なお、組織標本に対して色素染色に加えて蛍光染色を行う場合には、（ａ３）の手順の後に、（ａ４）及び（ａ５）の手順により蛍光画像を取得する。
（ａ４）ユニットを蛍光ユニットに変更する。
（ａ５）視野及び撮影倍率を変えずに撮像手段で撮影を行って蛍光画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。

画像処理装置２Ａにおいては、明視野画像に基づき細胞識別処理１が実行される。
図３に、画像処理装置２Ａにおいて実行される細胞識別処理１のフローチャートを示す。なお、図３に示す細胞識別処理１は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。

まず、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａからの多重染色画像が入力されると（ステップＳ１１）、制御部２１により染色情報識別処理が実行される（ステップＳ１２：染色情報識別工程）。
図４に、ステップＳ１２における染色情報識別処理の詳細フローを示す。なお、ステップＳ１２の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。

染色情報識別処理では、制御部２１の制御下で、まず、２重陽性領域（ステップＳ１２０１）、ＤＡＢ単陽性領域（ステップＳ１２０２）及びＨｉｓｔｏＧｒｅｅｎ単陽性領域（ステップＳ１２０３）のそれぞれの確率マップが算出される。

ここで、２重陽性領域とは、多重染色画像上において、ＤＡＢ及びＨｉｓｔｏＧｒｅｅｎの両方の発色が確認される２重陽性細胞、即ちＴＡＭを含むと考えらえる領域である。ＣＤ６８を標識するＤＡＢは細胞質に、ＣＤ１６３を標識するＨｉｓｔｏＧｒｅｅｎは細胞膜にそれぞれ発色し、これらの発色位置は完全には一致せず、染料が互いに異なる部位を断片的に染色する。両方の染料の発色が近接して確認される領域は、２重陽性細胞を含む可能性が高い。
一方で、ＤＡＢ単陽性領域及びＨｉｓｔｏＧｒｅｅｎ単陽性領域は、それぞれＤＡＢとＨｉｓｔｏＧｒｅｅｎの一方の発色のみが確認される領域であって、それぞれＤＡＢ単陽性細胞、ＨｉｓｔｏＧｒｅｅｎ単陽性細胞を含む可能性が高い。

多重染色画像上ではこれらの領域が混在しているが、各染色領域がいずれの領域に含まれるかを正確に判断することで、各染色領域に含まれる細胞の種類を同定することができる。確率マップは、各染色領域について、いずれの種類の細胞を含むものであるかを確率として算出し、空間的に把握可能な態様で示した図である。

以下、確率マップの生成方法について説明する。
確率マップは、例えば、予め定められた大きさの局所領域を含む画像パッチをもとに訓練された畳み込みニューラルネットワーク（convolutional neural network：ＣＮＮ）の出力として生成される。

ＣＮＮは、従来のディープラーニングと同様に、識別対象が写された大量の画像を学習用の画像として教師あり学習を行うことで、画像に写った識別対象の特徴をニューラルネットワークに自動的に学習する。

ＣＮＮは、例えば以下のように訓練される。一般的にＣＮＮにおけるニューラルネットワークは階層構造とされており、入力層と、畳み込み（convolution）層と、プーリング層と、全結合層と、出力層と、等を有しており、入力された学習用の画像に対して畳み込み層とプーリング層とを交互に複数回繰り返すことで、入力された画像に写された識別対象の特徴を抽出し、最後に全結合層で画像に写った識別対象の識別を行う。このようにして得た識別結果と、学習用の画像に付されたラベル（正解）との誤差を求め、ニューラルネットワークを逆伝播させ、ＣＮＮの各階層におけるパラメーターを変更する（誤差逆伝播法）。このように各層におけるパラメーターを変化させて、受け渡すデータを変化させることで、識別の精度を向上させて様々な識別対象を識別できるようになる。

本実施形態においては、ＣＮＮは、例えば、学習対象の画像として病理学者等の識者によって、予め２重陽性細胞、ＤＡＢ単陽性細胞及びＨｉｓｔｏＧｒｅｅｎ単陽性細胞のそれぞれが識別され、各細胞種に対応するクラスラベルが付与された画像を用いて訓練されることが可能である。学習対象の画像から、これらのラベルに対応する画素の周辺画素を含む領域、即ち２重陽性細胞、ＤＡＢ単陽性細胞あるいはＨｉｓｔｏＧｒｅｅｎ単陽性細胞のいずれかを含む局所領域が、画像パッチとして抽出される。ＣＮＮは、これらの画像パッチに対して上記したような各層の演算を行い、各々が２重陽性細胞、ＤＡＢ単陽性細胞あるいはＨｉｓｔｏＧｒｅｅｎ単陽性細胞のいずれであるかを識別し、識別結果と予め付与されたラベル（正解）との誤差を求め、誤差逆伝播法によりパラメーターを補正することで訓練される。

上記のようにして訓練されたＣＮＮは、入力された多重染色画像に対して、局所領域における染料間の空間的相関と、細胞の構成要素間の相対的な位置関係とを考慮に入れて、細胞の種類を識別することができる。
ここで、染料間の空間的相関とは、ある色の染料の近くに、他の色の染料が存在している等の、染料同士の位置関係を指す。例えば、２重陽性細胞は２種類の染料によって染色されるため、注目細胞を含む局所領域内において双方の染料による着色が確認されれば、その細胞は２重陽性細胞である可能性が高い。あるいは、注目細胞を含む局所領域内において単一の染料による着色しか確認されなければ、その細胞は単陽性細胞である可能性が高い。また、細胞の構成要素間の位置関係とは、細胞核の周りに細胞質、その更に外側に細胞膜が存在するといった、細胞の構成要素間の自明な包含関係を指す。

本実施形態の例によれば、ＤＡＢとＨｉｓｔｏＧｒｅｅｎの双方の染料が近接して配置される局所領域（２重陽性領域）において、細胞質に発色するＤＡＢの茶褐色を包囲するように、細胞膜に発色するＨｉｓｔｏＧｒｅｅｎの緑色が確認されれば、ＨｉｓｔｏＧｒｅｅｎの緑色によって包囲される染色領域が、単一の２重陽性細胞であると判断できる。

即ち、従来技術のように、単純にいずれかの染料によって染色された領域を細胞領域として抽出するのみでは、その染色状態の違いに基づいて細胞の種類を同定することは困難であった。これに対し本実施形態においては、上記したように染料間の空間的相関と、細胞の構成要素間の相対的な位置関係とを考慮することにより、複数の染料によって染色された多重染色画像から、２重陽性細胞や単陽性細胞といった断片的に染色された細胞のような複雑な識別対象を抽出し、染色状態の違いに基づいてこれらの細胞の種類を同定することが可能となる。

具体的には、ＣＮＮは、ステップＳ１１において入力された多重染色画像に対して、畳み込み層におけるフィルター処理と、プーリング層における画像の縮小処理とを交互に複数回繰り返すことで、多重染色画像から特徴を抽出する。各層は、抽出した特徴を二次元的に配列させた特徴マップをフィルターの数だけ出力する。出力された特徴マップは、全結合層において完全結合されたマップを出力し、細胞領域ごとの確率的ラベルを生成する。即ち、確率マップは、多重染色画像上の各位置について細胞種ごと（２重陽性細胞、ＤＡＢ単陽性細胞及びＨｉｓｔｏＧｒｅｅｎ単陽性細胞）の存在確率を算出し、それらを空間的につなぎ合わせて配列させたものである。なお、上記した各位置とは、多重染色画像上の複数のピクセルを含む広がりのある範囲であってもよいし、単一のピクセルであってもよい。したがって、確率マップは、例えば多重染色画像上の２つおきのピクセルごとに存在確率を算出した出力結果、あるいは各ピクセルについて存在確率を算出した出力結果などであることが想定される。

図５に、確率マップの概念図を示す。例えば、図５Ａに示すような２重陽性細胞Ｃ₁及びＤＡＢ単陽性細胞Ｃ₂が配置された多重染色画像が画像処理装置２Ａに入力された場合、ＣＮＮにより、画像全体に対してａで示すフィルターをかけて特徴を抽出する。
抽出された特徴に基づいて、図５Ｂに示す２重陽性細胞の確率マップＭ₁及びＤＡＢ単陽性細胞の確率マップＭ₂のような、細胞種毎の確率マップが白黒のマスクとして出力される。図中ｂは、フィルターａがかけられた領域における存在確率に対応する。これらが多重染色画像の全体に亘って空間的につなぎ合わされることによって、確率マップが生成される。
ここで、確率マップ上においては、算出された存在確率は色によって表現される。その表現方法はどのようなものであってもよい。例えば、確率マップは、１／０の２値で細胞内外を表したマップであってもよく、あるいは、細胞中心からの距離を色の濃さに変換したもの、又は細胞境界からの距離を色の濃さに変換したもの等、直接的に実在する物体以外の概念に応じたマップであってもよい。なおこれらはあくまで一例であり、上記した例によって限定されるものではなく、任意に設計可能である。

以上のようにして算出された確率マップは、制御部２１により、それぞれ閾値処理が施される（ステップＳ１２０４、ステップＳ１２０５、ステップＳ１２０６）。閾値処理とは、確率マップ上において、予め操作者によって設定された閾値に満たないものを切り捨てる処理である。これにより、各領域について一定以上の存在確率を有する領域のみが表示された確率マップが出力される。

次いで、制御部２１により、領域の統合と再割り当て処理が実行される（ステップＳ１２０７）。領域の統合と再割り当て処理は、確率マップに基づいて、多重染色画像上の各染色領域がいずれの細胞領域であるかを判定する処理である。
領域の統合と再割り当て処理においては、まず、ステップＳ１２０１～ステップＳ１２０６において、それぞれ算出された２重陽性領域、ＤＡＢ単陽性領域及びＨｉｓｔｏＧｒｅｅｎ単陽性領域を統合する。このとき、各領域の確率マップに対してステップＳ１２０４～ステップＳ１２０６の閾値処理を施したのみでは、確率マップ同士に重なり合う部分が生じてしまう。このような共通部分を切り分けるため、それぞれの細胞候補領域の出力が排他的になるように領域の形成を行う。これには、細胞候補領域に順位づけを行うことが有効であり、例えば２重陽性細胞を単陽性細胞よりも優先的に表示させるなどの方法を用いることができる。

以上のようにして、統合及び再割り当て処理が完了すると、２重陽性領域の細胞候補領域（ステップＳ１２０８）、ＤＡＢ単陽性領域の細胞候補領域（ステップＳ１２０９）、及びＨｉｓｔｏＧｒｅｅｎ単陽性領域の細胞候補領域（ステップＳ１２１０）がそれぞれ出力されて、染色情報識別処理が完了する。

図３のフローチャートに戻り、制御部２１により、領域形成処理が実行される（ステップＳ１３：領域形成工程）。
図６に、ステップＳ１３における処理の詳細フローを示す。なお、ステップＳ１３の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。

領域形成処理においては、制御部２１は、まず、各細胞候補領域において、面積が一定に満たない小面積領域を削除する（ステップＳ１３０１）。小面積領域の削除は、例えば、二値画像に対するオープニング処理によって行うことができる。オープニング処理は、収縮処理を行ってから同じ回数分だけ膨張処理を行う処理である。収縮処理は、注目画素からｎ×ｎ画素の範囲内にある画素に１つでも黒が含まれている場合に注目画素を黒に置き換える処理である。膨張処理は、注目画素からｎ×ｎ画素（ｎは２以上の整数）の範囲内にある画素に１つでも白が含まれている場合に注目画素を白に置き換える処理である。オープニング処理により、ノイズ等の微小な領域が除去された細胞候補領域が出力される。

続いて、制御部２１は、各細胞候補領域における欠損領域（穴領域）を補間する（ステップＳ１３０２）。欠損領域の補間は、例えば、二値画像に対するクロージング処理によって行うことができる。クロージング処理は、膨張処理を行ってから同じ回数分だけ収縮処理を行う処理である。クロージング処理により、欠損領域が補間された細胞候補領域が出力される。
以上の処理によって細胞領域上のノイズや欠損等が削除され、最終的な細胞領域の識別結果が出力され（ステップＳ１３０３）、領域形成処理が完了する。
領域形成処理を完了すると、図３の細胞識別処理１が完了する。

以上説明したように、本実施形態に係る画像処理方法は、発色の異なる複数の染料によって多重に染色された組織標本を撮像して得られた多重染色画像から、細胞の染色状態の違いに基づいて細胞の種類を同定することを特徴とする。染色情報識別処理においては、染料間の空間的相関と、細胞の構成要素間の相対的な位置関係と、に基づいて、細胞の染色状態を識別するとともに、細胞の種類ごとに存在確率を表す確率マップを出力する。即ち、本実施形態に係る画像処理方法によれば、複数の染料によって染色された多重染色画像から、断片的に染色された細胞のような複雑な識別対象を抽出することが可能となる。

また、本実施形態に係る画像処理方法においては、複数の異なる生体物質が、各々発色の異なる染料によって染色された細胞を含む組織標本を用いる。これにより、染色状態の違いに基づいて細胞の種類を同定することが可能となる。

また、本実施形態に係る画像処理方法においては、染色情報識別処理において粗抽出された細胞候補領域に対して、小面積領域の削除及び／又は欠損領域の補間を行う領域形成処理を実行する。これにより、より完全な形で細胞領域の出力を得ることができる。

なお、上記実施形態においては、領域形成処理として小面積領域の削除及び欠損領域の補間の両方を行うものとしたが、これらの処理は必要に応じて行えばよく、いずれか一方のみを実行するものとしてもよい。

≪第２実施形態≫
以下、図を参照して本発明を実施するための第２実施形態について説明する。なお、第１実施形態と同一の構成については、同一の符号を付して説明を省略する。

第２実施形態においては、細胞識別処理において、染色情報識別処理によって得られた細胞候補領域を一細胞ごとに分割する、分割工程を含む。
染色情報識別処理においては、２重陽性細胞、ＤＡＢ単陽性細胞及びＨｉｓｔｏＧｒｅｅｎ単陽性細胞のそれぞれの候補領域が出力されるが、各領域内で複数の細胞が近接して配置されていると、これらの細胞がつながって一つの領域として出力される場合がある。そこで、本実施形態における細胞識別処理は、このような複数の細胞がつながって形成された細胞候補領域を一細胞ごとに分割して出力するための分割処理を実行するとともに、当該分割処理の基準となる分割基準を特定するための分割情報識別処理を含むことを特徴とする。

＜画像処理システム１００の動作（画像処理方法を含む。）＞
以下、画像処理システム１００において、上記説明した多重染色画像を取得して解析を行う動作について説明する。なお、操作者による多重染色画像のデータの取得方法は、第１実施形態と同様であるため、説明を省略する。

図７に、画像処理装置２Ａにおいて実行される細胞識別処理２のフローチャートを示す。なお、図７に示す細胞識別処理２は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。

まず、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａからの多重染色画像が入力されると（ステップＳ２１）、制御部２１により染色情報識別処理が実行される（ステップＳ２２：染色情報識別工程）。ステップＳ２２の処理は、第１実施形態における染色情報識別処理と同一であるため、説明を省略する。即ち、ステップＳ２２の処理によって、２重陽性領域、ＤＡＢ単陽性領域及びＨｉｓｔｏＧｒｅｅｎ単陽性領域のそれぞれの細胞候補領域が出力される。

一方で、多重染色画像の入力を受けて、制御部２１により分割情報識別処理が実行される（ステップＳ２３：分割情報識別工程）。
図８に、ステップＳ２３における処理の詳細フローを示す。なお、ステップＳ２３の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。

分割情報識別処理では、制御部２１の制御下で、まず、分割基準の確率マップを算出する（ステップＳ２３０１）。
ここで、分割基準とは、一つにつながった領域を複数の領域へ分割する際に基準となる物体や領域を指す。具体的には細胞核、細胞質及び細胞膜等の細胞の構成要素が分割基準として好適であり、これらを分割基準として用いる場合には、別個の染料によってこれら染色することも可能である。
ただし、分割基準はこのような細胞の特定の構成要素に限定されない。分割基準は、生物学的構造、即ち細胞膜によって細胞同士が隔てられていること、細胞膜の内側に細胞質及び細胞核が存在すること、あるいは細胞質によって細胞核が内包されていること、などといった細胞の構成要素間の位置関係、及びこれらを染色する染料間の空間的相関を考慮して設定されることが好ましく、染料による染色領域に包囲された非染色領域、即ち、細胞核等が存在すると考えられる領域を、分割基準として設定することも可能である。

また、一の染料（本実施形態においては、ＨｉｓｔｏＧｒｅｅｎ）によって包含された他の染料（本実施形態においては、ＤＡＢ）を分割基準として用いることも可能である。ステップＳ２３０１では、ＤＡＢ染色領域を分割基準として設定し、その存在確率を確率マップとして算出する。

なお、分割基準の確率マップは、細胞候補領域の確率マップと同様に、ＣＮＮによって算出することが可能である。即ち、ＤＡＢ染色領域を分割基準とする場合には、多重染色画像から上記したＨｉｓｔｏＧｒｅｅｎ染色領域に包囲されたＤＡＢ染色領域を識別可能に訓練されたＣＮＮを用いて、分割基準の確率マップを算出することが有効である。

一方で、多重染色画像の入力を受けて、制御部２１により領域境界の確率マップが算出される（ステップＳ２３０２）。領域境界とは、一の分割基準とその外側の領域（周囲の染色領域あるいは隣り合った分割基準等）との境界部分を指す。ステップＳ２３０１において算出された分割基準の確率マップは、単に閾値処理を施したのみでは、分割基準同士がつながって出力される場合がある。そこで、分割基準の確率マップを領域境界の確率マップによって補正することで、個々の分割基準を分離することができる。
なお、領域境界の確率マップは、例えば、多重染色画像から分割基準の領域境界を識別可能に訓練されたＣＮＮによって算出することが可能である。

ステップＳ２３０１及びステップＳ２３０２の処理を完了すると、制御部２１により、分割基準の確率マップが補正される（ステップＳ２３０３）。具体的には、分割基準の確率マップの各ピクセルにおける確率（数値）から、それに対応する領域境界の確率マップ上のピクセルにおける確率を、任意に設定された重みを乗じて減算することで、補正可能である。
次いで、補正された分割基準の確率マップに閾値処理を施すと（ステップＳ２３０４）、最終的な分割基準の領域が出力されて（ステップＳ２３０５）、分割情報識別処理が完了する。

図７のフローチャートに戻り、制御部２１により、領域形成処理が実行される（ステップＳ２４：領域形成工程）。
図９に、ステップＳ２４における処理の詳細フローを示す。なお、ステップＳ２４の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。

領域形成処理では、制御部２１の制御下で、まず、染色情報識別処理において出力された各細胞候補領域に対して、分割情報識別処理において特定された分割基準を起点とする分割処理が施される（ステップＳ２４０１：分割工程）。この分割処理には、例えば、マーカーコントロール付きｗａｔｅｒｓｈｅｄアルゴリズムを適用することができる。

ｗａｔｅｒｓｈｅｄアルゴリズムは、画像の輝度勾配を山と谷の地形図に見立て、そこに水を流すイメージをした時に、水を貯める分水嶺を領域の境界として判定する手法である。
本実施形態において、分割情報識別処理で特定されたＤＡＢ染色領域（分割基準）をマーカーとするマーカーコントロール付きｗａｔｅｒｓｈｅｄアルゴリズムによって各細胞候補領域を分割する場合、ＤＡＢ染色領域を複数含む細胞候補領域のエッジ部分を山に見立て、当該細胞候補領域に対して、水位が画像全体で等しくなるように保ちながら浸水させるように、輝度の低い画素を除去していき、各細胞核の候補領域が一つの細胞候補領域の断片に含まれる状態となるまで、細胞候補領域を縮小する。次いで、細胞候補領域の断片を縮小開始前の細胞候補領域まで拡大させ、拡大された細胞候補領域同士がぶつかる画素を境界とすることで、細胞候補領域内の個々の細胞を分離することができる。

細胞候補領域が一細胞ごとに分割されると、制御部２１により、小面積領域の削除（ステップＳ２４０２）及び欠損領域の補間（ステップＳ２４０３）が実行される。これらの処理は第１実施形態と同様であるため、説明を省略する。

以上の処理の後、最終的な細胞領域、即ち細胞候補領域の個々の細胞が分離されて出力され（ステップＳ２４０４）、領域形成処理が完了する。
領域形成処理を完了すると、図７の細胞識別処理２が完了する。

図１０に、本実施形態に係る画像処理システム１００を用いて抽出された、２重陽性領域の細胞領域の一例を示す。
図１０に示すように、染色情報識別処理により、多重染色画像から２重陽性領域の細胞候補領域が粗抽出される。一方で、分割情報識別処理により、ＤＡＢ染色領域を分割基準として抽出する。これらに基づいて、領域形成処理により、つながって出力された一細胞ごとに分割されて、最終的な細胞領域が出力される。

以上説明したように、本実施形態に係る画像処理方法は、分割基準を特定するための分割情報識別処理を実行する。これにより、一つにつながって出力された細胞候補領域を細胞ごとに分割するための分割処理を実行することが可能となる。さらに、分割情報識別処理においては、分割基準の確率マップを生成するとともに、これを領域境界の確率マップによって補正することで、より正確に分割基準を特定することができる。

また、上記したように、分割基準は染料による染色領域の内部に配置された核であってもよいし、その他、核以外の細胞の構成要素であってもよい。あるいは、染色領域に包囲された非染色領域を分割基準としてもよい。即ち、核のない細胞や、核を複数有する細胞など、あらゆる種類の細胞に対して当該分割処理を適用することが可能である。

なお、上記実施形態においては、細胞候補領域の分割処理としてマーカーコントロール付きｗａｔｅｒｓｈｅｄアルゴリズムを用いるものとしたが、これに限定されない。その他、例えば、Ｇｒａｐｈｃｕｔを用いることも可能である。

[他の実施形態]
なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。

上記実施形態においては、ＣＤ６８及びＣＤ１６３をそれぞれＤＡＢ及びＨｉｓｔｏＧｒｅｅｎによって染色する場合を例に挙げて説明したが、これに限定されるものではない。例えば、Ｃ２５及びＦｏｘＰ３を染色した制御性Ｔ細胞、ＦＡＰ、αＳＭＡ及びｖｉｍｅｎｔｉｎを染色した癌関連繊維芽細胞（cancer-associated fibroblasts：ＣＡＦｓ）、ＣＤ１９及びＣＤ２０を染色したＢ細胞などにも本発明を適用することが可能である。

上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてＨＤＤや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、ＣＤ－ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。

また、画像処理装置は必ずしも単体の装置で構成する必要はなく、染色情報識別工程、領域形成工程、及び分割情報識別工程をそれぞれ実行する、染色情報識別部、領域形成部、分割情報識別部などの構成毎に特化した装置を組み合わせた構成であってもよい。

その他、画像処理システム１００を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明は、画像処理方法、画像処理装置及びプログラムに利用できる。

１Ａ 顕微鏡画像取得装置
２Ａ 画像処理装置
２１ 制御部（染色情報識別部、領域形成部）
２２ 操作部
２３ 表示部
２４ 通信Ｉ／Ｆ
２５ 記憶部
２６ バス
３Ａ ケーブル
１００ 画像処理システム

Claims (11)

1. 発色の異なる複数の染料によって多重に染色された組織標本を撮像して得られた多重染色画像から、細胞の染色状態の違いに基づいて細胞の種類を同定する画像処理方法において、
   前記多重染色画像において、第１の染料及び第２の染料によって染色された第１の細胞が存在する第１の細胞候補領域と、前記第１の染料によって染色され前記第２の染料によって染色されなかった第２の細胞が存在する第２の細胞候補領域とを識別する染色情報識別工程と、
   前記第１の細胞候補領域と前記第２の細胞候補領域に対して所定の領域形成処理を行うことにより、前記第１の細胞が同定された第１の細胞領域と前記第２の細胞が同定された第２の細胞領域とを形成する領域形成工程と、を備え、
   前記染色情報識別工程は、
   前記第１の染料による染色が検出されたピクセルの近傍に位置するピクセルに前記第２の染料による染色が検出されたか否かを表す、染料間の空間的相関と、細胞の構成要素間の相対的な位置関係と、に基づいて、前記多重染色画像上の前記第１の細胞及び前記第２の細胞の染色状態を識別するとともに、
   前記多重染色画像上の各位置について、前記第１の細胞の存在確率と前記第２の細胞の存在確率を算出し、少なくとも前記第１の細胞の存在確率と前記第２の細胞の存在確率を含む複数の細胞の存在確率を空間的につなぎ合わせた確率マップを出力する
   画像処理方法。
2. 前記組織標本は、複数の異なる生体物質が、各々発色の異なる染料によって染色された細胞を含む
   請求項１に記載の画像処理方法。
3. 前記領域形成工程は、前記所定の領域形成処理として、前記第１の細胞候補領域と前記第２の細胞候補領域に対する小面積領域の削除及び／又は欠損領域の補間を行う
   請求項１又は２に記載の画像処理方法。
4. 前記第１の細胞候補領域と前記第２の細胞候補領域を所定の領域ごとに分割するための分割基準を識別する分割情報識別工程を含み、
   前記分割情報識別工程は、
   前記多重染色画像上の各位置について、前記複数の染料間の空間的相関及び細胞の構成要素間の相対的な位置関係に基づいて、前記分割基準の存在確率を算出し、当該存在確率を空間的につなぎ合わせた分割基準の確率マップを生成する
   請求項１から３のいずれか一項に記載の画像処理方法。
5. 前記分割基準は、前記染料による染色領域の内部に配置された核である
   請求項４に記載の画像処理方法。
6. 前記分割基準は、前記細胞候補領域の内部であって、前記染料による染色領域に包囲された非染色領域である
   請求項４に記載の画像処理方法。
7. 前記領域形成工程は、前記所定の領域形成処理として、前記染色情報識別工程によって出力された前記第１の細胞候補領域と前記第２の細胞候補領域を、前記分割情報識別工程によって出力された分割基準を基準として分割する、分割工程を含む
   請求項４から６のいずれか一項に記載の画像処理方法。
8. 前記染色情報識別工程は、前記第１の染料と前記第２の染料とが互いに異なる部位を染色し、前記第１の染料の発色位置と前記第２の染料の発色位置が近接して確認される領域を、第１の細胞が存在する第１の細胞候補領域とする
   請求項１記載の画像処理方法。
9. 発色の異なる複数の染料によって多重に染色された組織標本を撮像して得られた多重染色画像から、細胞の染色状態の違いに基づいて細胞の種類を同定する画像処理方法において、
   前記多重染色画像において、第１の染料及び第２の染料によって染色された第１の細胞が存在する第１の細胞候補領域と、前記第１の染料によって染色され前記第２の染料によって染色されなかった第２の細胞が存在する第２の細胞候補領域と、前記第１の染料によって染色されず前記第２の染料によって染色された第３の細胞が存在する第３の細胞候補領域とを識別する染色情報識別工程と、
   前記第１の細胞候補領域と前記第２の細胞候補領域と前記第３の細胞候補領域に対して所定の領域形成処理を行うことにより、前記第１の細胞が同定された第１の細胞領域と前記第２の細胞が同定された第２の細胞領域と第３の細胞が同定された第３の細胞領域を形成する領域形成工程と、を備え、
   前記染色情報識別工程は、
   前記第１の染料による染色が検出されたピクセルの近傍に位置するピクセルに前記第２の染料による染色が検出されたか否かを表す、染料間の空間的相関と、細胞の構成要素間の相対的な位置関係と、に基づいて、前記多重染色画像上の前記第１の細胞と前記第２の細胞と前記第３の細胞の染色状態を識別するとともに、
   前記多重染色画像上の各位置について、前記第１の細胞の存在確率と前記第２の細胞の存在確率と前記第３の細胞の存在確率を算出し、前記第１の細胞の存在確率と前記第２の細胞の存在確率と前記第３の細胞の存在確率を含む複数の細胞の存在確率を空間的につなぎ合わせた確率マップを出力する
   画像処理方法。
10. 発色の異なる複数の染料によって多重に染色された組織標本を撮像して得られた多重染色画像から、細胞の染色状態の違いに基づいて細胞の種類を同定する画像処理装置において、
    前記多重染色画像において、第１の染料及び第２の染料によって染色された第１の細胞が存在する第１の細胞候補領域と、前記第１の染料によって染色され前記第２の染料によって染色されなかった第２の細胞が存在する第２の細胞候補領域とを識別する染色情報識別部と、
    前記第１の細胞候補領域と前記第２の細胞候補領域に対して所定の領域形成処理を行うことにより、前記第１の細胞が同定された第１の細胞領域と前記第２の細胞が同定された第２の細胞領域とを形成する領域形成部と、を備え、
    前記染色情報識別部は、
    前記第１の染料による染色が検出されたピクセルの近傍に位置するピクセルに前記第２の染料による染色が検出されたか否かを表す、染料間の空間的相関と、細胞の構成要素間の相対的な位置関係と、に基づいて、前記多重染色画像上の前記第１の細胞及び前記第２の細胞の染色状態を識別するとともに、
    前記多重染色画像上の各位置について、前記第１の細胞の存在確率と前記第２の細胞の存在確率を算出し、少なくとも前記第１の細胞の存在確率と前記第２の細胞の存在確率を含む複数の細胞の存在確率を空間的につなぎ合わせた確率マップを出力する
    画像処理装置。
11. 発色の異なる複数の染料によって多重に染色された組織標本を撮像して得られた多重染色画像から、細胞の染色状態の違いに基づいて細胞の種類を同定する画像処理装置のコンピューターを、
    前記多重染色画像において、第１の染料及び第２の染料によって染色された第１の細胞が存在する第１の細胞候補領域と、前記第１の染料によって染色され前記第２の染料によって染色されなかった第２の細胞が存在する第２の細胞候補領域とを識別する染色情報識別部、
    前記第１の細胞候補領域と前記第２の細胞候補領域に対して所定の領域形成処理を行うことにより、前記第１の細胞が同定された第１の細胞領域と前記第２の細胞が同定された第２の細胞領域とを形成する領域形成部、として機能させるためのプログラムであって、
    前記染色情報識別部に、
    前記第１の染料による染色が検出されたピクセルの近傍に位置するピクセルに前記第２の染料による染色が検出されたか否かを表す、染料間の空間的相関と、細胞の構成要素間の相対的な位置関係と、に基づいて、前記多重染色画像上の前記第１の細胞及び前記第２の細胞の染色状態を識別させるとともに、
    前記多重染色画像上の各位置について、前記第１の細胞の存在確率と前記第２の細胞の存在確率を算出し、少なくとも前記第１の細胞の存在確率と前記第２の細胞の存在確率を含む複数の細胞の存在確率を空間的につなぎ合わせた確率マップを出力させる
    ためのプログラム。

Images