JP5744177B2 - 画像中の物体をセグメンテーションする方法 - Google Patents

Description

本発明は、一般的に、デジタル画像に関し、より具体的には、画像からコンテンツを抽出するための、デジタル画像における物体のセグメンテーションに関する。

複雑な３次元材料の画像を、解析のため別々の同定可能な物体又は対象へとセグメンテーションすることは、材料に付随する高度のバラツキ、並びにイメージングシステム自体の間の不一致及びイメージングシステム自体によって導入される異常のため、難題である。

例えば、生物組織サンプルの画像を細胞及び細胞核等の構成要素にセグメンテーション又は描写することは、生物学的物質の染色時に及び蛍光式顕微鏡法によるイメージングに付随して追加のバラツキが導入されるため、特に重大な問題となる。薄い組織切片は本質的に３次元であるので、１０倍以上の倍率では焦点外アーチファクトが導入される。一例として、細胞内レベルでのタンパク質発現の定量は、組織サンプルのタンパク質発現の定量のための画像解析プロセスにおける必須のステップである。このタイプの定量解析によって、生物学者及び病理学者が、高度の詳細さで、所与のがん腫瘍内での数千もの細胞の分子地図を解析できるようになる。タンパク質発現の複雑な経路に関する新たな見識も提供する。Ｇｅｎｅｒａｌ Ｅｌｅｃｔｒｉｃ社のＩｎＣｅｌｌ２０００ ａｎａｌｙｚｅｒ等の自動画像収集プラットフォームの出現と共に、組織サンプルからそのようなコンテンツを抽出し、解析するための自動方法の形態のハイ・コンテンツ画像解析に対するニーズが高まりつつある。

特に生物学的サンプル解析に関しては、細胞核の検出及び描写に関連する数多くの問題がある。細胞は３次元の物体であり、そのような細胞の画像は、組織の所与の薄片に対応する２次元投影を捕らえたものである。焦点面の外側の細胞容積の部分も通常観察される。核の形状と大きさも、様々な組織タイプで大きく異なり、同じ組織タイプでさえ大きく異なる。例えば、肺組織における上皮細胞核の形状は、肺組織における間質細胞核の形状とは異なる。所与のがんの悪性度も、核の形状及び大きさに多大な影響を与えることがある。例えば、乳がんにおける細胞核の大きさは、診断上の指標となる。

細胞の多様性に加えて、染色の質及び組織処理もサンプル毎に異なるし、非特異的結合及び組織の自己蛍光は減らすことはできても通常は除去することができず、更に、画像収集システムは、特に、例えば画像収集カメラを能動的に冷却しないと、ノイズを生じ、大半の顕微鏡は照射不均一性の許容差を２０％までとして製造されている。

本発明の方法は極めて堅固で強力な方法を提供し、技術的効果は、画像を別個の又は目標とする物体へとセグメンテーションすることである。本方法は、複数の概して弱い又は一貫性の低いセグメンテーション結果から、強い又は十分な一貫性のあるセグメンテーション結果を構築する。各々の弱いセグメンテーション方法は、異なるが補足的な情報を捕らえた確率分布図を生成する。強いセグメンテーションは、複数の弱いセグメンテーション方法で得られた確率を、例えば、様々なパラメータ或いは加重平均又は合計のような所定の規則に基づいて、統合する。統合された強固な合成セグメンテーションに、ウォーターシェッド法を１以上の形態学的制約と共に適用して、画像の核領域を同定及びセグメンテーションする。本明細書では、まず、弱いセグメンテーションアルゴリズムを結合して強いセグメンテーションアルゴリズムを生成するという様々な画像に対して様々な目的に適用することができる一般的ワークフローを用いて、本発明を説明する。この一般的方法は、生物学的サンプルの画像を複数の細胞にセグメンテーションするという非限定的な具体例に適用される。具体例では、生物学的物質の画像で特に有用な、曲率に基づくセグメンテーション、画像勾配、ガボールフィルタ及び強度を含めたセグメンテーションアルゴリズムのサブセットを使用するが、本発明の方法は、他のタイプのものにも適用することができ、別のアルゴリズムのサブセットを含んでいてもよい。

本発明の一実施形態に係るデジタル画像を複数の対象物体にセグメンテーションする方法は、前記画像の複数の確率分布図であって各々異なるセグメンテーション分類子から得られた複数の確率分布図を生成するステップと、前記複数の確率分布図に基づいて合成確率分布図を生成するステップと、１以上の局所物体最大値に基づいて複数の像点をマッピングするステップと、前記マッピングした点に少なくとも部分的に基づく１以上の物体制約を適用して局所物体情報を同定するステップと、前記局所物体情報及び背景マスクが得られたら、前記合成確率分布図に１以上の領域閾値を適用して、画像を複数の領域にセグメンテーションするステップと、少なくとも部分的に、セグメンテーションされた領域を対応する局所物体最大値と結合することによってセグメンテーション画像を生成するステップと、前記セグメンテーション画像をデジタルデバイスに少なくとも一時的に格納又は表示するステップとを含む。

本発明のこれら及び他の特徴、態様及び利点は、以下の詳細な記述を、図面全体を通じ同様の特徴は同様の部分を表す添付図面を参照して読むと、より理解されるであろう。

画像をセグメンテーションするための、本発明の方法及びシステムの一例の流れ図である。 画像をセグメンテーションするための、本発明の方法及びシステムの具体例の流れ図である。 ４つの弱い分類子に基づく確率分布図の例である。図３Ａは曲率に基づく分類子を用いて生成され、図３Ｂはガボールフィルタバンクを用いて生成され、図３Ｃは勾配分類子を用いて生成され、図３Ｄは強度分類子を用いて生成された。 図４Ａは強いセグメンテーション分類子の例を用いて作られた確率分布図の例であり、図４Ｂは検出した物体中心を示すマップの例であり、図４Ｃは形態学的制約を使った強調画像の例であり、図４Ｄはセグメンテーション画像の例であり、図４Ｅはマッピングした核と結合した最終的なセグメンテーションをした画像の例である。 図５Ａは一部を赤い四角形で囲んだ、元のセグメンテーションしていない画像の例であり、図５Ｂは同じ対応する部分を赤で囲んだ、本発明の方法の一例を用いて生成した、最終的なセグメンテーションをした画像の例であり、図５Ｃは図５Ａの囲んだ部分の拡大図であり、図５Ｄは図５Ｂの対応する囲んだ部分の拡大図である。 図６Ａは一部を赤い四角形で囲んだ異種移植モデルの、元のセグメンテーションしていない他の例であり、図６Ｂは同じ対応する部分を赤で囲んだ、本発明の方法の一例を用いて作られた、最終的なセグメンテーションをした画像の例であり、図６Ｃは図６Ａの囲んだ部分の拡大図であり、図６Ｄは図６Ｂの対応する囲んだ部分の拡大図である。

本方法及びシステムは、デジタル画像をセグメンテーションするための従前の方法に優位な改良を提供する。本方法の一部は、複数（Ｎ）の弱い分類子から強い分類子を構築する。用語「弱い分類子」は、本明細書では、単独で使用したときに、個別の弱い分類子を複数結合したものからなる本発明の強い分類子で得られるような再現可能で強く一貫性のあるセグメンテーション画像を与えない分類子を意味する。弱い分類子の各々は、記載された実施形態の１つ以上で使われ、細胞の核等の対象物体に所与のピクセルが属するか否かを推定する確率の形態の特有で異なる情報を提供する。本発明の合成分類子は、弱い個別の分類子の結果を結合する。強い分類子は、弱いセグメンテーションから得られた全体的及び局所情報を統合し、一貫性が高く正確な、セグメンテーション画像を生成する。１つ以上の実施形態において、ウォーターシェッドアルゴリズムは、１つ以上の局所制約と共に、強いデータに適用され、細胞核等の個別の対象物体を識別し、マッピングする。

特許請求される発明の内容をより明確により簡潔に説明し、指摘するために、以下の定義を以下の説明及び添付の特許請求の範囲で使用される具体的な用語に与える。本明細書を通して、具体的な用語の例示は、限定的な例ではないと考えるべきである。

本明細書で用いる用語「対象物体」は、セグメンテーションしたデジタル画像からコンテンツを抽出するために、複数の異なる分類子又は定義を適用することができる関心項目をいう。

本明細書で用いる用語「分類子」は、アルゴリズムとして表すことができるデジタル画像の１つ以上のパラメータをいう。

本明細書で用いる用語「確率分布図」は、デジタル画像におけるピクセルつまり像点の全部又は一部のマップのことをいい、所与のピクセルが前にデジタル画像に適用された分類子に基づく分類に属する確率を示す。マップは、所与のアプリケーション又はシステムに応じて、仮想の、現実の、格納した、又は一時的なものであり得る。

本明細書で用いる用語「局所物体最大値」は、デジタル画像における離散的な対象物体と関連したピクセルつまり像点の中で、所与の分類子によって定義される、最も高い値又は程度をいう。

本明細書で用いる用語「物体制約」は、物体に適用することができる１以上のアルゴリズムステートメント又は規則をいい、物体の状況又は様子、物体の特性、属性、又は特徴、並びに状態又は表現修飾子を定義又は制限するものが挙げられるが、これらに限定されない。

本明細書で用いる用語「局所物体情報」は、所与の物体と関連した情報をいい、物体と関連した事実、データ、結論、推定、統計、変形及び状態が挙げられるが、必ずしもこれらに限定されない。

本明細書で用いる用語「領域閾値」は、例えば、ウォーターシェッド又はウォーターシェッドに基づくアルゴリズム等の、画像に適用され、画像を領域にセグメンテーションする規則又はステートメントをいう。

本明細書で用いる用語「デジタルデバイス」は、少なくとも一時的にデジタル画像を格納、表示、生成、処理、修正、又は印刷することができる任意のデバイスをいう。

本方法及びシステムは、デジタル画像内にある物体の広い分類をセグメンテーションするために使うことができる。本方法及びシステムは、例えば、工業検査並びに医学的及び生物学的イメージングと関連した画像において見られるような、楕円形状の物体をセグメンテーションするために使うことができる。

本方法の１つ以上の実施形態により、少なくとも１つの物体制約と共に、ウォーターシェッドアルゴリズムが適用される新しいブースティングアプローチを用いて確率分布図が作成される。強い分類子は、１つ以上の形態学的制約と共に、形状、強度及びテクスチャ情報等であるが、これらに限定されない補足的な情報をもたらす複数の弱い分類子に基づいて構成される。

一例において、細胞核を検出することには、細胞における形状、強度及びテクスチャ等の様々な核の属性をモデル化することが含まれる。例えば、多くのタイプの細胞核の全体的な形状は、円形又は楕円形であり、組織タイプ及び形態に応じて大きさと形状に相当な違いがある。テクスチャに関して、細胞をイメージングする場合、核のテクスチャは、細胞物質又は組織サンプルに適用される蛍光色素の一様ではない結合及び分布のため、一部、変化する可能性がある。強度も、画像間及び単一の画像内で変化し、顕微鏡法システムそれ自体と関連した任意の様々な要因によってもたらされる可能性がある。

一例において、３次元の組織部分から得られた２次元の細胞核を検出することには、細胞における形状、強度及びテクスチャ等の様々な核の属性をモデル化することが含まれる。例えば、多くのタイプの細胞核の全体的な形状は、円形又は楕円形であり、組織タイプ及び形態に応じて大きさと形状に相当な違いがある。テクスチャに関して、細胞をイメージングする場合、核のテクスチャは、細胞物質又は組織サンプルに適用される蛍光色素の一様ではない結合及び分布のため、一部、変化する可能性がある。強度も、画像間及び単一の画像内で変化し、顕微鏡法システムそれ自体と関連した任意の様々な要因によってもたらされ得る。

本発明の方法の一実施形態は、様々なモダリティと目的に容易に適用可能であり、概して、方法１０として図１の流れ図に示され、説明される。この実施形態において、３つのセグメンテーション分類子１２Ａ、１２Ｂ及び１２Ｃは、ステップ１４において画像１６に適用される。一例として、そのような分類子は、形状、強度及びテクスチャプリミティブを有することができる。３つの弱いセグメンテーション分類子１２Ａ〜１２Ｎによって作られた結果としての確率分布図Ｐ１〜ＰＮを用いて、弱い分類子の加重結合に基づいて、強いセグメンテーション分類子１８を生成する。本方法は、具体的な数の弱い分類子（例えば、Ｓ１〜ＳＮ）又は具体的な数の形態学的制約（例えば、Ｍ１〜ＭＮ）の使用に限定されず、任意の適切なタイプ及び数の、個別の分類子及び制約に拡張することができ、又は向上させることができる。個別の、弱い分類子は、形状特徴（例えば、規則的及び不規則的な楕円形、円形、半円形状）、強度特徴（例えば、均一性、ヒストグラムに基づく方法）、テクスチャ特徴（例えば、フラクタル、ウェーブレット、２次又はさらに高次の統計量）を有することができるが、これらに限定されない。結合分類子１８は、結合した形態学的制約２０Ａ、２０Ｂ及び２０Ｃと共に、その後、１つ以上の領域閾値アルゴリズムを用いて画像１６に適用され、ステップ２２において、１つ以上の局所制約と共に、対象物体（例えば、細胞核）に少なくとも一部をセグメンテーションした結果画像２４を生成する
以下は、本方法及びシステムの様々な実施形態を示すために使われる、限定的ではない実施例である。

以下は、画像３２をセグメンテーションするための本発明の方法の実施例であり、概して、方法３０として図２に示され、説明されるこの実施例では、識別された細胞核を有する細胞に組織サンプルの画像をセグメンテーションする。本実施例では、４つの異なる弱いセグメンテーション３４Ａ〜３４Ｄ（分類子）の結果を、強いセグメンテーション３６（結合した分類子）（図４Ａ）に結合する。第１のステップには、複数の弱いセグメンテーションアルゴリズムを用いて、強いセグメンテーション分類子を生成することが含まれる。この実施例において、強い分類子は、曲率に基づくセグメンテーションアルゴリズム、２つの異なる勾配に基づくセグメンテーションアルゴリズム及び強度に基づくアルゴリズムを用いて生成され、次の通りに表すことができる。

ここで、ｐＣＢＳは曲率に基づくセグメンテーションアルゴリズムを用いて計算した確率分布図を表し、ｐＧａｂｏｒはガボールフィルタに基づくセグメンテーションアルゴリズムを用いて計算した確率分布図を表し、ｐＧｒａｄｉｅｎｔは勾配セグメンテーションを用いて計算した確率分布図を表し、ｐＩは強度に基づくセグメンテーションを用いて計算した確率分布図を表す。結果としての確率分布図は、個別の弱いセグメンテーションアルゴリズムによって生成された、個別の確率分布図の加重平均である。加重は、経験的な方法で、又は教師付き分類アルゴリズムを用いて決定することができる。

この実施例において、細胞核は明るい小塊状の形態を有するので、結果として固有値はマイナスであり、π／２よりも小さな角度を有する。確率分布図ｐＣＢＳは、反復的に推定され、ピクセルが小塊状構造に属する確率は、そのピクセルが小塊構造の中央にある場合、最大となる。その後、閾値を選択し、バイナリーマスクの距離変換を推定することによってバイナリーマスクが推定され、距離変換の応答は、小塊状構造の中央において最大となり、この実施例における細胞又は核の、境界又は膜組織に対して外側に向けて低下する。

次に、この実施例において、細胞核の構造に関する幾何学的情報を、ガウス関数の乗法から得られた１組のデジタルフィルタ及び以下に示す調和関数であるガボールフィルタバンク３４Ｂを用いて統合する（図３Ｂ）。

この実施例において、推定（図３Ｃ）も、勾配セグメンテーションアルゴリズム３４Ｃに基づいて生成される。勾配セグメンテーションは、勾配の大きさに基づいており、物体の境界（例えば、この実施例において、核の膜組織）で最大応答を有し、物体の内側（例えば、核）で最小応答を有する。これは、核を分離するために使われるペナルティ要素又は識別要素である。勾配についての情報は、確率分布図に対し補足的である。

確率分布図の生成に加え、シード点も決まる（図４Ｂ）。シード点ＩＳｅｅｄｓは、この実施例において、通常は核の中央となる局所最大確率に位置し、以下の通り定義される。

ひとたびシード点が決定すると、形態学的制約４０がシード点から得られ、核が効果的に分離されることを確実にする。図４Ｂは、検出した核の中央点ＩＳｅｅｄｓを示す。これらは、セット４２として使われ、ウォーターシェッドアルゴリズムにおいて、局所極小値の領域に課される。背景も除外され、そのため、局所極小値に対応する領域は、前景においてのみ課される。背景は、個別の弱いセグメンテーションから生成された、結合した強い確率分布図から推定される。

図２に示すように、決定したシード点及び背景マスクが与えられると、その後、以下に示すように、形態学的制約を強調画像（図４Ｃ）に適用することによって、ウォーターシェッドステップ４４が実行される。

ここで、ｐｓ，αは確率画像ｐｓからの閾値αを適用した後のバイナリー画像４６（図４Ｄ）である。

図４Ｃは、局所制約画像であり、核の中央は局所極小値に対応するため黒くなっており、細胞の境界は局所最大値に対応するため明るくなっていることが分かる。図４Ｄは、検出した核領域を描いており、図４Ｅは、同じ核に対応するそれらの領域を結合した後の最終的なセグメンテーションを描いている。

実施例
本方法は、異種移植モデルに適用された場合、図５Ａ〜図５Ｄに示すように同様の結果をもたらす。図５Ａ〜図５Ｄは、異種移植モデルに対応するＤＡＰＩ画像を示す。図５Ａ及び図５Ｂは、それぞれ、元の画像及びセグメンテーション画像である。図６Ｃ及び図６Ｄは、それぞれ、元の画像及びセグメンテーションである。示されている形状、大きさ及び外観の違いは、蛍光色素の不均一性のためである。本方法からのセグメンテーション結果は、細胞核が集まり、重なり、頻繁に接している画像においてでさえ、極めて正確で一貫性がある。図６に示すように、細胞５０、３６、３７は、明確に区別可能である。

本発明の特定の特徴のみを本明細書で図示し記載してきたが、当業者は多くの修正及び変更を思いつくだろう。したがって、添付の特許請求の範囲は、本発明の真の精神の範囲内にあるような修正及び変更の全てを包含するよう意図されていることを理解されるべきである。

Claims (11)

1. デジタル画像を複数の対象物体にセグメンテーションする方法であって、
   前記画像の複数の確率分布図であって各々異なるセグメンテーション分類子から得られた複数の確率分布図を生成するステップと、
   前記複数の確率分布図に基づいて合成確率分布図を生成するステップと、
   １以上の局所物体最大値に基づいて複数の像点をマッピングするステップと、
   前記マッピングした点に少なくとも部分的に基づく１以上の物体制約を適用して局所物体情報を同定するステップと、
   前記局所物体情報及び背景マスクが得られたら、前記合成確率分布図に１以上の領域閾値を適用して、画像を複数の領域にセグメンテーションするステップと、
   少なくとも部分的に、セグメンテーションされた領域を対応する局所物体最大値と結合することによってセグメンテーション画像を生成するステップと、
   前記セグメンテーション画像をデジタルデバイスに少なくとも一時的に格納又は表示するステップと
   含む方法。
2. 前記物体制約の少なくとも１つが形態学的制約である、請求項１記載の方法。
3. 前記形態学的制約が細胞核に基づく、請求項２記載の方法。
4. 前記対象物体が生物学的細胞である、請求項１乃至請求項３のいずれか１項記載の方法。
5. セグメンテーション分類子が、大きさ、形状、強度、テクスチャ、ウェーブレット及びフラクタルからなる群から選択される、請求項１乃至請求項４のいずれか１項記載の方法。
6. 前記合成確率分布図が、前記複数の確率分布図の加重平均に基づく、請求項１乃至請求項５のいずれか１項記載の方法。
7. 前記加重平均が経験的に定義される、請求項６記載の方法。
8. 前記加重平均が予め定義されている、請求項６記載の方法。
9. 前記セグメンテーション分類子の少なくとも１つが物体曲率に基づく、請求項１乃至請求項８のいずれか１項記載の方法。
10. 前記セグメンテーション分類子の少なくとも１つが、ガウス関数及び調和関数から少なくとも部分的に得られる１組のデジタルフィルタである、請求項９記載の方法。
11. 前記セグメンテーション分類子の１つ以上が、勾配、強度、ウェーブレット又はフラクタルに基づく、請求項９記載の方法。