JP5058259B2 - 組織マイクロアレイのスコアリング画像のためのシステム及び方法 - Google Patents

組織マイクロアレイのスコアリング画像のためのシステム及び方法 Download PDF

Info

Publication number
JP5058259B2
JP5058259B2 JP2009523884A JP2009523884A JP5058259B2 JP 5058259 B2 JP5058259 B2 JP 5058259B2 JP 2009523884 A JP2009523884 A JP 2009523884A JP 2009523884 A JP2009523884 A JP 2009523884A JP 5058259 B2 JP5058259 B2 JP 5058259B2
Authority
JP
Japan
Prior art keywords
images
tissue
image
cancer
biomarker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009523884A
Other languages
English (en)
Other versions
JP2010500572A5 (ja
JP2010500572A (ja
Inventor
フィルキンズ,ロバート・ジョン
クライン,ハーヴェイ・エリス
モンタルト,マイケル・クリストファー
メンドーサ,パウロ・リカルド
キャン,アリ
タオ,シャオドン
シール,マクシミリアン・ルイス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/500,028 external-priority patent/US8131476B2/en
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2010500572A publication Critical patent/JP2010500572A/ja
Publication of JP2010500572A5 publication Critical patent/JP2010500572A5/ja
Application granted granted Critical
Publication of JP5058259B2 publication Critical patent/JP5058259B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast

Description

本発明は、組織マイクロアレイの処理及び病気の診断に関する。
組織マイクロアレイ(TMA)は、様々な解析及び診断目的に用いられる。その一つとして、分子レベルで病変組織を診断することを目的とする。癌の病理組織は、明視野顕微鏡で、ヘマトキシリン・エオジン(H&E)で染色された生検組織を使用して細胞形態学に基づいて診断される。現今、癌遺伝子は、選択された診断検査において、免疫組織化学(IHC)染色法で検出され、新しい抗癌剤で薬物治療を処方し、この新しい抗癌剤はわずかな患者だけに有効である。今まで、TMAを解析して、所定の組織サンプルに病患の存在を示唆しているかを検出し、更に確実な病気の種類及び段階を検出するプロセスは、具体的に病理学者が顕微鏡を用いて所定のTMAを観察することにより、主観的に結果を生ずる。
例えば、乳癌は単一病患ではなく多枝病変であり、分子レベルでその腫瘍表現型を認識することができる。分子マーカーの定量は、診断して治療を行うことに必要である。乳癌におけるβ−カテニンの細胞内分布は、免疫組織化学(IHC)及び免疫蛍光検査法(IF)を使用して解析されて、生存率を予測する。エストロゲン除去による乳癌の治療は、エストロゲン受容体を有する腫瘍に依存する。そのようなものとして、エストロゲン受容体(ER)のIHCテストがホルモン除去療法のような治療に用いられる。侵攻性疾患と関連する乳癌で、人の上皮細胞増殖因子受容体−2(Her2)が、約20〜30%過剰発現されると、不良な予後を治療する。2回目のIHC染色がHer2/neuの過剰発現のテストに用いられる。茶色染色は、病理学者により明視野顕微鏡で、カテゴリー0、+1、+2、+3を用いて視覚的にスコアされた。ドセタキセルで行うモノクローナル抗体であるトラスツズマブの(Herceptin(商標))の短期治療は、増幅したHer2/neu遺伝子を有する乳癌の女性に対して有効である。
転位活動は、様々な癌のインジケイターとして使用される。この癌として、乳癌、及び他の上皮−ベース癌が含まれるが、これに限定されない。例えば、Wntシグナルにおいて、非リン酸化β−カテニンがサイトゾルに堆積され且つ細胞核に転位されて、腫瘍成長を起す多くのターゲット遺伝子の転写因子として機能する。正常な組織にWntシグナルがない場合、リン酸−β−カテニンは、カドヘリンと関連する細胞間接着結合に配置され、サイトゾルで急速に分解される。グリコーゲン合成酵素−3βキナーゼ−3β(GSK3β)−介在リン酸化反応は、プロテアソームで急速なβ−カテニンの分解を促進する。リン酸−β−カテニン・サイトゾルの発現が低い生存率と関連する場合、乳癌における膜質のβ−カテニンの発現は、生存率の改善と関連する。タモキシフェン耐性の細胞株は、上皮から間葉への転位を経歴し、β−カテニンリン酸化反応を調整する。β−カテニンは、他の上皮癌にも影響を与える。
TMAの手作業による解析は、高価で時間がかかり、病理学者の視覚的評価に必ず依存されている。しかしながら、組織マイクロアレイ(TMA)は、多い患者のコホートのハイスループット解析のための手段を提供する潜在力を有する。TMAの大量情報及び高次元データは、今まで得られなかった自動的且つ強い画像解析ツールが要求される。
本発明に係る方法及びシステムは、自動的な画像解析のフレームワークを提供して、様々な被験体のために組織サンプルのデジタル画像を自動に定量しスコアし、単一の組織切片でマルチバイオマーカーを識別し定量化して、癌の薬物治療を開発することができる。
この被検体として、癌のスクリーニング患者、及び段階及び種類の明確された癌が含まれるが、これに限定されない。この方法及びシステムの技術効果は、組織の多チャネル画像を自動的に解析し;マルチバイオマーカーを同時に解析/定量化し;多い患者コホートをハイスループットに解析し;空間分解を定量化し;及び癌のスコアリングのために、バイオマーカーの解析に基づいてコンパートメントすることである。その中で、マルチバイオマーカーは、処方治療に用いられる異なる経路を示す。通常デジタル顕微鏡で行われる本発明のこの方法及びシステムは、病理学者にすごく助かる普通の観察及び画像処理にも適する。
免疫蛍光検査法は、細胞内のコンパートメントにおいて、常にタンパク質の分布を決定することに用いられる。2つの異なるコンパートメントにおけるバイオマーカーの比を測定することにより、画像強度に影響を与える因子を解析から避けることができる。焦点画像から焦点外画像を取得し、且つそれを取り去って、ゆっくりと変化する背景を減少することではなく、1以上の好ましい方法は、高域フィルターを用いて、其々2つを取得することで、同じ効果を得ることができる。
この方法及びシステムは、通常、連続染色ステップにより得られた異なるバイオマーカーの多チャネル画像を利用する。これらの画像は、不均等照明により補正される。1以上の実施形態では、ロバスト多重解像度画像のレジストレイション・アルゴリズムは、画像を同じ座標系に変換するために提供される。ある実施形態では、K平均セグメンテーション法は、レジストされた画像を細胞内のコンパートメントにセグメント化するために提供される。このアルゴリズムは、多くの被検者に実用でき、何回のステップにより取得された任意数のチャネルを有する画像に対応することができる。
従来の方法とは異なり、ここで掲示された連続イメージング及びレジストレイション方法及びシステムの技術効果は、多チャネルをデジタル的に解析しスコアすることができる。前で説明した通りに、従来蛍光マーカーは単独に使用されて、細胞核、上皮組織及び間質を識別して、細胞のコンパートメント情報を提供する。本発明の方法に係る様々な実施形態では、蛍光マーカーの形態学的機能は、蛍光バイオマーカーの機能と組み合わせて、画像を連続的にデジタル化し処理し且つスコアする。
組織のサンプルを解析するシステムの一実施形態は、通常1以上の細胞の複数のチャネルを含む1以上の画像を少なくとも一時的に記憶する記憶装置と;処理装置とを含む。その中で、処理装置には、バイオマーカーが1以上の細胞内の領域から他の細胞内の領域に転位した範囲を決定する決定手段と;転移範囲に対応するスコアを生成する生成手段とを含む。このスコアは、この組織が癌であるか否か及び/又はこの癌組織が転移されているか否かを標識する。このシステムは、転位を相手にするスコアを決定して、癌の存在を示すことに適することができる。このシステムは、乳癌、結腸癌及び黒色腫を含む上皮癌のような癌の特異組を示す転位を決定することに更に適することができる。しかしながら、このシステムは、上皮癌又は特異な上皮癌に限定するわけではない。このチャネルは、1以上のバイオマーカー及び形態学的染料からなることが好ましい。
バイオマーカーの転位した範囲を決定する決定手段は、少なくとも部分的にバイオマーカーチャネルを含む1以上の画像と形態学的チャネルを含む1以上の画像との間の相関、及び細胞膜内の領域及び他の細胞内の領域におけるバイオマーカーの平均強度の比を利用して、この転位を決定することができる。細胞内の領域は、細胞膜、細胞質、細胞核、間質組織、及び筋肉組織のような細胞成分又は領域を含むことができるが、これに限定されない。この決定手段は、高域アンシャープマスクフィルターを、バイオマーカーチャネルを含む画像と形態学的チャネルを含む画像とに適用することができる。
組織サンプルを解析するシステムの他の実施形態は、通常、1以上の細胞の複数のチャネルを含む1以上の画像を少なくとも一時的に記憶する記憶手段と、処理装置とを含む。この処理装置は、通常、バイオマーカーが1以上の細胞内の領域から他の細胞内の領域に転位した範囲を決定する決定手段と、転位範囲と対応するスコアを生成する生成手段とを含む。その中で、決定手段は、少なくとも部分的に、バイオマーカーチャネルを含む1以上の画像と形態学的チャネルを含む1以上の画像に高域アンシャープマスクフィルターを適用し、フィルターされた画像を相関させ、1つの細胞内の領域と他の細胞内の領域とにおけるバイオマーカーの平均強度の比を決定することにより、範囲を決定することができる。
組織サンプルを解析するシステムの他の実施形態は、通常、1以上の細胞の複数のチャネルを有する1以上の画像を少なくとも一時的に記憶する記憶装置と、処理装置とを含む。この処理装置は、通常、バイオマーカーが1以上の細胞内の領域から他の細胞内の領域に転位する範囲を決定する決定手段と、この転位範囲と対応するスコアを生成する生成手段を含む。その中で、決定手段は、少なくとも部分的に、バイオマーカーチャネルを含む1以上の画像と形態学的チャネルを含む1以上の画像を、細胞内の領域にセグメント化し、細胞膜内の領域と他の細胞内の領域におけるバイオマーカーの平均強度の比を決定することにより、この範囲を決定することができる。
本発明に係る特徴、態様、及び効果は、添付した図面に基づいて具体的に説明することにより、より一層明確になる。そしてそれらの図面は図面を通じて類似の部品を示す類似の符号を示す。
図1は、K領域にセグメント化され、且つラベルマップから得られた特徴を、類似する癌の病期を有する組織にクラスターされて示されたN−チャネルのTMA画像の実施形態の概略図である。 図2は、各患者の相関スコアの実施形態を示す柱状図である。その中、この相関スコアは、まずβ−カテニンとDAPI画像をフィルタリングした後、2つの画像間の画像の相関を測定することにより生成する。このスコアの柱状図は、正常と、癌と、転移した組織とから構成された。 図3は、各患者の細胞核と細胞膜におけるβ−カテニンの比を含むセグメンテーションスコアの実施形態を示す柱状図である。この柱状図は正常と、癌と、転移した組織とから構成された。 図4は、この方法及びシステムの様々な実施形態の画像を示し;正常な組織において、β−カテニンは(a)細胞膜と対比し、DAPIは、正常な組織における(b)細胞核と対比し;乳癌において、β−カテニンは、減少されたコントラストを与える(c)細胞膜から転位され、DAPIにより対比された(d)細胞核は、大きい寸法である。画像(e)と(f)は、ある実施形態では、ゆっくり変化する自己蛍光を避け、且つ(e)細胞膜と(f)細胞核との分離を改善するように、オリジナルの画像からぼやけた画像を取り去って、画像の相関を測定することによる、高域画像処理フィルターを適用した後の結果を示す。 図5は、この方法及びシステムの様々な実施形態の画像を示し;この画像は7チャネルK平均法を用いて、細胞核、細胞膜、平滑筋、間質、及び背景である5つのコンパートメントにセグメント化され、(a)において、上皮組織を含む正常な乳管が筋肉により囲まれ;(b)において、腺管癌が正常な組織に侵入し;(c)において、侵入性癌細胞が未分化され、細胞膜構造が対比されていないことを示す。 図6は、様々な実施形態の免疫蛍光画像(b)と(d)にレジストされたH&E画像(a)と(c)における明視野H&E画像を示す。この実施形態では、細胞核、細胞膜、間質、及び背景である4つのコンパートメントにセグメント化された。 図7は、実施形態に係る50個の乳房組織組を、4つの病理組織病期にセグメント化することにより構成されたヒートプロット(heat−plot)を示す。各列は、35次元の特徴ベクトルを与える7つのコンパートメントにおける5つのマーカーの平均強度を使用することにより構築される。病期IIとIIIとの間及び正常と病期IIIとの間の異なる顕著なパターンが示されている。このコラムは、M=細胞膜、S=間質、N=細胞核、SM=平滑筋、及びB=背景である5つのコンパートメントの組である。各組において、β−カテニン、ケラチン、DAPI、平滑筋アクチン、H&Eの赤、緑及び青である7つのチャネルマーカーがある。 図8は、実施形態では、其々下記のことを示す。(a)は、β−カテニン及びDAPI特徴空間においてピクセルを細胞膜Mと細胞核Nにセグメント化したことを示し;(b)と(c)は、正常、IDC、及び転位されたクラスターの散布図を示し;(d)は、転位スコアとセグメンテーションスコアとの相関を比較した散布図を示している。 図9は、実施形態では其々下記のことを示す。(a)は、正常な導管細胞の画像を示す;(b)は、IDC細胞の画像を示す;(c)は、反相関である正常な組織のβ−カテニンとDAPI外形とのグラフを示す;(d)は、相関である癌組織のβ−カテニンとDAPI外形のグラフを示す;(e)は、細胞膜に集中されたβ−カテニンを示す正常な導管細胞の画像を示している;(f)は、対応するDAPI染料が細胞核に集中されたことを示す(e)における正常な導管細胞の画像を示す;(g)は、DAPI染色された細胞核のレジストされた3チャネル画像を示す;(h)は、β−カテニン染色された細胞膜をDAPI染色された細胞核に重ねたことを示す概念図である。 図10は、実施形態では、其々蛍光化及びセグメント化された画像対を示す。(A−B)は、環状細胞核を有する導管細胞を示す正常な乳房組織を示す;(C−D)は、上皮組織の成長を示す浸潤導管癌細胞を示す;(E−F)は、不良な病理予後を標識する未分化形態を示す。 図11は、実施形態の画像を示し、(a)は、正常な乳房組織を示し;(b)は浸潤導管癌細胞を示し;(c)はレジストされた正常な乳房組織の画像を示し;(d)は、明視野H&Eデジタル顕微鏡を使用した浸潤導管癌細胞を示す。 図12は、この方法を実行する自動システムの実施形態の概念図である。
多次元画像は、タンパク質の分布に対して異なるマーカーを示している。多重画像セットは、組織のマイクロアレイにより取得される。画像の自動セグメント化方法は、N−チャネルの画像を、細胞内の領域の単一チャネルのラベルマップに変形する。この領域に示されているタンパク質の分布は、TMAにおける各組織に特徴ベクトルを提供する。図1に示すように、特徴をクラスター化することにより、類似する特性を有する組織が識別され、臨床試験において癌の病期又は患者の結果に関連することを識別することができる。
本発明に係る1以上の方法及びシステムは、何回の染色ステップにより同じ組織から得られた画像をレジスタすることにより、単一組織にマルチバイオマーカーをローカライズすることに用いられる。画像は、免疫蛍光検査法(IF)と明視野H&E染色法により得られることができる。
本発明の好ましい方法及び好ましいシステムの実施形態は、同じ組織サンプルから分子及び形態学マーカーの両方を結像することができる。通常、この組織は、基質に固定又は提供されて、分子バイオマーカーによりラベル化され、蛍光型顕微鏡で結像することができる。上記基質として、TMA、スライド、ウエル、又はグリッドがあるが、これに限定されない。その後、この組織は、H&E染料のような1以上の形態学染料により再びラベル化され、再イメージングされる。この方法は2つの画像に限定されるわけではなく、必要に応じて、2以上の画像をコレジスタすることにも適する。この画像は、ハードウェアとソフトウェア・レジストレイション技術を用いてオーバーレイされて、その情報を合併する。これによる技術効果の一つは、コレジスタし又は多チャネル画像を生成する。
様々な分子バイオマーカーを使用することができ、例えば、抗体又はタンパク質に結合された蛍光染料を使用することができる。その後、この組織は、一定のバイオマーカーに向けた励起エネルギー源と放射光を収集する様々な適当するフィルターとを使用して、蛍光型顕微鏡でイメージングされる。マルチバイオマーカーは、顕微鏡における見本を取り外せずに、同時に又は連続的にイメージングされることができる。異なるバイオマーカーに対して、励起波長及びフィルターを変更することができる。バイオマーカーは、下記のリストに挙げられたマーカーを含むが、これに限定されない。その中、各マーカーの1以上の関数の簡単な説明が含まれるが、全ての説明が必要するわけではない。
Her2/neu:モノクローナル抗体により腫瘍増殖を遅らせて治療する乳癌及び胃癌で過剰に発現した上皮増殖因子
EGF−R/erbB:上皮増殖因子受容体
ER:乳癌腫瘍の増殖に所要するエストロゲン受容体、感染者におけるエストロゲンを制限する治療を決めるため、エストロゲン受容体は細胞核に配置され、且つICHにより検出される。
PR:DNAに結合するホルモンであるプロゲステロン受容体
AR:アンドロゲン依存腫瘍増殖に関与するアンドロゲン受容体
P53:50%のヒト癌で不活性化されたDNAの損傷を検出する腫瘍抑制遺伝子
β−カテニン:細胞接着及び潜在遺伝子調節タンパク質に機能する、細胞膜から細胞核に転位した癌の癌遺伝子
リン酸化型−β−カテニン:サイトゾルで分解し、細胞核に転位しないβ−カテニンのリン酸化体
GSK3β:グリコーゲン合成酵素キナーゼ−3βタンパク質;ウィント経路リン酸化β−カテニンにおいて、前体で急速分解するようにリン酸化型−β−カテニンをマーキングする
PKCβ:メディエイターであるG−タンパク質結合受容体
NFΚβ:細胞核に転位する時、核因子カッパBのような炎症マーカー
Bcl−2:アポトーシス阻害剤とするB細胞リンパ腫癌遺伝子2
CyclinD:細胞周期調節
VEGF:血管形成に関連する血管内皮細胞増殖因子
E−カドヘリン:上皮細胞で現われた細胞と細胞との間の相互分子、その機能は上皮癌で失われる。
c−met:チロシンキナーゼ受容体。
1以上の追加された形態学蛍光マーカーが、コンパートメント情報を運ぶことも、このステップに含まれる。このマーカーは、共通情報を次のステップまで運ぶ。これは、画像をレジスタすることに必要である。
次に、組織切片は、慣用のH&E染料のような形態学マーカーにより標識され、顕微鏡において、同じ位置に配置される。顕微鏡における見本の位置は、見本が繰り返して次に取得された画像と同じ位置に配置されるように、電子センサー、磁場センサー、光学センサー、又はメカニカルセンサーにより制御される。顕微鏡は、明視野像と蛍光像とを取得できるように設計されている。このような顕微鏡は、修正された多重光路と複数のカメラを含む。その後、デジタルカメラを用いて組織切片の明視野像を取る。その後、この画像はレジスタされて、正確に合わせる。レジスタされた画像は、単一の多チャネル画像として合併されることもでき、又は多重レジスタされた画像とすることができる。形態学マーカーには、下記のものが含まれるが、これに限定されない。
ケラチン:上皮細胞のマーカー
Pan−カドヘリン:細胞膜のマーカー
平滑筋アクチン:筋肉のマーカー
DAPI:細胞核のマーカー
ヘマトキシリン:DNAのマーカー(青色染色剤)
エオシン:pHに依存する細胞質のマーカー(赤色染色剤)
形態学マーカーは、その一部が明視野顕微鏡でイメージングすることができ、他の一部が蛍光型顕微鏡でイメージングすることができる。何れの場合、形態学マーカーは、前のステップと共通する共通情報を有するものを選択する。例えば、前のステップで、細胞核をイメージングするためにDAPIを使用した場合、次のステップで、明視野顕微鏡で細胞核がイメージングできるヘマトキシリンを使用することができる。両者とも、同じコンパートメントを染色するので、画像レジストレイション技術により画像を位置合わせることができる。
説明した通りに、組織は、先ず、IHC又は1以上の蛍光染料のような1以上の分子バイオマーカーにより標識される。何れの染料は、異なる特徴を有し、組織において、異なるコンパートメント及びタンパク質と結合することができる。例えば、βカテニンは、細胞膜に関連する領域をハイライトすることに用いられる。その後、組織は蛍光型顕微鏡でイメージングされ、この蛍光型顕微鏡は、一定のバイオマーカーに向けた適当な励起エネルギー源と、放射光を収集する適当なフィルタとを有する。同じように、複数のバイオマーカーも、見本を顕微鏡から取り外せずに、同時又は連続的にイメージングすることができる。励起波長とフィルターは、異なるマーカーに対応して変更することができる。
バイオマーカー画像におけるチャネルの数は、特定の応用に対応し、特定のタスクに必要するコンパートメント及びタンパク質の必要により決められる。通常、3又は4つの染料が簡単に同時に提供されることができる。複数のコンパートメントと結合できるβカテニンのような特異タンパク質分子バイオマーカーがある。もし、希望するバイオマーカーの何れも、H&E画像とレジスタできる共有のコンパートメント情報を備えない場合、他の蛍光核マーカーが追加されて、明視野像で、核マーカーがヘマトキシリンで染色された細胞核とレジスターすることができる。例えば、核染色剤として、DNAと結合し且つUV光で露光されると青色の蛍光を発するDAPIを使用することができる。もし、H&E画像とバイオマーカー画像との間に共有コンパートメント情報が存在すると、この方法は、幅広い範囲のバイオマーカーを使用することができる。
説明した通りに、本発明のセグメンテーション及び相関方法は、組織サンプルのスコアに用いられる。相関法に基づいた1以上の実施形態では、通常2つの画像を用いて転位を決定する。従来のイメージング方法に用いられたように焦点画像と焦点外画像とを取得する代わりに、ある実施形態に好適にぼかしフィルターを使用して、焦点外画像を生成する。セグメンテーションに基づいた1以上の実施形態は、同じ組織において、レジスタされた連続的に染色された蛍光画像とレジスタされた明視野H+E画像を用いて、細胞内の領域を識別する。
本方法の一例は、バイオマーカーβ−カテニンのシステムを使用した。説明した通りに、癌遺伝子β−カテニンは、細胞膜における接着タンパク質に関連する。β−カテニンが細胞質に転位された後、細胞核に転位されると、転写に影響を与え、乳癌患者において癌転移を起こし且つ不良な予後を起すことを示している。本発明に係る多次元画像のセグメンテーション方法は、ある実施形態では、K平均アルゴリズムを使用して、選択された細胞内組織のコンパートメントにおけるマルチマーカーの分布を提供する。
細胞内局在において細胞膜から細胞核に変遷するβ−カテニンは、通常低い乳癌の結果と関連している。この方法及びシステムの一実施形態は、2つのレジスタされた免疫蛍光画像と明視野画像とを使用して、乳房組織マイクロアレイにおける細胞内のβ−カテニンの上皮分布を自動的に解析する。β−カテニン、DAPI、ケラチン、平滑筋アクチン、及びH&E画像を含むが、これに限定されない多チャネルを有する画像を提供するために、連続染色と自動レジストレイションが用いられる。これらのチャネルはセグメント化されて、細胞内組織のコンパートメントを決定する。一実施形態では、β−カテニンの転位は、高域フィルターされたβ−カテニンとDAPI画像との間の相関、及び細胞核と細胞膜の領域におけるβ−カテニンの平均強度の比を使用して検出されることができる。ある実施形態では、組織マイクロアレイは交互に染色し漂泊されて、K平均多次元クラスタリングにより、細胞核、細胞膜、間質、及び背景にセグメント化された暗視野と明視野画像を提供する。細胞核と膜質の領域のβ−カテニンの平均強度比は、正常と乳癌(P=0039)とを識別するスコアを生成することに用いられる。画像をフィルターして、背景の自己蛍光及び信号の重複を減少する。これは、正常と侵入性線管癌との間の識別性及びリンパ節における転移の識別性を向上させた。
実施例1
Imgenexから取得された4つのTMAは、正常と浸潤腺管癌及びリンパ節における転移を有するパラフィン包埋のヒトの乳房組織を含む。この4つのTMAは、60名患者のコアの単一ブロックから生成されたものである。このサンプルのTMAスライスは、Cy3とCy5の蛍光染料を用いて共役抗体で染色された後、生物顕微鏡において20Xで撮影される。この染料が除去され、下記の表Iに示す染料を用いてこのプロセスを繰り返す。各染色ステップにおいて、TMAは、細胞核のレジストレイションのために、DAPIで対比染色される。最後のH&E染色は、解析用の3つのチャネルを更に加えるように実施される。
各組織の染色ステップが終わった後、画像対AとBは、相互情報を最大化することにより、レジストされ、且つ位置合わせることができる。
各画像PAB=PAPBにおいて同時確率と確率間にランダムなピクセル関係を有する無関係の2つの画像AとBはゼロの相互情報を有する。連続染色の各ステップにおいて、DAPI画像はレジストレイションのために取得される。
画像が取得しレジストされた後、画像は相関させる。正常な組織におけるバイオマーカーβ−カテニンは、癌が細胞質に転位された後、細胞核に転位される時、癌の細胞膜に関連する。バイオマーカー画像と細胞核のDAPI画像との間の相関は、TMAサンプルの各組織に対して測定される。平均強度に対応するように補正された2つの画像AとBとの間の正常化された相関rは、以下になる。
このフィルターは、膜質と細胞核との画像間のエッジを増加し、重複部分を減少する。ぼやけの量は、単一のTMAからの正常な画像を用いて抑えられる。フィルターされたバイオマーカーと細胞核の画像は、百分率で示す(100回r)転位スコアの計算に相関する。
1以上の実施形態はK平均法セグメンテーションのような方法であるが、これに限定されないセグメンテーションを用いて、画像をクラスターすることができる。例えば、レジストされた4チャネルIF画像と3チャネルH&E画像は、細胞膜、細胞核、平滑筋、上皮組織、結合組織である5つの細胞内のコンパートメントと組織以外のその領域を識別することができる。組織タイプの数Kは、N−チャネル画像から選択することができる。K平均アルゴリズム[9]は、本実施例で2回用いられて、1回目はTMAにおける各組織の画像をセグメント化し、その後この組織を異なる病期にクラスターする。2つのN−チャネル画像をセグメント化し、Pは患者組織の数であり、下記のステップが用いられる。
組織を異なる病気の病期にクラスターするように、PサンプルとKxN特徴のために、矩形のヒートマップを構築する。サンプルの特徴ベクトル間の距離PxPマトリクスは、正常なユークリッドとピアソンの相関距離1−rを用いて計算される。この組織サンプルは、K平均セグメンテーション方法によりクラスターされる。マルチクラスターは、既知のTMAと同時に提供された乳癌の病変の病期と比べられる。
必要に応じて、もしその結果が統計的に正確であれば、その結果は決定のために検査される。そうすると、2以上のサンプルのT−テストが、Minitabのような適する統計ソフトウェアを使用して、相関方法とセグメンテーション方法で生成したスコアの95%の信頼レベルで実施される。本実施例のβ−カテニンとDAPI画像データとの間の相関は、同じ患者の4つの連続のTMA切片で取得される。p−値は、其々のTMAの相関スコアと、異なるTMAのレブリカスコアの平均により計算される。これらの結果は、前表Iに示す。単一のTMAがセグメンテーション方法に用いられ、4つの蛍光及び1つの3チャネル明視野画像を含む。各組織の特徴ベクトルが、K=5のコンパートメントにおけるN=7のチャネル画像の平均強度から構築される。KxN=35、P=50マトリクスが、この特徴と患者から構築され、ヒートプロットとして表示される。他のマトリクス5、50は、パーセンテージコンパートメント領域から計算される。P特徴列とKxNコラムのヒートマップは、標準偏差により分かれた平均を削除することを含むコラムを標準化することにより構築される。
この矩形のヒートマップアレーは、正の要素と負の要素により表示されて、パターンの解析を可視化する。一対の特徴間の相関とユークリッド距離の1つから得られた距離マップは、組織を病期にクラスターすることに用いることができる。本実施例において、組織のK平均クラスタリングは、MiniTabソフトウェアにより実施される。
相関スコア(2)は、4つのアレーを平均して、表Iに示したように、正常、癌及び転移から増加した値を与える。平均又は4つのTMAが顕著にP=0.036である場合、其々のTMAは正常と癌との間の顕著なP−値を与えない。図1に示したように、転位スコアの柱状図は、同じTMAに実施された相関及びセグメンテーション方法の分布を比べるように記入されている。TMAの散布図は、正常、侵入性導管癌、及びリンパ節における転移の分布を示している(図2と3)。β−カテニンとDAPI画像はフィルタされて、相関方法に応用するように、自己蛍光の背景を減少し、細胞核境界における重複を除去する(図4)。正常な画像は、上皮導管の細胞核を囲む膜質のβ−カテニンを有する。画像は、高い相関スコアにより癌を識別し、細胞が未分化し且つ細胞膜が明確に確定されないことを示す。選択されたセグメント化された画像は、図5で示され、異なる組織形態を示している。明視野と免疫蛍光画像とはレジストされて、病理学者にセグメンテーションを確認する手段を提供する(図6)。
1以上のTMAのヒートマップは、距離マップと一緒に構築されることができる(図7)。この実施例において、P=50である組織は、正常(n=5)、病期II(n=13)、病期III(n=22)、及びリンパ節における転移(n=10)のような、病理組織の病期に分類される。各50組織に対して、K平均法(S=4)により、組織をクラスターして、レベルs=[1,4]を提供する。ラベルのパターンは、癌の異なる4つの病期にランダムに分布される必要はない。
多次元K平均セグメンテーションは、癌病期のスコアリングのために、更なる情報を提供する。KコンパートメントにおけるNマーカーの強度を平均することにより、クラスタリングのための特徴の数がNのK倍に増加された。H&E画像のレジストレイションは、3つのチャネルの形態学的情報を更に提供し、これらの情報は、IF形態学マーカーに対する要求を減少することに用いられる。マルチスペクトル画像のセグメンテーションは、乳癌組織マイクロアレイにおける細胞内のコンパートメントの目覚ましい画像を提供する。この相関とセグメンテーションスコアは、単一のバイオマーカーβ−カテニンを用いて、正常と乳癌とを分離することに用いられる。10次元画像のセグメンテーションは、更に同じ組織の7つのコンパートメントにおける5つのタンパク質の分布を提供する。
実施例2
本実施例において、β−カテニンの転移は、ホルマリンが固定されたパラフィン包埋した乳房の組織マイクロアレイにマルチレジストされたバイオマーカー画像により、乳癌において再定量される。以下で更に説明した通りに、乳房組織サンプル(n=445)は、フィルターされ、且つ正常(n=103)に-1.7のスコアを提供し、癌(n=284)に+0.2のスコアを提供し、転移(n=58)に+1.4のスコアを提供して相互に関係を付ける。正常な組織は癌(P=0.0001)から区別され、癌は、転移(P=0.06)から区別される。
正常と浸潤腺管癌とを有するパラフィン包埋したヒトの乳房組織を含む7つのTMAをImgenexとTristarから取得する。Imgenex364TMAに、腫瘍の病期、患者の年齢、診断、ER、PR及びP53病期を提供し、Imgenex371とTristarのTMAに、腫瘍の病期、診断を提供する。
TMAスライドは、複数のスライドを使用する従来の慣例と比較するように、同じ組織サンプルにおけるバイオマーカーの数を増加するように連続して染色し漂泊される。このスライドは、ヒストチョイス(Histochoice)洗浄剤により、脱パラフィンされ、EtOHの洗浄を減少するにより再水和された後、圧力釜によりクエン酸塩緩衝剤(抗原脱マスキング溶液、ベクトル)で抗原回復される。ブロッキングステップにおいて、TMAは、牛血清アルブミン(BSA)3%で希釈されたロバ血清10%により、37°Cで45分間培養された。その後、TMAは、3%BSAで1:1000の希釈度で希釈されたウサギ抗β−カテニン(Sigma)1次抗体により37°Cで45分間培養される。TMAは、リン酸緩衝生理食塩水(PBS、pH7.4)で3x8分洗浄される。一次β−カテニン抗体は、3%BSAで1:250の希釈度で希釈されたcy3ロバ抗ウサギ(Jackson Immunoresearch)2次抗体により、37°Cで45分間ターゲットされる。TMAは、PBSで洗浄され、4’,6−ジアミジノ−2−フェニルインドール(DAPI,Sigma)により対比染色されて、細胞核を可視化し、PBSはVector Fluorescence Mounting Mediumを用いて洗浄しカーバスリップされる。画像は、単色であるLeica DFC 350 FX単色高解像度カメラを用いて、20x倍率のLeica DMRA2蛍光型顕微鏡で得られる。このプロセスは、ネズミ−抗−平滑筋−アクチン−Cy3で繰り返され、その後、ヘマトキシリン・エオジン(H+E)染色される。異なる染料間のスペクトルのカップリングを除いて、同じ染料で連続染色する。
通常、細胞内成分におけるβ−カテニンの分布の定量は、コンパートメントをセグメント化するように画像を処理し、且つタンパク質の分布を測定する。1回目のTMAは、β−カテニンとDAPIとにより染色される。2回目のTMAにおいて、連続染色された画像がレジストされて、4つの蛍光と3つの明視野H&E画像を含む7チャネル画像を形成する。他のTMAは、β−カテニン−Cy5、パンカドヘリン−Cy3、及びDAPIを含んで、パンカドヘリンで染色された細胞膜からDAPIで染色された細胞核へのβ−カテニンの転位を測定する。各組織から得られた画像は、自動的にレジストし解析されて、β−カテニンの転位をスコアする。K平均セグメンテーションにより、細胞核と膜質のβ−カテニンとの平均濃度比を測定することに必要する細胞内の領域を提供する場合、画像の相関は不明確なDAPI画像と重なるβ−カテニンの空間分布を検出することに用いされる。
各組織の染色ステップが終わった後、画像をレジストし、画像対AとBは、最大の相互情報を用いて位置合わせられる。エントロピーは、各画像PA、PBにおけるピクセル強度確率及び同時確率PABに関連している。転位と小さい回転は、多重解像度で提供されて、最大の相互情報をサーチし得られる。各画像における同時確率と確率との間にランダムなピクセル関係PAB=PAPBを有する無関係の2つの画像AとBは、ゼロの相互情報を有する。2つのDAPI画像の相互情報は、通常細かい不整合について非常に敏感である。連続染色の各ステップにおいて、DAPI画像は、レジストレイションのために取得される。
前に説明した通りに、β−カテニンとDAPI画像との間の相関は、細胞核へのβ−カテニンの転位を示す。本実施形態における相関において、この転位スコアは、背景を減少し、膜質と細胞核の形態を分割するように1回目に画像をフィルターし、それに続いて画像の相関を計算することにより得られる。ぼやけた画像とオリジナルの焦点画像との間の相違を含むアンシャープ画像処理フィルターが用いられる。このフィルターは、エッジを増加し、膜質のβ−カテニンと細胞核のDAPI画像との間の重ねた部分を減少する。ぼやけの量は、ガウスぼやし核σ=1.8を用いて、単一のTMAからの正常な画像を用いてトレニングされる。アンシャープフィルターにおけるぼやけの量は、全ての正常対照のための逆相関を提供するように補正される。同じフィルターのパラメータが、他の6つのTMAにも応用される。このフィルターされた画像AとBとが関連付けられて、Rx100転移スコアを計算し、このスコアは、画像の強度スケール又は増加された一定の背景値に依存しない。
セグメンテーションに基づいた実施形態では、4つの蛍光バイオマーカー画像とレジストされたH&E画像は、細胞内のコンパートメントを識別することに用いられる。DAPIは、細胞核、上皮組織ケラチン、平滑筋アクチンにおけるDNAを染色し、β−カテニンは、正常な組織の細胞膜と侵入性癌組織サンプルにおける細胞核への転位を染色する。同じ組織においてレジストされたH+E画像は、細胞核を青色に染色し、通常平滑筋と結合組織を含む上皮組織と間質を赤色に染色する。4つの蛍光(fluorescent dimensions)と3つの明視野(bright field dimensions)からなる7チャネルは、K平均アルゴリズムにより、画像ツールボックスITKを用いて、4つの組織タイプにセグメント化される。更に、数理形態学画像の処理が細胞核と細胞膜領域との間の重ねた領域を除去して、癌と正常な組織を分離するスコアを取得することに用いられる。細胞核におけるβ−カテニン強度の平均値と細胞膜におけるβ−カテニン強度の平均値との比は、転位のセグメンテーションスコアを提供する。
95%の信頼レベルにおいて、2つのサンプルT−テストが類似に実行されて、Minitabソフトウェアを用いて相関方法とセグメンテーション方法により生成されたスコアを認証する。β−カテニンとDAPI画像との間の相関の実施例において、データは、乳癌TMAの3つの連続切片から取得されて、サンプルサイズを増加する。単一TMAは、セグメンテーション方法に用いられて、それは、4つの蛍光画像と1つの明視野画像を含む。
β−カテニンとアンシャープフィルターされたDAPI画像との間の相関係数は、乳房の通常の癌の転移組織マイクロアレイにおける各サンプルについて測定し、このマイクロアレイは、通常、侵入性導管癌(IDC)、及びリンパ節における転移と対応するクラスタに、図8Bに示すようにRx100スコアを提供される。図8Aに示すように、DAPI特徴空間に比べて、β−カテニンにおける細胞膜Mと細胞核Nへのピクセルのセグメンテーションは、B値とD値に依存する。高い転位スコアを持つ画像は、膜質のβ−カテニン分布を備えなく、区別できない形態を有する。ケラチン信号を用いて、上皮マスクを生成し、画像は、膜質と細胞核領域にセグメント化される。セグメンテーションスコアが計算され(図8C)、相関スコア(図8D)と対照して、類似する傾向(trend)を提供する。アンシャープマスクは、背景の蛍光を減少し、細胞膜と細胞核とを分割することにより、正常な組織の相関を減少し、癌における相関を増加することに、再び用いられることが好ましい。このフィルターは、細胞核内部のβ−カテニンを強調することに用いられる。
図9A及び9Bに示すように、選択された領域は、アンシャープフィルタリングされた後の正常な導管と、細胞核への転位を示す高い相関スコア画像とを示している。フィルターされた強度の外形は、正常な組織(図9C)と逆相関で、癌(図9D)における転移と相関する。フィルターされなかったβ−カテニン導管画像は、自己蛍光を有する膜質の形態(図9E)を示し、レジストされたDAPI画像は、細胞核(図9F)を示している。図9G及び9Hに示すように、フィルターされていないRGB画像において、混雑した細胞核と細胞膜との間の多量の重ねた部分がある。
図10に示すように、様々な画像対がセグメント化され、膜質の領域、細胞核、及びサイトゾルを生成する。細胞膜は、屈曲ステップを用いて、海嶺セグメントされる。画像対A−Bは、混雑した細胞核のリングを備える導管を有する正常な乳房組織を示している。画像対C−Dは、浸潤導管の癌腫を示している。画像対E−Fは、不良な病理予後を表す未分化形態を示している。
2つのサンプルT−テストの結果を表IIIに示す。
TMAにおける具体的なスコアを表IVに示す。
本実施例において、β−カテニンとDAPI画像チャネルだけを用いて、3つの組織アレイーで相関スコアを測定する。セグメンテーションの精度は、レジストされたバイオマーカー画像とH&Eとの数により改善される。連続染色しレジストされた画像は、従来のH+Eと組み合わせた複数のマーカーを提供する。説明した通りに、画像は、細胞膜と細胞核とを明確にするようにセグメント化される。セグメンテーションスコアは、癌対正常対照に対して異なる分布を提供し、本実施例においてセグメンテーションスコアは、細胞核における平均β−カテニン強度と膜質領域における平均β−カテニン強度との比により計算される。例えば、3次元セグメンテーション(P=0.046)は、同じTMAにおける7次元セグメンテーション(p=0.0039)を使用することにより改善される。更に図11に示すように、正常な導管(A)に対する膜質のβ−カテニンの形態は、同じ組織(C−D)のレジストされたH+E画像に示す浸潤腺管癌(B)とは異なる。図11は、海嶺が1つの負曲率と1つのゼロの主曲率を有することを仮定した一例を示す。図11で示された実施例において、β−カテニン画像を平滑するようにフィルターを使用して、希望する曲率に基づいてピクセルを計算し、細胞境界における割れを閉める。
本発明の方法及びシステムは、個別治療に用いられて、抗癌剤の発展を向上させる。現在、臨床診療に用いられるマーカーは、IFと結像されることが好ましい、上記マーカーとして、Her2、ER、PR、P53、細胞膜マーカーE−カドヘリン、及び細胞核マーカーDAPIがあるが、これに限定されない。連続染色及びIF画像セグメンテーション・スコアリングは、各抗原に組織切片を要求するIHCとは異なって、同じ組織におけるマルチバイオマーカーを解析する手段を提供する。
上記方法を実現する自動化システム10(図12)は、通常、1以上の細胞の1以上の画像を少なくとも一時的に記憶する記憶装置12と、処理装置14とを含む。その中で、この画像は、複数のチャネルを含む。この処理装置14は、1以上の細胞内の領域から、他の細胞内の領域に転位するバイオマーカーの範囲を決定する決定手段と、転位範囲と対応するスコアを生成する生成手段とを含む。このスコアは、この組織が癌であるか否か及び/又は癌組織が転移したか否かを表す。このシステムは、癌の存在を表す転位を目的とするスコアを決定することに適することができる。このシステムは、乳癌からなる上皮癌、結腸癌、及び黒色腫のような特殊な組の癌を表す転移を目的とするスコアを決定することに更に適することができる。しかしながら、このシステムは、上皮癌又は特定のタイプである上皮癌に限定される必要はない。このチャネルは、1以上のバイオマーカーと1つの形態学的染料を含むことが好ましい。
転位するバイオマーカーの範囲を決定する決定手段は、少なくとも部分的に、説明した方法の1以上の適する相関ステップを用いて転位を決定する。例えば、このシステムは、バイオマーカーを含む1以上の画像と形態学的チャネルを含む1以上の画像との間の相関と、細胞膜内の領域と他の細胞内の領域とにおける平均強度の比を用いる。この細胞内の領域は、何れの細胞成分又は領域を含み、例えば細胞膜、細胞質、及び細胞核があるが、これに限定されない。決定手段は、バイオマーカーチャネルを含む画像と形態学的チャネルを含む画像とに、高域アンシャープマスクフィルターを提供する。
転位の範囲を決定する手段の何れは、処理装置又はサブ処理装置、又は処理装置と通信可能な外部処理装置と関連する、メモリに1以上のアルゴリズムが記憶されているデバイスのような1以上の処理機構を含むことができる。
バイオマーカーが転位した範囲を決定する決定手段は、少なくとも部分的に、説明した方法の1以上に適するセグメンテーション方法を用いて、この転位を決定し、又は選択的に決定することができる。例えば、このシステムは、バイオマーカーチャネルを含む1以上の画像と形態学的チャネルを含む1以上の画像を、細胞内の領域にセグメント化し、且つ細胞膜内の領域と他の細胞内の領域とにおけるバイオマーカーの平均強度の比を決定する。更なる実施例として、決定手段は、部分的に下記のことを実行することにより、この画像をセグメント化することができる。1以上のK初期クラスター中心
を推定し;最近のクラスター中心
を有する1以上のN−次元ボクセルベクトルxをラベリングする;及び、1以上のクラスター中心のベクトルが変化しないまで、1以上のラベルマスクを用いてクラスター中心
を更新する。
記憶手段は、CPU(セントラルプロセッシングユニット)のROM(リードオンリーメモリ)、RAM(ランダム・アクセス・メモリ)、又はDRAM(ダイナミック・ランダム・アクセス・メモリ)のような処理装置に使われる何れの適当なハード・ドライブメモリ、DVD又はCDのような何れの適当なディスク・ドライブメモリ、ジップ・ドライブ、又はメモリカードを含むことができるが、これに限定される必要はない。この記憶装置は、処理装置又は画像を表示させる手段から遠く離れて配置され、何れの適する接続装置又は通信ネットワークを通じてアクセスすることができる。この通信ネットワークとして、例えば、ローカルエリア・ネットワーク、ケーブルネットワーク、衛星ネットワーク、又はインターネットがあるが、これに限定されなく、且つ有線でも良く、無線でも良い。この処理装置又はCPUには、マイクロ処理装置、マイクロコントローラ、及びデジタル・シグナル・処理装置(DSP)が含まれる。
記憶装置12と処理装置14とは、解析デバイスの構成部品として、組み込まれることができる。解析デバイスとして、高速自動蛍光システムがあり、このシステムは、1つのシステムでTMAをイメージングし、解析することができる。システム10は、更に1以上の画像を表示する表示手段16と、インタラクティブ・ビューア18と、バーチャル顕微鏡20と、及び/又は、通信ネットワーク24を通じて1以上の画像又は何れの関連するデ−タ又は解析情報を1以上のリモート・ロケーション26に送信する送信手段22とを含む。
表示手段16は、デジタル画像を表示することができる適当なデバイスを含むことができ、例えば、LCD又はCRTが組み込まれたデバイスのようなものが含まれるが、これに限定されない。送信手段22は、通信ネットワークを通じて、デジタル情報を送信する適当な手段を含むことができる。通信ネットワークとして有線又は無線デジタル通信システムが含まれるが、これに限定されない。このシステムは、更に1以上の染色を塗布する自動装置28と、デジタル画像装置30とを含むことができる。デジタル画像装置30として、励振源32を含んで、TMAのデジタル画像を取得することができるイメージング型顕微鏡があるが、これに限定されない。このような画像デバイスは、更に自動的に焦点を合わせることができ、且つ処理過程に必要する焦点特徴を維持し且つ探知することができる。
これらの多チャネル方法は、形態学的染色剤、又は蛍光バイオマーカー、又は病理学的に限定されない。生物学的サンプルの参照になる形状又は特徴を描出して、デジタル処理によってイメージングし処理される何れの染色剤は、この方法に使用される。適当な染色剤は、細胞学的又は形態学的染色剤、免疫組織化学及び免疫細胞化学的染色剤のような免疫学的染色剤、細胞遺伝学的染色剤、インシトゥハイブリデーション染色剤、細胞化学的染色剤、DNA及び染色体マーカー、及び基質結合アッセイ染色剤を含むが、これに限定されない。医学及び生物科学の応用まで、この多チャネルを拡大することができる。この多チャネル方法は、自由なフレームワークを提供し、その中、光学、化学、及び生物学的相互作用を制限せずに、マーカーがシーケンシャルにイメージングすることができる。
説明した通りに、この方法とシステムは、何れの数の応用に適することができる。その応用として、上皮癌を検出し解析する応用が含まれるが、これに限定されない。その上皮癌として、乳癌、結腸癌、及び前立腺癌、及び黒色腫があるが、これに限定されない。
ここで、本発明の一定の特徴が図示され且つ説明されているが、当業者であれば、様々な改善及び変更をすることができる。従って、添付した特許請求の範囲は、本発明の精神範囲に含まれる全ての改善と変更をカバーすると理解すべきである。

Claims (17)

  1. 組織サンプルを解析するシステムであって、当該システムが、
    (i)1以上の細胞の1以上の画像であって複数のチャネルを含む1以上の画像を少なくとも一時的に記憶する記憶装置と、
    (ii)少なくとも部分的に、バイオマーカーチャネルを含む1以上の画像と形態学的チャネルを含む1以上の画像との間の相関と、細胞膜内の領域と他の細胞内領域とにおける前記バイオマーカーの強度の比とを用いて、複数の細胞内領域におけるバイオマーカーの分布を定量化して1以上の細胞内領域から他の細胞内領域へのバイオマーカーの転位置を定量化する処理装置であって、転位置の範囲と対応するスコアを生成する生成手段含む処理装置
    を含んでおり、上記強度の比が細胞膜内の領域と他の細胞内領域とにおける前記バイオマーカーの平均強度の比であり、前記相関が次式のrである、システム。
  2. 前記スコアは、前記組織が癌であるか否かを表す、請求項1記載のシステム。
  3. 前記スコアは、前記癌組織が転移しているか否かを表す、請求項2記載のシステム。
  4. 前記組織が上皮癌を含む、請求項2記載のシステム。
  5. 前記上皮癌が、乳癌、結腸癌及び黒色腫からなる群から選択される、請求項4記載のシステム。
  6. 前記バイオマーカーβ−カテニンである、請求項1乃至請求項5のいずれか1項記載のシステム。
  7. 前記形態学的チャネルがDAPIである、請求項1乃至請求項6のいずれか1項記載のシステム。
  8. 前記他の細胞内領域が領域である、請求項1乃至請求項7のいずれか1項記載のシステム。
  9. 前記他の細胞内領域が細胞質域である、請求項1乃至請求項7のいずれか1項記載のシステム。
  10. 当該システムが、前記バイオマーカーチャネルを含む画像及び前記形態学的チャネルを含む画像に、高域アンシャープマスクフィルターを適用する、請求項1乃至請求項9のいずれか1項記載のシステム。
  11. 前記転位置が、少なくとも部分的に、バイオマーカーチャネルを含む1以上の画像及び形態学的チャネルを含む1以上の画像を細胞内領域にセグメント化し、細胞膜の領域と他の細胞内領域とにおける前記バイオマーカーの平均強度の比を決定することによってされる、請求項1記載のシステム。
  12. 前記画像のセグメント化が、
    行われる、請求項11記載のシステム。
  13. 組織サンプルを解析するシステムであって、当該システムが、
    (i)1以上の細胞の1以上の画像であって複数のチャネルを含む1以上の画像を少なくとも一時的に記憶する記憶装置と、
    (ii)なくとも部分的に、バイオマーカーチャネルを含む1以上の画像形態学的チャネルを含む1以上の画像との間の相関と、細胞膜内の領域と他の細胞内領域とにおける前記バイオマーカーの平均強度の比とを用いて、複数の細胞内領域におけるバイオマーカーの分布を定量化して1以上の細胞内領域から他の細胞内領域へのバイオマーカーの転位置を定量化する処理装置であって、転位置の範囲と対応するスコアを生成する生成手段含む処理装置
    を含んでおり、前記転位置が、少なくとも部分的に、バイオマーカーチャネルを含む1以上の画像及び形態学的チャネルを含む1以上の画像を細胞内領域にセグメント化し、細胞膜内の領域と他の細胞内領域とにおける前記バイオマーカーの平均強度の比を決定することによって決定され、前記画像のセグメント化が、
    行われる、システム。
  14. 前記スコアは、前記組織が癌であるか否かを表す、請求項13記載のシステム。
  15. 前記スコアは、癌組織が転移したか否かを表す、請求項14記載のシステム。
  16. 前記組織が上皮癌を含む、請求項14記載のシステム。
  17. 前記上皮癌が乳癌、結腸癌及び黒色腫からなる群から選択される、請求項16記載のシステム。
JP2009523884A 2006-08-07 2007-07-26 組織マイクロアレイのスコアリング画像のためのシステム及び方法 Expired - Fee Related JP5058259B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US11/500,028 US8131476B2 (en) 2006-08-07 2006-08-07 System and method for co-registering multi-channel images of a tissue micro array
US11/500,028 2006-08-07
US11/606,582 2006-11-30
US11/606,582 US8060348B2 (en) 2006-08-07 2006-11-30 Systems for analyzing tissue samples
PCT/US2007/074383 WO2008021679A2 (en) 2006-08-07 2007-07-26 System and methods for scoring images of a tissue micro array

Publications (3)

Publication Number Publication Date
JP2010500572A JP2010500572A (ja) 2010-01-07
JP2010500572A5 JP2010500572A5 (ja) 2011-09-01
JP5058259B2 true JP5058259B2 (ja) 2012-10-24

Family

ID=39029233

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009523885A Expired - Fee Related JP4917647B2 (ja) 2006-08-07 2007-07-26 画像構造の自動セグメンテーション方法及びシステム
JP2009523884A Expired - Fee Related JP5058259B2 (ja) 2006-08-07 2007-07-26 組織マイクロアレイのスコアリング画像のためのシステム及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2009523885A Expired - Fee Related JP4917647B2 (ja) 2006-08-07 2007-07-26 画像構造の自動セグメンテーション方法及びシステム

Country Status (8)

Country Link
US (2) US8060348B2 (ja)
EP (3) EP2049678A2 (ja)
JP (2) JP4917647B2 (ja)
AT (1) ATE532151T1 (ja)
AU (1) AU2007284207B2 (ja)
CA (1) CA2660113C (ja)
ES (1) ES2374443T3 (ja)
WO (1) WO2008021679A2 (ja)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594410B2 (en) * 2006-08-28 2013-11-26 Definiens Ag Context driven image mining to generate image-based biomarkers
US9697582B2 (en) 2006-11-16 2017-07-04 Visiopharm A/S Methods for obtaining and analyzing images
WO2008064982A2 (en) * 2006-11-30 2008-06-05 Jeremy Adler Correlation between sets of data
US7783107B2 (en) * 2007-09-06 2010-08-24 Seiko Epson Corporation Characterization of a printed droplet
US8189884B2 (en) * 2008-03-26 2012-05-29 General Electric Company Methods for assessing molecular expression of subcellular molecules
US8135187B2 (en) 2008-03-26 2012-03-13 General Electric Company Method and apparatus for removing tissue autofluorescence
EP2327040B1 (en) * 2008-08-15 2013-12-18 Visiopharm A/s A method and a system for determining a target in a biological sample by image analysis
US8170320B2 (en) 2009-03-03 2012-05-01 Hologic, Inc. Mammography/tomosynthesis systems and methods automatically deriving breast characteristics from breast x-ray images and automatically adjusting image processing parameters accordingly
US8781201B2 (en) * 2009-03-04 2014-07-15 Robert E. Sandstrom Method of operating a pathology laboratory
EP2478356A1 (en) * 2009-09-18 2012-07-25 Rutgers, The State University High-throughput biomarker segmentation utilizing hierarchical normalized cuts
US8824769B2 (en) * 2009-10-16 2014-09-02 General Electric Company Process and system for analyzing the expression of biomarkers in a cell
US20110091081A1 (en) * 2009-10-16 2011-04-21 General Electric Company Method and system for analyzing the expression of biomarkers in cells in situ in their tissue of origin
US8300938B2 (en) * 2010-04-09 2012-10-30 General Electric Company Methods for segmenting objects in images
US8730396B2 (en) * 2010-06-23 2014-05-20 MindTree Limited Capturing events of interest by spatio-temporal video analysis
US8634626B2 (en) * 2010-06-29 2014-01-21 The Chinese University Of Hong Kong Registration of 3D tomography images
WO2012123718A1 (en) * 2011-03-14 2012-09-20 The University Of Warwick Histology analysis
US8934698B2 (en) * 2011-06-22 2015-01-13 The Johns Hopkins University System and device for characterizing cells
US8639013B2 (en) 2011-08-17 2014-01-28 General Electric Company System and methods for generating a brightfield image using fluorescent images
US9042630B2 (en) * 2011-10-26 2015-05-26 Definiens Ag Biomarker evaluation through image analysis
US8885912B2 (en) 2011-11-03 2014-11-11 General Electric Company Generate percentage of positive cells for biomarkers by normalizing and autothresholding the image intensity produced by immunohistochemistry technique
US8568991B2 (en) 2011-12-23 2013-10-29 General Electric Company Photoactivated chemical bleaching of dyes
US9176032B2 (en) 2011-12-23 2015-11-03 General Electric Company Methods of analyzing an H and E stained biological sample
US11573235B2 (en) 2012-03-30 2023-02-07 Leica Microsystems Cms Gmbh Methods for generating an image of a biological sample
US8737709B2 (en) 2012-04-30 2014-05-27 General Electric Company Systems and methods for performing correlation analysis on clinical outcome and characteristics of biological tissue
US9036888B2 (en) 2012-04-30 2015-05-19 General Electric Company Systems and methods for performing quality review scoring of biomarkers and image analysis methods for biological tissue
US20140024024A1 (en) * 2012-07-17 2014-01-23 General Electric Company Methods of detecting dna, rna and protein in biological samples
CA2893953A1 (en) 2012-12-11 2014-06-19 Clarient Diagnostic Services, Inc. Photoactivated chemical bleaching of dyes
US9915592B2 (en) 2013-03-06 2018-03-13 General Electric Company Methods of analyzing an H and E stained biological sample
US8995740B2 (en) * 2013-04-17 2015-03-31 General Electric Company System and method for multiplexed biomarker quantitation using single cell segmentation on sequentially stained tissue
US9953417B2 (en) * 2013-10-04 2018-04-24 The University Of Manchester Biomarker method
US9519823B2 (en) * 2013-10-04 2016-12-13 The University Of Manchester Biomarker method
US9322051B2 (en) 2013-10-07 2016-04-26 General Electric Company Probing of biological samples
JP2016541039A (ja) * 2013-10-07 2016-12-28 ベンタナ メディカル システムズ, インコーポレイテッド 包括的なマルチアッセイ組織分析のためのシステムおよび方法
US9008391B1 (en) * 2013-10-22 2015-04-14 Eyenuk, Inc. Systems and methods for processing retinal images for screening of diseases or abnormalities
US20160307305A1 (en) * 2013-10-23 2016-10-20 Rutgers, The State University Of New Jersey Color standardization for digitized histological images
CN106030608A (zh) 2013-11-06 2016-10-12 理海大学 生物组织分析诊断系统与方法
US9430830B2 (en) * 2014-01-30 2016-08-30 Case Western Reserve University Spatially aware cell cluster (SPACCL) graphs
US9708349B2 (en) 2015-02-13 2017-07-18 General Electric Company Borates for photoactivated chemical bleaching
US10101322B2 (en) 2015-02-13 2018-10-16 General Electric Company Photoactivated chemical bleaching of dyes using borates
KR20170007181A (ko) 2015-07-10 2017-01-18 3스캔 인크. 조직학적 염색제의 공간 다중화
US10019796B2 (en) * 2015-10-16 2018-07-10 General Electric Company System and method for blood vessel analysis and quantification in highly multiplexed fluorescence imaging
CA3012360C (en) * 2016-03-01 2021-12-14 Ventana Medical Systems, Inc. Improved image analysis algorithms using control slides
US10896490B2 (en) * 2016-12-23 2021-01-19 Oregon Health & Science University Systems and methods for reflectance-based projection-resolved optical coherence tomography angiography
US11222194B2 (en) * 2016-12-30 2022-01-11 Ventana Medical Systems, Inc. Automated system and method for creating and executing a scoring guide to assist in the analysis of tissue specimen
JP7011067B2 (ja) * 2017-12-22 2022-01-26 ベンタナ メディカル システムズ, インコーポレイテッド 膜特徴に基づいて組織画像内で細胞を分類するためのシステム及び方法
TWI664424B (zh) * 2018-05-30 2019-07-01 國立臺灣科技大學 應用於協助癌症診斷的跨染色及多生物標記方法
EP3867868A1 (en) * 2018-10-15 2021-08-25 Ventana Medical Systems, Inc. Image enhancement to enable improved nuclei detection and segmentation
US20200141475A1 (en) 2018-11-05 2020-05-07 Jtekt Corporation Ball screw device
US20220237810A1 (en) * 2019-05-09 2022-07-28 H. Lee Moffitt Cancer Center And Research Institute, Inc. Systems and methods for slide image alignment
US20210035694A1 (en) * 2019-07-29 2021-02-04 Case Western Reserve University Population-specific prediction of prostate cancer recurrence based on stromal morphology features
CN112191286B (zh) * 2020-09-29 2021-05-04 生物岛实验室 微流控芯片、用于空间组学测序及载玻片定位标识的方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5888743A (en) 1987-04-24 1999-03-30 Das; Kiron M. In vitro method for diagnosing benign Barrett's Epithelium
GB8813628D0 (en) 1988-06-09 1988-07-13 Shandon Southern Prod Immunostaining
US5995645A (en) 1993-08-18 1999-11-30 Applied Spectral Imaging Ltd. Method of cancer cell detection
US5859700A (en) 1995-11-22 1999-01-12 Kairos Scientific, Inc. High resolution imaging microscope (HIRIM) and uses thereof
DE19709348C2 (de) * 1996-05-29 1999-07-01 Schubert Walter Dr Md Automatisches Multi-Epitop-Ligand-Kartierungsverfahren
US20030036855A1 (en) * 1998-03-16 2003-02-20 Praelux Incorporated, A Corporation Of New Jersey Method and apparatus for screening chemical compounds
US6372439B2 (en) 1998-10-01 2002-04-16 James R. Goldenring Screen for gastric adenocarcinoma
US6573043B1 (en) * 1998-10-07 2003-06-03 Genentech, Inc. Tissue analysis and kits therefor
IL142636A0 (en) * 1998-10-30 2002-03-10 Cellomics Inc A system for cell-based screening
AU762085B2 (en) 1999-04-13 2003-06-19 Chromavision Medical Systems, Inc. Histological reconstruction and automated image analysis
US6195451B1 (en) 1999-05-13 2001-02-27 Advanced Pathology Ststems, Inc. Transformation of digital images
JP3534009B2 (ja) * 1999-09-24 2004-06-07 日本電気株式会社 輪郭抽出方法及び装置
US6835549B2 (en) 2000-02-24 2004-12-28 University Of Medicine & Dentistry Of New Jersey Immunoassay method for the diagnosis of gastric intestinal metaplasia associated with gastric carcinoma
AT411066B (de) 2000-10-24 2003-09-25 Steiner Georg E Verfahren und anordnung zur untersuchung von zellen
US6956961B2 (en) * 2001-02-20 2005-10-18 Cytokinetics, Inc. Extracting shape information contained in cell images
US7050620B2 (en) * 2001-03-30 2006-05-23 Heckman Carol A Method of assaying shape and structural features in cells
US7219016B2 (en) 2001-04-20 2007-05-15 Yale University Systems and methods for automated analysis of cells and tissues
US20040241688A1 (en) * 2001-07-19 2004-12-02 Cuneyt Bukusoglu Human tissue specific drug screening procedure
US7756305B2 (en) * 2002-01-23 2010-07-13 The Regents Of The University Of California Fast 3D cytometry for information in tissue engineering
AU2003224692A1 (en) * 2002-03-13 2003-09-29 Q3Dm, Llc System and method for measurement of a response of localized cellular compartments
EP1422526A1 (en) 2002-10-28 2004-05-26 MTM Laboratories AG Method for improved diagnosis of dysplasias
ES2231633T3 (es) 2002-10-28 2005-05-16 Mtm Laboratories Ag Procedimiento para un diagnostico mejorado de las displasias.
US20040197839A1 (en) 2003-04-04 2004-10-07 Bioview Ltd. Methods of detecting cancer cells in biological samples
US7461048B2 (en) * 2003-07-21 2008-12-02 Aureon Laboratories, Inc. Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition
US7483554B2 (en) * 2003-11-17 2009-01-27 Aureon Laboratories, Inc. Pathological tissue mapping
US6995020B2 (en) * 2003-07-21 2006-02-07 Aureon Laboratories, Inc. Methods and compositions for the preparation and use of fixed-treated cell-lines and tissue in fluorescence in situ hybridization
US7467119B2 (en) * 2003-07-21 2008-12-16 Aureon Laboratories, Inc. Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition
US7505948B2 (en) * 2003-11-18 2009-03-17 Aureon Laboratories, Inc. Support vector regression for censored data
WO2005022362A2 (en) * 2003-09-02 2005-03-10 The Regents Of The University Of Michigan Chemical address tags
WO2005086068A2 (en) * 2004-02-27 2005-09-15 Aureon Laboratories, Inc. Methods and systems for predicting occurrence of an event
JP4874234B2 (ja) 2004-08-10 2012-02-15 オンコセラピー・サイエンス株式会社 非小細胞肺癌関連遺伝子ANLN、およびそのRhoAとの相互作用
US7933435B2 (en) * 2005-11-21 2011-04-26 Vala Sciences, Inc. System, method, and kit for processing a magnified image of biological material to identify components of a biological object
AU2007248424B2 (en) 2006-05-05 2013-04-18 Historx, Inc. Immunohistochemical methods for determining signal transduction activity in tumors
JP5406019B2 (ja) * 2006-05-17 2014-02-05 セルーメン、インコーポレイテッド 自動化組織分析のための方法
EP2047262A4 (en) * 2006-07-13 2011-03-16 Univ Yale PROGNOSTIC METHODS OF CANCER FROM THE SUBCELLULAR LOCATION OF BIOMARKERS
US7741045B2 (en) * 2006-11-16 2010-06-22 General Electric Company Sequential analysis of biological samples
US7629125B2 (en) * 2006-11-16 2009-12-08 General Electric Company Sequential analysis of biological samples
US8305579B2 (en) 2006-11-16 2012-11-06 Thomas Pirrie Treynor Sequential analysis of biological samples

Also Published As

Publication number Publication date
CA2660113C (en) 2014-11-18
ES2374443T3 (es) 2012-02-16
US8036462B2 (en) 2011-10-11
JP2010500655A (ja) 2010-01-07
ATE532151T1 (de) 2011-11-15
WO2008021679A2 (en) 2008-02-21
US8060348B2 (en) 2011-11-15
AU2007284207A1 (en) 2008-02-21
WO2008021679A3 (en) 2009-03-12
EP2070047B1 (en) 2011-11-02
US20080033657A1 (en) 2008-02-07
AU2007284207B2 (en) 2012-05-24
EP2050070A2 (en) 2009-04-22
US20080031521A1 (en) 2008-02-07
CA2660113A1 (en) 2008-02-21
EP2070047A2 (en) 2009-06-17
JP2010500572A (ja) 2010-01-07
JP4917647B2 (ja) 2012-04-18
EP2049678A2 (en) 2009-04-22

Similar Documents

Publication Publication Date Title
JP5058259B2 (ja) 組織マイクロアレイのスコアリング画像のためのシステム及び方法
US10657643B2 (en) Medical image analysis for identifying biomarker-positive tumor cells
JP5399243B2 (ja) 組織マイクロアレイのマルチチャネル画像の共位置合わせシステム及び方法
CN111448584B (zh) 计算肿瘤空间和标记间异质性的方法
JP7092503B2 (ja) 共発現解析のためのシステム及び方法
JP7228688B2 (ja) 改善された核検出およびセグメンテーションを可能にする画像強化
US8320655B2 (en) Process and system for analyzing the expression of biomarkers in cells
JP2010500571A5 (ja)
JP2023100730A (ja) 自動化された原位置ハイブリッド形成分析のためのシステム
JP2009115599A (ja) 評価システム、評価方法および評価プログラム
JP7214756B2 (ja) ステイン集合体における信号の定量
Liu et al. Application of multispectral imaging in quantitative immunohistochemistry study of breast cancer: a comparative study
Lin et al. Computer-assisted three-dimensional quantitation of programmed death-ligand 1 in non-small cell lung cancer using tissue clearing technology
JP2014530594A5 (ja)
JP2014530594A (ja) インサイツ分析用に調製された癌細胞の核病理学的特徴を測定するためのスペクトルイメージング
US8824769B2 (en) Process and system for analyzing the expression of biomarkers in a cell
WO2023107844A1 (en) Label-free virtual immunohistochemical staining of tissue using deep learning
Can et al. Techniques for cellular and tissue-based image quantitation of protein biomarkers

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100629

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120731

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees