JP7011067B2 - 膜特徴に基づいて組織画像内で細胞を分類するためのシステム及び方法 - Google Patents

Description

[0001]本開示は、医用診断のためのデジタル画像処理方法及びシステムに関する。特に、本開示は、特定の膜特徴に基づく組織画像内での、細胞の分類に関する。

[0002]組織切片、血液、細胞培養物、及び同類のものなどの生物学的標本の分析において、生物学的標本は、スライド上に据え付けられ、染料及びバイオマーカの、１つ又は複数の組合せによって染色され、結果的に生じるアッセイが、さらなる分析のために視認又はイメージングされる。アッセイは、標本内のタンパク質、タンパク質断片、又は他の標的に結合する抗体に接合される、フルオロフォア又は色素原を内包する染料によって処置される、ヒト被験体からの組織切片などの生物学的標本を含み得る。アッセイを観察することは、疾病の診断、治療に対する応答の評価、及び、疾病に立ち向かうための新しい薬物の開発を含む、種々のプロセスを可能にする。

[0003]アッセイをスキャンすることを基に、カラーチャネルを含む画像データの複数個の情報チャネルが導出され、各々の観察されるチャネルは、複数個のシグナルの混合物を含む。アッセイ染色の最もよく目にする例の１つは、組織解剖情報を識別する助けとなる２つの染料を含むヘマトキシリン－エオシン（Ｈ＆Ｅ）染色である。ヘマトキシリンは主に、全体的に青い色によって細胞核を染色し、一方でエオシンは主に、細胞質の全体的に淡紅色の染料として作用する。特殊染色アッセイは、組織内の標的物質を、それらの物質の化学的性質、生物学的性質、又は病理学的性質に基づいて識別し得る。

[0004]免疫組織化学（ＩＨＣ）アッセイは、本明細書において以降、関心の標的又は対象と称される、標本内の関心のタンパク質、タンパク質断片、又は他の構造に結合する抗体に接合される、１つ又は複数の染料を含む。標本内の標的を染料に結合する、抗体及び他の化合物（又は物質）は、本明細書においてバイオマーカと称される。

[0005]Ｈ＆Ｅ又は特殊染色アッセイに対しては、バイオマーカは、染料（例えば、ヘマトキシリン対比染料）との固定された関係性を有し、しかるに、ＩＨＣアッセイに対しては、抗体タンパク質の選定が、バイオマーカに対して、新しいアッセイを開発及び創出するために使用され得る。生物学的標本は、イメージングの前にアッセイによって準備される。単一の光源、一連の複数個の光源、又は、入力スペクトルの任意の他の源を組織に当てることを基に、アッセイは、観察者により、典型的には顕微鏡を通して評価され得るものであり、又は、画像データが、さらなる処理のためにアッセイから獲得され得る。

[0006]そのような獲得において、画像データの複数個の情報チャネル、例えばカラーチャネルが導出され、各々の観察されるチャネルは、複数個のシグナルの混合物を含む。この画像データの処理は、画像データの観察される１つ又は複数のチャネルから特定の染料の局所的濃度を決定するために使用される、さらにはスペクトルアンミキシング、色分離、などと称されるカラーデコンボリューションの方法を含み得る。自動化された方法により処理される、ディスプレイ上で描写される画像データに対して、又は、観察者により視認されるアッセイに対して、染色された組織の局所的外観と、付与された染料及びバイオマーカとの間の関係が、染色された組織内のバイオマーカ分布のモデルを決定するために決定され得る。

[0007]保健医療分野においてのデジタル画像分析においての重要な境域は、特定の細胞内の場所において関心の分析物に対する染色を識別及び定量化する能力である。そのような分析を行うためのアルゴリズムが、現在実在する。例えば、ＨＥＲ２及びｃＭＥＴの膜発現を検出するためのアルゴリズムが、現在知られている。これらのアルゴリズムは、核の周囲の局所的近隣に関して染色された膜を探索することを、膜領域を探索されることになる核の周囲の近隣を規定するためのあらかじめ規定されたしきい値を使用して行う核検出に依拠する。ゆえに、これらのアルゴリズムが、核を見つけ損なうならば、又は、膜が、あらかじめ規定された近隣半径の外側にあるならば、それらの核の周囲の染色された膜は、検出されないことがある。加えて、アルゴリズムは、（細胞質染色など）他の染色区画との組合せの形の膜染色を内包する領域を無視することがある。かくして、これらの方法を使用する染色の定量化は、不完全である、又は、正しくないことがある。

[0008]細胞分類に対するいくつかの手法が、当分野において提示されている。所定の例示的な手法は、細胞の周囲のコンテキスト上の情報を全体的に探査し得るが、それらの手法は、全般的な解決策を企図するものであり、異なる膜染色パターンの構造又は外観においての違いを明瞭に標的にしない。これらの従来手法は、細胞に対する所定のレベルのコンテキスト上のデータを提供することができるが、特に、細胞膜の区別可能なパターンに基づいて異なる細胞タイプを差異化することが不可欠であるとき、特定の膜特徴に基づいて組織画像内で細胞を正確に分類することに対する長年の必要性が、それでもなお残る。最近、持続可能ながん治療に対する必要性に対処するための免疫療法手法は、細胞膜に沿った、より複雑な染色パターンが、細胞の状態及びタイプに依存することを示した。

[0009]本開示は、中でも、染色された組織画像内での、特に組織画像内での、細胞の自動的な分類のためのデジタル画像処理システム及び方法を提供することにより、前述の懸念に対処する。より具体的には、本デジタル画像処理システムは、本開示の方法を実現するために、１つ又は複数のプロセッサによる実行のための、デジタルで符号化される非一時的コンピュータ可読命令を記憶するデジタル記憶媒体を含む。

[0010]１つの実施形態において、入力画像が、別個に処理される、２つのカラーチャネルへのデコンボリューションのために、カラーデコンボリューションモジュールに給送される。カラーデコンボリューションモジュールは、入力画像から２つ以上の別個の画像：ヘマトキシリン（ＨＴＸ）染色された組織画像、及び、ジアミノベンジジン（ＤＡＢ）染色された画像を生成する。この例示的な例解において、細胞分類エンジンが、染色された細胞膜の構造に基づいて細胞を分類することを目指す。

[0011]Ｇａｕｓｓｉａｎ差分（ＤｏＧ：ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）フィルタが、フィルタリングされた画像を生成するために、膜染色された画像に適用され得る。ＤｏＧフィルタを使用して膜染色画像をフィルタリングすることに対する１つの理由は、ＤｏＧフィルタは、認識可能なパターン化された膜構造を包囲し得る特定のサブ領域の強度を強化する助けとなるからということである。

[0012]Ｏｔｓｕしきい値処理モジュールが、膜マスク画像を生成することにより、膜構造のわずかな染色細部をさらに強化するために、フィルタリングされた画像に適用され得る。ブロブ抽出が、次いで、関心のサブ領域に関するブロブ対象を抽出することを、サブ領域の中の様々な成分又は特徴を連結することにより行うように、膜マスク画像に適用され得る。

[0013]楕円形膜染色パターンと、点状膜染色パターンとの間の判別をさらに改善するために、細胞分類エンジンは、あらゆる検出される細胞に対する膜ブロブ対象に関係付けられる統計値を計算する。これらの統計値は、細胞の視覚表現を関連付けるように設計され、正確な細胞識別においての一助としての将来の使用のために訓練データベース内に記憶される。

[0014]本特許又は出願ファイルは、カラーで作成された少なくとも１つの図面を内包する。カラー図面を伴う本特許又は特許出願公報の写しは、米国特許商標庁により、申請及び必要な料金の納付を基に提供されることになる。

[0015]本開示の様々な特徴、及び、それらの特徴を成し遂げる様式が、後に続く説明、特許請求の範囲、及び図面を参照して、より詳細に説明されることになる。

[0016]本主題開示の例示的な実施形態による、特定の膜特徴に基づいて組織画像内で細胞を分類するように適合させられるコンピュータベースの細胞の検出システムを描写する図である。 [0017]本主題開示の例示的な実施形態による、図１の細胞の検出システムの部分を形成する細胞分類エンジンのブロック線図である。 [0018]本主題開示の例示的な実施形態による、図２の細胞分類エンジンにより実現される作業フローを描写する図である。 [0019]ＰＤ－Ｌ１画像の陽性腫瘍細胞内の例示的な楕円形膜染色パターンを描写する図である。 [0020]ＰＤ－Ｌ１染色画像の陽性免疫細胞領域内の例示的な点状膜染色パターンを描写する図である。 [0021]上皮成長因子受容体（ＥＧＦＲ）染色画像内の例示的な楕円形染色パターンを描写する図である。 [0022]ＥＧＦＲ染色画像内の例示的な点状染色パターンを描写する図である。 [0023]図８Ａは、本主題開示の例示的な実施形態による、楕円形膜染色されたパターンの膜特徴計算のための膜マスク画像を生成するために、図２の細胞分類エンジンにより処理される、例示的なシーケンシャルパターンを描写する図である。図８Ｂは、本主題開示の例示的な実施形態による、楕円形膜染色されたパターンの膜特徴計算のための膜マスク画像を生成するために、図２の細胞分類エンジンにより処理される、例示的なシーケンシャルパターンを描写する図である。図８Ｃは、本主題開示の例示的な実施形態による、楕円形膜染色されたパターンの膜特徴計算のための膜マスク画像を生成するために、図２の細胞分類エンジンにより処理される、例示的なシーケンシャルパターンを描写する図である。 [0024]図９Ａは、本主題開示の例示的な実施形態による、点状膜染色されたパターンの膜特徴計算のための膜マスク画像を生成するために、図２の細胞分類エンジンにより処理される、例示的なシーケンシャルパターンを描写する図である。図９Ｂは、本主題開示の例示的な実施形態による、点状膜染色されたパターンの膜特徴計算のための膜マスク画像を生成するために、図２の細胞分類エンジンにより処理される、例示的なシーケンシャルパターンを描写する図である。図９Ｃは、本主題開示の例示的な実施形態による、点状膜染色されたパターンの膜特徴計算のための膜マスク画像を生成するために、図２の細胞分類エンジンにより処理される、例示的なシーケンシャルパターンを描写する図である。

[0025]例解の単純さ及び明確さのために、参照番号は、対応する、又は類似する特徴を指示するために、図の間で再使用され得るということが察知されるであろう。
Ｉ 定義
[0026]別段に定義されない限り、本明細書において使用される技術的及び科学的用語は、当業者により共通に理解されるのと同じ意味を有する。例えば、Ｌａｃｋｉｅ、ＤＩＣＴＩＯＮＡＲＹ ＯＦ ＣＥＬＬ ＡＮＤ ＭＯＬＥＣＵＬＡＲ ＢＩＯＬＯＧＹ（細胞及び分子生物学辞典）、Ｅｌｓｅｖｉｅｒ（第４編 ２００７年）；Ｓａｍｂｒｏｏｋら、ＭＯＬＥＣＵＬＡＲ ＣＬＯＮＩＮＧ， Ａ ＬＡＢＯＲＡＴＯＲＹ ＭＡＮＵＡＬ（分子クローニング、実験マニュアル）、Ｃｏｌｄ Ｓｐｒｉｎｇｓ Ｈａｒｂｏｒ Ｐｒｅｓｓ（Ｃｏｌｄ Ｓｐｒｉｎｇｓ Ｈａｒｂｏｒ、Ｎ．Ｙ． １９８９年）を確認されたい。

[0027]分析的に区別可能な染色パターン：異なる生物学的意味を伝える、同じ分析物又は分析物の群の、２つ以上の異なる空間的関係性。例えば、転写因子は、細胞質に（その事例において、それらの転写因子は、不活性である見込みが大きい）、又は、核に（その事例において、それらの転写因子は、おそらくは活性化される）のいずれかで局在化され得る。かくして、「細胞質」染色パターン及び「核」染色パターンは、分析的に区別可能である。同様に、所定の細胞表面受容体は、膜に局在化された、又は、細胞質に局在化された様態を示す染色パターンを有し得る。受容体の、意義がある活性度は、どこに受容体が局在化されるかに依存して異なり得る。かくして、この例において、「膜」染色パターンは、「細胞質」染色パターンと分析的に区別可能である。しかしながら、他の事例において、個別の分析物の局在化は、重要でないことがある。例えば、受容体チロシンキナーゼのリン酸化シグナルの個別の局在化に対する免疫組織化学的アッセイは、おそらくは、分析的に意義があるものではないことになる。

[0028]抗体：本明細書においての用語「抗体」は、最も広範な意味で使用され、所望される抗原結合活性を呈する限り、モノクローナル抗体、ポリクローナル抗体、多重特異性抗体（例えば、二重特異性抗体）、及び抗体断片を含むが、それらに制限されない、様々な抗体構造を包含する。

[0029]バイオマーカ：本明細書において使用される際、用語「バイオマーカ」は、生物学的試料、又は、生物学的試料が取得される被験体を特性付けるために使用され得る、生物学的試料内で見出される任意の分子又は分子の群を指すものとする。例えば、バイオマーカは、その存在、非存在、又は相対的存在量が、
・個別の細胞又は組織のタイプ又は状態に特有のものである、
・個別の病理学的症状又は状態に特有のものである、あるいは、
・病理学的症状の重症度、病理学的症状の進行もしくは後退の見込み、及び／又は、病理学的症状が個別の治療に応答することになるということの見込みを指し示す、
分子又は分子の群であり得る。

[0030]別の例として、バイオマーカは、細胞タイプもしくは微生物（バクテリア、マイコバクテリア、真菌、ウイルス、及び同類のものなど）、又は、それらの置換成分分子もしくは分子の群であり得る。本明細書において意図されるように、バイオマーカイメージングは、制限なしに、多重化された組織バイオマーカイメージングを含む。

[0031]バイオマーカ特異試薬：一次抗体など、細胞の試料内の１つ又は複数のバイオマーカに直接的に、特異的に結合する能力がある特異検出試薬。
[0032]細胞検出：画像内で個別の細胞の場所を識別するためのコンピュータの自動化されたプロセス。

[0033]細胞の試料：本明細書において使用される際、用語「細胞の試料」は、病理学的、組織学的、又は細胞学的解釈のためにとられる、細胞培養物、体液試料、又は外科的標本など、無傷細胞を内包する任意の試料を指す。生物学的試料は、組織又は細胞試料であり得る。組織又は細胞試料の源は、新鮮な、凍結させられた、及び／又は保存された、器官又は組織の試料採取又は生検又は吸引からのような固形組織；血液又は任意の血液成分；脳脊髄液、羊水、腹水、又は間質液などの体液；被験体の妊娠又は発育においての任意の時間からの細胞であり得る。細胞の試料は、さらには、インビトロ組織又は細胞培養物から取得され得る。細胞の試料は、保存剤、抗凝固剤、緩衝剤、固定剤、栄養素、抗生物質、又は同類のものなどの、本来は細胞と自然に混合されない化合物を内包し得る。本明細書においての細胞の試料の例は、腫瘍生検、循環腫瘍細胞、漿液又は血漿、腫瘍から派生させられる、又は、腫瘍と同類の特質を呈する、初代細胞培養物又は細胞株、及び、ホルマリン固定、パラフィン包理腫瘍試料、又は凍結させられた腫瘍試料などの保存された腫瘍試料を含むが、それらに制限されない。

[0034]コンピュータプログラム：さらにはプログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとして知られているが、コンパイラ型又はインタプリタ型言語、宣言型又は手続き型言語を含む、任意の形式のプログラミング言語の形で書き表され得るものであり、そのコンピュータプログラムは、スタンドアローンプログラムとして、又は、コンピューティング環境においての使用に適したモジュール、コンポーネント、サブルーチン、オブジェクト、もしくは他のユニットとしてということを含めて、任意の形式で展開され得る。コンピュータプログラムは、ファイルシステム内のファイルに対応することがあるが、そうする必要はない。プログラムは、他のプログラムもしくはデータ（例えば、マークアップ言語ドキュメントの形で格納される１つ又は複数のスクリプト）を保持するファイルの一部分内に、当該のプログラムに専用化された単一のファイル内に、又は、複数個の協調させられるファイル（例えば、１つ又は複数の、モジュール、サブプログラム、又は、コードの一部分を格納するファイル）内に格納され得る。コンピュータプログラムは、１つのコンピュータ上で、又は、１つのサイトに配置される、もしくは、複数個のサイトにわたって分散させられ、通信ネットワークにより相互接続される、複数個のコンピュータ上で、実行されるように展開され得る。本明細書において説明されるプロセス及び論理フローは、１つ又は複数のコンピュータプログラムを実行して、入力データに関して動作し、出力を生成することにより、アクションを遂行する、１つ又は複数のプログラマブルプロセッサにより遂行され得る。プロセス及び論理フローは、さらには、特殊目的論理回路網、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）により遂行され得るものであり、装置は、さらには、その特殊目的論理回路網として実現され得る。コンピュータプログラムの実行に適したプロセッサは、例として、多目的及び特殊目的の両方のマイクロプロセッサ、並びに、任意の種類のデジタルコンピュータの任意の１つ又は複数のプロセッサを含む。一般的には、プロセッサは、命令及びデータを、読み出し専用メモリ又はランダムアクセスメモリ又は両方から受信することになる。コンピュータの本質的な要素は、命令によってアクションを遂行するためのプロセッサ、並びに、命令及びデータを記憶するための１つ又は複数のメモリデバイスである。一般的には、コンピュータは、さらには、データを記憶するための１つもしくは複数の大容量記憶デバイス、例えば、磁気、磁気光学ディスク、もしくは光学ディスクを含む、又は、それらのデバイスからデータを受信する、もしくは、それらのデバイスにデータを転送する、もしくは、その両方のために動作可能に結合されることになる。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。なおまた、コンピュータは、別のデバイス、例えば、ほんの数例を挙げると、移動電話、携帯情報端末（ＰＤＡ）、モバイルオーディオもしくはビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信器、又はポータブル記憶デバイス（例えば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ）に埋め込まれ得る。コンピュータプログラム命令及びデータを記憶するのに適したデバイスは、例として、半導体メモリデバイス、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス；磁気ディスク、例えば内蔵ハードディスク又はリムーバブルディスク；磁気光学ディスク；並びに、ＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスクを含む、すべての形式の不揮発性メモリ、媒体、及びメモリデバイスを含む。プロセッサ及びメモリは、特殊目的論理回路網により補完され得る、又は、特殊目的論理回路網に組み込まれ得る。

[0035]コンピューティングシステム：さらにはコンピュータと称されるが、任意の数のクライアント及びサーバを含む。クライアント及びサーバは、一般的には互いから遠隔にあり、典型的には通信ネットワークを通して対話する。クライアント及びサーバの関係性は、それぞれのコンピュータ上で走り、互いに対するクライアント－サーバ関係性を有するコンピュータプログラムのおかげで生起する。一部の実施形態において、サーバは、データ（例えば、ＨＴＭＬページ）をクライアントデバイスに（例えば、クライアントデバイスと対話するユーザにデータを表示すること、及び、そのユーザからのユーザ入力を受信することの目的のために）送信する。クライアントデバイスにおいて生成されたデータ（例えば、ユーザ対話の結果）は、サーバにおいてクライアントデバイスから受信され得る。

[0036]対比染料：染色された対象をよりたやすく検出可能にする、主たる染料と対照をなす色を伴う染料。例えば、Ｈ＆Ｅ染料においての、ヘマトキシリンに対するエオシン対比染料。

[0037]細胞質染色：細胞の細胞質領域の形態的特性をもつパターンの形で配置構成される画素の群。
[0038]マーカ：バイオマーカが、周辺の組織と、及び／又は、他のバイオマーカと差異化されることを可能とする、染料、色素、又はタグ。用語「バイオマーカ」は、個別の細胞タイプ、実例として免疫細胞の存在などの組織特徴、及び、より詳細には、医学的症状を指し示す組織特徴の意味で理解され得る。バイオマーカは、組織特徴においての個別の分子、実例としてタンパク質の存在により識別可能であり得る。

[0039]膜／点状領域：拡散した膜染色が、点状染色と混合される領域。
[0040]プロセッサ：例として、プログラマブルマイクロプロセッサ、コンピュータ、システム・オン・チップ、又は、複数個のもの、又は、前述のものの組合せを含む、データを処理するためのすべての種類の装置、デバイス、及び機械を包含する。装置は、特殊目的論理回路網、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）を含み得る。装置は、さらには、ハードウェアに加えて、当該のコンピュータプログラムに対する実行環境を創出するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想機械、又は、それらのうちの１つもしくは複数の組合せを組成するコードを含み得る。

[0041]点状染色：細胞の膜区域上で散乱する斑点／小点として現れる染色の強い局在化された強度を伴う画素の群。
[0042]試料：本明細書において使用される際、用語「試料」は、バイオマーカの存在又は非存在についてテストされる可能性がある、対象又は標的から取得される任意の材料を指すものとする。

[0043]染料・染色：名詞として使用されるとき、用語「染料」は、明視野顕微鏡法、蛍光顕微鏡法、電子顕微鏡法、及び同類のものを含む、顕微鏡分析に対する細胞の試料内の特定の分子又は構造を視覚化するために使用され得る任意の物質を指すものとする。動詞として使用されるとき、用語「染色」は、細胞の試料上の染料の堆積を結果的に生じさせる任意のプロセスを指すものとする。

[0044]被験体：名詞として使用されるとき、用語「被験体」又は「個体」は哺乳類である。哺乳類は、飼い慣らされた動物（例えば、雌ウシ、ヒツジ、ネコ、イヌ、及びウマ）、霊長類（例えば、ヒト、及び、サルなどの非ヒト霊長類）、ウサギ、及び齧歯類（例えば、マウス及びラット）を含むが、それらに制限されない。所定の実施形態において、個体又は被験体はヒトである。

[0045]テスト試料：試料が取得される時間において知られていないアウトカムを有する被験体から取得される腫瘍試料。
[0046]組織試料：本明細書において使用される際、用語「組織試料」は、細胞の間の、試料が取得された被験体の中にそれらの細胞が実在した際の横断的空間的関係性を保存する細胞の試料を指すものとする。「組織試料」は、一次組織試料（すなわち、被験体により生み出された細胞及び組織）及び異種移植片（すなわち、被験体内へと移植された外来性の細胞の試料）の両方を包含するものとする。

[0047]組織標本：スライド上に据え付けられ得る、組織切片、血液、細胞培養物、及び同類の生物学的試料などの、任意のタイプの生物学的標本を包含する。
[0048]ユーザインターフェイスデバイス：ユーザとの対話を可能なものにするディスプレイを含み、本明細書において説明される主題事項の実施形態は、ユーザに情報を表示するためのディスプレイデバイス、例えばＬＣＤ（液晶ディスプレイ）、ＬＥＤ（発光ダイオード）ディスプレイ、又はＯＬＥＤ（有機発光ダイオード）ディスプレイと、キーボード及びポインティングデバイス、例えばマウス又はトラックボールとを有するコンピュータ上で実現され得るものであり、それらのキーボード及びポインティングデバイスにより、ユーザは、コンピュータに入力を提供することができる。一部の実現形態において、タッチスクリーンが、情報を表示し、ユーザから入力を受信するために使用され得る。他の種類のデバイスが、同じようにしてユーザとの対話を可能なものにするために使用され得るものであり、例えば、ユーザに提供されるフィードバックは、任意の形式の感覚フィードバック、例えば視覚フィードバック、聴覚フィードバック、又は触覚フィードバックの形であり得るものであり、ユーザからの入力は、音響、発話、又は触覚入力を含む任意の形式で受信され得る。加えて、コンピュータは、ユーザにより使用されるデバイスにドキュメントを送出し、そのデバイスからドキュメントを受信することにより、例えば、ユーザのクライアントデバイス上のウェブブラウザに、ウェブブラウザから受信される要求に応答してウェブページを送出することにより、ユーザと対話することができる。本明細書において説明される主題事項の実施形態は、例えばデータサーバとしてのバックエンド構成要素を含む、又は、ミドルウェア構成要素、例えばアプリケーションサーバを含む、あるいは、フロントエンド構成要素、例えば、それを通してユーザが、本明細書において説明される主題事項の実現形態と対話することができる、グラフィカルユーザインターフェイスデバイスもしくはウェブブラウザを有するクライアントコンピュータを、又は、１つもしくは複数の、そのようなバックエンド、ミドルウェア、もしくはフロントエンド構成要素の任意の組合せを含む、コンピューティングシステムの形で実現され得る。システムの構成要素は、任意の形式又は媒体のデジタルデータ通信、例えば通信ネットワークにより相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）及びワイドエリアネットワーク（「ＷＡＮ」）、インターネットワーク（例えば、インターネット）、並びにピアツーピアネットワーク（例えば、アドホックピアツーピアネットワーク）を含む。
ＩＩ 細胞の検出システム
[0049]図１を参照すると、細胞の検出システム１０が、本開示の例示的な実施形態によって提供される。細胞の検出システム１０は、染色された組織画像内で細胞の存在を自動的に検出するように、及び、詳細には、組織画像内で細胞を自動的に検出し分類するように適合させられ得る。細胞の検出システム１０は、一般的には、画像分析システム１００と、画像獲得システム１２０とを含む。

[0050]染色された生物学的試料の、１つ又は複数のデジタル画像は、画像獲得システム１２０により獲得される。本質的には、カラーデジタル画像を生成する能力がある任意の適したイメージング方法が使用され得る。例えば、染色された組織試料（組織標本、又は、細胞の試料）のＲ、Ｇ、Ｂ入力カラー画像２１０（図２）が、生成され、ローカルコンピュータ、ディスクドライブ、ソリッドステートドライブ、サーバマシン、又は同類のものなどの記憶デバイス内に記憶され得る。

[0051]画像分析システム１００は、本明細書において説明される技法及び動作を遂行する能力がある、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、スマートフォン、サーバ、特定用途向けコンピューティングデバイス、又は、任意の他のタイプの電子デバイスなどの、１つ又は複数のコンピューティングデバイスを含み得る。一部の実施形態において、画像分析システム１００は、単一のデバイスとして実現され得る。他の実施形態において、画像分析システム１００は、本明細書において説明される様々な機能性を一体で達成する、２つ以上のデバイスの組合せとして実現され得る。例えば、画像分析システム１００は、インターネット又はイントラネットなどの、１つ又は複数の、ローカルエリアネットワーク及び／又はワイドエリアネットワークを介して互いに通信可能に結合される、１つ又は複数のサーバコンピュータと、１つ又は複数のクライアントコンピュータとを含み得る。

[0052]画像分析システム１００は、メモリ１１５と、プロセッサ１１６と、ディスプレイ１１７とを含み得る。メモリ１１５は、ランダムアクセスメモリ（ＲＡＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）などの読み出し専用メモリ、フラッシュメモリ、ハードドライブ、ソリッドステートドライブ、光学ディスク、及び同類のものなどの、任意のタイプの揮発性又は不揮発性メモリの任意の組合せを含み得る。メモリ１１５は、プロセッサ１１６が、より詳細に後で説明されることになるような本開示の作業フローを実行するための、非一時的コンピュータ可読命令を記憶し得る。簡潔さの目的のために、メモリ１１５は、単一のデバイスとして図２において描写されるが、メモリ１１５は、さらには、２つ以上のデバイスにわたって分散させられ得るということが察知される。

[0053]プロセッサ１１６は、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、特殊目的信号又は画像プロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、テンソル処理ユニット（ＴＰＵ）等々のような、任意のタイプの１つ又は複数のプロセッサを含み得る。簡潔さの目的のために、プロセッサ１１６は、単一のデバイスとして図２において描写されるが、プロセッサ１１６は、さらには、任意の数のデバイスにわたって分散させられ得るということが察知される。

[0054]ディスプレイ１１７は、ＬＣＤ、ＬＥＤ、ＯＬＥＤ、ＴＦＴ、プラズマ、その他などの、任意の適した技術を使用して実現され得る。一部の実現形態において、ディスプレイ１１７は、タッチセンシティブディスプレイ（タッチスクリーン）であり得る。

[0055]画像分析システム１００は、さらには、対象識別器１１０と、関心の領域（ＲＯＩ）生成器１１１と、ユーザインターフェイスモジュール１１２と、細胞分類エンジン１１４とを含み得る。これらのモジュールは、スタンドアローンモジュールとして図１において描写されるが、各々のモジュールは、代わりに、いくつかのサブモジュールとして実現され得るということ、及び、一部の実施形態において、任意の２つ以上のモジュールが、単一のモジュールへと組み合わされ得るということが、当業者には明白であろう。さらにまた、一部の実施形態において、システム１００は、簡潔さのために図１において描写されない追加的なエンジン及びモジュール（例えば、入力デバイス、ネットワーキング及び通信モジュール、その他）を含み得る。さらにまた、一部の実施形態において、図１において描写されるブロックの一部は、使用不可能にされ得る、又は省略され得る。下記でより詳細に論考されることになるように、システム１００の一部又はすべてのモジュールの機能性は、ハードウェア、ソフトウェア、ファームウェアの形で、又は、それらの任意の組合せとして実現され得る。本明細書において開示されるようなモジュールを実現することにおいて有用な、例示的な市販で入手可能なソフトウェアパッケージは、ＶＥＮＴＡＮＡ ＶＩＲＴＵＯＳＯ；Ｄｅｆｉｎｉｅｎｓ ＴＩＳＳＵＥ ＳＴＵＤＩＯ、ＤＥＶＥＬＯＰＥＲ ＸＤ、及びＩＭＡＧＥ ＭＩＮＥＲ；並びに、Ｖｉｓｉｏｐｈａｒｍ ＢＩＯＴＯＰＩＸ、ＯＮＣＯＴＯＰＩＸ、及びＳＴＥＲＥＯＴＯＰＩＸソフトウェアパッケージを含む。

[0056]入力画像２１０を獲得する後、画像分析システム１００は、画像２１０を対象識別器１１０に渡し得るものであり、その対象識別器１１０は、細胞分類のために後で使用されることになる、画像２１０の中の意義がある対象及び他の特徴を、識別及びマークするように機能する。対象識別器１１０は、画像内の様々な対象を特性付ける複数の画像特徴を、各々の画像２１０から抽出（又は、その画像２１０に対して生成）し得る。別の実施形態において、対象識別器１１０は、バイオマーカ発現を表す生画素を特性付ける複数の画像特徴を、各々の画像２１０から抽出（又は、その画像２１０に対して生成）し得る。

[0057]抽出された画像特徴は、例えば、形状、強度、又は他の統計的特徴を含むが、それらに制限されない、Ｈａｒａｌｉｃｋ特徴、単語の袋（ｂａｇ－ｏｆ－ｗｏｒｄｓ）特徴、及び同類のものなどのテクスチャ特徴を含み得る。複数の画像特徴の値は、バイオマーカの発現、個別の対象、又は、画像内の対象場所を特性付けるために使用され得る、本明細書において以降「特徴ベクトル」と称される、高次元ベクトルへと組み合わされ得る。例えば、Ｍ個の特徴が、各々の対象及び／又は画素に対して抽出されるならば、各々の対象及び／又は画素は、Ｍ次元特徴ベクトルにより特性付けられ得る。対象識別器１１０の出力は、事実上、関心の対象及び画素の位置をアノテートする、並びに、それらの対象及び画素を、対象又は画素を記述する特徴ベクトルと関連付ける、画像のマップである。特徴ベクトルは例解のみの目的のために本明細書において説明されるということ、及び、本開示はバイオマーカに制限されず、例えば、細胞タイプがさらには含まれ得るということが理解されるべきである。

[0058]個別のタイプの対象（膜、核、細胞、その他など）とのバイオマーカの関連を基盤としてスコアリングされるバイオマーカに対して、対象識別器１１０により抽出される特徴は、関心のバイオマーカ陽性対象、もしくは、関心のバイオマーカ陰性マーカとして、及び／又は、対象のバイオマーカ染色のレベルもしくは強度により、試料内の対象をカテゴリー化するのに十分な特徴又は特徴ベクトルを含み得る。バイオマーカが、それを発現している対象タイプに依存して異なって重み付けされ得る事例において（腫瘍細胞発現、免疫細胞発現、又は両方を基盤としてスコアリングされ得る、ＰＤ－Ｌ１、ＰＤ－Ｌ２、及びＩＤＯなどの免疫逃避バイオマーカなど）、対象識別器１１０により抽出される特徴は、バイオマーカ陽性画素と関連付けられる対象のタイプを決定することに対して意義がある特徴を含み得る。かくして、バイオマーカイメージングを使用して、対象は、次いで、少なくとも、バイオマーカ発現（例えば、バイオマーカ陽性又はバイオマーカ陰性細胞）、及び、意義があるならば、対象のサブタイプ（例えば、腫瘍細胞、免疫細胞、その他）を基盤としてカテゴリー化され得る。バイオマーカ発現の程度が、対象との関連に関係なくスコアリングされる事例において、対象識別器１１０により抽出される特徴は、例えば、バイオマーカ陽性画素の場所及び／又は強度を含み得る。

[0059]画像分析システム１００は、さらには、画像２１０をＲＯＩ生成器１１１に渡し得る。ＲＯＩ生成器１１１は、画像２１０の関心の領域、ＲＯＩ、又は複数のＲＯＩを識別するために使用され得るものであり、それらのＲＯＩから、免疫コンテキストスコアが算出され得る。対象識別器１１０が全体画像に適用されない事例において、ＲＯＩ生成器１１１により生成される１つ又は複数のＲＯＩは、さらには、対象識別器１１０が実行される画像のサブセットを規定するために使用され得る。１つの実施形態において、ＲＯＩ生成器１１１は、ユーザインターフェイスモジュール１１２を通してアクセスされ得る。バイオマーカ染色された試料（又は、バイオマーカ染色された試料の形態的に染色された連続切片）の画像が、ユーザインターフェイスモジュール１１２のグラフィックユーザインターフェイス上で表示され、ユーザは、画像内の１つ又は複数の領域を、考慮されるＲＯＩであるようにアノテートする。ＲＯＩアノテーションは、この例においていくつかの形式をとることができる。例えば、ユーザは、手作業でＲＯＩを規定し得る（本明細書で以降、「自由形式ＲＯＩアノテーション」と称される）。

[0060]他の例において、ＲＯＩ生成器１１１は、ＲＯＩをアノテートすることにおいてユーザを支援し得る。例えば、ユーザは、画像内のエッジ（例えば、腫瘍の浸潤周縁部の先端エッジ、又は、腫瘍芯から腫瘍の浸潤周縁部への遷移を表象するエッジなど）をアノテートし得るものであり、ＲＯＩ生成器１１１は、ユーザ規定されたエッジに基づいてＲＯＩを自動的に規定し得る。例えば、ユーザは、ユーザインターフェイスモジュール１１２において浸潤周縁部の先端エッジをアノテートし得るものであり、ＲＯＩ生成器１１１は、例えば、エッジのあらかじめ規定された距離の中の、又は、エッジの一方の側のあらかじめ規定された距離の中の、すべての対象を包囲するＲＯＩを描画することにより、ガイドとしてエッジを使用してＲＯＩを創出する。一部の事例において、ユーザは、ＲＯＩを拡大すること、ＲＯＩの領域、又は、ＲＯＩの中の対象を分析から除外されるようにアノテートすること、その他によってなどで、ＲＯＩ生成器１１１によりアノテートされたＲＯＩを修正する選択肢を与えられ得る。他の実施形態において、ＲＯＩ生成器１１１は、ユーザからの何らの直接的な入力もなしに（例えば、組織セグメンテーション機能を、アノテートされない画像に適用することにより）ＲＯＩを自動的に提案し得るものであり、そのＲＯＩをユーザは、次いで、受け入れる、拒絶する、又は、適切なように編集することに決めることができる。一部の実施形態において、ＲＯＩ生成器１１１は、さらには、位置合わせ機能を含み得るものであり、その機能により、連続切片のセットの１つの切片においてアノテートされたＲＯＩが、連続切片のセットの他の切片に自動的に転写される。この機能性は、とりわけ、分析されている複数個のバイオマーカが存するとき、又は、Ｈ＆Ｅ染色された連続切片が、バイオマーカラベリングされた切片とともに提供されるときに有用である。

[0061]一部の実施形態において、画像分析システム１００は、画像獲得システム１２０に通信可能に結合され得る。画像獲得システム１２０は、生物学的標本の画像を取得し、分析及びユーザへの提示のために、画像分析システム１００にそれらの画像２１０を提供し得る。

[0062]画像獲得システム１２０は、例えばスライドスキャナを含む、染色されたスライドを２０ｘ、４０ｘ、又は他の倍率でスキャンして、高分解能全体スライドデジタル画像を生み出すことができる、スライドスキャナなどのスキャニングプラットフォーム１２５を含み得る。基本的なレベルにおいて、典型的なスライドスキャナは、少なくとも、（１）レンズ、対物レンズを伴う顕微鏡と、（２）光源（色素に依存して、ハロゲン、発光ダイオード、白色光、及び／又はマルチスペクトル光源など）と、（３）ガラススライドを至るところに動かすための（又は、光学機器をスライドの周囲で動かすための）ロボティクスと、（４）画像捕捉のための１つ又は複数のデジタルカメラと、（５）ロボティクスを制御するための、並びに、デジタルスライドを操作、管理、及び視認するための、コンピュータ及び関連付けられるソフトウェアとを含む。スライド上のいくつかの異なるＸ－Ｙ場所においての（及び、一部の事例において、複数個のＺ平面においての）デジタルデータが、カメラの電荷結合デバイス（ＣＣＤ）により捕捉され、画像が、完全なスキャンされた表面の合成画像を形成するために、一体に連結される。後に続くものは、このタスクを果たすための例示的な方法である。

（１）スライドステージ又は光学機器が、近接する正方形とわずかな度合重なる正方形画像フレームを捕捉するために、非常に小さい増分で動かされる、タイルベースのスキャニング。捕捉された正方形は、次いで、合成画像を作り上げるために、互いに対して自動的にマッチングされる。及び、
（２）スライドステージが、いくつかの合成画像「ストリップ」を捕捉するために、獲得の間、単一の軸において動く、ラインベースのスキャニング。画像ストリップは、次いで、より大きい合成画像を形成するために、互いとマッチングされ得る。

[0063]スキャニングプラットフォーム１２５により生成された画像は、画像分析システム１００に、又は、画像分析システム１００によりアクセス可能なサーバもしくはデータベースに転送され得る。一部の実施形態において、画像は、１つ又は複数の、ローカルエリアネットワーク及び／又はワイドエリアネットワークを介して自動的に転送され得る。一部の実施形態において、画像分析システム１００は、スキャニングプラットフォーム１２５、及び／もしくは、画像獲得システム１２０の他のモジュールと統合され得る、又は、それらに含まれ得るものであり、その事例において、画像は、例えば、プラットフォーム１２５及びシステム１２０の両方によりアクセス可能なメモリを通して、画像分析システムに転送され得る。

[0064]一部の実施形態において、画像獲得システム１２０は、画像分析システム１００に通信可能に結合されないことがあり、その事例において、画像は、任意のタイプの不揮発性記憶媒体（例えば、フラッシュドライブ）上に記憶され、媒体から、画像分析システム１００に、又は、その画像分析システム１００に通信可能に結合されるサーバもしくはデータベースにダウンロードされ得る。上記の例の任意のものにおいて、画像分析システム１００は、生物学的試料の画像を取得し得るものであり、その場合、試料は、スライドに貼り付けられ、組織化学的染色プラットフォーム１２３により染色されていることがあり、スライドは、スライドスキャナ、又は、別のタイプのスキャニングプラットフォーム１２５によりスキャニングされていることがある。しかしながら、他の実施形態において、下記で説明される技法が、さらには、他の手段によって獲得及び／又は染色された生物学的試料の画像に適用され得るということが察知される。

[0065]一部の実施形態において、画像獲得システム１２０は、画像分析システム１００に通信可能に結合されないことがあり、その事例において、画像は、任意のタイプの不揮発性記憶媒体（例えば、フラッシュドライブ）上に記憶され、媒体から、画像分析システム１００に、又は、その画像分析システム１００に通信可能に結合されるサーバもしくはデータベースにダウンロードされ得る。上記の例の任意のものにおいて、画像分析システム１００は、生物学的試料の画像を取得し得るものであり、その場合、試料は、スライドに貼り付けられ、組織化学的染色プラットフォーム１２３により染色されていることがあり、スライドは、スライドスキャナ、又は、別のタイプのスキャニングプラットフォーム１２５によりスキャニングされていることがある。しかしながら、他の実施形態において、下記で説明される技法が、さらには、他の手段によって獲得及び／又は染色された生物学的試料の画像に適用され得るということが察知される。

[0066]細胞検出システム１０は、実験室情報システム（ＬＩＳ：ｌａｂｏｒａｔｏｒｙ ｉｎｆｏｒｍａｔｉｏｎ ｓｙｓｔｅｍ）１３０と、訓練データベース１６０とをさらに含み得る。ＬＩＳ１３０は、典型的には、試料に関して、及びスライドに関して遂行されるプロセスと、試料から導出される画像とを、記録及び追跡すること、免疫コンテキストスコアリングシステムの異なる構成要素に、試料、スライド、及び／又は画像に関する特定のプロセスを遂行し、試料及び又はスライドに付与される特異試薬に関する情報（ロット番号、期限満了日、施された体積、その他）を追跡するように命令することから選択される、１つ又は複数の機能を遂行する。

[0067]対象識別器１１０及びＲＯＩ生成器１１１の両方が実現された後、細胞分類エンジン１１４が、より詳細に後で説明されることになるように実現される。さらには本明細書において分類器モジュール１１４とも称される細胞分類エンジン１１４は、調査されているパターンによって各々の細胞を分類するために、訓練されたパターン認識アルゴリズムを実行するように適合させられ得る。細胞分類エンジン１１４の出力は、検出される細胞が属する、あらかじめ規定されたクラス、例えば、細胞タイプクラス又はバイオマーカ陽性／陰性クラスを指示するクラスラベルであり得る。細胞分類エンジン１１４の出力は、訓練データベース１６０内に記憶される。
ＩＩＩ 細胞分類エンジン及び作業フロー
[0068]図２を参照すると、その図２は、画像分析システム１００の部分を形成する細胞分類エンジン１１４を例解する。図３は、細胞分類エンジン１１４により、特定の膜染色パターンに基づいて実現される作業フロー３００を例解する。膜染色又は組織画像内で、異なるタイプの細胞の膜は、異なるパターンを伴って染色され得る。膜染色パターンは、細胞を分類するための情報の有用な源として役立ち得る。この目的のために、細胞分類エンジン１１４は、複数の区別可能なパターンにより染色された細胞の間で区別する助けとなり、例えば、本例解的な実施形態との相関において説明される、これらのパターンのうちの２つは、楕円形パターン及び点状パターンと称される。

[0069]本発明の例示的な実施形態は、楕円形及び点状パターンの見地において、本明細書において説明されることがあるが、本開示はこれらの２つのパターンに制限されないということが優に明確であるはずである。むしろ、これらの２つのパターンは、例解目的のみのために本明細書において使用され、他の特定のパターンが、本開示により思索され得る。

[0070]例えば、ＰＤ－Ｌ１染色された画像４００（図４）、及び、ＥＧＦＲ染色された画像６００（図６）内で、陽性腫瘍細胞の膜は、楕円形染料パターンにより特性付けられ得るものであり、すなわち、染料は、ＲＯＩ４１０（図４）及び６１０（図６）において例解されるように、核の周囲に楕円の全体的な（又は実質的な）形状を有するように現れる。他方で、ＰＤ－Ｌ１染色された画像５００（図５）、及び、ＥＧＦＲ染色された画像７００（図７）内で、陽性免疫細胞の膜は、全体的に点状の染料パターンにより特性付けられ得るものであり、すなわち、染料は、ＲＯＩ５１０（図５）及び７１０（図７）において例解されるように、核の周囲の複数個の小さいブロブとして現れる。

[0071]本開示は、様々な細胞を、それらの細胞の特定の膜（又は組織）染色パターンに基づいて分類するための方法を説明する。この目的のために、並びに、図２及び３を参照すると、入力画像２１０が、別個に処理され得る、区別可能なカラーチャネルに沿って、入力画像２１０を複数の染料画像、例えば、染料１、染料２、…、染料Ｎへと畳み込みを解くために、カラーデコンボリューションモジュール２２０に給送される。例解の明確さのために、本実施形態は、２つの例示的な染料画像：さらには本明細書において、バイオマーカ染色された組織画像２３０と称される、ジアミノベンジジン（ＤＡＢ）染色された組織画像２３０、及び、さらには本明細書において、対比染色された画像２５０と称される、ヘマトキシリン（ＨＴＸ）染色された組織画像について説明されることになる。

[0072]作業フロー３００（図３）のステップ３２０においてさらに例解されるように、本例示的な実施形態のカラーデコンボリューションモジュール２２０は、入力画像２１０から２つの別個の画像：バイオマーカ染色された組織画像２３０、及び、対比染色された画像２５０を生成する。

[0073]Ｇａｕｓｓｉａｎ差分（ＤｏＧ）フィルタ２４０（図２）などのフィルタが、作業フロー３００（図３）のステップ３４０において、フィルタリングされた画像３５０を生成するために、染色された膜区域を含むバイオマーカ染色された画像２３０に適用される。図８Ａを参照すると、その図８Ａは、図４の染色された画像４００の部分を形成するＲＯＩ４１０の拡大図を例解する。図８Ｂは、ＲＯＩ４１０の、そのＲＯＩ４１０がＤｏＧフィルタ２４０によりフィルタリングされた後の拡大図４１２を例解する。同様に、及び、図９Ａを参照すると、その図９Ａは、図５の染色された画像５００の部分を形成するＲＯＩ５１０の拡大図を例解する。図９Ｂは、ＲＯＩ５１０の、そのＲＯＩ５１０がＤｏＧフィルタ２４０によりフィルタリングされた後の拡大図５１２を例解する。ＤｏＧフィルタ２４０を使用して、染色された画像２３０をフィルタリングすることに対する理由のうちの１つは、ＤｏＧフィルタ２４０は、サブ領域８１０（図８Ｂ）及び９１０（図９Ｂ）などの、認識可能なパターン化された膜構造を包囲し得る特定のサブ領域の強度を強化する助けとなるからということである。

[0074]これらのサブ領域、例えば８１０、９１０の強度強化が完了されると、Ｏｔｓｕしきい値処理モジュール２６０（図２）などのしきい値処理モジュールが、作業フロー３００（図３）のステップ３６０において、膜マスク画像２７０（図２、３）を生成することにより、膜構造のわずかな染色細部をさらに強化するために、フィルタリングされた画像３５０（図３）に適用され得る。画像処理において、Ｏｔｓｕしきい値処理方法は、グレーレベル画像を２進画像に直すことにより、クラスタリングベースの画像しきい値処理を自動的に遂行するために使用され得る。図８Ｃは、膜マスク画像２７０の創出と同時的に生成されるＲＯＩ４１２の拡大図４１４を例解する。図８ＢのフィルタリングされたＲＯＩ４１２、及び、膜マスク画像２７０（図８Ｃ）のＲＯＩ４１４の視覚比較は、マスク画像２７０の中の膜特徴の強化された視覚外観を明確に示す。

[0075]図８Ｃは、前景（白色）、及び、より大きいブロブ（又はブロブ対象）８３０を明確に描くために、サブ領域８１０の拡大図をさらに例解し、それらのブロブ８３０の色は、より良好な例解のために、白から、より濃い、より可視の色に変化させられている。この個別の例において、サブ領域８１０は、大きいサイズのブロブ８３０から形成された、全体的に楕円形に形状設定された膜により取り囲まれる核８４０を伴う単一の細胞を表す。同様に、図９Ｃは、前景（白色）、及び、より小さいブロブ（又はブロブ対象）９３０を明確に描くために、サブ領域９１０の拡大図を例解し、それらのブロブ９３０の色は、より良好な例解のために、白から、より濃い、より可視の色に変化させられている。この個別の例において、サブ領域９１０は、小さいサイズのブロブ９３０から形成された、全体的に点状の形状設定された膜により取り囲まれる核９４０を伴う単一の細胞を表す。

[0076]ブロブ対象８３０、９３０をさらに識別及び区別するために、成分細胞分類エンジン１１４（図２）の連結成分ラベリングモジュール２８０などのラベリングモジュールが、作業フロー３００（図３）のステップ３８０において、サブ領域、例えばサブ領域８１０、９１０の中の様々な成分又は特徴を自動的に連結する。一般的に、連結成分ラベリング（さらには、連結成分分析、ブロブ抽出、領域ラベリング、ブロブ発見、又は領域抽出として知られている）は、連結成分のサブセットが、あらかじめ規定された近隣連結性に基づいて一意的にラベリングされる、グラフ理論のアルゴリズム的応用例である。その連結成分ラベリングは、頑強に、連結を断たれた（又は、点状の）膜を検出し、連結された楕円形の（全体的に閉じた）膜構造から分離するために、画像をスキャンし、連結された画素領域、すなわち、強度値の同じセットを共有する近接する画素の領域を識別することにより作業する。ブロブ抽出は、全体的に、ステップ３８０において、しきい値処理ステップ３６０（図３）から結果的に生じる２進膜マスク画像２７０に関して遂行される。

[0077]連結成分ラベリングステップ３８０の結果として、膜ブロブ対象（又はブロブ）２９０が、計数され、フィルタリングされ、追跡され、処理され、又は、他の形で抽出され得る。図３は、それぞれ、連結されたブロブ８３０及び点状ブロブ９３０を伴う、細胞８１０、９１０を取り囲む２つの例示的なサブ領域を例解する。

[0078]楕円形膜染色パターン８３０（図８Ｃ）と、点状膜染色パターン９３０（図９Ｃ）などの他の膜染色パターンとの間の判別をさらに改善するために、細胞を分類するとき、細胞分類エンジン１１４は、作業フロー３００（図３）のステップ３９０において、あらゆる検出される細胞に対する膜ブロブ対象８３０、９３０に関係付けられる統計値（さらには本明細書において膜特徴と称される）２９５を計算する。膜特徴２９５、及び、細胞の関連付けられる視覚表現は、細胞を識別することにおいての一助としての将来の使用のために訓練データベース１６０内に記憶される。

[0079]この目的のために、細胞核８４０（図８Ｃ）又は細胞核９４０（図９Ｃ）を与えられると、細胞分類エンジン１１４は、減少する半径ｒ１＜ｒ２＜…ｒｎを伴う、異なる同心円形近隣領域Ｒ１、Ｒ２、…、Ｒｎ（一括してＲと称される）を考慮する。円形領域の中の各々の近隣領域Ｒに対して、細胞分類エンジン１１４は、後に続く特徴を計算する。
・近隣領域Ｒの中に収まる膜ブロブ対象８３０、９３０の平均サイズ。膜ブロブ対象８３０からなる楕円形パターン内のブロブサイズは、点状パターン内のブロブ対象９３０より大きいということが予想される。
・近隣領域Ｒの中に収まるブロブ対象８３０の数。点状パターン内のブロブ対象９３０より少ない、楕円形パターン内のブロブ対象８３０が存するということが予想される。
・ブロブ対象８３０、９３０の画素の（膜染料画像に関して計算される）平均強度値。点状パターンの中のブロブ対象９３０の画素強度は、楕円形パターンの中のブロブ対象８３０の画素強度より強いということが予想される。点状パターンは通常、濃い茶色小点を内包し、一方で楕円形パターンは、わずかな茶色染色領域を内包し得る。
・核８４０、９４０の周囲の染料の分布。この特徴を計算するために、近隣Ｒが、例えば、各々が１０度の角度の中にある３６個の円錐形領域に分けられ得る。次に、何らかのブロブ対象８３０、９３０を内包する円錐形領域の数が、計数され、核８４０、９４０の周囲の染料分布を説明するための特徴として使用される。楕円形パターンに対して、ブロブ対象８３０を内包する円錐形領域の数は、点状パターンの中のその数より大きいということが予想される。

[0080]本明細書において説明されるフローチャートの各々において、方法のうちの１つ又は複数は、コンピュータ可読コードを内包するコンピュータ可読媒体の形で実施され得るものであり、そのことによって、一連のステップは、コンピュータ可読コードがコンピューティングデバイス上で実行されるときに遂行される。一部の実現形態において、方法の所定のステップは、本発明の趣旨及び範囲から外れることなく、組み合わされる、同時に、もしくは異なる順序で遂行される、又は、ことによると省略される。かくして、方法ステップは、個別のシーケンスで説明及び例解されるが、ステップの特定のシーケンスの使用は、本発明に関して何らかの制限を含意することの意味をもたされるものではない。変更が、本発明の趣旨又は範囲から逸脱することなく、ステップのシーケンスに関して為され得る。個別のシーケンスの使用は、それゆえに、制限的な意味で解されるべきではなく、本発明の範囲は、添付される特許請求の範囲によってのみで定義される。

[0081]当業者により察知されるであろうが、本発明の態様は、システム、方法、又はコンピュータプログラム製品として実施され得る。よって、本発明の態様は、完全にハードウェア実施形態、完全にソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコード、その他を含む）、又は、ソフトウェア及びハードウェア態様を組み合わせる実施形態の形式をとり得るものであり、それらの実施形態は、すべて一般的に、本明細書において「回路」、「モジュール」、又は「システム」と称され得る。さらにまた、本発明の態様は、そこにおいて実施されるコンピュータ可読プログラムコードを有する１つ又は複数のコンピュータ可読媒体の形で実施されるコンピュータプログラム製品の形式をとり得る。

[0082]さらに察知されるであろうが、本発明の実施形態においてのプロセスは、ソフトウェア、ファームウェア、又はハードウェアの任意の組合せを使用して実現され得る。ソフトウェアの形で本発明を実践することに対する予備的ステップとして、プログラミングコード（ソフトウェアであろうとファームウェアであろうと）は、典型的には、例えば、電子、磁気、光学、電磁、赤外、もしくは半導体の、システム、装置、もしくはデバイス、又は、前述のものの任意の適した組合せの、ただしそれらに制限されない、１つ又は複数のコンピュータ可読記憶媒体内に記憶されることになる。コンピュータ可読記憶媒体のより具体的な例（非網羅的な列挙）は、後に続くもの：１つもしくは複数の電線を有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又は、前述のものの任意の適した組合せを含むことになる。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、もしくはデバイスによる、又は、それらと接続しての使用のためのプログラムを、内包又は記憶することができる、任意の有形媒体であり得る。

[0083]プログラミングコードを内包する製造品は、記憶デバイスから直接的にコードを実行することによって、記憶デバイスからハードディスク、ＲＡＭ、その他などの別の記憶デバイス内へとコードをコピーすることによって、又は、デジタル及びアナログ通信リンクなどの伝送タイプ媒体を使用して遠隔実行のためのコードを伝送することによってのいずれかで使用される。本発明の方法は、本発明によるコードを内包する１つ又は複数の機械可読記憶デバイスを、適切な処理ハードウェアと組み合わせて、それらのデバイスに内包されるコードを実行することにより実践され得る。本発明を実践するための装置は、本発明によってコード化されたプログラムを内包する、又は、それらのプログラムへのネットワークアクセスを有する、１つ又は複数の処理デバイス及び記憶システムであり得る。

[0084]コンピュータ可読信号媒体は、例えばベースバンド内で、又は、搬送波の部分として、中で実施されるコンピュータ可読プログラムコードを伴う、伝搬させられるデータ信号を含み得る。そのような伝搬させられる信号は、電磁、光学、又は、それらの任意の適した組合せを含むが、それらに制限されない、種々の形式の任意のものをとり得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではない、及び、命令実行システム、装置、もしくはデバイスによる、又は、それらと接続しての使用のためのプログラムを、伝達する、伝搬させる、又は移送することができる、任意のコンピュータ可読媒体であり得る。

[0085]コンピュータ可読媒体上で実施されるプログラムコードは、ワイヤレス、ワイヤライン、光学ファイバケーブル、Ｒ．Ｆ、その他、又は、前述のものの任意の適した組合せを含むが、それらに制限されない、任意の適切な媒体を使用して伝送され得る。本発明の態様のための動作を履行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋、又は同類のものなどのオブジェクト指向プログラミング言語、及び、「Ｃ」プログラミング言語又は同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つ又は複数のプログラミング言語の任意の組合せの形で書き表され得る。プログラムコードは、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアローンソフトウェアパッケージとして、部分的にユーザのコンピュータ上、及び、部分的にリモートコンピュータ上で、又は、完全にリモートコンピュータもしくはサーバ上で実行し得る。後の方のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）もしくはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通してユーザのコンピュータに接続され得るものであり、又は、接続は、外部コンピュータに対して（例えば、インターネットサービスプロバイダを使用してインターネットを通して）為され得る。

[0086]画像分析システムの実施形態によれば、クラスラベルは、組織画像内の特性付けられる対象に関係付けられる統計値を内包する。
[0087]本明細書において開示される実施形態によれば、画像分析システムは、分類された細胞の出力されたクラスラベルを記憶するための記憶機構をさらに備える。

[0088]かくして、本発明の例解的な実施形態は、インストールされる（又は実行される）ソフトウェアを伴う、十二分に機能的なコンピュータ（サーバ）システムの文脈において説明されるが、当業者は、本発明の例解的な実施形態のソフトウェア態様が、種々の形式でのプログラム製品として配布される能力があるということ、及び、本発明の例解的な実施形態が、配布を実際に履行するために使用される媒体の個別のタイプに関係なく、等しく適用されるということを察知するであろうということは重要である。

[0089]加えて、本発明は、例示的な実施形態を参照して説明されたが、本発明の範囲から逸脱することなく、様々な変更が為され得るものであり、均等物が、それらの実施形態の要素に対して代用され得るということが、当業者により理解されるであろう。さらにまた、多くの変更が、本発明の本質的な範囲から逸脱することなく、個別のシステム、デバイス、又は、それらの構成要素を、本発明の教示に適合させるために為され得る。それゆえに、本発明は、本発明を履行するために開示される個別の実施形態に制限されないということ、ただし、本発明は、添付される特許請求の範囲の、範囲の中に該当するすべての実施形態を含むことになるということが意図される。

[0090]本明細書において使用される際、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈が別段に明確に指示しない限り、複数形もまた含むことを意図される。用語「備える・含む（３人称単数現在形）」及び／又は「備える・含む（現在分詞）」は、本明細書において使用されるとき、説述される特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ又は複数の、他の特徴、整数、ステップ、動作、要素、構成要素、及び／又は、それらの群の、存在又は追加を排除しないということが、さらに理解されるであろう。なおまた、用語、第１の、第２の、その他の使用は、何らかの順序又は重要性を表象するものではなく、むしろ、用語、第１の、第２の、その他は、１つの要素を別のものと区別するために使用される。加えて、「ａ」、「ｂ」、「ｃ」、「第１の」、「第２の」、及び「第３の」などの列挙する用語は、説明の目的のために、本明細書において、及び、添付される特許請求の範囲において使用されるものであり、相対的な重要性又は有意性を、指示又は含意することは意図されない。

[0091]下記の特許請求の範囲においての、対応する構造、材料、行為、及び、すべてのミーンズ又はステッププラスファンクション要素の均等物は、具体的に請求されるように、他の請求される要素と組み合わせて機能を遂行するための任意の構造、材料、又は行為を含むことを意図される。本発明の説明は、例解及び説明の目的のために提示されたが、網羅的であること、又は、開示される形式での本発明に制限されることは意図されない。多くの変更及び変形が、本発明の範囲及び趣旨から逸脱することなく、当業者には明白であろう。実施形態は、本発明の原理及び実践的な用途を最も良好に解説するために、並びに、他の当業者が、思索される個別の使用に適するような様々な変更を伴う様々な実施形態のために本発明を理解することを可能にするために、選定及び説明されたものである。

Claims (11)

1. 組織画像内で細胞を分類するための方法であって、
   前記組織画像に１つ又は複数の前処理操作を適用して、膜マスク画像を生成するステップと、
   前記膜マスク画像において、
   前記組織画像のうちの類似する画素強度値に対応する近接する画素領域のセットを識別すること、
   前記近接する画素領域のセットが連結されており、それにより特定の膜パターンをまとめて描くと決定すること、及び
   前記近接する画素領域のセットを別の近接する画素領域のセットから区別すること
   によって、画像オブジェクトを検出するステップと、
   前記膜マスク画像内の前記画像オブジェクトを特性付ける少なくとも１つの画像特徴を抽出するステップであって、前記少なくとも１つの画像特徴は、前記画像オブジェクトのサイズ又は前記画像オブジェクトに対応する画素強度値を識別する、ステップと、
   前記少なくとも１つの画像特徴に基づいて、前記画像オブジェクトを細胞のタイプに関連付けられるものとして分類するステップと、
   前記細胞のタイプを識別するクラスラベルを出力するステップと
   を含む、方法。
2. 前記画像オブジェクトの出力されたクラスラベルを記憶するステップをさらに含む、請求項１に記載の方法。
3. 前記少なくとも１つの画像特徴は、前記画像オブジェクトに対応する統計値を内包する、請求項２に記載の方法。
4. 前記１つ又は複数の前処理操作を適用することは、前記組織画像にカラーデコンボリューション操作を適用して、前記組織画像から少なくとも２つの別個の画像を生成することを含み、前記少なくとも２つの別個の画像の各々は区別可能なカラーチャネルに対応する、請求項１から３のいずれか一項に記載の方法。
5. 前記少なくとも２つの別個の画像は、膜染色された組織画像、及び、対比染色された画像を含み、前記膜染色された組織画像は前記膜マスク画像を生成するために使用される、請求項４に記載の方法。
6. 前記１つ又は複数の前処理操作を適用することは、Ｇａｕｓｓｉａｎ差分フィルタを、フィルタリングされた画像を生成するために、前記膜染色された組織画像に適用するステップを含む、請求項５に記載の方法。
7. 前記１つ又は複数の前処理操作を適用することは、前記膜マスク画像を生成するために、前記フィルタリングされた画像にＯｔｓｕしきい値操作を適用するステップを含む、請求項６に記載の方法。
8. 前記画像オブジェクトを分類するステップは、前記画像オブジェクトのサイズ又は前記画像オブジェクトに対応する画素強度値を計算するステップを含む、請求項１に記載の方法。
9. 前記近接する画素領域のセットを別の近接する画素領域のセットから区別することは、楕円形膜染色パターンと、点状膜染色パターンとの間で判別するステップを含む、請求項１に記載の方法。
10. 組織画像内で細胞を分類するための画像分析システム（１００）であって、
    前記組織画像に１つ又は複数の前処理操作を適用して、膜マスク画像を生成するための、しきい値処理モジュール（２６０）と、
    前記膜マスク画像において、
    前記組織画像のうちの類似する画素強度値に対応する近接する画素領域のセットを識別すること、
    前記近接する画素領域のセットが連結されており、それにより特定の膜パターンをまとめて描くと決定すること、及び
    前記近接する画素領域のセットを別の近接する画素領域のセットから区別すること
    によって、画像オブジェクトを検出するための、連結成分ラベリングモジュール（２８０）と
    を含む、細胞分類エンジン（１１４）を備え、
    前記細胞分類エンジン（１１４）は、
    前記膜マスク画像内の前記画像オブジェクトを特性付ける少なくとも１つの画像特徴を抽出し、前記少なくとも１つの画像特徴は、前記画像オブジェクトのサイズ又は前記画像オブジェクトに対応する画素強度値を識別し、
    前記抽出された画像特徴に基づいて、前記画像オブジェクトを細胞のタイプに関連付けられるものとして分類し、
    前記細胞のタイプを識別するクラスラベルを出力する、画像分析システム（１００）。
11. １つ又は複数のプロセッサにより実行されるとき、前記１つ又は複数のプロセッサに、請求項１から９のいずれか一項に記載の方法を遂行させる命令を含む非一時的コンピュータ可読媒体。

Images