JP6816196B2

JP6816196B2 - 包括的なマルチアッセイ組織分析のためのシステムおよび方法

Info

Publication number: JP6816196B2
Application number: JP2019072669A
Authority: JP
Inventors: ブレドノ，イェルク; チュッカ，スリニヴァス; サーカー，アニンディア
Original assignee: ベンタナメディカルシステムズ，インコーポレイテッド
Priority date: 2013-10-07
Filing date: 2019-04-05
Publication date: 2021-01-20
Anticipated expiration: 2034-10-06
Also published as: EP3055835A1; JP2019179030A; US10650221B2; WO2015052128A1; JP2021063819A; US20160321495A1; JP2023002524A; JP7146886B2; AU2014333927A1; EP3055835B1; JP2016541039A; CA2921325C; JP7425145B2; CA2921325A1

Description

本開示は、医療診断のための画像化に関する。より詳細には、本開示は、包括的なマルチアッセイ組織分析に関する。

組織片、血液、細胞培養などの生物標本の分析において、生物標本は、スライド上に実装され、染色（ｓｔａｉｎ）とバイオマーカの１つまたは複数の組合せで染色され、結果として得られるアッセイがさらなる分析のために閲覧または画像化される。アッセイを観察することが、疾患の診断、処置への応答の評価、および疾患と闘うための新しい薬の開発を含む、様々なプロセスを可能にする。Ｈ＆Ｅアッセイは、組織の解剖学的情報（細胞核およびタンパク質）を識別する２つの染色（それぞれ、ヘマトキシリンおよびエオシン）を含む。特殊な染色アッセイは、組織中のターゲット物質を、それらの化学的性質、生物学的性質、または病理学的性質に基づいて識別する。免疫組織化学（ＩＨＣ）アッセイは、以降ではターゲットと呼ばれる、標本中の対象のタンパク質、タンパク質断片、または他の構造に結合する抗体と共役される１つまたは複数の染色を含む。標本中のターゲットを染色と結合する抗体、他の化合物、または物質は、この本開示では、バイオマーカと呼ばれる。Ｈ＆Ｅまたは特殊な染色アッセイでは、バイオマーカは、染色（例えば、しばしば使用される対比染色ヘマトキシリン）と固定の関係を有する一方、ＩＨＣアッセイでは、染色の選択は、新しいアッセイを現像して作り出すためのバイオマーカについて使用され得る。被験者からの組織片などの生物標本は、画像化の前にアッセイにしたがい準備される。組織に単一光源、一連の複数の光源、または入力スペクトルの任意の他の発生源を用いる際に、アッセイが、観察者により、典型的には顕微鏡を通して評価され得、または画像データがさらなる処理のためにアッセイから獲得され得る。そのような獲得において、画像データの複数のチャネル、例えば色チャネルが導出され、各観察されるチャネルは、複数の信号の混合物を含む。この画像データの処理は、画像データの観察される１つのチャネルまたは複数のチャネルから特定の染色の局所的な濃度を決定するために使用される、色分離、スペクトル逆混合、色デコンボリューションなどの方法を含むことができる。自動化された方法により処理され、ディスプレイ上に描かれる画像データについて、または観察者により閲覧されるアッセイについて、染色された組織の局所的な出現と適用された染色およびバイオマーカとの間で関係が決定され、染色された組織中のバイオマーカ分布のモデルを決定することができる。

しかし、従来技術は、特に、組織標本についての状況情報、解剖学的詳細情報、および共設情報が分析に関係する場合に、複数のアッセイ中の複数のバイオマーカを問い合わせるための効果的な方法またはシステムを開示しない。代表例は、腫瘍の不均一性の場合であり、ここでは、様々な理由に起因して、１つまたは複数の癌性の腺が、発症されまたは増殖され得る。言い換えれば、癌は多疾患状態であることが知られてきており、腫瘍は複数の理由で癌に成長する可能性がある。腫瘍腺を含む外科的に摘出された組織ブロックについて、標本から問い合わせされた対象項目は、どの治療が可能性がある、または有望であるのかを示すことができる。巨視的な組織情報と微視的解剖学的決定の組合せが、バイオマーカを分析する前に要求され得る。対象の細胞は、例えば、腫瘍細胞、正常組織上皮、間質細胞、血管細胞、および免疫細胞を含む。多数の免疫細胞および免疫細胞分化が、包括的な免疫アッセイについて問い合わせを受ける必要がある可能性がある。例えば、腫瘍微小環境評価を実施するとき、腫瘍中および腫瘍の周りに異なる細胞および異なる細胞分化の存在を示す異なるバイオマーカが知られている。腫瘍の左半分が、右半分と異なる遺伝子構造を有する可能性がある。乳癌患者について、標準的な胸のパネルは、エストロゲン／プロゲステロン受容体、増殖マーカなどを含むアッセイで染色されたスライドを含む。異なる解剖学的領域に分離される、例えば遺伝子またはタンパク質の表現といった異なる表現を用いる、組織中の異なる細胞および／または腫瘍細胞の位置と強度の組合せが、一般的および治療に応じた患者の予後を示すことになる。

多重化ＩＨＣ染色のための本方法は、同じ組織内の染色の存在および共設を決定する豊富な入力を提供するための、蛍光または明視野マルチスペクトル撮像素子で画像化するステップを含む。しかし、そのようなアッセイは、容易には利用可能でない。というのは、そのようなアッセイは、非標準的な染色および画像化技法および装置を必要とするからである。問い合わせを受けるバイオマーカの数の増加が、分析をさらに複雑にする。腫瘍微小環境中の細胞および細胞分化の各々ならびに解剖学的構造自体を識別するため、複数のアッセイまたは染色が必要とされる。その上、複数の入力画像上の、組織の同じ領域の手動外形図化は、労働集約的で、退屈であり、間違いを生じやすく、したがって商業的に実行可能と考えられない。したがって、今日の分析は、単一のスライド上で問い合わせを受ける１つもしくは少数のバイオマーカ、または同じ組織から取られた複数のスライド上の複数のマーカに限定される。一般的に、解剖学的状況の定性的または視覚的割当ては、しばしば、このステップを両方のスライド上で繰り返さなければならない観察者に負わされる。しかし、個々の結果を単に見ることでは、腫瘍の全ての部分をターゲットにしない治療選択をもたらすことになる。というのは、これは、腫瘍中のバイオマーカ分布の不均一な領域的な違いまたは解剖学的違いを反映しない可能性があるからである。

本開示は、これら従来技術における上に識別された問題を、複数のアッセイ情報ならびに１つまたは複数の対象の特徴についての問い合わせ（ｑｕｅｒｙ）を受け取り、分析のために好適である特徴を位置決めするまたは決定するために、例えば、解剖学的アッセイと共通に位置合わせされる免疫組織化学（ＩＨＣ）アッセイといった染色アッセイの画像上に、解剖学的アッセイからの解剖学的情報を投影するためのシステムおよび方法を提示することによって解消する。解剖学的情報は、１つまたは複数の共通に位置合わせされる染色アッセイまたはＩＨＣアッセイ上に投影されるマスクを生成するために使用され得る。ＩＨＣアッセイ中の対象の特徴の位置は、マスクにより提供される解剖学的状況と関係付けられて、解剖学的マスクと一致する任意の対象の特徴が、分析のために選択されまたは適切に示され得る。さらに、解剖学的マスクは、複数の領域へと区分化され得、複数のＩＨＣアッセイからの複数の対象の特徴は、個々に、これらの領域の各々と関係付けられ得る。したがって、開示されるシステムおよび方法は、包括的なマルチアッセイ分析のための、系統的、定量的、および直観的な手法を提供し、そのことにより、現況技術の、限定的でその場限りの、または主観的な視覚分析ステップを克服する。

本開示の例示的な実施形態にしたがう、複数のアッセイを分析するためのシステムを示す図である。本開示の例示的な実施形態にしたがう、組織標本の複数のスライドを備えるアッセイパネルを示す図である。本開示の例示的な実施形態にしたがう、複数のアッセイを分析するための方法を示す図である。本開示の例示的な実施形態にしたがう、複数のアッセイを分析するための方法を示す図である。本開示の例示的な実施形態にしたがう、アッセイパネル中のスライドの配置を示す図である。本開示の例示的な実施形態にしたがう、アッセイパネル中のスライドの配置を示す図である。本開示の例示的な実施形態にしたがう、アッセイパネル中のスライドの配置を示す図である。この開示にしたがう、画像分析ソフトウェアプログラムにより実行される方法の実施形態を図示する流れ図である。この開示にしたがう、画像分析ソフトウェアプログラムの部分であってよい、粗い位置合わせプロセスの実施形態の基本ステップを図示する図である。図６の粗い位置合わせプロセスの実施形態の基本ステップのうちの１つの、さらなる詳細を図示する図である。ＨＥ画像を図示する図である。図８Ａに対応する、ソフトに重み付けされたフォアグラウンド画像を図示する図である。ＨＥ画像および、それに対応する、ソフトに重み付けされたフォアグラウンド画像を図示する図である。図８のＨチャネル画像についての、図７のソフトに重み付けするプロセスの実施形態を図示する図である。ＩＨＣ画像を図示する図である。ＩＨＣ画像に対応する、ソフトに重み付けされたフォアグラウンド画像を図示する図である。図６の粗い位置合わせプロセスの実施形態の基本ステップのうちの１つの詳細を示す図である。図１０のＩＨＣ画像についての、図７のソフトに重み付けするプロセスの実施形態を図示する図である。図１２Ａは、ソフトに重み付けされたフォアグラウンドＨＥ画像およびその対応するエッジマップを図示する図である。図１２Ｂは、ソフトに重み付けされたフォアグラウンドＩＨＣ画像およびその対応するエッジマップを図示する図である。変換されたＨＥエッジマップを図示する図である。８つの変換条件の各々に関係する、Ｃｈａｍｆｅｒ距離（Ｃｈａｍｆｅｒｄｉｓｔａｎｃｅ）値のグラフの例を示す図である。図１５Ａは、本開示の実施形態にしたがい計算されたグローバル変換パラメータを使用する共通グリッド上に整合されたＨＥ画像を図示する図である。図１５Ｂは、本開示の実施形態にしたがい計算されたグローバル変換パラメータを使用する共通グリッド上に位置合わせされたＩＨＣ画像を図示する図である。この開示にしたがう粗い位置合わせプロセスのみの後の、第１の画像から第２の画像へ、注釈をマッピングした結果を図示する図である。この開示にしたがう精密な位置合わせプロセスの実施形態の最初のステップを図示する図である。図１７の精密な位置合わせプロセスの追加ステップを図示する図である。

以下の詳細な記載は、包括的なマルチアッセイ分析のためのいくつかの例示的な実施形態を提示する。コンピュータ可読媒体と組み合わせたコンピュータプロセッサが、複数のアッセイ情報ならびに対象の１つまたは複数の特徴についての問い合わせを受け取るステップと、分析のために好適である特徴を位置決めするまたは決定するために、例えば免疫組織化学（ＩＨＣ）アッセイまたは解剖学的アッセイと共通に位置合わせされる特殊な染色アッセイといった染色アッセイ上に、解剖学的アッセイからの解剖学的情報を投影するステップとを含む動作を実施するように構成される。解剖学的情報は、問い合わせ中で識別される対象の特徴に応じて、１つもしくは複数のＩＨＣまたは特殊な染色アッセイに適用される、または投影されるマスクを生成するために使用され得る。さらに、問い合わせ中に識別された複数のスライドからの対象の特徴は、このマスク、またはマスクが生成された解剖学的スライド上に投影され得る。本開示は、Ｈ＆Ｅ、特殊な染色、ＩＨＣ、または対象の特徴と結合する物質もしくは化合物の任意の適用を含む全ての染色技法、およびそれが顕微鏡下でどのように現れるのかに対して適用可能である。染色および／またはアッセイのうちの任意の１つまたは複数により生成される情報は、マスクとして使用され得る。発明は、ＩＨＣアッセイに関して記載されるが、これは例示のためである。本発明は、単にＩＨＣアッセイではなく、染色アッセイにより幅広く適用する。生物学的対象物の特徴が多数の異なる染色技法で識別され得ることは、当業者に理解されよう。

各アッセイ用のスライドは、分析される組織標本の隣接する切片を備える。解剖学的アッセイとＩＨＣアッセイとの間の共通の位置合わせは、両方のアッセイ中の共通の空間的特徴を検出することにより達成され得る。その後、例えば、組織の解剖学的構造の領域もしくは微視的解剖学的特徴についての解剖学的情報、またはこのスライドおよび／もしくは他のスライド上で分析され得る組織中の位置についての情報といった情報を含むマスクが生成され得る。マスクは、巨視的特徴として腫瘍および正常組織の識別情報、ならびに微視的特徴として腫瘍腺および腫瘍内結合組織（間質）の識別情報を含むことができる。腫瘍腺または腫瘍中の他の微視的解剖学的領域は、微視的解剖学的アッセイにより識別されるように、例えば高度に増殖性、または高度に壊死性の領域といった、腫瘍特性により規定され得る。巨視的もしくは微視的な解剖学的特徴は、１つより多い解剖学的アッセイにより決定され得、またはユーザインターフェイスを介して代替または追加として指定され得る。ＩＨＣアッセイ中の対象の特徴の位置は、ＩＨＣアッセイ上へのマスクの適用もしくは投影、またはマスク上へのＩＨＣアッセイの投影に基づいて、解剖学的または微視的解剖学的特徴と関係付けられ得る。投影は、識別された領域についての情報を層として別のスライド上に転写することを含む。マスクの層は、「侵襲性」、「腫瘍の中心」、「個々の腫瘍腺」、「高度に増殖性」、「結合組織」などのラベルの形で、解剖学的構造の領域識別情報を含むことができる。

複数のＩＨＣアッセイは、例えば、配置の中央または中央付近といった所定の位置に設置される１つまたは複数の解剖学的アッセイの周りに配置され得る。そのような配置は、ＩＨＣ中のどの特徴が問い合わせを受けているのかに応じた、マスクの効果的な生成および投影を可能にする。例えば、組織標本は、乳癌の診断向けの胸の組織であってよい。組織標本の１つまたは複数のスライドは、１つまたは複数のスライドの巨視的および微視的な解剖学的特徴を識別するために使用されるヘマトキシリン−エオシン（Ｈ＆Ｅ）アッセイで染色され得る。元の組織試料に隣接する、または近接した近くの組織試料からの、同じ組織標本もしくはスライドからの隣接スライドは、対象の特定の細胞または特徴を識別することを意図されるＩＨＣアッセイで染色され得る。隣接スライドという用語が、同じ組織試料、身体の部分、または身体の部分の複合物からのスライドのことをいうことができることを、当業者には理解されたい。例えば、解剖学的特徴が腫瘍であり、微視的解剖学的特徴は、腫瘍マーカまたは腫瘍の領域であってよい。領域は、インターフェイスを介したユーザ選択可能であってよく、または領域は、スライド上で識別されるバイオマーカに基づいて、システムにより決定されてよい。マスクは、問い合わせに応じて１つまたは複数のＩＨＣスライドに適用され、解剖学的マスクと一致する任意の対象の特徴は、分析のために選択され、または分析に適切であると示され得る。具体的な例が、図面を参照して、下で提供される。さらに、別段の指定がない限り、本開示における「アッセイ」、「画像」、および「スライド」への任意の参照は、互いに交換可能であり得る。というのは、本発明のシステムおよび方法は、スライドおよびアッセイの画像に適用され、結果は、これらの画像およびその中に含まれるアッセイデータの分析に基づいてグラフィカルに描かれ得るからである。

図１は、本開示の例示的な実施形態にしたがう、複数のアッセイを分析するためのシステム１００を示す。システム１００は、ソース１０１、メモリ１１０、プロセッサ１２５
、およびコンピュータ１２０を備える。ソース１０１は、染色プラットフォーム、画像化システム、ユーザインターフェイス、またはこれらの要素のうちの１つまたは複数へのネットワーク接続の任意の組合せであってよい。ソース１０１は、コンピュータ１２０を介してメモリ１１０に複数のアッセイについてのアッセイ情報を送達する。複数のアッセイは、診断または分析されることを意図される元の組織試料に隣接する、または近接した近くの組織試料からの、同じ組織標本またはスライドからの隣接切片またはスライドを表す。典型的な標本は、標本に染色アッセイを適用する、自動染色／アッセイプラットフォーム中で処理され、染色された標本が得られる。染色アッセイは、明視野画像化のための発色性染色、蛍光画像化のための有機蛍光物質、量子ドット、もしくは有機蛍光物質および量子ドットなどの蛍光物質、または染色、バイオマーカ、および視覚デバイスもしくは画像がデバイスの任意の他の組合せを使用することができる。アッセイの選択は、目下の問題に依存し、腫瘍および／または腫瘍の領域または腫瘍の周りの領域中の他の細胞などの解剖学的特徴を強調するように選択され得る。市場には、染色／アッセイプラットフォームとして使用するのに好適な、様々な市販製品がある。例は、譲受人、ＶｅｎｔａｎａＭｅｄｉｃａｌＳｙｓｔｅｍｓ，Ｉｎｃ．のＤＩＳＣＯＶＥＲＹ（商標）ＸＴバイオマーカプラットフォームおよびＢｅｎｃｈＭａｒｋ（商標）ＵＬＴＲＡＩＨＣ／ＩＳＨスライド染色製品である。染色された組織は、観察者により評価される、または例えば顕微鏡または顕微鏡および／もしくは画像化構成要素を有する全スライドスキャナ上の画像化システムに提供され得る。画像化システムは、例えば、アッセイに適用された染色およびバイオマーカから蛍光反応を作り出すように意図される波長で標本を照射するため、または、染色された組織を通した光の透過のため、光源を含む。画像化システムは、デジタル画像をキャプチャするため、例えばＣＣＤもしくはＣＭＯＳセンサまたはスペクトルカメラといったカメラもしくは検出器をさらに含むことができる。画像化システムは、観察者により閲覧するための、接眼鏡またはディスプレイをやはりさらに含むことができる。そのようなカメラの１つの例は、譲受人、ＶｅｎｔａｎａＭｅｄｉｃａｌＳｙｓｔｅｍｓ，Ｉｎｃ．のＶＥＮＴＡＮＡｉＳｃａｎＨＴ（登録商標）製品、または、Ｚｅｉｓｓ、Ｃａｎｏｎ、ＡｐｐｌｉｅｄＳｐｅｃｔｒａｌＩｍａｇｉｎｇなどの会社からのものである。

コンピュータ１２０の内部または外部にあってよい、メモリ１１０は、コンピュータ１２０に結合されるプロセッサ１２５により実行される、複数の処理モジュールまたは論理命令を記憶する。例えば、問い合わせ処理モジュール１１１は、ソース１０１からの複数のアッセイ情報および問い合わせを受け取る。ソース１０１により提供される、またはユーザにより入力される以外に、情報は、記憶およびコンピュータ１２０による後の取り出しのため、ネットワークサーバまたはデータベースにネットワークを介してやはり供給され得る。プロセッサ１２５およびメモリ１１０以外に、コンピュータ１２０は、キーボード、マウス、スタイラス、およびディスプレイ／タッチスクリーンなどのユーザ入出力デバイスをやはり含む。以下の議論で説明されるように、プロセッサ１２５は、アッセイ情報の収集および獲得を実施し、画像データを処理し、入力問い合わせ、定量的分析、およびユーザが操作するコンピュータ１２０への定量的／グラフィカルな結果の表示を処理する、メモリ１１０上に記憶される論理命令を実行する。さらに、本明細書で記載されるように、開示される方法で設計されるアッセイで染色される組織標本は、顕微鏡で閲覧され、または分析のためにスキャンされてコンピュータ１２０もしくは任意の他のコンピューティングデバイス上で閲覧することができる。

上に記載されるように、モジュールは、プロセッサ１２５により実行されるロジックを含む。本明細書およびこの開示を通して使用される「ロジック」とは、プロセッサの動作に影響を及ぼすように適用され得る命令信号および／またはデータの形を有する任意の情報のことをいう。ソフトウェアは、そのようなロジックの一例である。プロセッサの例は、コンピュータプロセッサ（処理ユニット）、マイクロプロセッサ、デジタルシグナルプロセッサ、コントローラ、およびマイクロコントローラなどである。ロジックは、例示的な実施形態で、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能／電気的消去プログラム可能読取り専用メモリ（ＥＰＲＯＭ／ＥＥＰＲＯＭ）、フラッシュメモリなどであってよいメモリ１１０などのコンピュータ可読媒体上に記憶される信号から形成され得る。ロジックは、例えば、論理的ＡＮＤ、ＯＲ、ＸＯＲ、ＮＡＮＤ、ＮＯＲ、および他の論理操作を含むハードウェア回路といった、デジタルおよび／またはアナログハードウェア回路をやはり含み得る。ロジックは、ソフトウェアとハードウェアの組合せから形成され得る。ネットワーク上で、ロジックは、サーバまたはサーバの複合体上にプログラムされ得る。具体的なロジックユニットは、ネットワーク上の単一の論理位置に制限されない。

上に述べたように、問い合わせ処理モジュール１１１は、複数のアッセイ情報およびソース１０１からの問い合わせを受け取る。アッセイ情報および問い合わせは、ユーザインターフェイス、データベース、またはこれらの任意の組合せから、別個にまたは同時に受信され得る。アッセイ情報は、例えば、パネル中の各アッセイの識別情報、組織タイプ、染色およびバイオマーカ識別子を含むアッセイ特性、診断されることが意図される組織および／または関連するバイオマーカ内の対象の特徴、染色プロセスの制御パラメータ、色素の存在、ならびに他の物理的、形態的、または生理学的情報を含むことができる。染色プロセスについての情報は、ソース１０１に結合されるまたはソース１０１と通信する、染色および／または画像化プラットフォームの識別情報をさらに含むことができる。例えば、上に記載されたように、標本は、明視野画像化のための発色性染色および／または蛍光画像化のための蛍光物質に関連する１つまたは複数の異なるバイオマーカを含む染色アッセイの適用によって染色される必要がある場合がある。アッセイは、ソース１０１により提供される問い合わせ中の診断または分析のタイプについて最適化され得る。例えば、一定の対比染色は、ソース１０１により提供されるアッセイパネルによって含まれるアッセイの選択に普遍的に適用され得る。

解剖学的検出モジュール１１２は、アッセイの画像から解剖学的情報を取り出すため実行される。パネル中のスライドのうちの少なくとも１つは、いくつかの実施形態では巨視的解剖学的アッセイ（ｍａｃｒｏ−ａｎａｔｏｍｉｃａｌａｓｓａｙ）と呼ばれる解剖学的アッセイで、またはスライド中の解剖学的構造または特徴を識別することが意図される染色とバイオマーカの組合せで染色され得る。例えば、Ｈ＆Ｅ染色は、腫瘍、位置、サイズ、ならびに腫瘍の環境中の上皮組織、結合組織、血管、リンパ管、および他のタイプの組織の識別情報および特性などの任意の追加の解剖学的情報を識別するために使用され得る。さらに、組織標本の隣接切片の第２のスライドが染色されて、微視的解剖学的染色、すなわち解剖学的情報が、第１の解剖学的アッセイ中の巨視的解剖学的構造と異なるスケールで検出される。例えば、第２のアッセイは、目下の腫瘍、すなわち腫瘍微小環境の分析可能にする腫瘍マーカなどについての特色を識別するために使用され得る。微視的解剖学的アッセイは、壊死、間質、微小血管、個々の腺などの、腫瘍内の特定の構造の存在をさらに識別することができる。言い換えれば、微視的解剖学的アッセイは、第１の解剖学的アッセイの部分について、追加の詳細を提供する。微視的解剖学的アッセイが使用されるとき、第１の解剖学的アッセイは、典型的には、巨視的解剖学的アッセイと呼ばれる。特定の解剖学的特徴または構造の識別情報は、問い合わせにより、もしくは別個のユーザインターフェイスにより示され得、または自動化され得る。

さらに、同様の解剖学的構造を有するスライドを共通に位置合わせするために、自動化された構造検出が実施され、使用される。そのような位置合わせプロセスは、スライド位置合わせモジュール１１３により実施され得、その内容は、その全体が参照により本明細書に組み込まれ、同一出願人が所有し、同時係属の米国仮特許出願第６１／７８１，００８号にさらに記載される。簡単にいえば、アッセイ／スライドは、グリッド上に配置され、注釈は、組織構造または特徴の一致に基づいて、１つのスライドから別の隣接スライドに転写される。そのような相互画像注釈および組織構造ベースの位置合わせは、本明細書に記載されるように、マスクを生成し解剖学的アッセイに隣接するＩＨＣアッセイを評価するために使用され得る解剖学的基準を提供する。さらに、組織構造および特徴の検出を向上させるため、共通に位置合わせされた画像について、共通の染色が使用され得る。例えば、ヘマトキシリンは、あらゆる細胞核を青にレンダリングし、追加エオシンは、タンパク質を赤で描く。Ｈ＆Ｅ染色に加えて独立した情報を示すために、隣接するＩＨＣスライドに他の染色が追加され得る。各切片は、典型的には単一のスライド上に固定されるが、複数の切片が単一のスライド上に固定され得る。組織標本の隣接切片は、典型的には、約５ミクロン離間し、隣接スライド間の距離は、より短い、またはより長い。

アッセイの画像は、スライド配置モジュール１１４により配置され得、巨視的解剖学的情報および微視的解剖学的情報を提供するのに最適化される任意のスライドは、中央、またはほぼ中央に設置される。これらの両側に、特殊な情報、または腫瘍細胞中の遺伝子もしくはタンパク質発現のため、またはマクロファージの母集団および分集団、リンパ球、微小血管構造などを識別するため、ＩＨＣ染色などの対象の特徴を表すアッセイのサブセットが配置され得る。これは、図２にさらに示されるように、隣接スライドのスタックまたは配置を作り出す。このスタックでは、スライドの順番は、分析される組織ブロックから組織片が切り取られた順番と同じである。組織片は、典型的には、組織ブロックからの連続的な切り取りにより獲得され、スライドのスタック上に実装される。これらのアッセイの内容は、何が問い合わせられているのか、または組織標本上で実施されることが意図される診断もしくは分析のタイプに依存する。スライドの位置合わせは、中央にあるように選択されたスライド、基準スライドまたは基本スライド、すなわち解剖学的スライドであると選択されたスライドに依存する場合がある。組織は一般的に複雑な３Ｄ物体であり、互いに非常に近いセクションから取られたスライドが適度に類似しているので、基準スライドから離れすぎたスライドがないように、基準スライドをスタックの中央の近くに配置することが、解剖学的マスクの適切な位置合わせおよび有用なマッピングを可能にする。結果として、変化する実装位置、方向、組織の変形、部分的な組織のダメージが存在する場合であってさえ、ターゲット領域は、全てのスライド上で位置特定され得る。典型的には、解剖学的構造は、スライド間でわずかに変わることになる。全てのスライドが解剖学的スライドに直接位置合わせされ得、または各スライドがその隣のスライドに位置合わせされ得、位置合わせ結果およびマスクがスライドからスライドに伝播される。位置合わせ結果のこの伝播は、解剖学的スライド上に画定されるマスクを用いて開始することができる。これらは、解剖学的アッセイで染色される組織片の上および下で獲得された組織片を有するスライドへ、両方向に伝播される。伝播は、１つの共通の解剖学的スライドへと伝播される、例えばＩＨＣスライドといった１つまたは複数のスライド上の特徴を用いて開始することがやはりできる。

マスク生成モジュール１１５は、対象の組織領域、巨視的／微視的構造などを識別および／または画定するために実行され、結果として得られるマスクは、隣接するＩＨＣスライドおよび／または共通の解剖学的スライドへと投影され、解剖学的状況に基づいて対象の特徴を識別する。解剖学的アッセイとＩＨＣアッセイとの間の共通の位置合わせは、両方のアッセイ中の共通の解剖学的特徴を検出することにより達成され得る。マスクは、１つまたは複数の巨視的解剖学的特徴、領域、もしくはそのような特徴が存在するのか存在しないのか、または巨視的解剖学的の微視的解剖学的特徴を含むことができる。マスクは、例えば、染色反応のような局所的な特徴、染色反応のテクスチャ、または複数の染色反応と染色反応のテクスチャの組合せがどこに存在するのか存在しないのかを、スライド上の領域として画定され得る。別の例では、マスクは、スライド上の組織の幾何形状に基づいて画定され得る。例えば、スライドの組織がリンパ節である場合、マスクは、１次リンパ小節、傍皮質領域、胚中心、２次リンパ小節、皮質、またはリンパ節解剖学的構造により画定される他の領域を識別することができる。染色反応、染色反応のテクスチャ、および幾何学的情報は、マスクを作り出すために組み合わされ得る。微視的解剖学的特徴は、第２の解剖学的アッセイにより決定され得る。代替的にまたは組み合わせて、解剖学的領域または微視的解剖学的領域は、ユーザインターフェイスを介して選択および画定され得る。

マスク投影モジュール１１６は、マスクを隣接するＩＨＣアッセイおよび／または共通の解剖学的スライドの画像上に投影して、巨視的解剖学的情報および微視的解剖学的情報を使用してＩＨＣアッセイの特定のサブセットの分析を可能にする。そのような投影は、解剖学的アッセイにより提供される解剖学的状況に照らして、かつ他のＩＨＣアッセイとの空間的関係について、ＩＨＣアッセイ中の特定の対象の特徴を描く。特徴検出モジュール１１７は、問い合わせ、ならびに目下のＩＨＣアッセイ中のそれらの位置に基づいて、ＩＨＣアッセイの画像中の、１つまたは複数の対象の特徴を検出する。特徴相関モジュール１１８は、目下の問い合わせまたは課題に依存して、対象の特徴の位置を、マスクの解剖学的状況または微視的解剖学的状況と関係付ける。例えば、特徴または微視的解剖学的領域の輪郭に入る任意の特徴は、分析のためにマークされ得、マスクと一致しない任意の特徴は、無視される。例として、マスク中の解剖学的情報は、腫瘍、筋肉組織、およびリンパ組織を識別できる。微視的解剖学的情報は、腫瘍中の増殖性の領域、間質領域、および腫瘍中の壊死性の領域をさらに識別することができる。隣接するＩＨＣアッセイは、多数の免疫細胞バイオマーカを取り出すため、問い合わせを受け得る。特徴検出モジュール１１７は、ＩＨＣアッセイを分析し、特徴相関モジュール１１８は、任意の検出されたバイオマーカをマスクにより提供される解剖学的状況と関係付け、（ＩＨＣアッセイにより識別されるような）腫瘍または腫瘍の領域内に存在することが見いだされた特定の免疫細胞を分離／タグ付けする。特徴検出モジュールは、例えば、対象のバイオマーカが核染色であるときは核検出器、対象のバイオマーカが細胞質染色であるときは細胞質検出器、または対象のバイオマーカが膜染色であるときは細胞膜検出器を含むことができる。検出される特徴は、そのような染色された構造の有無、そのような検出された構造の染色反応の強度、テクスチャ、または他の特性であってよい。追加の隣接ＩＨＣスライドで、マスクにより提供される解剖学的状況は、問い合わせに何が含まれるのかに依存して、同じままとなる、またはわずかに変わる場合がある。したがって、異なる分析結果の空間的な関係が、一緒に、腫瘍中のどこにマーカが存在するのかの決定、また特徴検出モジュール１１７により決定されるような、マーカ存在の強度、形状および／またはテクスチャのような特徴の決定を可能にし、診断または予後診断をする前に多面的な観点を可能にする。さらに、この空間的な関係および特徴の相関は、実施される診断のタイプに依存して、マーカのサブセットに適用され得る。そのような自動化された検出、位置合わせ、および相関が、上に明確化された手動の手法の問題を解消する。加えて、抽出された特徴に基づいて、予め規定されたモデル、または学習されたモデルは、様々な画像構造を細胞、腺などと解釈するため、かつ画像中に存在する巨視的解剖学的情報および微視的解剖学的情報の様々なユニットの自動的な理解を獲得するために、参照され得る。そのような自動的な理解は、複数の位置合わせされたスライド（巨視的解剖学的スライドおよび１つまたは複数の微視的解剖学的スライド）からの情報を使用して、またはＩＨＣスライドの分析についてのマスクとしてそのような光景分析の結果を使用して、トップダウンまたはボトムアップで作られ得る。例えば、ボトムアップ手法では、染色反応の有無、染色反応の強度、テクスチャ、または他の特性を含む第１の特徴が、１つまたは複数の位置合わせされたスライドから抽出される。そのような特徴の局所的パターンは、検出方法により解釈され、核、細胞および他の小型生物学的対象物の存在および位置を示す。そのような構造の組織体に関する予め規定されたルール、または学習されたモデルを使用して、対象物は、より大きい対象物へと順にグループ化され得る。例えば、第１のレベルで、核または細胞は、島、陰窩、上皮、または腺に組織化され得る。第２のレベルで、島により囲まれる稠密な近隣中の腺は、その周りに侵襲性マージンを有する固形腫瘍にグループ化され得、または上皮の異なる層および陰窩または腺は、臓器の解剖学的区域へとグループ化され得る。トップダウン手法では、予め規定されたルールまたは学習されたモデルが、大規模な生物学的構造の外観および幾何形状を画定する。ここで、外観は、染色の有無、染色反応の強度、テクスチャ、または他の特性として再び規定され得るが、今度は、より大きい領域用に決定され、任意選択で、より低い倍率で分析される。検出方法は、次いでより小さい対象物へと順に分解される、臓器、腫瘍、または他の生物学的対象物の位置、輪郭、および幾何形状を決定することができる。この分解では、それらの構成物の予め規定されたモデルまたは学習されたモデルを使用して、異なる構造（例えば、陰窩、腺、上皮層など）について異なる検出器が、スライド上の異なる領域に適用され得る。腺、上皮層、陰窩などは、それらが構成するより大きい生物学的構造に割り当てられる、個々の核または細胞へとさらに分解され得る。任意の所与のレベルで、生物学的対象物または生物学的対象物のグループ（例えば、細胞、陰窩、島、腺、上皮層、臓器中の領域）は、特徴相関モジュール１１８が対象の特徴の位置をマスクの解剖学的状況または微視的解剖学的状況と関係付けるために使用することができるマスクを作るために選択され得る。

図２は、本開示の例示的な実施形態にしたがう、組織標本の複数のスライドを備えるアッセイパネルを示す。組織標本２３０は、４つのセクションに切断され、その各々がスライド上に実装される。スライド２３１、２３２、２３３、および２３４は、したがって組織標本２３０の隣接切片を描く。各スライドは、実施される分析に依存して、特定のアッセイで染色され得る。例えば、組織標本２３０は、潜在的な癌患者の生検であってよく、分析は、腫瘍および取り囲む組織の様々な特徴についての特色を決定することになり、医療専門家が正確な診断を行うことを可能にする。そのような場合、スライド２３１は、リンパ球などの免疫細胞を識別するため、適切なバイオマーカで染色され得る。スライド２３２は、筋肉組織、結合組織、およびもちろん診断されることが意図される腫瘍などの、巨視的解剖学的構造および特徴を識別するため、Ｈ＆Ｅアッセイで染色され得る。スライド２３３は、腫瘍マーカなど他のバイオマーカをともに含むアッセイで、同様に染色され得る。スライド２３３は、スライド２３２上で識別された巨視的解剖学的構造に加えて、微視的解剖学的構造を描く画像を生成することが意図され得る。スライド２３４は、例えば、腫瘍に関連するマクロファージを識別することが意図される、別のＩＨＣアッセイで染色され得る。スライド２３１〜２３４は、組織標本２３０の、約５μｍのスライスで実装され、したがって、同一でないとしても同様の解剖学的構造を含むことができる。従来技術では、各アッセイを独立に、または最良でも定性的な解剖学的状況で評価することになる一方で、本明細書に記載され、開示される位置合わせ、マスク投影、および特徴相関方法は、これらおよびより複雑な分析を可能にする。例えば、単一の解剖学的スライドは、組織標本の、複数の豊富な複合アッセイについて、またはいくつかの独立して染色されたアッセイについての解剖学的状況を提供することができる。

図３Ａは、本開示の例示的な実施形態にしたがう、複数のアッセイを分析するための方法を示す。図３Ａの方法は、図１に描かれたものと同様のコンピュータ実行モジュールにより実施され得る。方法は、複数のアッセイ情報および問い合わせを、染色プラットフォーム、画像化システム、ネットワーク、ユーザインターフェイスなどのソース１０１から受け取るステップ（Ｓ３４０）で始まる。問い合わせは、例えば、腫瘍細胞中の遺伝子もしくはタンパク質発現、または免疫細胞の存在および空間的な関係のためのＩＨＣ染色など、対象の特徴の識別および／または定量化についての１つまたは複数の要求を含むことができる。アッセイ情報は、パネル中の各アッセイの識別情報、組織タイプ、染色およびバイオマーカ識別子を含むアッセイ特性、診断されることを意図される組織および／または関連するバイオマーカ内の対象の特徴、染色プロセスの制御パラメータ、色素の存在、ならびに他の形態的、物理的、または生理学的情報を含むことができる。染色プロセスについての情報は、アッセイパネルを生成するために使用される染色および／または画像化プラットフォームの識別情報をさらに含むことができる。例えば、上に記載されるように、標本は、明視野画像化のための発色性染色または蛍光画像化のための蛍光物質に関連する１つまたは複数の異なるバイオマーカを含む染色アッセイの適用によって染色される必要がある場合がある。問い合わせは、スライドを位置合わせする方法、スライドを配置する方法、または分析のためスライドの１つまたは複数のサブセットを選択する方法など、複数のプロセスのうちの１つまたは複数を決定するように処理され得る（Ｓ３４１）。例えば、問い合わせは、目下のアプリケーションによって、どんな対象の特徴および／または関連するバイオマーカが要求されるのかについての指示を含むことができる。問い合わせは、腫瘍の段階または免疫細胞の特定のタイプを単に要求し、追加の方法ステップが、問い合わせに従って実行され得る。問い合わせ処理Ｓ３４１は、方法中の初期、または後期、またはその間の任意の時に発生し得る。同様に、残りの方法ステップは、任意の特定の順序で発生する必要がなく、単に例示的な実施形態としてこの順序で示される。当業者は、本開示に照らして任意の順序でこれらのステップのいずれかを再配置することができる。

同様の解剖学的構造を有するスライドをリンクする、または共通に位置合わせするために、スライドの位置合わせが実施される（Ｓ３４２）。そのような位置合わせプロセスは、その内容は、その全体が本明細書に組み込まれ、同一出願人が所有し、同時係属の米国仮特許出願第６１／７８１，００８号にさらに記載される。この相互画像注釈および組織構造ベースの位置合わせは、本明細書に記載されるように、マスクを生成し解剖学的アッセイに隣接するＩＨＣアッセイを評価するために使用され得る解剖学的基準を提供する。組織構造および特徴の検出を向上させるため、共通に位置合わせされた画像について、共通の染色が使用され得る。スライドの位置合わせは、Ｈ＆Ｅアッセイなど、解剖学的アッセイで染色されたパネル中のスライドのうちの少なくとも１つからの解剖学的検出に、さらに基づくことができる。このアッセイは、腫瘍およびその特性、他のタイプの組織の識別情報および特性など、巨視的および微視的な解剖学的構造を識別するために使用され得る。追加アッセイは、腫瘍マーカなど、第１の解剖学的アッセイ中の巨視的解剖学的構造と異なるスケールで検出される、微視的解剖学的情報を識別するとき決定され得る。隣接ＩＨＣスライドは、ＩＨＣスライド中の同様の解剖学的構造を識別することにより、解剖学的スライドと共通に位置合わせされ得る。２つのスライドの位置合わせは、スライドの対に現れる全ての形態的構造を使用して、状況非依存型で実施され得、または２つのスライドの位置合わせは、選択された構造についてだけ、マスク上の組織領域に限定されて、状況感知型で実施され得る。状況非依存型の位置合わせプロセスは、アッセイ情報を受け取るステップ（Ｓ３４０）の前に既に実施されることができ、位置合わせ結果は、単純にアッセイ情報に含まれ得る。あるいは、位置合わせプロセスは、問い合わせ処理の結果に基づいて、状況感知型で実施され得る（Ｓ３４１）。例えば、異なるアッセイを有する複数のスライドが、ラットなどの小動物の脳から獲得され得、あらゆるスライドは、アッセイ中の任意の他のスライドと独立に第１頸椎（すなわち、ラットの脳の理想画像）に位置合わせされ、マスクは、最初にスライドを第１頸椎画像に転写し、そこから任意の他のスライドに転写することにより、１つのスライドから任意の他のスライドに転写される。別の例では、腫瘍患者からのスライドが、状況感知型の位置合わせを使用して、各スライドが、患者の腫瘍の幾何形状を表すための第１頸椎ではなく、スライドのスタックの中心の解剖学的スライドに単に位置合わせされ得る。

いずれの場合でも、解剖学的スライドが最適に切断およびスライスされない場合、または位置合わせ（Ｓ３４２）が、ＩＨＣスライドの物理的なまたは解剖学的な近隣を目下の問い合わせのために実行可能でない解剖学的スライドにする結果となる（例えば、問い合わせが、染色されたスライドの現在の配置に基づいて、好適な結果を戻すことができない）場合、本発明にしたがうアルゴリズムにより手動または自動で新しい配置が決定され得（Ｓ３４３）、そのような新しい配置についての要求（例えば、現在の染色順序で決定され得ない特徴間で関係側面をキャプチャするため、異なる順序でスライドを染色する要求）が、染色プラットフォームまたは染色プラットフォームに関連するユーザに送信され得る（Ｓ３５０）。スライドの配置は、スライド上に実装され、異なるバイオマーカで染色される、連続する組織片の順序を規定する。配置の変更は、染色された組織片の異なる連続をもたらす。この配置において、互いに近い組織片は、より離れた組織片よりも類似するので、配置の変更は、どのスライドが解剖学的スライドに非常に類似し、どのスライドがあまり類似しないのかに影響を及ぼす。例えば、マスクは、腫瘍の侵襲性マージン中の腫瘍細胞の島の組を識別し得る。これらの島は、マスクを作り出すために使用された解剖学的スライドに近い近傍のスライド上にのみ含まれ得る。これらの島についての状況感知型の位置合わせは、解剖学的スライドから非常に離れたスライドにとって実行可能ではない。というのは、島がこれらのスライド上に含まれない、またはこのスライド上へのマスクの意味のある転写にとって、サイズ、形状、および位置が大きく変わりすぎたからである。そのような場合、好ましい配置は、特徴が検出されて、このマスクが規定されたスライドに可能な限り近くにこのマスクに関係付けられるスライドを有することになる。所与の問い合わせおよびアッセイの組が、これらの制約のうちの１つまたは複数をもたらす場合があり、それは、スライドの異なる配置と合致する。スライドの決定された配置は、ネットワーク化された実験室情報システムを使用することによって、染色器具、実験装置、および実験室職員に通信され得る。例えば、実験室情報システムは、例えば染色プロトコルを電気的に通信し、組織標本を切断およびスライスする前に、染色プラットフォームへの実装（すなわち、スライド上に組織のスライスを移動する）期間などにスライドにラベルを提供することが利用可能である。理想的な配置は、巨視的解剖学的スライドを微視的解剖学的スライドの近くへ、また、腫瘍細胞中の遺伝子およびタンパク質発現、マクロファージおよびリンパ球のような細胞の母集団および分集団、微小血管構造などのためのＩＨＣアッセイなどの、特定の情報または対象の特徴を表すアッセイのサブセットを、これらの対象の特徴の分析のためのマスクを規定する微視的解剖学的スライドの近くへ配置することになる。マスクは、基準スライドまたは基本スライドの上および下のスライドへの位置合わせにより伝播され得るので、これは、１つより多い微視的解剖学的アッセイが存在する場合、典型的には、微視的解剖学的スライド間に巨視的解剖学的スライドを配置する。同様に、微視的解剖学的アッセイまたは巨視的解剖学的アッセイからのマスクを使用し、対象の特徴を有する１つより多いスライドが存在する場合、解剖学的スライドは、対象の特徴を有するスライド間にやはり配置される。解剖学的スライドの周りに配置される対象の特徴を有するスライドが、図２に描かれる。問い合わせ、試験される組織の幾何形状、および切断プロセスの特性に依存して、異なる最適配置が決定され得る。配置が適正に決定される、すなわち、現在の配置が目下の問い合わせにとって実行可能であり、再配置（Ｓ３４３）が要求されない場合、方法が継続する。

１つまたは複数の解剖学的スライド上に、対象の組織領域、巨視的／微視的構造などを識別および／または規定するために、マスクが生成される（Ｓ３４４）。マスクは、ユーザ入力に基づいて（Ｓ３４５）、問い合わせ処理の結果に基づいて（Ｓ３４１）、位置合わせの自動化された解剖学的特徴検出に基づいて（Ｓ３４２）、またはこれらの任意の組合せで生成され得る。いくつかの実施形態では、マスクは、特定の問い合わせに依存して、解剖学的アッセイとＩＨＣアッセイの中の共通の解剖学的特徴を検出することにより決定され得る。いずれの場合でも、マスクは、１つもしくは複数の巨視的解剖学的特徴、これらの特徴の有無により識別される領域、これらの巨視的解剖学的特徴の内側もしくは近隣で決定される微視的解剖学的特徴、および／または微視的解剖学的特徴の存在により決定される領域を含むことができる。例えば、マスクは、腫瘍腺の輪郭、筋肉組織もしくは結合組織の存在、細胞の識別情報、またはこれらの特徴の各々の領域／特色を含むことができる。腫瘍マーカなどの微視的解剖学的特徴は、自動的に検出されてマスクに追加される、またはユーザ入力を介して選択されて規定され得る（Ｓ３４５）。

マスクは、例えば、ＩＨＣアッセイにかけられた隣接組織サンプルの画像といった隣接
組織片の１つまたは複数の画像上に投影されて（Ｓ３４６）、マスクに含まれる巨視的解剖学的および微視的解剖学的情報に基づいて、ＩＨＣアッセイ中の対象の特徴の分析を可能にすることができる。このマスク投影は、グラフィカルディスプレイまたは出力上に示され、医師または他の医療専門家が、マスクにより提供される解剖学的状況に照らして、対象の特徴を定性的および／または定量的に分析することを可能にすることもできる。投影は、問い合わせに基づいてＩＨＣアッセイ中の１つまたは複数の対象の特徴を検出すること、およびこれらの特徴の位置を、マスクにより提供される解剖学的状況と関係付けることを含む、特徴相関を可能にする（Ｓ３４７）。例えば、腫瘍内の免疫細胞など、特徴または微視的解剖学的領域の輪郭内に入る任意の特徴は、分析のためにマークされ得る。マスクは、マスクにより識別される対象物の近隣中の特徴を含むまたは除外するために、拡大または縮小され得る。マスクと一致しない特徴は、対象である場合があり、または無視される場合がある。投影領域中の構造は、対象のものであるとして、自動的に検出され得る。さらに、そのようなマスク投影は、選択されたマスクにしたがい、異なるスライド上の共通の組織または組織の領域を識別すること、および複数のスライドからの画像情報を組み合わせることにより自動化された処理を拡張する。

問い合わせに応じて、またはなんらかの追加のバイオマーカが問い合わせを受けるかどうかに応じて（Ｓ３４８）、方法は、バイオマーカの異なる組の選択を可能にする問い合わせプロセス（Ｓ３４１）、既に選択されたバイオマーカについて分析される異なる領域を識別するマスク生成（Ｓ３４４）、問い合わせを受けたバイオマーカを含む全てのスライド上のマスクの対応領域を識別するマスク投影（Ｓ３４６）、または問い合わせを受けたバイオマーカおよびマスクの存在および関連を計算および報告する特徴取り出し（Ｓ３４７）へのいずれかに戻る。例えば、腫瘍の外側の免疫細胞の追加の問い合わせは、単に、これらの追加の特徴を取り出すこと（Ｓ３４７）によって実施され得るが、微視的解剖学的状況を使用する問い合わせは、新しいマスク生成（Ｓ３４４）を実施する方法を要求する場合がある。本明細書で言及するように、問い合わせプロセス（Ｓ３４１）の結果に応じて、これらのステップの任意の組合せが可能である。追加の問い合わせがない場合、特徴相関（Ｓ３４７）の結果が分析のために出力され、かつ／または視覚的に描かれる（Ｓ３４９）。

図３Ｂは、図３Ａの中のステップの可能な再配置を示す。ステップＳ３５２では、アッセイ情報が受け取られる。アッセイ情報が受け取られた後、問い合わせがアッセイ情報上で処理され得（Ｓ３５４）、スライドが位置合わせされ得（Ｓ３５６）、マスクが生成され得（Ｓ３６６）、または特徴が関係付けられ得る。スライドが位置合わせされる場合、スライドは、Ｓ３５８で再配置され得る。Ｓ３６０で、スライドが再配置されるべきかどうかについての質問が、染色プラットフォームまたは図３Ｂに示される方法の他のユーザに送信され得る。Ｓ３６２で、例えばＩＨＣ特徴といった特徴は、例えばＨ＆Ｅスライドといった解剖学的スライドの画像上に投影される。ユーザは、次いでＳ３６４で、解剖学的スライド上に投影されるＩＨＣ特徴を含む画像について、マスクが生成されること（Ｓ３６６）を要求する場合がある。マスクがＳ３６６で生成される場合、マスク中に存在する画像の特徴または解剖学的スライド上に投影されるＩＨＣ特徴の画像は関係付けられ得（Ｓ３６８）、分析が例えばユーザインターフェイスに出力される（Ｓ３７２）前に、マスクまたは解剖学的スライド上に投影されるＩＨＣ特徴の画像上で、追加の問い合わせが処理され得る。ここで、ステップＳ３６２は、マスク生成Ｓ３６６の前に実行される。このステップ（Ｓ３６２）で、ステップＳ３５６からの位置合わせ情報が使用されて、利用可能なときには微視的解剖学的情報を含む、全てのＩＨＣスライドからの特徴を、１つの共通の巨視的解剖学的スライド上に投影する。マスク生成Ｓ３６６は、ここで、巨視的解剖学的特徴、微視的解剖学的特徴、および「増殖性」、「壊死性」など局所的な腫瘍特性を使用することができる。特徴が１つの共通スライド上に投影されたので、全てのスライドからの特徴がＳ３６８で関係付けられ得る（すなわち、生成された画像中の他の特徴と
比較され得る）。

図４Ａ〜図４Ｃは、本開示の例示的な実施形態にしたがう、アッセイパネル中のスライドの配置を示す。図２のアッセイパネルと同様に、本アッセイパネルは、スライド４３１、４３２、および４３４を含み、各々は、異なる特徴を強調することが意図される異なるアッセイで染色される。今回の例では、スライド４３１は、免疫細胞４５１を描くＩＨＣアッセイで染色される。同様にスライド４３４では、腫瘍に関連するマクロファージ４５５についてのＩＨＣバイオマーカが示される。一方、スライド４３２は、Ｈ＆Ｅマーカで染色され、２つのＩＨＣアッセイ間に配置される。スライド４３２は、したがって、筋肉組織４５２、リンパ節４５３、および腫瘍腺４５４の輪郭および形状を描く、解剖学的スライドと考えられ得る。異なる細胞タイプについての異なるテクスチャが、ここで、見やすくするために示され、現実には、細胞核、膜などを描くために、染色および対比染色の組合せを含むことができる。さらに、ＩＨＣスライド４３１および４３４は、解剖学的形状４５２、４５３、および４５４を描かず、それぞれの問い合わせされたバイオマーカ４５１および４５５をはるかに超えて表示することは期待されない。スライド４３２は、巨視的解剖学的特徴４５２および微視的解剖学的特徴４５４を明瞭に描き、それらが抽出されて、それぞれの対象の特徴の分析のために解剖学的状況を提供するため、ＩＨＣスライド４３１および４３４上に投影されるマスクを生成する。免疫細胞４５１およびマクロファージ４５５の両方は、異なるタイプの細胞であり、両方は、腫瘍の成長にとっての徴候である。従来型システムでは、アッセイ４３１および４３４の各々の分析は、なんら解剖学的状況なしに損なわれることになるが、本明細書に記載される本発明のシステムおよび方法は、これらの対象の特徴の正確な数／位置の決定を可能にし、したがって組織標本の信頼性の高い診断を可能にする。言い換えると、検出された対象の構造からの関連の特徴は、共通に位置合わせされた平行な組織のスライスに適用される異なる染色により提供される解剖学的状況と対にされ、（平行なスライスが好適に比較され得ることを確かにし、）自動化された画像分析を改善し、例えば、対象の巨視的解剖学的特徴または微視的解剖学的特徴など対象の解剖学的に著しい特徴といった、対象の特徴を強調し、これは、さもなければ、例えば複数のアッセイで染色される組織片の画像または個別に染色された組織片の画像中で可視でない、または検出可能でない場合がある。そのような対は、任意の個別のスライド上の特徴検出も向上させる。

例えば、図４Ｂは、解剖学的スライド４３２から抽出されたマスクで覆われたスライド４３１を示す。スライド４３１は、ここで、それぞれの対象の特徴の分析のために解剖学的状況を提供する巨視的解剖学的特徴および微視的解剖学的特徴を明瞭に描く。例えば、免疫細胞４５１がリンパ節４５３内に大部分が集まり、少数の免疫細胞４５１が腫瘍腺４５４の周辺の周りに分散されることが、ここで明らかである。免疫細胞は、典型的には、それを生成するリンパ節内で最も高密度であることも知られている。したがって、本明細書に記載される特徴相関は、リンパ節４５３の領域内の免疫細胞を無視する、スライド４３１の中の免疫細胞の数を決定することになる。特徴相関モジュールは、解剖学的スライドからこのスライド上に転写されたマスク上のスライド上の特徴の有無を報告する。これは、腫瘍腺４５４に近い免疫細胞のより正確な数、したがってより信頼性の高い診断を可能にする。

同様に、図４Ｃは、解剖学的スライド４３２から抽出されたマスクで覆われたスライド４３４を示す。スライド４３４は、ここで、それぞれの対象の特徴の分析のために解剖学的状況を提供する巨視的解剖学的特徴および微視的解剖学的特徴を明瞭に描く。例えば、腫瘍に関連するマクロファージが、腫瘍腺４５４の外側の左上区域の周りに大部分が集まることが、ここで明らかである。多数の腫瘍に関連するマクロファージが、典型的には、腫瘍腺の侵襲の最前線を示すことも知られている。したがって、本明細書に記載される特徴相関は、腫瘍腺４５４の左上領域が侵襲の最前線であることを決定することになり、適
切な診断がなされて、腫瘍腺のこの領域を目標にすることができる。また、任意の数のスライドまたは任意の変形形態のスライドが組み合わされ得、多数のＩＨＣ染色されたスライドからの特徴が、１つの解剖学的スライドからＩＨＣスライドの各々に転写されたマスク上の染色の存在および特徴、またはＩＨＣスライドの各々から１つの解剖学的スライドに転写された、多数のＩＨＣ染色されたスライドからの染色の特徴を集めることにより、一緒に報告および解釈される。

染色およびバイオマーカの選択は、多重化手法と同様に、目下の臨床問題に特有であってよいが、これらの方法は、多重化アッセイに適用される場合、矛盾またはあいまいな結果をもたらす可能性がある個々のアッセイの分析にも適用され得る。さらに、独立した隣接スライドの自動化された相関は、図に描かれた例を超えるいくつかの細胞タイプのより詳細な分析を可能にする。例えば、腫瘍内の免疫細胞は、ＩＨＣアッセイの画像を、解剖学的アッセイから取り出された解剖学的状況で処理することにより識別され得る。追加の隣接スライドを用いると、解剖学的状況は、同じままとなる、または単にわずかに変わる。代替的に、または追加として、解剖学的状況に基づく別のＩＨＣスライドの評価は、腫瘍のすぐ周りと比較して、腫瘍領域内により少ない数の免疫細胞を決定することができる。したがって、免疫細胞数は、異なる染色またはアッセイにかけられた、隣接組織片または非隣接組織片のスライドの画像中の、個別で独立した分析のための区域（例えば、腫瘍）を識別する他の方法とは反対に、より一定となることができる。免疫細胞が腫瘍腺のちょうど外側にあるのか、腫瘍腺に入ったのかについての詳細な知識が、確実に問い合わせされ得る。腫瘍とリンパ節などの他の構造との間の境界が明瞭に識別され得る。

マスクは、１つより多い解剖学的アッセイから生成され得る。例えば、ＩＨＣマーカは、腫瘍細胞の細胞膜をターゲットにし、マスク生成モジュールが腫瘍腺、分離された腫瘍細胞を識別して腫瘍細胞を増殖性と特徴付けることなどを可能にし、腫瘍領域対他の領域の識別および分析を可能にし、残りのＩＨＣ画像を好適に処理することができる。したがって、特定の組織標本の、いくつかの独立して染色された隣接スライドは、目下のアプリケーションに応じて、１つまたは複数の解剖学的状況を使用して評価され得る。複数のスライドは、従来の方法により達成されるものよりも、はるかに詳細で正確な分析結果をまとめるために使用され得る。

上に記載されたように、微視的解剖学的構造および巨視的解剖学的構造は、問い合わせおよびアッセイ情報に基づいて自動的に検出され得る。さらに、ユーザインターフェイスは、単に、巨視的解剖学的スライド上で拡大することにより、ユーザが微視的解剖学的選択物を示すことを可能にして提供され得る。微視的解剖学的検出は、オプションのステップであり、マスクは、単に巨視的解剖学的スライドに基づいて作り出され得る。マスク作成に使用されるスライドからの特徴に依存して、取り囲むＩＨＣスライドは、問い合わせされた対象の特徴、アッセイ情報、および目下の問題に応じて自動的に並べ替えられ、または配置され得る。スライドの順序は、それに応じて新しい組織片を染色するために、染色プラットフォーム、他の研究器具、および研究員から要求され、または推奨され得る。

したがって本開示は、共通の位置合わせおよびマスクベースの特徴検出に基づいて、複雑なアッセイ分析を最適化するための方法を提供する。本明細書に記載される動作は、単一のロジックユニット、または複数のロジックユニットにより実行され得る。例えば、アッセイ情報を獲得して解析するため、データ収集器が使用され得、生の画像データからの関連情報を取り出すために、データ抽出が使用され得、解剖学的状況がマスクにより提供される最適なＩＨＣアッセイを生成して描くために、データ可視化器が使用され得る。診断を行う前にユーザに推奨を提供するため、別個のモジュールが一緒に働くことができる。さらに、解剖学的または臨床病理学、前立腺癌／乳癌／肺癌の診断などの医療用途以外に、地質学または天文学のデータなどのリモートセンシングなど、他のタイプの標本を分析するために、同じ方法が実施され得る。本明細書で実施される動作は、ハードウェアのグラフィックス処理ユニット（ＧＰＵ）の中に移植され、マルチスレッド化された並列実現を可能にすることができる。

本発明にしたがう画像の位置合わせは、以下のように実施されるが、画像の位置合わせの他の方法が利用され得る。図５は、この開示にしたがう、画像分析ソフトウェアプログラムの実施形態により実行される方法の実装を図示する流れ図である。画像分析ソフトウェアプログラムは、選択されたデジタル画像（例えば、全スライド画像、部分的なスライド画像、または全スライド画像もしくは部分的なスライド画像の部分を含む、組織片のスキャンされたスライドのデジタル画像）を整合し、画像のうちの１つもしくは複数、１つもしくは複数の画像から他の画像へのマップ注釈、またはそれらの組合せに注釈を付けるように、ユーザがプロセッサに命令することを可能にする。図５に示されるように、方法６００は、開始ブロック６０２で始まる。ブロック６０４において、デジタル画像の組が操作のために獲得される（例えば、データベースからスキャンまたは選択される）。デジタル画像の各組は、例えば、単一の患者からの隣接組織片の組からの組織片に対応する１つまたは複数のデジタル画像を含む。各画像は、別の画像と比較して、異なって染色される、または異なる画像化モードを使用してデジタル化される、または両方である組織片から導出され得る。いくつかの実施形態では、デジタル画像は、隣接組織片から準備されるスライド（例えば、顕微鏡ガラススライド）をスキャンすることにより生成される。

ブロック６０６において、単一の画像対のみが選択される場合、プロセスは、直接ブロック６１０に進む。単一の対より多い画像が選択される場合、選択された画像の組は、ブロック６１０に進む前に、ブロック６０８において対にグループ化される。いくつかの実施形態では、画像の対は、隣接対として選択される。したがって、例えば、選択された画像の組が１０の平行な隣接スライス（Ｌ１、…、Ｌ１０）を含む場合、Ｌ１とＬ２が対としてグループ化され、Ｌ３とＬ４が対としてグループ化され、以下同様である。一方、画像のどの対が互いに最も似ているかについて情報が利用可能でない場合、いくつかの実施形態では、画像は、それらの距離間隔（例えば、様々な画像のＨマップ間のＣｈａｍｆｅｒ距離に対応する、エッジ間または画像間距離）に従ってグループ化され、互いに最も近い画像を一緒に対にする。本発明の例示的な実施形態では、エッジ間／画像間距離が画像の対に利用される。いくつかの実施形態では、エッジベースのＣｈａｍｆｅｒ距離が使用されて、画像間／エッジ間距離を計算することができる。画像の対が以前に粗い位置合わせプロセスを受け、その結果画像が粗く整合され、結果が保存された場合、プロセスは、ブロック６１４に進む。さもなければ、ブロック６１２において、選択された画像の対に、粗い位置合わせプロセスが実施される。粗い位置合わせプロセスは、下でさらに詳細に記載される。

ブロック６１４に進み、選択され、新しく位置合わせされた（整合された）画像が共通グリッド上に表示され、画像は、単一のモニタ上で、またはいくつかのモニタのわたって広がって、単一の画像中に重ねられ、別個の画像として表示され、またはその両方が行われる。ブロック６１６において、クライアントユーザは、ソース画像として、画像の対から、画像のうちの１つを選択することができる。ソース画像が既に所望に応じて注釈を付けられていた場合、プロセスはブロック６２２に進む。さもなければ、クライアントユーザは、ブロック６２０において、所望に応じてソース画像に注釈を付ける。いくつかの実施形態では、注釈は、例えば、ユーザが注釈を入力するのと実質的に同時に、その選択された画像上に再生される。いくつかの実施形態では、ユーザは、最初に、ソース画像およびターゲット画像を識別し、ソース画像が注釈を付けられていた場合、ユーザは、プログラムに画像を位置合わせする（例えば、粗い位置合わせプロセスを受ける）ように命令するため進む。ソース画像がまだ注釈を付けられていない場合、ユーザは、画像の対を位置合わせする前に、ソース画像に注釈を付けることができる。ブロック６２０と実質的に発
生することができる（発生しない場合もある）ブロック６２２において、注釈は、対の中の他方の画像（ターゲット画像）にマッピングされ、ターゲット画像上にグラフィカルに再生される。注釈が粗い位置合わせの前に発生する実施形態では、注釈は、画像の対が位置合わせされる（整合される）のと実質的に同時に、ソース画像からターゲット画像にマッピングされ得る。ブロック６２４に移って、マッピングされる注釈の位置および／または画像の整合を最適化するために、精密な位置合わせプロセスが実施され得る。精密な位置合わせプロセスは、下でさらに詳細に議論される。ブロック６２６において、注釈を付けられた画像対は、精密な位置合わせプロセスの結果とともに表示される。（または、精密な位置合わせプロセスが使用されない場合、注釈を付けられた画像対は、粗い位置合わせプロセスの結果だけとともに表示され得る。）方法は、次いで、最終ブロック６２８で終了する。

図６は、ブロック６１２、粗い位置合わせプロセスについてさらに詳細に図示する。粗い位置合わせプロセスを開始する前に、２つの画像が、整合のために選択される（ブロック６０４、図５）。図６に示されるように、いくつかの実施形態では、２つの画像に適用される粗い位置合わせプロセスは、（１）選択された画像（例えば、ソース画像およびターゲット画像）の各々から、ソフトに重み付けされた（連続値の）フォアグラウンド画像（本明細書では「グレースケール」画像とも呼ばれる）を獲得するステップ（ブロック６１２ａ、図６）、（２）結果として得られるフォアグラウンド画像の各々からのエッジ画像を抽出するステップ（ブロック６１２ｂ、図６）、（３）ソフトに重み付けされたフォアグラウンド画像から獲得された、エッジマップベースの一致情報およびモーメント情報を使用して、グローバル変換パラメータ（例えば、回転、スケール、偏移）を計算するステップ（ブロック６１２ｃ、図６）を含むことができる。最終的に、図６に示されるように、２つの画像は、グローバル変換パラメータを使用して整合され、１つのモニタ（または複数のモニタ）の共通グリッド上に表示され得る。

図７〜図１１は、ブロック６１２ａのさらなる詳細を図示しており、ソフトに重み付けされたフォアグラウンド（すなわち、染色画像に適用されるソフトな重み付けに対応する画像であって、より高い／低い値は、特定の染色の色がより多く／少なく存在することを示す）が獲得される。ソフトに重み付けする方法は、離散値で符号のないキャラクタ画像（例えば、画素値の範囲が０〜２５５である）から連続領域の値の画像を獲得するための方法である。いくつかの実施形態では、ソフトに重み付けされたフォアグラウンド画像を獲得することの目標は、デジタル画像中の非組織から組織を分離し、スケーリングおよび平行移動の推定のために、全スライドからのモーメント計算についての基準を提供することである。いくつかの実施形態では、グレースケールのフォアグラウンド画像は、染色された組織片から準備されたガラススライドのスキャンであってよい、選択されたデジタル画像に色デコンボリューションプロセスを適用することによって獲得される。具体的な色デコンボリューションプロセスは、具体的な染色に依存し、本明細書では、ＨＥ染色、ＩＨＣ染色、および蛍光画像といった３つの例によって記載されることになる。

図７〜図９は、ＨＥ画像についての、ソフトに重み付けされたフォアグラウンド画像抽出プロセスを図示する。図７〜図９に示されるように、画像抽出プロセスは、基本的に色デコンボリューションプロセスであり、ここで、色の染色が元のＨＥ画像（図８Ａ）から除去され、ソフトに重み付けされたフォアグラウンド画像をもたらす（図８Ｂ）。ＨＥ色デコンボリューションは、例えば、その全体が参照により本明細書に組み込まれる、ＲｕｉｆｒｏｋＡＣ、ＪｏｈｎｓｔｏｎＤＡ著、Ｑｕａｎｔｉｆｉｃａｔｉｏｎｏｆｈｉｓｔｏｌｏｇｉｃａｌｓｔａｉｎｉｎｇｂｙｃｏｌｏｒｄｅｃｏｎｖｏｌｕｔｉｏｎ（色デコンボリューションによる組織学的染色の定量化）、ＡｎａｌＱｕａｎｔＣｙｔｏｌＨｉｓｔｏｌ２３：２９１ −２９９，２００１（ＡｎａｌｙｔｉｃａｌａｎｄＱｕａｎｔｉｔａｔｉｖｅＣｙｔｏｌｏｇｙａｎｄＨｉｓｔｏ
ｌｏｇｙ２３号、２９１〜２９９頁、２００１年）に記載されるような、当技術分野で知られている任意の方法によって実施され得る。

図７および図９はともに、図８Ｂの画像を獲得するために使用されるプロセスの実施形態を図示する。図７に示されるように、Ｈチャネル画像およびＥチャネル画像は、図８ａの複合画像のＨＥ画像を形成するために混合／追加された、２つに画像成分（具体的には、Ｈ（ヘマトキシリン、青色）およびＥ（エオシン、赤色））を除去することにより獲得される。いくつかの実施形態では、２つ（ＨおよびＥ）のチャネルが獲得された後（例えば、色デコンボリューションプロセスの後）、Ｈチャネル画像およびＥチャネル画像の各々、すなわちソース画像、この場合はＨおよびＥ画像から抽出された色チャネルまたは染色成分に、ＯＴＳＵおよびソフトに重み付けする方法が実施される。ＯＴＳＵ法は、自動的に、ヒストグラム形状ベースの閾値処理を実施するために使用される閾値処理方法であり、例えば、その全体が参照により本明細書に組み込まれる、Ｏｔｓｕ，Ｎｏｂｕｙｕｋｉ著、「ＡＴｈｒｅｓｈｏｌｄＳｅｌｅｃｔｉｏｎＭｅｔｈｏｄＦｒｏｍＧｒａｙ−ＬｅｖｅｌＨｉｓｔｏｇｒａｍｓ（濃度分布からの閾値決定法）」Ａｕｔｏｍａｔｉｃａ１１．２８５−２９６（１９７５）（Ａｕｔｏｍａｔｉｃａ、１１巻、２８５〜２９６頁、１９７５年）、２３〜２７に記載される。重み付けされたＨ画像（例えば、Ｈチャネルの染色寄与を反映する画像であって、Ｈチャネルの染色寄与がより高い／低いとき、重み付けされたＨ画像がより高い／低い値を有する画像）は、Ｈチャネル画像上への、ＯＴＳＵベースの閾値処理およびソフトな重み付けの後に獲得される。同様に、重み付けされたＥ画像は、Ｅチャネル画像上への、ＯＴＳＵベースの閾値処理およびソフトな重み付けの後に獲得される。最終的に、重み付けされたＨＥ画像は、以下のように獲得される。重み付けされたＨＥ画像中の各画素＝（Ｈチャネル画像の画素、Ｅチャネル画像の画素）の最大値、すなわち、それは、ＨおよびＥチャネル画像中の対応する画素値の最大値である。

図９は、Ｈチャネル画像について、ソフトに重み付けするプロセスの実施形態を図示する。ＯＴＳＵベースの閾値処理が実施された後、（バックグラウンドＨチャネルからフォアグラウンドを分離するための）閾値は、ｌｅｖｅｌＨと受け取られる。したがって、ｌｅｖｅｌＨは、Ｈチャネル上で計算されるＯＴＳＵベースの閾値であり、ｌｏｗＨは、小数部＊ｌｅｖｅｌＨの値であり、ｍａｘＨは、ｍａｘ（Ｈチャネル画像）、すなわちＨチャネル画像中の全ての画素の最大値である。この記載から理解され得るように、ＨおよびＥチャネル中で、より低い（またはより高い）強度値は、画像中のより暗い（または明るい）領域に対応する。例えば、Ｈチャネル中で、より暗い領域は、ヘマトキシリン（青の成分）がより強く発現される区域を示す。最終的な重み付けされたＨ画像では、これらのより暗い領域（より青い領域）について、高い値が予期される。同様に、重み付けされたＨ画像では、ヘマトキシリンの寄与が低い、より明るい領域について、低い値が予期される。

いくつかの実施形態では、目的は、青いヘマトキシリンチャネルの寄与が高いとき、値がより高く、青いチャネルの寄与が低いとき値がより低い、重み付けされたＨ画像を獲得することである。図９では、小数項が、どのようにしてソフトな重み付けが重み付けされたＨ画像に割り当てられるのかを制御する。例えば、小数＝１のとき、ｌｏｗＨ＝ｌｅｖｅｌＨであって、青色チャネル寄与（Ｈチャネルの値）がｌｏｗＨ未満である画像画素は、１の値が割り当てられる。小数が１であるとき、重み付けされたＨ画像は、［ｌｅｖｅｌＨ，ｍａｘＨ］の範囲で、非ゼロの画素強度値を有する（ここで、ｌｅｖｅｌＨは、Ｈチャネルについて計算されたＯＴＳＵベースの閾値を表し、ｍａｘＨは、Ｈチャネル画像の最大値を表す）。いくつかのそのような実施形態では、ｌｅｖｅｌＨよりも低いＨチャネル中の、画素／画素強度値について、重み付けされたＨ画像は、１の値を割り当てられる。［ｌｏｗＨ，ｍａｘＨ］の範囲に入るＨチャネル中の値について、重み付けされたＨ値は、［１，０］の範囲にある。Ｈチャネル中の［ｌｏｗＨ，ｍａｘＨ］の範囲は、重み付けされたＨ画像の中の［１，０］の範囲にマッピングされる。いくつかの実施形態では、小数は、経験的に選択された、０．８の値である。したがって、重み付けされたＨ画像は、より広い範囲の値の画素値を有することになる。しばしば、より淡い画像領域では、ＯＴＳＵにより戻される閾値は正確ではなく、したがって、ＯＴＳＵ閾値よりもわずかに高い値を有する画像画素についての重み付けされた画像に、より低い値が割り当てられる。

図１０および図１１はともに、ＩＨＣ画像についての、ソフトに重み付けされたフォアグラウンド画像抽出プロセスを図示する。図１０Ｃに示されるように、画像抽出プロセスは、本質的に、色デコンボリューションプロセスであり、主な色成分が画像から抽出される。例えば、図示される実施形態では、ヘマトキシリン（青）およびＤＡＢ（茶）が主な染色成分であり、色デコンボリューションが使用されて、これらの２つの色チャネルにＩＨＣ画像を分離する。

ＨＥ画像に使用されるものと同じソフトに重み付けする方法が、ここでＩＨＣ画像のために使用される。重み付けされたＤＡＢ画像は、ＤＡＢチャネル画像上への、ＯＴＳＵベースの閾値処理およびソフトな重み付けの後に獲得される。同様に、重み付けされたヘマトキシリン画像は、ヘマトキシリン画像上への、ＯＴＳＵベースの閾値処理およびソフトな重み付けの後に獲得される。最終的に、重み付けされたＩＨＣ画像は、ｍａｘ（重み付けされたＤＡＢ画像、重み付けされたヘマトキシリン画像）／画素である。すなわち、重み付けされたＩＨＣ画像中の各画素は、ＤＡＢおよびヘマトキシリンチャネル画像中の２つの対応する画素の最大値である。

図１１は、ＤＡＢチャネル画像について、ソフトに重み付けするプロセスの実施形態を図示する。ＯＴＳＵベースの閾値処理が実施された後、（ＤＡＢ（茶）チャネル中のバックグラウンドからフォアグラウンドを分離するための）閾値は、ｌｅｖｅｌＢｒと受け取られる。したがって、ｌｅｖｅｌＢｒは、茶チャネル上で計算されるＯＴＳＵベースの閾値であり、ｌｏｗＢｒは、小数部＊ｌｅｖｅｌＢｒであり（ここで、小数部は０．８であり）、ｍａｘＢｒは、ｍａｘ（茶チャネル画像）である。すなわちｍａｘＢｒは、茶チャネル画像中の全ての画素値の最大値である。ｌｏｗＢｒよりも低い茶チャネル中の値について、重み付けされたＤＡＢ画像は、１の値を割り当てられる。茶チャネル中の［ｌｏｗＢｒ，ｍａｘＢｒ］の範囲が、重み付けされたＤＡＢ画像中の［１，０］の範囲にマッピングされる。この記載から理解され得るように、茶および青チャネル中で、より低い（またはより高い）強度値は、画像中のより暗い（または明るい）領域に対応する。全体のプロセスが、図１０Ａに示されるような元のＩＨＣ画像から、図１０Ｃに示されるようなソフトに重み付けされたフォアグラウンド画像の生成ステップをもたらす。

ソフトに重み付けされたフォアグラウンド画像は、例えば、グレースケール画像を準備すること、およびグレースケール画像を２値画像に変換するためにＯＴＳＵを適用することにより、蛍光画像からやはり抽出され得る。いくつかの実施形態では、ソフトに重み付けされたフォアグラウンド画像を抽出するための開始点として、グレースケールサムネイル画像が、蛍光画像から読み取られる。次いで、ＯＴＳＵが使用されて、グレースケールサムネイル画像を２値画像に変換する。次いで、例えば、その全体が参照により本明細書に組み込まれる、Ｓａｍｅｔ，Ｈａｎａｎ著、「ＡｎＩｍｐｒｏｖｅｄＡｐｐｒｏａｃｈｔｏＣｏｎｎｅｃｔｅｄＣｏｍｐｏｎｅｎｔＬａｂｅｌｉｎｇｏｆＩｍａｇｅｓ（画像の連結成分（ＣｏｎｎｅｃｔｅｄＣｏｍｐｏｎｅｎｔ）ラベリングの改善手法）」議事録、ＩＥＥＥＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙＰｒｅｓｓ，１９８６年に記載されたような、連結成分が２値画像上で実施される。いくつかの実施形態では、連結成分分析が使用され、標準アルゴリズムを使用して２値画像中の連続領域を戻す。連結成分後に戻される連続領域から、飛び地領域のいくつかが、より小さい細胞サイズなどの所定の基準に基づいて廃棄される。プロセスの結果は、各領域が一定の最小サイズを超える、サムネイル画像中のフォアグラウンド領域を有することになる。いくつかの実施形態では、Ｎがフォアグラウンド画像中のＯＮ画素の合計数である場合、連結成分から獲得される単一の斑点から予期される最小サイズは、少なくともＮ／２０という最小区域の選択でなければならず、Ｎ／２０は、経験的に選択される。これらの領域について、より高い値は、サムネイル画像がより暗い、ソフトに重み付けされたフォアグラウンド画像に割り当てられる（ここで、より暗い（または低い）強度値領域は、組織領域である可能性がより高く、より明るい（または高い）強度値領域は、非組織のガラス領域である可能性がより高い）。

ソフトに重み付けされたフォアグラウンド画像が抽出された後、グローバル変換パラメータが推定される（ブロック６１２ｃ、図６）。いくつかの実施形態では、第１の画像（例えば、ユーザ／病理学者が一定の領域をマークしたソース画像）および第２の画像（例えば、ユーザ／病理学者が、マークした領域を取り出すために選択したターゲット画像）が、グローバル変換を計算するために比較される。図１２に示されるように、いくつかの実施形態では、比較は、エッジマップ検出により行われる（ブロック６１２ｂ、図６）。図１２Ａは、ＨＥ画像についてのエッジマップ抽出を図示し、図の上半分は、重み付けされたフォアグラウンド画像を図示し、下半分は、ＨＥ画像についてのエッジマップを図示する。図１２Ｂは、ＩＨＣ画像についてのエッジマップ抽出を図示し、図の上半分は、ＩＨＣ画像についての重み付けされたフォアグラウンド画像を図示し、図の下半分は、ＩＨＣ画像についてのエッジマップを図示する。

いくつかの実施形態では、エッジマップは、例えば、その全体が参照により本明細書に組み込まれる、Ｃａｎｎｙ，Ｊｏｈｎ著、「ＡＣｏｍｐｕｔａｔｉｏｎａｌＡｐｐｒｏａｃｈｔｏＥｄｇｅＤｅｔｅｃｔｉｏｎ（エッジ検出の計算手法）」ＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓａｔ６（１９８６）；６７９−６９８（パターン分析および人工知能、ＩＥＥＥ議事録６巻（１９８６年）６７９〜６９８頁）に記載される、Ｃａｎｎｙエッジ検出モードを使用して抽出される。第１のステップとして、ソフトに重み付けされたフォアグラウンド画像について、勾配画像が計算され、次いで勾配画像がエッジ検出に使用される。エッジマップは、次いで、２つの画像間のグローバル変換を決定するために使用される。いくつかの実施形態では、画像１を画像２にマッピングするステップで支援するグローバル変換のパラメータは、（１）ｘおよびｙ軸に沿った平行移動、（２）ｘおよびｙ軸についてのスケーリング、（３）回転角、および（４）ｘ軸、ｙ軸、または両方に沿ってよい反射である。ソフトに重み付けされたフォアグラウンド画像に基づいて、各画像についての図心画像が計算され、その差が、第１の画像を第２の画像に整合させるのに使用される、ｘおよびｙ軸に沿った平行移動を与える。

ソフトに重み付けされたフォアグラウンド画像についての（例えば、その全体が参照により本明細書に組み込まれる、Ｈｕ，Ｍｉｎｇ−Ｋｕｅｉ著、「ＶｉｓｕａｌＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎｂｙＭｏｍｅｎｔＩｎｖａｒｉａｎｔｓ（モーメント不変量による視覚パターン認識）」、ＩｎｆｏｒｍａｔｉｏｎＴｈｅｏｒｙ，ＩＲＥＴｒａｎｓａｃｔｉｏｎｓ，ｖｏｌ．ＩＴ−８，ｐｐ．１７９−１８７，１９６２（情報理論、ＩＲＥ議事録、巻ＩＴ−８、１７９〜１８７頁、１９６２年）で記載されるような）モーメントを使用して、第１の画像を第２の画像に整合させ得るｘおよびｙ軸についてのスケール係数が計算される。ソフトに重み付けされたフォアグラウンド画像が一度計算されると、これらのソフトに重み付けされたフォアグラウンド入力画像について、ＯＴＳＵベースの閾値処理が実施されてマスク画像（２値画像）を獲得する。第１および第２の画像中のマスク画像に基づいて、両方のドメイン中の主角度がＨｕモーメントを使用して計算される。その間の角度差が、例えば、その全体が参照により本明細書に組み込まれる、Ｈｕ，Ｍｉｎｇ−Ｋｕｅｉ著、「ＶｉｓｕａｌＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎｂｙＭｏｍｅｎｔＩｎｖａｒｉａｎｔｓ（モーメント不変量による視覚パターン認識）」、ＩｎｆｏｒｍａｔｉｏｎＴｈｅｏｒｙ，ＩＲＥＴｒａｎｓａｃｔｉｏｎｓ，ｖｏｌ．ＩＴ−８，ｐｐ．１７９−１８７，１９６２（情報理論、ＩＲＥ議事録、巻ＩＴ−８、１７９〜１８７頁、１９６２年）で記載されるような、回転を提供する。画像１と画像２の間の角度差は、画像１を画像２にマッピングすることができる変換角度の可能性のある値として考えられ（角度φ＝（画像２からの主角度）−（画像１からの主角度））、ここで、主角度は、上に言及された出版物に記載されるようなモーメントの方法を使用して計算される。

加えて、いくつかの実施形態では、８つの可能な変換の場合が考えられ（各変換の場合は、ソース画像、画像１に適用される一定のアフィングローバル変換に対応する）、各場合について、（ａ）画像１についての変換されたエッジマップ、ならびに（ｂ）画像２のエッジマップからのその距離が計算される。いくつかの実施形態では、変換されたエッジマップ（ａ）は、最も良好に変換された場合に基づき、いくつかの実施形態では、それは、画像１についての変換されたエッジマップと画像２についてのエッジマップとの間の最小距離を生成するものである。８つの可能な変換の場合は以下であってよい。（１）φだけ回転、（２）（１８０−φ）だけ回転、（３）ｘ軸に沿って反射、（４）ｙ軸に沿って反射、（５）ｘおよびｙ軸の両方に沿って反射、（６）０だけ回転、（７）９０だけ回転、および（８）−９０だけ回転（全ての場合でスケーリングおよび平行移動が含まれる）。図１３は、上の８つの条件の各々に従って変換された、ＨＥエッジマップを図示する。

いくつかの実施形態では、画像１を画像２に粗くマッピングするグローバル変換を獲得するために、エッジマップ間の距離は、（例えば、その全体が参照により本明細書に組み込まれる、Ｂｏｒｇｅｆｏｒｓ，Ｇｕｎｉｌｌａ著、「ＤｉｓｔａｎｃｅＴｒａｎｓｆｏｒｍａｔｉｏｎｓＩｎＤｉｇｉｔａｌＩｍａｇｅｓ（デジタル画像中の距離変換）」、ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，Ｇｒａｐｈｉｃｓ，ａｎｄＩｍａｇｅ
Ｐｒｏｃｅｓｓｉｎｇ，３４．３（１９８６）：３４４−３７１（ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，Ｇｒａｐｈｉｃｓ，ａｎｄＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ、３４巻３号（１９８６年）、３４４〜３７１頁）に記載されるような）Ｃｈａｍｆｅｒ距離法を使用して計算される。Ｃｈａｍｆｅｒ距離（エッジマップＡ、エッジマップＢ）（各画像に対応し、エッジマップＡは、ソース画像、画像１から獲得され、一方エッジマップＢは、ターゲット画像、画像２から獲得される）は、Ａの中のあらゆるＯＮエッジ画素と、Ｂの中の最も近いＯＮエッジ画素との間の平均距離である。いくつかの実施形態では、Ｃｈａｍｆｅｒ距離は、以下のように計算され得る。

・ＥＡがエッジマップＡ、２値画像を示し、ＤＡが距離変換後に獲得される行列であるとする。ＤＡの中の各画素は、ＥＡの中のその画素からＥＡの中の最も近いＯＮ画素の距離を示す。

・例えば、ＥＡ＝
［１００１１
０１１１０
１００１０
００００１
０１００１］
であり、
ＤＡ＝
［０１．００００１．００００００
１．０００００００１．００００
０１．００００１．０００００１．００００
１．００００１．００００１．４１４２１．０００００
１．０００００１．００００１．０００００］
である場合
・例えば、ＥＡの中の、４行３列目の画素を考える。
値が１であり、画素に最も近い２つの画素は、３行４列目、および５行２列目にある。
画素の位置が（ｉ，ｊ）として示される場合、それは、画素が行列ＥＡのｉ行ｊ列目にあることを示す。そのため、（ｉ_１，ｊ_１）および（ｉ_２，ｊ_２）により与えられる位置の２つの画素がある場合、２つの画素間のＬ_２距離は、ｓｑｒｔ（（ｉ_１−ｉ_２）^２＋（ｊ_１−ｊ_２）^２）により与えられる。したがって、画素に最も近い２つの画素の距離は、それぞれ、ｓｑｒｔ（２）およびｓｑｒｔ（２）であり、ＤＡの中の４行３列目の値は、ｍｉｎ（ｓｑｒｔ（２），ｓｑｒｔ（２））＝ｓｑｒｔ（２）である。

・Ｃｈａｍｆｅｒ距離（Ａのエッジマップ，Ｂのエッジマップ）＝（ＥＡ．＊ＤＢ）／（ＥＡの中の１の数）であり、ここでＤＢは、エッジマップＢの距離変換である。
・（ＥＡ．＊ＤＢ）＝（ＥＡの中の各要素を、ＤＢの中のあらゆる対応する要素と乗算する）および（その後、数を合計する）
当業者が理解するように、Ｃｈａｍｆｅｒ距離は、その非可換な性質に起因して、距離メトリックではない。より具体的には、Ｃｈａｍｆｅｒ距離は、２つのエッジマップ間の類似性／非類似性を説明するために使用され得る距離関数である。距離関数は、形状がエッジマップにより表される場合、形状を比較するために使用され得る。本開示にしたがういくつかの実施形態に適用されるように、Ｃｈａｍｆｅｒ距離は、主に画像間の組織領域を比較する。２つの組織領域は、それらのエッジマップが類似するときに類似し、このことは、Ｃｈａｍｆｅｒ距離により良好に捕捉され得る。画像間には色および染色強度に違いがある可能性があるが、エッジマップは、それが組織の構造を捕捉するので、比較的、より一貫性のある特徴である。同じ／平行な組織スライスが比較されるとき、構造は、多かれ少なかれ同じままである。メトリックである距離関数の場合、エッジマップＡからエッジマップＢへの距離が獲得されると、距離は、エッジマップＢからエッジマップＡへと獲得される場合であっても同じにならなければならない。Ｃｈａｍｆｅｒ距離の場合、この可換な特性は保持せず、そのためＣｈａｍｆｅｒ距離はメトリックでない。したがって、いくつかの実施形態では、２つの距離値、すなわちＡからＢへのＣｈａｍｆｅｒ距離およびＢからＡへのＣｈａｍｆｅｒ距離の最大値が使用されて、２つのエッジマップ間の最終的な有効距離を獲得する。手短にいえば、Ｃｈａｍｆｅｒ距離（エッジマップＡ，エッジマップＢ）は、Ｃｈａｍｆｅｒ距離（エッジマップＢ，エッジマップＡ）と等しい必要がない。したがって、いくつかの実施形態では、エッジマップＡとエッジマップＢとの間で使用される最終的な距離尺度は、ｍａｘ（Ｃｈａｍｆｅｒ距離（エッジマップＡ，エッジマップＢ），Ｃｈａｍｆｅｒ距離（エッジマップＢ，エッジマップＡ））である。また、いくつかの実施形態では、これらの距離値が全ての８つの条件について一度計算されると、最も小さい距離値をもたらす条件が選択される。

図１４は、８つの計算された距離値の例である。（第１の画像および第２の画像の変換されたバージョン間に使用される距離関数は、Ｃｈａｍｆｅｒ距離に基づくそれらのエッジマップの関数である。）その例によれば、最良の変換が、７．４１の回転角を使用するものであることが見いだされる。第１の変換条件が最小のＣｈａｍｆｅｒ距離をもたらすので、第１の変換条件が選択される。

図１５は、図５のブロック６１２の実施形態を図示する。ここで、グローバル変換パラメータが計算された後で、位置合わせされた画像が、共通グリッド上に表示される（ブロック６１２ｃ、図６）。より具体的には、実施形態では、図１５は、共通の大きい画像グリッド上にマッピングされるＨＥおよびＩＨＣ画像を図示し、図１５Ａ中のものの場合、グリッドの中心は、ソフトに重み付けされたフォアグラウンドＨＥ画像共通グリッドの、モーメントベースの中心と一致し、図１５Ｂ中のものの場合、グリッドの中心は、ソフトに重み付けされたフォアグラウンドＩＨＣ画像の、モーメントベースの中心と一致する。第１の（例えば、ソース）画像および第２の（例えば、ターゲット）画像の、変換されたバージョンの両方を含む共通グリッドは、第１の画像中のマークされた領域に基づいて、第２の画像中の任意の領域を復元するのに有用であることができる。

相互画像注釈（ブロック６２０、６２２、図５）は、両方の画像を含む、この大きい共通グリッドが獲得されるときに生じることができる。例えば、いくつかの実施形態では、図１６に示されるように、（第１の画像中の）ユーザがマークした点は、最初に、大きいグリッド中の一致領域にマッピングされ得、次いで、大きいグリッド中の点が、第２の画像中の対応する位置にマッピングされる。したがって、記載された実施形態では、第１の画像は、病理学者がいくつかの領域をマークした画像である。相互画像注釈は、８つの条件から獲得された最良の変換（例では、回転角７．４１）を使用することにより達成され、例では、その中心にソフトに重み付けされたフォアグラウンド画像を含む、大きい、共通の画像グリッドに達する。大きい、共通のグリッドに達するプロセスは、例えば以下のように、より具体的に記載され得る。

ソース画像１を、Ｍ１行およびＮ１列を有する画像であるとし、その図心の位置を、（ｘ１，ｙ１）であるとする。次いで、画像１の最も左の点および最も右の点からの図心の距離は、（ｘ１−０）および（Ｎ１−１−ｘ１）である。同様に、画像１の最も上の点および最も下の点からの図心の距離は、（ｙ１−０）および（Ｍ１−１−ｙ１）である。ターゲット画像、画像２について、そのサイズが、Ｍ２行Ｎ２列であるとする。その図心の位置を（ｘ２，ｙ２）であるとする。次いで、画像２の最も左の点および最も右の点からの図心の距離は、（ｘ２−０）および（Ｎ２−１−ｘ２）である。同様に、画像２の最も上の点および最も下の点からの図心の距離は、（ｙ２−０）および（Ｍ２−１−ｙ２）である。画像１および画像２は、大きい共通グリッドの中心が、画像１および画像２両方の中心と一致するように、共通の大きいグリッド上に配置される。したがって、大きい共通グリッド中の図心からその境界点（最も左、最も右、最も上、または最も下）のいずれかへの最大距離は、これら８つの項｛（ｘ１−０），（Ｎ１−１−ｘ１），（ｙ１−０），（Ｍ１−１−ｙ１），（ｘ２−０），（Ｎ２−１−ｘ２），（ｙ２−０），（Ｍ２−１−ｙ２）｝の最大値である。この最大距離項をｄにより示されるものとする。次いで、大きい共通グリッドのサイズ＝２＊ｄ＋１、サイド毎である。このグリッドは正方グリッドであり、したがって大きい共通グリッドは、２＊ｄ＋１行および２＊ｄ＋１列を有する。

図１６に見られ得るように、第１の画像中にマークされたユーザのマークした点と、第２の画像中に復元された点との間に、わずかな不一致がある可能性がある。そのような場合、精密位置合わせモジュール（ブロック６２４、図５）が実装され、注釈位置をさらに改良することができる。一般的に、いくつかの実施形態では、精密な位置合わせプロセスは、第１の画像中のユーザがマークした領域の周りに第１のウィンドウを規定するステップと、第２の画像中に第２のウィンドウを規定するステップであって、第２のウィンドウが第１のウィンドウよりも大きいが、共通グリッド上で第１のウィンドウと実質的に共設されるステップと、第２のウィンドウ中で第１のウィンドウのための最適位置を計算するステップとを含む。いくつかの実施形態では、第２のウィンドウ中の第１のウィンドウの位置は、最良の一致を識別するために、第２のウィンドウ内で第１のウィンドウとサイズの面で等しい、または実質的に等しいウィンドウを繰り返し偏移することにより最適化される。記載される精密な位置合わせプロセスの実施形態は、図１７および図１８を参照し、下の例によって提供される。

図１７および図１８に示されるように、以下である。
・点Ｑが画像１の中でマークされると、それは、画像１に対応する大きいグリッドの中の点Ｐに対応して示される（点Ｐおよび点Ｑの定義については、図１７参照）。

・粗い変換が正確である場合、取り出される点についての最良の選択は、大きいグリッドの中でＰに近いことになる。
・最も良好に一致する点の可能性がある候補を見いだすため、大きいグリッドの中の点Ｐの周りに、Ｗ×Ｗ（画素×画素）（Ｗ＝３００とする）のウィンドウを考える。各々の場合に、画像１を考えた大きいグリッドの中の点Ｐの周りのＬ×Ｌ（画素×画素）（Ｌ＝３７５とする）の領域、および画像２を考えた大きいグリッドの中の各々の新しい偏移された点の周りのＬ×Ｌ領域を考える（図１８では、Ｗ＝３００、およびＬ＝３７５が使用される）。

・これらのＬ×Ｌ領域中の局所的エッジマップに基づいて、局所的なＣｈａｍｆｅｒ処理が行われ、粗い一致の結果を最適に偏移するため、最小コストウィンドウが選択される。

・例として、Ｌ−Ｗ＝７５であり、最良の可能性のある偏移が５画素の増分で探索される場合、探索点の総数＝（７５／５）^２＝２２５である（５の選択は、計算の複雑さを減少させるためである。１画素の偏移は、７５×５＝５６２５のデータ点をもたらすことになる）。計算の観点から、エッジマップおよび２２５の探索点の各々についてのエッジマップの距離変換は、計算量的に厳しい場合がある。したがって、いくつかの実施形態では、可能性のある計算上の問題は、全エッジマップの距離変換を計算して記憶することにより対処される。次いで、いくつかの実施形態では、好適なウィンドウは、計算をスピードアップするために、エッジ画像および距離変換画像からクロップされる。いくつかの実施形態では、好適なウィンドウは十分に大きく、その結果、２つの画像中で２つの領域が比較されるとき、第１の画像の中の所与のテンプレートウィンドウについて第２の画像中に正しいウィンドウが見いだされるときを明確に決定するために、これらのウィンドウ化された領域中に十分なエッジベースの内容が存在する。ウィンドウサイズが非常に小さい場合、「テンプレートウィンドウと探索ウィンドウ」間の距離が十分に小さい可能性があり、探索画像中で最良のウィンドウを識別することが困難である可能性がある。一方、より大きいウィンドウサイズは、計算の複雑さを増加させることになる。言い換えれば、エッジマップ計算および（局所的な領域に基づく）あらゆるエッジマップについての距離変換は、計算量的に厳しい場合がある。したがって、いくつかの実施形態では、画像１および画像２が大きい画像グリッドに両方ともマッピングされ、画像１および画像２について、エッジマップが一度計算され、その後それらの距離変換行列が保存される。いくつかの実施形態では、局所的な領域（ウィンドウ）が考慮されるとき、エッジマップおよび距離変換マップのクロップされたバージョンが使用される。したがって、局所的な領域のために、エッジマップおよび距離変換マップを再計算することが回避され得る。

・２値画像（エッジマップ画像）の距離変換は、その全体が参照により本明細書に組み込まれる、Ｂｏｒｇｅｆｏｒｓ，Ｇｕｎｉｌｌａ著、「ＤｉｓｔａｎｃｅＴｒａｎｓｆｏｒｍａｔｉｏｎｓＩｎＤｉｇｉｔａｌＩｍａｇｅｓ（デジタル画像中の距離変換）」、ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，Ｇｒａｐｈｉｃｓ，ａｎｄＩｍａｇｅ
Ｐｒｏｃｅｓｓｉｎｇ，３４．３（１９８６）：３４４−３７１（Ｃｏｍｐｕｔｅｒ
Ｖｉｓｉｏｎ，Ｇｒａｐｈｉｃｓ，ａｎｄＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ、３４巻３号（１９８６年）、３４４〜３７１頁に記載される式を使用して計算され得る。［００８９］に記載されるように、距離変換と関連するユニットは存在しない。言及される距離は、画素の数に関していることが含意される。所与の画像画素における距離変換値は、その画素から、最も近いＯＮ画像画素（ＯＮ画素は、エッジマップ中で１の値を有す
る画素である。すなわちＯＮ画素は、エッジ点である）への距離である。

・ウィンドウのサイズは、ユーザによりマークされる、または画像１の中に既に存在する、入力注釈のサイズに依存する。例えば、分析が行われるスケール（例えば２×の解像度）で、ユーザが６０×７０画素のサイズの注釈をマークした場合、ソース画像（画像１）の中のウィンドウをターゲット画像の中のそれを囲む領域と比較するために使用されるウィンドウサイズは、やはり６０×７０である。図１６、図１７、および図１８に示されるように、一度粗い位置合わせが行われると、２つの画素は、互いにほぼ整合され、一致した画像の両方が同じグリッド上に重ね合わされる。図１８に呈示されるように、このことが、最良に一致したウィンドウを見いだすため近くの領域を探索する役に立つ。

コンピュータは、典型的には、プロセッサ、オペレーティングシステム、システムメモリ、メモリ記憶デバイス、入出力コントローラ、入出力デバイス、および表示デバイスなどの、知られた構成要素を含む。コンピュータの多くの可能な構成および構成要素が存在すること、キャッシュメモリ、データバックアップユニットおよび多くの他のデバイスも含み得ることは、やはり当業者により理解されよう。入力デバイスの例は、キーボード、カーソル制御デバイス（例えば、マウス）、マイクロフォン、スキャナなどを含む。出力デバイスの例は、表示デバイス（例えば、モニタまたはプロジェクタ）、スピーカ、プリンタ、ネットワークカードなどを含む。表示デバイスは、視覚情報を提供する表示デバイスを含み得、この情報は、典型的には、画素の配列として、論理的および／または物理的に組織化され得る。入出力インターフェイスを提供するため、様々な知られたまたは将来のソフトウェアプログラムのいずれかを含み得るインターフェイスコントローラがやはり含まれ得る。例えば、インターフェイスは、ユーザに１つまたは複数のグラフィカル表現を提供する、「グラフィカルユーザインターフェイス」と一般的に呼ばれる（しばしば、ＧＵＩと呼ばれる）ものを含むことができる。インターフェイスは、典型的には、当業者に知られている、選択または入力の手段を使用してユーザの入力を受け入れることが可能である。インターフェイスは、タッチスクリーンデバイスであってもよい。同じまたは代替実施形態では、コンピュータ上のアプリケーションは、「コマンドラインインターフェイス」と呼ばれる（しばしば、ＣＬＩと呼ばれる）ものを含むインターフェイスを採用することができる。ＣＬＩは、典型的には、アプリケーションとユーザとの間に、テキストベースの相互作用を提供する。典型的には、コマンドラインインターフェイスは、表示デバイスを通してテキストの列として、出力を提示し、入力を受け入れる。例えば、いくつかの実装は、当業者に知られているＵｎｉｘＳｈｅｌｌ、またはＭｉｃｒｏｓｏｆｔ．ＮＥＴｆｒａｍｅｗｏｒｋなどのオブジェクト指向型プログラミングアーキテクチャを採用するＭｉｃｒｏｓｏｆｔＷｉｎｄｏｗｓＰｏｗｅｒｓｈｅｌｌなどの「シェル」と呼ばれるものを含むことができる。当業者は、インターフェイスが、１つまたは複数のＧＵＩ、ＣＬＩ、またはそれらの組合せを含み得ることを理解されよう。プロセッサは、ＩｎｔｅｌＣｏｒｐｏｒａｔｉｏｎにより作られる、Ｃｅｌｅｒｏｎ、Ｃｏｒｅ、もしくはＰｅｎｔｉｕｍプロセッサ、ＳｕｎＭｉｃｒｏｓｙｓｔｅｍｓにより作られるＳＰＡＲＣプロセッサ、ＡＭＤＣｏｒｐｏｒａｔｉｏｎにより作られる、Ａｔｈｌｏｎ、Ｓｅｍｐｒｏｎ、Ｐｈｅｎｏｍ、もしくはＯｐｔｅｒｏｎプロセッサなどの市販のプロセッサを含むことができ、またはプロセッサは、利用可能である、もしくは利用可能となる他のプロセッサのうちの１つであってよい。プロセッサのいくつかの実施形態は、マルチコアプロセッサと呼ばれるものを含み、かつ／または単一コア構成もしくはマルチコア構成中の並列処理技術を採用することができる。例えば、マルチコアアーキテクチャは、典型的には、２つ以上のプロセッサ「実行コア」を備える。今回の例では、各実行コアは、複数のスレッドの並列実行を可能にする独立したプロセッサとして実施することができる。加えて、当業者は、プロセッサが一般的に３２ビットまたは６４ビットアーキテクチャと呼ばれるもの、または知られていないもしくは将来に開発され得る他のアーキテクチャ構成で構成され得ることを理解されよう。プロセッサは、典型的には、例えば、Ｍｉｃｒｏ
ｓｏｆｔＣｏｒｐｏｒａｔｉｏｎからのＷｉｎｄｏｗｓタイプのオペレーティングシステム、ＡｐｐｌｅＣｏｍｐｕｔｅｒＣｏｒｐ．からのＯＳＸオペレーティングシステム、多くのベンダから入手可能またはオープンソースと呼ばれるＵｎｉｘまたはＬｉｎｕｘ（登録商標）タイプのオペレーティングシステム、別のもしくは将来のオペレーティングシステム、またはそれらのいくつかの組合せであってよい、オペレーティングシステムを実行する。オペレーティングシステムは、ファームウェアおよびハードウェアをよく知られたやり方でインターフェイス接続し、様々なプログラミング言語で書かれ得る様々なコンピュータプログラムの機能をプロセッサが協調および実行することを容易にする。オペレーティングシステムは、典型的には、プロセッサと協働して、コンピュータの他の構成要素の機能を協調および実行する。オペレーティングシステムは、全て知られている技法に従って、スケジューリング、入出力制御、ファイルおよびデータ管理、メモリ管理、ならびに通信制御および関連サービスをやはり提供する。システムメモリは、所望の情報を記憶するために使用され得、またコンピュータによりアクセスされ得る、様々な知られているもしくは将来のメモリ記憶デバイスのいずれかを含むことができる。コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報の記憶のための任意の方法または技術で実装される、揮発性および不揮発性、リムーバブルおよび非リムーバブルな媒体を含むことができる。例は、任意の一般的に入手可能なランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、電気的消去プログラム可能読取り専用メモリ（ＥＥＰＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、常駐型ハードディスクもしくはテープなどの磁気媒体、読取りおよび書込みコンパクトディスクなどの光学媒体、または他のメモリ記憶デバイスを含む。メモリ記憶デバイスは、コンパクトディスクドライブ、テープドライブ、リムーバブルハードディスクドライブ、ＵＳＢもしくはフラッシュドライブ、またはディスケットドライブを含む、様々な知られているもしくは将来のデバイスのうちのいずれかを含むことができる。そのようなタイプのメモリ記憶デバイスは、典型的には、それぞれ、コンパクトディスク、磁気テープ、リムーバブルハードディスク、ＵＳＢもしくはフラッシュドライブ、またはフロッピーディスケットなど、プログラム記憶媒体との間で読み取りおよび／または書き込む。これらのプログラム記憶媒体のいずれか、または現在使用される他のもの、または後で開発される可能性のあるものは、コンピュータプログラム製品と考えられ得る。理解されるように、これらのプログラム記憶媒体は、典型的には、コンピュータソフトウェアプログラムおよび／またはデータを記憶する。コンピュータ制御ロジックとも呼ばれるコンピュータソフトウェアプログラムは、典型的には、システムメモリおよび／またはメモリ記憶デバイスと組み合わせて使用されるプログラム記憶デバイス中に記憶される。いくつかの実施形態では、コンピュータプログラム製品は、その中に記憶される制御ロジック（プログラムコードを含む、コンピュータソフトウェアプログラム）を有するコンピュータ使用可能媒体を備えて記載される。

プロセッサにより実行されると、制御ロジックは、プロセッサに本明細書に記載される機能を実施させる。他の実施形態では、いくつかの機能は、主に、例えばハードウェア状態機械を使用してハードウェアに実装される。本明細書に記載される機能を実施するようなハードウェア状態機械の実装は、当業者には明らかであろう。入出力コントローラは、人間であろうと機械であろうと、ローカルであろうとリモートであろうと、ユーザからの情報を受け入れて処理するための、様々な知られているデバイスのいずれかを含むことができる。そのようなデバイスは、例えば、モデムカード、ワイヤレスカード、ネットワークインターフェイスカード、サウンドカード、または様々な知られている入力デバイスのうちのいずれかのための他のタイプのコントローラを含む。出力コントローラは、人間であろうと機械であろうと、ローカルであろうとリモートであろうと、ユーザに情報を提示するための、様々な知られている表示デバイスのいずれかのためのコントローラを含むことができる。現在記載される実施形態では、コンピュータの機能要素は、システムバスを介して互いに通信する。コンピュータのいくつかの実施形態は、ネットワークまたは他の
タイプの遠隔通信を使用して、いくつかの機能要素と通信することができる。当業者には明らかとなるように、ソフトウェアに実装される場合に、器具制御および／またはデータ処理アプリケーションは、システムメモリおよび／またはメモリ記憶デバイスへとロードされ、システムメモリおよび／またはメモリ記憶デバイスから実行され得る。器具制御および／またはデータ処理アプリケーションの全部または部分は、読取り専用メモリまたはメモリ記憶デバイスの同様のデバイス中に常駐することもでき、そのようなデバイスは、器具制御および／またはデータ処理アプリケーションが入出力コントローラを通して最初にロードされる必要がない。器具制御および／もしくはデータ処理アプリケーション、またはその部分が、実行に有利なので、プロセッサによって、知られているやり方でシステムメモリもしくはキャッシュまたはその両方へとロードされ得ることが、当業者により理解されよう。また、コンピュータは、システムメモリ中に記憶される、１つまたは複数のライブラリファイル、実験データファイル、およびインターネットクライアントを含むことができる。例えば、実験データは、検出された信号値、または１つもしくは複数の合成によるシークエンシング（ＳＢＳ）実験もしくはプロセスに関連する他の値など、１つもしくは複数の実験またはアッセイに関係するデータを含むことができる。加えて、インターネットクライアントは、ネットワークを使用して別のコンピュータ上のリモートサービスにアクセスすることを可能にされたアプリケーションを含むことができ、例えば、「ウェブブラウザ」と一般的に呼ばれるものを含むことができる。今回の例では、いくつかの一般的に採用されるウェブブラウザは、ＭｉｃｒｏｓｏｆｔＣｏｒｐｏｒａｔｉｏｎから入手可能なＭｉｃｒｏｓｏｆｔＩｎｔｅｒｎｅｔＥｘｐｌｏｒｅｒ、ＭｏｚｉｌｌａＣｏｒｐｏｒａｔｉｏｎからのＭｏｚｉｌｌａＦｉｒｅｆｏｘ、ＡｐｐｌｅＣｏｍｐｕｔｅｒＣｏｒｐ．からのＳａｆａｒｉ、ＧｏｏｇｌｅＣｏｒｐｏｒａｔｉｏｎからのＧｏｏｇｌｅＣｈｒｏｍｅ、または当技術分野で現在知られている、もしくは将来開発される他のタイプのウェブブラウザを含む。また、同じもしくは他の実施形態では、インターネットクライアントは、生物学的アプリケーションのためのデータ処理アプリケーションなど、ネットワークを介して遠隔情報にアクセスすることが可能にされる専用ソフトウェアアプリケーションを含むことができ、または専用ソフトウェアアプリケーションの要素であることができる。ネットワークは、当業者によく知られている、多くの様々なタイプのネットワークのうちの１つまたは複数を含むことができる。例えば、ネットワークは、通信するのに、ＴＣＰ／ＩＰプロトコルスイートと一般的に呼ばれるものを採用することができる、ローカルエリアネットワークまたはワイドエリアネットワークを含むことができる。ネットワークは、インターネットを一般的に呼ばれる、相互接続されたコンピュータネットワークの世界的なシステムを含むネットワークを含むことができ、または様々なイントラネットアーキテクチャを含むことがやはりできる。ネットワーク環境中のいくつかのユーザが、ハードウェアおよび／またはソフトウェアシステムとの間の情報トラフィックを制御するため、「ファイアウォール」と一般的に呼ばれるもの（ときどき、パケットフィルタ、または境界保護デバイスとも呼ばれる）を採用することを選好できることを、当業者はやはり理解されよう。例えば、ファイアウォールは、ハードウェアもしくはソフトウェア要素またはそれらのいくつかの組合せを含むことができ、典型的には、例えばネットワーク管理者などの、ユーザにより設置されたセキュリティポリシーを施行するように設計される。いくつかの実施形態が記載されてきたが、当業者は、さらに他の実施形態がこの開示により包含されることを理解する。上に記載された実施形態に、その幅広い発明概念から逸脱することなく変更がなされ得ることが、当業者によって理解されよう。したがって、この開示および発明概念は、開示された特定の実施形態に限定されず、添付の請求項に規定されるように含む発明概念の精神および範囲内の、変更形態をカバーすることが意図されることが理解される。したがって、様々な実施形態の上の記載は、必ずしも排除を暗示しない。例えば、「いくつかの」実施形態または「他の」実施形態は、この発明の範囲内の、「いくつかの」、「他の」、「さらなる」、および「一定の」実施形態の全部または部分を含むことができる。

本開示の例示的な実施形態の上記の開示は、説明および記載のために提示されてきた。上記の開示が、網羅的であることまたは開示された正確な形に本開示を制限することは、意図されない。本明細書に記載される実施形態の多くの変形形態および修正形態は、上の開示に照らせば、当業者には明らかとなろう。本開示の範囲は、本明細書に添付される請求項、およびそれらの等価物によってのみ規定されるべきである。

さらに、本開示の代表的な実施形態の記載では、明細書は、本開示の方法および／またはプロセスを、特定のシーケンスのステップとして提示した場合がある。しかし、本方法またはプロセスが本明細書に記載された特定の順番のステップに依拠しない限り、本方法またはプロセスは、記載された特定のシーケンスのステップに制限されるべきでない。当業者が理解するように、他のシーケンスのステップが可能であってよい。したがって、明細書に記載された特定の順番のステップは、請求項への制限として解釈されるべきでない。加えて、本開示の方法および／またはプロセスに関する請求項は、書かれた順番におけるそれらのステップの性能に制限されるべきでなく、当業者は、シーケンスが変更され、依然として本開示の精神および範囲内のままであることができることを容易に理解することができる。

Claims

プロセッサ（１２５）と、
前記プロセッサ（１２５）に結合されるコンピュータ可読媒体（１１０）と
を備え、
前記コンピュータ可読媒体（１１０）は、前記プロセッサ（１２５）により実行されると、前記プロセッサ（１２５）に、
染色アッセイの画像上にマスクを投影するステップであって、前記マスクが複数の解剖学的アッセイの画像から生成され、
アッセイが、スライド上に置かれた生物標本を備え、
前記染色アッセイが、染色及びバイオマーカの１つ又は複数の組み合わせで染色されたアッセイを備え、
解剖学的アッセイの画像が、筋肉組織（452）、リンパ節（453）、及び、腫瘍腺（454）の輪郭及び形状を描き、
前記染色アッセイの画像上にマスクを投影することが、前記マスクを、前記染色アッセイの画像と位置合わせすることを含み、
前記解剖学的アッセイが、第１の巨視的解剖学的アッセイと、前記第１の巨視的解剖学的アッセイに隣接する組織標本の切片の第２の微視的解剖学的アッセイとを含み、
前記マスクが、前記第２の微視的解剖学的アッセイの画像と位置合わせされた前記第１の巨視的解剖学的アッセイの画像を含み、
前記第１の巨視的解剖学的アッセイは巨視的解剖学的構造を含み、前記第２の微視的解剖学的アッセイは前記第１の巨視的解剖学的アッセイにおける前記巨視的解剖学的構造において検出された情報とは異なるスケールで検出される解剖学的情報を含み、前記第１の巨視的解剖学的アッセイの部分について詳細を提供し、
当該詳細が、前記第２の微視的解剖学的アッセイにおいてのみ表され、前記第１の巨視的解剖学的アッセイにおいては表されず、
前記マスクの生成は巨視的解剖学的特徴及び微視的解剖学的特徴を使用し、前記巨視的解剖学的特徴は、腫瘍、腫瘍の領域、腫瘍腺の輪郭、腫瘍の侵襲性マージン、原発腫瘍、及び転移部位のうちの１つ又は複数であり、前記微視的解剖学的特徴は、腫瘍内の特定の構造の存在である、ステップであって、
前記巨視的解剖学的特徴が、前記第１の巨視的解剖学的アッセイから検出された前記情報を分析することによって獲得され、
前記微視的解剖学的特徴が、前記第２の微視的解剖学的アッセイから検出された前記情報を分析することによって獲得され、
前記腫瘍内の特定の構造が、壊死、間質、微小血管、又は、個々の腺を含む、
ステップと、
前記マスクに基づいて、前記染色アッセイの画像中の対象の特徴を検出するステップであって、
前記染色アッセイの前記画像内の対象の特徴が、前記巨視的解剖学的特徴、及び、前記微視的解剖学的特徴を含み、
前記染色アッセイの前記画像内の前記対象の特徴を検出することが、
前記マスクが、それぞれの前記対象の特徴の分析のための解剖学的情報を提供することによって達成される、
ステップと
を含む動作を実施させる命令を記憶し、
前記染色アッセイ及び１つ又は複数の解剖学的アッセイの画像が、同じ組織標本（２３０）からの組織片の画像に対応する、システム（１００）。
前記動作が、前記複数の解剖学的アッセイ及び前記染色アッセイの画像間の共通の特徴を決定するステップと、前記染色アッセイの画像及び前記複数の解剖学的アッセイの画像について共通の位置合わせを達成するステップとをさらに含み、
前記複数の解剖学的アッセイ及び前記染色アッセイの画像間の共通の特徴が、
前記複数の解剖学的アッセイ及び前記染色アッセイの前記画像の間で共通に共用される、
特徴、巨視的解剖学的特徴、及び、微視的解剖学的特徴を含む、
請求項１に記載のシステム（１００）。
前記画像の領域が、前記マスク内に表され、前記画像が、前記染色アッセイの前記画像を含む、請求項１又は２に記載のシステム（１００）。
前記染色アッセイ内の前記対象の特徴の位置と、前記領域内の前記対象の特徴の位置の間の共通の位置合わせを発見することによって、前記対象の特徴の位置を前記領域と関連付けるステップをさらに含む、請求項３に記載のシステム（１００）。
前記染色アッセイは、前記組織標本（２３０）の複数の隣接スライド（２３１−２３４）に対応する複数の染色アッセイのうちの１つである、請求項１から４のいずれかに記載のシステム（１００）。
前記複数の染色アッセイおよび前記１つ又は複数の解剖学的アッセイの前記画像が、前記複数の染色アッセイの前記画像と、前記１つ又は複数の解剖学的アッセイの間の、共通の位置合わせを発見することによって位置合わせされる、請求項５に記載のシステム（１００）。
請求項６の前記位置合わせが、前記複数の染色アッセイの前記画像と、前記画像と、の前記位置の間の、共通の位置合わせを発見することによって、前記複数の染色アッセイの前記画像を、前記１つ又は複数の解剖学的アッセイの前記画像とともに、前記複数の染色アッセイの前記画像の中心に配置することによって達成される、請求項６に記載のシステム（１００）。
前記複数の解剖学的アッセイの画像の一部が、前記マスク内に表される、請求項１に記載のシステム（１００）。
前記巨視的解剖学的特徴が、前記画像の一部の中に表される、請求項８に記載のシステム（１００）。
前記微視的解剖学的特徴が、前記画像の前記一部の中に表され、及び／又は、前記１つ又は複数の解剖学的アッセイの前記画像の前記一部が、インターフェイスを介してユーザ選択可能である、請求項８に記載のシステム（１００）。
プロセッサ（１２５）により実行されて、
組織標本（２３０）に対応する染色アッセイの画像に関する、１つ又は複数の対象の特徴についての問い合わせを受け取るステップと、
前記問い合わせに基づいて、同じ組織標本（２３０）からの組織の試料に対応する解剖学的アッセイの複数の画像から生成された解剖学的マスクを取り出すステップであって、
アッセイが、スライド上に置かれた生物標本を備え、
前記染色アッセイが、染色及びバイオマーカの１つ又は複数の組み合わせで染色されたアッセイを備え、
解剖学的アッセイの画像が、筋肉組織（452）、リンパ節（453）、及び、腫瘍腺（454）の輪郭及び形状を描き、
前記解剖学的アッセイが、第１の巨視的解剖学的アッセイと、前記第１の巨視的解剖学的アッセイに隣接する組織標本の切片の第２の微視的解剖学的アッセイとを含み、
前記マスクが、前記第２の微視的解剖学的アッセイの前記画像と位置合わせされた、前記第１の巨視的解剖学的アッセイの前記画像を含み、
前記第１の巨視的解剖学的アッセイは巨視的解剖学的構造を含み、前記第２の微視的解剖学的アッセイは前記第１の巨視的解剖学的アッセイにおける前記巨視的解剖学的構造とは異なるスケールで検出される解剖学的情報を含み、前記第１の巨視的解剖学的アッセイの部分について詳細を提供し、当該詳細が、前記第２の微視的解剖学的アッセイの中においてのみ表されるが、前記第１の巨視的解剖学的アッセイの中には表されず、
前記マスクの生成は巨視的解剖学的特徴及び微視的解剖学的特徴を使用し、前記巨視的解剖学的特徴は、腫瘍、腫瘍の領域、腫瘍腺の輪郭、腫瘍の侵襲性マージン、原発腫瘍、及び転移部位のうちの１つ又は複数であり、前記微視的解剖学的特徴は、腫瘍内の特定の構造の存在である、ステップと、
前記解剖学的マスクを前記染色アッセイの前記画像上に投影するステップであって、
前記染色アッセイの画像内の前記対象の特徴を検出することが、前記マスクが、それぞれの前記対象の特徴の分析のための解剖学的情報を提供することによって達成され、
前記解剖学的マスクを前記染色アッセイの前記画像上に投影するステップが、前記マスクを、染色アッセイの前記画像と位置合わせするステップを含み、
前記解剖学的マスクと一致する前記染色アッセイ中の任意の対象の特徴が、分析のために選択され、
前記巨視的解剖学的特徴が、前記第１の巨視的解剖学的アッセイから検出された前記情報を分析することによって獲得され、
前記微視的解剖学的特徴が、前記第２の微視的解剖学的アッセイから検出された前記情報を分析することによって獲得され、
前記腫瘍内の特定の構造が、壊死、間質、微小血管、又は、個々の腺を含み、
前記染色アッセイの前記画像内の対象の特徴が、前記巨視的解剖学的特徴、及び、前記微視的解剖学的特徴を含む、
ステップと
を含む動作を実施するコンピュータ可読コードを記憶する有形非一時的コンピュータ可読媒体（１１０）。
前記解剖学的マスクが、腫瘍中心、細胞核、及び組織タイプのうちの１つ又は複数をさらに識別する、請求項１１に記載のコンピュータ可読媒体（１１０）。
前記１つ又は複数の対象の特徴が、遺伝子発現、タンパク質発現、及び免疫細胞の母集団の任意の組合せを含む、請求項１２に記載のコンピュータ可読媒体（１１０）。
前記染色アッセイが、乳癌患者のための、アッセイの胸のパネルの部分であり、
前記胸のパネルが、エストロゲン、プロゲステロン受容体、又は、増殖マーカを含むアッセイで染色された複数のスライドを含む、
請求項１１から１３のいずれかに記載のコンピュータ可読媒体（１１０）。
前記１つ又は複数の対象の特徴が、エストロゲン受容体、プロゲステロン受容体、及び増殖マーカの任意の組合せを含む、請求項１４に記載のコンピュータ可読媒体（１１０）。