JP2024505149A - 合成画像集合を生成する為の装置とシステムと方法 - Google Patents

Abstract

３Ｄデジタル顕微鏡合成画像集合の為の装置とシステムと方法。顕微鏡は、第１ラベリング技術を使用して試料の深さスタックを捕捉する。訓練済み機械学習モデルは、画像処理済み深さスタックに基づいて合成画像深さスタックを生成する。合成深さスタックは、対象の組織構造を標的とする第２ラベリング技術による外観を模倣したものである。合成深さスタックに基づいてセグメント化マスクが生成される。機械学習モデルは、第１と第２の両方のラベリング技術で準備された試料の深さスタックにおいて訓練され得る。

Description

関連出願の相互参照
本出願は、２０２１年１月１２日出願の米国仮出願第６３／１３６，６０５号の先行出願日についての米国特許法第１１９条に基づく利益を請求し、いかなる目的でもその内容全体が参照により本明細書に完全に援用される。

研究開発に関する陳述
本発明は、国防総省により付与されたＷ８１ＸＷＨ－１８－１０３５８に基づく、また国立科学財団により付与された１９３４２９２に基づく政府支援により行われた。政府は本発明に一定の権利を有する。

本発明の実施形態は、概ね画像解析に、とりわけ顕微鏡画像のセグメント化に関する。

組織標本の三次元（３Ｄ）顕微鏡検査では大量の高解像度マイクロスケール構造情報がもたらされ、これは重要な生物学的発見につながるか臨床分析に使用され得る。生物学的研究と臨床分析の両方について、大きな３Ｄ顕微鏡検査データ集合を解析する際の第１ステップは、最初に、主要な組織構造が定量化され得るようにこれらの構造を抽出（又はセグメント化）することである。例えば、免疫細胞など特定の細胞タイプをセグメント化して、その空間分布と、腫瘍細胞など他の細胞タイプとの関係とを定量化することが必要である。同様に、疾患悪性度（つまり予後）を予測し得るか特定の治療形態への反応を予測し得る量的「特徴」（幾何学的パラメータ）を抽出する為に、血管又は腺などの組織構造をセグメント化することは有益であり得る。このような構造をセグメント化するようにコンピュータ機械学習モデルを訓練するには、専門家の人がこれらの構造を自力で概説する多数の「注釈」を入手してコンピュータを訓練することが大抵は必要である。これは労働集約的かつ主観的である。人による注釈は常に主観的かつ不完全であり、例えば、病理学者の間での大きな「観察者間変動」が出版物に示されている。人による注釈に基づく臨床分析又は生物学的解析はそれゆえ、人である観察者による先入観を受ける。代わって、ある種の構造には、蛍光抗体などのトレーサでラベリングされ得る特定の分子バイオマーカが発現する。これらの免疫ラベリング画像は大抵、これらの特定ラベリング構造のより簡単なセグメント化を促進し得る。

米国特許出願公開第２０１９－０３８４０４７号

しかしながら、大きな抗体が長い距離にわたって拡散しなければならない肉厚の３Ｄ組織についてはとりわけ、これは（抗体の事例では）費用が高く、時間を要する。

少なくとも一つの態様において、本開示は、第１ラベリング技術及び第２ラベリング技術で第１組織試料をラベリングすることを含む方法に関する。第２ラベリング技術は対象の組織構造を標的とし、第１ラベリング技術は組織構造に対して低い特異性を有する。この方法は、組織の第１画像深さスタックを収集すること、第１ラベリング技術を使用した画像に基づいて第２ラベリング技術で外観が示される際に組織構造の合成画像を生成するように、第１画像深さスタックを使用して機械学習モデルを訓練すること、そして訓練済み機械学習モデルに基づいて、第１ラベリング技術で準備された第２組織試料の第２画像深さスタックの対象組織構造をセグメント化することも含む。

機械学習モデルは、第２画像深さスタックの被選択スライスを、被選択スライスに隣接するスライスとともに処理し得る。機械学習モデルはｖｉｄ２ｖｉｄ敵対的生成ネットワーク（ＧＡＮ）であり得る。第１ラベリング技術は、Ｈ＆Ｅ類似体、マッソントリクローム、過ヨウ素酸シッフ（ＰＡＳ）、４’，６－ジアミジノ－２－フェニルインドール（ＤＡＰＩ）、又は以上の組み合わせでのラベリングを含み、第２ラベリング技術は、アプタマー、抗体、ペプチド、ナノボディ、抗体フラグメント、酵素活性プローブ、蛍光インサイツハイブリダイゼーション（ＦＩＳＨ）プローブでのラベリングを含み得る。第１ラベリング技術、第２ラベリング技術、又はその組み合わせは、ラベルフリー画像処理を含み得る。第２ラベリング技術は、対象の組織構造と関連するバイオマーカを標的とし得る。

この方法は、第２画像深さスタックの特定済み対象構造に基づいて、症状を診断すること、症状を監視すること、症状の進行について予測を行うこと、治療反応について予測を行うこと、又は以上の組み合わせも含み得る。この方法は、第２及び第３画像深さスタックに基づいて、第２組織試料の第３画像深さスタックを取得することと、集積画像を生成することも含み得る。この方法は、第２深さスタックと機械学習モデルとに基づいて合成深さスタックを生成することも含み得る。合成深さスタックは、第２ラベリング技術で準備されたかのように第２組織の外観を予測し得る。この方法は、合成深さスタックに基づいて第２画像深さスタックの対象組織構造をセグメント化することを含み得る。

少なくとも一つの態様において、本開示は、組織試料の第１画像集合を生成すること、組織の第２画像集合を生成すること、そして第２画像集合の外観を予測した合成画像を第１画像集合から生成するように機械学習モデルを訓練することを含む方法に関し得る。第２集合は組織試料の対象組織構造の標的化ラベリングを含み、第１画像集合は組織構造に対する特異性が低い。

この方法は、第２組織試料の第３画像集合を生成することであって第３画像集合が対象組織構造に対する特異性が低いこと、そして第３画像集合における訓練済み機械学習モデルの使用に基づいて第３画像集合の対象組織構造をセグメント化することも含み得る。この方法は、機械学習モデルとして敵対的生成ネットワーク（ＧＡＮ）を訓練することも含み得る。第１画像集合と第２画像集合とは組織の深さスタックであり得る。この方法は、深さスタックの被選択スライスを深さスタックの近傍スライスとともに反復的に処理することに基づいて合成画像を生成するように機械学習モデルを訓練することも含み得る。

少なくとも一つの態様において、本開示は、第１ラベリング技術を使用して組織の画像深さスタックを画像処理することと、機械学習モデルを使用して画像処理済みの画像深さスタックから合成画像深さスタックを生成することとを含む方法に関し得る。合成画像深さスタックは、第２ラベリング技術を使用して準備されたかのように組織の外観を予測したものであり、第２ラベリング技術は対象の組織構造を標的とし、第１ラベリング技術は対象の組織構造に対する特異性が低い。

この方法は、合成画像深さスタックに基づいて対象の組織構造をセグメント化することも含み得る。この方法は、画像深さスタックに基づいて対象の組織構造をセグメント化することも含み得る。この方法は、合成画像深さスタックに基づいて症状を診断すること、症状を監視すること、症状の進行について予測を行うこと、又は以上の組み合わせも含み得る。この方法は、第１ラベリング技術及び第２ラベリング技術を使用して準備された組織の第２画像深さスタックに基づいて機械学習モデルを訓練することも含み得る。この方法は、オープントップライトシート顕微鏡を使用して組織の画像深さスタックを画像処理することも含み得る。

少なくとも一つの態様において、本開示は、第１ラベリング技術で準備された組織の画像深さスタックを生成する顕微鏡と、プロセッサと、メモリとを含む装置に関し得る。プロセッサによる実行時に、機械学習モデルを使用して画像処理済みの画像深さスタックから合成画像深さスタックをプロセッサに生成させる実行可能命令でメモリが符号化され、合成画像深さスタックは、第２ラベリング技術で準備されたかのように組織の外観を予測したものである。第２ラベリング技術は対象の組織構造を標的とし、第１ラベリング技術は対象の組織構造に対する特異性が低い。

組織は５μｍ以上の厚さを有し得る。顕微鏡はオープントップライトシート（ＯＴＬＳ）顕微鏡であり得る。第１ラベリング技術及び第２ラベリング技術で準備された第２組織の画像深さスタックにおいて、機械学習モデルが訓練され得る。第１ラベリング技術は、Ｈ＆Ｅ類似体、マッソントリクローム、過ヨウ素酸シッフ（ＰＡＳ）、４’，６－ジアミジノ－２－フェニルインドール（ＤＡＰＩ）、又は以上の組み合わせで組織をラベリングすることを含み、第２ラベリング技術は、アプタマー、抗体、ペプチド、ナノボディ、抗体フラグメント、酵素活性プローブ、及び蛍光インサイツハイブリダイゼーション（ＦＩＳＨ）プローブで組織をラベリングすることを含み得る。機械学習モデルは別のプロセッサにおいて訓練されてもよい。メモリは、プロセッサによる実行時に、合成画像深さスタックに基づいてセグメント化マスクを装置に生成させる命令も含み得る。メモリは、プロセッサによる実行時に、合成画像深さスタックと画像処理済みの画像深さスタックとに基づいてセグメント化マスクを装置に生成させる命令も含み得る。

本開示の幾つかの実施形態による光学システムのブロック図である。 本開示の幾つかの実施形態による機械学習モデル訓練方法である。 本開示の幾つかの実施形態による画像処理方法が描かれたフロー図である。 本開示の幾つかの実施形態による合成画像生成方法のフローチャートである。 本開示の幾つかの実施形態による合成画像セグメント化方法のフローチャートである。 本開示の幾つかの実施形態による合成画像セグメント化を示す一組の画像例である。 本開示の幾つかの実施形態による一組の画像例である。 本開示の幾つかの実施形態による方法である。

ある実施形態についての以下の記載は、性質上は例示的に過ぎず、本開示の範囲又はその用途や使用を制限する意図は全くない。本システム及び方法の実施形態についての以下の詳細な記載では、その一部を成すものであって、記載のシステム及び方法が実践され得る特定の実施形態が例として示されている添付図面が参照される。これらの実施形態は、ここに開示されるシステム及び方法を当業者が実施できるのに充分なほど詳細に記載され、他の実施形態が利用されてもよいことと、開示の趣旨及び範囲を逸脱せずに構造的及び論理的な変更が行われ得ることとが理解されるはずである。また、明瞭化を目的として、本開示の実施形態についての記載を曖昧にしないように、ある特徴が当業者には明白である時にはその詳細な記載は記されない。以下の詳細な記載は、それゆえ、限定の意味で解釈されてはならず、開示の範囲は添付の請求項のみにより規定される。

明細書全体で、様々な値の例が挙げられる。現実世界のシステムでは完璧な整合は可能でないのでこれらの値が近似値であることが理解されるべきである。ゆえに「垂直な(normal)」又は「直交する(orthogonal)」などの値は、実際値が所望の角度の公差内である場合には「およそ９０°」と解釈されるべきである。例えば、直交していると記載されている二つの物は、互いに対して８５～９５°のどこかに位置し得る。他の角度及び測定値も同様に解釈されるべきである。

顕微鏡は、通常は、裸眼では普通視認できない視野及び／又は解像度で試料の画像を作成するのに多様な用途で使用され得る。照射光は、照射光学素子で試料へ向けられ得る。収集光学素子は、試料から検出器（例えば、ＣＣＤ検出器、ＣＭＯＳ検出器、又は使用者の両眼）への光を収集するのに使用され得る。

試料の一以上の対象特徴を強調するのに、試料準備及び画像処理技術（ここではまとめてラベリング技術と称する）の様々な組み合わせが使用され得る。幾つかのラベリング技術は、対象の組織構造を確実に標的にし得る。例えば、蛍光抗体はそれが標的とする抗原に特異的に結合され、抗原は、周囲の組織とは異なる発現レベルを対象特徴に有するものであり得る。このようなラベリング技術では、蛍光画像処理で視認された時に、蛍光抗体が対象組織構造に選択的に結合されるので対象組織構造は容易に判別可能である。他のラベリング技術はバイオマーカに対して低特異性であり得るが、それでも対象の組織構造を可視化するのに使用され得る。例えば、一般的な染色技術は、細胞質を一つの色で、核物質を異なる色で染色し得る。対象の組織構造を含めて様々な構造が明白であるが、しかしながら、他の周囲構造のラベリングが類似しているがゆえに判別はより困難であり得る。例えば、形態、全体的外観等に基づいて組織構造を特定するのに、顕微鏡専門家、生物学者、病理学者、及び／又は、対象の組織試料の専門知識を備える他の専門家が必要とされ、対象の組織構造の自動セグメント化は困難であり得る。

バイオマーカの標的化ラベリングを含むラベリング技術では対象特徴の比較的容易なセグメント化が可能であるが、顕著な欠点も見られる。例えば、標的化ラベリング技術は大抵、低特異性のラベリング技術と比べると、時間と費用を要するか、あまり実践的ではないか、その幾つかの組み合わせである。加えて、高特異性の標的化ラベルは、他の対象構造の可視化及びセグメント化を妨げ、複雑（かつ高費用）である多重化ラベリング及び画像処理戦略を必要とする。しかしながら、対象特徴のセグメント化は標的化ラベリング技術から生成された画像において最も効率的であり、このような技術を使用して生成される画像の外観は使用者にとって好都合である。低特異性のラベリング技術で準備された試料から捕捉された画像から、標的化ラベリング技術を使用して捕捉された画像のスタイルの画像を生成するのは有益であり得る。

本開示は、合成画像集合の生成についてのものである。組織は第１ラベリング技術でラベリングされ、３Ｄデータ集合（例えば画像深さスタック）を生成するように顕微鏡により画像処理され得る。訓練済み機械学習モデルは、第２ラベリング技術（例えば特異的バイオマーカを標的とするラベリング技術）でラベリングされたかのように３Ｄデータ集合の外観が推定された合成画像を生成し得る。そして対象の組織構造を強調又はマークするように合成画像がセグメント化され得る。第１ラベリング技術は、対象の組織構造に対して低特異性であり得る（一般的なラベリング技術）。したがって、実際の試料準備及び画像処理は、標的化ラベリング技術の使用と比べて、比較的迅速、単純、及び／又は、低費用であり得るが、それでも合成画像は標的化ラベリングの利点を供与し得る。機械学習モデルは、第１及び第２の両方のラベリング技術で準備された組織の画像に基づくデータ集合で訓練され得る。幾つかの実施形態では、当該スライスの近傍にある（例えば隣接する）スライスも考慮しながら各スライスを処理することにより、３Ｄ深さスタックから合成画像が生成され得る。例えば、機械学習モデルは訓練中に多数のスライスを解析して、合成画像を生成する間に多くのスライスを操作し得る。

図１は、本開示の幾つかの実施形態による光学システムのブロック図である。図１は、顕微鏡と、顕微鏡１０２を作動させる、及び／又は、顕微鏡１０２からの情報を解釈するコンピューティングシステム１３０とを含む光学システム１００を示す。幾つかの実施形態において、コンピューティングシステム１３０の一以上の部品は、顕微鏡１０２に一体化され得る。幾つかの実施形態において、コンピューティングシステムは、顕微鏡１０２に結合される独立型コンポーネント（例えば市販のデスクトップコンピュータ）であり得る。幾つかの実施形態で、コンピューティングシステム１３０は顕微鏡から遠隔にあって、顕微鏡１０２を直接的には作動させないかこれと通信し得る。例えば、顕微鏡画像が第１箇所で捕捉され、そして少し後になって（例えばリムーバブルメディア、有線又は無線通信等を介して）第２箇所でコンピューティングシステム１３０にロードされ得る。

顕微鏡１０２は、照射光を生成する光源１０４と、照射光を試料１１４に向ける照射光学素子１０６とを含む。顕微鏡は、試料１１４からの光を受け取って受け取った光を検出器１１２に向ける収集光学素子１１０を含む。照射及び収集光学素子１０６及び１１０の各々は、これらを通る光を再形成又はフィルタリングするか、他のやり方で変化させ得る。検出器１１２は、受け取った光の捕捉画像を表す一以上の信号を生成する。幾つかの実施形態では、試料１１４を支持するのに試料ホルダ１０８が使用され得る。顕微鏡の特定の配置構成及びタイプが本明細書で記載され得るが、本開示は任意の一つの顕微鏡又は顕微鏡タイプに限定されないことが理解されるべきである。例えば、幾つかの実施形態は、照射及び収集の両方の光学素子１０６及び１１０の一部として単一の対物レンズが使用される、及び／又は、生体内組織である試料１１４を画像処理するのにファイバが使用される顕微鏡を含み得る。

コンピューティングシステム１３０は、コンピューティングシステム１３０で様々な動作を実行する一以上のプロセッサ１３２と、プロセッサ１３２からの命令に基づいて顕微鏡１０２及び／又は他のデバイスを作動させる信号を送受し得るコントローラ１３４と、使用者に情報を提示するディスプレイ１３６と、使用者がコンピューティングシステム１３０を作動させるのを可能にするインタフェース１３８と、データ（例えば検出器１１２からの画像）を送受し得る通信モジュール１３９とを含み得る。コンピューティングシステム１３０は、プロセッサ１３２により実行され得る様々な命令１５０を含むメモリ１４０を含む。本明細書でより詳しく記載されるように、命令１５０は、訓練済み機械学習（ＭＬ）モデル１６２を使用して試料１１４から取得された画像集合（例えば深さスタック）に基づいてプロセッサ１３２に合成画像を生成させ得る。画像は第１ラベリング技術に基づいて収集され得るのに対して、合成画像は、試料１１４のバイオマーカを標的とする第２ラベリング技術で予測されるものであり得る。ＭＬモデル１６２は、コンピューティングシステム１３０を使用して訓練され得るか、別に訓練されて、訓練済みモデルとしてコンピューティングシステム１３０に提供され得る。幾つかの実施形態では、一以上のコンポーネント／プロセスが遠隔であり得る。例えば、幾つかの実施形態では、訓練済みＭＬモデル１６２がサーバに設置され、コンピューティングシステム１３０がサーバへ画像１６４を送って合成画像を受け取る。

試料１１４の一以上の状態を可視化するのに使用され得る一以上のラベリング技術で、試料１１４が準備され得る。本明細書で使用される際に、「ラベリング技術」は、試料の準備と、試料の画像を生成するのに使用される対応の画像処理モードの両方を指し得る。例えば、ラベリング技術が蛍光体を伴う場合には、ラベリング技術での試料の画像処理は、蛍光体を画像処理するのに蛍光顕微鏡を使用することも含み得る。ラベリング技術は、洗浄、光学的クリアリング、取り付け、当該技術で周知の他の技術など、様々な試料準備ステップを含み得る。幾つかのラベリング技術は、外因性造影剤（例えば蛍光染料、染色剤等）を試料１１４に塗着することを含み得る。幾つかのラベリング技術は、試料１１４に固有の光学的特性（例えば、組織色素沈着に依存する内因性蛍光体、暗視野）に依存し、追加の造影剤を必要としない。

幾つかのラベリング技術は、外因性造影剤を塗着する必要なく組織に固有の幾つかの光学的特性が画像処理される「ラベルフリー(label-free)」画像処理を含み得る。例えば、追加の蛍光体を試料に加える必要なく組織の内因性蛍光体を画像処理するのに蛍光画像処理が使用され得る。それでもラベルフリー画像処理技術は、薄片化又は光学的クリアリングなどの試料準備ステップを含み得る。幾つかのラベルフリー画像処理技術は、膠原線維の独自の「非中心対称的な」分子構造ゆえに膠原線維を特異的に標的とするのに使用され得る二次高調波発生（ＳＨＧ）画像処理など、特異的であり得る。

試料１１４は、多数のラベリング技術を使用して準備され得る。例えば、染色剤が蛍光染料とともに塗着され、染色剤を捕捉するのに明視野を、染料を捕捉するのに蛍光画像処理を使用して、試料が画像処理され得る。別の例では、多数の染色剤が一緒に使用され、全てが同じ画像処理モードで捕捉され得る（例えば、単一の明視野画像を使用して多数の染料が可視化され得る）。別の例では、多数の異なる蛍光染料が使用され、顕微鏡１０２は、第１蛍光染料を画像処理するのに第１フィルタ集合（例えば第１励起フィルタと放出フィルタ）を、第２蛍光染料を画像処理するのに第２フィルタ集合を使用し得る等である。同じ試料１１４に多数のラベリング技術が使用される場合には、各々が異なるラベルを画像処理する所与の視野の多数の画像を顕微鏡１０２が捕捉することが可能である。

幾つかのラベリング技術は対象の組織を特異的に標的とし、他は低特異性である。標的化ラベリング技術は、標的部分と信号生成部分とを備える造影剤を含み得る。対象の組織構造の全て又は一部に信号生成部分を選択的に存在させるのに、標的部分が使用され得る。例えば、標的化部分は、対象組織と関連するバイオマーカに選択的に結合され得る。例えば、対象の組織構造が特定の腺である場合には、他の細胞及び組織成分ではなくこれらの腺細胞に発現するか、他の組織と比べてこれらの腺細胞に過剰発現するか、これらの腺細胞に存在せずに他の組織に存在するバイオマーカを標的とするのに標的化部分が使用され得る。標的化部分の別の例は、組織により選択的に取り込まれる化学物質を含み得る。例えば、グルコース類似体は、非癌細胞よりはるかに高い速度で癌細胞により取り込まれ得る。標的部分は、一以上の画像処理モードでの可視化を可能にする何らかのマーカであり得る。例えば、蛍光体又は染料が標的部分に付着され得る。幾つかの実施形態で、標的部分は、造影剤を形成するように信号生成部分に結合され得る（例えば抗体が蛍光体に結合される）。幾つかの実施形態で、標的部分と信号生成部分とは造影剤に固有の特性であり得る。例えば、蛍光グルコース類似体は蛍光細胞と標的癌細胞の両方であり得る。標的化ラベリング技術の一部として使用され得る標的部分の例は、アプタマー、抗体、ペプチド、ナノボディ、抗体フラグメント、酵素活性プローブ、そして蛍光インサイツハイブリダイゼーション（ＦＩＳＨ）プローブを含む。

幾つかのラベリング技術は低特異性であって、対象の組織構造を特異的に標的化することなく一般的な組織構造及び／又は幅広い組織タイプを画像処理するのに使用され得る。例えば、ヘマトキシリン及びエオシン（Ｈ＆Ｅ）又はその類似体など普通の細胞染色剤は一般的に、特定の核物質又は細胞質を標的化することなく細胞の核物質及び細胞質をそれぞれ染色し得る。低特異性のラベリング技術の例は、Ｈ＆Ｅ類似体、マッソントリクローム、過ヨウ素酸シッフ（ＰＡＳ）、４’，６－ジアミジノ－２－フェニルインドール（ＤＡＰＩ）、そして組織の非ラベリング画像処理を含む。加えて、外部の造影剤を伴わずに画像処理された内因性の信号も、一般的な組織コントラストを提供するのにラベルフリー画像処理技術の一部として使用され得る。例えば、反射顕微鏡と自己蛍光顕微鏡とは、多様な一般的組織構造を明らかにする画像を生成する「ラベルフリー」画像処理技術の例である。

ラベリング技術は多重化され得る。例えば、試料１１４は、Ｈ＆Ｅ類似体で、そして対象の特異的組織構造（例えば特異タイプの組織又は細胞）のみにより発現されるバイオマーカを標的とする蛍光抗体でもラベリングされ得る。この特異的組織タイプにのみ（又は主に）蛍光体が結合されるので、蛍光抗体を使用して生成される画像は対象構造のみを（又は主に）示す。Ｈ＆Ｅ類似体ラベリング技術を使用して生成される画像は、（全ての組織が核物質と細胞質とを含むので）このタイプの組織も示すが、他のタイプの組織も示す。したがって、対象の組織構造は、それでも低特異性のラベリング技術を使用して生成される画像で検出されるが、これらの対象特徴の識別は更に困難であり得る。

低特異性のラベリング技術（例えばＨ＆Ｅ類似体）は、様々な利点を供与し得る。例えば、標的化ラベリング技術（例えば免疫蛍光法）は、より一般的な造影剤の低分子重量（例えば＜１０ｋＤａ）と比べて比較的高い分子重量（例えば＞１０ｋＤａ）を持つ造影剤を使用し得る。したがって、３Ｄ画像処理が望ましい時に、標的化造影剤が試料で拡散するには比較的長い時間量を要し得る。これは幾つかの用途については非実用的であって、試料の準備及び画像処理の時間及び費用を劇的に増加させ得る。低特異性のラベリング技術は、高特異性の多くの標的化造影剤での多重化染色及び画像処理を必要とするのでなく、多数の構造が識別及びセグメント化されることも可能にする。

本開示の実施形態は、特定タイプ又は設計の顕微鏡に限定されない。しかしながら、説明を目的として、顕微鏡の特定レイアウトが図１の顕微鏡１０２として示されている。特に、図１に示されている顕微鏡１０２は、収集光学素子１１０が試料１１４及び試料ホルダ１０８の下方に設置される倒立顕微鏡である。より具体的に記すと、顕微鏡１０２はオープントップライトシート（ＯＴＬＳ）顕微鏡であり、照射及び収集光学素子が離れており、照射経路の主光軸は収集経路の主光軸に対して角度を成している（例えば直交している）。照射光はライトシートに集束され（例えば、厚みよりも幅がはるかに広くなるように集束され）、ファストカメラを使用する高速での試料の３Ｄ画像処理に関する利点が得られる。

光源１０４は、試料１１４の焦点領域を照射するように照射経路上に照射光を提供する。光源１０４は、狭域スペクトルの光を発出し得るレーザ又は発光ダイオード（ＬＥＤ）などの狭帯域光源であり得る。幾つかの実施形態において、光は、広域スペクトル（例えば白色）照射を発生させる広帯域光源（例えば、白熱光源、アーク光源）であり得る。幾つかの実施形態で、照射光の一以上の部分は可視範囲の外側であり得る。幾つかの実施形態では、照射光の波長を更に改良するように照射光学素子１０６の一部としてフィルタ（不図示）が使用され得る。例えば、バンドパスフィルタは光源１０４から高帯域の照射を受け取り、狭域スペクトルの照射光を提供する。幾つかの実施形態で、光源１０４はレーザであり、視準光を発生させ得る。

幾つかの実施形態において、顕微鏡１０２は選択可能である多数の画像処理モード（例えば明視野、蛍光、位相差顕微鏡法、暗視野）を有し得る。例えば、幾つかの実施形態では、試料１１４で蛍光を画像処理するのに顕微鏡１０２が使用され得る。照射光は、試料１１４の蛍光体を励起し得る特定の励起波長の光を含み得る。蛍光体は試料に対して内因性であり得る、及び／又は、試料に付着される外因性の蛍光ラベルであり得る。照射光は、励起波長を含む光の広域スペクトルを含み得るか、励起波長を中心とする狭帯域であり得る。幾つかの実施形態で、光源１０４は、励起波長を中心とする（又はこれに近い）光の狭域スペクトルを発生させ得る。幾つかの実施形態では、照射光学素子１０６にフィルタ（不図示）が使用されて、励起波長に近い波長に照射光を限定し得る。照射光により励起されると、試料１１４の蛍光体は（所与の発出波長を中心とし得る）光を発出し得る。収集経路（例えば収集光学素子１１０）は、検出器１１２に達する光を発出波長に近い光の波長に限定するのに使用され得る一以上のフィルタを含み得る。幾つかの実施形態で、顕微鏡１０２は、多数組の照射及び／又は収集フィルタを有して、現在どの蛍光体が画像処理されるかは選択可能である。

照射光学素子１０６は、光源１０４から試料１１４へ光を向け得る。例えば、照射光学素子１０６は、試料１１４に光を集束させ得る照射対物レンズを含み得る。幾つかの実施形態で、照射光学素子１０６は、光源１０４により提供される光の形状、波長、強度、及び／又は他の特性を変化させ得る。例えば、照射光学素子１０６は、光源１０４から高帯域光を受け取り、（例えばフィルタ、回折格子、音響光学変調器等で）光をフィルタリングして試料１１４に狭帯域光を提供し得る。

幾つかの実施形態において、照射経路は、ライトシートである照射ビームをライトシート顕微鏡又はライトシート蛍光顕微鏡（ＬＳＦＭ）の一部として提供し得る。ライトシートは概ね楕円形の断面を有して、第１軸線（例えばｙ軸線）上に第１開口数を、また第１軸線に直交する第２軸線上には第１開口数より大きい第２開口数を備える。照射光学素子１０６は、光源１０４から照射シートに受け取られた光を再形成する光学素子を含み得る。例えば、照射光学素子１０６は、一つの軸線上に光を集束させるが直交軸線上には集束させない一以上の円筒形光学素子を含み得る。

幾つかの実施形態において、照射光学素子１０６は、試料１１４に対して照射光をスキャンするのに使用され得るスキャン光学素子を含み得る。例えば、照射ビームにより照射される領域は、収集光学素子１１０の焦点領域より小さくなり得る。この事例で、照射光学素子１０６は、焦点領域の照射を保証するように所望の焦点領域にわたって照射光を高速振動させ得る。

試料ホルダ１０８は、照射領域と焦点領域とが概ね試料１１４内にあるように試料１１４を配置し得る。試料１１４は試料ホルダ１０８の上面により支持され得る。幾つかの実施形態において、試料１１４は試料ホルダ１０８の上面に直接載置され得る。幾つかの実施形態において、試料１１４は容器に（例えばガラススライド、ウェルプレート、組織培養フラスコ等に）封入され、容器が試料ホルダ１０８に載置され得る。幾つかの実施形態では、容器が試料ホルダ１０８に一体化され得る。幾つかの実施形態では、光学システム１００での画像処理の前に試料１１４が処理され得る。例えば、試料１１４は洗浄、スライス、及び／又はラベリングを画像処理前に受け得る。

幾つかの実施形態において、試料１１４は生物学的試料であり得る。例えば、試料１１４は、疑われる疾患（例えば癌）の部位から生検で得られた組織であり得る。試料１１４の他の例は、培養細胞、又は生体内組織、生命体の全体、又は以上の組み合わせを含み得る。幾つかの実施形態では、光学システム１００により調べられる前に、光学的クリアランス、組織スライス、及び／又は、ラベリングなど様々な処理を組織が受け得る。

試料ホルダ１０８は、照射ビームと試料１１４の焦点領域から収集された光に対して概ね透過性である材料の上に試料１１４を支持し得る。幾つかの実施形態において、試料ホルダ１０８は、試料１１４が上に配置され得る透過性材料の窓部を有し、試料ホルダ１０８の残りは非透過性材料から形成され得る。幾つかの実施形態で、試料ホルダ１０８は透過性材料で製作され得る。例えば、試料ホルダ１０８はガラスプレートであり得る。

試料ホルダ１０８を一以上の方向に移動させることが可能であるアクチュエータ（不図示）に、試料ホルダ１０８が結合され得る。幾つかの実施形態において、試料ホルダ１０８は、照射光学素子１０６及び収集光学素子１１０に対して三つまでの次元（例えばｘ，ｙ，ｚ軸線上）で移動可能である。試料ホルダ１０８が動かされて、試料１１４内の焦点領域の位置を変更し得る、及び／又は、装填位置と画像処理位置との間で試料ホルダ１０８を移動させ得る。幾つかの実施形態において、アクチュエータは、ねじ、あるいは粗／微調整ノブなどの手動アクチュエータであり得る。幾つかの実施形態では、手作業入力、及び／又は、コンピューティングシステム１３０のコントローラ１３４からの命令に応答し得る電気モータのように、アクチュエータが自動化されてもよい。幾つかの実施形態において、アクチュエータは、手作業調整と自動制御の両方に応答し得る（例えば、手回しとコントローラ１３４からの命令の両方に応答するノブ）。

顕微鏡１０２は、画像の深さスタック（又はｚスタック）を生成するのに使用され得る。例えば、画像が概ねｘ－ｙ平面にある状態で第１画像が取得されるように、アクチュエータが試料１１４を配置し得る。そしてアクチュエータは、画像処理平面に直交する軸線上（例えばｚ軸線上）で試料１１４を設定距離だけ移動させ、第２画像が捕捉され得る。試料１１４の３Ｄボリュームを表す２Ｄ画像の集合を構築するように、これが数回繰り返され得る。幾つかの実施形態では、第１箇所で深さスタックを生成してからｘ及び／又はｙ軸線上で試料ホルダを第２箇所まで移動させて別の深さスタックを生成することにより、多数の深さスタックが収集され得る。比較的大きな試料の３Ｄ集積体を生成するように、深さスタックが一緒に集積されてもよい。

幾つかの実施形態において、光学システム１００は比較的肉厚の組織試料の深さスタックを収集し得る。例えば、幾つかの実施形態で、深さスタックの厚さは５μｍより大きい。幾つかの実施形態では、生検試料などの試料１１４がこれより大きくてもよく、深さスタックは１ミリメートル以上の厚さであり得る。

収集光学素子１１０は、焦点領域から光を受け取って、受け取った光を画像処理し得る、及び／又は他の形で測定し得る検出器１１４へ、受け取った光を向け得る。焦点領域からの光は、照射ビーム（例えば散乱及び／又は反射光）が戻ってきた部分であり得るか、照射ビームに応じて焦点領域から（例えば蛍光体を介して）発出される光であり得るか、その組み合わせであり得る。

収集光学素子１１０は試料１１４から光を収集して、収集した光を検出器１１２へ向ける。例えば、収集光学素子１１０は収集対物レンズを含み得る。幾つかの実施形態において、収集光学素子１１０は、試料１１４から受け取った光を変化させる一以上の要素を含み得る。例えば、収集光学素子１１０は、フィルタ、ミラー、デスキャン光学素子、又は以上の組み合わせを含み得る。

検出器１１２は、焦点領域を画像処理するのに使用され得る。幾つかの実施形態において、検出器１１２は接眼レンズを含み得るので、使用者は焦点領域を観察し得る。幾つかの実施形態で、検出器１１２は焦点領域の画像を記録する信号を発生させ得る。例えば、検出器１１２は、アレイに入射する光に基づいて電子信号を発生させ得るＣＣＤ又はＣＭＯＳアレイを含み得る。

顕微鏡１０２の一以上の部品を作動させる、顕微鏡１０２からのデータを表示する、顕微鏡１０２からのデータを解釈／解析する、又は以上の組み合わせに使用され得るコンピューティングシステム１３０に、顕微鏡１０２が結合され得る。幾つかの実施形態において、コンピューティングシステム１３０は、汎用コンピュータのように顕微鏡から離れている。幾つかの実施形態で、コンピューティングシステム１３０の一以上の部品は、顕微鏡１０２と一体的であり得る。幾つかの実施形態で、コンピューティングシステムの一以上の部品は顕微鏡１０２から遠隔にあり得る。

コンピューティングシステム１３０は、メモリ１４０に記憶された一以上の命令１５０を実行し得るプロセッサ１３２を含む。命令１５０は、（例えばコントローラ１３４を介して）顕微鏡１０２を作動させ、解析の為にメモリ１４０に記憶され得る画像１６４を収集するようにプロセッサ１３２に指示し得る。画像１６４は（例えば収集の際あるいはその直後に）「ライブで」解析され得るか、前に収集された画像処理を表し得る。幾つかの実施形態で、コンピューティングシステム１３０は、顕微鏡から遠隔に設置されて、顕微鏡１０２との直接相互作用を伴わずに画像１６４を受け取り得る。例えば、顕微鏡１０２が画像をサーバへアップロードし、コンピューティングシステム１３０の通信モジュール１３９が解析の為に画像１６４をメモリ１４０へダウンロードし得る。

画像１６４は、試料１１４の一以上の深さスタックを表し得る。各深さスタックは、試料１１４の３Ｄボリュームでのスライスをともに表す画像集合である。画像１６４は、画像の配向（例えば３Ｄボリュームの再構成）を可能にするメタデータ（例えばｚ軸線上でのスライス間距離）を含み得る。多数の３Ｄボリューム（例えば多数の深さスタック）は、より大きな３Ｄボリューム全体を形成するように一緒に集積され得る。

命令１５０は、顕微鏡１０２を作動させて画像を収集するようにコンピューティングシステム１３０に命じるステップを含む。例えば、命令１５２には画像の深さスタックの収集が記述されている。命令１５２は、設定数の画像及び／又はｚ軸線上の設定距離に達するまで、検出器１１２から第１画像を捕捉すること、（例えばｚ軸線上の）設定距離だけ試料ホルダ１０８を移動させること、第２画像を捕捉することなどを含み得る。幾つかの実施形態において、命令１５２は一以上の他の軸線上での変位も含み得る。例えば、幾つかの顕微鏡幾何学形状はｘ－ｙ平面に位置していない画像を有し、ゆえに、画像スタックを捕捉するにはより複雑な移動が必要とされ得る。幾つかの実施形態では、画像を解析するものとは異なるコンピューティングシステムにより命令１５２が実施されてもよい。

対象の組織構造を特異的に標的とするものではない第１ラベリング技術に基づいて、捕捉された画像１６４が画像処理され得る。例えば、Ｈ＆Ｅ類似体あるいはＤＡＰＩのような一般的な核酸染色剤などの一般的な染色剤を使用して、画像１６４が捕捉され得る。対象の組織構造の詳細を捕捉するが対象の組織構造を特異的に標的とするものではないラベリング技術に基づいて、捕捉画像１６４が画像処理され得る。

命令１５０は、画像１６４の深さスタックと機械学習モデル１６２とに基づく合成画像の生成が記述されている命令１５４を含む。画像１６４を捕捉するのに使用される第１ラベリング技術と、対象の組織構造と関連するバイオマーカを標的とする第２ラベリング技術の両方で画像処理される訓練画像集合を使用して、機械学習モデル１６２が訓練され得る。例えば、バイオマーカが核酸配列である場合に、第２ラベリング技術は、この配列に結合される標的部分としてのアプタマーを含み得る。機械学習モデルは、第２ラベリング技術を使用して捕捉される画像の外観および情報を予測する合成画像を、捕捉画像１６４から生成し得る。合成画像は、３Ｄデータ集合も表し得る（例えば、合成画像は深さスタックでもあり得る）。

幾つかの実施形態において、命令１５４は、捕捉画像１６４の深さスタックをスライス単位で処理することを含み得る。幾つかの実施形態で、命令１５４は、各スライスを一以上の近傍スライス（例えば隣接スライス）とともに処理することを含み得る。捕捉画像１６４の深さスタックが試料１１４の３Ｄボリュームを表してスタックの多数のスライスにわたって構造が延在し得るとすると、これは有益であり得る。

幾つかの実施形態では、合成画像が（例えばディスプレイ１３６を介して）使用者に提示され得る。幾つかの実施形態では、捕捉画像１６４の上のオーバレイとして合成画像が提示され得る。幾つかの実施形態において、使用者は、画像がどのように表示されるか、また合成又は捕捉画像が表示されるかどうかを選択できる。幾つかの実施形態では、臨床医又は別の使用者が合成画像を受け取ってこれらをそのまま使用してもよい。幾つかの実施形態で、コンピューティングシステムは、合成画像の対象特徴をセグメント化し得る。

命令１５０は、合成画像に基づく対象特徴のセグメント化が記述されている命令１５６を含む。メモリ１４０は、合成画像をセグメント化するのに使用され得る様々なセグメント化基準１６６を含み得る。例えば、次に対象特徴をセグメント化するのに使用され得るバイナリマスクを生成するには、輝度閾値が使用され得る。セグメント化基準１６６は、（例えば合成画像に存在する）第２ラベリング技術を使用して収集された画像の特徴に基づき得る。幾つかの実施形態で、セグメント化は、合成画像と最初に捕捉された画像の両方の特徴を使用することを含み得る。セグメント化画像は、診断の為に、治療進捗の判断、疾患進行の監視、今後の疾患進行の予測等を行うのに使用され得る。

幾つかの実施形態で、コンピューティングシステム１３０は、機械学習モデル１６２を訓練する為の命令１５８も含み得る。幾つかの実施形態では、機械学習モデルの訓練が別のコンピューティングシステムにより実施され、画像解析の為にコンピューティングシステム１３０へ訓練済み機械学習モデル１６２がロードされ得る（例えば命令１５４）。幾つかの実施形態では、同じコンピューティングシステム１３０を使用して訓練が実施されてもよい。命令１５８は、第１と第２の両方のラベリング技術でラベリングされた試料の画像においてＭＬモデルを訓練することを含み得る。ＭＬ訓練の例は、図２により詳しく記されている。

ＭＬモデル１６２が（例えば命令１５２で）画像の深さスタックを収集するのに使用される第１ラベリング技術と正確に適合するやり方で訓練される必要はない。例えば、顕微鏡１０２とは異なる顕微鏡を使用して捕捉された画像を使用してＭＬモデル１６２が訓練され得る。別の例では、命令１５２で収集された画像の深さスタックを準備するのに使用される造影剤の類似体を使用して、ＭＬモデル１６２が訓練され得る。例えば、画像１６４を生成するのに第１のＨ＆Ｅ類似体が使用され、ＭＬモデル１６２を訓練するのに第２のＨ＆Ｅ類似体が使用され得る。

図２は、本開示の幾つかの実施形態による機械学習モデルの訓練方法である。方法２００は、幾つかの実施形態では、図１の命令１５８の実装であり得る。

方法２００は、組織試料の第１画像集合の生成が記述されているボックス２１０を含む。第１画像集合は、組織試料（例えば図１の１１４）での画像深さスタックを表し得る。第１画像集合は、第１ラベリング技術で準備された試料の画像であり得る。方法２００は、組織試料の第２画像集合の生成が記述されているボックス２２０も含む。第１画像集合と同様に、第２画像集合も画像深さスタックであり得る。第２画像集合は、第２ラベリング技術で準備された試料の画像であり得る。第２ラベリング技術は、組織試料の対象組織構造を標的とする。第１画像集合及び第１ラベリング技術は組織構造に対する特異性が低い。例えば、第１ラベリング技術は、やはり対象の組織構造をラベリングするが対象の組織構造を特異的に対象としているわけではない一般的なラベリング技術であり得る。

方法２００は、第１ラベリング技術及び第２ラベリング技術で試料を準備することを含み得る。例えば、第１ラベリング技術が第１ラベル（例えばＨ＆Ｅ類似体）を含んで第２ラベリング技術が第２ラベル（例えば蛍光抗体）を含む場合に、方法２００は第１ラベル及び第２ラベルを試料に塗着することを含み得る。

幾つかの実施形態では、二つの画像集合が互いに同時に生成されて重複視野を含み得る。例えば、方法２００は、第１ラベリング技術と関連する第１画像処理モード（例えば第１蛍光フィルタ集合）を使用して視野（例えば深さスタックのスライス）を画像処理してから、第２ラベリング技術と関連する第２画像処理モード（例えば第２蛍光フィルタ集合）で同じ視野を画像処理することを含み得る。したがって、二つの画像集合は試料の同じボリュームの二つの画像集合であり得る。深さスタックの各スライスは、第１画像集合の画像と第２画像集合の画像とを有し得る。あるいは言い換えると、第１画像集合の各画像は、同じ視野を共有する第２画像集合の対応画像を有し得る。

方法２００は、第２画像集合の外観を予測したものである合成画像を第１画像集合から生成するように機械学習モードを訓練することが記述されているボックス２３０を含み得る。対応画像の外観を第２画像集合から予測したものである合成画像を第１画像集合から生成するように、機械学習モデルが訓練され得る。例えば、合成画像は、第２画像集合の一般的な外観（例えば色、照射）と情報（例えばどの構造がラベリングされるか）の両方に適合し得る。

幾つかの実施形態において、機械学習モデルは敵対的生成ネットワーク（ＧＡＮ）を含み得る。幾つかの実施形態において、訓練済み機械学習モデルは、深さスタックにおいて合成画像をスライス単位で生成するように第１画像集合を処理し得る。幾つかの実施形態において、訓練済み機械学習モデルは近傍の画像の部分集合を使用して第１画像集合を処理し得る。隣接の画像は、（例えば、３Ｄ構造が深さスタックにわたって延在するので）比較的高い情報連続性を有し、ゆえに隣接スライスの部分集合の処理は処理時間を加速し得る。例えば、機械学習モデルはｖｉｄ２ｖｉｄという映像変換方法を適応化したものでもよい。ｖｉｄ２ｖｉｄ方法では、時系列における後続の画像（例えば映像）が高い情報連続性を有するという概念を使用する。本開示の実施形態では、３Ｄボリュームに延在する共有構造ゆえに深さスタックの近傍スライスが高い情報連続性を有するという概念に基づいてｖｉｄ２ｖｉｄ方法が適応化され得る。

幾つかの実施形態において、機械学習モデルは、スライスを選択し、このスライスを近傍スライスとともに処理し得る。幾つかの実施形態で、被選択スライスの近傍スライスの数と距離とは可変であり得る（例えば機械学習モデルにより選択される、使用者選択可能である等）。幾つかの実施形態で、機械学習モデルは処理中に近傍スライスの数及び距離を調整し得る。幾つかの実施形態において、近傍スライスの数及び距離は一定であってもよい。

ｖｉｄ２ｖｉｄＧＡＮを含み得る機械学習モデルの実装例は、三つの部品、つまりシーケンス生成器と画像識別器と映像識別器とを含み得る。シーケンス生成器の目標は、時間的連続性を強化するように、入力映像と二つの先行フレームで前に生成された出力映像とを活用しながら各時点の標的ドメインで現実的２Ｄフレームを出力することである。画像識別器の目的は、同じ光源の画像であるとして各出力フレームが実画像に類似していることを保証することである。映像識別器の目的は、連続する出力フレームが実映像の時間的ダイナミクスに類似していることを保証することである。映像識別器は、実映像／生成映像のフレームレートをダウンサンプリングすることにより時間的に多重スケールでもある。最も細かいスケールで、識別器は、最初のシーケンスのＫ個の連続フレームを入力として得る。次のスケールでは、Ｋの倍数で映像がサブサンプリングされ、識別器は、この新たなシーケンスのＫ個の連続フレームを入力として得る。短期と長期の両方の一貫性の保証に役立つように、これは三つまでのスケールについて行われる。訓練中には、各映像試料の各時期に、映像から一つのフレームがランダムに選択されて画像識別器の損失が計算され、（異なる時間的ダウンサンプリングで）映像からＫ個の連続フレームがランダムに取得されて映像識別器の損失が計算される。幾つかの実施形態で、Ｋは３に設定され得るが、しかしながら他の実施形態ではこれより大きいか小さいＫの値（例えば、１，２，４，５等）が使用され得る。幾つかの実施形態において、ｖｉｄ２ｖｉｄＧＡＮの生成器及び識別器は、コンピューティングシステム（例えば図１の１３０）のハードウェアコンポーネントであり得るか、ソフトウェアで（例えば命令１５０で）実装され得るか、以上の組み合わせであり得る。ｖｉｄ２ｖｉｄＧＡＮを含む機械学習モデルの例は、ワン(Wang)、ティン－チュン(Ting-Chun)その他の「ビデオツービデオ合成(Video-to-video synthesis)」ａｒＸｉｖ査読前原稿 ａｒＸｉｖ：１８０８．０６６０１（２０１８年）に記載されており、いかなる目的でも参照によりその全体が本明細書に援用される。

図３は、本開示の幾つかの実施形態による画像処理方法を描いたフロー図である。方法３００は、幾つかの実施形態における図１の命令１５２～１５６の実装であり得る。図示の為に、図３～７は、前立腺組織の腺を確認する特定用途に基づいて生成されるデータ例を示す。同様に、特定のラベリング技術、すなわちＨ＆Ｅ類似体を使用する細胞物質の染色と、（腺管腔上皮細胞に発現する）抗サイトケラチン８（ＣＫ８）免疫蛍光画像を予測したものである合成画像の生成とが、この用途に基づいて使用される。これらの画像及びラベリング技術は単に例として記され、本開示はこのような用途に限定されない。

方法３００は、一組の収集画像３０２を受け取ることを含む。収集画像３０２は、試料（この事例では前立腺組織）の画像の深さスタックである。収集画像３０２は、図１の光学システム１００などの光学システムを使用して生成され得る。第１ラベリング技術、この事例ではＨ＆Ｅ類似体染色剤を使用して、収集画像が生成される。第１ラベリング技術は細胞質を第１色で染色し、一方で核物質は第２色で染色される。見て分かるように、収集画像３０２では多様な巨視的構造特徴が視認可能である。収集画像３０２では腺が視認可能だが、しかしながら画像からこれらをセグメント化するのは困難であり得る。

収集画像３０２は、３Ｄボリュームから取得された深さスタックの表現を示す。収集画像３０２は、３Ｄボリュームを一緒に構成する幾つかの個別２Ｄ画像（例えばスライス）を含み得る。幾つかの実施形態で、収集画像３０２は集積体の一つの深さスタックを表し得る。

方法３００は、訓練済みＭＬモデルに基づいて収集画像３０２から合成画像３０４が生成されることを示している。合成画像３０４は、図１のコンピューティングシステム１３０などのコンピューティングシステムを使用して生成され得る。訓練済みＭＬモデルは、特異的なバイオマーカを標的とする第２ラベリング技術で予測される合成画像を生成する。この事例で、第２ラベリング技術は、前立腺に発現するＣＫ８タンパク質を標的とする免疫蛍光法である。合成画像３０４から分かるように、腺は、蛍光染料でラベリングされる画像の唯一の特徴なので明確に視認可能である。収集画像３０２と同様に、合成画像３０４は深さスタックであり得る。合成画像３０４は、ＣＫ８をラベリングするように準備されたかのように収集画像３０２により画像処理された同じ３Ｄボリュームの深さスタックの外観を予測したものであり得る。

方法３００は、次にセグメント化画像３０６を生成するのに使用され得るセグメント化マスクを生成することにより、対象の特徴をセグメント化するのに合成画像３０４が使用され得ることを示す。この事例では、比較的簡単なセグメント化技術を使用して合成画像から腺がセグメント化され得る。例えば、腺のバイナリマスクをセグメント化マスクとして生成するように、合成画像３０４において閾値処理が使用され得る。セグメント化画像３０６はセグメント化画像の深さスタックであり、収集画像３０２で画像処理された同じ３Ｄボリュームを表し得る。

ＭＬモデルは、同じ試料の二つの画像集合において訓練され得る。二つのラベリング技術、つまり収集画像３０２を収集するのに使用されるラベリング技術（又は類似の画像処理技術）と、対象の組織構造と関連するバイオマーカを標的とするラベリング技術とで試料がラベリングされ得る。この事例で、訓練データ３０８は、Ｈ＆Ｅ類似体で、また抗ＣＫ８免疫蛍光法で染色された前立腺組織を含む。免疫ラベリング画像として外観が示される合成画像を、Ｈ＆Ｅ類似体で生成された画像から生成するように、ＭＬモデルが訓練され得る。

図４は、本開示の幾つかの実施形態による合成画像生成方法のフローチャートである。方法４００は、幾つかの実施形態において、図１の命令１５４の実装、及び／又は、図３の合成画像３０４の生成プロセスを表す。図３と同様に、図４は、特定用途に基づく画像及びラベリング技術、Ｈ＆Ｅ類似体での前立腺組織のラベリング、そして抗ＣＫ８免疫蛍光法で予測された合成画像（ＣＫ８画像と称され得る）の生成を示している。

光学システム（例えば図１の１００）は、３Ｄボリュームの画像を捕捉し得る。図４の例で、画像は前立腺生検体４０２の３Ｄ画像を表す。生検体４０２は、一緒に集積された多数の深さスタックから構成された３Ｄ画像であり得る。例えば、深さスタック４０４が示されている。深さスタックは、幾つかの実施形態において、集積体全体の構成では目立たない重複エッジを有する。３Ｄ生検体画像４０２は、第１ラベリング技術で染色された組織から生成され得る。特異的な対象特徴を確認することが望ましいが、しかしながら第１ラベリング技術はこれらの対象特徴を標的としていない。方法４００は、対象特徴に存在するバイオマーカを標的とする第２ラベリング技術で準備されたかのように外観が示される合成３Ｄ生検体画像に、３Ｄ生検体画像４０２を転換する。

方法４００は、個別の深さスタック４０６を３Ｄボリュームから分離することを含む。各深さスタックは、「スライス」数の個別２Ｄ画像を含む。捕捉されたスライス４０８は、ＧＡＮモデルなどの機械学習モデル４１０により入力として使用され得る。ＧＡＮモデルは、捕捉画像スライス４０８に基づいて合成スライス集合を生成し得る。幾つかの実施形態で、ＧＡＮモデル４１０は、各合成スライス４１２を生成するのに多数の捕捉スライス４０８を使用し得る。例えば、各スライス４１２を生成するのに隣接スライス４０８の集合が使用され得る。合成スライスは、第２ラベリング技術で準備された組織の外観を有し得る。幾つかの実施形態で、各合成スライス４１２は、対応のスライス４０８とその隣接スライス４０８とに基づいて生成され得る。他の実施形態で、各合成スライス４１２を生成するのに、異なる数のスライス４０８とその間の空間関係とが使用され得る。

合成スライス４１２は、画像処理された深さスタック４０６に対応する合成深さスタック４１４に再構成され得る。４１４などの合成深さスタックが一緒に組み立てられて合成生検体画像４１８となる。例えば、最初の画像４０２の深さスタック４０４から各々が生成された多数の合成深さスタック４１６が、合成生検体画像４１８全体を形成するように一緒に集積され得る。合成生検体画像は、３Ｄ生検体４０２により画像処理される３Ｄボリュームに対応し得る。

システム及び方法の幾つかの実施形態は、２Ｄ画像の時系列で画像変換を実施するように最初は開発された機械学習方法を使用する。しかしながら、入力として使用される３Ｄ画像データ集合（例えば深さスタック４０６）は、時間データの代わりに深さデータを有する。言い換えると、異なるスライスは、時間的な順次データではなく、空間的な順次データを表す。ＭＬモデルの一例は、“ｖｉｄ２ｖｉｄ”敵対的生成ネットワーク（ＧＡＮ）などの映像シーケンス変換ツールである。時間に応じた高い空間的連続性ではなく、深さに応じた高い空間的連続性を保証する（ｖｉｄ２ｖｉｄＧＡＮ方法の最初の目標）には、このモデルが有益である。

幾つかの態様では、３Ｄ画像全体を入力として使用して行われる処理に代わって、３Ｄ画像からの一連の２Ｄスライスにおいて、又は少数の隣接２Ｄスライスにおいてプロセスが順次行われ、隣接フレーム間に良好な空間的連続性が得られることをモデルが保証する。深層学習法において畳み込みニューラルネットワークで必要とされる基本的な２Ｄと３Ｄの畳み込み演算を比較すると、同じ３Ｄブロック（サイズ＝Ｎ^３）について、２Ｄ畳み込みは２Ｄカーネル（サイズ＝ｎ^２）で各２Ｄスライスに作用するのに対して、３Ｄ畳み込みは３Ｄカーネル（サイズ＝ｎ^３）で３Ｄブロック全体に作用する。スライスにおける２Ｄ畳み込みの時間複雑性はＯ（Ｎ^３ｎ^２）であり、３Ｄ畳み込みについてはＯ（Ｎ^３ｎ^３）である。それゆえ、３Ｄと２Ｄの畳み込みに必要とされる時間の比は次数ｎであり、２Ｄスライス解析はフル３Ｄ法よりもｎ倍高速である。これはカーネルサイズｎに依存し、通常、大抵の畳み込み層ではｎ＝３又は５（通常は３、１０未満）である。

図５は、本開示の幾つかの実施形態による合成画像セグメント化方法のフローチャートである。方法５００は、幾つかの実施形態において、図１の命令１５６の実装であり得る。図５の方法５００は、セグメント化画像（例えば図３の３０６）を生成するのに合成画像（例えば図３の３０４）を使用することを示している。特に、方法５００は、用途例に使用され得るセグメント化プロセスの例と、ラベリング技術の一組の例とを示す。この事例で、試料は前立腺生検体であって対象の特徴は腺であり、前立腺癌の検出、診断、及び／又は予後に有益であり得る。図４と同様に、図５の画像例は、Ｈ＆Ｅ類似体で染色された組織を画像処理してから、前立腺の管腔上皮細胞により発現するＣＫ８バイオマーカに対して免疫蛍光法で染色された組織の外観を有する合成３Ｄ画像を生成するのに（例えば図４の）機械学習モデルを使用することを必要とする。図５に関して記載されるステップの幾つかはこの用途に固有のものであり、他の実施形態例では他のセグメント化技術及びステップが使用され得る。

方法５００は、合成３Ｄ画像５０２を含む。低特異性のラベリング技術（例えばＨ＆Ｅ類似体）で染色された組織から捕捉された３Ｄ画像５０４に基づいて標的化ラベリング技術（例えばＣＫ８の免疫蛍光法）で予測するように、機械学習モデルにより合成３Ｄ画像５０２が生成された。方法５００は、画像５０２をセグメント化して管腔上皮細胞のマスク５０６を生成することを含む。合成画像５０２は管腔上皮細胞の標的化ラベリングを予測するものなので、閾値処理など単純なセグメント化方法が使用され得る。言い換えると、方法５００は、閾値を上回る強度を有する３Ｄ画像の画素に基づいてマスク５０６を生成することを含む。

方法５００は、管腔マスク５０８を生成するのに上皮マスク５０６を捕捉画像５０４とともに使用することを含む。捕捉画像５０４は、光学システムにより（例えば図１の顕微鏡１０２により）捕捉された画像を表す。この事例で、捕捉画像５０４は画像処理された細胞の細胞質を示す。Ｈ＆Ｅ類似体が使用されたので、カラーフィルタリングを使用して（物理的に、顕微鏡に光学フィルタを使用して、及び／又は、画像処理を使用して）細胞質が分離され得る。方法５００は、画像５０４の上皮マスク５０６及び細胞質に基づく管腔充填を含み、管腔マスク５０８が生成される。例えば、上皮細胞に囲繞されている細胞質の空隙は管腔に当たり、管腔充填では、このような空間を充填することによりマスクを生成し得る。

方法５００は、上皮マスクと管腔マスクとを組み合わせてセグメント化マスク全体を生成することを含む。ここで、セグメント化マスクは、前立腺の上皮と管腔の両方を強調するのに使用される３Ｄセグメント化マスクであり得る。セグメント化マスクの情報は様々な用途で使用され得る。例えば、前立腺癌を診断する、前立腺癌の進行を監視する、及び／又は、疾患進行を予測するのに、臨床医はセグメント化マスクを使用し得る。幾つかの実施形態では、管腔と上皮との間の境界の曲率、及び／又は、腺と凸包の比（Ｇ／Ｈ）など、様々な測定基準（定量的特徴）を生成するのに、一以上の自動化プロセスが使用され得る。

図６は、本開示の幾つかの実施形態による合成画像のセグメント化を示す一組の画像例である。画像６００は、図１の光学システム１００などの光学システムにより処理される画像例、及び／又は、図３～５に関して記載されたプロセスを表す。特に、画像６００は、Ｈ＆Ｅ類似体でラベリングされた後に前立腺組織が画像処理される用途例を表し、免疫蛍光法ＣＫ８画像（例えば図４の方法４００）と同様に合成画像を生成するのに機械学習モデルが使用されてから、管腔及び上皮を検出するのにセグメント化が使用される（例えば図５の方法５００）。

画像６００は、良性腺６０２の画像例と癌性腺６０４の画像例とによる一組を示す。癌性腺６０４の画像は、詳細な細胞構造を示す挿入図も含む。画像６０２及び６０４の各組は、第１ラベリング技術（例えばＨ＆Ｅ類似体）で画像処理された捕捉画像６１０の３Ｄ深さスタックからの代表的な２Ｄ画像と、第２ラベリング技術で準備されたかのように組織試料の外観を予測する合成画像６２０の３Ｄ深さスタックからの代表的な２Ｄ合成画像と、オーバレイとして合成画像に設けられたセグメント化マスク６３０の３Ｄ深さスタックからの代表的な２Ｄ画像と、セグメント化マスクと画像とに基づく３Ｄレンダリング６４０とを含む。

見て分かるように、最初に捕捉された画像６１０には腺などの特徴が存在しているが、とりわけ自動化セグメント化プロセスについては、管腔と上皮壁などの特徴を判断することは比較的困難であり得る。しかしながら、合成画像６２０から生成されたセグメント化マスク６３０（及び３Ｄレンダリング６４０）はこのような特徴を明確に示し、より簡単な自動化処理を可能にする。加えて、臨床医は、合成画像６２０の形態での画像の外観を熟知しており、捕捉画像６１０から直接的にセグメント化マスク６３０が展開される場合よりもこのような画像の解析の方が好都合である。

図７は、本開示の幾つかの実施形態による一組の画像例である。異なる低特異性のラベリング技術（例えばＨ＆Ｅ類似体）を使用して捕捉画像から生成された二つの合成画像７０４及び７０６と比較された、標的化ラベリング技術（例えばＣＫ８の免疫蛍光ラベリング）を使用する捕捉画像７０２の例を示す。合成画像７０４及び７０６は、幾つかの実施形態では、図１～６に記されたシステム及び方法のうち一以上を使用して生成され得る。

捕捉画像７０２は、標的化ラベリング技術、この事例ではＣＫ８免疫蛍光法を使用してラベリングされる組織の捕捉「実」画像を表す。試料が準備され、抗ＣＫ８蛍光抗体でラベリングされ、そして顕微鏡（例えば図１の１０２）で画像処理される。比較の為に、この同じ試料が低特異性のラベリング技術、この事例ではＨ＆Ｅ類似体でもラベリングされる。試料が準備され、Ｈ＆Ｅでラベリングされ、顕微鏡で画像処理される。顕微鏡は、異なる画像処理モード（例えば、明視野と蛍光、異なる蛍光フィルタ等）を使用して異なるラベリング技術で捕捉を行い得るので、両方のラベリング技術を使用して同じ視野が捕捉され得る。訓練済み機械学習アルゴリズムを使用して（例えば図３の方法３００を使用して）、Ｈ＆Ｅ画像が合成ＣＫ８画像に転換され得る。

図７の例では、比較の為に合成画像７０４及び７０６を生成するのに二つの異なる技術が使用される。各２Ｄスライスを一度に１枚のみ解析する機械学習モデルを使用して、合成画像７０４が生成される。合成画像を生成する時にスライスの部分集合（例えばスライスとその近傍スライス）を考慮する機械学習モデルを使用して、合成画像７０６が生成される。各個別スライスは２Ｄであるがこの集合は３Ｄボリュームの一部分を表すので、これは「２．５Ｄ」アプローチと称され得る。見て分かるように、両方の合成画像７０４及び７０６は捕捉画像７０２の外観を再現したものである。しかしながら、合成画像７０６は、単一のスライスではなくスライスの部分集合を解析すると有利であることを示している。

図８は、本開示の幾つかの実施形態による方法である。方法８００は、幾つかの実施形態において、図１の光学システム１００などの光学システムを使用して実装され得るか、図２～７の一以上の方法例に含まれ得る。

方法８００は、機械学習モデルを訓練することが記述されているボックス８０５を含む。方法８０５は、第１ラベリング技術及び第２ラベリング技術で第１組織試料をラベリングすることが記述されているボックス８１０で始まる。第２ラベリング技術は組織試料の対象の組織構造を標的するのに対して、第１ラベリング技術は低特異性であり得る。幾つかの実施形態で、第２ラベリング技術は、対象の組織構造と関連するバイオマーカを標的とし得る。幾つかの実施形態で、第１ラベリング技術、第２ラベリング技術、又はその両方は、ラベルフリー画像処理技術を含み得る。幾つかの実施形態例で、第１ラベリング技術は、Ｈ＆Ｅ類似体、マッソントリクローム、過ヨウ素酸シッフ（ＰＡＳ）、４’，６－ジアミジノ－２－フェニルインドール（ＤＡＰＩ）、又は以上の組み合わせでの組織のラベリングを含み、第２ラベリング技術は、アプタマー、抗体、ペプチド、ナノボディ、抗体フラグメント、酵素活性プローブ、蛍光インサイツハイブリダイゼーション（ＦＩＳＨ）プローブでの組織のラベリングを含み得る。

方法８０５は、第１組織試料の第１画像深さスタックを収集することが記述されているボックス８２０に続く。深さスタックは数枚のスライスを含み得る。幾つかの実施形態では、組織の同じ３Ｄボリュームの多数の重複深さスタックが設けられ得て、各々がラベリング技術の一つと関連している。例えば、第１画像深さスタック集合は第１ラベリング技術で画像処理され得るのに対して、第２画像深さスタック集合は第２ラベリング技術で画像処理され得る。二つの集合は、共存し得る対応の画像を有し得る。例えば、この方法は、第１ラベリング技術に基づいてある視野の第１画像を生成してから、第２ラベリング技術に基づいて同じ視野の第２画像を生成することを含み得る。

方法８０５は、第１画像深さスタックを使用して機械学習モデルを訓練して、第１ラベリング技術を使用した画像に基づいて第２ラベリング技術で外観が示される際に組織構造の合成画像を生成することが記述されているボックス８３０に続く。例えば、機械学習モデルは、モデルを訓練するのに対応の画像ペア（例えば、第１ラベリング技術での所与の視野の画像と第２ラベリング技術でのこの視野の画像）を使用し得る。機械学習モデルは、ｖｉｄ２ｖｉｄＧＡＮモデルなどのＧＡＮモデルであり得る。幾つかの実施形態で、機械学習モデルは、第１深さスタックのスライス（例えば所与の視野）を選択して、このスライスを近傍の（例えば隣接する）スライスとともに使用し得る。機械学習モデルはこのようにしてスライス内で反復的に移動する。

方法８０５（例えばボックス８１０から８３０）は、機械学習モデルの訓練を表す。（例えばボックス８３０の後に）訓練が完了すると、モデルが記憶され、他の人々へ送られ、（例えばインターネットを介して）遠隔的に利用可能となり、配信の為にパッケージング等され得る。幾つかの実施形態では、追加データを使用して訓練プロセスが繰り返され得る。

図８は、機械学習モデルを使用する画像処理の方法８４５も示している。方法８０５及び８４５を実施するのに使用される装置及び／又はシステムは、同じであっても異なっていてもよい。例えば、第１のシステムが方法８０５を使用して機械学習モデルを訓練し得るのに対して、異なるシステムが方法８４５を使用して画像をセグメント化し得る。幾つかの実施形態で、単一のシステム（例えば図１の１００）はモデルを訓練する（例えば方法８０５）とともに後でこのモデルを使用して画像をセグメント化し得る（例えば方法８４５）。幾つかの実施形態では、別に訓練された機械学習モデルに基づいてシステムが方法８４５を実施し得る。幾つかの実施形態では、方法８０５を使用してモデルが訓練され、そして同じ訓練済みモデルを使用して方法８４５が数回繰り返されてもよい。

方法８４５は、訓練済み機械学習モデルに基づいて第１ラベリング技術で準備された第２組織試料の第２画像深さスタックの対象組織構造をセグメント化することが記述されているボックス８４０を含む。例えば、方法８４５は、第２組織試料の第２画像深さスタックを収集することを含み得る。第１画像深さスタックは、第２画像深さスタックと同じか異なる顕微鏡により収集され得る。幾つかの実施形態において、方法８４５は、第２画像深さスタックに基づいて合成深さスタックを生成することと、合成深さスタックの対象組織構造をセグメント化することとを含み得る。例えば、方法８４５は、合成深さスタックをセグメント化することを含み得る。方法８４５は、例えば合成深さスタックに輝度閾値を適用することにより、合成深さスタックに基づいてセグメント化マスクを生成することを含み得る。幾つかの実施形態では、合成深さスタックと第２深さスタックとに基づいてセグメント化マスクが生成され得る。

方法８００は、第２画像深さスタックの特定済み対象組織構造に基づく症状の診断、症状の監視、症状の進行についての予測、治療反応についての予測、又は以上の組み合わせを含み得る。例えば、方法８００は、セグメント化マスクに基づいて一以上の基準を判断することを含み得る。幾つかの実施形態では、多数の組織構造がセグメント化され、使用され得る。例えば、腺、神経、上皮細胞、リンパ球などの対象構造がセグメント化され、予測、監視等を行うのにセグメント化組織の組み合わせが使用され得る。

幾つかの実施形態において、方法８００は、第２組織試料の第３画像深さスタックを収集することと、第２及び第３画像深さスタックに基づいて集積体を生成することとを含み得る。同様に、方法８００は、第２及び第３深さスタックにそれぞれ基づいて第２及び第３の合成深さスタックを生成することと、合成集積画像を生成することとを含み得る。

実装例
本開示の実装例が本明細書に記載される。実装例は、画像変換支援３Ｄセグメント化（ＩＴＡＳ３Ｄ）と称され得る。ＩＴＡＳ３Ｄのこの特定実装では、前立腺組織の３Ｄ Ｈ＆Ｅ類似体画像の外観が合成的に変換され、サイトケラチン８（ＣＫ８）―全ての前立腺の管腔上皮細胞により発現する低分子重量ケラチン―の３Ｄ免疫蛍光体（ＩＦ）画像を第２ラベリング技術で予測（例えば模倣）することより、従来のＣＶツールを使用した腺の上皮及び管腔空間の客観的な（バイオマーカに基づく）セグメント化が促進される。深層学習画像変換モデルは、敵対的生成ネットワーク（ＧＡＮ）で訓練される。このアプローチは、フレーム間に高い空間的連続性を持つ映像変換を達成するように最初は設計されたが、我々のＩＴＡＳ３Ｄフレームワーク内で適応化されて深さに応じた高い空間的連続性を保証するＧＡＮに基づく「２．５Ｄ」仮想染色アプローチを使用する。

コンピュータによる３Ｄ病理学ワークフローとコンピュータによる２Ｄ病理学ワークフローの値を調査する為に、１０年以上前に外科手術を受けた５０人の患者から得られた保管用前立腺全摘除術（ＲＰ）標本から、３００個の生体外生検体が抽出された。低費用の小分子（つまり急速拡散）のＨ＆Ｅ蛍光類似体を使用する第１ラベリング技術で生検体が準備された。第１ラベリング技術は、脱水及び溶媒浸漬プロトコルで生検体の光学的クリアリングを行なって光透過性にすること、そしてオープントップライトシート（ＯＴＬＳ）顕微鏡プラットフォームを使用して全生検体３Ｄ病理学データ集合を取得することも含む。前立腺ネットワークがＩＴＡＳ３Ｄを使用してセグメント化され、その３Ｄ腺特徴（つまり組織形態計測パラメータ）及び対応の２Ｄ特徴が、前立腺癌（ＰＣａ）を含む１１８個の生検体から抽出された。これらの３Ｄ及び２Ｄ特徴がその能力について評価され、中悪性度と低悪性度のＰＣａについてのプロキシエンドポイントとして機能する臨床的な生化学的再発（ＢＣＲ）転帰に基づいて患者が階層化された。

保管用ＦＦＰＥ前立腺全摘除術標本が５０人のＰＣａ患者から収集され、そのうち４６の事例が最初に、ＲＰ後の病理組織検査中に、３＋３，３＋４，４＋３のグリソンスコア（等級グループ１～３）を有するものとして等級分類された。先行研究（カナリアＴＭＡ）（４９）の一部としてＲＰ後の少なくとも５年間、全ての患者が追跡された。標準的な六画分１２コア（一つの六画分領域について２個のコア）の生検手順を実施する時に、泌尿器科医により標的化された前立腺の６個の領域に対応する各事例から、ＦＦＰＥ組織ブロックが特定された。特定されたＦＦＰＥブロックは最初に、外側パラフィンワックスが溶解するまで１時間にわたって７５℃で加熱することによりパラフィン除去されてから、４８時間にわたって６５℃のキシレンに入れられた。次に、（患者事例ごとに）６個のパラフィン除去ブロックの各々から一つの模擬コア針生検体（幅～１ｍｍ）が切除され、結果的に合計でｎ＝３００個の生検体コアが得られた。そして我々のＨ＆Ｅ類似体染色プロトコルのＴ＆Ｅ形態で、全ての模擬生検体が蛍光ラベリングされた。

生検体は最初に、１時間ずつ２回、１００％エタノールで洗浄されて余分なキシレンが除去され、それから１時間にわたって７０％エタノールで処置されて生検体が部分的に再水和された。そして各生検体は、個々の０．５ｍＬエッペンドルフチューブに入れられ、エオシンＹの１：２００希釈物とＴｏ－ＰＲＯ^ＴＭ－３ヨウ化物の１：５００希釈物とを含むｐＨ４の７０％エタノールにおいて室温で静かに攪拌されながら４８時間にわたって染色された。それから生検体は、２時間にわたって１００％エタノールで２回脱水された。最後に、オープントップライトシート（ＯＴＬＳ）顕微鏡で画像処理する前に８時間にわたってケイ皮酸エチルに入れることにより、生検体に光学的クリアランス（ｎ＝１．５６）が行われた。

（データを訓練する為に）組織スライスを、そして（臨床研究の為に）模擬生検体を画像処理するのに、ＯＴＬＳ顕微鏡が使用された。この研究では、ケイ皮酸エチル（ｎ＝１．５６）が浸漬媒体として使用され、カスタム機械加工によるＨＩＶＥＸプレート（ｎ＝１．５５）が生検試料マルチホルダ（ホルダごとに１２個の生検体）として使用された。４チャネルのデジタル制御式レーザパッケージによりマルチチャネル照射が行われた。～０．４４μｍ／画素の近ナイキストサンプリングで組織が画像処理された。ボリューム画像処理時間は、各波長チャネルについて組織１ｍｍ^３当たりおよそ０．５分であった。こうして二つの蛍光体で染色された（Ｔ＆Ｅ）各生検体（～１×１×２０ｍｍ）が～２０分間、画像処理された。

単一患者からの全ての癌含有生検体の生検体レベル特徴を平均化することにより、患者レベルの腺特徴が得られた。ＲＰ後５年以内にＢＣＲを経験した患者は「ＢＣＲ」グループと呼ばれ、他の全ての患者は「非ＢＣＲ」と呼ばれた。ＢＣＲはここでは、ＲＰ後の８週間以内の０．２ｎｇ／ｍｌまでの前立腺特異抗原（ＰＳＡ）の血清レベル上昇として定義された。ＢＣＲグループと非ＢＣＲグループとを区別するという異なる３Ｄ及び２Ｄ腺特徴の能力を評価するように、我々はＲＯＣ曲線解析を適用し、これから曲線下面積（ＡＵＣ）値が抽出された。１００の学習率での１０００回の反復によりｔ－ＳＮＥ（５１）解析が実施された。

５年のＢＣＲ転帰に基づいて患者を階層化するマルチパラメータ分類子を展開する為に、バイナリ５年ＢＣＲカテゴリを転帰エンドポイントとして使用して、ＬＡＳＳＯ（ラッソ）ロジスティック回帰モデルが展開された。ＬＡＳＳＯは、過剰適合を回避して最も予測的な特徴の部分集合を識別するＬ１正規化項を含む回帰モデルである。ここで、最適ＬＡＳＳＯ調整パラメータλが３分割交差検証（ＣＶ）で判断され、データ集合は等サイズの３グループ、つまり特異的λでモデルを訓練する二つのグループとモデルの性能を検査する一つのグループとにランダム分割された。ＬＡＳＳＯ正規化経路で、最高のＲ２（判断係数）を持つλが最適λとして定義された。外部検証集合の不足ゆえに、パラメータ推定と検証ステップの間でのバイアス及びデータ漏洩を伴わずに多変数モデルの性能を評価するのに、入れ子式ＣＶ方式が使用された。ハイパーパラメータ調整に使用される上述のＣＶは、外側ＣＶの反復ごとに実施された。内側ＣＶで最適なλが特定されると、外側ＣＶの訓練集合にＬＡＳＳＯ回帰が適用された。そして、外側ＣＶの検査グループからＡＵＣ値が算出された。ＡＵＣ（平均標準偏差）を判断するために、この入れ子式ＣＶが２００回実施された。３Ｄ及び２Ｄ特徴に基づいてマルチパラメータ分類子を展開するのに、全く同じパイプラインが使用された。

高リスクと低リスクの患者グループについてＢＣＲフリー生存率を比較するように、カプラン・マイヤー（ＫＭ）解析が行われた。この解析は、再発時間データが利用可能である３４の事例による部分集合を利用した。２Ｄと３Ｄのいずれかの特徴に基づくモデルの性能が、（ログ・ランク検定による）ｐ値とハザード比（ＨＲ）とＣ統計量（Ｃ－インデックス）の測定基準で定量化された。ＫＭ解析に使用されるマルチパラメータ分類モデルについては、我々の入れ子式ＣＶ方式での外側ＣＶ（３分割）が一つ抜きアプローチにより置き換えられ、この患者についての５年ＢＣＲ確率を算出するように、各反復（合計５０回の反復）から一つの事例が抜き出された。０．５の事後分類確率閾値を設定することにより、低リスク又は高リスクとして試料がカテゴリ分類された。

前立腺生検内の３Ｄ腺ネットワークをセグメント化する為、我々は最初に、発色性の免疫組織染色（ＩＨＣ）に酷似するような擬色が施され得る合成ＣＫ８ ＩＦ画像に３Ｄ Ｈ＆Ｅ類似体画像を転換するように、ＧＡＮに基づく画像シーケンス機械学習モデルを訓練した。上述のように、全ての前立腺の管腔上皮細胞によりＣＫ８バイオマーカが発現され得る。我々のＨ＆Ｅ類似体とＣＫ８標的化モノクローナル抗体（ｍＡｂ）で蛍光的にトリラベリングされる前立腺組織からの画像により、画像変換モデルが管理状態で訓練される。

全生検体のＨ＆ＥからＣＫ８への転換の為、最初に３Ｄ生検体（～１ｍｍ×０．７ｍｍ×２０ｍｍ）のデータ集合を～１ｍｍ×０．７ｍｍ×１ｍｍ（～１０２４×７００×１０２４画素）のブロックに細分する。各３Ｄ画像ブロックは、深さに応じて２Ｄ画像シーケンスとして処置される。各深さレベルでは、深さに応じて空間的連続性を強化するように二つの先行レベルからの画像（Ｈ＆Ｅ類似体とＣＫ８）を同時に利用しながら、合成ＣＫ８画像がそのレベルのＨ＆Ｅ類似体画像から推測される。この「２．５Ｄ」画像変換方法は、映像変換（深さシーケンスではなく時間シーケンス）の為の「ｖｉｄ２ｖｉｄ」方法に基づく。しかしながら、この実施形態例の修正モデルでは、訓練時間の最短化を可能にして性能損失は取るに足らないので、最初のｖｉｄ２ｖｉｄ方法で実装される「粗密」訓練戦略が省略される。合成ＣＫ８画像ブロックが生成されると、腺セグメント化の為に全生検体のＣＫ８ ＩＨＣデータ集合を生成するようにこれらが集積される。ステップ２では、閾値処理アルゴリズムを介して管腔上皮細胞層をセグメント化するのに合成ＣＫ８データ集合が使用される。そして、上皮セグメント化マスクと細胞質チャネル（エオシン類似体画像）の両方を利用することにより、上皮層で包囲されている腺・管腔空間がセグメント化され得る。

訓練済みオブザーバによりＨ＆Ｅ類似体画像で腺が描かれ得るが、腺の自動化コンピュータセグメント化はやはり課題である。ここで、Ｈ＆Ｅ類似体入力に基づく３Ｄ画像変換の結果、高コントラスト及び空間的精度で管腔上皮細胞がラベリングされる合成ＣＫ８出力が得られる。これらの合成ＣＫ８データ集合は、腺上皮、管腔、周囲の間質組織区画の比較的簡単なセグメント化を可能にする。一般に低リスクと中間リスクとに関連する二つの腺パターン、つまり、小さく明確に形成された腺（グリソン３）と、多数の穿孔管腔により中断された上皮細胞で構成される篩状の腺（グリソン４）とを含めて、様々なＰＣａサブタイプからの腺が良好にセグメント化される。

我々の２．５Ｄ画像変換戦略で改良された深さ方向の連続性と（“ｐｉｘ２ｐｉｘ”ＧＡＮに基づく）同様の２Ｄ画像変換方法とを実証する為の、合成ＣＫ８データ集合の垂直断面図。我々の２．５Ｄ画像シーケンス変換の結果、深さとの最適な連続性が示される。レベル間の急激な形態学的不連続性は２Ｄ変換では明白であるが、２．５Ｄ変換アプローチには見られない。我々の画像変換方法の性能を定量化する為に、現実のＣＫ８ ＩＦデータ集合がグランドトゥルースとして使用された３Ｄ構造類似性（ＳＳＩＭ）測定基準が算出された。２．５Ｄと２Ｄの画像変換で生成される画像については、（各々が０．２～３ｍｍである５８の検査ボリュームで平均化された）３Ｄ ＳＳＩＭは０．４１と０．３７であり、７．８×１０^－６のｐ値（両面ペアのｔ検定）での１２％の向上を反映していた。この画像変換性能の強化により、我々のコンピュータパイプラインの後続ステップにおいて精密な３Ｄ腺セグメント化が促進される。

セグメント化性能を評価する為に、認定泌尿生殖器病理学者（Ｌ．Ｄ．Ｔ．及びＮ．Ｐ．Ｒ．）の指導のもとでグランドトゥルース腺セグメント化データ集合が最初に生成された。異なる患者からの合計１０個の組織ボリューム（各々が０．２～３ｍｍの組織を表す５１２×５１２×１００画素）が人による注釈を受けた。そして我々は、二つの一般的な方法、つまり（３Ｄの非ＤＬベンチマークとしての）３Ｄウォーターシェッドと、（２ＤのＤＬベンチマークとしての）２Ｄ Ｕ－Ｎｅｔ（５７）との精度を、ＩＴＡＳ３Ｄの精度と比較した。ＩＴＡＳ３Ｄは、Ｄｉｃｅ係数及び３Ｄハウスドルフ距離に関して二つのベンチマーク方法より高性能である。

大抵のＰＣａ事例では進行速度が遅いがゆえに、３Ｄと２Ｄの腺特徴の予後値を評価する初期臨床研究は、保管用の前立腺全摘除術標本で実施された。この実装例は、カナリアＴＭＡ事例－コホート研究の一部としてＲＰ後の最低５年にわたって追跡されたＮ＝５０のＰＣａ患者（主として低リスクから中間リスクの患者）で構成された。カナリアＴＭＡ研究は、主要な研究評価目標が（我々の検証研究でも評価目標として使用される）５年ＢＣＲ転帰と再発までの時間である適切な監修済みのＰＣａ患者のコホートに基づくものであった。最初のカナリアＴＭＡ研究で、患者のおよそ半分がＲＰから５年以内にＢＣＲを経験し、我々の研究には理想的なコホートであった。ＲＰから５年以内にＢＣＲを経験した２５の事例によるランダム選択の部分集合が「ＢＣＲ」グループに割り当てられ、ＲＰから５年以内にＢＣＲを経験しなかった２５の事例が「非ＢＣＲ」グループに割り当てられた。

標準的な六画分１２コア（一つの六画分領域につき２個のコア）の生検手順（図４）を実施している時に、泌尿器科医により標的化された前立腺の６個の領域に対応する各事例から、ＦＦＰＥ組織ブロックが識別された。次に、各患者（ｎ＝３００の合計生検コア）についての６個のＦＦＰＥ組織ブロックの各々から、模擬コア針生検体が抽出された。生検体はパラフィン除去され、Ｈ＆Ｅの蛍光類似体でラベリングされ、光学クリアリングを受け、最近開発されたＯＴＬＳ顕微鏡で非破壊的に画像処理された。病理学者（Ｌ．Ｄ．Ｔ．及びＮ．Ｐ．Ｒ．）による３Ｄ病理学データ集合の検討から、３００個の生検コアのうち１１８個が癌を内含している（事例当たり１～５個の生検体）ことが明らかになった。全ての癌内含生検体にＩＴＡＳ３Ｄパイプラインが適用された。そして、３Ｄ腺セグメント化からまた生検コアの中心領域からの個々の２Ｄレベルから組織形態計測的特徴を算出し、ＢＣＲ転帰との関連に関してこれらが解析された。２Ｄ解析について、合計三つのレベルからの平均値が算出され、三つのレベルは２０ミクロンずつ分離していた（多くの施設での臨床慣行を模倣）。

多数の３Ｄ及び２Ｄ腺組織形態計測的特徴が比較された。例えば、管腔と上皮との間の境界の曲率は、悪性ＰＣａによく見られるように、腺が小さくなるか不規則になる際に増加する特徴である。これは、３Ｄでの対象物の平均表面曲率か、２Ｄでの対象物の断面周囲の曲率の形で定量化され得る。別の例で、腺と凸包の比（Ｇ／Ｈ）は、腺マスク（上皮＋管腔）の（３Ｄでの）体積比又は（２Ｄ）での面積比を、腺に外接する凸包で割ったものとして定義される。このＧ／Ｈ特徴は、悪性ＰＣａにより増大すると一般に予想される（細かい表面性情でなく腺そのもののスケールでの）腺の周囲の不規則性又は「波形」に反比例する。様々な３Ｄ及び２Ｄ特徴について、特徴の能力を定量化して５年のＢＣＲ転帰に基づいて患者を階層化する受信者操作特性（ＲＯＣ）曲線が生成された。類似した３Ｄ及び２Ｄ腺特徴を比較する時に、３Ｄ特徴は、２Ｄの対応特徴との比較において、５年ＢＣＲ転帰との相関性の向上が大いに見られる。これは、（ＢＣＲと非ＢＣＲグループの間の）３Ｄ特徴について重要なｐ値と、高いＲＯＣ曲線下面積（ＡＵＣ）値とにより実証される。

管腔ネットワークの３Ｄスケルトンも抽出され、その分岐パラメータ（スケルトン導出特徴）が定量化された。ここで「腺スケルトン」は、３Ｄ空間に広がる際に様々な腺の中心軸に近似する線の集合体（血管ネットワークの線表現に類似）として定義される。腺－管腔ネットワークの複雑な３Ｄ分岐ツリーアーキテクチャゆえに、これらのスケルトン導出特徴についての簡単な２Ｄ類似体は存在しない。スケルトン導出特徴の二つの例は、平均分岐長と分岐長の分散である。ｐ値とＡＵＣ値とに基づいて両方の特徴がＢＣＲ転帰と相関された。我々の解析から、悪性癌（ＢＣＲ事例）は分岐長が短く分岐長の分散が小さいことが明らかとなり、これは高い等級のＰＣａの腺構造が小さく豊富である（つまりサイズの差及び変化が小さい）という２Ｄ組織学による以前の観察と合致する。分岐長のヒストグラムは、分岐の圧倒的多数が＜２００μｍの長さであることを実証しており、これは、標準的な前立腺生検体（～１ｍｍ）の直径は、全生検体３Ｄ病理学によって妥当な精度でＰＣａ分岐長を定量化するのに充分であることを示唆している。

多数の腺特徴を組み合わせた予後値を調査する為に、３Ｄと２Ｄの特徴に基づく特徴選択及び分類についてロジスティック回帰モデルが使用された。１２個の非スケルトン３Ｄ特徴を組み合わせたモデル（「３Ｄ非スケルトンモデル」）のＲＯＣ曲線から、０．８０±０．０５（平均±標準偏差）のＡＵＣ値が求められ、これは、１２個の類似の２Ｄ特徴で訓練されたモデル（「２Ｄモデル」）のＡＵＣ値（０．６５±０．０６）よりかなり高い。１２個の非スケルトン３Ｄ特徴に５個のスケルトン導出特徴を加えることにより、再訓練された３Ｄマルチパラメータモデル（「３Ｄモデル」）から０．８１±０．０５という若干高いＡＵＣ値が求められた。腺特徴に基づく５０の事例の分布は、ｔ分布型確率的近傍埋め込み法（ｔ－ＳＮＥ）を使用して可視化され、ここでは、３Ｄと２Ｄの腺特徴に基づくＢＣＲ事例と非ＢＣＲ事例との明らかな分離が明白である。５年ＢＣＲ転帰に基づいて高リスクと低リスクのグループに患者を分類するのに、３Ｄ特徴のみ（非スケルトン）又は２Ｄ特徴のみに基づくマルチパラメータ分類モデルが使用され、これから、再発時間（ＢＣＲ）データが利用可能な事例の部分集合についてＢＣＲフリー生存者のカプラン・マイヤー（ＫＭ）曲線が構成された。２Ｄモデルと比べて、３Ｄモデルは高いハザード比（ＨＲ）及びＣインデックスとともに大きなｐ値（ｐ＜０．０５）と関連しており、優れた予後階層化が示唆される。

言うまでもなく、本明細書に記載の例、実施形態、又はプロセスのうちいずれか一つが、一以上の別の例、実施形態、及び／又はプロセスと組み合わされるか分離されてもよい、及び／又は、本システム、デバイス、方法に従って別々のデバイス又はデバイス部分の間で実施されてもよいことが認識されるはずである。

「上(top)」及び「横(side)」のような語が説明を容易にする為に使用されており、様々なコンポーネントの相対的配置を示すことのみを意味していると理解されるべきである。他の実施形態は、他のコンポーネント配置構成を使用し得る。ある光の波長に関して様々なコンポーネント及び操作が記載され得る。（可視スペクトルの外側のものなど）他の波長が使用されることと、本明細書で使用される光は電磁放射を表し得ることとが理解されるべきである。ある材料はその光学特性（例えば透過性）に関して記載され、システムにより使用される光の波長について、所望の特性を持つ材料が選択され得ることが理解されるべきである。

最後に、上記考察は本システムを単に例示することを意図したものであり、特定の実施形態又は実施形態グループに添付の請求項を限定するものと解釈されるべきではない。ゆえに、例示的な実施形態を参照して本システムが特に詳細に記載されたが、以下の請求項に提示されているように意図された本システムの広い趣旨及び範囲を逸脱することなく多数の修正及び代替実施形態が当業者により考案され得ることも認識されるべきである。したがって、明細書及び図面は例示的なものと考えられて添付請求項の範囲を限定することは意図されていない。

Claims (30)

1. 第１ラベリング技術及び第２ラベリング技術で第１組織試料をラベリングすることであって、前記第２ラベリング技術が対象の組織構造を標的とし、前記第１ラベリング技術が前記組織構造に対して低い特異性を有するステップと、
   前記組織の第１画像深さスタックを収集するステップと、
   前記第１ラベリング技術を使用した画像に基づいて前記第２ラベリング技術で外観が示される際に前記組織構造の合成画像を生成するように、前記第１画像深さスタックを使用して機械学習モデルを訓練するステップと、
   訓練済み前記機械学習モデルに基づいて、前記第１ラベリング技術で準備された第２組織試料の第２画像深さスタックの対象の前記組織構造をセグメント化するステップと、
   を含むことを特徴とする方法。
2. 前記機械学習モデルが、前記第２画像深さスタックの被選択スライスを前記被選択スライスに隣接するスライスとともに処理する構成を持つ、
   ことを特徴とする請求項１に記載の方法。
3. 前記機械学習モデルが、ｖｉｄ２ｖｉｄ敵対的生成ネットワーク（ＧＡＮ）である、
   ことを特徴とする請求項２に記載の方法。
4. 前記第１ラベリング技術が、Ｈ＆Ｅ類似体、マッソントリクローム、過ヨウ素酸シッフ（ＰＡＳ）、４’，６－ジアミジノ－２－フェニルインドール（ＤＡＰＩ）、又は以上の組み合わせによるラベリングを含み、
   前記第２ラベリング技術が、アプタマー、抗体、ペプチド、ナノボディ、抗体フラグメント、酵素活性プローブ、及び蛍光インサイツハイブリダイゼーション（ＦＩＳＨ）プローブによるラベリングを含む、
   ことを特徴とする請求項１に記載の方法。
5. 前記第１ラベリング技術、前記第２ラベリング技術、又は以上の組み合わせがラベルフリー画像処理を含む、
   ことを特徴とする請求項１に記載の方法。
6. 前記第２ラベリング技術が対象の前記組織構造と関連するバイオマーカを標的とする、
   ことを特徴とする請求項１に記載の方法。
7. 前記第１画像深さスタックを第１顕微鏡で収集するステップと、
   前記第２画像深さスタックを第２顕微鏡で収集するステップと、
   をさらに含む、
   ことを特徴とする請求項１に記載の方法。
8. 前記第２画像深さスタックの特定済み対象構造に基づいて、症状を診断するステップ、前記症状を監視するステップ、前記症状の進行について予測を行うステップ、治療反応について予測を行うこと、又は以上の組み合わせをさらに含む、
   ことを特徴とする請求項１に記載の方法。
9. 前記第２組織試料の第３画像深さスタックを取得するステップと、
   前記第２及び第３画像深さスタックに基づいて集積画像を生成するステップと、
   をさらに包むことを特徴とする請求項１に記載の方法。
10. 前記第２画像深さスタックと前記機械学習モデルとに基づいて合成深さスタックを生成するステップをさらに包み、
    前記合成深さスタックが、前記第２ラベリング技術で準備されたかのように前記第２組織の外観を予測したものである、
    ことを特徴とする請求項１に記載の方法。
11. 前記合成深さスタックに基づいて前記第２画像深さスタックの対象の前記組織構造をセグメント化するステップをさらに含む、
    ことを特徴とする請求項１０に記載の方法。
12. 組織試料の第１画像集合を生成するステップと、
    前記組織の第２画像集合を生成するステップであって、前記第２画像集合が前記組織試料の対象の組織構造の標的化ラベリングを含み、前記第１画像集合が前記組織構造に対して低特異性であるステップと、
    前記第２画像集合の外観を予測した合成画像を前記第１画像集合から生成するように、機械学習モデルを訓練するステップと、
    を包むことを特徴とする方法。
13. 第２組織試料の第３画像集合を生成するステップであって、前記第３画像集合が対象の前記組織構造に対して低特異性であるステップと、
    前記第３画像集合への訓練済みの前記機械学習モデルの使用に基づいて前記第３画像集合の対象の前記組織構造をセグメント化するステップと、
    をさらに包むことを特徴とする請求項１２に記載の方法。
14. 敵対的生成ネットワーク（ＧＡＮ）を前記機械学習モデルとして訓練するステップと、
    をさらにに含むことを特徴とする請求項１２に記載の方法。
15. 前記第１画像集合と前記第２画像集合とが前記組織の深さスタックである、
    ことを特徴とする請求項１２に記載の方法。
16. 前記深さスタックの被選択スライスを前記深さスタックの隣接スライスとともに反復的に処理することに基づいて前記合成画像を生成するように、前記機械学習モデルを訓練するステップと、
    をさらに含むことを特徴とする請求項１５に記載の方法。
17. 第１ラベリング技術を使用して組織の画像深さスタックを画像処理するステップと、
    機械学習モデルを使用して画像処理済みの前記画像深さスタックから合成画像深さスタックを生成するステップであって、前記合成画像深さスタックが、第２ラベリング技術を使用して準備されたかのように前記組織の外観を予測したものであり、前記第２ラベリング技術が対象の組織構造を標的とし、前記第１ラベリング技術が対象の前記組織構造に対して低特異性であるステップと、
    を包むことを特徴とする方法。
18. 前記合成画像深さスタックに基づいて対象の前記組織構造をセグメント化するステップと、
    をさらに含むことを特徴とする請求項１７に記載の方法。
19. 前記画像深さスタックに基づいて対象の前記組織構造をセグメント化するステップと、
    をさらに含むことを特徴とする請求項１８に記載の方法。
20. 前記合成画像深さスタックに基づいて、症状を診断するステップ、前記症状を監視するステップ、前記症状の進行について予測を行うステップ、又は以上の組み合わせをさらに含む、
    ことを特徴とする請求項１７に記載の方法。
21. 前記第１ラベリング技術及び前記第２ラベリング技術を使用して準備された組織の第２画像深さスタックに基づいて前記機械学習モデルを訓練するステップと、
    をさらに含むことを特徴とする請求項１７に記載の方法。
22. オープントップライトシート顕微鏡を使用して前記組織の前記画像深さスタックを画像処理するステップと、
    をさらに含むことを特徴とする請求項１７に記載の方法。
23. 第１ラベリング技術で準備された組織の画像深さスタックを生成する構成を持つ顕微鏡と、
    プロセッサと、
    実行可能命令が記憶されたメモリと、
    を備え、
    前記実行可能命令は、前記プロセッサによる実行時に、機械学習モデルを使用して画像処理済みの前記画像深さスタックから合成画像深さスタックを装置に生成させ、
    前記合成画像深さスタックが、第２ラベリング技術で準備されたかのように前記組織の外観を予測したものであり、
    前記第２ラベリング技術が対象の組織構造を標的とし、
    前記第１ラベリング技術が対象の前記組織構造に対して低特異性である、
    ことを特徴とする装置。
24. 前記組織が５μｍ以上の厚さを有する、
    ことを特徴とする請求項２３に記載の装置。
25. 前記顕微鏡がオープントップライトシート（ＯＴＬＳ）顕微鏡である、
    ことを特徴とする請求項２３に記載の装置。
26. 前記第１ラベリング技術及び前記第２ラベリング技術で準備された第２組織の画像深さスタックにおいて前記機械学習モデルが訓練される、
    ことを特徴とする請求項２３に記載の装置。
27. 前記第１ラベリング技術が、Ｈ＆Ｅ類似体、マッソントリクローム、過ヨウ素酸シッフ（ＰＡＳ）、４’，６－ジアミジノ－２－フェニルインドール（ＤＡＰＩ）、又は以上の組み合わせで前記組織をラベリングすることを含み、前記第２ラベリング技術が、アプタマー、抗体、ペプチド、ナノボディ、抗体フラグメント、酵素活性プローブ、及び蛍光インサイツハイブリダイゼーション（ＦＩＳＨ）プローブで前記組織をラベリングすることを含む、
    ことを特徴とする請求項２３に記載の装置。
28. 前記機械学習モデルが別のプロセッサにおいて訓練される、
    ことを特徴とする請求項２３に記載の装置。
29. 前記メモリには、さらに、前記プロセッサによる実行時に、前記合成画像深さスタックに基づいてセグメント化マスクを装置に生成させる命令が記憶される、
    ことを特徴とする請求項２３に記載の装置。
30. 前記メモリには、さらに、前記プロセッサによる実行時に、前記合成画像深さスタックと画像処理済みの前記画像深さスタックとに基づいて前記セグメント化マスクを装置に生成させる命令が記憶される、
    ことを特徴とする請求項２９に記載の装置。