JP2023507109A - 医用画像による自動化された腫瘍識別およびセグメンテーション - Google Patents

Abstract

医用画像は、医用画像内の領域のセットを識別するマスクを生成するために検出ネットワークに入力され、検出ネットワークは、マスク内で識別された各領域が対象内の１つ以上の腫瘍のうちの１つの腫瘍の描写を含むと予測する。各領域について、医用画像の領域は、対象内に存在する腫瘍の１つ以上の腫瘍セグメンテーション境界を生成するために腫瘍セグメンテーションネットワークを使用して処理される。各腫瘍について、および複数の臓器固有セグメンテーションネットワークを使用することによって、腫瘍の少なくとも一部が位置する臓器が決定される。出力は、１つ以上の腫瘍セグメンテーション境界および１つ以上の腫瘍の少なくとも一部が位置する臓器の位置に基づいて生成される。【選択図】図３

Description

関連出願の相互参照

本出願は、２０１９年１２月２０日に出願された米国仮特許出願第６２／９５２，００８号および２０２０年３月１６日に出願された米国仮特許出願第６２／９９０，３４８号の利益および優先権を主張する。これらの出願のそれぞれは、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。

医用イメージング（例えば、ＣＴスキャン、Ｘ線またはＭＲＩスキャン）は、癌（例えば、肺癌、乳癌など）の診断および処置を支援するために腫瘍検出に広く使用されている。多くの場合、医療従事者は、腫瘍のサイズまたは容積の変化を測定することによって、薬物および／または処置レジメンの有効性を評価する。固形腫瘍の応答評価基準（ＲＥＣＩＳＴ）は、癌対象の処置応答を評価するための標準化された方法であり、新規腫瘍薬承認の規制基準の一部である。ＲＥＣＩＳＴは、訓練された専門家（例えば、放射線科医）からかなりの時間を必要とする。具体的には、注釈器は、最大５個の標的病変および最大１０個の非標的病変を手動で（例えば、放射線科医によって）識別することである。注釈器は、標的病変の断面が描写される各スキャンにおける各標的病変の周囲を識別し、各標的病変の断面直径を記録する。次いで、全ての標的病変について定量的メトリック（例えば、最長直径の合計）が決定される。非標的病変は、定性的に評価され、非標的病変がスキャンで観察されるかどうか、および明確な変化があるかどうかを示す。スキャンは、複数の時点で収集されることができ、標的病変および非標的病変のメトリックが各時点について決定されることができる。次いで、ある期間にわたるメトリックの変化が使用されて、疾患が進行しているおよび／または効果的に処置されている程度を評価することができる。

しかしながら、ＲＥＣＩＳＴにはいくつかの制限がある。すなわち、ＲＥＣＩＳＴは、非常に頻繁に各対象について腫瘍の小さなサブセット（例えば、５～１０未満）のみを測定するので、本方法は、疾患全体の「負荷」を説明しない。この技術は、最大５個の腫瘍のサイズのみが追跡されることを考えると、多数の病変（例えば、５つを超える病変）を含むように転移した癌を有する対象の疾患進行および／または処置有効性を正確に評価することができない。さらにまた、病変選択の変動性のために標的病変の選択にも不整合があり、これは、同じ対象内であっても腫瘍負荷の異なる評価につながる有意な読み取り装置内および読み取り装置間の変動を引き起こす。例えば、病変の異なるセットは、（例えば、不注意に）異なる時点にわたって識別されることがある。さらに、多くの腫瘍は、ＣＴ上で不均一な外観を有することが多く、位置、サイズ、および形状によって変化する可能性がある。例えば、肺病変は、空洞型または石灰化型とすることができ、骨転移は、（例えば）溶解型（骨格組織を破壊する）または芽球型（異常な骨成長）型をとることができ、各病変型は、異なる構造的および視覚的外観に関連しているため、高い病変の変動性に起因して、疾患の病期および／または前記病変型の各病変を完全な読み取り値を得ずに評価することは困難である。したがって、より包括的なデータセットおよびより客観的な技術を用いて腫瘍の成長および／または転移を評価する自動化技術を識別することが有利であろう。

本開示は、一貫しており、対象の疾患負荷全体を説明する腫瘍検出および測定の自動化された方法を提供することによって、少なくとも上記の制限を解決しようと試みる。

本明細書に記載の技術は、１つ以上の医用画像を使用して生物学的対象を識別およびセグメンテーションするための方法を開示する。

いくつかの実施形態では、対象の少なくとも１つ以上の医用画像にアクセスするコンピュータ実装方法が提供される。１つ以上の医用画像は、
検出ネットワークに入力されて、１つ以上の画像内の領域のセットを識別する１つ以上のマスクを生成する。検出ネットワークは、１つ以上のマスクにおいて識別された領域のセットの各領域が対象内の腫瘍の描写を含むと予測する。領域のセットの各領域について、１つ以上の医用画像の領域は、対象内に存在する腫瘍の１つ以上の腫瘍セグメンテーション境界を生成するために腫瘍セグメンテーションネットワークを使用して処理される。腫瘍の少なくとも一部がその中に位置する臓器は、１つ以上の腫瘍の各腫瘍について、複数の臓器固有セグメンテーションネットワークを使用することによって決定される。次いで、１つ以上の腫瘍セグメンテーション境界および臓器位置に基づいて出力が生成される。

いくつかの実施形態では、対象の１つ以上の医用画像にアクセスする別のコンピュータ実装方法が提供される。１つ以上の医用画像に存在する腫瘍病変のセットについての臓器位置のセットもアクセスされる。１つ以上の医用画像および臓器位置のセットは、複数の治療的処置のうちの１つに関連するネットワークに入力されて、対象がその処置を受けた他の以前の対象と比較して特定の処置の良好な候補であるかどうかを表すスコアを生成する。次いで、スコアは、対象および複数の処置のうちの各処置の生存率の評価のために返される。

いくつかの実施形態では、１つ以上のデータプロセッサと、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体と、を含む、システムが提供される。

いくつかの実施形態では、非一時的機械可読記憶媒体に有形に具現化され、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させるように構成された命令を含むコンピュータプログラム製品が提供される。

本開示は、以下の添付の図面と併せて説明される：

多段ニューラルネットワークプラットフォームを使用して医用画像を使用、収集、および処理するための例示的な対話システムを示している。

検出された生物学的オブジェクトのパッチおよび境界ボックスのセットを含む例示的な画像スタックを示している。

２人以上の対象間の１つ以上のペアワイズ比較を生成するための例示的なシステムを示している。

多段ニューラルネットワークプラットフォームを使用して医用画像を処理するための例示的な方法を示している。

腫瘍検出のための例示的な画像のセットを示している。最左側パネルは、前処理後の軸方向スライスの全身スキャンを示し、右側パネルは、軸方向スライス内の肺、肝臓、および縦隔領域について、境界ボックス検出ネットワークによって自動的に生成およびラベル付けされた、検出された境界ボックスを示している。

軸方向ＣＴスキャンを使用した腫瘍セグメンテーションの例を示している。上側パネルのそれぞれは、腫瘍の決定された領域を示している。対応する下側パネルは、腫瘍の例示的なセグメンテーション境界を示している。

ＲＥＣＩＳＴを使用した手動評価を例示的な訓練セットの自動化された方法と比較するプロットを示している。パネルＡ：いくつかの識別された病変についての比較、パネルＢ：決定された最長径の和（ＳＬＤ）についての比較。

ＲＥＣＩＳＴを使用した手動評価を例示的な試験セットの自動化された方法と比較するプロットを示している。パネルＡ：いくつかの識別された病変についての比較、パネルＢ：決定されたＳＬＤについての比較。

例示的な訓練セットについて、放射線科医によって実施された完全読影を使用して識別された病変の数を、自動化された方法を使用して識別された病変の数と比較するプロットを示している。

１人以上の放射線科医によって実施された完全読影を使用して識別された病変の容積を、例示的な訓練セットの自動化された方法を使用して識別された病変の容積と比較するプロットを示している。

例示的な訓練セットについて、完全読影を使用して識別された病変の容積の平均および中央値を、自動化された方法を使用して識別された病変の容積と比較するプロットを示している。パネルＡ：平均容積データ。パネルＢ：中央容積データ。

例示的な訓練セットについてのカプラン・マイヤー曲線を示している。パネルＡ：手動評価されたＲＥＣＩＳＴによって導出されたＳＬＤであって、導出されたＳＬＤに基づいて四分位に分割されている、パネルＢ：手動評価されたＲＥＣＩＳＴによって導出された病変の数であって、病変の数に基づいて四分位に分割されている。パネルＣ：自動化された方法によって導出された総ＳＬＤであって、導出された総ＳＬＤに基づいて四分位に分割されている。

例示的な訓練セットについてのカプラン・マイヤー曲線を示している。パネルＡ：自動化された方法によって導出された総容積であって、四分位によって分割されている、パネルＢ：自動化された方法によって導出された病変の数であって、四分位によって分割されている。

例示的な訓練セットについて肺領域内に位置する病変を使用したカプラン・マイヤー曲線を示している。パネルＡ：自動化された方法によって導出された肺病変の容積であって、四分位によって分割されている、パネルＢ：自動化された方法によって導出された肺病変の数であって、四分位によって分割されている。

例示的な訓練セットについてのカプラン・マイヤー曲線を示している。パネルＡ：自動化された方法によって導出された肝臓関与の尺度であって、四分位によって分割されている、パネルＢ：自動化された方法によって導出された骨関与の尺度であって、四分位によって分割されている。

例示的な検証セットについてのカプラン・マイヤー曲線を示している。パネルＡ：手動評価されたＲＥＣＩＳＴによって導出されたＳＬＤであって、四分位によって分割されている、パネルＢ：手動評価されたＲＥＣＩＳＴによって導出された病変の数であって、四分位によって分割されている。

例示的な検証セットについてのカプラン・マイヤー曲線を示している。パネルＡ：手動評価されたＲＥＣＩＳＴによって導出されたＳＬＤであって、四分位によって分割されている、パネルＢ：自動化された方法によって導出された総ＳＬＤであって、四分位によって分割されている、パネルＣ：自動化された方法によって導出された総容積であって、四分位によって分割されている。

例示的な検証セットについてのカプラン・マイヤー曲線を示している。パネルＡ：自動化された方法によって導出された総腫瘍容積であって、四分位によって分割されている、パネルＢ：自動化された方法によって導出された病変の数であって、四分位によって分割されている。

例示的な検証セットについて肺領域内に位置する病変を使用したカプラン・マイヤー曲線を示している。パネルＡ：自動化された方法によって導出された肺病変の容積であって、四分位によって分割されている、パネルＢ：自動化された方法によって導出された肺病変の数であって、四分位によって分割されている。

例示的な検証セットについての自動化された方法によって導出された腎臓関与の尺度についてのカプラン・マイヤー曲線を示している。腎臓関与についてのデータは、四分位によって分割された。

自動検出およびセグメンテーション方法を使用した軸方向ＣＴスキャンからの腫瘍検出およびセグメンテーションの例を示している。左上パネルは、下側プロットに関連する病変のセグメンテーションを有する、肝臓において検出された３つの病変を示している。同様に、右上パネルは、肺／縦隔において検出された４つの病変を、それらの関連するセグメンテーションとともに示している。下側パネルの２つの例は、それぞれ、腎臓および肺空間における検出された病変を示している。

行ごとに左から右へのセグメンテーションの例を示している：放射線科医の注釈、問題ＵＮｅｔβ＝１０、問題ＵＮｅｔβ＝＝２、確率的ＵＮｅｔとして実装される、腫瘍セグメンテーションネットワークの結合。

別の例示的な試験セットについてのカプラン・マイヤー曲線を示している。パネルＡ：手動評価されたＲＥＣＩＳＴによって導出されたＳＬＤであって、四分位によって分割されている、パネルＢ：自動化された方法によるＳＬＤであって、四分位によって分割されている。

添付の図面において、同様の構成要素および／または特徴は、同じ参照ラベルを有することができる。さらに、同じ種類の様々な構成要素は、参照ラベルの後に同様の構成要素を区別するダッシュおよび第２のラベルを続けることによって区別されることができる。本明細書において第１の参照ラベルのみが使用される場合、説明は、第２の参照ラベルに関係なく、同じ第１の参照ラベルを有する同様の構成要素のいずれかに適用可能である。

Ｉ．概要
最近の画像分析の取り組みは、腫瘍の検出およびセグメンテーションを行うことによって放射線科医のワークフローを支援することができる自動化されたアルゴリズムを開発することに焦点を当てている。最近の方法は、単一の軸方向ＣＴセクションにおけるＲＥＣＩＳＴ病変の検出および／またはセグメント化に焦点を当てている。これらの最近の取り組みは、より高く、より変化しやすい腫瘍負荷量を被る進行期の対象とは対照的に、腫瘍スクリーニングのために、単一の切片上、または単一の臓器（例えば、肺において）においてのみ腫瘍をセグメンテーションするために制限されている。

本明細書に記載されるように、技術は、（例えば、ＣＴまたはＭＲＩスキャンなど）対象の１つ以上の画像スキャンを分析するために使用される。各画像スキャンは、異なるスライス（例えば、異なる軸方向スライス）に対応する画像のセットを含むことができる。第１のニューラルネットワークが使用されて、画像スキャン内の各画像について、特定の種類の生物学的オブジェクト（例えば、腫瘍）の描写を含む各領域を検出することができる。第１のニューラルネットワーク（すなわち、境界ボックス検出ニューラルネットワーク）は、ＲｅｔｉｎａＮｅｔなどの畳み込みニューラルネットワークおよび／または３次元ニューラルネットワークを含むことができる。第１のニューラルネットワークは、各領域を、描写された生物学的オブジェクトおよび場合によっては所定サイズのパディングを含む境界ボックスとして定義するように構成されることができる（例えば、ボックスの幅は、生物学的オブジェクト描写の推定最大幅＋２倍のパディングであるように定義されるように）。第１のニューラルネットワークは、（例えば、個々の画像ごとに領域を画定するために）個々の焦点によって画像スキャンを処理するが、コンテキストを提供するために個々のスキャンの上方のスライスを描写するスキャンおよび個々のスキャンの下方のスライスを描写する別のスキャンを使用するように構成されることができる。

第２のニューラルネットワーク（例えば、セグメンテーションニューラルネットワーク）は、画像スキャンのより小さい部分を処理して個々のオブジェクトをセグメント化するように構成されることができる。より具体的には、第１のニューラルネットワークによって処理された画像の１つ以上のトリミング部分は、第２のニューラルネットワークに入力されることができる。各トリミング部分は、特定の画像に対して定義された境界ボックスに対応することができる。トリミング部分は、（例えば）境界ボックスの面積に等しい面積、または境界ボックス＋パディングの面積に等しい面積を有することができる。第２のニューラルネットワークは、隣接するスライスを表す他の画像から対応する部分を受信するように構成されてもよい。第２のニューラルネットワークは、ＵＮｅｔなどの畳み込みおよび／または３次元ニューラルネットワークを含むことができる。第２のニューラルネットワークの出力は、各ボックスについて、画像に描写されたオブジェクト断面の断面の円周または面積に対応すると推定される画素のセットを識別することができる。

場合によっては、オブジェクトセグメンテーションは、画像にわたって位置合わせおよび／または平滑化される。次いで、個々のオブジェクトの３次元表現が取得されることができる。

ニューラルネットワーク（例えば、第１のニューラルネットワーク、第２のニューラルネットワーク、または別のニューラルネットワーク）は、オブジェクトの環境を推定するように構成されることができる。例えば、ネットワークは、生物学的オブジェクトが対象の肺、肝臓、骨、縦隔または他の位置内にある確率を出力することができる。確率は、独立して評価されることができる（例えば、その場合、確率は、様々な確率にわたって合計が１になる必要はない）。コンテキストを予測することは、セグメンテーション、位置合わせ、および／または他の処理を容易にすることができる。例えば、特定の種類の生物学的オブジェクト（例えば、腫瘍）は、一般に、異なる環境において異なる特性を有することができる。したがって、環境予測は、オブジェクトセグメンテーションを生成し、および／または他の画像処理を実行するために、どのタイプの画像特徴が使用されるかを通知することができる。場合によっては、ネットワークは、特定の種類のオブジェクトを真に描写する画像の推定確率を出力する。

場合によっては、第３のニューラルネットワークは、画像内の関心のある位置の第２のセグメンテーションを実行することによって、生物学的オブジェクトの環境を決定することができる。例えば、第３のニューラルネットワークは、肺、肝臓、腎臓、および／または対象に対応する別の位置のセグメンテーションを（例えば、２次元および／または３次元マスクの形態で）出力することができる。場合によっては、第３のニューラルネットワークは、関心のある単一の位置をセグメント化するように訓練されてもよく、追加のニューラルネットワークは、関心のある追加の位置をセグメント化するように構成されてもよい。例えば、第３のニューラルネットワークは、肺のセグメンテーションを出力することができ、第４のニューラルネットワークは、肝臓のセグメンテーションを出力することができ、第５のニューラルネットワークは、腎臓のセグメンテーションを出力することができる。

２次元セグメンテーションまたは３次元セグメンテーションのいずれかを使用して、１つ以上のオブジェクト固有の統計量が生成されて、各推定オブジェクト描写を特徴付けることができる。１つ以上のオブジェクト固有の統計量は、（例えば）面積、最長寸法長または円周長を含むことができる。スキャンごとに１つ以上のスキャン固有の統計量が生成されることができる。スキャン固有の統計量は、（例えば）スキャンごとに検出されたオブジェクトの数、スキャンごとに検出されたオブジェクトの数に基づく統計量（例えば、平均値、中央値または最大値）、オブジェクト固有の統計量に基づく統計量（例えば、平均値、中央値または最大値）、または各スキャンにわたって検出されたオブジェクトの量に基づく統計量（例えば、平均値、中央値または最大値）を含むことができる。（例えば）全てのスキャンにわたって検出されたオブジェクトの総数（例えば、所与の対象に関連する）、全てのスキャンにわたって検出されたオブジェクトの最長寸法長の合計、および／または全てのスキャンにわたって検出されたオブジェクトの累積量など、対象レベルの統計量がさらに生成されることができる。

スキャン固有、オブジェクト固有の統計量、および／または対象レベルの統計量が出力されることができる。場合によっては、統計量は、時点および対象識別子に関連して記憶されることができる。次いで、統計量は、経時的に追跡および比較されて、医学的症状が進行している程度、所与の処置の有効性および／または所与の対象の予後を推定することができる。
ＩＩ．定義

本明細書で使用される場合、「医用画像」は、対象の体内の画像を指す。医用画像は、ＣＴ、ＭＲＩ、および／またはＸ線画像を含むことができる。医用画像は、対象の組織、臓器、および／または解剖学的領域全体の一部を描写することができる。医用画像は、対象の胴体、胸部、腹部および／または骨盤の一部を描写することができる。医用画像は、対象の全身を描写することができる。医用画像は、２次元画像を含むことができる。

本明細書で使用される場合、「全身イメージング」は、対象の全身をまとめて描写する画像のセットを収集することを指す。画像のセットは、対象の第１の端部（例えば、前端）から第２の端部（例えば、後端）まで広がる仮想「スライス」に関連付けられた画像を含むことができる。画像のセットは、対象の少なくとも脳領域、胸部領域、腹部領域、および骨盤領域の仮想スライスを含むことができる。

本明細書で使用される場合、「画像スタック」は、隣接する仮想スライスのセットを描写する画像のセットを指す。したがって、画像のセットは、（例えば）異なる深度に関連付けられることができる。画像スタックは、（例えば）少なくとも２つの画像または少なくとも３つの画像を含むことができる。画像スタックは、下画像、中間画像、および上画像を含むことができ、中間画像に関連付けられた深度は、下画像と上画像の深度の間にある。下画像および上画像は、中間画像の処理に関連するコンテキスト情報を提供するために使用されることができる。

本明細書で使用される場合、（例えば、「オブジェクト」とも呼ばれる）「生物学的オブジェクト」は、生物学的構造および／または生物学的構造に関連する１つ以上の関心領域を指す。例示的な生物学的構造は、対象の１つ以上の生物学的細胞、臓器および／または組織を含むことができる。オブジェクトは、これらの識別された生物学的構造および／または識別された生物学的構造内のもしくは識別された生物学的構造に接続された類似の構造（例えば、対象のより大きな身体の正常細胞、臓器および／または組織内で識別された複数の腫瘍細胞および／または組織）のいずれかを含むことができる（ただし、これらに限定されない）。

本明細書で使用される場合、「マスク」は、検出されたオブジェクトまたは他の関心領域の表面領域を表す画像または他のデータファイルを指す。マスクは、１つ以上の関心領域（例えば、１つ以上の検出されたオブジェクト）を示す非ゼロ強度の画素と、背景を示すゼロ強度の画素とを含むことができる。

本明細書で使用される場合、「バイナリマスク」は、各画素値が２つの値（例えば、０または１）のうちの１つに設定されるマスクを指す。ゼロの強度値は、対応する画素が背景の一部であることを示すことができ、非ゼロの強度値（例えば、１の値）は、対応する画素が関心領域の一部であることを示すことができる。

本明細書で使用される場合、「３Ｄマスク」は、３次元画像内のオブジェクトの完全な表面領域を指す。３Ｄマスクを形成するために、オブジェクトの複数のバイナリマスクが組み合わせられることができる。３Ｄマスクは、オブジェクトまたは他の関心領域の容積、密度、および空間内の位置に関する情報をさらに提供することができる。

本明細書で使用される場合、「セグメンテーション」は、（２次元または３次元）画像または他のデータファイル内のオブジェクトまたは関心領域の位置および形状を決定することを指す。セグメンテーションは、画像内のオブジェクトの領域または周囲を描写する画素のセットを決定することを含むことができる。セグメンテーションは、オブジェクトのバイナリマスクを生成することを含むことができる。セグメンテーションは、オブジェクトの３Ｄマスクを生成するために、オブジェクトに対応する複数のバイナリマスクを処理することをさらに含むことができる。

本明細書で使用される場合、「セグメンテーション境界」は、画像内のオブジェクトの推定された周囲長を指す。セグメンテーション境界は、オブジェクトのエッジの位置を決定するために画像の特徴が分析されるセグメンテーションプロセス中に生成されることができる。セグメンテーション境界は、バイナリマスクによってさらに表されてもよい。
本明細書で使用される場合、「処置」は、治療、薬剤および／または放射線を処方もしくは適用すること、および／または（例えば、医学的症状の進行を遅らせるために、医学的症状の進行を停止させるために、医学的症状の重症度および／もしくは程度を軽減するために、ならびに／または医学的症状を治癒するために）医学的症状を処置する目的で外科的手順を処方もしくは実行することを指す。
ＩＩＩ．例示的な対話システム

図１Ａは、多段ニューラルネットワークプラットフォームを使用するために医用画像を使用、収集、および処理するための例示的な対話システムを示している。この特定の例では、対話システムは、医用画像内の腫瘍生物学的構造および臓器の描写を特定してセグメント化するように特に構成されている。
Ａ．入力データ

１つ以上のイメージングシステム１０１（例えば、ＣＴ装置、ＭＲＩ装置、および／またはＸ線装置）が使用されて、医用画像１０２（例えば、ＣＴ、ＭＲＩ、および／またはＸ線画像）の１つ以上のセットを生成することができる。イメージングシステム１０１は、画像のセット内の各画像がセット内の他の画像に対して異なる深度、位置、および／または視点に関連付けられるように、複数の画像が収集されるときに焦点および／または位置を反復的に調整するように構成されることができる。イメージングシステム２０１は、光源（例えば、電動式および／またはＸ線源）、光検出器（例えば、カメラ）、レンズ、対物レンズ、フィルタ、磁石、（例えば、磁場の不均一性を補正するための）シムコイル、（例えば、磁気共鳴信号を局在化するための）勾配システムおよび／または（例えば、試料を励起し、得られた核磁気共鳴信号を検出するための）ＲＦシステムを含むことができる。

画像１０２の各セットは、撮像セッション、セッション日付および対象に対応することができる。対象は、ヒトまたは動物の対象を含むことができる。対象は、特定の疾患（例えば、癌）と診断されていてもよく、および／または１つ以上の腫瘍を有していてもよい。

画像１０２の各セットは、対応する対象の内部を描写することができる。場合によっては、各画像は、少なくとも対象の関心領域（例えば、１つ以上の臓器、胸部領域、腹部領域、および／または骨盤領域）を描写する。

画像１０２のセットの各画像は、それぞれがセット内の他の画像に描写された他の平面に平行な平面を描写するように、同じ視野角をさらに有することができる。場合によっては、画像のセットのそれぞれは、平面に非平行な（例えば、垂直な）軸に沿った異なる距離に対応することができる。例えば、画像１０２のセットは、対象の前後軸に沿った異なる位置に対応する水平仮想スライスのセットに対応することができる。画像１０２のセットは、（例えば、まとめてまたは個別に）前処理されてもよい。例えば、前処理は、画素強度を正規化すること、画像を互いにまたは別の基準点／画像に位置合わせすること、画像を均一なサイズにトリミングすること、および／または明暗画素を区別するためにコントラストを調整することを含むことができる。場合によっては、画像１０２のセットは、３次元（３Ｄ）画像構造を生成するために処理されることができる。次いで、３Ｄ画像構造が使用されて、仮想スライスの異なる角度に対応する画像の別のセットを生成することができる。
Ｂ．訓練データ

イメージングシステム１０１の少なくとも一方によって収集されたいくつかの医用画像は、訓練データセットに含まれて、１つ以上のニューラルネットワーク（例えば、境界ボックス検出ネットワークおよびセグメンテーションネットワーク）を訓練するための訓練画像を含むことができる。訓練画像は、訓練されたネットワークが使用される対象と比較して、他の対象と関連付けられてもよい。

各訓練画像は、本明細書に記載の医用画像１０２の１つ以上の特性を有することができ、画像が腫瘍および／または臓器を描写するかどうかおよび／または画像が腫瘍および／または臓器を描写する場所を示す注釈データと関連付けられることができる。この注釈データを識別するために、イメージングシステム１０１によって収集された画像は、注釈装置１０３に利用される（例えば、送信される）ことができる。

画像は、注釈装置１０３において提示されてもよく、注釈ユーザ（例えば、放射線科医など）は、（例えば）画像が任意の腫瘍（または１つ以上の特定の種類の臓器）を描写するかどうか；画像に示された腫瘍の数；注釈器によって注釈付けされている（例えば、概説されている）腫瘍の数；１つ以上の腫瘍および／または１つ以上の特定の種類の臓器のそれぞれの周囲長を示す（例えば）マウス、トラックパッド、スタイラスおよび／またはキーボードを使用して入力を提供してもよい。

注釈装置１０３は、入力を（例えば）ラベルデータ１０４に変換することができる。各ラベルデータセットは、対応する画像データセットと関連付けられることができる。ラベルデータ１０４は、画像が腫瘍および／または１つ以上の特定の種類の臓器を含むかどうかを示すことができる。ラベルデータ１０４は、腫瘍および／または臓器の空間的特徴（例えば、周囲および／または領域）を識別することによって、画像内に位置する腫瘍および／または臓器の場所をさらに示すことができる。例えば、ラベルデータ１０４は、示された腫瘍のセットのそれぞれの周囲と関連付けられた座標を識別する座標のセットを含むことができる。別の例として、ラベルデータ１０４は、訓練画像内のどの画素（またはボクセル）が示された腫瘍の周囲および／または領域に対応するかに関する指示を含むことができる。

空間的特徴は、複数のオブジェクトについてさらに識別されることができる。場合によっては、ラベルデータ１０４は、訓練画像内に描写された全ての腫瘍、臓器、および／または他の生物学的オブジェクトの空間的特徴を識別することができる（ただし、識別する必要はない）。例えば、訓練画像が１０個の腫瘍を描写する場合、ラベルデータ１０４は、１０個の腫瘍のそれぞれについて、または描写された腫瘍のうちの２個だけについて周囲長を識別することができる。そのような場合、オブジェクトの不完全なサブセットは、所定の選択基準に基づいて選択されることができる（ただし、選択される必要はない）。例えば、注釈ユーザは、閾値腫瘍長および／または閾値腫瘍容積を満たすおよび／または関心領域内（例えば、１つ以上の特定の臓器内）の腫瘍の描写のみをマークするように指示されていてもよい。

ラベルデータ１０４は、注釈器からの入力に基づいて識別される腫瘍のタイプ、位置、および／またはサイズを表すことができる腫瘍分類をさらに識別することができる。例えば、特定のラベルは、示された腫瘍が特定の臓器（例えば、肝臓）に対応する画像１０２の領域内にあることを示すことができる。ラベルデータ１０４は、特定のラベルが実際に関心のある腫瘍または臓器に対応する確率をさらに含むことができる。確率値は、腫瘍長、腫瘍容積、対象との位置、および／または特定のラベルを腫瘍または臓器に対応するものとして識別する注釈ユーザの数に基づいて計算されることができる。
ラベルデータ１０４は、画像スキャンの各画像について、腫瘍または臓器の描写を含む各領域を検出するために、１つ以上のニューラルネットワークを訓練するために使用されることができる。訓練されたニューラルネットワークは、それぞれのスキャンのそれぞれに対応する画像スタックを使用して（例えば、個々の画像ごとに特定の領域を画定するために）個々の焦点によって画像スキャンを処理することによって、示された腫瘍または臓器を含むと識別された各領域を描写するように構成されることができる。
Ｃ．境界ボックス検出ネットワーク

ニューラルネットワーク処理システム１２０は、画像１０２および対応するラベルデータ１０４の１つ以上のセットを受信するように構成されることができる。画像の１つ以上のセットの各画像は、最初に前処理コントローラ１０５によって前処理されてもよい。例えば、異なる領域の全てを示す集約画像を生成するために、対象の異なる領域を示す１つ以上の画像がスティッチングされてもよい。場合によっては、集約画像は、対象の「全身」ビューを描写する。別の例として、１つ以上の画像は、所定のサイズにスケーリングおよび／またはトリミングされてもよい。さらに別の例では、１つ以上の画像は、（例えば、画像内の位置合わせマーキング、相関ベースの技術、またはエントロピーベースの技術を使用して）セット内に含まれる別の画像または基準画像に位置合わせされることができる。別の例では、１つ以上の画像の画素強度は、正規化または標準化方法によって調整されることができる。場合によっては、画像１０２のセットは、前処理技術を受けない。

前処理された画像は、境界ボックス検出コントローラ１０６に利用されることができ、境界ボックス検出コントローラは、本明細書で説明するように、境界ボックス検出ネットワークの機能および動作の全てを制御および／または実行することができる。境界ボックス検出ネットワークは、腫瘍の描写を含む画像１０２のセット内の領域（例えば、境界ボックス）を識別するように構成された畳み込みニューラルネットワーク、逆－畳み込みニューラルネットワーク、または３次元ニューラルネットワークとすることができる。境界ボックス検出ニューラルネットワークによって識別される領域は、１つ以上の矩形または超矩形の領域を含むことができる。

境界ボックス検出コントローラ１０６は、検出パラメータ１０７のセットを学習するように境界ボックス検出ネットワークを訓練するために、訓練画像および対応する注釈を使用することができる。検出パラメータ１０７は、畳み込みネットワーク内のノード間の重みを含むことができる。ペナルティ関数は、検出された境界ボックスの一部が腫瘍の描写を完全に含まない場合、および／またはさらなる水平点および／または垂直点の間のパディングが下限閾値未満および／または上限閾値より大きい場合にペナルティを導入するように設定されることができる。場合によっては、ペナルティ関数は、所定のズーム範囲よりも大きいまたは小さい境界ボックスに対してペナルティを課すように構成されている。ペナルティ関数は、焦点損失を含むことができる。（その全体があらゆる目的のために参照により本明細書に組み込まれる、Ｌｉｎ，Ｔ．Ｙ．、Ｇｏｙａｌ，Ｐ．、Ｇｉｒｓｈｉｃｋ，Ｒ．、Ｈｅ，Ｋ．、Ｄｏｌｌａｒ，Ｐ．「Ｆｏｃａｌ ｌｏｓｓ ｆｏｒ ｄｅｎｓｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ．」 ＩＣＣＶ ２０１７，ｐｐ．２９８０－２９８８（２０１７）に定義されているような）焦点損失は、クラス不均衡に対処するために、ならびに腫瘍のタグ知覚変動に起因する予測困難な症例に向けて検出タスクの訓練を「リフォーカス」するために使用されることができる。

訓練が行われることができ、および／または境界ボックス検出ネットワークは、１つ以上の固定ハイパーパラメータを使用して定義されることができる。例えば、ハイパーパラメータは、学習率、層ごとのノードの数、層の数などを含むことができる。

境界ボックス検出ネットワークは、各画像１０２内の潜在的な腫瘍描写に対応する１つ以上の境界ボックス１０８を検出することができる。境界ボックスの検出は、境界ボックスを位置特定するために各画像の画像スタックを使用することを含むことができる。例えば、（撮像深度に応じて順次番号付けされた）特定の撮像セッション中に１００枚の画像が収集された場合、第７の画像内の境界ボックスを検出すると、第６の画像、第７の画像、および第８の画像を含むように画像スタックが定義されることができる。画像スタックは、１つ以上の方向に２つ以上の隣接画像を含むことができる（例えば、第７の画像内の境界ボックスを検出するときに第３から第１１の画像を含むように）。

画像スタックの特徴は、１つ以上の領域が腫瘍および／または臓器を含むかどうかおよび／または１つ以上の領域が腫瘍および／または臓器を含む場所を決定するときにコンテキスト情報を提供するために使用される。特徴は、画像スタック内の画像にわたって延在する３次元特徴を含むことができる。例えば、特徴（例えば、学習された特徴）が画像スタック全体にわたって同様の位置（例えば、上部仮想スライス、下部仮想スライス、および中央仮想スライスの組み合わせ）に存在する場合、境界ボックス検出ネットワークは、特徴に対応する（例えば、含む）画像領域が腫瘍の境界ボックスを表すと決定することができる。代替例として、画像スタックの中央スライスの特徴が画像スタックの上部スライスまたは下部スライスのいずれにも存在しない場合、境界ボックス検出ネットワークは、特徴に対応する画像領域が画像の背景（すなわち、腫瘍以外の任意の生物学的構造）に対応し、境界ボックスを示さないと決定することができる。場合によっては、境界ボックス検出ネットワークは、検出された各境界ボックスに確率値をさらに割り当てることができる。境界ボックスの確率値が閾値を超えない場合、境界ボックスは、背景として破棄されてもよい。

境界ボックス検出ネットワークは、境界ボックスのマージンが腫瘍に対応する領域の各エッジからの少なくとも一定量のパディング（例えば、１０ｐｘ、１５ｐｘ、または別の適切な量）を含むように、検出された各境界ボックス１０８をさらに処理することができる。場合によっては、量パディングは、（例えば、検出されたオブジェクト描写の左、上、右、および下に最も遠い画素と交差する初期ボックスを生成し、所定のパディングを使用して、または画像境界に遭遇するまでボックスを拡張するように）事前定義される。他の例では、均一な境界ボックスサイズを維持するために、様々な程度のパディングが追加される。

境界ボックスデータ１０８は、（例えば、２つ以上のコーナー座標、１つ以上のエッジの座標などとして）各境界ボックスの定義および／または対応する画像もしくは画像のセットの１つ以上の識別子（例えば、画像の識別子、対象、撮像日など）を含むことができる。

１つの画像内の境界ボックスの位置は、別の画像内の境界ボックスの位置に関連することができることが理解されよう。この依存性を伝えるために画像スタックが使用されてもよいが、他の処理がさらにまたは代替的に使用されてもよい。例えば、境界ボックス検出ニューラルネットワークへの入力は、（同じ撮像セッションおよび同じ対象に対応する）以前に処理された画像から検出された１つ以上の境界ボックスのそれぞれの識別を含むことができる。別の例として、境界ボックス出力は、１つ以上の他の隣接する画像からの境界ボックス検出に基づいて、１つの画像に対応する境界ボックス検出を修正（例えば、平行移動、サイズ変更、削除、または追加）するために後処理されてもよい。

図１Ｂは、単一の生物学的オブジェクト１２５のための境界ボックスのセットを描写する例示的な画像スタックを示している。画像スタックは、少なくとも画像１２１、画像１２２、および画像１２３を含むことができ、画像スタックの各画像は、対象の領域の異なる軸方向視点を示す。場合によっては、画像スタックは、図に示されていない追加の画像を含むことができる。画像スタック内の各画像は、特定の画像内の生物学的オブジェクト１２５の可能な位置を描写する境界ボックスをさらに含むことができ、その結果、各境界ボックスが同じ生物学的オブジェクト１２５の存在を識別するため、各境界ボックスは、画像スタック内の他の画像に含まれる対応する境界ボックスに関連することができる。例えば、画像１２１は、画像１２１の少なくとも一部をカバーする境界ボックス１２１Ａを含み、画像１２２は、画像１２２の少なくとも対応する部分をカバーする境界ボックス１２２Ａを含み、その結果、境界ボックス１２１Ａおよび境界ボックス１２２Ａは、関連する境界ボックスであり、それぞれ、第１の軸方向視点および第２の軸方向視点から生物学的オブジェクト１２５の第１の可能な位置および第２の可能な位置を描写すると予測された領域を含む。他の例では、生物学的オブジェクト１２５は、画像スタック内の画像の少なくともサブセット（例えば、１つ以上）内で検出されないことがあり、したがって、画像スタック内の画像のサブセットは、生物学的オブジェクト１２５の関連する境界ボックスを含まないことがある。

さらに、画像スタック内の関連する境界ボックスの正確な位置（例えば、座標のセットによって表される）、表面積、および／または形状に差があってもよい。この例では、生物学的オブジェクト１２５の大部分が画像１２２内に位置すると推定されるため、境界ボックス１２１Ａの表面積は、境界ボックス１２２Ａの表面積よりも小さくてもよい。関連する境界ボックスのそれぞれの位置は、画像スタック内の画像の１つ以上の異なる軸方向視点からの同じ生物学的オブジェクト１２５の対応する位置を説明する１つ以上の変形（例えば、ｘ平面、ｙ平面、またはその双方において）をさらに含むことができる。

場合によっては、画像スタックの関連する境界ボックスのセットの識別に応答して、関連する境界ボックスのそれぞれについて検出領域が決定される。例えば、画像１２１は、境界ボックス１２１Ａを囲む検出領域１２１Ｂを含むことができる。検出領域は、画像スタック内の各画像に対して同じサイズおよび同じ位置内であってもよい。いくつかの実施形態では、検出領域のサイズおよび位置は、画像スタックの中央スライス（例えば、この場合、画像１２２）内の境界ボックスの位置から決定されることができる。検出領域は、追加のパディングとともに識別された境界ボックスのそれぞれの全体を含むように構成されることができる。場合によっては、検出領域は、境界ボックス検出ネットワークとは別個の別のニューラルネットワークによって決定されてもよい。
Ｄ．腫瘍セグメンテーションネットワーク

図１Ａに戻って参照すると、境界ボックスデータ１０８は、本明細書に記載されるように、腫瘍セグメンテーションネットワークの機能または動作の全てを制御および／または実行することができる腫瘍セグメンテーションコントローラ１０９に送信されることができる。腫瘍セグメンテーションネットワークは、境界ボックス検出ネットワークの訓練中に決定された少なくとも予測境界ボックスデータの訓練データセットを使用して訓練されることができる。セグメンテーションパラメータ１１０のセット（例えば、重み）は、訓練中に学習されることができる。図示の例では、腫瘍セグメンテーションネットワークは、（例えば）腫瘍の描写を検出およびセグメント化するように構成された、ニューラル畳み込みニューラルネットワークまたは３次元ニューラルネットワークとすることができる。場合によっては、腫瘍セグメンテーションネットワークは、ニューラルネットワークを含まず、代わりに（例えば）クラスタリング技術（例えば、Ｋ－ミーンズ技術）、ヒストグラムベースの技術、エッジ検出技術、領域成長技術および／またはグラフ分割技術を使用してもよい。腫瘍セグメンテーションネットワークは、検出された各境界ボックス１０８内で腫瘍をセグメント化するように構成されることができる。

画像１０２のセット内の各医用画像について、境界ボックス１０８は、（例えば）それぞれの画像に関連付けられた境界ボックスの識別情報（例えば、頂点の座標および／またはエッジ座標）とともに、境界ボックスに対応する画像の１つ以上の部分、または画像の全体を含む。いくつかの実施形態では、中間処理（図示せず）が実行されて、境界ボックス１０８によって囲まれた画像１０２の領域のみに対応するトリミングされた画像のセット（例えば、本明細書では検出領域と呼ばれる）を生成することができる。所与の画像に対して複数の境界ボックスが定義されている場合、腫瘍セグメンテーションネットワークは、入力として各対応する検出領域を受信し、検出領域を別々に処理することができる。

検出領域は、図１Ｂに示すように、標的腫瘍のフォーカスビューを提供することができる。場合によっては、検出領域は、所定のサイズであってもよい。そのような場合、検出領域は、検出領域の所定のサイズを維持するために、追加のパディングとして境界ボックスに対応する領域に隣接する領域の別のセットを含むことができる。他の場合では、境界ボックスが所定のサイズよりも大きい場合（例えば、４００画素または２００画素×２００画素）、境界ボックスに対応する領域は、各ウィンドウが別個の検出領域に対応するように、２つ以上のウィンドウ（例えば、所定のサイズのもの、および／または所定のサイズ以下のもの）に分割される。そのような場合、単一の境界ボックスに対応する検出領域は、画像の重複部分を含むことができる。

境界ボックスが画像スタック全体に広がる場合（図１Ｂに示すように）、画像スタック内の各画像に対して別個の検出領域が画定されることができる。いくつかの実施形態では、検出領域の処理は、境界ボックスデータ１０８を腫瘍セグメンテーションコントローラ１０９に送信する前に境界ボックス検出ネットワークによって実行される。

腫瘍セグメンテーションコントローラ１０９は、各検出領域の特徴（例えば、画素強度の変動）をさらに識別および評価して、腫瘍に対応する周囲、エッジおよび／または輪郭のセットを識別するように構成された腫瘍セグメンテーションネットワークを実装する。腫瘍セグメンテーションネットワークによって識別された特徴は、境界ボックス検出ネットワークによって識別された特徴と類似性を有してもよく、および／または境界ボックス検出ネットワークによって識別された特徴と異なっていてもよい。双方のネットワークは、腫瘍に対応する画像の領域を識別するように訓練されることができるが、異なる特徴は、比較的大きな構造と比較して比較的小さな構造を検出するのに有用であり得る。場合によっては、腫瘍セグメンテーションネットワークは、（例えば）画素強度、画素色、および／または任意の他の適切な画像特徴を分析することによって、オブジェクトの位置を検出することを学習することができる。例として、腫瘍セグメンテーションネットワークは、（例えば、領域固有のメトリックを所定の閾値と比較することによって決定されるように）高コントラスト、大強度範囲および／または高強度変動を有する領域を検出するために画像を分析することによってオブジェクトのエッジを識別することができる。腫瘍セグメンテーションネットワークは、異なる受容野に対応する（したがって、異なる画素の集合の表現を分析する）ノードを含むことができる。したがって、ネットワークは、少なくともいくつかの異なるタイプの特徴を検出および使用することを学習することができる。

場合によっては、腫瘍セグメンテーションネットワークは、画像スタック内の他の画像によって提供される空間的状況を利用して、腫瘍に対応するエッジおよび／または輪郭のセットを識別することができる。画像スタックは、（例えば）３つの画像を含むことができ、中央画像は、腫瘍が検出される画像である。

腫瘍セグメンテーションネットワークは、識別されたエッジおよび／または輪郭を使用して、所与の検出領域内の腫瘍の全表面領域に対応する２－次元（例えば、バイナリ）腫瘍マスク１１０をさらに生成することができる。腫瘍マスク１１０は、腫瘍のいかなる部分も描写していると識別されない画素にわたって０の値を有するように定義されることができる。腫瘍の一部を描写していると識別される画素には、１つの値（例えば、バイナリマスクの場合）または別の値が割り当てられることができる。

場合によっては、バイナリ腫瘍マスク１１０は、各バイナリ腫瘍マスク１１０が腫瘍の異なる軸方向視点に対応するように、画像スタック内の各画像に対して生成される。そのような場合、後処理コントローラ１１１は、バイナリ腫瘍マスク１１０のセットを集約して、腫瘍の３次元の位置決めおよび形状を表す３Ｄ腫瘍マスク１１０を構築することができる。
Ｅ．臓器固有セグメンテーションネットワーク

場合によっては、ニューラルネットワーク処理システム１２０は、臓器固有セグメンテーションネットワークを実装するように構成された臓器セグメンテーションコントローラ１１１を含むことができる。臓器固有セグメンテーションネットワークは、（例えば）畳み込みニューラルネットワークおよび／または３次元ニューラルネットワークを含むことができる。例示的な畳み込みニューラルネットワークは、ＶＧＧ １６、Ｕ－Ｎｅｔ、および／またはＲｅｓＮｅｔ１８ネットワークを含むことができる。臓器固有セグメンテーションネットワークは、対象に対応する医用画像を分析し、画像内に描写された１つ以上の臓器をセグメント化するように構成されることができる。そのような場合、１つ以上の臓器固有セグメンテーションネットワークのそれぞれは、（例えば、訓練中に学習されたパラメータを介して）特定のタイプの臓器をセグメント化するように構成されることができる。例示的な関心臓器は、（例えば）肝臓、または肺、または腎臓、または膵臓などとすることができる。

場合によっては、臓器固有セグメンテーションネットワークは、セグメンテーションプロセスの一部として、深さ方向および点方向の畳み込みなどの一連の畳み込みを実行するように構成されることができる。そのような場合、特定の寸法に沿った１つ以上の膨張がさらに実行されることができる。特定の寸法は、第３の寸法、第４の寸法などであってもよい。場合によっては、腫瘍セグメンテーションネットワークは、複製フィルタなどの１つ以上のフィルタを適用することもできる。

図示の例では、臓器セグメンテーションコントローラ１１１は、特定のタイプの臓器を検出するように構成された臓器固有セグメンテーションネットワークを制御することができる。臓器固有セグメンテーションネットワークは、訓練画像と、訓練画像の少なくともいくつかのそれぞれの中のどの部分が特定のタイプの臓器を描写するかを示す注釈とを含む訓練データセットを使用して訓練されることができる。訓練データセットは、境界ボックス検出ネットワークおよび腫瘍セグメンテーションネットワークによって使用される訓練データセットとは別個であってもよい。訓練データセットは、特定の関心臓器についての複数の医用画像および対応する注釈および／またはセグメンテーション境界（例えば、注釈装置１０３によって生成される）を含むことができる。臓器セグメンテーションパラメータ１１２のセット（例えば、重み）が訓練中に学習されることができる。場合によっては、前処理コントローラ１０５は、同じ医用画像１０２のセットを境界ボックス検出コントローラ１０６と臓器セグメンテーションコントローラ１１１の双方に送信してもよい。

訓練された臓器固有セグメンテーションネットワークは、臓器を検出するために画像および／または前処理された画像のセットのそれぞれを処理するために使用されることができる。特定の種類の臓器を検出するために使用される画像は、境界ボックス検出コントローラ１０６に提供される画像１０２のセットと同じ（または異なる）であってもよく、その結果、画像は、臓器セグメンテーションコントローラ１１１に同時に提供される。画像のセットは、１つ、２つ、または３つの画像を含む複数の（例えば、重複）サブセットに分割されることができる。例えば、サブセットは、サブセットごとに３つの画像およびサブセットごとに１つの画像のシフトを有するように定義されることができる。場合によっては、画像は、画像を対象の「全身」ビューを描写する３Ｄ画像に位置合わせするために前処理を受けることができる。

各画像内で、臓器固有セグメンテーションネットワークは、所与の画像が特定の種類の臓器を描写しているかどうかを示し、臓器の描写の周囲をさらに識別することができる。臓器固有セグメンテーションネットワークの出力は、（例えば）特定のタイプの臓器を描写しない画素についてはゼロの値を有し、特定のタイプの臓器を描写する画素については非ゼロの値を有する臓器マスク１１３を含むことができる。場合によっては、関心臓器の異なる仮想スライス（例えば、視点）に対応する複数の２次元臓器マスクが生成されることができる。これらの２次元臓器マスクが集約されて、各臓器について３Ｄ臓器マスクを生成することができる。

後処理コントローラ１１４は、腫瘍マスク１１０および臓器マスク１１３を個別におよび／またはまとめて処理して、統計量および／または記述子を生成することができる。例えば、各腫瘍について、後処理コントローラ１１４は、腫瘍の体積を識別することができ、腫瘍が任意の臓器（そして、もしそうであれば、どのタイプの臓器）の内部にあるかどうかをさらに識別することができる。後処理コントローラ１１４は、（２次元または３次元腫瘍マスクを）さらに処理して、対象の総腫瘍容積および／または密度および／または最長寸法の合計などの対象レベルの腫瘍統計量を計算することができる。場合によっては、最長寸法の合計は、最長直径の合計であってもよく、最長直径が各腫瘍について計算され、合計されて最長直径の合計を形成する。場合によっては、後処理コントローラ１１４は、別の例示的な統計量として、対応する関心臓器の質量と比較した腫瘍の質量のパーセンテージを識別することができる。

ニューラルネットワーク処理システム１２０は、記述子および／または統計量をユーザ装置に出力することができる。さらに、１つ以上の腫瘍マスクおよび／または１つ以上の臓器マスクの表現が送信されることができる。例えば、対象について検出された各腫瘍および／または臓器の周囲を識別するオーバーレイを有する元の画像の描写を含む画像が生成されることができる。場合によっては、後処理コントローラ１１４は、対象レベルの腫瘍統計量をさらに処理（例えば、処理のために別のモデルおよび／またはコントローラに送信する）して、１つ以上の処置方法を用いて生存確率のスコアを生成してもよい。

図１Ａに示す対話システムは、腫瘍を検出し、様々な腫瘍が異なる臓器内にあるかどうかを決定することに関するが、代替実施形態は、他の種類の生物学的オブジェクトを検出することに関することができる。例えば、第１のネットワークは、脳病変を検出するように訓練されてもよく、他のネットワークは、病変がどの脳領域に位置するかを決定することができるように、様々な脳領域を検出するように訓練されてもよい。したがって、代替実施形態は、少なくとも腫瘍セグメンテーションネットワークを、医用画像内の他の生物学的構造をセグメント化するように訓練された異なるセグメンテーションニューラルネットワークによって置き換えることができる。
ＩＶ．予測ネットワークシステム

図２は、処置方法の有効性に基づいて対象の生存の確率についてのスコアを予測するために、ニューラルネットワーク処理システム１２０からの１つ以上の出力要素（例えば、臓器マスク）を使用することができる例示的な予測ニューラルネットワークシステム２００を示している。有効性は、処置方法を行う前の対象の１つ以上の特徴（例えば、腫瘍の体積または密度に関して測定される疾患の進行など）によって決定されることができる。

これらのスコアを予測することが所望される場合、ニューラルネットワーク処理システム１２０は、１つ以上の医用画像２０２および臓器マスク２０４を予測ニューラルネットワークシステム２００に利用することができる。画像２０２は、セクションＩＩＩで論じるように、境界ボックス検出ネットワークおよび腫瘍セグメンテーションネットワークによって使用される同じ画像のサブセットとすることができる。場合によっては、画像２０２は、カウント、容積、および／または腫瘍の位置などの対応するメトリックをさらに含むことができる。臓器マスク２０４は、臓器固有セグメンテーションニューラルネットワークによって生成された少なくとも１つ以上の臓器マスクをさらに含むことができる。場合によっては、ニューラルネットワーク処理システム１２０は、腫瘍セグメンテーションネットワークによって生成された腫瘍マスク（図示せず）を予測ニューラルネットワークシステム２００にさらに利用することができる。

図示の例では、予測ネットワークコントローラ２０６は、ニューラルネットワーク処理システム１２０に記載された境界ボックス検出ネットワークおよび腫瘍セグメンテーションネットワークとは異なるニューラルネットワークであってもよい予測ニューラルネットワークの、本明細書に記載の任意の動作を制御および／または実行するように構成されてもよい。予測ネットワークコントローラ２０６は、予測ニューラルネットワークを訓練して、比較可能な１つ以上の対象ペアに対応する画像を使用して、対象の１つ以上の処置方法に関連する生存率または死亡率を予測することができる。

（例えば）第１の対象および第２の対象が双方とも同じ処置方法を受けたことがあり、第１の対象が第２の対象と比較して処置を受けた後に異なる生存期間を有する場合、対象ペアは、同等であると見なされることができる。逆に、第１の生存期間が特定の期間（例えば、臨床試験のある期間）についてのみ追跡されたが、第１の生存期間に関する追加のデータが特定の期間の後に収集されず、第２の対象が少なくとも第１の生存期間が追跡された特定の期間の後である第２の生存期間を有するように、第１の対象が決定的でない第１の生存期間を有する場合、対象ペアは、同等であると見なされない。したがって、可能な全ての対象のペアリングが同等であると考えられるわけではない。

訓練中に、予測パラメータ２０８のセット（例えば、重み）が予測ニューラルネットワークについて決定されることができる。訓練データ要素は、比較可能な対象ペアの各対象に関連する少なくとも１つ以上の入力画像またはメトリック（例えば、検出された全ての生物学的オブジェクトの累積容積）と、処置が行われた後の各対象の生存期間を測定するメトリックとを含むことができる。各対象の生存期間に基づくスコアおよび／またはランクもまた、訓練データ要素内に含まれることができる。スコアおよび／またはランクは、行われた処置を使用する対象の生存の可能性に対応することができる。訓練は、ペアの対象間の訓練中のスコアの差を最大化する損失関数を利用することができ、その結果、第１の対象は、第２の対象と比較して、処置を使用して生存する最良の可能性を有すると決定される。

基準対象データ２１０は、複数の基準対象の各対象が、複数の基準対象と比較して単一の対象の生存期間に基づくランクなどの対象レベルの統計量をさらに含むことができるように、少なくとも行われた処置方法、生存期間および複数の基準対象の各対象に対する１つ以上の対象レベルメトリック（例えば、多数の腫瘍、腫瘍の位置、ＳＬＤまたは腫瘍の体積）を含むデータベースとすることができる。ランクは、１から、複数の基準対象のそれぞれについて相対死亡リスク（例えば、対象が処置後に生存する可能性、または対象の予想される生存期間として表される）を予測する、複数の基準対象の中の対象の総数までの範囲の値ｋとすることができる。各対象の生存期間は、疾患の診断または対象の処置期間の開始のいずれかから測定されることができる。場合によっては、複数の基準対象の少なくとも一部が死亡していてもよい。基準対象データ２１０は、具体的には、行われた処置方法によって基準対象をグループ分けすることができる。

特定の処置方法を使用して関心対象の生存率を予測する場合、予測ニューラルネットワークは、各ペアが関心対象および異なる基準対象を含むように、基準対象データ２１０から関心対象との比較可能性の基準を満たす１人以上の基準対象を選択して、少なくとも１つ以上の対象ペアを形成することができる。

次いで、予測ネットワークは、関心対象を選択された基準対象のそれぞれと比較することによって、所与の対象の予測スコア２１２を決定することができる。予測スコア２１２は、関心対象の生存の確率および／または長さを示す任意の適切なメトリック（例えば、パーセンテージまたは期間）とすることができる。基準対象との比較は、処置方法を受ける前の各基準対象に関連する１つ以上の特徴を、関心対象に関連する同じ特徴と比較することを含むことができる。場合によっては、ランク付けは、対象のランク値が対象の生存の可能性を示すことができるように、１つ以上の対象ペアについて生成されることができる。例えば、ランク値が最も低い対象は、処置方法を使用して生存の可能性が最も低いと予測されることができる。ランク値は、１つ以上の対象ペアの各対象についての腫瘍の総数、容積、または密度および／または位置から決定されることができる。

予測スコア２１２は、少なくとも関心対象が基準対象と比較してランキング内に入る場所に基づいて、関心対象について計算されることができる。次いで、処置方法が関心対象に有効であり得るかどうかおよび／またはどの程度まで有効であり得るかが予測されることができる。
Ｖ．例示的な高レベルプロセス

図３は、医用画像を処理するために多段ニューラルネットワークプラットフォームを使用するための例示的なプロセス３００のフローチャートを示している。プロセス３００は、１つ以上のコンピューティングシステムを使用して実行されることができる。

プロセス３００は、訓練データセットがアクセスされるブロック３０５において開始する。訓練データセットは、複数の訓練要素を含む。訓練要素は、対象に対応する医用画像のセット（例えば、ＣＴ画像）と、医用画像のセット内の生物学的オブジェクトの存在を識別する注釈データとを含む。注釈データは、生物学的オブジェクトの存在を示すラベルと、（生物学的オブジェクトが存在する場合）生物学的オブジェクトの一般的な位置（例えば、肝臓、腎臓、膵臓など）とを含む。注釈データは、１つ以上の生物学的オブジェクトの存在が含まれないように不完全であり得る。場合によっては、医用画像は、少なくとも２人以上の放射線科医からの注釈に基づく注釈データの２つ以上の異なるセットに対応することができる。そのような場合、同じ画像に対応する注釈データの異なるセットは、１つ以上の追加の生物学的オブジェクトの識別若しくはその欠如、および／または１つ以上の生物学的オブジェクトの注釈サイズおよび／またはオブジェクト周囲の違いなどの不一致を含む。訓練データセットは、セクションＩＩＩに開示されているように、１つ以上のイメージングシステムおよび１つ以上の注釈装置を使用して生成されていてもよい。

ブロック３１０において、訓練データセットを使用して多段ニューラルネットワークプラットフォームが訓練される。多段ニューラルネットワークプラットフォームは、境界ボックス検出ネットワークおよび生物学的構造セグメンテーションネットワークを含むことができる。場合によっては、ニューラルネットワークプラットフォームは、１つ以上の臓器固有セグメンテーションネットワークをさらに含む。

境界ボックス検出ネットワークは、生物学的オブジェクトに対応する領域の境界ボックスを検出するように訓練されることができる。特に、境界ボックス検出ネットワークを訓練することは、画像内の生物学的オブジェクトに対応する各領域に対して境界ボックスを定義することを含む。生物学的オブジェクトのそれぞれは、（例えば、複数のオブジェクトが画像のセットにわたって識別される場合）境界領域が所与のオブジェクトに対応することを示すためにさらにラベル付けされることができる。場合によっては、ラベルはまた、対象内の生物学的オブジェクトの位置を含むことができる。

生物学的構造セグメンテーションネットワーク（これは、図１Ａに記載された腫瘍セグメンテーションネットワークと同様である）は、描写された生物学的オブジェクトの境界および総面積を識別するように訓練される。セグメンテーションネットワークの訓練は、追加の訓練データセットにアクセスすることを含むことができる。追加の訓練データセットは、放射線科医によって生成されたラベル付きセグメンテーションデータとともに、最初にアクセスされた訓練データセットの全ての訓練データ要素を含むことができる。ラベル付けされたセグメンテーションデータは、生物学的オブジェクトのバイナリマスクまたは３次元マスクのいずれかを含むことができる。場合によっては、セグメンテーションネットワークは、検出ネットワークによって生成された偽陽性（例えば、背景領域をオブジェクトとして誤ってラベル付けする）をさらに補正するように訓練される。

画素ごとの交差エントロピー損失、ダイス係数損失、または化合物損失を使用して、訓練がさらに実行されることができる。損失関数は、平均二乗誤差、中央二乗誤差、平均絶対誤差、および／またはエントロピーベースの誤差に基づくことができる（ただし、これらに限定されない）。

検証データセットはまた、その訓練と一致して多段ニューラルネットワークプラットフォームの性能を評価するためにアクセスされてもよい。検証データセットは、訓練データセットとは別個の医用画像および対応する注釈データの別のセットであってもよい。検証データセットの医用画像内の生物学的オブジェクトの識別とセグメンテーションの双方について目標精度に到達した場合、訓練セッションを終了することができる。

ブロック３１５において、対象および／または単一の撮像セッションに対応する医用画像のセットがアクセスされる。医用画像のセットは、対象の胸部領域、腹部領域、および／または「全身」領域を描写することができる。場合によっては、胸部領域に対応する第１の医用画像、腹部領域に対応する第２の医用画像、および骨盤領域に対応する第３の医用画像がスティッチングされて、対象の「全身」領域に対応する第４の医用画像を生成することができる。

医用画像は、セクションＩＩＩ．Ａに開示されているような１つ以上のイメージングシステムを使用して生成されることができる。場合によっては、１つ以上のイメージングシステムは、対象の領域の異なる視点に対応する画像を生成するように構成されてもよい。そのような場合、複数の医用画像は、特定の領域の別個の仮想スライスを描写することができる。

ブロック３２０において、医用画像のセットは、境界ボックス検出ネットワークに利用される。各画像は、１つ以上の境界ボックスを識別するために分析される。各境界ボックスは、標的生物学的オブジェクトに対応する画像領域を識別することができる。画像の分析は、画像の上方の領域および／またはビューに対応する第１の仮想スライスと、画像の下方の領域および／またはビューに対応する第２の仮想スライスとの使用を含むことができ、第１の仮想スライスおよび第２の仮想スライスは、標的生物学的オブジェクトに対応する領域を決定するための追加の空間的コンテキストを提供する。

場合によっては、境界ボックスは、標的生物学的オブジェクトに対応する識別された領域を囲むマージンのセット（例えば、１０ｐｘのパディング）を含むことができる。生物学的オブジェクトに対応する２つ以上の領域が画像内で識別される場合、境界ボックス検出ネットワークは、画像の２つ以上の境界ボックスを識別することができる。

ブロック３２５において、医用画像に対応する１つ以上の境界ボックスがセグメンテーションネットワークに利用される。セグメンテーションネットワークは、境界ボックスに対応する各領域のズームインされたビューを示す検出領域のセットを生成するために医用画像をトリミングすることができる。検出領域は、領域が均一サイズよりも小さい場合、検出領域が境界ボックスに対応する領域とともに追加のパディングを含むことができるように、均一サイズを割り当てられることができる。領域が均一サイズよりも大きい場合、境界ボックスに対応する領域は、２つ以上の検出領域に分割されてもよい。境界ボックスに対応する複数の検出領域の場合、境界ボックスに対応する領域は、ウィンドウのいくつかが領域の重複するサブセットを含むように、スライドウィンドウのセットに分割されてもよい。

境界ボックスに関連付けられた各検出領域について、生物学的構造セグメンテーションネットワークは、生物学的オブジェクトを位置特定し、生物学的オブジェクトに対応する第１のバイナリマスクを生成するために、検出領域の画像特徴を評価することができる。所与の画像に対して複数の境界ボックスが識別される場合、生物学的構造セグメンテーションネットワークは、対応する生物学的オブジェクトを描写する境界ボックスのそれぞれ内の領域を識別することができる。バイナリマスクは、生物学的オブジェクトごとに生成されてもよい。場合によっては、生物学的オブジェクトの異なる視点を描写する画像を使用して、生物学的オブジェクトに対して２つ以上のバイナリマスクが生成されることができる。

ブロック３３０において、３Ｄマスクを生成するために、（例えば、後処理を介して）同じオブジェクトに対応する１つ以上のバイナリマスクが処理されることができる。１つ以上のバイナリマスクのそれぞれおよび各３Ｄマスクは、単一の生物学的オブジェクトに対応することができる。したがって、例えば、所与の対象の撮像セッションに対して複数の３Ｄマスクが生成されることができ、各３Ｄマスクは、複数の生物学的オブジェクトのうちの１つに対応する。

バイナリマスクのセットを処理することは、セクションＩＩＩ．Ｄに記載されているように、バイナリマスクを集約してオブジェクトの３Ｄ構造を形成することを含むことができる。バイナリマスクのいくつかは、重複領域をさらに含むことができるため、セグメンテーションネットワークは、重複領域を考慮するように１つ以上のバイナリマスクの領域を調整することができ、および／または冗長な視点を描写することができる１つ以上のバイナリマスクを含まないように選択することができる。

ブロック３３５において、（例えば、ブロック３１５からアクセスされると）１つ以上のマスクに対応する医用画像は、生物学的オブジェクトの位置を決定するために１つ以上の臓器固有セグメンテーションネットワークに利用される。各臓器固有セグメンテーションネットワークは、特定の関心臓器（例えば、肝臓、腎臓など）に対応することができ、画像内の特定の関心臓器を識別するように訓練されることができる。臓器固有セグメンテーションネットワークは、画像のセットを受信および処理して、対応する関心臓器の位置を識別することができる。対応する関心臓器が検出された場合、ネットワークは、対応する臓器のマスクをさらに生成することができる。生成された臓器マスクは、バイナリマスクおよび／または３次元マスクであってもよい。

ブロック３４０において、１つ以上の測定基準を決定するために１つ以上のマスク（例えば、１つ以上の３Ｄ生物学的オブジェクトマスク、１つ以上の２次元生物学的オブジェクトマスクおよび／または１つ以上の臓器マスク）が分析される。メトリックは、生物学的オブジェクトの特性を含むことができる。例えば、メトリックは、オブジェクトカウント、オブジェクトの位置および／または種類、特定の位置および／または種類についてのオブジェクトのカウント、１つ以上のオブジェクトのサイズ、オブジェクトの平均サイズ、オブジェクトの累積サイズ、および／または１つ以上の種類の腫瘍のそれぞれの中のオブジェクトの数を含むことができる。

場合によっては、メトリックは、オブジェクトの容積、最長寸法のオブジェクトの長さ、および／またはオブジェクトの断面積などのオブジェクトの１つ以上の空間的属性を含む。１つ以上の空間的属性がさらに使用されて、所与の対象内で検出された全てのオブジェクトについて対象レベルの統計量を生成することができる。対象レベルの統計量は、（例えば）所与の対象の累積オブジェクト容積、所与の対象の最長寸法のオブジェクト長の合計（例えば、最長直径の合計など）、および／または所与の対象の検出されたオブジェクトの累積断面積を含むことができる。

場合によっては、メトリックは、相対メトリック（例えば、パーセンテージまたは絶対変化）を生成するために、以前の撮像日中に収集された同じ対象の医用画像に関連付けられた別のメトリックと比較される。メトリックは、出力されることができる（例えば、別の装置に送信され、および／またはユーザに提示される）。次いで、出力は、（例えば）医療専門家および／または放射線科医によって分析されることができる。場合によっては、メトリックは、１つ以上のマスクの描写とともに出力される。

メトリックは、（例えば、１つ以上の記憶されたルールを使用するコンピューティングシステムにおいて、および／またはユーザを介して）対象の診断および／または処置有効性を予測するために使用されることができる。例えば、累積生物学的オブジェクト容積などの対象レベルの統計量が使用されて、（例えば、累積容積に対応する範囲を決定することによって）疾患段階を決定することができる。別の例として、生物学的オブジェクトの容積および／またはカウントの相対的変化が１つ以上の閾値と比較されて、現在および／または以前の処置が有効であったかどうかを推定することができる。

場合によっては、メトリックが使用されて、予測ニューラルネットワークによって計算された対象の生存確率に基づいて、１つ以上の処置方法のスコアを予測することができる。スコアは、累積オブジェクト容積および／またはオブジェクトの最長寸法の長さの合計などの１つ以上の空間的属性を使用して予測されることができる。場合によっては、生存の確率についての１つ以上のスコアが生成されて、対象および／または処置のセットをランク付けすることができる。そのような場合、ランキングを決定するために、対象および／または処置のスコアは、別の対象および／または別の処置の１つ以上のスコアと比較されることができる。対象固有ランキングは、所与の処置が行われた他の以前の対象に対して所与の処置についての生存確率が最も高い少なくとも１人以上の対象を識別することができる。処置固有ランキングは、他の処置と比較して所与の対象について成功（例えば、生存）の可能性が最も高い処置を識別することができる。場合によっては、対象固有ランク付けおよび／または処置固有ランク付けもまた、出力として返される。
ＶＩ．例示的な実装例
ＶＩ．Ａ．実装例１
ＶＩ．Ａ．１．腫瘍の自動識別およびセグメンテーションのためのパイプライン

全身ＣＴスキャンからの腫瘍セグメンテーションは、境界ボックス検出ネットワーク（以下のステップ１で論じる）および腫瘍セグメンテーションネットワーク（ステップ２～３で論じる）からなる検出およびセグメンテーションの自動化された方法を使用して行われた。
ＶＩ．Ａ．１．ａ．ステップ１：境界ボックス検出

ＲｅｔｉｎａＮｅｔアーキテクチャを有する境界ボックス検出ネットワーク（本明細書では「検出ネットワーク」と呼ばれる）が使用されて、医用画像の領域が腫瘍を描写するかどうかを予測し、画像の領域内の腫瘍の一般的な空間位置を識別する境界ボックスを生成し、腫瘍を描写する各一般的な空間位置に対する部位ラベルの確率を提供した。検出ネットワークの訓練において、全ての畳み込みが分離可能な畳み込みに変更されたという点で、公開されているＲｅｔｉｎａＮｅｔアーキテクチャから修正が行われた。各医用画像について、３つの連続する軸方向ＣＴスライス（固定解像度なし）のセットを含む画像スタックが検出ネットワークの入力として使用された。検出ネットワークは、画像スタック内に含まれる各スライス内の腫瘍を含む領域を検出し、検出された領域のそれぞれについて境界ボックスを生成し、それらを以下の利用可能な部位ラベルの１つに帰属させるように訓練された：肺、縦隔、骨、肝臓、およびその他。図４は、（ｉ）対象の前処理された全身スキャンを示す画像の例示的なセット、（ｉｉ）対象の軸方向スライス内の縦隔部位に対応すると予測される腫瘍を識別する境界ボックスおよび肺部位に対応すると予測される腫瘍を識別する境界ボックス、および（ｉｉｉ）対象の別の軸方向スライス内の肝臓部位に対応すると予測される腫瘍を識別する境界ボックスを示している。

検出ネットワークは、（ｉ）中央軸方向スライス上の腫瘍の一般的な空間位置を表す境界ボックスの提案座標、および（ｉｉ）各部位ラベル（肺、縦隔、骨、肝臓、その他）カテゴリの確率を出力した。出力は、図４に示すように、ＣＴスキャンの各スライスに境界ボックスを有するように連結された。３つの連続する軸方向ＣＴスライスのそれぞれは、５１２×５１２のサイズであった。訓練は、放射線科医が識別したＲＥＣＩＳＴ標的病変および非標的病変の周りに境界ボックスを有する軸方向ＣＴスライスの４８，０００個の放射線科医注釈付き画像に対して、ＩＭＰｏｗｅｒ１５０臨床試験からの１，２０２人の対象からの対応する部位位置で行われた。ハイパーパラメータは、バッチサイズ０．１６、学習率０．０１、およびオプティマイザＡＤＡＭの使用を含んでいた。検出ネットワークは、ＩＭｐｏｗｅｒ１３１臨床試験（９６９人の対象）に対して検証された。ＲＥＣＩＳＴ読影に対する病変レベル感度は、０．９４であった。ボクセルレベルの感度は、０．８９であった。
ＶＩ．Ａ．１．ｂ．ステップ２：腫瘍セグメンテーション

腫瘍セグメンテーションネットワーク（例えば、この例では、確率的Ｕ－Ｎｅｔとして実装された）が使用されて、腫瘍を描写する検出ネットワークによって識別された各境界ボックス内の領域（例えば、および／またはマスク値が正および／または１に等しい領域に対応する部分）を識別した。図５に示すように、６つの画像のそれぞれは、検出ネットワークによって識別された境界ボックスに対応し、輪郭が描かれた領域のそれぞれは、腫瘍セグメンテーションネットワークを使用して決定された腫瘍セグメンテーションを識別する。腫瘍セグメンテーションネットワークの訓練において、全ての畳み込みが分離可能な畳み込みに置き換えられたという点で、公開された確率的Ｕ－Ｎｅｔアーキテクチャから修正が行われた。腫瘍セグメンテーションネットワークは、各境界ボックス内の領域の１６個の予測を平均して、読影者間の変動を模倣し、予測の分散を減少させるように構成された。したがって、各予測は、同じ病変に注釈付けする（または注釈付けしないことを選択する）ときに異なる放射線科医が使用する異なる方法または基準に対応し、次いで、１６個の平均予測が使用されて、画像内の各ボクセルに対する予測を平均し、平均予測が．５、または何らかの他の閾値よりも大きい場合に各ボクセルを腫瘍の一部として決定することによって「コンセンサス」を生成した。軸方向スライスのそれぞれが、１つ以上の暫定前処理技術（例えば、トリミング）を受けた検出された境界ボックスと相関するように、０．７×０．７ｍｍサイズの３つの軸方向スライス（すなわち、２５６×２５６画素）を腫瘍セグメンテーションネットワークの入力として使用された。

腫瘍セグメンテーションネットワークは、腫瘍を描写する各境界ボックス内の領域を識別する中央軸方向スライスのセグメンテーションを出力した。腫瘍セグメンテーションネットワークは、ある放射線科医および２Ｄ ＲＥＣＩＳＴからの容積測定ＲＥＣＩＳＴ読影からのＩＭｐｏｗｅｒ１５０において、１，０９１人の対象からの腫瘍マスクを用いて６７，３４０枚の画像に対して訓練された。ハイパーパラメータの例は、バッチサイズ４、学習率０．０００１、およびオプティマイザＡＤＡＭの使用を含んでいた。例示的なネットワークは、ＩＭｐｏｗｅｒ１３１（９６９人の対象；０．７×０．７ｍｍ画像を有する５１，００００枚の２５６×２５６画像）に対して検証された。０．８２のダイススコア（ネットワークからの１６を超える予測の平均を使用）が、検証データセット（ＩＭｐｏｗｅｒ１３１からの５１，０００枚の画像）に偽陽性がないと仮定して計算された。
ＶＩ．Ａ．１．ｃ．ステップ３：臓器固有セグメンテーション

ステップ２において腫瘍セグメンテーションネットワークから出力されたセグメンテーションが使用されて、ステップ１において境界ボックス検出ネットワークによって提案された腫瘍の一般的な空間位置を確認／補正した。対象の全身ＣＴスキャンは、別々の臓器セグメンテーションネットワークによる処理のための入力とされた。この実装例では、臓器セグメンテーションネットワークは、複数の畳み込みニューラルネットワークからなっていた。個々の臓器分割ネットワークのそれぞれが訓練されて、臓器固有セグメンテーションを行い、全身ＣＴスキャンにおける臓器の位置を識別する臓器マスクを返した。臓器固有セグメンテーションは、関心臓器、例えば、右肺、左肺、肝臓、脾臓、腎臓、骨および膵臓のそれぞれについて異なる臓器セグメンテーションネットワークを訓練することによって達成された。各臓器固有セグメンテーションネットワークは、各層にバッチ正規化および漏洩ＲｅＬＵ活性化を含む３Ｄ Ｕ－Ｎｅｔアーキテクチャを有していた。腎臓、脾臓、および膵臓用の臓器固有セグメンテーションネットワークは、具体的には腎臓用のＫｉｔｓ１９（あらゆる目的のためにその全体が参照により本明細書に組み込まれるＨｅｌｌｅｒ，Ｎ．ら「Ｔｈｅ ＫｉＴＳ１９ Ｃｈａｌｌｅｎｇｅ Ｄａｔａ：３００ Ｋｉｄｎｅｙ Ｔｕｍｏｒ Ｃａｓｅｓ ｗｉｔｈ Ｃｌｉｎｉｃａｌ Ｃｏｎｔｅｘｔ，ＣＴ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎｓ，ａｎｄ Ｓｕｒｇｉｃａｌ Ｏｕｔｃｏｍｅｓ」（２０１９）におけるデータセットなど）、ならびに脾臓および膵臓用の医療デカスロン（これもまた、参照によりその全体があらゆる目的のために本明細書に組み込まれる、Ｓｉｍｐｓｏｎ，Ａ．Ｌ．ら「Ａ ｌａｒｇｅ ａｎｎｏｔａｔｅｄ ｍｅｄｉｃａｌ ｉｍａｇｅ ｄａｔａｓｅｔ ｆｏｒ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ａｎｄ ｅｖａｌｕａｔｉｏｎ ｏｆ ｓｅｇｍｅｎｔａｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ」（２０１９）に記載されているように）を完成させるために、訓練のために公的に利用可能なデータセットを使用した。骨セグメンテーションネットワークのグラウンドトゥルースは、形態学的演算に基づいていた。

臓器固有セグメンテーションネットワークのそれぞれについて、入力は、２×２×２ｍｍのボクセルサイズに再サンプリングされた（ステップ１～２からの軸方向スライスの連結の）２５６×２５６×２５６ ＣＴボリュームであった。各臓器固有セグメンテーションネットワークの出力は、各臓器について同じサイズの臓器マスクであった。各ネットワークのグラウンドトゥルースは、同じボクセルサイズを有する２５６×２５６×２５６の対応する臓器マスクであった。ハイパーパラメータは、バッチサイズ４、学習率０．０００１、およびオプティマイザＡＤＡＭの使用を含んでいた。回転、並進およびズームの組み合わせによるデータ増強が使用されて、より堅牢なセグメンテーションのためにデータセットを増強し、過剰適合を回避した。本明細書に記載のように訓練された臓器固有セグメンテーションネットワークの初期バージョンは、以下の結果をもたらした：肺：０．９５１；肝臓：０．９６４；腎臓：０．９３８；脾臓：０．９３２；膵臓：０．８１５；骨：０．９１７（形態学的演算を使用して生成されたグラウンドトゥルース）。
ＶＩ．Ａ．２．時間分離ペアワイズ比較
ＶＩ．Ａ．２．ａ．概要

ＣＴスキャン、臓器固有セグメンテーション、および本明細書に記載の技術が、腫瘍の自動検出およびセグメンテーションと併せてさらに使用されて、いくつかの他の予測および推定値を生成し、臨床医がどの処置を処方するかを決定するのを支援した。自動化されたパイプラインを使用して１つ以上の腫瘍および／または「全身」腫瘍量が識別されると、所与の腫瘍学的適応症に対する多数の潜在的処置のそれぞれを所与として、全生存、無増悪生存、または他の同様のメトリックに関して、多数のメトリックのうちの１つによるモデルによって、対象の生存可能性が予測された。モデルは、所与の対象に対する処置のランキングを出力して、最長生存時間を提供した処置を識別した。あるいは、モデルは、所与の治療で最長生存時間を経験する可能性が高い対象を識別するために対象のランキングを出力した。
ＶＩ．Ａ．２．ｂ．モデルアーキテクチャおよび訓練

２人の対象ＡおよびＢを考えると、少なくとも１人の対象について転帰（全生存）が観察されると仮定された。一般性を失うことなく、（Ｔ_Ａと表される）観察された対象Ａについての結果、および（Ｔ_Ｂと表される）対象Ｂについての結果が打ち切られるか、またはＴ_Ｂ＞Ｔ_Ａで死亡すると仮定した。

ネットワークへの入力は、対象ＡおよびＢの双方について１つ以上の臓器固有セグメンテーションネットワークを使用して得られたＣＴスキャンおよび臓器マスク（例えば、肝臓、肺、腎臓、骨、膵臓および脾臓）であった。臓器固有セグメンテーションネットワークのアーキテクチャは、膨張ＶＧＧ１６、ＲｅｓＮｅｔ１８、または同様のネットワークであり、分離可能な畳み込みは、各対象についてＮ個の要素（例えば、１０００）を有するスコアベクトルを出力した。膨張は、一般に、あらゆる目的のためにその全体が参照により本明細書に組み込まれる、Ｃａｒｒｅｉｒａ，ＪおよびＺｉｓｓｅｒｍａｎ，Ａ．「Ｑｕｅ Ｖａｄｉｓ，Ａｃｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ？Ａ Ｎｅｗ Ｍｏｄｅｌ ａｎｄ ｔｈｅ Ｋｉｎｅｔｉｃｓ Ｄａｔａｓｅｔ」 Ｉｎ：ＣＶＰＲ（２０１７）に記載された技術にしたがって行われた。しかしながら、この実装例では、分離可能な畳み込みが２つのステップで実行された（最初に奥行方向畳み込み、続いて点状畳み込み）。しかしながら、従来の畳み込みのために３次元に沿って膨張するだけでなく、膨張は２ステップに分けられた。深さ方向の畳み込みのために、膨張が３次元に沿って実行され、次いで複製フィルタが１回適用され、平均が４次元（入力フィルタの数）に沿って計算された。点状畳み込みのために、最初の２次元にわたって平均が決定され、膨張が３次元に沿って行われ、複製が４次元で行われた。上記の変更は、機能モデル性能を達成しながら、ネットワークを用いた大きな（画素／ボクセルカウントによる）３Ｄ全身ＣＴの処理を容易にした。

訓練中、対象ＡおよびＢ（Ｓ_ＡおよびＳ_Ｂ）について得られたスコアが比較された。訓練手順は、データサンプルにわたる損失Ｌ＝ｅｘｐ（Ｓ_Ｂ）／ｅｘｐ（Ｓ_Ｂ）＋ｅｘｐ（Ｓ_Ａ）を最小化することを目的とした。訓練データは、処置群によって分けられた、ＩＭｐｏｗｅｒ１５０臨床試験の８１８名の対象からの４２，１９５ペアの同等の対象を含んでいた。ハイパーパラメータの選択は、学習率（Ｉｒ）＝０．０００１、バッチサイズ＝４、およびオプティマイザＡＤＡＭの使用を含んでいた。ペアワイズ比較の実施例モデルの結果は、ペアワイズ比較の７４％がＧＯ２９４３６（ＩＭｐｏｗｅｒ１５０）の３つの処置群からの１４３人の対象の試験（検証）セットにおいて正確であったことを示している。これらの結果について、処置群内の対象についてのみ比較を行った。
ＶＩ．Ａ．３．結果

訓練および試験データセットに対する自動化された方法の性能は、ＲＥＣＩＳＴおよび「全身」腫瘍量の手動注釈を使用して決定された。ＲＥＣＩＳＴ読影が、各対象について識別された病変の数および全病変の容積のベースライン計算として双方のデータセットに対して行われた。

図６Ａは、訓練データセット（ＩＭｐｏｗｅｒ１５０）について、ＲＥＣＩＳＴ読影によって導出された病変の数（プロットのｘ軸に示す）と自動検出およびセグメンテーション法によって決定された病変の数（ｙ軸に示す）とを比較する相関プロットを示している。図６Ｂは、ＲＥＣＩＳＴによって導出された腫瘍負荷量（例えば、全ての特定された病変の総容積として測定される）（プロットのｘ軸に示す）と自動化された方法によって識別された腫瘍に対する腫瘍負荷量（プロットのｙ軸に示す）とを比較する別のプロットを示している。双方のプロットは右方向の傾きを示しており、これは、ＲＥＣＩＳＴ読影が、病変の数および病変の総容積のより低い範囲について自動化された方法からのデータと最も高い相関を有したことを示している。２つの技術の病変数の予測の差に基づいて計算された標準偏差および標準誤差は、それぞれ２．９５および０．０９１であった。２つの技術の総腫瘍容積の予測の差に基づいて計算された標準偏差および標準誤差は、それぞれ５．２ｗｅ＋０１および２．４０であった。図７Ａ～図７Ｂは、ＲＥＣＩＳＴ読影を使用して決定された病変の平均数をｘ軸に示し、自動化された方法を使用して決定された病変の数をｙ軸に示した、試験データセット（ＩＭｐｏｗｅｒ１３１）の同様の相関プロットを示している。試験データセットに関して、病変数の２つの技術の予測間の差に基づいて計算された標準偏差および標準誤差は、それぞれ６．０５および０．２４であった。２つの技術の総病変容積の予測の差に基づいて計算された標準偏差および標準誤差は、それぞれ５．２２ｅ＋０１であり、標準誤差は２．４０であった。

訓練データセット（ＩＭｐｏｗｅｒ１５０）は、ＲＥＣＩＳＴ読影で行われるように単一のスライスのみに注釈を付けるのではなく、放射線科医による各腫瘍の手動注釈を介して対象の全腫瘍負荷を決定することを含む完全読影を行うためにさらに使用された。図８は、ｙ軸が放射線科医（例えば、完全読影の場合）によって決定された病変の数に対応し、ｘ軸が対象のセットについてＲＥＣＩＳＴによって決定された病変の数に対応するプロットを示している。プロットの各点は、完全読影およびＲＥＣＩＳＴ読影の双方を受けた合計１５人の対象についての訓練データセット内の対象を表す。完全読影は、ＲＥＣＩＳＴ読影と比較してより多い量の病変を識別するため、プロットは、ＲＥＣＩＳＴ読影と完全読影との間の一致をほとんど示さない。２つの技術の予測の差に基づいて計算された標準偏差および標準誤差は、６．６４であり、標準誤差は０．３０であった。

自動化された方法と放射線科医によって行われた完全読影との間でさらに比較が行われて、対象の全腫瘍負荷量を決定した。図９は、各点がＩＭｐｏｗｅｒ１５０訓練データセット内の対象を表すように、放射線科医によって実行された完全読影によって決定された全病変容積（ｙ軸に示す）と自動化された方法によって決定された全病変容積（ｘ軸に示す）との間の相関プロットを示している。プロットに示すように、訓練対象のセットから各対象について複数の読影を計算した。図１０Ａ～図１０Ｂは、自動化された方法によって決定された平均および中央総病変容積（それぞれｘ軸上に示されている）と、各対象についての完全読影によって決定された平均および中央総病変容積（それぞれｙ軸上に示されている）とを比較するプロットを示している。図８～図９と同様に、双方のプロットの各点は、訓練データセット内の対象を表す。プロットに示されるように、自動化された方法は、一般に、完全読影と同じまたはそれを超える容積の病変を識別した。

識別された病変の数および算出された病変の総容積が使用されて、所与の期間にわたる対象の生存確率を予測するように、訓練および試験データセットに表された対象についても予後データが収集された。より具体的には、訓練データセットの対象は、ＲＥＣＩＳＴ技術を使用して検出された病変の様々な統計量に基づいて特定のクラスタに割り当てられ、様々な統計量が生存を予測するかどうかを実証するために各クラスタについて生存曲線が計算された。図１１Ａ～図１４Ｂは、訓練データセットの例示的な予後データを示すカプラン・マイヤー曲線を示している。

図１１Ａは、ＲＥＣＩＳＴによって識別された病変に対するＳＬＤ計算に基づいてクラスタ化された対象の生存確率を示している。図１１Ｂは、ＲＥＣＩＳＴによって識別された病変の数に基づいてクラスタ化された対象の生存確率を示している。プロットのｙ軸は、生存確率に対応し、ｘ軸は、経過時間（例えば、数日で測定される）に対応する。第１四分位（Ｑ１）が上位２５％の病変数および／またはＳＬＤスコアを有する対象に対応し、第２四分位（Ｑ２）が次の２５％以内の対象に対応し、第３四分位（Ｑ３）が次の２５％以内の対象に対応し、第４四分位（Ｑ４）が下位２５％以内の対象に対応するように、クラスタが決定された。プロットに示すように、直径和ＳＬＤの第１四分位以内の対象および病変数の第１四分位以内の対象は、第４四分位以内の対象と比較して生存の確率が低い。したがって、自動的に検出された病変の空間統計量は、生存予後を予測するようである。

代わりに、図１１Ｃは、開示された自動化された方法から決定された対象の生存確率を示すカプラン・マイヤー曲線を示している。図１１Ｃは、自動化された方法によって決定された、ある期間にわたる対象の生存確率を示すプロットを示している。図１１Ｃに関連するクラスタリングに関して、対象は、全腫瘍負荷量に対する総ＳＬＤに基づいてクラスタリングされた。図１２Ａ～図１２Ｂは、さらに、自動化された方法によっても決定される総容積および識別された病変の数に基づく対象の生存確率のプロットを示している。大量の病変または多数の病変のいずれかによって測定される高い腫瘍量は、対象の生存確率の低下と相関することが明らかである。

病変の特定された位置を使用して、図１３Ａ～図１４Ｂに示す訓練データセット内の対象の自動腫瘍検出およびセグメンテーションに基づく統計量によって予後（例えば、生存の確率）が予測される程度を評価した。具体的には、図１３Ａ～図１３Ｂは、対象の生存率を示す一連のカプラン・マイヤー曲線を示している。対象群は、肺病変の容積（対応するＡプロットに示す）および肺病変の数（対応するＢプロットに示す）に基づいて定義した。注目すべきことに、生存曲線は、対象群間で異なり、病変容積および病変数が生存メトリックを予測することを示唆した。図１４Ａ～図１４Ｂは、それぞれ対象の肺および骨領域への病変（例えば、転移）の広がりに基づく対象の生存率を示している。生存率は、病変が対象の肺領域または骨領域のいずれにも存在しない場合、より高いとして報告された。

図１５Ａ～図１９は、試験データセットに関する例示的な予後データのカプラン・マイヤー曲線を同様に示している。図１５、図１６、図１７、および図１８は、それぞれ、図１０、図１１、図１２、および図１３と同じラベル変数（例えば、生存確率に対応するｙ軸および経過日数に対応するｘ軸）および方法に対応する。図１９は、試験データセット中の対象の腎臓領域の転移に基づく対象の生存確率を示している。

試験データセットは、訓練データセットとは異なる対象セットからの異なる画像を含み、訓練データセットのホールドアウト部分から導出された結果を外部的に検証するために使用されたことが理解されよう。特に、図１５Ａ～図１９に示すプロットは、ＲＥＣＩＳＴまたは完全読影と比較して、自動化された方法によって決定された場合、生存率と腫瘍の位置および／または総量もしくは容積との間のより大きな相関を示す対象の予後を示している。
ＶＩ．Ｂ．実装例２
ＶＩ．Ｂ．１．概要

この実装例は、境界ボックス検出および腫瘍セグメンテーションの自動化された方法を使用して、進行した転移性疾患（すなわち、病変が複数の臓器にわたって広がる）を有する対象における全身診断用ＣＴスキャンに対する完全な３次元腫瘍負荷を識別する。この方法は、臓器固有セグメンテーションを使用してセグメント化された腫瘍の位置を識別せず、または臓器マスクを生成しなかったという点で実装例１とは異なる。

実装された方法は、病変の検出およびタグ付けのためのＲｅｔｉｎａＮｅｔとして実装された境界ボックス検出ネットワークに基づいており、検出された病変のセグメント化を可能にする確率的ＵＮｅｔのアンサンブルとして実装された腫瘍セグメンテーションネットワークが続いた。

提示された研究は、２つの多施設臨床試験を使用して開発され、３６４の臨床施設にわたる２，１７１人の進行した非小細胞肺癌対象からの８４，０００を超えるＲＥＣＩＳＴ病変が識別された。結果として、この方法は、病院施設にわたるスキャン取得の読影者間の変動性および不均一性を考慮した。本開示に記載の自動境界ボックス検出および腫瘍セグメンテーション技術を使用して識別された腫瘍は、手動で識別されたＲＥＣＩＳＴ腫瘍およびボクセルレベルで手動でセグメント化された標的病変と比較された。さらに、ベースライン腫瘍量の全自動推定値は、対象の全生存に対する腫瘍量の予後値に関して放射線科医の手動測定と比較された。

結果は、３５，０００個を超える腫瘍を含む９６９人の対象のホールドアウトセットにおけるＲＥＣＩＳＴ標的病変の最先端の検出およびセグメンテーション性能を示している。さらに、結果は、全身腫瘍量が、対象の全生存期間の予後因子として臨床的有用性を有し得ることを示している。提案された方法は、診断放射線学ワークフローにおいて腫瘍評価を合理化するために使用されることができ、さらに開発される場合、放射線科医が連続的に適用された場合に治療に対する応答を評価することを潜在的に可能にすることができる。
ＶＩ．Ｂ．２．方法

本開示に記載の技術が使用されて、全身ＣＴスキャンから総腫瘍量を識別した。このアプローチは、境界ボックス検出、腫瘍セグメンテーション、および後処理の３つのステップを含み、得られたエンドツーエンドの方法は、利用可能なＣＴデータおよびＲＥＣＩＳＴ注釈の様々な性質をキャプチャした。

検出ステップは、境界ボックス検出ネットワークを利用し、ＲｅｔｉｎａＮｅｔとして実装され、境界ボックスおよび病変タグを使用して標的病変と非標的病変の双方を識別した。ＲｅｔｉｎａＮｅｔは、非常に高速なオブジェクト検出を提供する単段階検出手法を使用する。全身ＣＴスキャンがしばしば２００を超える軸方向スライスを含むことを考えると、効率的な処理は、非常に有利であった。

セグメンテーションステップでは、標的病変の２Ｄセグメンテーションのみに基づいて、確率的ＵＮｅｔのセットとして実装された腫瘍セグメンテーションネットワークが、妥当な軸方向病変セグメンテーションのアンサンブルを生成した。

転移性癌対象の腫瘍セグメンテーションは、読影者の主観を受けやすい傾向があり、したがって所与の病変に対する単一のグラウンドトゥルースは存在し得ない。確率的ＵＮｅｔ［８］は、低次元潜在空間からセグメンテーション変異体をサンプリングすることを可能にするメモリ効率的な生成的セグメンテーションを可能にする。セグメンテーションのための確率的ＵＮｅｔの使用は、あらゆる目的のためにその全体が参照により本明細書に組み込まれる、Ｋｏｈｌ，Ｓ．ら「Ａ ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｕ－Ｎｅｔ ｆｏｒ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ａｍｂｉｇｕｏｕｓ ｉｍａｇｅｓ」Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ（ＮＩＰＳ ２０１８）ｐｐ．６９６５－６９７５（２０１８）においてさらに説明されている。したがって、確率的ＵＮｅｔは、読影者から読影者への注釈の変動性を模倣して選択された。

モデルのこの部分は、読影者間の変動性と放射線科医の区分間の全体的な一致との間でトレードオフするアンサンブルの生成を可能にした。後処理ステップは、予測された２Ｄセグメンテーションを結合して、統一された全身３Ｄ腫瘍マスクを生成した。さらに、後処理はまた、本発明者らのマルチサイトデータセットで遭遇する画像取得パラメータの変動性（異なる情報制限およびスキャン間での信号対雑音比の変化をもたらした）に対処した。この自動化技術を介して検出された腫瘍は、放射線科医が選択された標的病変および非標的病変の周りのマーキングされた境界ボックスを概説した手動技術を介して検出された腫瘍と比較された。
ＶＩ．Ｂ．２．ａ．腫瘍検出

この実装例で評価されたデータでは、腫瘍位置タグは、臓器全体で高度に不均衡であり、肺病変は、訓練データセットおよび試験データセットのそれぞれ４５％および４０％を占めたが、１２８個の位置がタグの０．５％未満を占めた。焦点損失は、クラス不均衡に対処するために使用された。

ＲｅｓＮｅｔ－５０－ＦＰＮを有するＲｅｔｉｎａＮｅｔが使用されて、腫瘍を軸方向に検出した。（あらゆる目的のためにその全体が参照により本明細書に組み込まれる、Ｌｉｎ，Ｔ．Ｙ．，Ｄｏｌｌａｒ，Ｐ．，Ｇｉｒｓｈｉｃｋ，Ｒ．，Ｈｅ，Ｋ．，Ｈａｒｉｈａｒａｎ，Ｂ．，Ｂｅｌｏｎｇｉｅ，Ｓ．「Ｆｅａｔｕｒｅ ｐｙｒａｍｉｄ ｎｅｔｗｏｒｋｓ ｆｏｒ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ」 ＣＶＰＲ（２０１７）を参照されたい）。非最大抑制では、画像あたりのオブジェクトの最大数は３２に設定され、アンカーの数は９に設定された。ここで、３２は、単一の軸方向スライス内で合理的に予想されることができる腫瘍の数の上限を表す。中央スライスの周りに空間的コンテキストを提供するために、モデルは、３つの特徴チャネルとして供給される３つの軸方向スライスを入力として受信するように構成された。多くのタグの有病率が低いため、クラスは、肺、肝臓、骨、縦隔および他の場所に単純化された。

試験設定では、ＲｅｔｉｎａＮｅｔは、全ての軸方向スライスに順次適用された。予測された境界ボックスは、偽陰性を最小限に抑えるために前のスライスおよび次のスライスに拡張された。
ＶＩ．Ｂ．２．ｂ．腫瘍セグメンテーション

実験は、β＝２；５；１０で行われ、独立型、または交差もしくは結合アンサンブリングを有した。

β＝２および＝１０の２つのマスクの結合を使用して最良の結果が得られた。

訓練損失の変化βは、損失のカルバックライブラー発散項に異なる重みを提供することを可能にし、したがって、セグメンテーション変異体の潜在空間をスパンすることに異なる重要性を与える。このパラメータは、ヒト読影者の多様性を模倣する腫瘍セグメンテーション変異体の生成またはコンセンサスセグメンテーションの生成を可能にした。

訓練データセットは、スキャンごとに２人の放射線科医からのＲＥＣＩＳＴ標的病変セグメンテーションおよびいくつかのスキャンの３Ｄセグメンテーションを使用して構築された。画像は、０．７×０．７ｍｍの面内解像度に再サンプリングされ、これらの病変の周りに２５６×２５６×３画素のパッチを構築された。前のスライスおよび次のスライスが空間的コンテキストとして使用された。入力よりも大きなパッチ、すなわち０．５×０．５ｍｍの面内解像度の１８０×１８０画素が採用された。この選択は、評価されるデータが多くの大きな病変を示す進行期癌を表すために行われた。

試験設定では、検出された病変（例えば、検出された境界ボックスによって提供されるように）を中心とし、次いで確率的ＵＮｅｔの入力解像度に再サンプリングされたパッチが、図２０に示すようにセグメント化された。検出された腫瘍がパッチサイズよりも大きい場合、スライドウィンドウが使用されて、検出された腫瘍全体をセグメント化した。
ＶＩ．Ｂ．２．ｃ．全身評価

取得プロトコルは、同じ施設内であっても、病院ごと、機械ごとに異なる。結果として、ボクセルサイズは、データセットにおいて可変であった（０．６から１．４５ｍｍの面内および０．６２から５ｍｍの範囲のスライス厚）。これらの差は、信号対雑音比（ＳＮＲ）の変動を誘発し、高解像度スキャンでのみ検出されることができる腫瘍のセグメンテーションをもたらすことができる。全てのＣＴスキャンから抽出された情報を均一化するために、ＳＮＲの差を説明し、１０ｍｍを超える高さの腫瘍のみを維持するために、立方体の３×３×５ｍｍ構造化要素を使用して腫瘍マスクにバイナリ閉鎖を適用した。
ＶＩ．Ｂ．３．実験および結果
ＶＩ．Ｂ．３．ａ．データ

データセットは、２つの無作為化臨床試験からの合計１４，２０５の診断コンピュータ断層撮影スキャンからの８４ｋを超える病変からなった。訓練データおよび試験データが試験ごとに分割された。第１の試験（Ｓｏｃｉｎｓｋｉ，Ｍ．Ａ．ら「Ａｔｅｚｏｌｉｚｕｍａｂ ｆｏｒ Ｆｉｒｓｔ－Ｌｉｎｅ Ｔｒｅａｔｍｅｎｔ ｏｆ Ｍｅｔａｓｔａｔｉｃ Ｎｏｎｓｑｕａｍｏｕｓ ＮＳＣＬＣ」 Ｎ Ｅｎｇｌ Ｊ Ｍｅｄ ３７８，２２８８－２３０１（２０１８）に記載されている臨床試験ＮＣＴ０２３６６１４３）は、利用可能な１，２０２人の進行期非扁平上皮非小細胞肺癌対象を含んでいた。この第１の試験データセットが訓練に使用された。第２の試験（臨床試験ＮＣＴ０２３６７７９４）は、９６９人の進行期扁平上皮非小細胞肺癌対象を含み、ホールドアウトセットとして使用された。データは、３６４の固有の部位（訓練セット２３８、試験セット２３７）にわたって収集され、合計２７人の異なる放射線科医が注釈を付けた。したがって、データは、有意な対象、画像取得、および読影者間の変動性を提供する。

各試験について、対象は、訓練セットで合計７８６１回のスキャンおよび試験セットで６３４４回のスキャンのために平均６．５回来院した。各スキャンは、ＲＥＣＩＳＴ １．１基準にしたがって２人の放射線科医によって読影された。腫瘍注釈は、標的病変の２Ｄ病変セグメンテーションおよび非標的病変の境界ボックスからなっていた。合計で、全ての来院および放射線科医にわたって、訓練セットでは４８，４７０個、試験データでは３５，２４７個の注釈付き腫瘍があった。さらに、各識別された標的および非標的腫瘍について、表１に詳述されているように、１４０個の可能な位置ラベルから利用可能な病変タグを識別した。２Ｄ注釈に加えて、４，３４２回の来院（対象あたり２回の来院）は、標的腫瘍のみの容積セグメンテーションをもたらした。全身カバレッジは、訓練セットにおけるスクリーニング時の１，１２７名の対象および試験セットにおける９１４名の対象の全身評価に使用可能であった。

ＶＩ．Ｂ．３．ｂ．結果

実装例。腫瘍検出およびタグ付けのためのＲｅｔｉｎａＮｅｔは、ＰｙＴｏｒｃｈおよびＡＤＡＭオプティマイザを使用して実装された。ＲｅｓＮｅｔ－５０－ＦＰＮは、ＩｍａｇｅＮｅｔの事前訓練モデルを使用して初期化された。学習率は、１ｅ－４、バッチサイズは、１６に設定された。ネットワークは、４１６，０００回の反復で訓練された。

確率的ＵＮｅｔは、ＰｙＴｏｒｃｈおよびＡＤＡＭオプティマイザを使用して実装された。学習率は、１ｅ－５に設定され、バッチサイズは、４に設定された。２つのバージョンは、訓練損失においてβ＝２および１０で保持された。ネットワークは、５０エポックについて訓練された。

検出およびセグメンテーションの性能。表２および表１における検出のための画像あたりの平均病変およびクラスレベル感度。感度は、画像あたり平均０．８９「偽陽性」（ＦＰ）を有して得られた。ＲＥＣＩＳＴ注釈が不完全であるため、これらのＦＰは、実際には注釈のない病変であり得る。Ｙａｎ，Ｋ．ら：ＭＵＬＡＮ：Ｍｕｌｔｉｔａｓｋ Ｕｎｉｖｅｒｓａｌ Ｌｅｓｉｏｎ Ａｎａｌｙｓｉｓ Ｎｅｔｗｏｒｋ ｆｏｒ Ｊｏｉｎｔ Ｌｅｓｉｏｎ Ｄｅｔｅｃｔｉｏｎ，Ｔａｇｇｉｎｇ，ａｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎのように、０．５、１、２および４のＦＰ／画像（８８．４％）で感度の平均値が導出された。Ｉｎ：Ｆｒａｎｇｉ，Ａ．Ｆ．，Ｓｃｈｎａｂｅｌ，Ｊ．Ａ．，Ｄａｖａｔｚｉｋｏｓ，Ｃ．，Ａｌｂｅｒｏｌａ－Ｌｏｐｅｚ，Ｃ．，Ｆｉｃｈｔｉｎｇｅｒ，Ｇ．（ｅｄｓ．）ＭＩＣＣＡＩ ２０１９．ＬＮＣＳ，ｖｏｌ．１１７６９，ｐｐ．１９４－２０２．Ｓｐｒｉｎｇｅｒ，Ｃｈａｍ（２０１９）およびＬｉａｏ，Ｆ．，Ｌｉａｎｇら：Ｅｖａｌｕａｔｅ ｔｈｅ ｍａｌｉｇｎａｎｃｙ ｏｆ ｐｕｌｍｏｎａｒｙ ｎｏｄｕｌｅｓ ｕｓｉｎｇ ｔｈｅ ３Ｄ ｄｅｅｐ ｌｅａｋｙ ｎｏｉｓｙ－ｏｒ ｎｅｔｗｏｒｋ．ＩＥＥＥ Ｔｒａｎｓ．Ｎｅｕｒａｌ Ｎｅｔｗ．Ｌｅａｒｎ．Ｓｙｓｔ．（２０１９）。

セグメンテーションのために、統計量は、試験セットにおける平均ボクセルレベルの感度およびＲＥＣＩＳＴ病変の推定された最長寸法に対する平均誤差を含んでいた。

ベースラインスキャンからの生存の予測。訓練データから推定された腫瘍検出およびセグメンテーションモデルを使用して、検出およびセグメント化された全ての病変上の最長寸法に沿った長さが、試験データセット内の各対象のベースラインスキャンから計算された。生存時間をアウトカム変数として、図２２の右パネルは、（試験セットの対象について）モデルごとに抽出されたベースラインＳＬＤの経験的四分位に基づくカプラン・マイヤープロットを示している。比較のために、同じ対象について、左パネルは、ＲＥＣＩＳＴによって導出されたＳＬＤの経験的四分位に基づくカプラン・マイヤープロットを示している。図から分かるように、ＲＥＣＩＳＴ基準にしたがって放射線科医の注釈を通して生成されたものと比較して、自動化された方法は、腫瘍負荷量の処置前生存リスクプロファイルをほぼ再現した。
ＶＩ．Ｂ．４．解釈

結果は、多段セグメンテーションプラットフォームの強力な性能を例示している。完全自動アルゴリズムは、標準的な診断用全身ＣＴスキャンで腫瘍の３Ｄセグメンテーションを首尾よく識別および実行した。この方法論は、放射線科医と比較して検出およびセグメンテーションに優れた性能を示し、重要なことに、複数の異なる臓器の腫瘍に良好に機能した。これらの結果は、この技術が、検査のための初期腫瘍量評価を提供することによって放射線科医のための強力な支援ツールであり得ることを示しており、これは、精度、再現性および速度を改善するはずである。さらに、アルゴリズムは、（典型的には、放射線科医が評価するには時間がかかりすぎる）全身腫瘍容積などのメトリックを生成し、これは、臨床試験のための予後診断ツールまたは新規エンドポイントとして価値があり、臨床放射線診療で使用するための対象の疾患のより完全なビューを提供する。
ＶＩＩ．さらなる考察

本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。

その後の説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態のその後の説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることが理解される。

実施形態の完全な理解を提供するために、以下の説明において具体的な詳細が与えられる。しかしながら、これらの具体的な詳細なしで実施形態が実施されることができることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。

Claims (33)

1. コンピュータ実装方法であって、
   対象の１つ以上の医用画像にアクセスすることと、
   前記１つ以上の医用画像を検出ネットワークに入力して、前記１つ以上の医用画像内の領域のセットを識別する１つ以上のマスクを生成することであって、前記検出ネットワークが、前記１つ以上のマスク内で識別された前記領域のセットの各領域が前記対象内の１つ以上の腫瘍のうちの１つの腫瘍の描写を含むと予測する、入力して生成することと、
   前記領域のセットの各領域について、腫瘍セグメンテーションネットワークを使用して前記１つ以上の医用画像の前記領域を処理して、前記対象内に存在する前記腫瘍の１つ以上の腫瘍セグメンテーション境界を生成することと、
   前記１つ以上の腫瘍の各腫瘍について、複数の臓器固有セグメンテーションネットワークを使用することによって、前記腫瘍の少なくとも一部が位置する臓器を決定することと、
   前記１つ以上の腫瘍セグメンテーション境界および前記１つ以上の腫瘍の少なくとも一部が位置する前記臓器の位置に基づいて出力を生成することと、を含む、方法。
2. 前記領域を処理して、前記１つ以上の腫瘍セグメンテーション境界を生成することが、
   複数の２Ｄ医用画像のそれぞれについて、前記１つ以上の腫瘍セグメンテーション境界のうちの腫瘍セグメンテーション境界である、その中の前記腫瘍の１つのセグメンテーション境界を識別することと、
   複数の２Ｄ医用画像に関連付けられた前記セグメンテーション境界に基づいて３次元セグメンテーション境界を画定することであって、前記出力が、前記３次元セグメンテーション境界を含むかまたは示す、画定することと、を含む、請求項１に記載の方法。
3. 前記１つ以上の腫瘍セグメンテーション境界のそれぞれが、示された前記腫瘍の２次元断面のセグメンテーション境界線であるように画定され、前記出力が前記１つ以上の腫瘍セグメンテーション境界を含むかまたは示す、請求項１に記載の方法。
4. 前記１つ以上の腫瘍の各腫瘍について、前記１つ以上の腫瘍セグメンテーション境界のうちの１つの腫瘍セグメンテーション境界に基づいて、空間的属性を決定することであって、前記空間的属性が、
   腫瘍の体積、
   特定の寸法もしくは最長寸法に沿った腫瘍の長さ、および／または
   腫瘍の断面積を含む、決定することと、
   前記空間的属性に基づいて、前記１つ以上の腫瘍の対象レベルの腫瘍統計量を計算することであって、前記出力が前記対象レベルの腫瘍統計量を含む、計算することと、をさらに含む、請求項１に記載の方法。
5. 前記１つ以上の腫瘍が複数の腫瘍を含み、前記１つ以上の腫瘍の各腫瘍について決定された前記空間的属性が、最長寸法に沿った前記腫瘍の長さを含み、前記対象レベルの腫瘍統計量が、前記腫瘍の長さの合計を含む、請求項４に記載の方法。
6. 前記対象レベルの腫瘍統計量と前記対象に関連する他の腫瘍統計量との間のパーセンテージまたは絶対差を決定することであって、前記他の腫瘍統計量が、前記対象の１つ以上の他の医用画像の分析に基づいて生成されており、前記１つ以上の他の医用画像のそれぞれが、前記１つ以上の医用画像が収集された時点よりも前のベンチマーク時点で収集されており、前記出力が、前記パーセンテージまたは絶対差を含むか、または前記パーセンテージまたは絶対差に基づく、決定することをさらに含む、請求項１に記載の方法。
7. 
   前記パーセンテージまたは絶対差を１つ以上の所定の閾値のそれぞれと比較することと、
   前記閾値比較に基づいて、予後、処置応答または疾患状態の推定値を決定することであって、前記出力が前記推定された予後、処置応答または疾患状態を含む、決定することと、をさらに含む、請求項６に記載の方法。
8. 前記１つ以上の医用画像が、１つ以上のコンピュータ断層撮影（ＣＴ）画像を含む、請求項１に記載の方法。
9. 前記１つ以上の医用画像が、全身または胴体のＣＴ画像を含む、請求項１に記載の方法。
10. 前記１つ以上の医用画像が、１つ以上のＭＲＩ画像を含む、請求項１に記載の方法。
11. 前記検出ネットワークが、焦点損失を使用するように構成されている、請求項１に記載の方法。
12. 前記腫瘍セグメンテーションネットワークが、分離可能な畳み込みを含む修正Ｕ－Ｎｅｔを含む、請求項１に記載の方法。
13. 前記複数の臓器固有セグメンテーションネットワークのそれぞれが、分離可能な畳み込みを含む修正Ｕ－Ｎｅｔを含む、請求項１に記載の方法。
14. 前記１つ以上の腫瘍の各腫瘍について、前記臓器内に位置することに基づいて決定することであって、前記出力が前記臓器固有カウントを含む、決定することをさらに含む、請求項１に記載の方法。
15. ユーザによって、前記１つ以上の医用画像をコンピュータに入力することと、
    前記コンピュータによって、前記腫瘍セグメンテーション境界の少なくとも１つの視覚的表現を提示することと、をさらに含む、請求項１に記載の方法。
16. ＣＴ装置によって前記１つ以上の医用画像を取り込むことをさらに含む、請求項１に記載の方法。
17. 医師によって、がんの有無および任意の関連する臓器位置の予備診断を提供することであって、前記予備診断が前記出力に基づいて決定されている、提供することをさらに含む、請求項１に記載の方法。
18. 医師によって、前記出力に基づいて処置推奨を提供することをさらに含む、請求項１に記載の方法。
19. コンピュータ実装方法であって、
    対象の１つ以上の医用画像をローカルコンピュータからコンピュータネットワークにわたって位置するリモートコンピュータに送信することであって、前記リモートコンピュータが、
    前記１つ以上の医用画像を検出ネットワークに入力して、前記１つ以上の医用画像内の領域のセットを識別する１つ以上のマスクを生成することであって、前記検出ネットワークが、前記１つ以上のマスク内で識別された前記領域のセットの各領域が、前記対象内の１つ以上の腫瘍のうちの１つの腫瘍の描写を含むと予測する、入力して生成することと、
    前記領域のセットの各領域について、腫瘍セグメンテーションネットワークを使用して前記１つ以上の医用画像の前記領域を処理して、前記対象内に存在する前記腫瘍の１つ以上の腫瘍セグメンテーション境界を生成することと、
    前記１つ以上の腫瘍の各腫瘍について、複数の臓器固有セグメンテーションネットワークを使用することによって、前記腫瘍の少なくとも一部が位置する臓器を決定することとを行うように構成されている、送信することと、前記１つ以上の腫瘍セグメンテーション境界および前記１つ以上の腫瘍の少なくとも一部が位置する前記臓器の位置に基づく結果を受信することと、を含む、方法。
20. ＭＲＩ装置またはＣＴ装置によって前記１つ以上の医用画像を取り込むことをさらに含む、請求項１９に記載の方法。
21. コンピュータ実装方法であって、
    対象の１つ以上の医用画像にアクセスすることと、
    前記１つ以上の医用画像に存在する腫瘍病変のセットについての臓器位置のセットにアクセスすることと、
    前記１つ以上の医用画像および前記臓器位置のセットを、複数の治療的処置のうちの１つに関連するネットワークに入力して、前記対象が他の治療的処置と比較して特定の治療的処置のための良好な候補であるかどうかを表すスコアを生成することと、
    前記スコアを返すことと、を含む、方法。
22. 前記１つ以上の医用画像に存在する前記腫瘍病変のセットについての前記臓器位置のセットにアクセスすることが、
    前記１つ以上の医用画像のうちの少なくとも１つを検出ネットワークに入力して、前記対象内の１つ以上の腫瘍病変を示すと予測されることを示す前記１つ以上の医用画像の領域のセットを識別する１つ以上のマスクを生成することと、
    前記腫瘍病変のセットの各腫瘍について、複数の臓器固有セグメンテーションネットワークを使用することによって、前記腫瘍の少なくとも一部が位置する臓器を決定することと、を含む、請求項２１に記載の方法。
23. 前記検出ネットワークが、比較可能な対象ペアのセットを用いて訓練され、比較可能な対象ペアが、前記治療的処置を受けたことがあり、前記治療的処置を受けた後に異なる期間生存しており、前記訓練することが、前記ペアの前記対象間の訓練中の前記スコアの差を最大化する損失関数を使用することを含む、請求項２２に記載の方法。
24. 訓練中に使用される損失関数が、Ｌ＝－ｅｘｐ（Ｓ_Ｂ）／ｅｘｐ（Ｓ_Ｂ）＋ｅｘｐ（Ｓ_Ａ）を含む、請求項２３に記載の方法。
25. 前記複数の臓器固有セグメンテーションネットワークのそれぞれが、膨張ＶＧＧ １６または膨張ＲｅｓＮｅｔ １８ネットワークを含む、請求項２２に記載の方法。
26. 前記複数の臓器固有セグメンテーションネットワークのそれぞれが、深さ方向に続いて点方向の畳み込みを含む、請求項２２に記載の方法。
27. ユーザによって、前記１つ以上の医用画像をコンピュータに入力することと、
    前記コンピュータによって、前記治療的処置が前記対象にとって適切であるかどうかの推奨を提示すること、とをさらに含む、請求項２２に記載の方法。
28. ＭＲＩ装置またはＣＴ装置によって前記１つ以上の医用画像を取り込むことをさらに含む、請求項２２に記載の方法。
29. 医師によって、前記治療的処置が前記対象にとって有益であることを示す前記スコアに応答する前記治療的処置を指示することと、をさらに含む、請求項２２に記載の方法。
30. コンピュータ実装方法であって、
    対象の１つ以上の医用画像をローカルコンピュータからコンピュータネットワークにわたって位置するリモートコンピュータに送信することであって、前記リモートコンピュータが、
    前記１つ以上の医用画像に存在する腫瘍病変のセットについての臓器位置のセットにアクセスすることと、
    前記１つ以上の医用画像および前記臓器位置のセットを、複数の治療的処置のうちの１つに関連するネットワークに入力して、前記対象が他の治療的処置と比較して特定の治療的処置のための良好な候補であるかどうかを表すスコアを生成することと、
    を行うように構成されている、送信することと、
    前記ローカルコンピュータにおいて前記リモートコンピュータから前記スコアを受信することとを含む、方法。
31. ＣＴ装置またはＭＲＩ装置によって前記１つ以上の医用画像を取り込むことをさらに含む、請求項３０に記載の方法。
32. システムであって、
    １つ以上のデータプロセッサと、
    前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体と、を備える、システム。
33. １つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品。
    

Images