JP2023540910A - 病変検出のための共同訓練を伴う接続機械学習モデル - Google Patents

病変検出のための共同訓練を伴う接続機械学習モデル Download PDF

Info

Publication number
JP2023540910A
JP2023540910A JP2023513602A JP2023513602A JP2023540910A JP 2023540910 A JP2023540910 A JP 2023540910A JP 2023513602 A JP2023513602 A JP 2023513602A JP 2023513602 A JP2023513602 A JP 2023513602A JP 2023540910 A JP2023540910 A JP 2023540910A
Authority
JP
Japan
Prior art keywords
lesion
neural network
convolutional neural
type
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023513602A
Other languages
English (en)
Inventor
チョアン ソン，
ニルス グスタフ トーマス ベングトソン，
リチャード アラン デュレイ カラノ，
デーヴィッド ビー． クレイトン，
デ クレスピニー， アレキサンダー スティーヴン ジェームズ チャンピオン
ローラ ガエターノ，
アニサ プリヤ クリシュナン，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Genentech Inc
Original Assignee
Genentech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Genentech Inc filed Critical Genentech Inc
Publication of JP2023540910A publication Critical patent/JP2023540910A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本明細書に開示される実施形態は、一般に、病変検出のための共同訓練を用いて接続された機械学習モデルに関する。特に、本開示の態様は、三次元磁気共鳴撮像（ＭＲＩ）画像にアクセスすることであって、三次元ＭＲＩ画像が被験者の脳の領域を表示し、脳の領域が、少なくとも第１のタイプの病変および第２のタイプの病変を含む、三次元磁気共鳴撮像（ＭＲＩ）画像にアクセスすることと、三次元ＭＲＩ画像を、第１の畳み込みニューラルネットワークおよび第２の畳み込みニューラルネットワークを含む機械学習モデルに入力することと、三次元ＭＲＩ画像を入力として取り込む第１の畳み込みニューラルネットワークを使用して、第１のタイプの病変の第１のセグメンテーションマスクを生成することと、三次元ＭＲＩ画像を入力として取り込む第２の畳み込みニューラルネットワークを使用して、第２のタイプの病変の第２のセグメンテーションマスクを生成することと、第１のセグメンテーションマスクおよび第２のセグメンテーションマスクを出力することと、に関する。【選択図】図２

Description

関連出願の相互参照
本出願は、あらゆる目的のためにその全体が参照により本明細書に組み込まれる、米国仮特許出願第６３／０７３，６８６号（２０２０年９月２日に出願）の利益および優先権を主張する。
背景
多発性硬化症（ＭＳ）は、中枢神経系に影響を及ぼす疾患である。疾患の結果としてＭＳを有する被験者の脳に病変が形成される。大部分の場合、ＭＳは、最初は再発寛解型ＭＳとして現れ、空間的および時間的な分離を特徴とする。例えば、被験者は、種々の身体領域および／または種々の機能系に影響を及ぼしている複数の症候性エピソードを経験することがある。別の例として、被験者は、中枢神経系の種々の部分の病変を経験することがある。さらに別の例として、被験者は、症状を経験し、系に対応しない脳領域に病変を有することがある。経時的に、ＭＳ被験者の病変サイズおよび数は、頻繁に増加し、疾患の悪化を反映する。再発寛解型ＭＳは、典型的には、最終的には二次性進行型ＭＳに進行し、その間に症状および脳の健康の漸進的な悪化が、不連続な症候性再発および回復エピソードではなく観察される。原発性進行型ＭＳも同様に、漸進的な症状の悪化および脳の分解を特徴とするが、この診断は、再発性寛解型を以前に経験していない被験者に限定される。
磁気共鳴イメージング（ＭＲＩ）は、（脳サイズ変化を介して）新たな（造影剤増強された）病変、古い病変、および脳萎縮の視覚化を提供することができる。これらのメトリックは、ＭＳ診断をサポートし、ＭＳの予後を促進し、ＭＳ治療を選択し、ＭＳ治療を評価するための基盤である。ＭＲＩ画像は、特定の画像外観をもたらす無線周波数パルスおよび勾配の特定の設定であるＭＲＩシーケンスを使用して生成される。３つの主要なＭＲＩシーケンスタイプは、Ｔ１シーケンス、Ｔ２シーケンス、および流体減衰反転回復法（ＦＬＡＩＲ）シーケンスを含む。
Ｔ１ ＭＲＩは、比較的迅速に収集され、構造情報を提供することができる。軸索破壊およびニューロン死を示す斑である黒孔は、Ｔ１スキャンでは暗く見える。Ｔ２ ＭＲＩは、総疾患負担を示すために頻繁に使用される。新たな病変および古い病変は、Ｔ２スキャンでは高強度領域として現れる。ＦＬＡＩＲ ＭＲＩは、脳室および脳脊髄液がＦＬＡＩＲ ＭＲＩで暗くなる（Ｔ２ ＭＲＩでは明るい）ことを除いて、Ｔ２ ＭＲＩと同様である。したがって、（例えば、脳梁において）心室付近に現れる病変は、ＦＬＡＩＲ ＭＲＩでより視認可能である。
場合によっては、活動性病変の視認性を改善するために１つ以上のＭＲＩスキャンを収集する前に、造影剤（例えば、ガドリニウム）を被験者（例えば、静脈内）に投与する。血液脳関門が無傷である場合、造影剤は中枢神経系に入らない。血液脳関門が破壊されると、造影剤は、中枢神経系に移動することができ、炎症領域に局在する。造影剤は、Ｔ１ ＭＲＩでは高強度として見える。
従来、放射線科医は、ＭＲＩスキャンに手動で注釈を付ける。しかしながら、配列タイプの違いに加えて種々の深度および視点についてスキャンが収集されることを考えると、注釈を付けるための多くのスキャンがある。さらに、放射線科医全体で注釈に大きなばらつきがある。したがって、効率および一貫性を改善するために、ＭＲＩ画像を処理することができる自動化された技術を識別することが有利であろう。
概要
いくつかの実施形態では、コンピュータ実施方法が提供される。三次元磁気共鳴イメージング（ＭＲＩ）画像がアクセスされる。三次元ＭＲＩ画像は、少なくとも第１のタイプの病変（例えば、Ｔ１非増強病変）および第２のタイプの病変（Ｔ１ Ｇｄ－増強病変）を含む被験者の脳の領域を表示する。三次元ＭＲＩ画像は、第１の畳み込みニューラルネットワークおよび第２の畳み込みニューラルネットワークを含む機械学習モデルに入力される。第１の畳み込みニューラルネットワークは、第１の畳み込みニューラルネットワークの１つ以上の層と第２の畳み込みニューラルネットワークの１つ以上の層との間の１つ以上のクロスネットワーク接続を用いて第２の畳み込みネットワークに接続される。第１のタイプの病変の第１のセグメンテーションマスクは、三次元ＭＲＩ画像を入力として取り込む第１の畳み込みニューラルネットワークを使用して生成される。第１のセグメンテーションマスクは、第１のタイプの病変の表示の周りの第１の推定セグメンテーション境界を含む。第２のタイプの病変の第２のセグメンテーションマスクは、三次元ＭＲＩ画像を入力として取り込む第２の畳み込みニューラルネットワークを使用して生成される。第２のセグメンテーションマスクは、第２のタイプの病変の表示の周りの第２の推定セグメンテーション境界を含む。第１のセグメンテーションマスクおよび第２のセグメンテーションマスクは、並行して生成され、抽出された特徴のセットは、第１のセグメンテーションマスクおよび第２のセグメンテーションマスクが生成される間に１つ以上のクロスネットワーク接続にわたって共有される。第１のセグメンテーションマスクおよび第２のセグメンテーションマスクが出力される。
いくつかの実施形態では、第１の畳み込みニューラルネットワークは、第１の畳み込みニューラルネットワークの符号化ブロックから第２の畳み込みニューラルネットワークの符号化ブロックへの１つ以上のクロスネットワーク接続を用いて第２の畳み込みネットワークに接続される。
いくつかの実施形態では、第１の畳み込みニューラルネットワークは、第１の畳み込みニューラルネットワークの復号ブロックから第２の畳み込みニューラルネットワークの復号ブロックへの１つ以上のクロスネットワーク接続を用いて第２の畳み込みネットワークに接続される。
いくつかの実施形態では、クロスネットワーク接続のそれぞれは、特徴変換ブロックおよび圧縮ブロックを含む。
いくつかの実施形態では、コンピュータ実施方法は、第１のセグメンテーションマスクおよび第２のセグメンテーションマスクからの情報を組み合わせることによって最終画像マスクを生成することを含むことができる。最終画像マスクは、第１のタイプの病変と第２のタイプの病変との組み合わせを表す病変の新たなセットの表示の周りの推定セグメンテーション境界を含む。最終画像マスクが出力される。
いくつかの実施形態では、第１の畳み込みニューラルネットワークおよび第２の畳み込みネットワークは、Ｔｖｅｒｓｋｙ損失と重み付きバイナリ交差エントロピー損失との組み合わせを含む損失関数を使用して訓練された。
いくつかの実施形態では、第１の畳み込みニューラルネットワークは、第１のタイプの病変および第２のタイプの病変を含む種々のタイプの病変の表示の周りのセグメンテーション境界に関連付けられた注釈を有する複数の医用画像を含む訓練データのセットを使用して識別された複数のモデルパラメータを含む。複数のモデルパラメータは、損失関数を最小化することに基づいて訓練データのセットを使用して識別される。
いくつかの実施形態では、第２の畳み込みニューラルネットワークは、訓練データのセットを使用して識別された複数のモデルパラメータを含む。第２の畳み込みニューラルネットワークは、第２の畳み込みニューラルネットワークの複数のモデルパラメータが損失関数を最小化することに基づいて訓練データのセットを使用して協調的に識別されるように、第１の畳み込みニューラルネットワークと共同訓練される。
いくつかの実施形態では、損失関数は、第１のタイプの病変と第２のタイプの病変との間の任意の重複、および第１の畳み込みニューラルネットワークおよび第２の畳み込みニューラルネットワークからの偽陽性の寄与に対するペナルティ項をさらに含む。
いくつかの実施形態では、第１の畳み込みニューラルネットワークおよび第２の畳み込みネットワークはＵ－Ｎｅｔである。
いくつかの実施形態では、第１の畳み込みニューラルネットワークは、符号化ブロックおよび復号ブロックの３つの層を含む。
いくつかの実施形態では、第２の畳み込みニューラルネットワークは、符号化ブロックおよび復号ブロックの３つの層を含む。
いくつかの実施形態では、三次元ＭＲＩ画像は、チャネル次元に沿って積層された複数の連続スライスを含む。スライスは、第１のタイプのＭＲＩシーケンスを使用して生成された第１の三次元ＭＲＩスライス（例えば、Ｔ１造影剤後）、第２のタイプのＭＲＩシーケンスを使用して生成された第２の三次元ＭＲＩスライス（例えば、Ｔ１造影剤前）、および第３のタイプのＭＲＩシーケンスを使用して生成された第３の三次元ＭＲＩスライス（例えば、流体減衰反転回復法）を含む。
いくつかの実施形態では、第１の三次元ＭＲＩスライスおよび第２の三次元スライスは、造影剤増強を捕捉するために正規化される。正規化は、第１の三次元ＭＲＩスライス体積および第２の三次元スライス体積の双方をｚスコア化するために第２の三次元スライスの平均および標準偏差を使用することを含む。
いくつかの実施形態では、コンピュータ実施方法は、第１のセグメンテーションマスクを使用して第１のタイプの病変の数のカウントを決定すること、および第２のセグメンテーションマスクを使用して第２のタイプの病変の数のカウントを決定することを含み得る。
いくつかの実施形態では、コンピュータ実施方法は、第１のセグメンテーションマスクを使用して第１のタイプの病変の数のカウントを決定すること、第２のセグメンテーションマスクを使用して第２のタイプの病変の数のカウントを決定すること、および／または最終画像マスクを使用して病変の新たなセット内の病変の数のカウントを決定することを含み得る。
いくつかの実施形態では、コンピュータ実施方法は、第１のセグメンテーションマスク、第２のセグメンテーションマスク、および／または最終画像マスクを使用して、１つ以上の病変サイズまたは病変負荷を決定することを含むことができる。
いくつかの実施形態では、コンピュータ実施方法は、以前のＭＲＩに対応するデータにアクセスすることと、第１のセグメンテーションマスク、第２のセグメンテーションマスク、ならびに／または最終画像マスクおよびデータを使用して１つ以上の病変の量、サイズまたは累積サイズの変化を決定することと、変化を表す出力を生成することと、を含むことができる。
いくつかの実施形態では、コンピュータ実施方法は、第１のセグメンテーションマスク、第２のセグメンテーションマスク、および／または最終画像マスクに基づいて治療方針を変更することを推奨することを含むことができる。
いくつかの実施形態では、コンピュータ実施方法は、第１のセグメンテーションマスク、第２のセグメンテーションマスク、および／または最終画像マスクに少なくとも部分的に基づいて、多発性硬化症の被験者の可能な診断または確認された診断に対応する出力を提供することを含むことができる。
いくつかの実施形態では、コンピュータ実施方法は、第１のセグメンテーションマスク、第２のセグメンテーションマスク、および／または最終画像マスクに少なくとも部分的に基づいて、多発性硬化症を有する被験者を診断することを含むことができる。
いくつかの実施形態では、コンピュータ実施方法は、第１のセグメンテーションマスク、第２のセグメンテーションマスク、および／または最終画像マスクに少なくとも部分的に基づいて、治療反応を評価および／または予測することを含むことができる。
いくつかの実施形態では、コンピュータ実施方法が提供される。三－次元ＭＲＩ画像がアクセスされる。三次元ＭＲＩ画像は、少なくとも第１のタイプの病変および第２のタイプの病変を含む被験者の脳の領域を表示する。三次元ＭＲＩ画像は、第２の畳み込みニューラルネットワークに接続された第１の畳み込みニューラルネットワークを含む機械学習モデルに入力される。第１のタイプの病変の第１のセグメンテーションマスクは、三次元ＭＲＩ画像を入力として取り込む第１の畳み込みニューラルネットワークを使用して生成される。第２のタイプの病変の第２のセグメンテーションマスクは、三次元ＭＲＩ画像上の第１のセグメンテーションマスクを入力としてとる第２の畳み込みニューラルネットワークを使用して生成される。最終画像マスクは、第１のセグメンテーションマスクおよび第２のセグメンテーションマスクからの情報を組み合わせることによって生成される。最終画像マスクは、第１のタイプの病変の表示の周りの第１の推定セグメンテーション境界および／または第２のタイプの病変の表示の周りの第２の推定セグメンテーション境界を含む。最終画像マスクが出力される。
本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させる、非一時的コンピュータ可読記憶媒体をさらに含むことができる。
いくつかの実施形態では、非一時的な機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品が提供される。コンピュータプログラム製品は、１つ以上のデータプロセッサに、本明細書に開示された方法のうちの１つ以上の一部または全部を実行させるように構成された命令群を含むことができる。
様々な実施形態にかかる、複数の接続されたネットワークを有するモデルを使用して画像内の種々のタイプの病変の表示をセグメント化するための例示的なコンピューティング環境を示している。
様々な実施形態にかかる、非増強病変の表示をセグメント化するために使用される第１の改変Ｕ－ＮｅｔおよびＧｄ増強病変の表示をセグメント化するために使用される第２の改変Ｕ－Ｎｅｔを含む例示的なモデルを示している。
様々な実施形態にかかる、複数の接続されたネットワークを有するモデルを使用して画像内の種々のタイプの病変の表示をセグメント化するための例示的なプロセス環境を示している。
データセットについての総Ｔ１非増強病変体積および総Ｔ１ガドリニウム（Ｇｄ）増強病変体積の例示的なヒストグラムを示している。
３人の被験者の脳の一部の磁気共鳴イメージング（ＭＲＩ）画像のグラウンドトゥルースと比較した、モデルからの例示的な予測病変セグメント化を示している。
３つの時点のそれぞれにおける２つの治療群についてのＴ１ Ｇｄ増強病変カウントについての例示的な結果を示している。
経験的アプローチを使用するグラウンドトゥルースマスクおよび同じ経験的アプローチを使用するモデル予測マスクからのＴ１非増強病変カウントの例示的な結果を示している。
詳細な説明
Ｉ．概要
本開示は、医用画像の自動病変セグメンテーションのための技術を説明する。より具体的には、本開示の実施形態は、深層学習ネットワーク間の接続を有する共同訓練された深層学習ネットワークを使用して、医用画像（例えば、造影前後のＴ１ｗ画像）内の種々のタイプの病変（例えば、非増強Ｔ１病変およびガドリニウム（Ｇｄ）増強Ｔ１病変）の表示をセグメント化するための技術を提供する。
ＭＳでは、Ｔ２高強度病変の表示をセグメント化するために様々な深層学習モデルが開発されており、最近、Ｔ１ Ｇｄ増強病変の表示をセグメント化するために別個の深層学習モデルが開発された。しかしながら、２つの独立した深層学習モデルの使用は、特に造影剤増強が低い病変について、Ｔ１非増強病変タイプおよびＧｄ増強病変タイプの表示の不連続／非重複性を十分に捕捉せず、偽陽性（ＦＰ）病変の数の増加をもたらす。病変の有病率とサイズの不均衡が大きいため、多クラスの設定で双方の病変の表示をセグメント化するために１つの深層学習モデルを使用することは、深層学習モデルが有病率の高い病変タイプの表示のみをセグメント化するように学習するため困難である。さらに、これらの２つのタイプのＴ１病変は、それらの形状特性にかなりの差があり、ＭＳにおいて互いに隣接して発生しない可能性があるため、これらの２つのタイプのＴ１病変のセグメント化表示に必要な特徴の重複が少ない可能性がある。
これらの制限および問題に対処するために、本実施形態の自動化されたオブジェクトセグメンテーションのための技術は、非増強Ｔ１病変およびＧｄ増強Ｔ１病変などの種々のタイプの病変の表示をセグメント化するために共同訓練された複数の（例えば、２つ以上）深層学習ネットワークを利用する。例えば、データ処理システムは、三次元ＭＲＩ画像にアクセスする。三次元ＭＲＩ画像は、被験者の脳の領域を表示し、脳の領域は、少なくとも第１のタイプの病変（例えば、非増強病変）および第２のタイプの病変（例えば、Ｇｄ増強病変）を含む。三次元ＭＲＩ画像は、第２の畳み込みニューラルネットワークに接続された第１の畳み込みニューラルネットワークなどの複数の接続されたネットワークを含む機械学習モデルに入力される。第１の畳み込みニューラルネットワークは、第１の畳み込みニューラルネットワークの１つ以上の層と第２の畳み込みニューラルネットワークの１つ以上の層との間の１つ以上のクロスネットワーク接続を用いて第２の畳み込みネットワークに接続されてもよい。第１の畳み込みニューラルネットワークは、三次元ＭＲＩ画像を入力として使用して、第１のタイプの病変の第１のセグメンテーションマスクを生成するように構成される。第１のセグメンテーションマスクは、第１のタイプの病変の表示の周りの第１の推定セグメンテーション境界を含む。第２の畳み込みニューラルネットワークは、三次元ＭＲＩ画像を入力として使用して、第２のタイプの病変の第２のセグメンテーションマスクを生成するように構成される。第２のセグメンテーションマスクは、第２のタイプの病変の表示の周りの第２の推定セグメンテーション境界を含む。第１のセグメンテーションマスクおよび第２のセグメンテーションマスクは並行して生成され、抽出された特徴のセットは、第１のセグメンテーションマスクおよび第２のセグメンテーションマスクが生成される間にクロスネットワーク接続にわたって共有される。第１のセグメンテーションマスクおよび第２のセグメンテーションマスクが出力され、下流においてさらに分析されることができる（例えば、第１および第２のセグメンテーションマスクを使用して各タイプの病変の数を決定するために使用される）。
ＩＩ．医用画像をセグメント化するための技術
画像セグメンテーションは、形状、サイズ、色などの種々の特徴の類似性を示す部分に画像を分離する手順である。病変の表示のセグメンテーションは、身体の領域（例えば、脳）内の病変のサイズおよび位置の視覚化を可能にし、治療の分析についての基礎を提供することもできる。病変セグメンテーションのゴールドスタンダードは、長い間手動セグメンテーションであり、これは時間がかかり、労働集約的であり、したがって大規模な研究には適していない。病変セグメンテーションのプロセスを完全にまたは部分的に自動化しようとするかなりの研究が行われてきた。例えば、閾値処理、領域拡大、ファジークラスタリング、ウォーターシェッドアルゴリズムの使用などの画像セグメンテーション技術は、脳の白質（ＷＭ）、灰白質（ＧＭ）、および脳脊髄液（ＣＳＦ）などの正常組織の表示から異常組織（例えば、病変）の表示を分離するために使用されてきた。それにもかかわらず、セグメンテーションのプロセスは、病変の表示の形状、位置、およびサイズの多様性のために依然として困難である。
本明細書では、複数の三次元畳み込みニューラルネットワーク（ＣＮＮ）を使用して病変の表示をセグメント化し、病変セグメンテーション（例えば、Ｔ１ Ｇｄ増強病変セグメンテーション）に基づいて治療反応を抽出するモデルを組み込むエンドツーエンド方法について説明する。開発されたモデルは、計算的に軽量であり（例えば、平均的なデスクトップコンピューティングデバイス上で実行し、例えば数分以内などのオンデマンドで予測を返すことができる）、三次元スキャンの複雑さ、様々な病変タイプ間の極端な不均衡、および入力画像の異種性（例えば、可変密度およびオブジェクトサイズ）に対応するように考案された。本明細書で使用される場合、「スキャン」は、被験者の身体を通る単一の平面上の信号のグラフィカル表現である。このモデルは、閾値化法、エッジベースのセグメンテーション法、または領域ベースのセグメンテーション法などの手動介入（例えば、シードの手動選択または境界ボックスの手動識別）に依存する従来のアルゴリズムと同等の病変セグメンテーション性能を有し、グラウンドトゥルース手動読み取りとの高い相関を実証する。
次いで、病変セグメンテーションによって得られた予測または病変情報は、単独で、または他の要因と組み合わせて使用されて、病変（例えば、いくつかのＴ１非増強病変および／またはＴ１ Ｇｄ増強病変）の数を決定し、および／または１つ以上の病変サイズまたは病変負担（病変負荷と呼ばれることもある）を決定することができる。本方法はまた、被験者の治療の臨床的有効性および／または予後を評価するために使用されることができる。本方法はまた、予測およびデータを使用して１つ以上の病変の量、サイズ、または累積サイズの変化を決定し、その変化を表す出力を生成するために使用されることができる。モデルの出力は、予測に基づいて治療方針の変更を推奨するためにさらに使用されることができる。本方法はまた、被験者の診断を提供するために、例えば、予測に少なくとも部分的に基づいて多発性硬化症の被験者の可能な診断または確認された診断に対応する出力を提供するために、または予測に少なくとも部分的に基づいて多発性硬化症を有する被験者を診断するために使用されることができる。
ＩＩ．Ａ．例示的なコンピューティング環境
図１は、様々な実施形態にかかる、複数の接続されたネットワークを有するモデルを使用して画像内の種々のタイプの病変の表示をセグメント化するための例示的なコンピューティング環境１００（すなわち、データ処理システム）を示している。図１に示すように、この例におけるコンピューティング環境１００によって実行されるセグメント化は、いくつかの段階、すなわち、画像取得段階１０５、モデル訓練段階１１０、セグメンテーション段階１１５、および分析段階１２０を含む。
画像取得段階１０５は、被験者の様々な部分の入力画像１３５（例えば、ＭＲＩ画像）を取得するための１つ以上のイメージングシステム１３０（例えば、ＭＲＩイメージングシステム）を含む。イメージングシステム１３０は、ＭＲＩなどの放射線イメージング技術を使用して入力画像１３５を取得するように構成される。イメージングシステム１３０は、イメージングシステム１３０のそれぞれに関連する特性（例えば、輝度、コントラスト、および空間解像度）に基づいて被験者内の様々な構造および機能の間の差を決定し、一連の二次元画像を生成することができる。一連の二次元画像がスキャナのコンピュータによって収集されると、二次元画像は、被験者または被験者の一部の三次元画像を再構成するためにコンピュータ分析によって一緒にデジタル的に「積層」されることができる。二次元画像および／または再構成三次元入力画像１３５は、基本構造（例えば、器官）ならびに可能性のある病変または異常のより容易な識別および位置特定を可能にする。各二次元画像および／または再構成三次元入力画像１３５は、セッション時間および被験者に対応し、被験者の内部領域を表示することができる。各二次元画像および／または再構成三次元入力画像１３５は、さらに、標準化されたサイズ、解像度、および／または倍率であってもよい。
モデル訓練段階１１０は、他の段階によって使用されるべき１つ以上のモデル１４０ａ～１４０ｎ（「ｎ」はモデルの総数を表す）（本明細書では個別にモデル１４０と呼ばれてもよく、まとめてモデル１４０と呼ばれてもよい）を構築して訓練する。モデル１４０は、例えば、初期ニューラルネットワーク、残差ニューラルネットワーク（「Ｒｅｓｎｅｔ」）、Ｕ－Ｎｅｔ、Ｖ－Ｎｅｔ、シングルショットマルチボックス検出器（「ＳＳＤ」）ネットワーク、または例えば、長期短期記憶（「ＬＳＴＭ」）モデルもしくはゲーティッドリカレントユニット（「ＧＲＵ」）モデルなどのリカレントニューラルネットワーク（「ＲＮＮ」）、またはそれらの任意の組み合わせなどの畳み込みニューラルネットワーク（「ＣＮＮ」）などの複数のネットワークを含む機械学習（「ＭＬ」）モデルとすることができる。モデル１４０はまた、三次元ＣＮＮ（「３ＤＣＮＮ」）、動的時間圧伸（「ＤＴＷ」）技術、隠れマルコフモデル（「ＨＭＭ」）など、またはそのような技術のうちの１つもしくは複数の組み合わせ、例えば、ＣＮＮ－ＨＭＭもしくはＭＣＮＮ（マルチスケール畳み込みニューラルネットワーク）など、画像からのオブジェクト検出および／またはセグメンテーションにおいて訓練された任意の他の適切なＭＬモデルとすることができる。コンピューティング環境１００は、種々のタイプの病変の表示をセグメント化するために、同じタイプのモデルまたは種々のタイプのモデルを使用することができる。特定の例では、モデル１４０は、各ネットワークを訓練するために、組み合わされた非対称損失関数、例えば、Ｔｖｅｒｓｋｙ損失と重み付きバイナリ交差エントロピー（ｗＢＣＥ）損失との組み合わせによって構築される。モデル１４０内のネットワークの共同訓練の場合、ネットワークの損失に加えて、病変タイプ間の重複およびネットワークからの偽陽性の寄与に対してペナルティ項が追加されることができる。
この例においてモデル１４０を訓練するために、訓練画像１４５は、デジタル画像を取得し、画像を訓練用の訓練画像１４５ａのサブセット（例えば、９０％）および検証用の訓練画像１４５ｂのサブセット（例えば、１０％）に分割し、訓練画像１４５ａのサブセットおよび訓練画像１４５ｂのサブセットを前処理し、訓練画像１４５ａのサブセットを拡張し、場合によっては、訓練画像１４５ａのサブセットにラベル１５０によって注釈を付けることによって生成される。訓練画像１４５ａのサブセットは、１つ以上のイメージングモダリティ（例えば、ＭＲＩ Ｔ１、Ｔ２、プロトン密度（ＰＤ）、またはＦＬＡＩＲ）から取得される。場合によっては、訓練画像１４５ａのサブセットは、１つ以上のイメージングモダリティに関連するデータベース、画像システム（例えば、１つ以上のイメージングシステム１３０）などのデータ記憶構造から取得される。各画像は、１つ以上の病変を表示する。
分割は、ランダムに（例えば、９０／１０％または７０／３０％）実行されてもよく、または、分割は、サンプリングバイアスおよびオーバーフィッティングを最小限に抑えるために、Ｋ－分割交差検証、一個抜き交差検証、一群抜き交差検証、入れ子交差検証などのより複雑な検証技術にしたがって実行されてもよい。前処理は、バイアスまたは利得フィールドとして知られるＭＲＩ画像データに存在する低周波強度の不均一性を補正するためのバイアスフィールド補正を含むことができる。場合によっては、前処理は、剛性位置合わせを使用してＭＮＩテンプレート画像（例えば、ＭＮＩ空間）へのＭＲＩベースライン画像変換を識別することを含んでもよい。場合によっては、前処理は、ベースラインおよび頭蓋骨剥離へのフォローアップ訪問の厳密な位置合わせを含んでもよい。場合によっては、前処理は、全ての特徴を同じスケール（例えば、同じサイズスケールまたは同じカラースケールまたは彩度スケール）に置くための標準化または正規化をさらに含むことができる。特定の例では、画像は、所定の画素（例えば、２５００画素）の最小サイズ（幅または高さ）または所定の画素（例えば、３０００画素）の最大サイズ（幅または高さ）でサイズ変更され、元のアスペクト比を維持する。
増強を使用して、データセット内に画像の修正バージョンを作成することによって、訓練画像１４５ａのサブセットのサイズを人工的に拡大することができる。画像データ増強は、元の画像と同じクラスに属するデータセット内の画像の変換バージョンを作成することによって実行されることができる。変換は、シフト、フリップ、ズームなどの画像操作の分野からの動作の範囲を含む。場合によっては、動作は、モデル１４０が訓練画像１４５ａのサブセットから利用可能な状況外の状況下で実行することができることを保証するために、ランダム消去、シフト、輝度、回転、ガウスぼかし、および／または弾性変換を含む。
注釈付けは、訓練画像１４５ａのサブセットの各画像内の１つ以上の病変の表示の存在を確認し、１つ以上の病変にラベル１５０を提供する、例えば、注釈ソフトウェアを使用して、１つ以上の病変の表示を含むように人間によって確認された領域の周りに境界ボックス（グラウンドトゥルース）またはセグメンテーション境界を描く、１人以上の人間（放射線科医または病理学者などの注釈者）によって手動で実行されることができる。特定の例では、境界ボックスまたはセグメンテーション境界は、病変である確率が５０％を超える事例についてのみ描画されることができる。複数の注釈者によって注釈付けされる画像については、全ての注釈者からの境界ボックスまたはセグメンテーション境界が使用されてもよい。場合によっては、注釈データは、病変のタイプをさらに示すことができる。例えば、様々なタイプの病変について、注釈データは、Ｔ２高強度病変またはＴ１低強度病変などのタイプを示すことができる。
場合によっては、訓練画像１４５のサブセットは、訓練データセット（すなわち、訓練画像１４５ａのサブセット）内に含まれるように注釈者デバイスに送信されてもよい。入力は、（例えば）画像が関心のあるオブジェクト（例えば、病変、器官など）を表示しているかどうか；画像内に示された病変の数およびタイプ；および画像内の表示された各病変の周囲（境界ボックスまたはセグメンテーション境界）を示すマウス、トラックパッド、スタイラスおよび／またはキーボードを使用して（例えば、放射線科医によって）注釈者デバイスに提供されることができる。注釈者デバイスは、提供された入力を使用して各画像のラベル１５０を生成するように構成されることができる。例えば、ラベル１５０は、画像内に表示された病変の数および／またはタイプ；表示された各病変のタイプ分類；特定のタイプの表示された各病変の数；ならびに画像内の１つ以上の識別された病変の周囲および／またはマスクを含むことができる。場合によっては、ラベル１５０は、医用画像上にオーバーレイされた１つ以上の識別された病変の周囲および／またはマスクをさらに含むことができる。
場合によっては、モデル１４０は、訓練され、脳の三次元（３Ｄ）パッチのデジタル画像を処理するために使用される。訓練データは、それぞれが１つ以上の病変の少なくとも一部を表示する訓練用ＭＲＩ画像の第１のサブセットと、それぞれが任意の病変の表示を欠く訓練用ＭＲＩ画像の第２のサブセットとを含む。訓練データは、種々のＭＲＩシーケンスタイプを使用して生成された画像を含むことができる。例えば、訓練データセットは、Ｔ１シーケンス、Ｔ２シーケンス、およびＦＬＡＩＲシーケンスを使用して生成された三次元ＭＲＩ画像を含むことができる。訓練データは、病変を表示するＭＲＩ画像および病変を表示しないＭＲＩ画像のラベルを含むことができる。ラベルは、データベースまたはプロバイダシステムから受信されたデータから受信、識別、または導出されることができる。ラベルデータは、（例えば）単一の画像について、画像が病変の少なくとも一部を表示するかどうか、画像に少なくとも部分的に表示された病変の量、病変の少なくとも一部を表示する画像（例えば、特定のボクセル）内の位置、画像内または画像内の特定の位置に少なくとも部分的に表示された病変のタイプ（例えば、増強病変または非増強病変）などに関する指示を含むことができる。
モデル１４０を訓練するために使用される訓練データは、ガドリニウム（Ｇｄ）などの造影剤が被験者に投与された後に収集されたＭＲＩ画像、１つ以上の造影剤増強病変（Ｇｄ増強病変と呼ばれる）の少なくとも一部を示すＭＲＩ画像、造影剤が被験者に投与されることなく収集されたＭＲＩ画像、造影剤が被験者に投与される前に収集されたＭＲＩ画像、および／またはいかなる造影剤増強病変も表示しないＭＲＩ画像を含むことができる。例えば、モデル１４０は、造影剤が最近被験者に投与されていない状態で収集された画像のみ、造影剤が最近被験者に投与された後に収集された画像のみ、または双方のタイプの画像のいくつかに対して訓練されることができる。造影剤が投与された後に収集された画像は、場合によっては、血液脳関門が無傷である状況で、および／または所与のスキャンが造影剤が移動した脳領域を示さない場合、いかなる増強病変も示さないことがあることが理解されよう。
特定の事例では、モデル１４０は、重み付きバイナリ交差エントロピー（ｗＢＣＥ）損失またはＴｖｅｒｓｋｙ損失を使用して訓練される。Ｔｖｅｒｓｋｙ損失は、予測における偽陽性を減少させることができ、ｗＢＣＥは、より小さな病変を識別するのに役立つことができる。さらに、Ｔｖｅｒｓｋｙ損失とｗＢＣＥ損失の組み合わせが使用されて損失を計算することができる。Ｔｖｅｒｓｋｙ損失には、以下の式（１）が使用されることができる：
上記式（１）において、
ボクセルｉが病変クラス（例えば、Ｔ１非増強、Ｇｄ増強）に属するモデル予測確率であり、
ボクセルが病変クラスに属さない確率である。同様に、
ボクセルが病変クラスに属するか否かをグラウンドトゥルース注釈で示す。βは、偽陽性（ＦＰ）からの寄与を重み付けし、（１－β）は、偽陰性（ＦＮ）からの寄与を重み付けする。ｗＢＣＥには、以下の式（２）が使用されることができる：
上記の式（２）において、ｇおよびｐは、それぞれグラウンドトゥルースおよびモデル予測病変マスクを表す。小さな病変を検出するための感度を改善するために、ｗＢＣＥ損失が追加されることができる。しかしながら、ｗＢＣＥは、ＦＰの増加をもたらすことができる。これを説明するために、Ｔｖｅｒｓｋｙ損失項においてＦＰがＦＮよりも大きく重み付けされることができる。損失は、式（３）を使用して計算される：
共同訓練の場合、複数のネットワークの損失に加えて、以下の式（４）を使用して、２つの病変タイプの重複およびネットワークからの偽陽性の寄与について項が追加されることができる：
上記式（４）において、
Ｔ１非増強病変およびＧｄ増強病変をセグメント化するためのトップモデルおよびボトムモデルの損失に対応し、
病変を非増強するための予測モデルおよびグラウンドトゥルース（ＧＴ）マスクに対応し、
Ｇｄ増強病変についての予測モデルおよびＧＴマスクに対応する。
Ｇｄ増強病変のより低い有病率を説明するために
重み付けされることができる。
モデル１４０の訓練プロセスは、モデル１４０のハイパーパラメータを選択することと、モデル１４０の損失関数または誤差関数を最小化するモデルパラメータ（例えば、重みおよび／またはバイアス）のセットを見つけるために、画像１４５ａのサブセットからモデル１４０に画像を入力する反復動作を実行することとを含む。ハイパーパラメータは、モデル１４０の挙動を制御するために調整または最適化されることができる設定である。ほとんどのモデルは、メモリまたは実行コストなどのモデルの種々の態様を制御するハイパーパラメータを明示的に定義する。しかしながら、モデルを特定のシナリオに適合させるために、追加のハイパーパラメータが定義されることができる。例えば、ハイパーパラメータは、モデルの隠れユニットの数、モデルの学習率、畳み込みカーネル幅、またはモデルのカーネルの数を含むことができる。訓練の各反復は、モデルパラメータのセットを使用する損失関数または誤差関数の値が、前の反復におけるモデルパラメータの異なるセットを使用する損失関数または誤差関数の値よりも小さくなるように、（ハイパーパラメータの定義されたセットによって構成された）モデル１４０のモデルパラメータのセットを見つけることを含むことができる。損失関数または誤差関数は、モデル１４０を使用して推論された出力と、ラベル１５０を使用して画像に注釈付けされたグラウンドトゥルースセグメンテーション境界との間の差を測定するように構築されることができる。
モデルパラメータのセットが識別されると、モデル１４０は、訓練されており、訓練画像１４５ｂのサブセット（試験または検証のデータセット）を使用して検証されることができる。検証プロセスは、ハイパーパラメータを調整し、最終的に最適なハイパーパラメータのセットを見つけるために、Ｋ－分割交差検証、一個抜き交差検証、一群抜き交差検証、入れ子交差検証などの検証技術を使用して、訓練画像１４５ｂのサブセットからモデル１４０に画像を入力する反復動作を含む。最適なハイパーパラメータのセットが得られると、訓練画像１４５ｂのサブセットからの画像の予約された試験セットがモデル１４０に入力されて出力（この例では、１つ以上の病変の表示の周りのセグメンテーション境界）が取得され、Ｂｌａｎｄ－Ａｌｔｍａｎ法およびスピアマンのランク相関係数などの相関技術を使用し、誤差、精度、適合率、再現率、受信者動作特性曲線（ＲＯＣ）などの性能メトリックを計算して、出力がグラウンドトゥルースセグメンテーション境界に対して評価される。
理解されるべきであるように、他の訓練／検証機構が想定され、コンピューティング環境１００内に実装されてもよい。例えば、モデルは、訓練されてもよく、ハイパーパラメータは、訓練画像１４５ａのサブセットからの画像上で調整されてもよく、訓練画像１４５ｂのサブセットからの画像は、モデルの性能を試験および評価するためにのみ使用されてもよい。さらに、本明細書に記載の訓練機構は、新たなモデル１４０の訓練に焦点を当てているが、これらの訓練機構はまた、他のデータセットから訓練された既存のモデル１４０を微調整するために利用されることもできる。例えば、場合によっては、モデル１４０は、他のオブジェクトもしくは生物学的構造の画像を使用して、または他の被験者もしくは研究（例えば、ヒトトライアルまたはマウス実験）からの切片から事前訓練されていてもよい。それらの場合、モデル１４０は、転移学習に使用され、入力画像１３５を使用して再訓練／検証されることができる。
モデル訓練段階１１０は、複数のネットワーク（例えば、第２のＵ－Ｎｅｔに接続された第１のＵ－Ｎｅｔ）を含む１つ以上の訓練されたセグメンテーションモデル１６５を含む訓練されたモデルを出力する。１つ以上の医用入力画像１３５は、セグメンテーション段階１１５内のセグメンテーションコントローラ１７０によって取得される。様々な例では、医用入力画像１３５は、三次元ＭＲＩ画像である。三次元ＭＲＩ画像のそれぞれは、被験者の脳の同じ領域を表示する。脳の領域は、少なくとも第１のタイプの病変（例えば、Ｔ１非増強病変）および第２のタイプの病変（例えば、Ｔ１ Ｇｄ増強病変）を含む。各三次元ＭＲＩ画像は、完全なＭＲＩ画像の三次元パッチを含む。三次元パッチは、完全な三次元ＭＲＩ画像のボクセルのサブセットとすることができる。場合によっては、第１の三次元ＭＲＩ画像は、第２の三次元ＭＲＩ画像を生成するために使用される第２のタイプのＭＲＩシーケンスとは異なる第１のタイプのＭＲＩシーケンスを使用して生成されることができる。特定の場合には、異なるＭＲＩシーケンスを使用して得られた三次元ＭＲＩ画像が積層され、同時にセグメンテーションモデル１６５への入力として使用されることができる。例えば、ＦＬＡＩＲ、Ｔ１造影前、およびＴ１造影後などの異なるＭＲＩシーケンスを使用して生成された複数（例えば、３）の連続スライスが、チャネル次元に沿って積層され、セグメンテーションモデル１６５への入力として同時に使用されることができる。
場合によっては、三次元ＭＲＩ画像は、セグメンテーションモデル１６５に入力される前に前処理される。例えば、ＦＬＡＩＲ ＭＲＩ画像は、強度再スケーリングおよびｚスコア化されることができる。さらに、Ｔ１造影前画像に対するＴ１造影後画像における病変の強度の増加を捕捉するために、体積が一緒に正規化されることができる（例えば、体積間の強度関係を維持して再スケーリングされる）。双方の体積が、造影前スキャンにおける脳の平均および標準偏差を使用してｚスコア化されることができる。あるいは、シーケンス内の相対造影剤が所与の出力タスクに十分である場合、Ｔ１造影後画像およびＴ１造影前画像は、ＦＬＡＩＲ ＭＲＩ画像と同様に、ｚスコアによって独立して正規化されることができる。
セグメンテーションコントローラ１７０は、複数の接続されたネットワークを含む訓練されたセグメンテーションモデル１６５を使用して各三次元ＭＲＩ画像を処理するためのプロセスを含む。訓練されたセグメンテーションモデル１６５は、スキャナに、またはクラウド環境内のソフトウェアとして展開されることができる。場合によっては、複数の接続ネットワークは、第１の畳み込みニューラルネットワークの１つ以上の層と第２の畳み込みニューラルネットワークの１つ以上の層との間の１つ以上のクロスネットワーク接続を用いて第２の畳み込みニューラルネットワークに接続された第１の畳み込みニューラルネットワークを含む。クロスネットワーク接続は、第１のタイプの病変（例えば、非増強病変）の病変特徴を促進して、第２のタイプの病変（例えば、Ｇｄ増強病変）をセグメント化するための特徴の選択に影響を及ぼすことができる。例では、種々のタイプの病変をセグメント化するための特徴は、主に大きいまたはリム増強病変のために緩く結合されるだけであるため、クロスネットワーク接続は、複数の接続されたネットワークの縮小経路上にのみ追加され、複数の接続されたネットワークの拡張経路上には追加されない場合がある。第１のタイプの病変の病変特徴を適合させて、第２のタイプの病変のセグメント化に関連するようにするために、特徴変換（例えば、３×３×３）および圧縮（例えば、１×１×１）ブロックが追加されることもできる。圧縮ブロックは、畳み込み層、バッチノルム層、および活性化層のセットを含むことができる。圧縮ブロックの出力は、第２の畳み込みニューラルネットワークの第１の畳み込みニューラルネットワークと同様のレベルで符号化ブロックの出力に連結されることができる。次いで、連結された特徴は、第２のタイプの病変をセグメント化するために、第２の畳み込みニューラルネットワークの次のレベルの符号化ブロックへの入力として提供されることができる。
いくつかの実施形態では、複数の接続されたネットワークは、各画像を並列に処理する。各画像が並列に処理される場合、複数の接続されたネットワークは、各画像を同時にまたは実質的に同時に処理し、抽出された特徴のセットは、第１のセグメンテーションマスクおよび第２のセグメンテーションマスクの生成中に１つ以上のクロスネットワーク接続にわたって共有される。クロスネットワーク接続を使用して第１のタイプの病変（例えば、Ｔ１非増強病変）をセグメント化するための第１の畳み込みニューラルネットワークを第２のタイプの病変（例えば、Ｔ１ Ｇｄ増強病変）をセグメント化するための第２の畳み込みニューラルネットワークに接続するこの設計構成は、その逆または共有層を使用する代わりに有利である。第２のタイプの病変の有病率はより低い可能性があるため、他の可能な構成において第２のタイプの病変が存在しない場合、使用可能な情報はほとんどない可能性がある。処理は、三次元ＭＲＩ画像を入力として取り込む第１の畳み込みニューラルネットワークを使用して、第１のタイプの病変の第１のセグメンテーションマスクを生成することを含む。第１のセグメンテーションマスクは、第１のタイプの病変の表示の周りの第１の推定セグメンテーション境界を含む。処理は、三次元ＭＲＩ画像を入力として取り込む第２の畳み込みニューラルネットワークを使用して、第２のタイプの病変の第２のセグメンテーションマスクを生成することをさらに含む。第２のセグメンテーションマスクは、第２のタイプの病変の表示の周りの第２の推定セグメンテーション境界を含む。セグメンテーションコントローラ１７０は、第１のセグメンテーションマスクおよび第２のセグメンテーションマスクからの情報を組み合わせることによって最終画像マスク１７５を生成することができる。最終画像マスク１７５は、第１のタイプの病変と第２のタイプの病変との組み合わせを表す新たな一組の領域の表示の周りの推定セグメンテーション境界を含む。セグメンテーションコントローラ１７０は、第１のセグメンテーションマスク、第２のセグメンテーションマスク、および／または最終画像マスク１７５を出力するためのプロセスをさらに含む。
他の実施形態では、複数の接続されたネットワークは、カスケード型配置（例えば、順次または実質的に順次）で各画像を処理し、抽出された特徴のセットは、先行ネットワークからの後続ネットワークと共有される。処理は、（ｉ）三次元ＭＲＩ画像を入力として取り込む第１の畳み込みニューラルネットワークを使用して、第１のタイプの病変の第１のセグメンテーションマスクを生成することと、（ｉｉ）三次元ＭＲＩ画像上の第１のセグメンテーションマスクを入力として取り込む第２の畳み込みニューラルネットワークを使用して、第２のタイプの病変の第２のセグメンテーションマスクを生成することと、（ｉｉｉ）第１のセグメンテーションマスクおよび第２のセグメンテーションマスクからの情報を組み合わせることによって最終画像マスク１７５を生成することと、を含む。最終画像マスク１７５は、第１のタイプの病変の表示の周りの第１の推定セグメンテーション境界および／または第２のタイプの病変の周りの第２の推定セグメンテーション境界を含む。セグメンテーションコントローラ１７０は、最終画像マスク１７５を出力するためのプロセスをさらに含む。
第１のセグメンテーションマスク、第２のセグメンテーションマスク、および／または最終画像マスク１７５は、分析段階１２０内の分析コントローラ１８０に送信されてもよい。分析コントローラ１８０は、第１のセグメンテーションマスク、第２のセグメンテーションマスク、および／または最終画像マスク１７５を取得または受信し、第１のセグメンテーションマスク、第２のセグメンテーションマスク、および／または最終画像マスク１７５に基づいて分析結果１８５を決定するプロセスを含む。分析コントローラ１８０は、第１のセグメンテーションマスクを使用して第１のタイプの病変の数、第２のセグメンテーションマスクを使用して第２のタイプの病変の数、および／または最終画像マスク１７５を使用して病変の新たなセット内の病変の数を決定するプロセスをさらに含んでもよい。分析コントローラ１８０は、第１のセグメンテーションマスク、第２のセグメンテーションマスク、および／または最終画像マスク１７５を使用して、１つ以上の病変サイズまたは病変負荷を決定するプロセスをさらに含んでもよい。分析コントローラ１８０は、以前のＭＲＩに対応するデータにアクセスし、第１のセグメンテーションマスク、第２のセグメンテーションマスク、ならびに／または最終画像マスク１７５およびデータを使用して、１つ以上の病変の量、サイズまたは累積サイズの変化を決定し、変化を表す出力を生成するプロセスをさらに含んでもよい。分析コントローラ１８０は、第１のセグメンテーションマスク、第２のセグメンテーションマスク、および／または最終画像マスク１７５に基づいて、治療方針の変更を推奨するプロセスをさらに含んでもよい。分析コントローラ１８０は、第１のセグメンテーションマスク、第２のセグメンテーションマスク、および／または最終画像マスク１７５に少なくとも部分的に基づいて、多発性硬化症の被験者の可能な診断または確認された診断に対応する出力を提供するためのプロセスをさらに含むことができる。分析コントローラ１８０は、第１のセグメンテーションマスク、第２のセグメンテーションマスク、および／または最終画像マスク１７５に少なくとも部分的に基づいて、多発性硬化症を有する被験者を診断するためのプロセスをさらに含むことができる。分析コントローラ１８０は、第１のセグメンテーションマスク、第２のセグメンテーションマスク、および／または最終画像マスク１７５に少なくとも部分的に基づいて、治療反応を評価および／または予測するプロセスをさらに含むことができる。
本明細書に開示される機械学習モデルは、様々なタイプの病変の表示を検出するために訓練および使用されることができることが理解されよう。例えば、非増強Ｔ２病変が検出されることができ、増強Ｔ１病変が検出されることができるなどである。場合によっては、本明細書に開示される機械学習モデルは、訓練され、黒孔を検出するために使用されてもよい。
いくつかの実施形態では、血管追跡を使用して偽陽性予測が低減されることができる。血管は、Ｇｄ増強病変の偽陽性のかなりの割合に寄与することができる。領域成長は、Ｔ１造影後画像における脳内のボクセルの上位３パーセンタイル（＞＝９７番目）の強度を有するボクセルに使用されることができる。最大の血管樹が保持されることができ、脳の境界が増強されることができる。所定の閾値（例えば、３０％）を超えて血管樹に重なる病変が除去されて、偽陽性の数を低減することができる。
明示的に示されていないが、コンピューティング環境１００は、開発者に関連付けられた開発者デバイスをさらに含むことができることが理解されよう。開発者デバイスからコンピューティング環境１００の構成要素への通信は、モデルに使用される入力画像のタイプ、使用されるモデルの数およびタイプ、各モデルのハイパーパラメータ、例えば学習率および隠れ層の数、データ要求をフォーマットする方法、使用される訓練データ（例えば、および訓練データへのアクセス方法）および使用される検証技術、および／またはコントローラプロセスを構成する方法を示すことができる。
ＩＩ．Ｂ．複数の接続ネットワークを含む例示的なモデル
図２に示す例示的な実施形態では、機械学習モデル内の複数のネットワークが集合的に使用されて、三次元ＭＲＩ画像に表示された種々のタイプの病変を検出することができる。図２は、非増強病変をセグメント化するために使用される第１の改変Ｕ－Ｎｅｔ２０５と、Ｇｄ増強病変をセグメント化するために使用される第２の改変Ｕ－Ｎｅｔ２１０とを含む例示的なモデル２００を示している。改変Ｕ－Ｎｅｔ２０５；２１０は、３つのレベルを有して比較的浅い。改変Ｕ－Ｎｅｔ２０５；２１０は、それぞれ、縮小経路２１５（符号器）および拡張経路２２０（復号器）を含み、これらはネットワークにｕ字形アーキテクチャを与える。縮小経路２１５の各符号化ブロック２２５は、畳み込み（３×３×３カーネル）層、バッチノルム層、および正規化線形ユニット（ＲｅＬＵ）活性化層の２つのセットから構成される。改変Ｕ－Ｎｅｔ２０５；２１０は、訓練中にドロップアウト層を使用して、逆伝播中に勾配を容易に伝播するためのオーバーフィッティングおよび残差接続を回避する。各ネットワークは、縮小経路２１５内の特徴を抽出し、各スケールでの特徴マップの数は徐々に増加する。特徴マップは、スライス次元に沿った限られたカバレッジを説明するために、異方性カーネル２３０（１×３×３）を用いたストライド畳み込みを使用してダウンサンプリングされる。これに対応して、縮小経路２１５において、特徴マップは、補間層２３５を使用してアップサンプリングされる（１×２×２）。きめ細かい詳細を有する縮小経路２１５からのスキップ特徴は、アップサンプリングされた意味的特徴と連結され、結合された特徴は、縮小経路２１５において使用されるものと同様の残差畳み込みブロック２４０を使用して洗練される。最上位レベルの復号ブロック特徴は、中間レベルからアップサンプリングされた洗練された特徴と連結され、最終的な畳み込み層および活性化層を通過して、病変セグメンテーション確率を生成する。
改変Ｕ－Ｎｅｔ２０５；２１０は、非増強病変をセグメント化するための第１の改変Ｕ－Ｎｅｔ ２０５の符号化ブロックからＧｄ増強病変をセグメント化するための第２の改変Ｕ－Ｎｅｔ ２１０の符号化ブロックへのクロスネットワーク接続２４５によって連結されている。クロスネットワーク接続２４５は、第１の改変Ｕ－Ｎｅｔ ２０５の復号ブロックを第２の改変Ｕ－Ｎｅｔ ２１０の復号ブロックにさらに接続してもよい。これらのクロスネットワーク接続２４５は、非増強病変特徴がＧｄ増強病変特徴に影響を及ぼすことを可能にする。抽出された特徴は、非増強病変の表示についての第１のセグメンテーションマスクがＧｄ増強病変の表示についての第２のセグメンテーションマスクと並行して生成されることができるように、クロスネットワーク接続２４５にわたって共有されることができる。非増強病変をセグメント化するための第１の改変Ｕ－Ｎｅｔ ２０５を、クロスネットワーク接続２４５を使用してＧｄ増強病変をセグメント化するための第２の改変Ｕ－Ｎｅｔ ２１０に接続するこの設計構成は、その逆または共有層を使用する代わりに有利である。これは、Ｇｄ増強病変の有病率が低いためであり、これは、他の可能な構成においてＧｄ増強病変が存在しない場合に使用可能な情報がないことを意味する。さらに、改変Ｕ－Ｎｅｔ２０５；２１０は、損失関数を最小化することによって共同訓練されることができる。ペナルティ項は、病変タイプ間の任意の重複および改変Ｕ－Ｎｅｔ２０５；２１０からの偽陽性の寄与について損失関数に含めることができ、より小さく、弱く増強する病変に対する偽陽性の減少をもたらす。
例では、種々のタイプの病変をセグメント化するための特徴は、主に大きいまたはリム増強病変のために緩く結合されるだけであるため、クロスネットワーク接続２４５は、縮小経路２１５上にのみ追加され、拡張経路２２０上には追加されない。特徴変換（３×３×３）および圧縮（１×１×１）ブロック２５０もまた、非増強病変特徴を適合させてＧｄ増強病変のセグメント化に関連させるために追加される。ブロック２５０のそれぞれは、畳み込み層、バッチノルム層、および活性化層のセットを含む。圧縮ブロック２５０の出力は、第２の改変Ｕ－Ｎｅｔ２０５の第１の改変Ｕ－Ｎｅｔ２１０における２２５と同様のレベルで符号化ブロックの出力に連結される。次いで、連結された特徴は、Ｇｄ増強病変をセグメント化するために、改変Ｕ－Ｎｅｔ ２１０の次のレベルの符号化ブロックへの入力として提供される。
ＩＩ．Ｃ．例示的なプロセス
図３は、様々な実施形態にかかる、複数の接続されたネットワークを有するモデルを使用して画像内の種々のタイプの病変の表示をセグメント化するための例示的なプロセス環境を示している。ブロック３０２において、被験者の脳を表示する三次元ＭＲＩ画像がアクセスされる。被験者の脳は、少なくとも第１のタイプの病変（例えば、Ｔ１非増強病変）および第２のタイプの病変（例えば、Ｔ１ Ｇｄ増強病変）を含む。三次元ＭＲＩ画像は、イメージングシステム（例えば、イメージングシステム１３０）からセグメンテーションコントローラ（例えば、セグメンテーションコントローラ１７０）によってアクセスされることができる。
ブロック３０４において、三次元ＭＲＩ画像は、第１の畳み込みニューラルネットワーク（例えば、第１の改変Ｕ－Ｎｅｔ２０５）を含み、第２の畳み込みニューラルネットワーク（例えば、第２の改変Ｕ－Ｎｅｔ２１０）を含む機械学習モデルに入力される。第１の畳み込みニューラルネットワークは、第１の畳み込みニューラルネットワークの１つ以上の層と第２の畳み込みニューラルネットワークの１つ以上の層との間の１つ以上のクロスネットワーク接続を用いて第２の畳み込みニューラルネットワークに接続される。クロスネットワーク接続は、第１の畳み込みニューラルネットワークのブロックの符号化から第２の畳み込みニューラルネットワークのブロックの符号化までであってもよい。さらに、クロスネットワーク接続は、第１の畳み込みニューラルネットワークの復号ブロックから第２の畳み込みニューラルネットワークの復号ブロックまでであってもよい。クロスネットワーク接続のそれぞれは、特徴変換ブロックおよび圧縮ブロックを含むことができる。
ブロック３０６において、三次元ＭＲＩ画像を入力として取り込む第１の畳み込みニューラルネットワークを使用して、第１のタイプの病変の第１のセグメンテーションマスクが生成される。第１のセグメンテーションマスクは、第１のタイプの病変の表示の周りの推定セグメンテーション境界を含む。
ブロック３０８において、三次元ＭＲＩ画像を入力として取り込む第２の畳み込みニューラルネットワークを使用して、第２のタイプの病変の第２のセグメンテーションマスクが生成される。第２のセグメンテーションマスクは、第２のタイプの病変の表示の周りの第２の推定セグメンテーション境界を含む。第１のセグメンテーションマスクおよび第２のセグメンテーションマスクは、並行して生成され、抽出された特徴のセットは、第１のセグメンテーションマスクおよび第２のセグメンテーションマスクが生成される間に１つ以上のクロス接続ネットワーク接続にわたって共有される。
ブロック３１０において、第１のセグメンテーションマスクおよび第２のセグメンテーションマスクが出力される。第１のタイプの病変の数は、第１のセグメンテーションマスクを使用して決定されることができ、および／または第２のタイプの病変の数は、第２のセグメンテーションマスクを使用して決定されることができる。第１のセグメンテーションマスクおよび／または第２のセグメンテーションマスクを使用して、１つ以上の病変サイズまたは病変負荷が決定されることができる。以前のＭＲＩに対応するデータがアクセスされることができ、第１のセグメンテーションマスクおよび／または第２のセグメンテーションマスクおよびデータを使用して１つ以上の病変の量、サイズまたは累積サイズの変化が決定されることができ、変化を表す出力が生成されることができる。第１のセグメンテーションマスクおよび／または第２のセグメンテーションマスクに基づいて、治療方針の変更が推奨されることができる。追加的または代替的に、第１のセグメンテーションマスクおよび／または第２のセグメンテーションマスクに少なくとも部分的に基づいて、多発性硬化症の被験者の可能な診断または確認された診断に対応する出力が提供されてもよい。被験者は、第１のセグメンテーションマスクおよび／または第２のセグメンテーションマスクに少なくとも部分的に基づいて、多発性硬化症と診断されることができる。場合によっては、治療反応は、第１のセグメンテーションマスクおよび／または第２のセグメンテーションマスクに少なくとも部分的に基づいて評価および／または予測されることができる。
ＩＩＩ．実施例
様々な実施形態において実行されるシステムおよび方法は、以下の実施例を参照することによって、より良好に理解することができる。
ＩＩＩ．Ａ．実施例１．－病変セグメンテーション
深層学習を用いた多発性硬化症の臨床トライアルにおけるＴ１ Ｇｄ増強病変負担に対する治療反応の検出。
ＩＩＩ．Ａ．ｉ．背景
オクレリズマブ（ＯＣＲ）は、再発性および原発性進行型形態のＭＳの治療のために承認されたヒト化抗ＣＤ２０＋モノクローナル抗体である。ＯＣＲは、Ｔ１ Ｇｄ増強病変の数の減少によって示されるように、炎症の新たな領域の発生を抑制する。病変の深層学習（ＤＬ）ベースのセグメンテーションは、これらの手動読み取りを自動化する可能性を有する；より迅速且つ再現性のある定量化を可能にする。
ＩＩＩ．Ａ．ｉｉ．材料および方法
再発寛解型多発性硬化症（ＲＲＭＳ）患者における２つの同一の第ＩＩＩ相、多施設、無作為化、二重盲検、ダブルダミー、および並行群トライアルのＭＲＩデータセットを使用して、病変セグメンテーションモデルが開発された。（Ｏｐｅｒａ １：ＮＣＴ０１２４７３２４、ｎ＝８９８；Ｏｐｅｒａ ２：ＮＣＴ０１４１２３３３、ｎ＝９０５）。様々な製造業者からの１．５Ｔ（約０．８％）および３Ｔ（約０．２％）スキャナでデータが取得された。Ｔ１ｗ（造影前後）、Ｔ２ｗ、ＦＬＡＩＲおよび約１×１×３ｍｍ３の解像度を有するＰＤ画像を含む標準化された従来の脳ＭＲＩが、ベースライン、２４、４８および９６週で実施された。軸方向３ｍｍＴ１重み付けスライス（３Ｄスポイル勾配エコー、繰り返し時間＝２８～３０ｍｓ、エコー時間＝５～１１ｍｓ、フリップ角度＝２７～３０）を、Ｇｄ注入前およびＧｄ注入後に取得した（０．１ｍｍｏｌ／ｋｇ、１０分の注入後遅延）。２Ｄ高速スピンエコー、反復時間＝４０００～６１９０ｍｓ、エコー時間＝７４～９１ｍｓおよびエコートレイン長＝７～１１によって、軸方向３ｍｍのＴ２増強スライスを取得した。ＭＲＩデータの前処理は、バイアスフィールド補正、ＭＮＩテンプレートへのベースライン画像の剛性位置合わせ、ベースラインへのフォローアップ訪問および頭蓋骨剥離の剛性位置合わせを含んでいた。
トライアルの一部として収集された手動エキスパート注釈は、セグメンテーションモデルを訓練するためのグラウンドトゥルース（ＧＴ）マスクとして使用された。Ｔ２高強度病変は、半自動化アプローチを使用してセグメント化され、最初の自動化されたセグメント化は、専門の神経放射線科医によって手動で補正され、最終的なＴ２病変マスクを生成した。Ｔ１低強度／非増強病変の初期セグメンテーションは、Ｔ１ｗ強度が白質のボクセルの大部分よりも低いＴ２病変マスク内の領域を含み、造影後スキャンでＧｄ増強を示さなかった。次いで、この初期マスクを専門家のリーダーが手動で修正して、最終的なＴ１非増強病変マスクを作成した。Ｇｄ増強病変を手作業でセグメント化した。ここでの造影剤増強は、造影後スキャンでの少なくとも２０％の強度の増加として定義され、３ボクセルの最小サイズ閾値が非増強病変と増強病変の双方に使用された。新たなＴ１非増強病変を、参照時点およびフォローアップ時点での病変セグメンテーションの差に基づいて識別し、続いて、セグメンテーション変動性および位置ずれの可能性に起因する偽の差を補正するために専門家読影者によってレビューした。
ＩＩＩ．Ａ．ｉｉｉ．ネットワークアーキテクチャ
モデルのネットワークアーキテクチャは、図２に関して本明細書に示され説明される。一般に、モデルは、非増強病変をセグメント化するために使用される第１の改変Ｕ－ＮｅｔおよびＧｄ増強病変をセグメント化するために使用される第２の改変Ｕ－Ｎｅｔを含んでいた。第１の改変Ｕ－Ｎｅｔは、第１の改変Ｕ－Ｎｅｔの符号化ブロックから第２の改変Ｕ－Ｎｅｔの符号化ブロックへの複数のクロスネットワーク接続を用いて第２の改変Ｕ－Ｎｅｔに接続される。各クロスネットワーク接続は、特徴変換ブロックおよび圧縮ブロックを含む。
ＩＩＩ．Ａ．ｉｖ．ネットワーク訓練およびその後の推論
ネットワークを共同訓練するために、Ｏｐｅｒａ Ｉトライアルからの画像が使用され、訓練および検証のために、７０％～３０％のデータ分割が使用された。ネットワークを、Ｏｐｅｒａ ＩＩトライアルの画像に対して試験した。
ＦＬＡＩＲ画像を強度再スケーリングし、ｚスコア化した。造影前画像に対する造影後Ｔ１ｗ画像における病変の強度の増加を捕捉するために、これらの体積を一緒に正規化し、すなわち、体積と双方の体積との間の強度関係を維持して再スケーリングし、造影前スキャンにおける脳の平均および標準偏差を使用してｚスコア化した。モデルは、ＦＬＡＩＲからの３つの連続したスライス、Ｔ１ｗ造影前後の画像で訓練され、個々の構成の双方のネットワークの入力として使用されるチャネル次元に沿って積層された。共同構成の場合、Ｔ１ Ｇｄ増強病変をセグメント化するための第２のネットワークは、Ｔ１ｗ前後の造影剤画像のみを受信し、ＦＬＡＩＲ関連情報は、クロスネットワーク接続に沿って主に伝達される。２５６×２５６×６０の所与の入力形状に対して、スライディングウィンドウアプローチを使用して、３つのスライスの５８のスタックを作成した。任意の病変（非増強またはＧｄ増強）を含むスタックのみを訓練および検証セットに保持した。ネットワークパラメータは、アダム最適化器（初期学習率１ｅ－４、β１＝０．９、β２＝０．９９９）を使用して５０エポック、バッチサイズ６で最適化した。
ＭＳにおける病変をセグメント化するための組み合わせ損失関数から達成される非対称損失関数のより良好な性能および潜在的な利点のために、個々のネットワークを訓練するために、Ｔｖｅｒｓｋｙ損失（式（１）を参照）および重み付きバイナリ交差エントロピー（ｗＢＣＥ）損失（式（２）を参照）の組み合わせが作成された。ハイパーパラメータαおよびβを、式（３）を使用して実験において微調整した。共同訓練のために、２つのネットワークの損失に加えて、式（４）を使用して、２つの病変タイプの任意の重複および双方のネットワークからの偽陽性の寄与についてペナルティ項を追加した。
推論のために、マルチモーダル入力は、訓練中と同じように処理された；３Ｄ体積を３つのスライスのスタックに分割し、全てのスタックについてモデル予測を得た。全てのスライスについて、同じスライスが上、下および中央のスライスとして３つの隣接スタックの一部であることによって、３つの予測が得られた。予測確率を０．５で閾値化し、多数決を使用して３つの予測を組み合わせた。これは偽陽性を減少させるのに役立ち、端部に向かうスライスは異なる方法で処理された。モデルは、ＴｅｎｓｏｒＦｌｏｗのＫｅｒａｓを使用してＰｙｔｈｏｎで実装された。
Ｇｄ増強病変に対する偽陽性の有意な割合が血管に由来するため、偽陽性を減少させるために血管追跡を行った。領域成長は、Ｔ１造影後画像における脳内のボクセルの上位３パーセンタイル（＞＝９７番目）の強度を有するボクセルに対して使用された。脳の境界に沿った最大血管樹および増強が保持された。血管樹に３０％を超えて重なる病変を除去した。
ＩＩＩ．Ａ．ｖ．評価
モデルを、ボクセル当たりレベルでのセグメント化性能および病変レベルでの検出性能について評価した。予測体積およびＧＴ体積の平均ダイス係数（ＤＣ）、陽性予測値（ＰＰＶ）、感度、絶対体積差（ＡＶＤ）およびピアソンの相関係数を、セグメンテーション性能を評価するためのメトリックとして使用した。ＤＣは、予測およびグラウンドトゥルースバイナリマスクの重複を測定するためのメトリックであり、以下の式（５）によって定義される：
ＴＰは、モデル予測とグラウンドトゥルースマスクとの重複に対応する真陽性であり、ＦＰは偽陽性であり、ＦＮは偽陰性である。ＤＣ値は、０から１までの範囲であり、０は重複がないことを示し、１は完全な重複を示す。全体平均ＤＣに加えて、低、中、および高総病変負荷の体積の平均ＤＣを評価した。
ＰＰＶまたは適合率は、ＴＰおよびＦＰの合計に対するボクセルワイズＴＰの比であり、式（６）に示すように、モデルによって正しく予測されたボクセルの割合の尺度である。
感度または再現率は、ＴＰとＦＮとの和に対するＴＰの比であり、式（７）に示すように、モデルによって正しくセグメント化されたグラウンドトゥルースボクセルのパーセンテージである。
ＡＶＤは、グラウンドトゥルース体積に対する予測されたグラウンドトゥルース体積とグラウンドトゥルース体積との絶対差の割合である。それは、式（８）に示すように、グラウンドトゥルース量に対するモデルによるオーバーまたはアンダーセグメンテーションの尺度を与える。
個々の病変は、グラウンドトゥルースおよび予測マスクにおいて接続された成分（１８接続性カーネルを有する）として識別された。検出された病変が真の病変と見なされるためには、それは３ボクセルの最小サイズを有し、グラウンドトゥルースと少なくとも１０％重複する。病変検出性能を評価するために、病変ＰＰＶ（ＬＰＰＶ）、病変真陽性率（ＬＴＰＲ）、病変偽陽性率（ＬＦＰＲ）、およびモデルによって予測された病変の数とグラウンドトゥルースマスク内の病変の数とのピアソンの相関係数を評価メトリックとして使用した。モデルによって予測された病変の中のＦＰ病変の割合の尺度であるＬＦＰＲを除く全ての検出メトリックについて高い値が望ましい。
ＩＩＩ．Ａ．ｖｉ．イメージングエンドポイントの再現
イメージングエンドポイントを再現する実験を行うために、モデル予測マスクと手動のニューロ放射線科医の読み取りとの比較は、（モデルの訓練にはＯｐｅｒａ １からの画像が使用されたため）Ｏｐｅｒａ ２の画像でのみ行われた。Ｒ（Ｒバージョン４．０．１、Ｒ Ｆｏｕｎｄａｔｉｏｎ ｆｏｒ Ｓｔａｔｉｓｔｉｃａｌ Ｃｏｍｐｕｔｉｎｇ）を用いて統計分析を行った。
訓練されたモデルが既知のＴ１ Ｇｄ増強エンドポイントを再現することができるかどうかを調べるために、治療（オクレリズマブ）におけるＧｄ増強病変の平均数および平均病変数の減少パーセントを、２４、４８および９６週目に対照（インターフェロンβ）群と比較して推定した。Ｔ１ Ｇｄ増強エンドポイントを決定する際の公知の分析方法と同様に、治療群、ベースラインＴ１ Ｇｄ増強病変（存在または非存在）、ベースライン拡大障害状態スケールスコア（＜４．０対≧４．０）、および地理的領域（米国対世界の残り）を独立変数として用いて、Ｇｄ増強病変の数の負の二項回帰を行った。
ＧＴ連続病変マスクから新たなＴ１非増強病変の数を推定するための形態学的操作に基づいて、自動化されたヒューリスティックアプローチを開発して、神経放射線科医の読影による元の分析で報告された値を厳密に近似した。次いで、このアプローチをモデル予測マスクに適用し、全てのフォローアップ時点にわたる新たなＴ１非増強病変の平均数および対照群と比較した場合のオクリズマブ群の減少率を推定した。既知の分析方法論におけるように、治療群、ベースラインＴ１低強度病変カウント、ベースラインＥＤＳＳ（＜４．０対≧４．０）および地理的地域（米国対世界の残り）を独立変数として、新たなＴ１非増強病変の数に対して負の二項回帰を行った。
図４は、Ｏｐｅｒａ ２データセットについての総Ｔ１非増強病変体積（ｍｌ）および総Ｔ１ Ｇｄ増強病変体積（ｍｌ）を示している。被験者のサブセットのみがＧｄ増強病変を有し、Ｔ１ Ｇｄ増強病変は、典型的にはＴ１非増強病変よりも小さかった。神経放射線科医の読影によるＧＴマスクによれば、Ｔ１ Ｇｄ増強病変は、ベースラインにおいて患者の約４０％に存在し、全時点にわたって体積の約１６～１８％に存在した（ベースライン、２４週、４８週、および９６週）。病変負荷は、より小さいサイズに向かって大きく傾斜していた。Ｔ１非増強病変負荷は、０．０１２ｍｌ～６８．８６ｍｌの範囲であり、中央値は１．５６ｍｌであり、Ｔ１ Ｇｄ増強病変負荷は０．０１２ｍｌ～７．４７ｍｌの範囲であり、中央値は０．２１３ｍｌであった。体積の７１％が０．５ｍｌの最大Ｇｄ増強病変負荷を有し、体積の７２％が４ｍｌの最大Ｔ１非増強病変負荷を有した。
試験セット上の双方の病変タイプについて別々に共同訓練されたモデルのセグメンテーション性能を表１に要約する。双方のネットワークは、平均ダイス係数（ＤＣ）およびＧＴとモデル予測全病変負荷との間のピアソンの相関によって分かるように、ＧＴにおける手動注釈とモデル予測マスクとの間の良好な一致を有していた。概して、個別訓練モデルは、共同訓練モデルよりも僅かに良好な感度を有していた（Ｔ１非増強病変については０．７４対０．７およびＧｄ増強病変については０．７８対０．６９）；共同訓練モデルは、ＤＣ（０．７２対０．７３、０．７２対０．７５）、陽性予測値（ＰＰＶ；０．７４対０．８、０．７１対０．８７）および絶対体積差（ＡＶＤ；０．２９対０．２６、０．６９対０．３１）を改善した。最終平均ＤＣは、Ｇｄ増強病変セグメンテーションについて０．７８であり、病変の約２３％が≦１０ボクセルのサイズであった。（［１］Ｉ．Ｃｏｒｏｎａｄｏ，Ｒ．Ｅ．Ｇａｂｒ およびａ．Ｐ．Ａ．Ｎａｒａｙａｎａ．，「Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｇａｄｏｌｉｎｉｕｍｅｎｈａｎｃｉｎｇ ｌｅｓｉｏｎｓ ｉｎ ｍｕｌｔｉｐｌｅ ｓｃｌｅｒｏｓｉｓ」，Ｍｕｌｔｉｐｌｅ Ｓｃｌｅｒｏｓｉｓ Ｊｏｕｒｎａｌ，ｎｏ．Ｍａｙ，２０２０ および［２］Ｇ．Ｂｒｕｇｎａｒａ，Ｆ．Ｉｓｅｎｓｅｅ，Ｕ．Ｎｅｕｂｅｒｇｅｒ，Ｄ．Ｂｏｎｅｋａｍｐ，Ｊ．Ｐｅｔｅｒｓｅｎ，Ｒ．Ｄｉｅｍ，Ｂ．Ｗｉｌｄｅｍａｎｎ，Ｓ．Ｈｅｉｌａｎｄ，Ｗ．Ｗｉｃｋ，Ｍ．Ｂｅｎｄｓｚｕｓ，Ｋ．Ｍａｉｅｒ－Ｈｅｉｎ およびＰ．Ｋｉｃｋｉｎｇｅｒｅｄｅｒ，「Ａｕｔｏｍａｔｅｄ ｖｏｌｕｍｅｔｒｉｃ ａｓｓｅｓｓｍｅｎｔ ｗｉｔｈ ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｍｉｇｈｔ ｅｎａｂｌｅ ａ ｍｏｒｅ ａｃｃｕｒａｔｅ ａｓｓｅｓｓｍｅｎｔ ｏｆ ｄｉｓｅａｓｅ ｂｕｒｄｅｎ ｉｎ ｐａｔｉｅｎｔｓ ｗｉｔｈ ｍｕｌｔｉｐｌｅ ｓｃｌｅｒｏｓｉｓ」，Ｅｕｒｏｐｅａｎ Ｒａｄｉｏｌｏｇｙ，ｖｏｌ．３０，ｎｏ．４，ｐｐ．２３５６－６４，２０２０と比較して、それらは、それぞれ病変セグメンテーションについて、０．７７および０．９１のＤＣを達成した。［２］では、１４ｍｍ３／ボクセルよりも小さい全ての病変を除外したが、これはここでの高いＤＣを説明する可能性がある）。
試験セットに対するモデルの検出性能を表２に要約する。双方のモデルは、検出性能の同様の傾向を示し、個別訓練モデルは、僅かに良好な病変真陽性率（ＬＴＰＲ；０．８３対０．７９、０．９６対０．９１）を有し、共同訓練モデルは、より良好なＬＰＰＶ（０．８９対０．９２、０．７６対０．９３）および病変偽陽性率（ＬＦＰＲ；０．１７対０．１３、０．２５対０．０６）を有する。ピアソンの高い相関係数から分かるように、ＧＴからの病変カウントと様々なモデルのモデル予測マスクとの間には良好な一致があった。共同訓練は、過剰セグメンテーションおよびＧｄ増強病変セグメンテーションについてのＦＰの低減に大いに役立った。これは、血管追跡を使用したＦＰ減少後にさらに改善され、手動のＧＴ注釈にしたがって、Ｇｄ増強病変を含まない体積の誤った予測を減少させた。
図５は、３人の被験者についての脳の一部のＭＲＩ画像についてのＧＴと比較したモデルからの予測病変セグメンテーションを示している。ＧＴと予測されたＴ１非増強病変およびＧｄ増強病変との重複は、モデルがＭＲＩ画像における病変サイズおよび位置を正確に予測することを示唆している。
さらに、Ｇｄ増強病変についての様々な病変サイズのバケットの検出性能を調べた（表３）。結果は、ＧＴ病変カウント、ＴＰ値、感度、ＦＰ値（括弧内の数は、ＧＴ注釈におけるＧｄ増強病変を含まなかったデータセットのＦＰ病変の数に対応する）、偽陽性率（ＦＤＲ）、およびダイス値の計算を含む。ＦＰＲとも呼ばれる偽発見率（ＦＤＲ）は、０．０３ｍｌ（または１０ボクセル）未満の病変では高く、病変サイズが増加するにつれて大幅に減少する。ＤＣはまた、病変サイズの増加とともに類似の傾向を示した。この分析に基づいて、高いＦＤＲと低い感度とのバランスをとるためには、０．０３ｍｌの検出閾値が好ましいであろう。しかしながら、これはまた、病変の２３％を排除する。（性能は、最小病変サイズのバケットを除いて、［３］ Ｚ．Ｋａｒｉｍａｇｈａｌｏｏ，Ｈ．Ｒｉｖａｚ，Ｄ．Ｌ．Ａｒｎｏｌｄ，Ｄ．Ｌ．ＣｏｌｌｉｎｓおよびＴ．Ａｒｂｅｌ，「Ｔｅｍｐｏｒａｌ Ｈｉｅｒａｒｃｈｉｃａｌ Ａｄａｐｔｉｖｅ Ｔｅｘｔｕｒｅ ＣＲＦ ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｇａｄｏｌｉｎｉｕｍ－Ｅｎｈａｎｃｉｎｇ Ｍｕｌｔｉｐｌｅ Ｓｃｌｅｒｏｓｉｓ Ｌｅｓｉｏｎｓ ｉｎ Ｂｒａｉｎ ＭＲＩ」，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ，ｖｏｌ．３４，ｎｏ．６，ｐｐ．１２２７－１２４１，２０１５の表ＩＩＩに報告されているものに匹敵する。本実施例は、長手方向情報を使用せず、［３］と比較してより大きな訓練セット（８ｘ）を有した。これはまた、病変サイズのバケットは異なるが、［１］の表２に匹敵する）。
様々な病変サイズに対するＴ１非増強病変セグメンテーションモデルの検出性能を表４に示し、Ｇｄ増強病変セグメンテーションのための個別訓練モデルおよび共同訓練モデルの双方について表５に示す。
ＩＩＩ．Ｂ．実施例２．－治療間の病変変化
深層学習を用いた多発性硬化症の臨床トライアルにおけるＴ１ Ｇｄ増強病変負担に対する治療反応の検出。
ＩＩＩ．Ｂ．ｉ．考察
疾患の進行を遅らせるために所与の治療薬が多発性硬化症の治療に有効であるかどうかを予測するために、臨床試験中に病変が頻繁に評価される。特に、試験エンドポイントは、試験期間中に病変カウントおよび／または病変サイズ（例えば、累積病変サイズ）がどの程度変化したかを調べることが多い。試験期間中に特定の治療が実施された場合に観察された変化は、試験期間中に治療またはベースライン治療が実施されなかった場合に観察された対応する変化と比較されることができる。
この実施例のデータは、インターフェロン－ベータと比較して、オクレリズマブを投与した場合のＴ１非増強病変カウントの変化を比較する。共同訓練モデルが使用されて、造影剤投与後に収集されたＴ１非増強画像およびＴ１ Ｇｄ増強画像を処理した。各モデルは、Ｏｐｅｒａ １データセットを使用して訓練され、Ｏｐｅｒａ ２データセットを使用して試験された。各被験者およびイメージングセッションについて、評価されたモデル予測は、Ｔ１ Ｇｄ増強病変の数であった。治療実施から２４週、４８週および９６週でＭＲＩを実施した。各治療群について、フォローアップ時点での病変の数をその時点でのＭＲＩスキャンの数で割って計算した。
図６Ａに示すように、臨床データは、Ｔ１ Ｇｄ増強病変カウントが３つの時点のそれぞれで２つの治療群間で有意に異なることを示した。ＧＴマスクの場合、追跡調査時点の減少は、２４、４８、および９６週でそれぞれ９３％、９６％、および９６％であった。モデル予測を使用すると、個々の追跡調査時点で、減少は２４、４８、および９６週でそれぞれ７９％、８４％、および９０％であった。
図６Ｂは、経験的アプローチを使用したＧＴマスクおよび同じ経験的アプローチを使用したモデル予測マスクからのＴ１非増強病変カウントの結果を示している。ＧＴマスクに対する経験的アプローチを使用すると、減少は対照群の４．７８からオクリズマブ群の３．７３まで２２％であった。このモデルは、経験的アプローチを使用するＧＴマスクよりも少ない病変を予測する傾向があった。モデル予測に基づいて、新たなＴ１非増強病変の数は、対照群では３．３６、治療群では２．５１であった。さらに、新たなＴ１非増強病変の数は、追加のベースラインイメージングおよび臨床共変量による負の二項回帰において群間で有意に異なっていた。ＧＴマスクからの治療群と対照群との間で、新たなＴ１非増強病変の平均数が約２２％減少した。モデル予測を使用する場合、減少率は約２５％であり、ＧＴマスクからの減少に匹敵する。しかしながら、元の手動分析では約６０％のパーセント減少があったため、新たなＴ１非増強病変を識別するために使用された経験的アプローチは改善を必要とする。
ＩＶ．さらなる考察
本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。
その後の説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態のその後の説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることが理解される。
実施形態の完全な理解を提供するために、以下の説明において具体的な詳細が与えられる。しかしながら、これらの具体的な詳細なしで実施形態が実施されることができることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。
Ｖ．例示的な実施形態
以下において使用されるように、一連の例への任意の言及は、それらの例のそれぞれへの言及として選言的に理解されるべきである（例えば、「実施例１～４」は、「実施例１、２、３または４」と理解されるべきである）。
実施例１は、コンピュータ実施方法であって、三次元磁気共鳴イメージング（ＭＲＩ）画像にアクセスすることであって、三次元ＭＲＩ画像が被験者の脳の領域を表示し、脳の領域が、少なくとも第１のタイプの病変と第２のタイプの病変とを含む、三次元磁気共鳴イメージング（ＭＲＩ）画像にアクセスすることと、三次元ＭＲＩ画像を、第１の畳み込みニューラルネットワークおよび第２の畳み込みニューラルネットワークを含む機械学習モデルに入力することであって、第１の畳み込みニューラルネットワークが、第１の畳み込みニューラルネットワークの１つ以上の層と第２の畳み込みニューラルネットワークの１つ以上の層との間の１つ以上のクロスネットワーク接続を用いて第２の畳み込みニューラルネットワークに接続されている、三次元ＭＲＩ画像を、第１の畳み込みニューラルネットワークおよび第２の畳み込みニューラルネットワークを含む機械学習モデルに入力することと、三次元ＭＲＩ画像を入力として取り込む第１の畳み込みニューラルネットワークを使用して、第１のタイプの病変の第１のセグメンテーションマスクを生成することであって、第１のセグメンテーションマスクが、第１のタイプの病変の表示の周りの第１の推定セグメンテーション境界を含む、第１のタイプの病変の第１のセグメンテーションマスクを生成することと、三次元ＭＲＩ画像を入力として取り込む第２の畳み込みニューラルネットワークを使用して、第２のタイプの病変の第２のセグメンテーションマスクを生成することであって、第２のセグメンテーションマスクが、第２のタイプの病変の表示の周りの第２の推定セグメンテーション境界を含み、第１のセグメンテーションマスクおよび第２のセグメンテーションマスクが、並行して生成され、第１のセグメンテーションマスクおよび第２のセグメンテーションマスクが生成される間に、抽出された特徴のセットが１つ以上のクロスネットワーク接続にわたって共有される、第２のタイプの病変の第２のセグメンテーションマスクを生成することと、第１のセグメンテーションマスクおよび第２のセグメンテーションマスクを出力することと、を含むコンピュータ実施方法である。
実施例２は、第１の畳み込みニューラルネットワークが、第１の畳み込みニューラルネットワークの符号化ブロックから第２の畳み込みニューラルネットワークの符号化ブロックへの１つ以上のクロスネットワーク接続を用いて第２の畳み込みニューラルネットワークに接続される、実施例１に記載のコンピュータ実施方法である。
実施例３は、第１の畳み込みニューラルネットワークが、第１の畳み込みニューラルネットワークの復号ブロックから第２の畳み込みニューラルネットワークの復号ブロックへの１つ以上のクロスネットワーク接続を用いて第２の畳み込みニューラルネットワークに接続される、実施例１または実施例２に記載のコンピュータ実施方法である。
実施例４は、クロスネットワーク接続のそれぞれが、特徴変換ブロックおよび圧縮ブロックを含む、実施例１～３に記載のコンピュータ実施方法である。
実施例５は、第１のセグメンテーションマスクおよび第２のセグメンテーションマスクからの情報を組み合わせることによって最終画像マスクを生成することであって、最終画像マスクが、第１のタイプの病変と第２のタイプの病変との組み合わせを表す病変の新たなセットの表示の周りの推定セグメンテーション境界を含む、最終画像マスクを生成することと、最終画像マスクを出力することと、をさらに含む、実施例１～４のいずれか一項に記載のコンピュータ実施方法である。
実施例６は、第１のタイプの病変がＴ１非増強病変であり、第２のタイプの病変がＴ１ Ｇｄ増強病変である、実施例１～５のいずれか一項に記載のコンピュータ実施方法である。
実施例７は、第１の畳み込みニューラルネットワークおよび第２の畳み込みニューラルネットワークが、Ｔｖｅｒｓｋｙ損失と重み付きバイナリ交差エントロピー損失との組み合わせを含む損失関数を使用して訓練された、実施例１～６のいずれか一項に記載のコンピュータ実施方法である。
実施例８は、第１の畳み込みニューラルネットワークが、第１のタイプの病変および第２のタイプの病変を含む種々のタイプの病変の周りのセグメンテーション境界に関連付けられた注釈を有する複数の医用画像を含む訓練データのセットを使用して識別された複数のモデルパラメータを含み、複数のモデルパラメータが、損失関数を最小化することに基づいて訓練データのセットを使用して識別される、実施例１～７に記載のコンピュータ実施方法である。
実施例９は、第２の畳み込みニューラルネットワークが、訓練データのセットを使用して識別された複数のモデルパラメータを含み、第２の畳み込みニューラルネットワークが、第２の畳み込みニューラルネットワークの複数のモデルパラメータが、損失関数を最小化することに基づいて訓練データのセットを使用して協調的に識別されるように、第１の畳み込みニューラルネットワークと共同訓練される、実施例１～８に記載のコンピュータ実施方法である。
実施例１０は、損失関数が、第１のタイプの病変と第２のタイプの病変との間の任意の重複、ならびに第１の畳み込みニューラルネットワークおよび第２の畳み込みニューラルネットワークからの偽陽性の寄与に対するペナルティ項をさらに含む、実施例１～９に記載のコンピュータ実施方法である。
実施例１１は、第１の畳み込みニューラルネットワークおよび第２の畳み込みニューラルネットワークがＵ－Ｎｅｔである、実施例１～１０のいずれか一項に記載のコンピュータ実施方法である。
実施例１２は、第１の畳み込みニューラルネットワークが、符号化ブロックおよび復号ブロックの３つの層を含む、実施例１～１１に記載のコンピュータ実施方法である。
実施例１３は、第２の畳み込みニューラルネットワークが、符号化ブロックおよび復号ブロックの３つの層を含む、実施例１～１２に記載のコンピュータ実施方法である。
実施例１４は、三次元ＭＲＩ画像が、チャネル次元に沿って積層された複数の隣接するスライスを含み、隣接するスライスが、第１のタイプのＭＲＩシーケンスを使用して生成された第１の三次元ＭＲＩスライス、第２のタイプのＭＲＩシーケンスを使用して生成された第２の三次元ＭＲＩスライス、および第３のタイプのＭＲＩシーケンスを使用して生成された第３の三次元ＭＲＩスライスを含む、実施例１～１３のいずれか一項に記載のコンピュータ実施方法である。
実施例１５は、第１のタイプのＭＲＩシーケンスが造影後Ｔ１であり、第２のタイプのＭＲＩシーケンスが造影前Ｔ１であり、第３のタイプのＭＲＩシーケンスが流体減衰反転回復法である、実施例１～１４に記載のコンピュータ実施方法である。
実施例１６は、第１の三次元ＭＲＩスライスおよび第２の三次元ＭＲＩスライスが造影剤を捕捉するために正規化され、正規化が、第２の三次元ＭＲＩスライスの平均および標準偏差を使用して、第１の三次元ＭＲＩスライス体積および第２の三次元スライス体積の双方をｚスコア化することを含む、実施例１～１５に記載のコンピュータ実施方法である。
実施例１７は、第１のセグメンテーションマスクを使用して第１のタイプの病変の数のカウントを決定すること、および第２のセグメンテーションマスクを使用して第２のタイプの病変の数のカウントを決定することをさらに含む、実施例１～１６のいずれか一項に記載のコンピュータ実施方法である。
実施例１８は、第１のセグメンテーションマスクを使用して第１のタイプの病変の数のカウントを決定すること、第２のセグメンテーションマスクを使用して第２のタイプの病変の数のカウントを決定すること、および／または最終画像マスクを使用して病変の新たなセット内の病変の数のカウントを決定することをさらに含む、実施例１～１７に記載のコンピュータ実施方法である。
実施例１９は、第１のセグメンテーションマスク、第２のセグメンテーションマスク、および／または最終画像マスクを使用して、１つ以上の病変サイズまたは病変負荷を決定することをさらに含む、実施例１～１８のいずれか一項に記載のコンピュータ実施方法である。
実施例２０は、以前のＭＲＩに対応するデータにアクセスすることと、第１のセグメンテーションマスク、第２のセグメンテーションマスク、ならびに／または最終画像マスクおよびデータを使用して、１つ以上の病変の量、サイズ、または累積サイズの変化を決定することと、変化を表す出力を生成することと、をさらに含む、実施例１～１９のいずれか一項に記載のコンピュータ実施方法である。
実施例２１は、第１のセグメンテーションマスク、第２のセグメンテーションマスク、および／または最終画像マスクに基づいて、治療方針を変更することを推奨することをさらに含む、実施例１～２０のいずれか一項に記載のコンピュータ実施方法である。
実施例２２は、第１のセグメンテーションマスク、第２のセグメンテーションマスク、および／または最終画像マスクに少なくとも部分的に基づいて、多発性硬化症の被験者の可能な診断または確認された診断に対応する出力を提供することをさらに含む、実施例１～２１のいずれか一項に記載の方法である。
実施例２３は、第１のセグメンテーションマスク、第２のセグメンテーションマスク、および／または最終画像マスクに少なくとも部分的に基づいて、多発性硬化症を有する被験者を診断することをさらに含む、実施例１～２２のいずれか一項に記載の方法である。
実施例２４は、第１のセグメンテーションマスク、第２のセグメンテーションマスク、および／または最終画像マスクに少なくとも部分的に基づいて、治療反応を評価および／または予測することをさらに含む、実施例１～２３のいずれか一項に記載の方法である。
実施例２５は、コンピュータ実施方法であって、三次元磁気共鳴イメージング（ＭＲＩ）画像にアクセスすることであって、三次元ＭＲＩ画像が被験者の脳の領域を示し、脳の領域が、少なくとも第１のタイプの病変および第２のタイプの病変を含む、三次元磁気共鳴イメージング（ＭＲＩ）画像にアクセスすることと、三次元ＭＲＩ画像を、第２の畳み込みニューラルネットワークに接続された第１の畳み込みニューラルネットワークを含む機械学習モデルに入力することと、三次元ＭＲＩ画像を入力として取り込む第１の畳み込みニューラルネットワークを使用して、第１のタイプの病変の第１のセグメンテーションマスクを生成することと、三次元ＭＲＩ画像上で第１のセグメンテーションマスクを入力として取り込む第２の畳み込みニューラルネットワークを使用して、第２のタイプの病変の第２のセグメンテーションマスクを生成することと、第１のセグメンテーションマスクおよび第２のセグメンテーションマスクからの情報を組み合わせることによって最終画像マスクを生成することであって、最終画像マスクが、第１のタイプの病変の表示の周りの第１の推定セグメンテーション境界および／または第２のタイプの病変の表示の周りの第２の推定セグメンテーション境界を含む、最終画像マスクを生成することと、最終画像マスクを出力することと、を含む、コンピュータ実施方法である。
実施例２６は、１つ以上のデータプロセッサと、命令を含む非一時的なコンピュータ可読記憶媒体であって、命令が、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させる、非一時的なコンピュータ可読記憶媒体とを備えるシステムである。
実施例２７は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品である。

Claims (27)

  1. コンピュータ実施方法であって、
    三次元磁気共鳴イメージング（ＭＲＩ）画像にアクセスすることであって、前記三次元ＭＲＩ画像が被験者の脳の領域を表示し、前記脳の前記領域が、少なくとも第１のタイプの病変および第２のタイプの病変を含む、三次元磁気共鳴イメージング（ＭＲＩ）画像にアクセスすることと、
    前記三次元ＭＲＩ画像を、第１の畳み込みニューラルネットワークおよび第２の畳み込みニューラルネットワークを含む機械学習モデルに入力することであって、前記第１の畳み込みニューラルネットワークが、前記第１の畳み込みニューラルネットワークの１つ以上の層と前記第２の畳み込みニューラルネットワークの１つ以上の層との間の１つ以上のクロスネットワーク接続を用いて前記第２の畳み込みニューラルネットワークに接続されている、前記三次元ＭＲＩ画像を、第１の畳み込みニューラルネットワークおよび第２の畳み込みニューラルネットワークを含む機械学習モデルに入力することと、
    前記三次元ＭＲＩ画像を入力として取り込む前記第１の畳み込みニューラルネットワークを使用して、前記第１のタイプの病変の第１のセグメンテーションマスクを生成することであって、前記第１のセグメンテーションマスクが、前記第１のタイプの病変の表示の周りの第１の推定セグメンテーション境界を含む、前記第１のタイプの病変の第１のセグメンテーションマスクを生成することと、
    前記三次元ＭＲＩ画像を入力として取り込む前記第２の畳み込みニューラルネットワークを使用して、前記第２のタイプの病変の第２のセグメンテーションマスクを生成することであって、前記第２のセグメンテーションマスクが、前記第２のタイプの病変の表示の周りの第２の推定セグメンテーション境界を含み、前記第１のセグメンテーションマスクおよび前記第２のセグメンテーションマスクが、並行して生成され、前記第１のセグメンテーションマスクおよび前記第２のセグメンテーションマスクが生成される間に、抽出された特徴のセットが、前記１つ以上のクロスネットワーク接続にわたって共有される、前記第２のタイプの病変の第２のセグメンテーションマスクを生成することと、
    前記第１のセグメンテーションマスクおよび前記第２のセグメンテーションマスクを出力することと
    を含む、コンピュータ実施方法。
  2. 前記第１の畳み込みニューラルネットワークが、前記第１の畳み込みニューラルネットワークの符号化ブロックから前記第２の畳み込みニューラルネットワークの符号化ブロックへの前記１つ以上のクロスネットワーク接続を用いて前記第２の畳み込みニューラルネットワークに接続される、請求項１に記載のコンピュータ実施方法。
  3. 前記第１の畳み込みニューラルネットワークが、前記第１の畳み込みニューラルネットワークの復号ブロックから前記第２の畳み込みニューラルネットワークの復号ブロックへの前記１つ以上のクロスネットワーク接続を用いて前記第２の畳み込みニューラルネットワークに接続される、請求項１または２に記載のコンピュータ実施方法。
  4. 前記クロスネットワーク接続のそれぞれが、特徴変換ブロックおよび圧縮ブロックを含む、請求項１～３のいずれか一項に記載のコンピュータ実施方法。
  5. 前記第１のセグメンテーションマスクおよび前記第２のセグメンテーションマスクからの情報を組み合わせることによって最終画像マスクを生成することであって、前記最終画像マスクが、前記第１のタイプの病変と前記第２のタイプの病変との組み合わせを表す、病変の新たなセットの表示の周りの推定セグメンテーション境界を含む、最終画像マスクを生成することと、
    前記最終画像マスクを出力することと
    をさらに含む、請求項１～４のいずれか一項に記載のコンピュータ実施方法。
  6. 前記第１のタイプの病変がＴ１非増強病変であり、前記第２のタイプの病変がＴ１ Ｇｄ増強病変である、請求項１～５のいずれか一項に記載のコンピュータ実施方法。
  7. 前記第１の畳み込みニューラルネットワークおよび前記第２の畳み込みニューラルネットワークが、Ｔｖｅｒｓｋｙ損失と重み付きバイナリ交差エントロピー損失との組み合わせを含む損失関数を使用して訓練された、請求項１～６のいずれか一項に記載のコンピュータ実施方法。
  8. 前記第１の畳み込みニューラルネットワークが、前記第１のタイプの病変および前記第２のタイプの病変を含む種々のタイプの病変の周りのセグメンテーション境界に関連付けられた注釈を有する複数の医用画像を含む訓練データのセットを使用して識別された複数のモデルパラメータを含み、前記複数のモデルパラメータが、前記損失関数を最小化することに基づいて前記訓練データのセットを使用して識別される、請求項７に記載のコンピュータ実施方法。
  9. 前記第２の畳み込みニューラルネットワークが、前記訓練データのセットを使用して識別された複数のモデルパラメータを含み、前記第２の畳み込みニューラルネットワークは、前記第２の畳み込みニューラルネットワークの前記複数のモデルパラメータが、前記損失関数を最小化することに基づいて前記訓練データのセットを使用して協調的に識別されるように、前記第１の畳み込みニューラルネットワークと共同訓練される、請求項８に記載のコンピュータ実施方法。
  10. 前記損失関数が、前記第１のタイプの病変と前記第２のタイプの病変との間の任意のオーバーラップ、ならびに前記第１の畳み込みニューラルネットワークおよび前記第２の畳み込みニューラルネットワークからの偽陽性の寄与に対するペナルティ項をさらに含む、請求項９に記載のコンピュータ実施方法。
  11. 前記第１の畳み込みニューラルネットワークおよび前記第２の畳み込みニューラルネットワークがＵ－Ｎｅｔである、請求項１～１０のいずれか一項に記載のコンピュータ実施方法。
  12. 前記第１の畳み込みニューラルネットワークが、符号化ブロックおよび復号ブロックの３つの層を含む、請求項１１に記載のコンピュータ実施方法。
  13. 前記第２の畳み込みニューラルネットワークが、符号化ブロックおよび復号ブロックの３つの層を含む、請求項１１または１２に記載のコンピュータ実施方法。
  14. 前記三次元ＭＲＩ画像が、チャネル次元に沿って積層された複数の隣接するスライスを含み、前記隣接するスライスが、第１のタイプのＭＲＩシーケンスを使用して生成された第１の三次元ＭＲＩスライス、第２のタイプのＭＲＩシーケンスを使用して生成された第２の三次元ＭＲＩスライス、および第３のタイプのＭＲＩシーケンスを使用して生成された第３の三次元ＭＲＩスライスを含む、請求項１～１３のいずれか一項に記載のコンピュータ実施方法。
  15. 前記第１のタイプのＭＲＩシーケンスが造影後Ｔ１であり、前記第２のタイプのＭＲＩシーケンスが造影前Ｔ１であり、前記第３のタイプのＭＲＩシーケンスが流体減衰反転回復法である、請求項１４に記載のコンピュータ実施方法。
  16. 前記第１の三次元ＭＲＩスライスおよび前記第２の三次元ＭＲＩスライスが、造影剤増強を捕捉するために正規化され、前記正規化が、前記第２の三次元ＭＲＩスライスの平均および標準偏差を使用して、第１の三次元ＭＲＩスライス体積および第２の三次元スライス体積の双方をｚスコア化することを含む、請求項１４または１５に記載のコンピュータ実施方法。
  17. 前記第１のセグメンテーションマスクを使用して前記第１のタイプの病変の数のカウントを決定すること、および前記第２のセグメンテーションマスクを使用して前記第２のタイプの病変の数のカウントを決定することをさらに含む、請求項１～１６のいずれか一項に記載のコンピュータ実施方法。
  18. 前記第１のセグメンテーションマスクを使用して前記第１のタイプの病変の数のカウントを決定すること、前記第２のセグメンテーションマスクを使用して前記第２のタイプの病変の数のカウントを決定すること、および／または前記最終画像マスクを使用して前記病変の新たなセット内の病変の数のカウントを決定することをさらに含む、請求項５に記載のコンピュータ実施方法。
  19. 前記第１のセグメンテーションマスク、前記第２のセグメンテーションマスク、および／または前記最終画像マスクを使用して、１つ以上の病変サイズまたは病変負荷を決定することをさらに含む、請求項１～１８のいずれか一項に記載のコンピュータ実施方法。
  20. 以前のＭＲＩに対応するデータにアクセスすることと、
    前記第１のセグメンテーションマスク、前記第２のセグメンテーションマスク、ならびに／または前記最終画像マスクおよび前記データを使用して、１つ以上の病変の量、サイズ、または累積サイズの変化を決定することと、
    前記変化を表す出力を生成することと
    をさらに含む、請求項１～１９のいずれか一項に記載のコンピュータ実施方法。
  21. 前記第１のセグメンテーションマスク、前記第２のセグメンテーションマスク、および／または前記最終画像マスクに基づいて、治療方針を変更することを推奨することをさらに含む、請求項１～２０のいずれか一項に記載のコンピュータ実施方法。
  22. 前記第１のセグメンテーションマスク、前記第２のセグメンテーションマスク、および／または前記最終画像マスクに少なくとも部分的に基づいて、多発性硬化症の被験者の可能な診断または確認された診断に対応する出力を提供することをさらに含む、請求項１～２１のいずれか一項に記載の方法。
  23. 前記第１のセグメンテーションマスク、前記第２のセグメンテーションマスク、および／または前記最終画像マスクに少なくとも部分的に基づいて、多発性硬化症を有する前記被験者を診断することをさらに含む、請求項１～２２のいずれか一項に記載の方法。
  24. 前記第１のセグメンテーションマスク、前記第２のセグメンテーションマスク、および／または前記最終画像マスクに少なくとも部分的に基づいて、治療反応を評価および／または予測することをさらに含む、請求項１～２３のいずれか一項に記載の方法。
  25. コンピュータ実施方法であって、
    三次元磁気共鳴イメージング（ＭＲＩ）画像にアクセスすることであって、前記三次元ＭＲＩ画像が被験者の脳の領域を表示し、前記脳の前記領域が、少なくとも第１のタイプの病変および第２のタイプの病変を含む、三次元磁気共鳴イメージング（ＭＲＩ）画像にアクセスすることと、
    前記三次元ＭＲＩ画像を、第２の畳み込みニューラルネットワークに接続された第１の畳み込みニューラルネットワークを含む機械学習モデルに入力することと、
    前記三次元ＭＲＩ画像を入力として取り込む前記第１の畳み込みニューラルネットワークを使用して、前記第１のタイプの病変の第１のセグメンテーションマスクを生成することと、
    前記三次元ＭＲＩ画像上で前記第１のセグメンテーションマスクを入力として取り込む前記第２の畳み込みニューラルネットワークを使用して、前記第２のタイプの病変の第２のセグメンテーションマスクを生成することと、
    前記第１のセグメンテーションマスクおよび前記第２のセグメンテーションマスクからの情報を組み合わせることによって最終画像マスクを生成することであって、前記最終画像マスクが、前記第１のタイプの病変の表示の周りの第１の推定セグメンテーション境界および／または前記第２のタイプの病変の表示の周りの第２の推定セグメンテーション境界を含む、最終画像マスクを生成することと、
    前記最終画像マスクを出力することと
    を含む、コンピュータ実施方法。
  26. システムであって、
    １つ以上のデータプロセッサと、
    命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が、前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに、ここに開示された１つ以上の方法の一部または全部を実行させる、非一時的コンピュータ可読記憶媒体と
    を備える、システム。
  27. １つ以上のデータプロセッサに、ここに開示された１つ以上の方法の一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品。
JP2023513602A 2020-09-02 2021-08-31 病変検出のための共同訓練を伴う接続機械学習モデル Pending JP2023540910A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063073686P 2020-09-02 2020-09-02
US63/073,686 2020-09-02
PCT/US2021/048486 WO2022051290A1 (en) 2020-09-02 2021-08-31 Connected machine-learning models with joint training for lesion detection

Publications (1)

Publication Number Publication Date
JP2023540910A true JP2023540910A (ja) 2023-09-27

Family

ID=78000790

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023513602A Pending JP2023540910A (ja) 2020-09-02 2021-08-31 病変検出のための共同訓練を伴う接続機械学習モデル

Country Status (6)

Country Link
US (1) US20230281809A1 (ja)
EP (1) EP4208848A1 (ja)
JP (1) JP2023540910A (ja)
KR (1) KR20230059799A (ja)
CN (1) CN116097302A (ja)
WO (1) WO2022051290A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11688517B2 (en) * 2020-10-30 2023-06-27 Guerbet Multiple operating point false positive removal for lesion identification
US11436724B2 (en) 2020-10-30 2022-09-06 International Business Machines Corporation Lesion detection artificial intelligence pipeline computing system
US11749401B2 (en) 2020-10-30 2023-09-05 Guerbet Seed relabeling for seed-based segmentation of a medical image
US11688063B2 (en) 2020-10-30 2023-06-27 Guerbet Ensemble machine learning model architecture for lesion detection
CN114926396B (zh) * 2022-04-13 2023-06-20 四川大学华西医院 一种精神障碍类磁共振图像初步筛查模型构建方法
US20230367850A1 (en) * 2022-05-10 2023-11-16 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for mri data processing
WO2024014728A1 (en) * 2022-07-11 2024-01-18 Samsung Electronics Co., Ltd. Method and system for optimizing neural networks (nn) for on-device deployment in an electronic device
GB2621332B (en) * 2022-08-08 2024-09-11 Twinn Health Ltd A method and an artificial intelligence system for assessing an MRI image
WO2024137096A1 (en) * 2022-12-20 2024-06-27 GE Precision Healthcare LLC Automated organ segmentation output quality assessment
CN116012385B (zh) * 2023-03-28 2023-06-09 同心智医科技(北京)有限公司 Mr灌注图像的脑缺血分割方法、装置及存储介质
CN117173489B (zh) * 2023-09-27 2024-08-02 宁波大学 多中心mri图像分类方法
CN117973496B (zh) * 2024-02-19 2024-07-05 苏州慧维智能医疗科技有限公司 局部病变医疗图像生成模型的训练方法、系统及应用

Also Published As

Publication number Publication date
WO2022051290A1 (en) 2022-03-10
US20230281809A1 (en) 2023-09-07
EP4208848A1 (en) 2023-07-12
KR20230059799A (ko) 2023-05-03
CN116097302A (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
JP2023540910A (ja) 病変検出のための共同訓練を伴う接続機械学習モデル
US20240221162A1 (en) Three dimensional object segmentation of medical images localized with object detection
Zhao et al. A novel U-Net approach to segment the cardiac chamber in magnetic resonance images with ghost artifacts
Dogan et al. A two-phase approach using mask R-CNN and 3D U-Net for high-accuracy automatic segmentation of pancreas in CT imaging
Parekh et al. Multiparametric deep learning tissue signatures for a radiological biomarker of breast cancer: Preliminary results
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
Al Khalil et al. On the usability of synthetic data for improving the robustness of deep learning-based segmentation of cardiac magnetic resonance images
Zhan et al. LR-cGAN: Latent representation based conditional generative adversarial network for multi-modality MRI synthesis
Ma et al. MRI image synthesis with dual discriminator adversarial learning and difficulty-aware attention mechanism for hippocampal subfields segmentation
Nizamani et al. Advance brain tumor segmentation using feature fusion methods with deep U-Net model with CNN for MRI data
Lustermans et al. Optimized automated cardiac MR scar quantification with GAN‐based data augmentation
Tummala et al. Liver tumor segmentation from computed tomography images using multiscale residual dilated encoder‐decoder network
Jafari et al. LMISA: A lightweight multi-modality image segmentation network via domain adaptation using gradient magnitude and shape constraint
Gheorghiță et al. Improving robustness of automatic cardiac function quantification from cine magnetic resonance imaging using synthetic image data
CN114926487A (zh) 多模态影像脑胶质瘤靶区分割方法、系统及设备
Lim et al. Motion artifact correction in fetal MRI based on a Generative Adversarial network method
Li et al. Deep attention super-resolution of brain magnetic resonance images acquired under clinical protocols
Tong et al. Automatic lumen border detection in IVUS images using dictionary learning and kernel sparse representation
Gu et al. Cross-modality image translation: CT image synthesis of MR brain images using multi generative network with perceptual supervision
Luo et al. Deep learning models for ischemic stroke lesion segmentation in medical images: A survey
Xu et al. Bi-MGAN: bidirectional T1-to-T2 MRI images prediction using multi-generative multi-adversarial nets
Ren et al. Prostate segmentation in MRI using transformer encoder and decoder framework
CN116129184A (zh) 多期相病灶分类方法、装置、设备及可读存储介质
Bashkanov et al. Automatic detection of prostate cancer grades and chronic prostatitis in biparametric MRI
Tan et al. A Multi-Scale Fusion and Transformer Based Registration Guided Speckle Noise Reduction for OCT Images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240827