JP2023511663A - 弱教師あり病変セグメンテーション - Google Patents
弱教師あり病変セグメンテーション Download PDFInfo
- Publication number
- JP2023511663A JP2023511663A JP2022544055A JP2022544055A JP2023511663A JP 2023511663 A JP2023511663 A JP 2023511663A JP 2022544055 A JP2022544055 A JP 2022544055A JP 2022544055 A JP2022544055 A JP 2022544055A JP 2023511663 A JP2023511663 A JP 2023511663A
- Authority
- JP
- Japan
- Prior art keywords
- anomaly
- image
- network
- biological
- generator network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003902 lesion Effects 0.000 title claims description 30
- 230000011218 segmentation Effects 0.000 title claims description 10
- 208000035844 biological anomaly Diseases 0.000 claims abstract description 87
- 230000005856 abnormality Effects 0.000 claims description 98
- 238000000034 method Methods 0.000 claims description 93
- 238000012549 training Methods 0.000 claims description 64
- 206010028980 Neoplasm Diseases 0.000 claims description 50
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 claims description 20
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 claims description 20
- 210000000056 organ Anatomy 0.000 claims description 12
- 230000000737 periodic effect Effects 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000011282 treatment Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000002059 diagnostic imaging Methods 0.000 claims description 3
- 230000002547 anomalous effect Effects 0.000 claims 6
- 238000012545 processing Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 20
- 238000002591 computed tomography Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 9
- 201000011510 cancer Diseases 0.000 description 8
- 238000002372 labelling Methods 0.000 description 8
- 125000004122 cyclic group Chemical group 0.000 description 7
- 210000004072 lung Anatomy 0.000 description 7
- 238000004064 recycling Methods 0.000 description 7
- 238000012512 characterization method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 239000002872 contrast media Substances 0.000 description 5
- 206010026865 Mass Diseases 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 210000000481 breast Anatomy 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 206010051290 Central nervous system lesion Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 229910003460 diamond Inorganic materials 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
敵対的生成ネットワーク(GAN)を訓練することができ、GANは、生物学的異常の描写を除去するように医用画像を修正するように構成された異常除去生成器ネットワークと、1つ以上の識別器ネットワーク(それぞれが実画像と偽画像とを識別するように構成される)とを含む。次いで、異常除去生成器ネットワークは、特定の生物学的異常(またはその前処理されたバージョン)を描写する医用画像を受信し、特定の生物学的異常の描写を欠くと予測される修正画像を生成することができる。特定の生物学的異常のサイズは、修正画像および受信画像(またはその前処理バージョン)に基づいて推定することができる。【選択図】図1
Description
本出願は、PCT/US2021/014611号、2020年1月24日に出願された米国仮特許出願第62/965,515号、および2020年1月27日に出願された米国仮特許出願第62/966,084号の利益および優先権を主張する。これらの出願のそれぞれは、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。
分野
一般に、開示された技術は、ニューラルネットワーク(例えば、生成器ネットワーク)を使用することによって異常を欠く画像の偽バージョンを生成し、偽画像を医用画像から減算することによって、医用画像に描写された生物学的異常のサイズを推定することに関する。生成器ネットワークは、生成器ネットワークを含む敵対的生成ネットワーク(GAN)(例えば、リサイクルGANまたはサイクルGAN)を訓練することによって訓練することができる。
一般に、開示された技術は、ニューラルネットワーク(例えば、生成器ネットワーク)を使用することによって異常を欠く画像の偽バージョンを生成し、偽画像を医用画像から減算することによって、医用画像に描写された生物学的異常のサイズを推定することに関する。生成器ネットワークは、生成器ネットワークを含む敵対的生成ネットワーク(GAN)(例えば、リサイクルGANまたはサイクルGAN)を訓練することによって訓練することができる。
背景
医用イメージングは、生物学的異常(例えば、病変または腫瘍)を検出および/または監視するために使用されることが多い。生物学的異常のサイズを定量化することは、1つ以上の画像(例えば、1つ以上のスライスに対応する)上の異常の輪郭をマーキングするアノテータを伴うことが多い。これは、時間がかかり、境界位置の主観に起因する注釈全体の変動の結果としてエラーが発生しやすい。
医用イメージングは、生物学的異常(例えば、病変または腫瘍)を検出および/または監視するために使用されることが多い。生物学的異常のサイズを定量化することは、1つ以上の画像(例えば、1つ以上のスライスに対応する)上の異常の輪郭をマーキングするアノテータを伴うことが多い。これは、時間がかかり、境界位置の主観に起因する注釈全体の変動の結果としてエラーが発生しやすい。
したがって、画像を処理して生物学的異常のサイズを検出および予測するための自動化技術を特定することが有利であろう。
概要
異常除去生成器ネットワークは、所与の種類の生物学的異常(例えば、腫瘍または病変)を描写する実画像を処理するために使用される。生成器ネットワークは、1つ以上の3次元カーネルを含むことができる。処理は、実画像に対応するが、所与の種類の生物学的異常の描写を欠く偽画像を生成することを含むことができる。次いで、実画像および偽画像が使用されて生物学的異常をセグメント化し、それによって生物学的異常の境界、面積または体積を識別することができる。追加的または代替的に、実画像および偽画像が使用されて、所与の種類の生物学的異常のサイズおよび/または位置を推定することができる。生物学的異常のサイズを推定することは、対応する実画像から偽画像を減算することを含むことができる。生物学的異常のサイズは、所定の閾値を超える強度を有するピクセルまたはボクセルの総数に基づいて推定することができる。場合によっては、(例えば、1つ以上の閾値を適用すること、および/または1つ以上の空間平滑化関数を適用することによって)サイズを推定する前にフィルタリングまたは他の処理が実行される。
異常除去生成器ネットワークは、所与の種類の生物学的異常(例えば、腫瘍または病変)を描写する実画像を処理するために使用される。生成器ネットワークは、1つ以上の3次元カーネルを含むことができる。処理は、実画像に対応するが、所与の種類の生物学的異常の描写を欠く偽画像を生成することを含むことができる。次いで、実画像および偽画像が使用されて生物学的異常をセグメント化し、それによって生物学的異常の境界、面積または体積を識別することができる。追加的または代替的に、実画像および偽画像が使用されて、所与の種類の生物学的異常のサイズおよび/または位置を推定することができる。生物学的異常のサイズを推定することは、対応する実画像から偽画像を減算することを含むことができる。生物学的異常のサイズは、所定の閾値を超える強度を有するピクセルまたはボクセルの総数に基づいて推定することができる。場合によっては、(例えば、1つ以上の閾値を適用すること、および/または1つ以上の空間平滑化関数を適用することによって)サイズを推定する前にフィルタリングまたは他の処理が実行される。
異常除去生成器ネットワークは、より大規模な敵対的生成ネットワーク(GAN)の訓練に応じて構成することができる。GANは、(所与の種類の生物学的異常の描写なしに画像を生成するように構成された)異常除去生成器ネットワークに加えて、(所与の種類の生物学的異常を描写する画像を生成するように構成された)別の異常付加生成器ネットワークを含むことができるサイクルGANを含むことができる。サイクルGANは、複数の識別器ネットワークをさらに含むことができる。各識別器ネットワークは、(異常のあるインスタンスまたは異常のないインスタンスのいずれかに対応する)実画像と偽画像の双方を受信し、画像のそれぞれが現実であるかどうかを判定するように構成することができる。各識別器ネットワークによって生成された結果の精度に基づいて生成されたフィードバックは、生成器ネットワークのうちの対応する1つにフィードバックすることができる。サイクルGANは、異常付加生成器ネットワークおよび/または異常除去生成器ネットワークが、(3次元カーネルのセットを使用して)3次元画像を受信して生成するように構成することができる。同様に、サイクルGANは、各識別器ネットワークが3次元画像を受信する(および画像が実画像であるかまたは偽画像であるかを予測する)ように構成することができる。
あるいは、GANは、サイクルGANの生成器ネットワークおよび識別器ネットワークを含み、1つ以上の予測器ネットワークをさらに含む、リサイクルGANを含んでもよい。各予測器ネットワークは、予測器ネットワークに供給する生成器ネットワークによって生成された画像に描写された視点、イメージングモダリティ、位置、ズーム、および/またはスライスと比較して、異なる視点、イメージングモダリティ、位置、ズーム、および/またはスライスに対応する偽画像を生成するように構成および訓練することができる。各識別器ネットワークは、(異常のあるインスタンスまたは異常のないインスタンスのいずれかに対応する)実画像および偽画像の双方を受信し、画像のそれぞれが現実であるかどうかを判定するように構成および訓練することができる。所与の識別器ネットワークによって生成された結果は、パラメータ学習を潜在的にトリガするために所与の識別器ネットワークに供給する予測器ネットワークに供給する生成器ネットワークにフィードバックすることができる。
第1の実施形態では、コンピュータ実装方法が提供される。被験者に対応し、生物学的異常の一部を描写する医用画像がアクセスされ、生物学的異常は、特定の種類の生物学的異常である。修正画像は、医用画像に基づいて、かつ異常除去生成器ネットワークを使用して生成される。異常除去生成器ネットワークは、特定の種類の生物学的異常の注釈がない訓練データセットを使用して訓練中に学習されたパラメータによって構成することができる。医用画像および修正画像に基づいて、生物学的異常のサイズが推定される。推定された生物学的異常のサイズが出力される。
第2の実施形態では、方法は、第1の実施形態の方法を含むことができ、敵対的生成ネットワークを訓練することによって異常除去生成器ネットワークを訓練することをさらに含み、敵対的生成ネットワークが、異常除去生成器ネットワーク、および1つ以上の識別器ネットワークであって、1つ以上の識別器ネットワークのそれぞれが、実画像と生成器ネットワークによって生成された画像とを識別するように構成および訓練され、生成器ネットワークが、異常除去生成器ネットワークまたは異常付加生成器ネットワークを含む、1つ以上の識別器ネットワークを含む。
第3の実施形態では、方法は、第1の実施形態の方法を含むことができ、異常除去生成器ネットワークのパラメータのセットが、異常除去生成器ネットワーク、および1つ以上の識別器ネットワークを含む敵対的生成ネットワークを訓練することによって定義されたものであり、1つ以上の識別器ネットワークのそれぞれが、実画像と生成器ネットワークによって生成された画像とを識別するように構成および訓練され、生成器ネットワークが、異常除去生成器ネットワークまたは異常付加生成器ネットワークを含む。
第4の実施形態では、方法は、第1の実施形態の方法を含むことができ、異常除去生成器ネットワーク、異常付加生成器ネットワーク、第1の識別器ネットワーク、および第2の識別器ネットワークを含む、敵対的生成ネットワークを訓練することによって異常除去生成器ネットワークを訓練することをさらに含むことができる。第1の識別器ネットワークは、特定の種類の生物学的異常の生物学的異常の少なくとも一部を描写するものとしてラベル付けされた実画像と、異常付加生成器ネットワークによって生成された偽画像と、の間を識別するように構成することができる。異常付加生成器ネットワークは、第1の識別器ネットワークによって生成された第1の識別結果に基づいて訓練中にフィードバックを受信することができる。第2の識別器ネットワークは、特定の種類の生物学的異常のいずれの生物学的異常も描写していないとしてラベル付けされた実画像と、異常除去生成器ネットワークによって生成された偽画像と、の間を識別するように構成することができる。異常除去生成器ネットワークは、第1の識別器ネットワークによって生成された第1の識別結果に基づいてフィードバックを受信することができる。
第5の実施形態では、方法は、第1の実施形態の方法を含むことができ、異常除去生成器ネットワークのセットが、異常除去生成器ネットワーク、異常付加生成器ネットワーク、第1の識別器ネットワーク、および第2の識別器ネットワークを含む、敵対的生成ネットワークを訓練することによって定義されたものである。第1の識別器ネットワークは、特定の種類の生物学的異常の別の異常の少なくとも一部を描写するものとしてラベル付けされた実画像と、少なくとも異常付加生成器ネットワークによって生成された偽画像と、の間を識別するように構成される。異常付加生成器ネットワークは、訓練中に、第1の識別器ネットワークによって生成された第1の識別結果に基づいてフィードバックを受信することができる。第2の識別器ネットワークは、特定の種類の生物学的異常のいずれの生物学的異常も描写していないとしてラベル付けされた実画像と、異常除去生成器ネットワークによって生成された偽画像と、の間を識別するように構成することができる。異常除去生成器ネットワークは、訓練中に、第1の識別器ネットワークによって生成された第1の識別結果に基づいてフィードバックを受信することができる。
第6の実施形態では、方法は、第1の実施形態の方法を含むことができ、異常除去生成ネットワークに、被験者の少なくとも一部を描写し、かつ特定の種類の生物学的異常の別の生物学的異常の少なくとも一部を描写する実異常存在画像を入力することと、少なくとも異常除去生成器ネットワークおよび実異常存在画像を使用して、偽異常非存在画像を生成することと、GANの識別器ネットワークを使用して、偽異常非存在画像が実際のサンプルの真の画像に対応するか偽画像に対応するかを予測するための識別を実行することと、識別器ネットワークによって実行された識別に基づいて、異常除去生成器ネットワークの1つ以上の重みを調整することと、によって、敵対的生成ネットワーク(GAN)を訓練することによって、異常除去生成ネットワークを訓練することをさらに含むことができる。第7の実施形態では、方法は、第6の実施形態の方法を含むことができ、GANの異常除去生成器ネットワークに、偽異常非存在画像を入力することと、異常付加生成器ネットワークおよび偽異常非存在画像を使用して、周期的な偽異常存在画像を生成することと、周期的な偽異常存在画像を実異常存在画像と比較することと、サイクルされた偽異常存在画像と実異常存在画像との比較に基づいてサイクル損失を決定することと、をさらに含むことができる。
第8の実施形態では、方法は、第1から第7の実施形態のいずれかの方法を含むことができ、1つ以上のカラーチャネルのそれぞれの分布を調整するために医用画像を前処理することをさらに含むことができ、修正画像が前処理された医用画像に基づいて生成される。
第9の実施形態では、方法は、第1から第8の実施形態のいずれかの方法を含むことができ、特定の器官のセグメンテーションを実行するために医用画像を前処理することをさらに含むことができ、修正画像が前処理された医用画像に基づいて生成される。
第10の実施形態では、方法は、第1から第9の実施形態のいずれかの方法を含むことができ、生物学的異常のサイズを推定することが、医用画像から修正画像を減算することを含む。
第11の実施形態では、方法は、第1から第10の実施形態のいずれかの方法を含むことができ、特定の種類の生物学的異常が病変または腫瘍である。
第12の実施形態では、方法は、第1から第11の実施形態のいずれかの方法を含むことができ、医用画像が、CT画像、X線画像、またはMRI画像を含む。
第13の実施形態では、方法は、第1から第12の実施形態のいずれかの方法を含むことができ、医用画像が3次元画像を含む。
第14の実施形態では、方法は、第1から第13の実施形態のいずれかの方法を含むことができ、異常除去生成器ネットワークが、畳み込みニューラルネットワークを含む。
第15の実施形態では、方法は、第1から第14の実施形態のいずれかの方法を含むことができ、訓練データセットが、特定の種類の生物学的異常の任意の描写された異常の境界、面積または体積の識別を欠いていたものである。
第16の実施形態では、ユーザ装置によって、かつコンピューティングシステムに対して、被験者に対応する医用画像を利用し、かつ生物学的異常の一部を描写することであって、生物学的異常が特定の種類の生物学的異常である、被験者に対応する医用画像を利用し、かつ生物学的異常の一部を描写することと、ユーザ装置において、かつコンピューティングシステムから、生物学的異常の推定されたサイズを受信することであって、コンピューティングシステムが、医用画像に基づいて、かつ異常除去生成器ネットワークを使用して修正画像を生成することであって、異常除去生成器ネットワークが、特定の種類の生物学的異常の注釈を欠く訓練データセットを使用して訓練されている、修正画像を生成することと、医用画像および修正画像に基づいて、生物学的異常の推定されたサイズを決定することと、によって、推定されたサイズを決定したものである、生物学的異常の推定されたサイズを受信することを含む、方法が提供される。
第17の実施形態では、方法は、第16の実施形態の方法を含むことができ、推定されたサイズに基づいて、被験者についての診断推奨または処置推奨を選択することをさらに含むことができる。
第18の実施形態では、方法は、第17の実施形態の方法を含むことができ、選択された診断推奨または処置推奨を被験者に伝達することをさらに含むことができる。
第19の実施形態では、方法は、第16から第18の実施形態のいずれかの方法を含むことができ、医用イメージングシステムを使用して医用画像を収集することをさらに含むことができる。
第20の実施形態は、被験者の処置における医用画像に描写された生物学的異常の推定されたサイズの使用を含み、推定されたサイズが、コンピューティングシステムによって、医用画像に基づいて修正画像を生成し、特定の種類の生物学的異常の注釈を欠くと識別された訓練データセットを使用して訓練されている異常除去生成器ネットワークを使用することと、コンピューティングシステムによって、医用画像および修正画像に基づいて生物学的異常のサイズを推定することと、を含む一連の動作を実行するコンピューティング装置によって提供される。
第21の実施形態は、1つ以上のデータプロセッサと、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が1つ以上のデータプロセッサ上で実行されると、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法(例えば、第1から第19の実施形態のいずれかの方法)の一部または全部を実行させる、非一時的コンピュータ可読記憶媒体と、を含むシステムを含む。
第22の実施形態は、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法(例えば、第1から第19の実施形態のいずれかの方法)の一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
本開示のいくつかの実施形態は、1つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、1つ以上のデータプロセッサ上で実行されると、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部および/または1つ以上のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部および/または1つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。
本開示は、以下の添付の図面と併せて説明される:
添付の図面において、同様の構成要素および/または特徴は、同じ参照ラベルを有することができる。さらに、同じ種類の様々な構成要素は、参照ラベルの後に同様の構成要素を区別するダッシュおよび第2のラベルを続けることによって区別することができる。本明細書において第1の参照ラベルのみが使用される場合、説明は、第2の参照ラベルに関係なく、同じ第1の参照ラベルを有する同様の構成要素のいずれかに適用可能である。
I.概要
詳細な説明
本明細書に開示されるシステム、方法およびソフトウェアは、腫瘍などの生物学的異常のサイズの推定を容易にする。より具体的には、異常除去生成器ニューラルネットワークは、特定のコンテキスト(例えば、特定の被験者の特定のスライスレベルおよび/または特定の被験者の特定の生物学的領域)に関連する実画像を受信し、同じまたは異なるコンテキスト(例えば、特定の被験者に対する異なるスライスレベル、特定の被験者に対する同じスライスレベル、または特定の被験者に対する同じ特定の生物学的領域)に関連する対応する偽画像を生成するように訓練される。いくつかの態様(例えば、特定の被験者)に関して、対応する偽画像は、実画像を反映することができるが、ニューラルネットワークは、対応する偽画像が、実画像に描写されている所与の種類の生物学的異常の描写の一部または全部を欠くように構成することができ。例えば、実画像および偽画像の双方が肺の3次元画像を含むことができる一方で、実画像は腫瘍を描写することができるが、偽画像はそうではない。したがって、実画像から偽画像を減算する(例えば、および差分画像内のいくつのピクセルまたはボクセルが閾値を超えているかを判定する)ことによって生物学的異常のサイズが推定される。
詳細な説明
本明細書に開示されるシステム、方法およびソフトウェアは、腫瘍などの生物学的異常のサイズの推定を容易にする。より具体的には、異常除去生成器ニューラルネットワークは、特定のコンテキスト(例えば、特定の被験者の特定のスライスレベルおよび/または特定の被験者の特定の生物学的領域)に関連する実画像を受信し、同じまたは異なるコンテキスト(例えば、特定の被験者に対する異なるスライスレベル、特定の被験者に対する同じスライスレベル、または特定の被験者に対する同じ特定の生物学的領域)に関連する対応する偽画像を生成するように訓練される。いくつかの態様(例えば、特定の被験者)に関して、対応する偽画像は、実画像を反映することができるが、ニューラルネットワークは、対応する偽画像が、実画像に描写されている所与の種類の生物学的異常の描写の一部または全部を欠くように構成することができ。例えば、実画像および偽画像の双方が肺の3次元画像を含むことができる一方で、実画像は腫瘍を描写することができるが、偽画像はそうではない。したがって、実画像から偽画像を減算する(例えば、および差分画像内のいくつのピクセルまたはボクセルが閾値を超えているかを判定する)ことによって生物学的異常のサイズが推定される。
I.A.異常除去生成ネットワークを訓練するために使用される敵対的生成ネットワーク
異常除去生成器ネットワークは、敵対的生成ネットワーク(GAN)を訓練している間に学習されたパラメータを含むことができる。GANは、入力画像が偽である(異常除去生成器ネットワークによって生成された)か、または(被験者から収集された実画像を描写する)かを予測するように構成された識別器ネットワークをさらに含む。これらの予測の精度に基づくフィードバックは、異常除去生成器ネットワークに提供することができる。
異常除去生成器ネットワークは、敵対的生成ネットワーク(GAN)を訓練している間に学習されたパラメータを含むことができる。GANは、入力画像が偽である(異常除去生成器ネットワークによって生成された)か、または(被験者から収集された実画像を描写する)かを予測するように構成された識別器ネットワークをさらに含む。これらの予測の精度に基づくフィードバックは、異常除去生成器ネットワークに提供することができる。
場合によっては、異常除去生成器ネットワークを訓練するために使用されるGANは、サイクルGANを含む。サイクルGANは、複数の生成器ネットワークおよび複数の識別器ネットワークを含む。異常除去生成器ネットワークに加えて、サイクルGANは、特定の種類の生物学的異常を描写しない実異常非存在画像を受信し、特定の種類の生物学的異常を描写する偽異常存在画像を生成するように構成および訓練された異常付加生成器ネットワークをさらに含む。サイクルGANはまた、画像(特定の種類の生物学的異常を真に描写しないか、または特定の種類の生物学的異常の描写を欠くように修正された画像)が現実であるか偽であるかを予測する第1の識別器ネットワークを含む。予測の精度が使用されて、異常除去生成器ネットワークにフィードバックを提供することができる。サイクルGANはまた、画像(特定の種類の生物学的異常を真に描写するか、または特定の種類の生物学的異常を含むように修正された)が現実であるか偽であるかを予測する第2の識別器ネットワークを含むことができる。予測の精度が使用されて、異常付加生成器ネットワークにフィードバックを提供することができる。
場合によっては、異常除去生成器ネットワークを訓練するために使用されるGANは、リサイクルGANを含む。サイクルGANと同様に、リサイクルGANは、複数の生成器ネットワーク(例えば、異常除去生成器ネットワークおよび異常付加生成器ネットワーク)および複数の識別器ネットワーク(例えば、実異常存在画像と偽異常存在画像とを識別するように構成された識別器ネットワーク、および実異常存在画像と偽異常存在画像とを識別するように構成された識別器ネットワーク)を含む。さらに、リサイクルGANは、予測器ネットワークに入力された画像に対して異なるコンテキストに関連付けられた画像を生成する1つ以上の予測器ネットワークを含む。
リサイクルGAN内の第1の予測器ネットワークは、特定の種類(例えば、腫瘍、病変、またはプラーク)の生物学的異常を描写し、特定の被験者および1つ以上のスライスレベルに関連付けられた1つ以上の画像を受信することができ、第1の予測器は、特定の被験者に関連付けられた予測された異なるコンテキスト画像に対応する出力を生成することができる。各修正画像は、予測器ネットワークによって受信された画像に対して、視点、イメージングモダリティ、位置、ズームおよび/またはスライスと比較して、異なる視点、イメージングモダリティ、位置、ズームおよび/またはスライスに対応することができる。特に、生物学的異常を描写し、第1の予測器ネットワークによって受信される1つ以上の画像は、現実または偽とすることができる。例えば、1つ以上の画像は、1つ以上の実画像(例えば、所与の種類の生物学的異常の描写を欠く)を修正して、所与の種類の生物学的異常の描写を追加するように構成された異常付加生成器ネットワークによって生成された偽画像とすることができる。
逆に、リサイクルGAN内の第2の予測器ネットワークは、特定の種類(例えば、腫瘍を描写しない)の生物学的異常の描写を欠く1つ以上の画像を受信することができ、特定の種類の生物学的異常の描写も欠く予測された異なるコンテキスト画像(例えば、異なる視点、イメージングモダリティ、位置、ズームおよび/またはスライスに関連付けられる)に対応する出力を生成することができる。特に、生物学的異常を描写せず、第2の予測器ネットワークによって受信される1つ以上の画像は、現実または偽とすることができる。例えば、1つ以上の画像は、所与の種類の生物学的異常の描写を除去するために1つ以上の実画像(例えば、所与の種類の生物学的異常の任意の描写を含む)を修正するように構成された異常除去生成器ネットワークによって生成された偽画像とすることができる。
I.B.偽異常非存在画像を使用した異常サイズ予測
場合によっては、異常除去生成ネットワークは、(生物学的異常の少なくとも一部を描写する)3次元画像を受信し、(生物学的異常の少なくとも一部の描写を欠く)偽の3次元画像を生成するように構成される。次いで、実画像と偽画像との間の差は、どのボクセルが生物学的異常の一部であると予測されるかを示すことができる。したがって、実画像と偽画像との間の差が閾値を超えるボクセルの量に基づいて、生物学的異常のサイズを予測することができる。
場合によっては、異常除去生成ネットワークは、(生物学的異常の少なくとも一部を描写する)3次元画像を受信し、(生物学的異常の少なくとも一部の描写を欠く)偽の3次元画像を生成するように構成される。次いで、実画像と偽画像との間の差は、どのボクセルが生物学的異常の一部であると予測されるかを示すことができる。したがって、実画像と偽画像との間の差が閾値を超えるボクセルの量に基づいて、生物学的異常のサイズを予測することができる。
あるいは、異常除去生成ネットワークは、(生物学的異常の少なくとも一部を描写する)2次元画像を受信し、(生物学的異常の少なくとも一部の描写を欠く)偽の2次元画像を生成するように構成されてもよい。実画像と偽画像との間の差は、異常の予測された領域を表すことができる。しかしながら、所与の被験者に対して複数の実画像(例えば、異なるスライスレベルに対応する)を利用可能とすることができ、複数の偽画像を生成することができる。次いで、スライスレベルにわたる領域がまとめて処理されて、異常のサイズおよび/または体積を予測することができる。
I.C.利点
GANの使用に関連する本明細書に開示される技術は、手動注釈の必要性を低減し、医用画像上の異常を描写する客観性および精度を改善する上で強い利点を有する。例えば、腫瘍の体積を推定するために医用画像に手動で注釈を付けることは、複数の連続するスライスのそれぞれにおいて腫瘍の境界を識別する膨大な時間を必要とすることがある。例えば、進行癌を有する被験者の全身CTスキャンは、250個以上の腫瘍を含む可能性がある。手動注釈を使用して異常を検出することは、数千の画像ごとの作業時間および腫瘍ごとに数百万ドルが必要になる可能性がある。
GANの使用に関連する本明細書に開示される技術は、手動注釈の必要性を低減し、医用画像上の異常を描写する客観性および精度を改善する上で強い利点を有する。例えば、腫瘍の体積を推定するために医用画像に手動で注釈を付けることは、複数の連続するスライスのそれぞれにおいて腫瘍の境界を識別する膨大な時間を必要とすることがある。例えば、進行癌を有する被験者の全身CTスキャンは、250個以上の腫瘍を含む可能性がある。手動注釈を使用して異常を検出することは、数千の画像ごとの作業時間および腫瘍ごとに数百万ドルが必要になる可能性がある。
この時間コミットメントは、比較的小さいサイズおよび/またはかなり小さい多様性を有する訓練セットをもたらすことができる。この手動アプローチはまた、腫瘍の境界が現在のスライド上のどこにあるかに関して有益とすることができる、隣接するスライドからの詳細を人間のアノテータが想起することが困難であり得るため、誤りを起こしやすい。
一方、本明細書に開示されるGANベースの技術は、(訓練データがバイナリラベルを含むように)(例えば)各画像が生物学的異常の少なくとも一部を描写するか否かを示す高レベルラベルを有するデータを使用して訓練された機械学習モデルを使用することができる。訓練データは、生物学的異常の所与の描写の位置、描写された生物学的異常のサイズ、生物学的異常の境界、または生物学的異常の任意の他の空間的特性を示すようにラベル付けされる必要はない。すなわち、手動セグメンテーションを行わずに訓練データセットを収集することができる。したがって、訓練データを取得することがより容易になり、その結果、訓練データセットがより大きくなり、モデルの精度がより高くなることができる。代替的または追加的に、バイナリラベリングは、訓練セットの収集および/または生物学的異常のサイズの予測の時間または金銭的投資を低減することができる。
さらに、本明細書に開示される技術は、ペアリングされたデータを含む訓練データセットに依存しない。すなわち、生成器ネットワークは、(例えば、同じ被験者セットに関連付けられる)異常非存在画像のセットおよび異常存在画像の対応する「ペアリングされた」セットを含むデータセットについて訓練される必要はない。ペアリングされた画像を収集することは、各被験者について、複数のイメージングセッションから収集された画像を収集することを含むことができる。例えば、第1のイメージングセッションからの1つ以上の画像は、生物学的異常を描写することができ、第2のイメージングセッションからの画像は、生物学的異常を欠くことができる(またはその逆)。しかしながら、(例えば、処置に応答して)異常が出現しなくなるかどうか、または新たな異常が出現するかどうかを予測することは非常に困難である。したがって、ペアリングされた画像を取得することは非常に困難であり得る。ペアリングされたデータがなければ、(例えば、その後に異常のサイズを予測するために)実異常存在画像に基づいて予測異常非存在画像を生成するようにニューラルネットワークを訓練するために、多くの既存の訓練技術(例えば、L1またはL2正則化を使用するもの)を使用することは不可能であろう。一方、ペアリングされたデータを必要としない本明細書に開示される技術は、より大きな訓練データセット(例えば、ペアリングされていない訓練データセット)を収集することができ、生物学的異常のサイズの正確な予測をもたらすことができる。
II.例示的な生物学的異常特徴付けネットワーク
図1は、いくつかの実施形態にかかる、例示的な生物学的異常特徴付けネットワーク100を示している。生物学的異常特徴付けネットワーク100は、被験者の身体の一部の画像を収集するように構成された画像生成システム105を含む。各画像は、1つ以上の生物学的構造の少なくとも一部(例えば、1つ以上の腫瘍の少なくとも一部、1つ以上の病変の少なくとも一部、1つ以上のプラークの少なくとも一部、および/または1つ以上の器官の少なくとも一部)を描写することができる。被験者は、特定の疾患と診断されたか、または特定の疾患の可能性のある診断を有する人を含むことができる。特定の疾患は、癌または特定の種類の癌を含むことができる。1つ以上の画像は、(例えば)肺、脳、または肝臓の全部または一部を描写することができる。
図1は、いくつかの実施形態にかかる、例示的な生物学的異常特徴付けネットワーク100を示している。生物学的異常特徴付けネットワーク100は、被験者の身体の一部の画像を収集するように構成された画像生成システム105を含む。各画像は、1つ以上の生物学的構造の少なくとも一部(例えば、1つ以上の腫瘍の少なくとも一部、1つ以上の病変の少なくとも一部、1つ以上のプラークの少なくとも一部、および/または1つ以上の器官の少なくとも一部)を描写することができる。被験者は、特定の疾患と診断されたか、または特定の疾患の可能性のある診断を有する人を含むことができる。特定の疾患は、癌または特定の種類の癌を含むことができる。1つ以上の画像は、(例えば)肺、脳、または肝臓の全部または一部を描写することができる。
II.A.画像生成システム
画像は、1つ以上の2次元画像および/または1つ以上の3次元画像を含む。2次元画像は、被験者の断面スライス(例えば、水平スライス)または被験者の断面スライスの一部を描写する。3次元画像は、被験者の3次元領域を描写する。3次元画像は、複数の2次元画像(複数のスライスレベルで撮像された被験者のスライスに対応する)を積み重ねまたは組み合わせることによって生成することができる。したがって、本明細書で使用される場合、画像に描写される被験者の「領域」は、被験者内の3次元ボリュームを指し、画像に描写される被験者の「スライス」は、被験者の2次元断面を指す。
画像は、1つ以上の2次元画像および/または1つ以上の3次元画像を含む。2次元画像は、被験者の断面スライス(例えば、水平スライス)または被験者の断面スライスの一部を描写する。3次元画像は、被験者の3次元領域を描写する。3次元画像は、複数の2次元画像(複数のスライスレベルで撮像された被験者のスライスに対応する)を積み重ねまたは組み合わせることによって生成することができる。したがって、本明細書で使用される場合、画像に描写される被験者の「領域」は、被験者内の3次元ボリュームを指し、画像に描写される被験者の「スライス」は、被験者の2次元断面を指す。
画像生成システム105は、(例えば)コンピュータ断層撮影(CT)スキャナ、X線機械または磁気共鳴撮像(MRI)機械を含むことができる。画像は、放射線画像、CT画像、X線画像またはMRI画像を含むことができる。画像は、造影剤が被験者に投与されずに、または造影剤が被験者に投与された後に収集されていてもよい。場合によっては、画像生成システム105は、最初に2次元画像のセットを収集し、2次元画像を使用して3次元画像を生成することができる。
画像生成システム105によって収集された画像は、造影剤が被験者に投与されることなく、または造影剤が被験者に投与された後に収集されてもよい。撮像されている被験者は、癌と診断された、癌の可能性のある診断もしくは予備診断を有する、および/または癌もしくは腫瘍と一致する症状を有する被験者を含むことができる。
画像生成システム105は、収集された画像を、(例えば)クラウドデータストアを含むことができる画像データストア110に記憶することができる。各画像は、被験者の識別子および/または被験者に関連する介護提供者の識別子などの1つ以上の識別子に関連して記憶することができる。各画像は、画像が収集された日付と関連付けてさらに記憶されてもよい。
II.B.画像処理システム
1つ以上の画像は、1つ以上の画像のそれぞれに対するラベルの識別を容易にする画像ラベリングシステム115に利用される。ラベルは、画像が生物学的異常を描写しているかどうかを示す。画像が生物学的異常を描写することを示すラベルは、画像が生物学的異常の一部(例えば、生物学的異常のスライス)を描写することを示すことができることが理解されよう。
1つ以上の画像は、1つ以上の画像のそれぞれに対するラベルの識別を容易にする画像ラベリングシステム115に利用される。ラベルは、画像が生物学的異常を描写しているかどうかを示す。画像が生物学的異常を描写することを示すラベルは、画像が生物学的異常の一部(例えば、生物学的異常のスライス)を描写することを示すことができることが理解されよう。
画像ラベリングシステム115は、人間のユーザによって受信された入力に基づいてラベルを識別することができる。例えば、画像ラベリングシステム115は、ディスプレイ上に1つ以上の画像のそれぞれを提示し、各画像が生物学的異常(例えば、腫瘍の少なくとも一部を描写する)を描写しているかどうかを示す入力(例えば、所与のボタンのクリック、プルダウンオプションの選択、テキストの入力など)を受信することができる。
あるいは、画像ラベリングシステム115は、自動画像処理技術を用いてラベルを識別してもよい。例えば、画像ラベリングシステム115は、ボクセルまたはピクセルの少なくとも閾値割合または少なくとも閾値数が所定の閾値を超える強度を有する場合、画像が生物学的異常を描写すると予測することができる。閾値は、造影剤を吸収した身体の部分(例えば、腫瘍)と身体の他の部分とを区別するように定義することができる。別の例として、画像ラベリングシステム115は、画像のソースに基づいてラベルを識別することができる。例えば、画像の第1のソースは、確認された腫瘍症例に関連するデータベース、ライブラリ、または医療提供者システムを含むことができ、画像の第2のソースは、健康な被験者に関連するデータベース、ライブラリ、または医療提供者システムを含むことができる。
画像ラベリングシステム115は、画像データストア110を、1つ以上の画像のそれぞれが生物学的異常の描写を含むか否かを示す1つ以上のラベルを含むように更新することができる。
II.C.画像処理システム
画像処理システム125(例えば、遠隔および/またはクラウドベースのコンピューティングシステムを含むことができる)は、所与の種類の1つ以上の生物学的異常のそれぞれについて、描写された異常のサイズを予測するように構成される。
画像処理システム125(例えば、遠隔および/またはクラウドベースのコンピューティングシステムを含むことができる)は、所与の種類の1つ以上の生物学的異常のそれぞれについて、描写された異常のサイズを予測するように構成される。
II.C.1.前処理コントローラ
より具体的には、画像処理システム125は、GANを訓練し、続いて、GANからの訓練された異常除去生成器ネットワークを使用して、(特定の種類の生物学的異常を描写する)入力画像を処理して、(特定の種類の生物学的異常を描写しない)修正画像を生成し、入力画像および修正画像を使用して生物学的異常のサイズを予測するように構成することができる。
より具体的には、画像処理システム125は、GANを訓練し、続いて、GANからの訓練された異常除去生成器ネットワークを使用して、(特定の種類の生物学的異常を描写する)入力画像を処理して、(特定の種類の生物学的異常を描写しない)修正画像を生成し、入力画像および修正画像を使用して生物学的異常のサイズを予測するように構成することができる。
より具体的には、画像処理システム125は、画像の前処理を開始および/または制御する前処理コントローラ130を含む。前処理は、(例えば)画像を所定のフォーマットに変換すること、画像を所定のサンプリングサイズに再サンプリングすること、画像を所定のサイズ(例えば、1つ、複数、または全ての次元のそれぞれの指定された数以下のピクセルまたはボクセル)に再サンプリングすること、画像を所定のサイズにトリミングすること、複数の2次元画像に基づいて3次元画像を生成すること、異なる(例えば、ターゲット)視点を有する1つ以上の画像を生成すること、強度値を調整すること(例えば、標準化または正規化)、および/または色値を調整することを含むことができる。
前処理は、1つ以上のカラーチャネルを調整する変換を含むことができる。例えば、グレースケール画像は、1つ以上のカラーチャネルを含むように変換することができる。
場合によっては、各画像について、前処理コントローラ130は、特定の種類の生物学的器官(例えば、肺)の少なくとも一部を描写する領域を検出することによって画像をセグメント化する。セグメンテーションは、(例えば)教師あり学習を使用して訓練されたニューラルネットワーク(例えば、畳み込みニューラルネットワーク)を使用して実行することができる。画像は、特定の種類の生物学的器官を描写していると識別された画像の部分のみを含むように修正することができる。例えば、他の全てのピクセルまたはボクセルの強度値は、0または数ではない値に設定されてもよい。
II.C.2.GAN訓練コントローラ
画像処理システム125は、ラベル付き画像を使用してGANを訓練するGAN訓練コントローラ135を含む。GANは、それぞれが少なくとも1つの生物学的異常を描写する(生物学的異常の少なくとも一部を描写することを含むことができる)第1の画像セットを含む訓練セットを使用して訓練することができ、少なくとも1つの生物学的異常は特定の種類の異常である。例えば、画像は、腫瘍の全体を描写する3次元画像、腫瘍の全断面を描写する2次元画像、腫瘍の一部を描写する3次元画像、または腫瘍の断面の一部を描写する2次元画像を含むことができる。訓練セットはまた、第2のセットの画像を含み、第2のセットの各画像は、特定の種類の異常の生物学的異常を描写しない。データセット内の各画像は、特定の種類の生物学的異常を描写するかどうかを示すラベルに関連付けることができるが、訓練セットは、画像内のどこに異常が描写されているかを示すセグメンテーションまたは注釈データを含む必要はない。訓練セット内の画像は、全て、特定の器官の少なくとも一部(または全部)を描写することができ、または訓練セットは、身体の異なる部分を描写する画像を含むことができる。
画像処理システム125は、ラベル付き画像を使用してGANを訓練するGAN訓練コントローラ135を含む。GANは、それぞれが少なくとも1つの生物学的異常を描写する(生物学的異常の少なくとも一部を描写することを含むことができる)第1の画像セットを含む訓練セットを使用して訓練することができ、少なくとも1つの生物学的異常は特定の種類の異常である。例えば、画像は、腫瘍の全体を描写する3次元画像、腫瘍の全断面を描写する2次元画像、腫瘍の一部を描写する3次元画像、または腫瘍の断面の一部を描写する2次元画像を含むことができる。訓練セットはまた、第2のセットの画像を含み、第2のセットの各画像は、特定の種類の異常の生物学的異常を描写しない。データセット内の各画像は、特定の種類の生物学的異常を描写するかどうかを示すラベルに関連付けることができるが、訓練セットは、画像内のどこに異常が描写されているかを示すセグメンテーションまたは注釈データを含む必要はない。訓練セット内の画像は、全て、特定の器官の少なくとも一部(または全部)を描写することができ、または訓練セットは、身体の異なる部分を描写する画像を含むことができる。
GANは、サイクルGANまたはリサイクルGANを含むことができる。GANは、特定の種類の生物学的異常(例えば、腫瘍)を描写する画像を受信し、特定の種類の生物学的異常を描写しない修正された(偽の)画像を出力するように訓練された異常除去生成器ニューラルネットワークを含む。異常除去生成器ネットワークは、1つ以上の畳み込み層、U-net、またはV-netを含むことができる。場合によっては、異常除去生成器ネットワークは、特徴抽出エンコーダ(1つ以上の畳み込み層を含む)、変換器(1つ以上の畳み込み層を含む)、およびデコーダ(1つ以上の畳み込み層を含む)を含む。修正画像および受信画像は、様々なコンテキスト(例えば、描写された面積/体積、サイズ、描写された器官など)を共有することができる。識別器ネットワークは、異常除去生成器ネットワークから偽画像を受信し、特定の種類の生物学的異常を描写しない実画像も受信する。識別器ネットワークは、1つ以上の畳み込み層および活性化層を含むことができる。識別器ネットワークは、各画像について、画像が現実であるか偽であるかを予測する。識別器ネットワークの予測の精度に基づいて、異常除去生成器ネットワークにフィードバックを送信することができる。
GANを訓練することは、1つ以上の損失関数を使用することを含むことができる。訓練は、GANの識別器ネットワークが、実画像が偽画像である(またはその逆)と誤って予測した場合にペナルティを導入することを含むことができる。訓練は、追加的または代替的に、サイクル損失を導入することを含んでもよい。サイクル損失は、特定の種類の異常の描写を欠く(または代替的に含む)と予測される修正画像を生成するためにそのような描写を除去する(または代替的に追加する)ために、次いで、GANの別の生成器ネットワークを用いて修正画像を処理して、サイクル画像を生成するために異常の描写を追加する(または代替的に除去する)ために、GANの1つの生成器ネットワークを用いて特定の種類の異常の描写を含む(または代替的に欠く)元の画像を二重処理することによって計算することができる。損失は、元の画像とサイクルされた画像との間の差によってスケーリングすることができる。
II.C.2.a.サイクルGAN
GAN訓練コントローラ135によって訓練されたGANは、複数の生成器ネットワークおよび複数の識別器ネットワークを含むサイクルGANを含むことができる。図2は、サイクルGANにおけるネットワークおよびネットワーク接続の表現を示し、図3は、サイクル-GANを使用して偽画像を生成し、実画像と偽画像とを識別するフローを示している。この描写では、各長方形のボックスは、(実または偽)画像を表し、各菱形は、識別を表す。
GAN訓練コントローラ135によって訓練されたGANは、複数の生成器ネットワークおよび複数の識別器ネットワークを含むサイクルGANを含むことができる。図2は、サイクルGANにおけるネットワークおよびネットワーク接続の表現を示し、図3は、サイクル-GANを使用して偽画像を生成し、実画像と偽画像とを識別するフローを示している。この描写では、各長方形のボックスは、(実または偽)画像を表し、各菱形は、識別を表す。
XおよびYドメインは、異なる種類の画像に関係する。この場合、Yドメインは、特定の種類の生物学的異常(例えば、病変)を描写する画像に対応し、Xドメインは、特定の種類の生物学的異常の描写を欠く画像に対応する。
異常除去生成器ネットワークを含むことに加えて、サイクルGANはまた、画像を修正して特定の種類の生物学的異常の描写を追加するように構成および訓練された異常付加生成器ネットワークを含む。異常付加生成器ネットワークは、1つ以上の畳み込み層、U-net、またはV-netを含むことができる。場合によっては、異常付加生成器ネットワークは、特徴抽出エンコーダ(1つ以上の畳み込み層を含む)、変換器(1つ以上の畳み込み層を含む)、およびデコーダ(1つ以上の畳み込み層を含む)を含む。異常付加生成器ネットワークのアーキテクチャは、異常除去生成器ネットワークのアーキテクチャと同じであってもよい。
異常付加生成器ネットワークおよび/または異常除去生成器ネットワークは、サイクル一貫性損失またはサイクル損失を使用して集合的に訓練することができる。この場合、元の画像は、最初に一方の生成器ネットワークによって、次いで他方の生成器ネットワークによって処理することによって生成された画像と比較され、画像の差がより劇的である場合、損失はより大きくなることができる。例えば、元の画像305は、患者の肺を描写し、腫瘍の描写を含まない場合がある。この元の画像は、異常付加生成器ネットワークによって処理されて偽の腫瘍存在画像310を生成することができ、次いで、異常除去生成器ネットワークによって処理されて偽の腫瘍非存在画像310’を生成することができる。損失は、元の画像と偽の腫瘍非存在画像との差に応じてスケーリングするように計算されてもよい。サイクル一貫性損失は、モード崩壊の発生または程度を低減することを容易にすることができる(この場合、生成器は、元の画像に対応しないことがある画像のステレオタイプを生成し始める)。しかしながら、サイクルGANにおけるサイクル損失を最小化することは、1つのドメインから別のドメインにマッピングされると、画像が1つの画像から別の画像に僅かなピクセルしか変化しない単一の「モード」で動かなくなることを保証しない。例えば、異常付加生成器ネットワークは、入力(例えば、実)異常存在画像とほぼ同一に見える偽異常存在画像を生成することができる。同様に、異常除去生成器ネットワークは、入力(例えば、偽)異常存在画像とほぼ同一に見える偽異常非存在画像を生成することができる。したがって、場合によっては、損失は、周期的損失と非周期的損失との組み合わせに基づいて計算することができる(例えば、非周期的損失は、識別器ネットワークが実画像と偽画像とを区別することができる程度に基づいて決定する)。
特定の種類の異常を描写しない実画像および偽画像(例えば、実腫瘍非存在画像305および偽腫瘍非存在画像310’)を(ブロック315’において)識別する識別器ネットワークを含むことに加えて、サイクルGANはまた、特定の種類の異常を描写する偽画像および実画像(例えば、実腫瘍存在画像305’および偽腫瘍存在画像310)を(ブロック315において)識別する別の識別器ネットワークを含む。識別器ネットワークおよび他の識別器ネットワークのそれぞれは、1つ以上の畳み込み層および活性化層を含むことができる。識別器ネットワークのアーキテクチャは、他の識別器ネットワークのアーキテクチャと同じであってもよい。
各生成器ネットワーク(GXおよびGY)は、1つのドメインから画像を受信し、別のドメインで対応する画像を生成するように構成される(他のドメインは下付き文字によって示される)。GYは、特定の種類の生物学的異常(Xドメイン)のいかなる描写も含まない実画像305を受信し、特定の種類の生物学的異常(Yドメイン)の描写を含む対応する偽画像310を生成するように構成される。一方、GXは、特定の種類の生物学的異常(Yドメイン)の描写を含む実画像305’を受信し、特定の種類の生物学的異常(Xドメイン)の描写を欠く対応する画像310’を生成するように構成される。
各識別器ネットワークは、(生成器ネットワークによって生成された)偽画像を処理して、画像が現実であるかどうかを予測する。各識別器ネットワークは、画像が現実であるかどうかを予測するために実画像を同様に処理する。各識別器ネットワークは、ドメイン固有である。したがって、例えば、識別器ネットワークDYは、特定の種類の生物学的異常を描写するために、生物学的異常を描写することが(例えば、画像に関連するメタデータを介して)知られているまたは(異常付加生成器ネットワークGYまたは予測器ネットワークPYによって)生成されている実画像または偽画像の予測を生成する(ブロック315において)。同様に、識別器ネットワークDXは、特定の種類の生物学的異常の描写を欠くために、所与の種類の生物学的異常の描写を欠いているとして(例えば、画像に関連するメタデータを介して)知られているまたは(異常除去生成器ネットワークGXまたは予測器ネットワークPXによって)生成されている実画像または偽画像の予測を生成する(ブロック315’において)。
偶然に対応する識別結果は、識別器ネットワークが実画像と偽画像とを区別することができず、したがって偽画像が高品質である可能性が高いことを示す。所与のドメインで動作する識別器ネットワークによって実行された識別の結果は、学習プロセスにおいて、対応する生成器ネットワークのパラメータを調整するために使用することができる。
サイクルGANが使用されて3次元画像を処理することができる。次いで、生成器および識別器ネットワークは、3次元畳み込み層を含むことができる。次いで、ネットワークは、スライスを横切って延在する特徴が、画像が特定の種類の生物学的異常を描写するかどうか、および画像が特定の種類の生物学的異常を描写する場所をどのように予測するかを学習するように構成することができる。代替的または追加的に、3次元画像は、1次元ベクトルに再整形し、2次元畳み込み層を使用して処理することができる。
ニューラルネットワークを使用して3次元画像を処理することは、かなりの量のメモリを使用することができることが理解されよう。したがって、関心のある生物学的領域(例えば、器官)が大きい場合、サイズを縮小するために器官をセグメント化するために前処理技術を実行することができる。代替的または追加的に、画像は、画像の空間解像度を低減するために前処理されてもよい。例えば、関心器官が肺である場合(他の器官と比較して肺のサイズが比較的大きい場合)、器官をセグメント化し、解像度を下げるように再サンプリングすることが有用とすることができる。
II.C.2.b.リサイクルGAN
GAN訓練コントローラ135によって訓練されたGANは、複数の生成器ネットワーク、複数の識別器ネットワーク、および複数の予測器ネットワークを含むリサイクルGANを含むことができる。図4は、リサイクルGANにおけるネットワークおよびネットワーク接続の表現を示している。図2のサイクルGANに描写されたネットワークに加えて、図4に示されたリサイクル-GANは、複数の予測器ネットワーク、PXおよびPYを含む。
GAN訓練コントローラ135によって訓練されたGANは、複数の生成器ネットワーク、複数の識別器ネットワーク、および複数の予測器ネットワークを含むリサイクルGANを含むことができる。図4は、リサイクルGANにおけるネットワークおよびネットワーク接続の表現を示している。図2のサイクルGANに描写されたネットワークに加えて、図4に示されたリサイクル-GANは、複数の予測器ネットワーク、PXおよびPYを含む。
各予測器ネットワークは、1つ以上の畳み込み層および/またはU-netを含むことができる。各予測器ネットワークは、予測器ネットワークに入力された1つ以上の画像とは異なるコンテキストで取得された画像を予測する。例えば、予測器ネットワークは、畳み込みニューラルネットワークを含むことができ、および/または予測器ネットワークによって受信された画像の視点、イメージングモダリティ、位置、ズーム、および/またはスライスと比較して異なる視点、イメージングモダリティ、位置、ズーム、および/またはスライスに対応する画像を生成することができる。例えば、予測器PXは、隣接するスライスxtの画像に基づいてスライスxt+1の画像を予測することができ、PYは、隣接するスライスysの画像に基づいてスライスys+1の画像を予測することができる。
図5は、本発明のいくつかの実施形態にかかる、ニューラルネットワーク構成において様々な偽画像をどのように生成および評価することができるかを示している。この描写では、各長方形のボックスは、(実または偽)画像を表し、各菱形は、識別を表す。
第1および第2の実異常非存在画像505のそれぞれは、サンプルの第1のスライスおよび第2のスライス(それぞれ)を示し、特定の種類の生物学的異常の描写を欠いている。GYは、特定の種類の生物学的異常の描写を追加することによって、第1および第2の実異常非存在画像505を使用して、第1および第2のスライスの第1および第2の偽異常存在画像510を生成する。PYは、第1のスライス510の第1および第2の偽異常存在画像を使用して、第3のスライスの第3の偽異常存在画像515を生成する。ブロック520において、DYは、第3の偽異常存在画像515が現実であるか偽であるかを予測する。DYは、さらに、別のサンプルの他の第1および第2のスライスの第1および第2の実異常存在画像505’が現実であるか偽であるかを予測する。図示されていないが、DYは、第1および第2のスライスの第1および第2の偽異常存在画像505が現実であるか偽であるかをさらに予測することができる。(例えば、再現率統計量に基づく)識別からのフィードバックは、GYにフィードバックすることができる。
第3のスライスの第3の偽異常存在画像515がGXに供給され、これにより、第3のスライスの周期的な偽異常非存在画像525を生成する。PXは、第1および第2の実異常非存在画像505を使用して、第3のスライドの別の偽異常非存在画像530を生成する。ブロック535において、偽異常非存在画像525および530(第3のスライスに対応する)が互いに比較されて、PXの損失を識別することができる。さらに、540において、第3のスライド525の周期的な偽異常非存在画像が、第3のスライスの第3の実異常非存在画像535と比較されて、サイクル損失を決定することができる。
図5は、対称的な動作を表している。より具体的には、他のサンプルの他の第1および第2のスライスの第1および第2の実異常存在画像505’は、他の第1および第2のスライスの第1および第2の偽異常非存在画像510’を生成するGXに供給される。PXは、第1および第2の偽異常非存在画像510’を使用して、他方のサンプル515’の第3のスライスの第3の偽異常非存在画像515’を生成することができる。ブロック520’において、DXは、第3の偽異常非存在画像515’が現実であるか偽であるかを予測する。DXは、さらに、第1および第2の実異常非存在画像505が現実であるか偽であるかを予測する。図示されていないが、DXは、他の第1および第2のスライスの第1および第2の偽異常非存在画像510’が現実であるか偽であるかをさらに予測することができる。(例えば、再現率統計量に基づく)識別からのフィードバックは、GXにフィードバックすることができる。
他方の第3のスライスの第3の偽異常非存在画像515’は、第3のスライスの周期的な偽異常存在画像525’を生成するGYに供給される。PYは、第1および第2の実異常存在画像505’を使用して、別の第3のスライドの別の偽異常存在画像530’を生成する。ブロック535’において、偽異常存在画像525’および530’(他の第3のスライスに対応する)が互いに比較されて、PYの損失を識別することができる。さらに、540’において、他の第3のスライドの周期的な偽異常存在画像525’が第3のスライスの第3の実異常存在画像535’と比較されて、サイクル損失を決定することができる。
図6A~図6Bは、リサイクルGANにおいてどのように様々な種類の損失が生じることができるかを示している。図6Aに例示されるように、識別器ネットワークおよび予測器ネットワークが全体的な訓練および逆伝播に関与しても、それらの重みは、識別結果に応答して更新される必要はない。むしろ、識別結果は、対応する生成器ネットワークの重みのみの更新を選択的にトリガすることができる。しかしながら、識別器ネットワークを介して流れる逆伝播により、その重みが生成器訓練において考慮され、これにより、識別器を超える何らかの利点を生成器訓練に与える。(図6A)
生成器ネットワークが偽画像を生成するために使用されるとしても、生成器ネットワークは、アーキテクチャ内の対応する識別器の前にある。したがって、生成器重みは、識別器訓練にアクセスできない場合がある。(図6B)
リサイクルGANが使用されて、2次元画像のセットを処理することができる。次いで、生成器および識別器ネットワークは、2次元畳み込み層を含むことができる。予測器ネットワークは、ドメイン間に弱いコヒーレンス(例えば、スライス)を導入することを容易にし、その結果、ネットワークは、(例えば、複数のスライスによって包含される体積にわたって)解剖学的組織を学習することができ、その後、より現実的に(2Dスライスのみであるためにその解剖学的組織を欠いている)偽画像を生成することができ、実画像と偽画像とを区別することができ、その後、偽画像の生成をさらに改善することを容易にすることができる。
II.C.3.生成器ネットワークコントローラ
GAN訓練コントローラ135は、完全GANネットワークを訓練することができるが、その後、生成器ネットワークコントローラ140は、医用画像を評価するためにGANからの単一の生成器ネットワークを使用することができる。より具体的には、単一の生成器ネットワークは、特定の種類の生物学的異常(例えば、腫瘍または病変)を描写する入力画像を受信し、特定の種類の生物学的異常の描写を欠く修正画像を生成するものを含むことができる。
GAN訓練コントローラ135は、完全GANネットワークを訓練することができるが、その後、生成器ネットワークコントローラ140は、医用画像を評価するためにGANからの単一の生成器ネットワークを使用することができる。より具体的には、単一の生成器ネットワークは、特定の種類の生物学的異常(例えば、腫瘍または病変)を描写する入力画像を受信し、特定の種類の生物学的異常の描写を欠く修正画像を生成するものを含むことができる。
II.C.4.サイズ検出器
次いで、サイズ検出器145は、異常除去生成器ネットワークコントローラ140によって生成された1つ以上の修正画像(すなわち、特定の種類の生物学的異常の描写を欠く)および入力画像(例えば、特定の種類の生物学的異常を描写する)のそれぞれを受信し、生物学的異常のサイズを予測するように構成することができる。例えば、サイズ検出器145は、入力画像から修正画像を減算することができる。場合によっては、サイズ検出器145は、最初に差分画像を処理することができる(例えば、1つ以上の空間フィルタおよび/または閾値を適用するために)。
次いで、サイズ検出器145は、異常除去生成器ネットワークコントローラ140によって生成された1つ以上の修正画像(すなわち、特定の種類の生物学的異常の描写を欠く)および入力画像(例えば、特定の種類の生物学的異常を描写する)のそれぞれを受信し、生物学的異常のサイズを予測するように構成することができる。例えば、サイズ検出器145は、入力画像から修正画像を減算することができる。場合によっては、サイズ検出器145は、最初に差分画像を処理することができる(例えば、1つ以上の空間フィルタおよび/または閾値を適用するために)。
予測サイズは、差分画像において特定された領域(例えば、入力画像が2次元画像である場合)のサイズであってもよく、またはボリューム(例えば、入力画像が3次元画像である場合)のサイズであってもよい。例えば、サイズ検出器145は、各ピクセルまたはボクセルについて、強度条件(例えば、ピクセルまたはボクセルの強度が0に等しくないときに満たされるように構成された条件、またはピクセルまたはボクセルの強度が所定の開範囲または閉範囲内にあるときに満たされるように構成された条件)が満たされたかどうかを判定することができる。予測サイズは、条件が満たされたピクセルまたはボクセルの量に基づいて定義されてもよい。あるいは、各ピクセルまたはボクセルについて、条件が満たされたかどうかを示すバイナリ画像が生成されてもよい。次いで、条件が満たされたピクセルまたはボクセルが(例えば、十分な量および/または形状の)他のピクセルに隣接しているときに通過するように、ローパス空間フィルタを適用することができる。フィルタリングされた画像は、別のバイナリ画像を含むことができる。次いで、フィルタリングされた画像を処理することによって(例えば、フィルタリングされた画像内のピクセルまたはボクセルにわたって閾値化、合計、または平均化することによって)、生物学的異常の予測サイズを決定することができる。
場合によっては、サイズ検出器145は、複数の元の画像および修正された2次元画像を処理し、サイズ検出器145は、複数の画像の処理に基づいてサイズを予測する。一例として、2次元画像ごとに生物学的異常面積を推定することができ、面積を集約して生物学的異常の体積を推定することができる。別の例として、複数の入力画像(例えば、特定の種類の生物学的異常を描写する)が処理されて3次元異常存在画像を生成し、複数の修正画像(例えば、特定の種類の生物学的異常の描写を欠いている)が処理されて3次元異常非存在画像を生成し、サイズ検出器145は、3次元異常存在画像および3次元異常非存在画像に基づいて生物学的異常のサイズを推定することができる。例えば、サイズ検出器145は、3次元異常存在画像から3次元異常非存在画像を減算することができる。結果として得られる画像は、(例えば、閾値化、フィルタリングおよび/または平滑化を介して)処理することができるが、処理する必要はない。生物学的異常のサイズ(例えば、面積または体積)を予測することができる。場合によっては、予測サイズは、元の画像および/または修正画像の解像度および/またはサイズに基づいてもよく、および/またはそれに依存してもよい。さらに別の例として、複数の直交する次元のそれぞれについて、実腫瘍存在画像にアクセスすることができ、偽腫瘍非存在画像を生成することができ、実腫瘍存在画像から偽腫瘍非存在画像を減算することによって予測腫瘍描写を生成することができる。次いで、サイズ検出器145は、予測される腫瘍描写の最長直径を決定することができ、最長直径は、3つの最長直径の最大値であるように定義することができる。
例えば、図7は、本発明のいくつかの実施形態にかかる、実画像と偽画像との間の比較に基づいて、生物学的異常の空間的特性をどのように推定することができるかを示している。具体的には、左画像は、病変および周囲組織の描写を含む初期画像を示す。中央の画像は、損傷を除去するように構成された訓練された異常除去生成器ネットワークによって生成された偽画像を示す。右画像は、対応する初期画像から偽画像を減算した結果を示す。これらの画像は、病変を特徴付けるために処理することができる。例えば、所定の閾値を上回る閾値を有するピクセルをカウントすることができる。カウントは、画像のスケールおよび/または画像の解像度に基づいて正規化またはスケーリングされてもよく、正規化またはスケーリングされたカウントは、撮像されたスライスの総病変サイズを示すことができる。場合によっては、このプロセスは、異なるスライスに対応する画像にわたって繰り返され、画像にわたって合計を実行することによって腫瘍体積を推定することができる。
実画像および偽画像に基づいて生物学的異常のサイズを予測することに加えて、またはその代わりに、実画像および偽画像が使用されて、実画像に描写された生物学的異常をセグメント化することができる。セグメンテーション結果は、画像のどの部分が特定の種類の生物学的異常を描写するかを識別することができる。例えば、セグメンテーション結果は、元の画像上のオーバーレイを含むことができ、これは、元の画像のどの部分が特定の種類の生物学的異常を描写するものとして予測されたかを示す。
画像処理システム125は、サイズ(および/またはセグメンテーション結果)をユーザ装置150に返すことができる。ユーザ装置150は、生物学的異常に対応する推定されたサイズを要求する装置、または生物学的異常を描写する1つ以上の画像を提供する装置を含むことができる。ユーザ装置150は、撮像された被験者を処置および/または評価している医療専門家および/または介護提供者に関連付けることができる。場合によっては、画像処理システム125は、生物学的異常画像生成システム105のサイズの推定値を返すことができる(例えば、その後、推定された体積をユーザ装置に送信することができる)。場合によっては、推定されたサイズを出力するのではなく、またはそれに加えて、画像処理システム125は、(例えば、ユーザ装置150へ)処置推奨を出力する。例えば、画像処理システム125は、推定されたサイズ(例えば、潜在的には、生物学的異常の1つ以上の以前の推定されたサイズ)に少なくとも部分的に基づいて処置推奨を識別するために、1つ以上の規則を使用することができる。例示すると、規則は、閾値を含むことができ、所与の被験者の生物学的異常の推定されたサイズが所与の被験者の生物学的異常の以前の推定されたサイズよりも少なくともX%小さくない場合(例えば、定義された期間に関連付けられる)、処置戦略を変更する推奨が考慮されるべきであることを示すことができる。
場合によっては、生物学的異常特徴付けネットワーク100が使用されて、複数の生物学的異常のそれぞれのサイズを推定することができることが理解されよう。例えば、異常除去生成器ネットワークは、入力画像が複数の画像を描写する場合であっても、いかなる脳病変も描写しない修正画像を生成するように訓練されてもよい。次いで、入力画像と修正画像との間の差が使用されて、脳病変の累積サイズを推定することができる。
III.例示的な生物学的異常特徴付けネットワーク
図8は、生物学的異常のサイズを推定するための例示的なプロセス800のフローチャートを示している。ブロック805において、画像処理システム125は、医用画像にアクセスする。医用画像は、生物学的異常(例えば、腫瘍または病変)の少なくとも一部を描写する。医用画像は、2次元画像であってもよく、または3次元画像であってもよい。医用画像は、CT画像、MRI画像、X線画像などとすることができる。医用画像は、画像生成システム105によって収集および/またはアクセスされていてもよい。
図8は、生物学的異常のサイズを推定するための例示的なプロセス800のフローチャートを示している。ブロック805において、画像処理システム125は、医用画像にアクセスする。医用画像は、生物学的異常(例えば、腫瘍または病変)の少なくとも一部を描写する。医用画像は、2次元画像であってもよく、または3次元画像であってもよい。医用画像は、CT画像、MRI画像、X線画像などとすることができる。医用画像は、画像生成システム105によって収集および/またはアクセスされていてもよい。
ブロック810において、生成器ネットワークコントローラ140は、異常除去生成器ネットワークを使用して医用画像の修正画像を生成する。修正画像は、生物学的異常の少なくとも一部の描写を欠くように(異常除去生成器ネットワークによって)生成または予測することができる。異常除去生成器ネットワークは、GANを訓練するGAN訓練コントローラ135によって訓練されていてもよい。修正画像は、前処理された画像の処理(生成器ネットワークコントローラ140による)に基づいて生成することができる。GANは、少なくとも異常除去生成器ネットワークおよび1つ以上の識別器ネットワークを含んでいてもよい。GANはまた、異常付加生成器ネットワークおよび/または1つ以上の予測ネットワークを含んでいてもよい。
ブロック815において、医用画像および修正画像に基づいて、生物学的異常のサイズが推定される(例えば、サイズ検出器145によって)。例えば、元の画像(またはその前処理されたバージョン)が修正画像から減算されて残りの画像を生成する。次いで、残りの画像は、(例えば、潜在的にフィルタリングおよび/または閾値処理を適用した後に)(例えば)残りの画像内のボクセルまたはピクセルを合計または平均化することによって処理することができる。
ブロック820において、生物学的異常の推定されたサイズが出力される(例えば、画像処理システム125によって、および/またはユーザ装置150に)。出力は、推定されたサイズを送信すること、および/または推定されたサイズを提示することを含むことができる。場合によっては、出力は、推定されたサイズに基づいて結果(例えば、処置推奨)を送信および/または提示することを含む。
V.実施例
V.A.実施例1
図9は、病変を検出するためにサイクルGANを使用して使用および生成された画像の例を示している。図9の上部画像は、被験者の右肺の3つの実際の直交CTスライスを示している。スライスの視覚化は、スライス間の空間的関係を表すために、3次元空間で交差するスライスを示す。実際の直交CTスライスのそれぞれは、病変の描写を含んでいた。
V.A.実施例1
図9は、病変を検出するためにサイクルGANを使用して使用および生成された画像の例を示している。図9の上部画像は、被験者の右肺の3つの実際の直交CTスライスを示している。スライスの視覚化は、スライス間の空間的関係を表すために、3次元空間で交差するスライスを示す。実際の直交CTスライスのそれぞれは、病変の描写を含んでいた。
図2に表されるようなアーキテクチャを有するサイクルGANモデルが、訓練データを使用して訓練された。次いで、訓練された異常除去生成器ネットワークGXは、3つの実際のCTスライスのそれぞれを処理して、病変の描写を欠くと予測される対応する偽のCT画像を生成した。これらの偽腫瘍非存在画像は、図9の中央画像の3次元空間において興味深いものとして示されている。
実画像のそれぞれについて、対応する偽画像が実画像から減算されて、腫瘍の予測される2次元描写を生成した。図9の下部画像は、3次元空間で交差する腫瘍予測画像を示している。3次元のそれぞれにおける腫瘍のサイズを予測することは、腫瘍の最長直径の推定を容易にすることができる。例えば、腫瘍描写の最長直径は、3つの腫瘍予測画像のそれぞれについて推定することができ、最長直径は、3つの最長直径の最大値であると定義することができる。
V.B.実施例2
図10は、サイクル-GANアルゴリズムを使用することによって、または4人の人間の判読者によって行われる例示的な病変検出を示している。図10に示すマスクなし画像は、図9の上部画像に示す画像と同じである。しかしながら、ここでは、画像は交差するのではなく、並んで配置される。残りの画像は同じマスクなし画像を示すが、予測された病変描写がオーバーレイされている。アルゴリズム画像に示される予測病変描写は、図9の下部画像に示されるものと同じであり、マスクなし画像を偽異常非存在画像(サイクルGANを使用して訓練された異常除去生成器ネットワークによって生成された)と比較することによって計算された。
図10は、サイクル-GANアルゴリズムを使用することによって、または4人の人間の判読者によって行われる例示的な病変検出を示している。図10に示すマスクなし画像は、図9の上部画像に示す画像と同じである。しかしながら、ここでは、画像は交差するのではなく、並んで配置される。残りの画像は同じマスクなし画像を示すが、予測された病変描写がオーバーレイされている。アルゴリズム画像に示される予測病変描写は、図9の下部画像に示されるものと同じであり、マスクなし画像を偽異常非存在画像(サイクルGANを使用して訓練された異常除去生成器ネットワークによって生成された)と比較することによって計算された。
残りの画像は、4人の人間の判読者のそれぞれによって行われた病変の注釈を示す。特に、異常除去生成器ネットワークを使用することによって識別された予測病変領域は、人間の判読者によって識別された病変領域と同様であった。
V.C.実施例3
訓練データセットは、癌病変を有する胸ボリュームの1,300個の全身CT画像および癌を含まない胸ボリュームの300個の全身CT画像を含むように定義された。各画像は、画像が癌(1つ以上の病変を有する)を有する胸ボリュームに対応するか否かを示すようにラベル付けされた。データは、訓練および試験のために80:20に分割された。図4に示すようなアーキテクチャを有するモデルが、訓練データを使用して訓練された。
訓練データセットは、癌病変を有する胸ボリュームの1,300個の全身CT画像および癌を含まない胸ボリュームの300個の全身CT画像を含むように定義された。各画像は、画像が癌(1つ以上の病変を有する)を有する胸ボリュームに対応するか否かを示すようにラベル付けされた。データは、訓練および試験のために80:20に分割された。図4に示すようなアーキテクチャを有するモデルが、訓練データを使用して訓練された。
図11は、熟練した放射線科医からの病変検出と比較して、訓練されたモデルによる病変検出出力を比較することによる、試験データの処理からの結果を示している。特に、描写された結果はかなり一貫している。このモデルは、0.94のROIレベルの感度および0.89の病変レベルの感度を有していた。セグメンテーションは、0.2のダイス類似度係数を達成した。
VI.さらなる考察
本開示のいくつかの実施形態は、1つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、1つ以上のデータプロセッサ上で実行されると、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部および/または1つ以上のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部および/または1つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
本開示のいくつかの実施形態は、1つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、1つ以上のデータプロセッサ上で実行されると、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部および/または1つ以上のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部および/または1つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。
説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態の説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることが理解される。
説明では、実施形態の完全な理解を提供するために具体的な詳細が示されている。しかしながら、これらの具体的な詳細なしで実施形態を実施することができることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。
潜在的に特許請求可能な主題の例は、以下を含むが、これらに限定されるものではない。
潜在的に特許請求可能な主題の例は、以下を含むが、これらに限定されるものではない。
Claims (22)
- コンピュータ実装方法であって、
被験者に対応し、生物学的異常の少なくとも一部を描写する医用画像にアクセスすることであって、前記生物学的異常が特定の種類の生物学的異常である、医用画像にアクセスすることと、
前記医用画像に基づいて、かつ異常除去生成器ネットワークを使用して修正画像を生成することであって、前記異常除去生成器ネットワークが、前記特定の種類の生物学的異常の注釈を欠く訓練データセットを使用して訓練されている、修正画像を生成することと、
前記医用画像および前記修正画像に基づいて、前記生物学的異常のサイズを推定することと、
前記生物学的異常の推定された前記サイズを出力することと
を含む、コンピュータ実装方法。 - 敵対的生成ネットワークを訓練することによって前記異常除去生成器ネットワークを訓練することをさらに含み、前記敵対的生成ネットワークが、
前記異常除去生成器ネットワークと、
1つ以上の識別器ネットワークであって、前記1つ以上の識別器ネットワークのそれぞれが、実画像と生成器ネットワークによって生成された画像とを識別するように構成および訓練され、前記生成器ネットワークが、前記異常除去生成器ネットワークまたは異常加算生成器ネットワークを含む、1つ以上の識別器ネットワークと
を含む、請求項1に記載のコンピュータ実装方法。 - 前記異常除去生成器ネットワークのパラメータのセットが、敵対的生成ネットワークを訓練することによって定義されたものであり、前記敵対的生成ネットワークが、
前記除去生成器ネットワークと、
1つ以上の識別器ネットワークであって、前記1つ以上の識別器ネットワークのそれぞれが、実画像と生成器ネットワークによって生成された画像とを識別するように構成および訓練され、前記生成器ネットワークが、前記異常除去生成器ネットワークまたは異常加算生成器ネットワークを含む、1つ以上の識別器ネットワークと
を含む、請求項1に記載のコンピュータ実装方法。 - 敵対的生成ネットワークを訓練することによって前記異常除去生成器ネットワークを訓練することであって、前記敵対的生成ネットワークが、
前記異常除去生成器ネットワークと、
異常加算生成器ネットワークと、
第1の識別器ネットワークであって、
前記特定の種類の生物学的異常の生物学的異常の少なくとも一部を描写するものとしてラベル付けされる実画像と、
前記異常加算生成器ネットワークによって生成された偽画像と、の間を識別するように構成され、
前記異常加算生成器ネットワークが、前記第1の識別器ネットワークによって生成された第1の識別結果に基づくフィードバックを受信する、第1の識別器ネットワークと、
第2の識別器ネットワークであって、
前記特定の種類の生物学的異常のいかなる生物学的異常も描写しないものとしてラベル付けされる実画像と、
前記異常除去生成器ネットワークによって生成された偽画像と、の間を識別するように構成され、
前記異常除去生成器ネットワークが、前記第1の識別器ネットワークによって生成された第1の識別結果に基づくフィードバックを受信する、第2の識別器ネットワークと
を含む、前記異常除去生成器ネットワークを訓練することさらに含む、請求項1に記載のコンピュータ実装方法。 - 前記異常除去生成器ネットワークのパラメータのセットが、敵対的生成ネットワークを訓練することによって定義されたものであり、前記敵対的生成ネットワークが、
前記異常除去生成器ネットワークと、
異常加算生成器ネットワークと、
第1の識別器ネットワークであって、
前記特定の種類の生物学的異常の別の異常の少なくとも一部を描写するものとしてラベル付けされた実画像と、
少なくとも前記異常加算生成器ネットワークによって生成された偽画像と、の間を識別するように構成され、
前記異常加算生成器ネットワークが、前記第1の識別器ネットワークによって生成された第1の識別結果に基づくフィードバックを受信したものである、第1の識別器ネットワークと、
第2の識別器ネットワークであって、
前記特定の種類の生物学的異常のいかなる生物学的異常も描写しないものとしてラベル付けされた実画像と、
前記異常除去生成器ネットワークによって生成された偽画像と、の間を識別するように構成され、
前記異常除去生成器ネットワークが、前記第1の識別器ネットワークによって生成された第1の識別結果に基づくフィードバックを受信したものである、第2の識別器ネットワークと
を含む、請求項1に記載のコンピュータ実装方法。 - 敵対的生成ネットワーク(GAN)を訓練することによって前記異常除去生成器ネットワークを訓練することであって、
前記被験者の少なくとも一部を描写し、かつ前記特定の種類の生物学的異常の別の生物学的異常の少なくとも一部を描写する実異常存在画像を、異常除去生成器ネットワークに入力することと、
少なくとも前記異常除去生成器ネットワークおよび前記実異常存在画像を使用して、偽異常非存在画像を生成することと、
前記GANの識別器ネットワークを使用して、前記偽異常非存在画像が実際のサンプルの真の画像に対応するかまたは偽画像に対応するかを予測するための識別を実行することと、
前記識別器ネットワークによって実行された前記識別に基づいて、前記異常除去生成器ネットワークの1つ以上の重みを調整することと
によって、前記異常除去生成器ネットワークを訓練することをさらに含む、請求項1に記載のコンピュータ実装方法。 - 前記GANの前記異常除去生成器ネットワークに、前記偽異常非存在画像を入力することと、
異常加算生成器ネットワークおよび前記偽異常非存在画像を使用して、周期的な偽異常存在画像を生成することと、
前記周期的な偽異常存在画像を前記実異常存在画像と比較することと、
前記周期的な偽異常存在画像と前記実異常存在画像との前記比較に基づいてサイクル損失を決定することと
をさらに含む、請求項6に記載のコンピュータ実装方法。 - 前記医用画像を前処理して、1つ以上のカラーチャネルのそれぞれの分布を調整することをさらに含み、前記修正画像が、前処理された前記医用画像に基づいて生成される、請求項1から7のいずれか一項に記載のコンピュータ実装方法。
- 特定の器官のセグメンテーションを実行するために前記医用画像を前処理することをさらに含み、前記修正画像が前処理された前記医用画像に基づいて生成される、請求項1に記載のコンピュータ実装方法。
- 前記生物学的異常の前記サイズを推定することが、前記医用画像から前記修正画像を減算することを含む、請求項1に記載のコンピュータ実装方法。
- 前記特定の種類の生物学的異常が病変または腫瘍である、請求項1に記載のコンピュータ実装方法。
- 前記医用画像が、CT画像、X線画像、またはMRI画像を含む、請求項1に記載のコンピュータ実装方法。
- 前記医用画像が3次元画像を含む、請求項1に記載のコンピュータ実装方法。
- 前記異常-除去生成器ネットワークが、畳み込みニューラルネットワークを含む、請求項1に記載のコンピュータ実装方法。
- 前記訓練データセットが、前記特定の種類の生物学的異常の任意の描写された異常の境界、面積、または体積の任意の識別を欠いていたものである、請求項1に記載のコンピュータ実装方法。
- ユーザ装置によって、かつコンピューティングシステムに対して、被験者に対応する医用画像を利用し、かつ生物学的異常の一部を描写することであって、前記生物学的異常が特定の種類の生物学的異常である、被験者に対応する医用画像を利用し、かつ生物学的異常の一部を描写することと、
前記ユーザ装置において、かつ前記コンピューティングシステムから、前記生物学的異常の推定されたサイズを受信することであって、前記コンピューティングシステムが、
前記医用画像に基づいて、かつ異常除去生成器ネットワークを使用して修正画像を生成することであって、前記異常除去生成器ネットワークが、前記特定の種類の生物学的異常の注釈を欠く訓練データセットを使用して訓練されている、修正画像を生成することと、
前記医用画像および前記修正画像に基づいて前記生物学的異常の前記推定されたサイズを決定することと
によって、前記推定されたサイズを決定したものである、前記生物学的異常の推定されたサイズを受信すること
を含む、方法。 - 前記推定されたサイズに基づいて、前記被験者についての診断推奨または処置推奨を選択することをさらに含む、請求項16に記載の方法。
- 選択された前記診断推奨または処置推奨を前記被験者に伝達することをさらに含む、請求項17に記載の方法。
- 医用イメージングシステムを使用して前記医用画像を収集することをさらに含む、請求項16に記載の方法。
- 被験者の処置における医用画像に描写された生物学的異常の推定されたサイズの使用であって、前記推定されたサイズが、
コンピューティングシステムによって、前記医用画像に基づいて、かつ異常除去生成器ネットワークを使用して修正画像を生成することであって、前記異常除去生成器ネットワークが、特定の種類の生物学的異常の注釈を欠くと識別された訓練データセットを使用して訓練されている、修正画像を生成することと、
前記コンピューティングシステムによって、前記医用画像および前記修正画像に基づいて前記生物学的異常の前記サイズを推定することと
を含む動作のセットを実行するコンピューティング装置によって提供される、使用。 - システムであって、
1つ以上のデータプロセッサと、
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が前記1つ以上のデータプロセッサ上で実行されると、前記1つ以上のデータプロセッサに請求項1から19のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体と
を備える、システム。 - 1つ以上のデータプロセッサに請求項1から19のいずれか一項に記載の方法を実行させるように構成された命令を含む、非一時的機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202062965515P | 2020-01-24 | 2020-01-24 | |
US62/965,515 | 2020-01-24 | ||
US202062966084P | 2020-01-27 | 2020-01-27 | |
US62/966,084 | 2020-01-27 | ||
PCT/US2021/014611 WO2021150889A1 (en) | 2020-01-24 | 2021-01-22 | Weakly supervised lesion segmentation |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023511663A true JP2023511663A (ja) | 2023-03-22 |
Family
ID=74626229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022544055A Pending JP2023511663A (ja) | 2020-01-24 | 2021-01-22 | 弱教師あり病変セグメンテーション |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220351387A1 (ja) |
EP (1) | EP4094223A1 (ja) |
JP (1) | JP2023511663A (ja) |
KR (1) | KR20220132544A (ja) |
CN (1) | CN115004225A (ja) |
WO (1) | WO2021150889A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115131364B (zh) * | 2022-08-26 | 2022-11-25 | 中加健康工程研究院(合肥)有限公司 | 一种基于Transformer的医学图像分割方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10636141B2 (en) * | 2017-02-09 | 2020-04-28 | Siemens Healthcare Gmbh | Adversarial and dual inverse deep learning networks for medical image analysis |
US11403750B2 (en) * | 2018-06-13 | 2022-08-02 | Siemens Healthcare Gmbh | Localization and classification of abnormalities in medical images |
-
2021
- 2021-01-22 CN CN202180010782.5A patent/CN115004225A/zh active Pending
- 2021-01-22 EP EP21705805.6A patent/EP4094223A1/en active Pending
- 2021-01-22 JP JP2022544055A patent/JP2023511663A/ja active Pending
- 2021-01-22 WO PCT/US2021/014611 patent/WO2021150889A1/en unknown
- 2021-01-22 KR KR1020227026102A patent/KR20220132544A/ko active Search and Examination
-
2022
- 2022-07-13 US US17/864,227 patent/US20220351387A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4094223A1 (en) | 2022-11-30 |
WO2021150889A1 (en) | 2021-07-29 |
US20220351387A1 (en) | 2022-11-03 |
CN115004225A (zh) | 2022-09-02 |
KR20220132544A (ko) | 2022-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bi et al. | Synthesis of positron emission tomography (PET) images via multi-channel generative adversarial networks (GANs) | |
US10489907B2 (en) | Artifact identification and/or correction for medical imaging | |
US20080021301A1 (en) | Methods and Apparatus for Volume Computer Assisted Reading Management and Review | |
US11594005B2 (en) | System, method and apparatus for assisting a determination of medical images | |
US11151722B2 (en) | System and method for estimating synthetic quantitative health values from medical images | |
US20150356733A1 (en) | Medical image processing | |
CN111666966B (zh) | 医学成像中基于人工智能的材料分解 | |
CN111311536A (zh) | 医学图像数据 | |
US20190035075A1 (en) | Method and apparatus for classifying a data point in imaging data | |
JP2022539063A (ja) | スキャナ内患者データ取得分析のための改良された医療スキャンプロトコル | |
Bendtsen et al. | X-ray computed tomography: semiautomated volumetric analysis of late-stage lung tumors as a basis for response assessments | |
US20090069665A1 (en) | Automatic Lesion Correlation in Multiple MR Modalities | |
Gadermayr et al. | Image-to-image translation for simplified MRI muscle segmentation | |
US20220351387A1 (en) | Weakly supervised lesion segmentation | |
US11058383B2 (en) | Apparatus for the detection of opacities in X-ray images | |
Rahmany et al. | A priori knowledge integration for the detection of cerebral aneurysm | |
Mihaylova et al. | A brief survey of spleen segmentation in MRI and CT images | |
Thamm et al. | Syncct: Synthetic non-contrast images of the brain from single-energy computed tomography angiography | |
Jiao et al. | Anatomy-aware self-supervised fetal MRI synthesis from unpaired ultrasound images | |
Lacerda et al. | A parallel method for anatomical structure segmentation based on 3d seeded region growing | |
KR102559805B1 (ko) | 범용성이 향상된 인공지능에 의한 의료영상 변환방법 및 그 장치 | |
Sungkhun et al. | Vertebral body segmentation using aggregate superpixels | |
Jaganathan et al. | MultiResolution 3D Magnetic Resonance Imaging Analysis for Prostate Cancer Imaging | |
Crainiceanu et al. | A tutorial for multisequence clinical structural brain MRI | |
Wang et al. | A Two-Stage Generative Model with CycleGAN and Joint Diffusion for MRI-based Brain Tumor Detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240119 |