JP2023514964A - 脳の磁気共鳴画像における白質高信号域の自動セグメント化のための方法およびシステム - Google Patents
脳の磁気共鳴画像における白質高信号域の自動セグメント化のための方法およびシステム Download PDFInfo
- Publication number
- JP2023514964A JP2023514964A JP2022543800A JP2022543800A JP2023514964A JP 2023514964 A JP2023514964 A JP 2023514964A JP 2022543800 A JP2022543800 A JP 2022543800A JP 2022543800 A JP2022543800 A JP 2022543800A JP 2023514964 A JP2023514964 A JP 2023514964A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- image
- convolutional neural
- layers
- convolutional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010072731 White matter lesion Diseases 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 30
- 210000004556 brain Anatomy 0.000 title claims abstract description 20
- 238000002595 magnetic resonance imaging Methods 0.000 title claims abstract description 12
- 230000011218 segmentation Effects 0.000 title description 13
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 103
- 238000012549 training Methods 0.000 claims description 31
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 230000009467 reduction Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 12
- 230000001575 pathological effect Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000007670 refining Methods 0.000 claims description 2
- 238000004513 sizing Methods 0.000 claims description 2
- 238000012886 linear function Methods 0.000 claims 1
- 230000006378 damage Effects 0.000 description 11
- 210000004885 white matter Anatomy 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000003902 lesion Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000002790 cross-validation Methods 0.000 description 3
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 208000037451 Leukoaraiosis Diseases 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006931 brain damage Effects 0.000 description 1
- 231100000874 brain damage Toxicity 0.000 description 1
- 208000029028 brain injury Diseases 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000005081 epithelial layer Anatomy 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000036449 good health Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002075 inversion recovery Methods 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000007119 pathological manifestation Effects 0.000 description 1
- 230000000069 prophylactic effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
Description
本発明は医用画像のコンピュータ支援解析の技術分野に関し、より詳細には、びまん性白質病変の体積に基づいて画像を自動的にセグメント化するための、磁気共鳴によって得られた画像の畳み込みニューラルネットワークによるプロセスに関し、特に、起こり得る脳損傷に関する放射線科医および神経科医の研究に役立つ。
現在、磁気共鳴画像法は、組織における異常を検出するために一般的に使用される予防診断ツールである。具体的には、神経放射線学の分野ではとりわけ白質損傷の診断において、専門医が磁気共鳴画像法を利用している。
上記の目的を達成し、上述の課題を解決するために、本発明は、第1の態様において、脳の磁気共鳴画像に存在する白質高信号域(white matter hyperintensities)をセグメント化する方法を説明する。すなわち、当該方法とは、脳の磁気共鳴画像中に存在する白質高信号域をセグメント化する方法であって、以下の各工程を含む;
-以前にトレーニングされたことのある畳み込みニューラルネットワークのアレイに脳の磁気共鳴画像を提供する工程と、
-前記画像における白質高信号域を含むボクセルを特定する工程と、
-前記畳み込みニューラルネットワークの各々および前記ボクセルの各々に対して、高信号域と特定されている信号域が、規定の病的高信号域に相当する確率を決定する工程と、
-前記ボクセルの各々に対して、前記工程で決定された全ての前記確率の重み付き平均(average)を算出する工程と、
-前記ボクセルの各々に対して、前記算出された確率の重み付き平均を、予め設定された閾値と比較する工程と、
-前記閾値を超える前記ボクセルを有する画像マスクを生成する工程と、
を含む。
前記前処理を行う工程は、
-前記画像の各2Dセクションのサイズを256×256のサイズにする工程と、
-以下の式(1)に基づいて、各2Dセクションの前記信号域の値を0~1の間でスケーリングする工程と、
-以下の式(2)に基づいて、トレーニングデータセットの平均を減算し、且つ前記トレーニングデータセットの標準偏差によって除算することによって、前記ボクセルの各々を標準化する工程と、
を含む。
- 符号化経路に配置された前記畳み込みレイヤ間に中間縮小レイヤを挿入することにより、前記画像を縮小する工程と、
- 復号化経路に配置された前記畳み込みレイヤ間に畳み込み転置レイヤを挿入することにより、前記画像を拡大する工程と、
- 深部監視レイヤによって前記畳み込みニューラルネットワークの出力を精緻化する工程と、
- シグモイド活性化関数によって確率マップを取得する工程と、
が想定される。
- 畳み込みニューラルネットワークアレンジメントと、
- プロセッサモジュールと、
を含み、
前記畳み込みニューラルネットワークアレンジメントは、脳の磁気共鳴画像を受け取り、前記画像における白質高信号域を含むボクセルを特定し、前記ネットワークの各々について、各ボクセルに対して特定された高信号域が、規定の病的高信号域に相当する確率を決定し、
前記プロセッサモジュールは、前記ボクセルの各々に対して決定された全ての前記確率の重み付き平均を算出し、前記ボクセルの各々について前記確率の重み付き平均を予め設定された閾値と比較し、当該閾値を超えるボクセルを有する画像マスクを生成する。
- 畳み込みオペレーションによって前記画像をフィルタリングするように構成された畳み込みレイヤと、
- 前記画像を縮小するように構成された、符号化経路内の前記畳み込みレイヤ間に挿入される縮小レイヤと、
- 前記画像を拡大するように構成された、復号化経路内の前記畳み込みレイヤ間に挿入される転置レイヤと、
- 前記符号化経路と前記復号化経路との間のボトルネックセクションと、
- 確率マップを生成するように構成されたシグモイド活性化レイヤと、
- 復号化経路の畳み込みレイヤの出力を結合するように構成された複数の深部監視レイヤと、
を含む。
前記残差畳み込みニューラルネットワークは、
- 畳み込みオペレーションによって前記画像をフィルタリングするように構成された複数の残差ブロックと、
- 前記画像を縮小するように構成された、符号化経路内の残差ブロックの間に挿入される複数の縮小レイヤと、
- 前記画像を拡大するように構成された、復号化経路内の残差ブロックの間に挿入される複数の転置レイヤと、
- 前記符号化経路と前記復号化経路との間のボトルネックセクションと、
- 確率マップを生成するように構成されたシグモイド活性化レイヤと、
- 前記復号化経路の畳み込みレイヤの出力を結合するように構成された複数の深部監視レイヤと、
を含む。
前記拡張畳み込みニューラルネットワークは、
-畳み込みオペレーションによって、前記画像をフィルタリングするように構成された複数の畳み込みレイヤと、
- 前記画像を縮小するように構成された、符号化経路内の畳み込みレイヤの間に挿入された複数の縮小レイヤと、
- 前記画像を拡大するように構成された、復号化経路内の畳み込みレイヤの間に挿入される複数の転置レイヤと、
- 前記符号化経路と前記復号化経路との間のボトルネック部であって、異なる拡張速度を有する複数の拡張畳み込みレイヤを含むボトルネック部と、
- 確率マップを生成するように構成されたシグモイド活性化レイヤと、
- 前記復号化経路の畳み込みレイヤの出力を結合するように構成された複数の深部監視レイヤと、
を含む。
- 畳み込みオペレーションによって前記画像をフィルタリングするように構成された複数の残差ブロックと、
- 前記画像を縮小するように構成された、符号化経路内の残差ブロックの間に挿入される複数の縮小レイヤと、
- 前記画像を拡大するように構成された、復号化経路内の残差ブロックの間に挿入される複数の転置レイヤと;
- 前記符号化経路と前記復号化経路との間のボトルネック部であって、異なる拡張速度を有する複数の拡張畳み込みレイヤを含むボトルネック部と、
- 確率マップを生成するように構成されたシグモイド活性化レイヤと、
- 前記復号化経路の前記畳み込みレイヤの出力を結合するように構成された複数の深部監視レイヤと、
を含む。
-以前にトレーニングされたことのある畳み込みニューラルネットワーク(11、12、13、14)のアレイに脳の磁気共鳴画像(1)を提供する工程と、
- 前記画像における白質高信号域を含むボクセルを特定する工程と、
- 前記畳み込みニューラルネットワークの各々および前記ボクセルの各々に対して、高信号域と特定されている信号域が、規定の病的高信号域に相当する確率を決定する工程と、
- 前記ボクセルの各々に対して、前記工程で決定された全ての前記確率の重み付き平均を算出する工程と、
- 前記ボクセルの各々に対して、前記算出された確率の重み付き平均を、予め設定された閾値と比較する工程と、
- 前記閾値を超える前記ボクセルを有する画像マスクを生成する工程と、
を含む。
本発明の説明を完了するために、および本発明の好ましい実施形態による本発明の特徴をより良く理解するのを助けるために、図面のセットが添付され、以下の図面は、例示的かつ非限定的な様式で示される:
- 図1は、本発明の実施形態のブロック図を示す。
- 図2は、本発明で使用される標準畳み込みニューラルネットワークの実施形態を詳細に示す。
- 図3は、本発明で使用される残差畳み込みニューラルネットワークの実施形態を詳細に示す。
- 図4は、本発明で使用される拡張畳み込みニューラルネットワークの実施形態を詳細に示す。
- 図5は、本発明で使用される拡張-残差畳み込みニューラルネットワークの実施形態を詳細に示す。
以下に、本発明を実施するための少なくとも1つの実施形態を、前述の図面に関連して詳細に説明する。本明細書で使用される用語は単に特定の実施形態を説明するために使用され、本発明を限定することを意図しないことは当業者には明らかであろう。単数形で使用される任意の表現は文脈において明らかに異なる意味を有さない限り、複数の表現を包含する。以下の説明では「含む」、「有する」などの用語は特徴、数、工程、アクション、要素、部分、または組合せの存在を示すことを意図しているものとして理解されなければならないが、1つまたは複数の特徴、数、工程、アクション、要素、部分、または組合せが追加され得る可能性を排除することを意図していない。
<工程1>最小-最大スケーリング工程:各2Dセクションの信号域の値を、0と1との間でスケーリングする。
<工程2>標準化工程:トレーニングデータセットを、0の平均および1の分散を有するように正規化する。そのために、各ボクセルは、トレーニングデータセットの平均を減算し、トレーニングデータセットの標準偏差で除算する。
として設定されるボクセルの数と、白質病変として設定されるボクセルの数とに大差があることを意味する。この問題を解決するために、異なるコスト/損失関数が分析される:
- DICE係数損失値(DCL:DICE-coefficient loss):DICE係数(DC:DICE coefficient)は、2つのセグメンテーションマスク間の空間的重複を示す。DCLはDCの逆数である。
- 2バイナリクロスエントロピー(BCE:Binary cross-entropy):予測確率が実際のラベルからどれだけ離れているかを示す。これは、分類モデルにおいて広く使用されている。
- Tversky損失(TL:Tversky loss)は、非常に不均衡なデータセットになると良好に機能することが示されている。
- 焦点Tversky損失値(FTL:Focal Tversky loss):TLの拡張部分であり、損失値に大きく寄与しないので、より低い確率で検出された困難なクラス、言い換えれば、小さい領域に焦点を当てるための値である。
- DC係数: 0から1まで変化し、0は比較される2つのマスクの間にオーバーラップがないことを意味し、1は完全なオーバーラップであることを意味する;
および
- ASSD(average symmetric surface distance): セグメンテーションマスク双方の間の差異を示す。ここで、S(X)はマスクXの表面のボクセルの集合であり、任意のボクセルvからS(X)までの最短距離は以下のように定義される;
Claims (14)
- 脳の磁気共鳴画像中に存在する白質高信号域をセグメント化する方法であって、以下の各工程;
- 以前にトレーニングされたことのある畳み込みニューラルネットワーク(11、12、13、14)のアレイに、脳の磁気共鳴画像(1)を提供する工程と、
- 前記画像における白質高信号域を含むボクセルを特定する工程と、
- 前記畳み込みニューラルネットワークの各々および前記ボクセルの各々に対して、高信号域と特定されている信号域が、規定の病的高信号域に相当する確率を決定する工程と、
- 前記ボクセルの各々に対して、前記工程で決定された全ての前記確率の重み付き平均を算出する工程と、
- 前記ボクセルの各々に対して、前記算出された確率の重み付き平均を、予め設定された閾値と比較する工程と、
- 前記閾値を超える前記ボクセルを有する画像マスクを生成する工程と、
を含む、
方法。 - 前記提供された前記画像に対して前処理を行う工程を、さらに含み、
前記前処理を行う工程は、
- 前記画像の各2Dセクションのサイズを256×256のサイズにする工程と、
- 以下の式(1)に基づいて、各2Dセクションの前記信号域の値を0~1の間でスケーリングする工程と、
(ここで、式(1)中のIは、スケールリングされる2Dセクションであり、Ii, j は、行iおよびカラムjの前記信号域の値を示し、min(I)は、前記セクションの前記値の最小値であり、max(I)は前記セクションの前記値の最大値である)
-以下の式(2)に基づいて、トレーニングデータセットの平均を減算し、且つ前記トレーニングデータセットの標準偏差によって除算することによって、前記ボクセルの各々を標準化する工程と、
(ここで、式(2)中のI´は、前記スケーリングされた信号域であり、μは、スケーリングされたトレーニングデータセットの平均の信号域であり、σは、スケーリングされたトレーニングデータセットの標準偏差である)
を含む、
請求項1に記載の方法。 - 前記畳み込みニューラルネットワークの前記アレイは、標準畳み込みニューラルネットワーク(11)、残差畳み込みニューラルネットワーク(12)、拡張畳み込みニューラルネットワーク(13)、および拡張-残差畳み込みニューラルネットワーク(14)を含み、これら全ての畳み込みニューラルネットワークは、符号化-復号化アーキテクチャに基づいている、
請求項1または2に記載の方法。 - 前記ボクセルの各々について、前記特定された高信号域が病的な高信号域に相当する確率を決定する工程は、
- 畳み込みニューラルネットワークの畳み込みレイヤ(21)において、畳み込みオペレーションによって、前記脳の磁気共鳴画像をフィルタリングする工程と、
- 符号化経路に配置された前記畳み込みレイヤ間に中間縮小レイヤ(22)を挿入することにより、前記画像を縮小する工程と、
- 復号化経路に配置された前記畳み込みレイヤ間に畳み込み転置レイヤ(23)を挿入することにより、前記画像を拡大する工程と、
- 深部監視レイヤ(26)によって前記畳み込みニューラルネットワークの出力を精緻化する工程と、
- シグモイド活性化関数(24)によって確率マップを取得する工程と、
を含む、
請求項1から3の何れか1項に記載の方法。 - 前記畳み込みニューラルネットワークの各々に対して、前記画像の前記ボクセルの各々について決定された全ての前記確率を有する確率マップ(16、17、18、19)を生成する工程、
をさらに含む、
請求項1から4の何れか1項に記載の方法。 - 前記ボクセルの各々に対して、前記工程で決定された全ての前記確率の重み付き平均を算出する工程は、さらに、
総確率マップを生成する工程、
を含む、
請求項1から5の何れか1項に記載の方法。 - 前記画像マスク内の各ボクセルを含むように前記閾値を確率50%に設定する工程、
をさらに含む、
請求項1から6の何れか1項に記載の方法。 - 前記畳み込みニューラルネットワークの前記トレーニングは、
Tversky損失関数を適用して、予め設定された前記閾値を超えるボクセルの数と、超えないボクセルの数との間の不均衡を平衡化する工程、
を含む、
請求項1から7の何れか1項に記載の方法。 - 脳の磁気共鳴画像中に存在する白質高信号域をセグメント化するためのシステムであって、
前記システムは、
- 畳み込みニューラルネットワーク(11、12、13、14)アレンジメントと、
- プロセッサモジュール(5)と、
を含み、
前記畳み込みニューラルネットワーク(11、12、13、14)アレンジメントは、脳の磁気共鳴画像(1)を受け取り、前記画像における白質高信号域を含むボクセルを特定し、前記ネットワークの各々について、各ボクセルに対して特定された高信号域が、規定の病的高信号域に相当する確率を決定し、
前記プロセッサモジュール(5)は、前記ボクセルの各々に対して決定された全ての前記確率の重み付き平均を算出し、前記ボクセルの各々について前記確率の重み付き平均を予め設定された閾値と比較し、当該閾値を超えるボクセルを有する画像マスクを生成する、
システム。 - 前記畳み込みニューラルネットワークアレンジメントは、少なくとも1つの標準畳み込みニューラルネットワーク(11)を含み、
前記標準畳み込みニューラルネットワーク(11)は、
- 畳み込みオペレーションによって前記画像をフィルタリングするように構成された畳み込みレイヤ(21)と、
- 前記画像を縮小するように構成された、符号化経路内の前記畳み込みレイヤ(21)間に挿入される縮小レイヤ(22)と、
- 前記画像を拡大するように構成された、復号化経路内の前記畳み込みレイヤ(21)間に挿入される転置レイヤ(23)と、
- 前記符号化経路と前記復号化経路との間のボトルネックセクション(25)と、
- 確率マップを生成するように構成されたシグモイド活性化レイヤ(24)と、
- 復号化経路の畳み込みレイヤ(21)の出力を結合するように構成された複数の深部監視レイヤ(26)と、
を含む、
請求項9に記載のシステム。 - 前記ニューラルネットワークアレンジメントは、少なくとも1つの残差畳み込みニューラルネットワーク(12)を含み、
前記残差畳み込みニューラルネットワーク(12)は、
- 畳み込みオペレーションによって前記画像をフィルタリングするように構成された複数の残差ブロック(30)と、
- 前記画像を縮小するように構成された、符号化経路内の残差ブロック(30)の間に挿入される複数の縮小レイヤ(22)と、
- 前記画像を拡大するように構成された、復号化経路内の残差ブロック(30)の間に挿入される複数の転置レイヤ(23)と、
- 前記符号化経路と前記復号化経路との間のボトルネックセクション(25)と、
- 確率マップを生成するように構成されたシグモイド活性化レイヤ(24)と、
- 前記復号化経路の畳み込みレイヤ(21)の出力を結合するように構成された複数の深部監視レイヤ(26)と、
を含む、
請求項9または10に記載のシステム。 - 前記ニューラルネットワークアレンジメントは、少なくとも1つの拡張畳み込みニューラルネットワーク(13)を備え、
前記拡張畳み込みニューラルネットワーク(13)は、
- 畳み込みオペレーションによって、前記画像をフィルタリングするように構成された複数の畳み込みレイヤ(21)と、
- 前記画像を縮小するように構成された、符号化経路内の畳み込みレイヤ(21)の間に挿入された複数の縮小レイヤ(22)と、
- 前記画像を拡大するように構成された、復号化経路内の畳み込みレイヤ(21)の間に挿入された複数の転置レイヤ(23)と、
- 前記符号化経路と前記復号化経路との間のボトルネック部(25)であって、異なる拡張速度を有する複数の拡張畳み込みレイヤ(40)を含むボトルネック部(25)と、
- 確率マップを生成するように構成されたシグモイド活性化レイヤ(24)と、
- 前記復号化経路の畳み込みレイヤ(21)の出力を結合するように構成された複数の深部監視レイヤ(26)と、
を含む、
請求項9から11の何れか1項に記載のシステム。 - 前記ニューラルネットワークアレンジメントは、少なくとも1つの拡張-残差畳み込みニューラルネットワーク(14)を含み、
前記拡張-残差畳み込みニューラルネットワーク(14)は、
- 畳み込みオペレーションによって前記画像をフィルタリングするように構成された複数の残差ブロック(30)と、
- 前記画像を縮小するように構成された、符号化経路内の残差ブロック(30)の間に挿入された複数の縮小レイヤ(22)と、
- 前記画像を拡大するように構成された、復号化経路内の残差ブロック(30)の間に挿入された複数の転置レイヤ(23)と;
- 前記符号化経路と前記復号化経路との間のボトルネック部(25)であって、異なる拡張速度を有する複数の拡張畳み込みレイヤ(40)を含むボトルネック部(25)と、
- 確率マップを生成するように構成されたシグモイド活性化レイヤ(24)と、
- 前記復号化経路の前記畳み込みレイヤ(21)の出力を結合するように構成された複数の深部監視レイヤ(26)と、
を含む、
請求項9から12の何れか1項に記載のシステム。 - 前記ニューラルネットワークアレンジメントは、前記標準畳み込みニューラルネットワーク(11)と、前記残差畳み込みニューラルネットワーク(12)と、前記拡張畳み込みニューラルネットワーク(13)と、前記拡張-残差畳み込みニューラルネットワーク(14)とから構成され、これらの全てのニューラルネットワークが、256×256の画像入力サイズで構成され、全ての前記畳み込みレイヤが、3×3の受容野を有し、バッチ正規化レイヤおよび正規化線形関数レイヤが続く、
請求項9から13の何れか1項に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ES201930818A ES2813777B2 (es) | 2019-09-23 | 2019-09-23 | Metodo y sistema para la segmentacion automatica de hiperintensidades de sustancia blanca en imagenes de resonancia magnetica cerebral |
ESP201930818 | 2019-09-23 | ||
PCT/ES2020/070069 WO2021058843A1 (es) | 2019-09-23 | 2020-01-30 | Método y sistema para la segmentación automática de hiperintensidades de sustancia blanca en imágenes de resonancia magnética cerebral |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023514964A true JP2023514964A (ja) | 2023-04-12 |
JP7462055B2 JP7462055B2 (ja) | 2024-04-04 |
Family
ID=75109007
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022543800A Active JP7462055B2 (ja) | 2019-09-23 | 2020-01-30 | 脳の磁気共鳴画像における白質高信号域の自動セグメント化のための方法およびシステム |
Country Status (7)
Country | Link |
---|---|
US (1) | US20220343142A1 (ja) |
EP (1) | EP4020322A4 (ja) |
JP (1) | JP7462055B2 (ja) |
AU (1) | AU2020352676A1 (ja) |
BR (1) | BR112022005437A2 (ja) |
ES (1) | ES2813777B2 (ja) |
WO (1) | WO2021058843A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019217809A1 (en) | 2018-05-10 | 2019-11-14 | Jameel Mohamed Anver | Method, apparatus, and computer readible media for artificial intelligence-based treatment guidance for the neurologically impaired patient who may need neurosurgery |
ES2828728A1 (es) * | 2019-11-27 | 2021-05-27 | Fundacion Para La Investigacion Del Hospital Univ La Fe De La Comunidad Valenciana | Metodo para obtener un biomarcador de imagen que cuantifica la calidad de la estructura trabecular de los huesos |
CN113159147B (zh) * | 2021-04-08 | 2023-09-26 | 平安科技(深圳)有限公司 | 基于神经网络的图像识别方法、装置、电子设备 |
CN113096142B (zh) * | 2021-04-30 | 2022-12-30 | 北京理工大学 | 基于联合嵌入空间的白质神经束自动分割方法 |
CN114419066B (zh) * | 2022-01-14 | 2022-12-13 | 深圳市铱硙医疗科技有限公司 | 脑白质高信号分割方法、装置、设备及存储介质 |
CN115514343B (zh) * | 2022-05-13 | 2023-08-11 | 浙江腾腾电气有限公司 | 电网波形滤波系统及其滤波方法 |
CN115115628B (zh) * | 2022-08-29 | 2022-11-22 | 山东第一医科大学附属省立医院(山东省立医院) | 一种基于三维精细化残差网络的腔隙性脑梗死识别系统 |
CN117556715B (zh) * | 2024-01-12 | 2024-03-26 | 湖南大学 | 基于信息融合的典型环境下智能电表退化分析方法及系统 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10210246B2 (en) | 2014-09-26 | 2019-02-19 | Oracle International Corporation | Techniques for similarity analysis and data enrichment using knowledge sources |
US10902598B2 (en) * | 2017-01-27 | 2021-01-26 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
US11357398B2 (en) | 2017-01-31 | 2022-06-14 | Nidek Co., Ltd. | Image processing device and non-transitory computer-readable recording medium |
US10366491B2 (en) * | 2017-03-08 | 2019-07-30 | Siemens Healthcare Gmbh | Deep image-to-image recurrent network with shape basis for automatic vertebra labeling in large-scale 3D CT volumes |
GB201709672D0 (en) * | 2017-06-16 | 2017-08-02 | Ucl Business Plc | A system and computer-implemented method for segmenting an image |
US10223610B1 (en) | 2017-10-15 | 2019-03-05 | International Business Machines Corporation | System and method for detection and classification of findings in images |
CN109886992A (zh) * | 2017-12-06 | 2019-06-14 | 深圳博脑医疗科技有限公司 | 用于分割mri图像中异常信号区的全卷积网络模型训练方法 |
CN108171711A (zh) * | 2018-01-17 | 2018-06-15 | 深圳市唯特视科技有限公司 | 一种基于完全卷积网络的婴幼儿脑部磁共振图像分割方法 |
CN109410167B (zh) * | 2018-08-31 | 2021-11-09 | 深圳大学 | 一种3d乳腺图像的分析方法及系统、介质 |
CN109872328B (zh) * | 2019-01-25 | 2021-05-07 | 腾讯科技(深圳)有限公司 | 一种脑部图像分割方法、装置和存储介质 |
CN109886273B (zh) * | 2019-02-26 | 2022-12-16 | 四川大学华西医院 | 一种cmr图像分割分类系统 |
CN109993809B (zh) * | 2019-03-18 | 2023-04-07 | 杭州电子科技大学 | 基于残差U-net卷积神经网络的快速磁共振成像方法 |
CN109993735A (zh) * | 2019-03-29 | 2019-07-09 | 成都信息工程大学 | 基于级联卷积的图像分割方法 |
CN110189334B (zh) * | 2019-05-28 | 2022-08-09 | 南京邮电大学 | 基于注意力机制的残差型全卷积神经网络的医学图像分割方法 |
-
2019
- 2019-09-23 ES ES201930818A patent/ES2813777B2/es active Active
-
2020
- 2020-01-30 EP EP20867430.9A patent/EP4020322A4/en active Pending
- 2020-01-30 JP JP2022543800A patent/JP7462055B2/ja active Active
- 2020-01-30 US US17/762,628 patent/US20220343142A1/en active Pending
- 2020-01-30 BR BR112022005437A patent/BR112022005437A2/pt unknown
- 2020-01-30 AU AU2020352676A patent/AU2020352676A1/en active Pending
- 2020-01-30 WO PCT/ES2020/070069 patent/WO2021058843A1/es unknown
Also Published As
Publication number | Publication date |
---|---|
BR112022005437A2 (pt) | 2022-06-21 |
ES2813777A1 (es) | 2021-03-24 |
US20220343142A1 (en) | 2022-10-27 |
EP4020322A4 (en) | 2023-10-25 |
JP7462055B2 (ja) | 2024-04-04 |
EP4020322A1 (en) | 2022-06-29 |
WO2021058843A1 (es) | 2021-04-01 |
AU2020352676A1 (en) | 2022-04-21 |
ES2813777B2 (es) | 2023-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7462055B2 (ja) | 脳の磁気共鳴画像における白質高信号域の自動セグメント化のための方法およびシステム | |
Zhang et al. | An explainable 3D residual self-attention deep neural network for joint atrophy localization and Alzheimer’s disease diagnosis using structural MRI | |
US11615879B2 (en) | System and method for automated labeling and annotating unstructured medical datasets | |
Gupta et al. | Prediction and classification of Alzheimer’s disease based on combined features from apolipoprotein-E genotype, cerebrospinal fluid, MR, and FDG-PET imaging biomarkers | |
Cerri et al. | A contrast-adaptive method for simultaneous whole-brain and lesion segmentation in multiple sclerosis | |
Bron et al. | Standardized evaluation of algorithms for computer-aided diagnosis of dementia based on structural MRI: the CADDementia challenge | |
JP7189257B2 (ja) | 特定の顔面症候群を検出するための方法、装置、および、コンピュータ可読記憶媒体 | |
Fung et al. | Alzheimer's disease brain mri classification: Challenges and insights | |
Popescu et al. | Retinal blood vessel segmentation using pix2pix gan | |
Alkabawi et al. | Computer-aided classification of multi-types of dementia via convolutional neural networks | |
Jeong et al. | Dilated saliency u-net for white matter hyperintensities segmentation using irregularity age map | |
Delmoral et al. | Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study | |
Ghazi et al. | Deep Learning Methods for Identification of White Matter Fiber Tracts: Review of State-of-the-Art and Future Prospective | |
Al-Jumaili et al. | Classification of the Level of Alzheimer's Disease Using Anatomical Magnetic Resonance Images Based on a Novel Deep Learning Structure | |
Wen et al. | A novel lesion segmentation algorithm based on U-net network for tuberculosis CT image | |
Armanious et al. | Age-Net: An MRI-based iterative framework for biological age estimation | |
Lang et al. | LCCF-Net: Lightweight contextual and channel fusion network for medical image segmentation | |
Chutani et al. | Improved Alzheimer Detection using Image Enhancement Techniques and Transfer Learning | |
CN112785575A (zh) | 一种图像处理的方法、装置和存储介质 | |
Agrawal et al. | Classification of Vitiligo using CNN Autoencoder | |
Pandian et al. | Improved multiple sclerosis diagnosis with advanced deep learning techniques | |
Karpagam et al. | Automated diagnosis system for Alzheimer disease using features selected by artificial bee colony | |
Ding et al. | AMIM: an adaptive weighted multimodal integration model for Alzheimer’s disease classification | |
Kareem et al. | Effective classification of medical images using image segmentation and machine learning | |
Kermi et al. | A deep learning-based 3D CNN for automated Covid-19 lung lesions segmentation from 3D chest CT scans |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20220523 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240325 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7462055 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |