JP2024054204A - ニューラルネットワークの学習方法、プログラム、医用画像処理方法及び医用装置 - Google Patents
ニューラルネットワークの学習方法、プログラム、医用画像処理方法及び医用装置 Download PDFInfo
- Publication number
- JP2024054204A JP2024054204A JP2024015758A JP2024015758A JP2024054204A JP 2024054204 A JP2024054204 A JP 2024054204A JP 2024015758 A JP2024015758 A JP 2024015758A JP 2024015758 A JP2024015758 A JP 2024015758A JP 2024054204 A JP2024054204 A JP 2024054204A
- Authority
- JP
- Japan
- Prior art keywords
- image
- neural network
- images
- medical
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 132
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 48
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000012549 training Methods 0.000 claims abstract description 67
- 230000008569 process Effects 0.000 claims description 54
- 230000006870 function Effects 0.000 claims description 53
- 238000002591 computed tomography Methods 0.000 claims description 38
- 238000002600 positron emission tomography Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 22
- 230000005855 radiation Effects 0.000 claims description 15
- 210000002569 neuron Anatomy 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 11
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 9
- 230000002829 reductive effect Effects 0.000 claims description 7
- 210000000056 organ Anatomy 0.000 claims description 6
- 210000003484 anatomy Anatomy 0.000 claims description 2
- 230000001747 exhibiting effect Effects 0.000 claims 1
- 239000000284 extract Substances 0.000 claims 1
- 230000005251 gamma ray Effects 0.000 claims 1
- 238000002059 diagnostic imaging Methods 0.000 description 25
- 238000009499 grossing Methods 0.000 description 20
- 210000004072 lung Anatomy 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 15
- 230000015654 memory Effects 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 13
- 210000000988 bone and bone Anatomy 0.000 description 12
- 239000000700 radioactive tracer Substances 0.000 description 11
- 230000004913 activation Effects 0.000 description 10
- 238000001994 activation Methods 0.000 description 10
- 238000005457 optimization Methods 0.000 description 10
- 210000004872 soft tissue Anatomy 0.000 description 10
- 238000012879 PET imaging Methods 0.000 description 9
- 230000003187 abdominal effect Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 7
- 230000000670 limiting effect Effects 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013170 computed tomography imaging Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000029142 excretion Effects 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000037323 metabolic rate Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 229910052704 radon Inorganic materials 0.000 description 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2115—Selection of the most significant subset of features by evaluating different subsets according to an optimisation criterion, e.g. class separability, forward selection or backward elimination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/60—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10108—Single photon emission computed tomography [SPECT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/441—AI-based methods, deep learning or artificial neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Abstract
【課題】医用画像の画質を向上させること。【解決手段】実施形態のニューラルネットワークの学習方法は、低品質データである入力画像と高品質データである目標画像とによるデータセットを用いてニューラルネットワークを学習させることを含む学習方法であって、前記目標画像は、被検体から収集された医用データに対し、複数の異なる再構成を実施することで異なる複数の画像を取得し、取得した前記複数の画像から、それぞれ異なる特徴領域を抽出し、抽出した前記異なる特徴領域を、１つの画像に組み合わせることで生成される。【選択図】図２Ａ
Description
本発明の実施形態は、ニューラルネットワークの学習方法、プログラム、医用画像処理方法及び医用装置に関する。
医用イメージングにより、生体内部の画像が生成される。例えば、磁気共鳴イメージング（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ：ＭＲＩ）では、電波、磁場、および磁場勾配を用いて、生体内部の画像が生成される。また、医用イメージングモダリティとして、例えば、Ｘ線撮影、超音波診断、ＣＴ、およびＰＥＴが挙げられる。画像が生成されると、医師は、その画像を用いて患者の傷や病気を診断することができる。
ＰＥＴイメージングでは、注射、吸入、摂取により撮像対象の患者にトレーサ剤が投与される。投与の後、トレーサ剤の物理特性および生体分子特性により、トレーサ剤が生体の特定の位置に集まる。トレーサ剤の実際の空間分布、トレーサ剤の蓄積領域の強度、および投与から最終的に排出されるまでの過程の動態は、どれも臨床上重要となり得る因子である。
この過程に、トレーサ剤に付随するトレーサがポジトロンを放出する。放出されたポジトロンが電子と衝突すると、ポジトロンと電子が結合する対消滅事象が生じる。多くの場合、対消滅事象により、約１８０度反対方向に進む２つの（５１１ｋｅＶの）ガンマ線が発生する。
断層撮影再構成法によりトレーサの空間時間分布を再構成するため、検出された事象のそれぞれが、そのエネルギー（すなわち、発生した光量）、その位置、およびそのタイミングについて、特徴付けられる。これら２つのガンマ線を検出し、それらの位置の間に線を引くことにより、すなわち、同時計数線（line-of-response：ＬＯＲ）を引くことにより、本来の消滅したであろう位置を割り出すことができる。この過程では、相互作用の可能性のある線が特定されるだけだが、そうした線を多数蓄積することにより、断層撮影再構成を用いて本来の分布を推定することができる。
上述のように、同時計数ペアおよびタイミングの情報についてのＬＯＲを用いて、放射線の画像が再構成され、臨床情報が得られる。しかし、多くの場合、この臨床情報はノイズによって不明瞭になり得る。ノイズは、逐次近似再構成（Ｉｔｅｒａｔｉｖｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ：ＩＲ）アルゴリズムを用いて、正則化を用いた統計的画像再構成を実行することにより、ある程度低減することができる。しかしながら、ノイズを低減することと他の悪影響を再構成画像に持ち込むことの間には、トレードオフの関係がある（例えば、高度な正則化によって、分解能が低下し、再構成画像における特徴が不明瞭となり得る）。
同様に、Ｘ線ＣＴにおいて、ＩＲアルゴリズムを用いて、様々な器官のＸ線減衰を表す内部画像を再構成することができる。一般的に、肺および空気が大部分を占める領域ではほとんど減衰が見られず、軟部組織領域で減衰がより多く見られ、骨領域ではさらに多くの減衰（すなわち、放射線の陰影）が見られる。ＰＥＴイメージングの場合と同様に、ノイズを低減することと分解能低下など他の悪影響を再構成画像に持ち込むことの間には、トレードオフの関係がある。再構成画像における正則化の最適な度合いは、領域毎に変化し得る。例えば、より大きな信号振幅を有する領域（例えば、肺領域および骨領域）に対しては、より高い分解能を維持するためには、正則化が少ないことに伴いノイズが多くても、正則化が少ない方がよい場合もある。一方、小さな信号振幅を有する領域（例えば、背景と臨床上関係のある病変部との間で減衰におけるコントラストがほとんど見られない軟物質領域）に対しては、正則化が少ないことに伴ってノイズが増えると、臨床医が探している特徴が不明瞭になることもあり得る。
本発明が解決しようとする課題は、医用画像の画質を向上させることである。
実施形態のニューラルネットワークの学習方法は、低品質データである入力画像と高品質データである目標画像とによるデータセットを用いてニューラルネットワークを学習させることを含む学習方法であって、前記目標画像は、被検体から収集された医用データに対し、複数の異なる再構成を実施することで異なる複数の画像を取得し、取得した前記複数の画像から、それぞれ異なる特徴領域を抽出し、抽出した前記異なる特徴領域を、１つの画像に組み合わせることで生成される。
実施形態は、特徴認識トレーニングに基づく深層学習ネットワークを用いて画像のノイズ除去を行なう、医用画像の再構成に関する。特に、（ｉ）Ｘ線コンピュータ断層撮影（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ：ＣＴ）画像、（ｉｉ）ポジトロン放射断層撮影（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ：ＰＥＴ）画像、および（ｉｉｉ）磁気共鳴（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ：ＭＲ）画像などの医用画像に対して、ノイズ除去およびアーチファクト低減を行なうことができる、医用画像の再構成に関する。特に、実施形態は、特徴毎に適性量のノイズ除去を行なうことを可能にする改良方法に関する。
ＣＴシステムおよび方法は、特に医用イメージングおよび診断に、広く用いられている。ＣＴスキャンは、ＣＴスキャナ上のＸ線源とＸ線検出器の間の空間に患者を配置した後、スキャン中はＸ線源と検出器を回転させながら様々な角度で患者を透過するＸ線投影画像を撮ることにより、実行することができる。結果として得られる投影データは、ＣＴサイノグラムと呼ばれ、１つ以上の軸に沿った位置の関数として、およびその他の軸に沿った投影角度の関数として、人体通過時の減衰を表す。逆ラドン変換、または他の任意の画像再構成法を実行することにより、サイノグラムに表された投影データから画像が再構成される。
フィルタ補正逆投影（Ｆｉｌｔｅｒｅｄ Ｂａｃｋ－Ｐｒｏｊｅｃｔｉｏｎ：ＦＢＰ）アルゴリズムや統計的ＩＲアルゴリズムなど、様々な方法を用いて投影データからＣＴ画像を再構成することができる。より従来のＦＢＰ再構成法に比べて、ＩＲ法は、少ない被爆線量でより高い画像品質が得られる。様々なＩＲ法がある。
１つの一般的なＩＲ法では、制約無し（または制約付き）最適化を実行して、以下の式（１）を最小化する引数ｐを求める。
関数Ｕ（ｐ）は正則化項であり、この項は、多くの場合で再構成画像の平滑化すなわちノイズ除去の効果がある１つ以上の制約（例えば、全変動（Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ：ＴＶ）最小化制約）を課すためのものである。値βは正則化パラメータであり、データ忠実度項および正則化項の相対的寄与に重み付けする値である。
したがって、通常は正則化項βの値の選択によって、ノイズと分解能の間のトレードオフの関係が影響される。一般的に、正則化項βが大きくなるとノイズが低減されるが、分解能も低下する代償を払うことになる。正則化項βの最高の有用性は、複数の因子によって決まるが、その主なものは再構成画像の再構成の対象となる適用先である。ＩＲアルゴリズムは、時間がかかり大きな計算処理上のリソースが必要となり得るため、試行錯誤的方法は非効率的である（例えば、ＩＲ法のために、最適解が得られるまで様々な値の正則化項βが用いられるなど）。さらに、１回のＣＴスキャンは複数の臨床応用に用いることができるため、計算付加の高いＩＲアルゴリズムを繰り返すことなく、ノイズと分解能のトレードオフの関係について再構成画像を調整できることが望まれる。したがって、再構成画像を高速で生成および修正することで、ノイズと分解能のトレードオフの関係を最適化するための、改良方法が望まれる。
別の一般に用いられる再構成技術は、モデルベース逐次近似再構成（Ｍｏｄｅｌ－Ｂａｓｅｄ Ｉｔｅｒａｔｉｖｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ：ＭＢＩＲ）である。ＭＢＩＲでは、ＦＢＰ再構成法よりも優れた画像品質が得られる。さらに、深層畳み込みニューラルネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＤＣＮＮ）により、様々なＣＴイメージング応用／画像処理作業を、改善および高速化することができる。ＤＣＮＮの適用にあたり、ノイズ統計値などの正確な事前設計モデルは必要としない代わりに、大量のトレーニングデータセットの入手可能性を必要とする。また、ＤＣＮＮは、トレーニングデータセットの入力と目標との間の厳密な画像特徴を捕らえることができる。
実施形態に記載の方法は、ＤＣＮＮなどのニューラルネットワークを使用して、表示画像の特定の内容／状況に基づき、分解能とノイズのトレードオフの関係の最適化に関する上述の課題に対処する。これらの方法は、ニューラルネットワークをトレーニングして特徴認識ノイズ除去を行なうことにより、前記課題に対処する。特定の実施形態において、目標画像が異なる特徴に対応する様々な領域に分割され、特徴に応じた正則化／ノイズ除去が目標画像に適用されたトレーニングデータを用いることにより、ネットワークに前記特徴認識ノイズ除去を学習させることができる。したがって、この特別に構成されたトレーニングデータを用いてニューラルネットワークをトレーニングすることにより、ニューラルネットワークは、特定の特徴を認識し、認識した特徴に応じて適切な度合いのノイズ除去を適用することを学習する。
以下に、いくつかの図において同一または対応する部分に同じ参照符号を付した、図面を参照する。図１Ａおよび１Ｂは、同じ肺領域の２つの画像を示しているが、ノイズ除去（実施形態では互換可能に平滑化と呼び、また特定の文脈において正則化と呼ぶ）の度合いは異なる。同様に、図１Ｃおよび１Ｄは、ノイズ除去の度合いは異なるが、同じ軟部組織領域の２つの画像を示している。図１Ａおよび図１Ｃは、第１の度合いのノイズ除去を表し、図１Ｂおよび１Ｄは、図１Ａおよび図１Ｃに示された第１の度合いのノイズ除去よりも多くノイズ除去／平滑化を行なう第２の度合いのノイズ除去を表す。
図１Ｃと図１Ｄの比較において、図１Ｃにおけるより高い分解能は情報をそれほど多く伝達せず、図１Ｃにおいて増えたノイズが、紛らわしい質感や構造を作り出しており、不正確な診断または介入的画像診断法では低品質の結果がもたらされることになり得るため、通常、図１Ｄが臨床応用にとってより優れていると見なされる。したがって、軟部組織画像に対しては、ノイズ除去および平滑化の度合いが高い方が有利となり得る。
一方、肺画像に対しては、ノイズ除去および平滑化の度合いが低い方が有利となり得る。ここで、用語「平滑化」はノイズ除去の一種と解釈することができ、通常、用語「平滑化」は、より一般的な用語「ノイズ除去」に置き換えることができる。図１Ａと図１Ｂの比較において、図１Ａにおけるより高い分解能は肺の特徴を顕著に識別することができ（例えば、図１Ａにおいて矢印で示した特徴）、肺の設定におけるより広いウインドウ幅およびそれ相応のより高いコントラストの肺領域の信号に比べて、増えるノイズが軟部組織領域におけるほど顕著ではないため、通常、図１Ａが臨床応用にとってより優れていると見なされる。したがって、少ない平滑化よるノイズの増加によって肺領域において不明瞭になることは比較的少なく、図１Ａに見られるように分解能が向上するメリットの方が、ノイズ増加というデメリットを上回る。
このため、ノイズ除去の最適な度合いは、再構成画像の各種領域内の特徴によって空間的に決まり得る。すなわち、同じ画像内の異なる領域が、ノイズ除去の異なる度合いによって恩恵を受け得る。
これまで、Ｘ線ＣＴに関して説明してきた。しかしながら、これらの方法は、例えば、ＰＥＴなど、他の医用イメージングのモダリティにも適用できる。例えば、ＰＥＴイメージングでも、特徴認識ノイズ除去により高い画像品質が得られる。例えば、統計的ＩＲアルゴリズムを用いて、被検体内のトレーサ／放射線濃度のＰＥＴ画像を再構成することができる。ＩＲアルゴリズムは、データ忠実度項および正則化項などを含む目的関数を最適化する再構成画像を繰り返し検索する。これら２つの項の間の相対的重みによって、より高いＳＮＲを一方とし、より精細な分解能を他方とするトレードオフの関係に影響を与えることができる。このトレードオフの関係は、実用上の制約（例えば、注入される投与量やスキャンの継続時間における制約）により統計数が少なくなって、高いノイズレベルおよび比較的低い空間分解能（例えば、５～７ｍｍの分解能）によるＰＥＴ画像の画像品質が低下するため、多くの場合で重要となる。これらの影響は、その結果として誤診断や誤った治療法決定をまねくことになり得る。このため、ＰＥＴ画像の品質を向上させる方法が望まれる。
このため、最適な再構成画像を生成する正則化の度合いを選択するために、改良方法が望まれる。さらに、ＰＥＴ画像の一部分において最適な平滑化の度合いは、ＰＥＴ画像の別の部分では最適さがやや劣ることもある。したがって、空間的に変化する平滑化を行いＰＥＴ画像の品質を局所的に最適化できる方法も望まれる。特定の実施形態において、ＩＲアルゴリズムの目的関数において、１つ以上の放射線依存型の正則化および／または正則化項中に放射線依存パラメータを用いることにより、トレーニングデータセットの目標データを生成する実施形態に記載の方法によって、上記目標は達成される。
例えば、ＰＥＴ画像の品質は、異なる領域内のそれぞれの特徴を表す放射線レベルマッピングに基づいて、正則化を空間的に変化させることによって、改善できる。またここでは、目標データが、異なる特徴に対応する領域に応じて細分され、空間的に度合いが決まるノイズ除去／正則化がそれぞれの特徴に応じて適用された、トレーニングデータを用いることができる。空間的に変化する正則化における変化の程度は、後述するように正則化項とデータ忠実度項との間に相対的な重み付けをする正則化パラメータβの空間的な依存性によって生じ得る。そして、上述したように空間的に変化する正則化／ノイズ除去を用いて目標データが生成されたトレーニングデータを用い、ニューラルネットワークをトレーニングすることができる。こうして、ニューラルネットワークがトレーニングされ、再構成されたＰＥＴ画像の特徴認識ノイズ除去が実行される。
正則化の度合いおよび／または種類に影響を与えるように調整できる正則化パラメータは、再構成問題を解決する際に最適化の対処と費用関数（目的関数とも呼ばれる）を考慮することにより、その良さがより分かる。ＰＥＴにおいて、放射データは、サイノグラム（Ｘ線ＣＴにおける投影データに似ている）として構成することができ、そのため、減衰画像を再構成するためにＸ線ＣＴに適用される方法と同様の方法を適用して、位置／ボクセル指数の関数として放射線／トレーサ濃度を表す放射線画像を再構成することができる。これらの再構成法として、例えば、ＦＢＰ法およびＩＲ法が挙げられる。あるいは、ＰＥＴ放射データを、サイノグラムに編成する代わりに、個々の検出事象のリストとして保持することができ、リストモードベースの再構成法を用いて画像を再構成することができる。
特定の実施形態において、正則化関数は、個々のピクセルの代わりに近接するパッチを用いてペナルティを計算する、以下の式（３）に例示するようなパッチベースのエッジ保持型ペナルティ関数であってもよい。
上述のＸ線ＣＴの場合と同様、ＰＥＴ画像再構成において、正則化パラメータβの大きさを増すと、再構成画像におけるノイズが抑制され分解能が低下する。このため、低い放射線の領域は、この領域内の計数の統計量がＳＮＲを低下させる（すなわち、比較的高いノイズレベルになる）ため、平滑化の度合いが高い方が有利であり、この領域内の精細な分解能はおそらく必要とされない。例えば、一般的に、より高いトレーサ濃度および放射線レベルが（例えば、病変部のより高い代謝率によって）関心領域近くで見られる。このため、より低い放射線がより大きい正則化パラメータβに対応している画像再構成は、有利となり得る。
また、正則化項を含む目的関数を最小化することにより、ＭＲＩ再構成も実行できる。例えば、以下の式（４）の最適化問題を解くことにより、圧縮センシング（Ｃｏｍｐｒｅｓｓｅｄ Ｓｅｎｓｉｎｇ：ＣＳ）画像再構成を実行できる。
ＭＲＩ再構成に用いられる再構成処理の他の例として、ＧＲＡＰＰＡ、ＳＥＮＳＥ、ＡＲＣ、ＳＰＩＲｉＴ、ＬＯＲＡＫＳ、ＩＳＴＡ、およびＦＩＳＴＡが挙げられる。ＣＳデータについて、再構成処理は、ある（例えば、空間的、時間、ウェーブレット）領域内で画像表現に疎性と収集されたスキャンデータでの再構成の整合性との両方を実現する、非線形処理であってもよい。
当業者には理解されることだが、上述のＸ線ＣＴイメージングおよびＰＥＴイメージングについての原理が、ＭＲＩなど、正則化項をデータ忠実度項と共に含む目的関数を最小化することにより画像からノイズが除去されおよび／または画像が再構成される、他の医用イメージングモダリティ（例えば、ＭＲＩおよび単光子放射型ＣＴ（Ｓｉｎｇｌｅ－Ｐｈｏｔｏｎ Ｅｍｉｓｓｉｏｎ ＣＴ：ＳＰＥＣＴ））にも適用される。そのため、ニューラルネットワークをトレーニングして特徴認識ノイズ除去を行なうための実施形態に記載の方法は、一般的に、特徴に応じたレベルのノイズ除去／正則化により結果として得られる画像品質を改善できる、医用イメージングモダリティに適用される。明確化のため、実施形態に記載の方法は、医用イメージングモダリティとしてＸ線ＣＴの限定されない例を用いて説明する。しかしながら、当業者には理解されるであろうが、この方法はＸ線ＣＴに限定されるものではない。
２つの異なる方法を用いて、ニューラルネットワークを用いる画像のノイズ除去を行なうことができる。１つの方法では、目標データはノイズを除去した画像であり、入力データは対応するノイズの多い画像である。そして、ネットワークをトレーニングして、ノイズの多い画像からノイズを除去した画像を直接予測する。すなわち、ノイズの多い画像がニューラルネットワークに適用されると、該ネットワークが、対応するノイズ除去画像を出力する。あるいは、実施形態に記載の方法は、残差ネットワーク（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ：ＲｅｓＮｅｔ）を用いてエイリアシングを除去した画像から直接取り除くことができる付加残留物として、ノイズを取り扱うことにより、画像のノイズを除去できる。この場合、入力データが再度ノイズの多い画像となるが、目標データはノイズそのもの（例えば、ノイズの多い画像からノイズ除去画像を引いたもの）である。したがって、ノイズの多い画像がニューラルネットワークに適用されると、ネットワークがノイズ自体を表現する画像を出力する。そして、入力からネットワーク出力を減算することによって、ノイズが除去された画像が生成される。
図２Ａおよび図２Ｂは、ＤＬネットワーク１７０をトレーニングして用い、ＳＭＳ医用画像再構成の実行を支援する、方法１０の限定されない例を示す。図２Ａに示すように、方法１０は、ＤＬ－ＡＮＮ（人工ニューラルネットワーク：Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）であるＤＬネットワーク１７０を用いて、医用画像スキャン／収集モダリティにより収集された生データ１０５から再構成される医用画像のノイズ除去をどのように行なうか学習し、ノイズを除去した再構成画像１２５を生成する。方法１０は、（ｉ）オフライントレーニングプロセス１５０および（ｉｉ）医用イメージングプロセス１００の２つの部分からなる。すなわち、オフライントレーニングプロセス１５０でＤＬネットワーク１７０をトレーニングし、医用イメージングプロセス１００で、トレーニング済みのＤＬネットワーク１７０を用いて医用画像のノイズを除去し、画像内の特徴に応じて空間的に変化するノイズ除去の度合いを適用し、最終的に、ノイズがより少ない高品質画像である再構成画像１２５を生成する。
なお、生データ１０５は、被検体から収集される医用データの一例である。生データ１０５は、ＣＴやＸ線撮影、ＰＥＴ、ＳＰＥＣＴ等のモダリティを用いて収集された放射線データであってもよいし、ＭＲＩや超音波診断等の他のモダリティを用いて収集された医用データであってもよい。
図２Ｂは、医用イメージングプロセス１００およびオフライントレーニングプロセス１５０の限定されない例を示す。トレーニングプロセス１６０において同様のステップが実行され、ＤＬネットワーク１７０がトレーニングされる。後述するように、ＤＬネットワーク１７０のトレーニングは、トレーニングデータセットからの入力データがＤＬネットワーク１７０に適用され（ノイズ除去１２０のステップにおけるＤＬネットワーク１７０の用いられ方と同様）、この結果が、ＤＬネットワーク１７０の重み係数を調整する反復処理において、所望の出力（すなわち、トレーニングデータセットからの目標データ）と比較される、反復処理であってもよい。
特定の実施形態において、ＤＬネットワーク１７０は、一連の畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ：ｃｏｎｖ）、バッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ：ＢＮ）、および正規化線形ユニット（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ：ＲｅＬｕ）のネットワーク層が実行される、ＣＮＮである。画像再構成１１０のステップにおいて、医用画像が生データ１０５から再構成される。画像再構成１１０における再構成法は、ＤＬネットワーク１７０をトレーニングするためにオフライントレーニングプロセス１５０で用いられる入力画像１５７を生成するために用いられる再構成法と同じ再構成法であってもよい。
ＤＬネットワーク１７０は、トレーニングプロセス１６０を用いてトレーニングされる。トレーニングプロセス１６０において、ＤＬネットワーク１７０のパラメータ（例えば、ＤＬネットワーク１７０のパラメータは、ネットワーク層に関する重み係数や層内ノードの活性化関数／ポテンシャルを含んでもよい）を繰り返し調整／最適化するために、損失関数が用いられる。ネットワークパラメータの最適化は、停止基準が満たされるまで続けられ（例えば、停止基準を、損失関数の値が所定閾値に収束したか否かとすることができる）、学習済みのＤＬネットワーク１７０が生成される。
損失関数は、目標データである目標画像１５３を、入力データである入力画像１５７および最新版のＤＬネットワーク１７０を用いて収集された出力と比較する。例えば、入力データからのノイズの多い画像を最新版のＤＬネットワーク１７０に適用することにより、目標画像１５３から対応する低ノイズ画像と比較されるネットワーク出力が生成される。ＤＬネットワーク１７０のトレーニングは、出力と目標データの差が最小となり、トレーニングプロセス１６０の１つ以上の所定の停止基準を十分満足したときに、終了と判断される。そして、学習済みのＤＬネットワーク１７０は、保存され、後で医用イメージングプロセス１００において使用することができる。
例えば、医用イメージングモダリティがＰＥＴイメージングである場合、方法１０は、ＤＬ－ＣＮＮであるＤＬネットワーク１７０をトレーニングする工程と、生データ１０５から再構成された低品質な（例えば、ノイズの多い）ＰＥＴ画像を学習済みのＤＬネットワーク１７０に適用して、高品質な（例えば、ノイズが除去された）ＰＥＴ画像である再構成画像１２５を生成する工程とを含む。
方法１０において、損失関数を用いて、停止基準が満たされる（例えば、パラメータが所定閾値に収束）までＤＬ－ＣＮＮネットワークのパラメータ（例えば、畳み込み層およびプーリング層の重みおよびバイアス）が繰り返し調整され、学習済みのＤＬネットワーク１７０が生成される。損失関数は、高品質データである目標画像１５３を、低品質データである入力画像１５７が適用される最新版のＤＬ－ＣＮＮネットワークの結果と比較する。ＰＥＴイメージングの場合、高品質データおよび低品質データは、それぞれ、高い／良い画像品質および低い／悪い画像品質を有する再構成ＰＥＴ画像である。一般的に、信号対ノイズ比（Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ Ｒａｔｉｏ：ＳＮＲ）は、画像の再構成で用いるデータセットが小さいほど（例えば、同時計数が減少する原因となる短いスキャン時間またはその他の要因により）、低くなる。このため、患者のＰＥＴスキャンからの同時計数の全てを用いて、高品質画像である目標画像１５３が生成され、可能な限り高い画像品質を有するＰＥＴ画像を生成することができる。一方、全データセットから選ばれる同時計数の部分的サブセットを用いて、より低い品質の画像である入力画像１５７を生成できるが、その結果、再構成画像が高品質画像である目標画像１５３よりもノイズの多い画像となる。さらに、再構成画像に表れる特徴に応じて空間的に変化する正則化パラメータを用い、高品質画像である目標画像１５３を生成できる。例えば、より高い放射線の領域においてより精細な分解能が得られるように、高い放射線の領域で用いる正則化を少なくすることができる。
学習済みのＤＬネットワーク１７０を生成した後、医用イメージングプロセス１００を用いて学習済みのＤＬネットワーク１７０を適用し、高品質ＰＥＴ画像である再構成画像１２５を生成する。
特定の実施形態において、ＰＥＴイメージングにより収集された生データ１０５は、前処理（例えば、信号の前調整、位置補正、エネルギー補正など）が施された計数であってもよく、次のステップである画像再構成１１０において、前処理された計数データを用いて、ボクセル位置の関数として放射線レベル（例えば、トレーサ濃度）の画像が再構成される。
医用イメージングプロセス１００の画像再構成１１０において、ＰＥＴ画像再構成処理を用いて、ＰＥＴイメージングにより収集された放射データである生データ１０５から、ＰＥＴ画像である再構成画像１２５が再構成される。画像再構成は、当業者には理解されるであろうが、逆投影法、フィルタ補正逆投影法、フーリエ変換ベースの画像再構成法、逐次近似画像再構成法、マトリクス逆変換画像再構成法、統計的画像再構成法、リストモード法、またはその他の再構成法を用いて実行してもよい。
ノイズ除去１２０において、ＤＬ－ＣＮＮであるＤＬネットワーク１７０を用いて再構成画像のノイズが除去される。その結果が高品質画像である再構成画像１２５である。したがって、オフライントレーニングプロセス１５０によって生成されたネットワークを適用するＤＬノイズ除去アルゴリズムを用いて、画像再構成１１０におけるＰＥＴ再構成から得られたノイズの多いＰＥＴ画像を処理できる。
ここで、Θはトレーニング可能な重みを表し、ψは誤差関数（例えば、第１の例では平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ：ＭＳＥ）が用いられる）であり、Ｎはトレーニングサンプルを表し、ｙはノイズの多い画像を表し、ｘは目標画像を表す。第１の例において、確率勾配降下法を用いて損失関数が最小化され、８層のネットワークが用いられ、性能とトレーニング効率のバランスがよくなる。
上述のように、目標データは、空間的に変化する、特徴に応じたノイズ除去／正則化の度合いを有する。このノイズ除去の度合いの変化は、図２Ｂに示す特徴認識目標画像設計１８０で生成できる。さらに、図２Ｃおよび図２Ｄに、特徴認識目標画像設計１８０の限定されない例についてそれぞれフローチャートを示す。これらのフローチャートは、医用イメージングモダリティがＸ線ＣＴである場合について説明するものだが、実施形態はこれに限定されるものではない。例えば、空間的に変化する正則化を、特許文献１に記載の方法を用いて、ＰＥＴイメージングのために実行することも可能である。なお、当該米国特許出願は、参照することによりその全体が実施形態に組み込まれるものとする。Ｘ線ＣＴイメージングについて、空間的に変化するノイズ除去の度合いも、特許文献２および３に記載の方法を用いて取得することができる。なお、当該特許文献の双方とも、参照することによりその全体が実施形態に組み込まれるものとする。これらの方法は、正則化パラメータのための空間的な依存性を含む。さらに、画像再構成処理とは独立して、または同処理に追加のノイズ除去処理を用いて、空間的に変化するノイズ除去を実行できる。例えば、空間によって決まる幅（例えば、高いコントラスト信号を有する特徴に対しては幅がより狭く、低いコントラスト信号を有する特徴に対しては幅がより広いなど）を持つガウス核を用いて、再構成画像を平滑化できる。
代表的なノイズ除去方法は、線形平滑化フィルタ、異方性拡散、非局所的手段、または非線形フィルタを含む。線形平滑化フィルタは、ローパスフィルタすなわち平滑化操作に相当するマスクを用いて元の画像を畳み込むことにより、ノイズを取り除く。例えば、ガウスマスクは、ガウス関数によって算出される要素で構成される。この畳み込みにより、各ピクセルの値が、その隣接するピクセルの値と、より良好に一致するようになる。異方性拡散は、熱伝導方程式に似た平滑化の偏微分方程式で画像を展開することにより、シャープエッジを保持しつつノイズを取り除く。メジアンフィルタは非線形フィルタの一例であり、適切に設計されれば、非線形フィルタもエッジを保持し、ぼやけを防止できる。メジアンフィルタは、著しくぼやけたアーチファクトを生じさせることなく、適用して画像から胡麻塩ノイズを取り除くことができる、ランク条件付きランク選択（Ｒａｎｋ－Ｃｏｎｄｉｔｉｏｎｅｄ ＲＡｎｋ－Ｓｅｌｅｃｔｉｏｎ：ＲＣＲＳ）フィルタの一例である。さらに、撮像領域で、均一領域間のはっきりした境界によって画定される広い領域にわたって、均一性が保たれると見なせるなら、ＴＶ最小化正則化項を用いるフィルタを適用できる。ＴＶフィルタは、非線形フィルタのもう１つの例である。さらに、非局所的手段フィルタリングは、画像内の類似のパッチにわたって加重平均を用い、ノイズが除去されたピクセルを算出する代表的な方法である。
図２Ｃおよび図２Ｄに戻って、それぞれのタイプの特徴（例えば、腹部の特徴、肺の特徴、骨の特徴、他）に対して最適化された再構成処理／正則化パラメータを用いて再構成を行なうステップ２１０（１）、ステップ２１０（２）、ステップ２１０（３）等を用いて一連の異なる画像を再構成することにより、目標データを生成できる。
例えば、異なる臨床目的のために、異なる再構成パラメータを用いて画像を再構成することができる。画像再構成における違いとして、異なる正則化パラメータを用いるだけではなく、異なる再構成法やその他のパラメータおよび方法（例えば、エッジ強調法）を用いることも可能である。
図２Ｄに示す例において、腹部パラメータを用いて再構成される画像は、分解能が低下するものの、ノイズを大幅に低減できる。したがって、この画像は、腹部の診断にとって最適に再構成される。さらに、骨パラメータを用いて再構成される画像は、ノイズが増えるものの、分解能を高めることができる。
広範にわたるパラメータが、特定の再構成画像の画像品質に影響を及ぼし得る。これらのパラメータの一部または全てを、再構成法を調整して特定の臨床応用および／または解剖学的領域にとって最適となるよう用いられる再構成パラメータに含めてもよい。画像品質に寄与するこれらの各種パラメータに、例えば、臨床試験計画書に基づくパラメータ、画像処理パラメータ、再構成核、他を含めてもよい。さらに、最適化することができる再構成パラメータに、再構成アーチファクト補正のためのパラメータを含めてもよい。金属アーチファクト、折り返しアーチファクトなどの補正は、再構成法によって決まり、これらは再構成パラメータに関係付けられる。
ステップ２２０（１）、ステップ２２０（２）、ステップ２２０（３）等において、それぞれの特徴（例えば、腹部の特徴１５４（１）、肺の特徴１５４（２）、骨の特徴１５４（３）など）が、ステップ２１０（１）、ステップ２１０（２）、ステップ２１０（３）等を含むステップ２１０で生成された画像から抽出される。例えば、閾値および領域拡張法を用いて、画像を分割できる。さらに、ＨＵの範囲を特定の特徴（例えば、腹部、肺、骨、など）に関連付けるハウンズフィールドマップを用いることができる。さらに、特定の質感、構造のための画像処置、または人体の図解書を用いて、生成画像内で領域および特徴を分割して決定してもよい。特定の実施形態において、ユーザが入力することにより、実施形態に示す特徴に応じて、生成画像を領域に分割し、当該領域にタグ付けしてもよい。
例えば、生成画像のそれぞれから抽出する特徴は、ある特定の画像を最適化する際の対象だった特徴であってもよい。例えば、腹部において最適画像品質を有するよう再生される画像のために、腹部に対応する特徴を抽出してもよい。同様に、骨において最適画像品質を有するよう再生される画像のために、骨領域を抽出するといったようにしてもよい。
ステップ２４０において、組み合わされた画像がそれぞれの特徴１５４からまとめられ、目標画像１５３が生成される。そのため、目標画像１５３は、各領域においておよびそれぞれの特徴のタイプ毎に、最適画像品質を持つことができる。特定の実施形態において、分割された領域間の遷移は、縫い合わせ（例えば、段階的遷移）により、領域間に唐突な境界がないよう目標画像１５３が均一に見えるようにしてもよい。
特徴に応じた画像品質および／またはノイズ除去を有する目標データを用いてＤＬネットワーク１７０をトレーニングすることにより、ＤＬネットワーク１７０は学習し、ＤＬネットワーク１７０に適用された入力画像内に対応する特徴があるときに、これらの特徴を認識して同様の画像品質および／またはノイズ除去を有する画像を出力する。
図３Ａ、図３Ｂ、および図３Ｃは、腹部、肺、および骨領域のそれぞれに対して最適化された再構成を用いて生成された再構成画像の例を示す。図３Ａ、図３Ｂ、および図３Ｃに示すように、ＭＢＩＲにより、ノイズの質感と空間分解能との間のトレードオフの関係を改善することができる。これは、多くの場合、正則化パラメータの調整によって行われる。しかしながら、多くの診療応用において、単純にパラメータ全体を調整することだけでは、再構成画像内に表れる全ての器官および特徴に対して、所望のまたは最適なノイズの質感および空間分解能を作り出すには不十分となり得る。
図３Ａ、図３Ｂ、および図３Ｃは、同じ一式の生データ１０５を使用し、それぞれ異なる正則化パラメータを用いて３つの異なる画像を再構成した例を示す。図３Ａにおいて、正則化パラメータに腹部最適化パラメータを用いた場合、画像は、骨構造で空間分解能が低下することになったものの、軟部組織でノイズの質感をよく表している。図３Ｃにおいて、正則化パラメータに骨最適化パラメータを用いた場合、画像は、軟部組織でノイズの質感が低下することになったものの、骨構造で優れた空間分解能を示している。図３Ｂにおいて、正則化パラメータに肺最適化パラメータを用いた場合、画像は、中間の空間分解能と中間のノイズ質感を組み合わせたものを示すが、肺領域に対して最適化した折衷案である。
上記は、多くの臨床例で、１つの画像内の異なる解剖学的組織／器官に対して診断を実施することを考慮することにより、よりよく理解することができる。したがって、３つの別々の画像で、異なる解剖学的組織／器官に対してそれぞれ最適化することは、望ましくなく、また非効率的である。異なるパラメータで再構成された良好な特徴を、１つの画像に統合するのがよい。これは、図３Ａ、図３Ｂ、および図３Ｃに示すように画像のそれぞれに対して異なるパラメータを用いて画像を複数回再構成してから、これらの特徴／領域をまとめて合成して１つの特徴認識再構成を形成することにより達成されるであろうが、複数画像の再構成では非効率的である。したがって、実施形態に記載の方法は、再構成画像内の解剖学的組織／器官のそれぞれの分解能とノイズ質感の間の望ましいトレードオフの関係を実現するために、１つの画像を再構成した後、この再構成画像を、特徴認識ノイズ除去を実行するためトレーニングされたＤＬネットワーク１７０に適用する。
ここで、ＤＬ－ＡＮＮネットワークのトレーニングについて、さらに詳細に説明する（例えば、トレーニングプロセス１６０）。この説明は、特徴認識ノイズ除去された画像目標データである目標画像１５３およびノイズの多い画像である入力画像１５７を用いて示す。
図４は、トレーニングプロセス１６０の一実施形態のフローチャートを示す。トレーニングプロセス１６０において、低品質データである入力画像１５７および高品質データである目標画像１５３をトレーニングデータとして用いてＤＬ－ＡＮＮネットワークがトレーニングされ、その結果、ＤＬ－ＡＮＮネットワークがトレーニングプロセス１６０のステップ３１９から出力される。トレーニングプロセス１６０は、対応する目標画像１５３と対になった多数の入力画像１５７を用いてＤＬネットワーク１７０をトレーニングし、ＤＬネットワーク１７０がトレーニングされ、入力画像１５７から目標画像１５３に似た画像が生成される。
トレーニングプロセス１６０において、一式のトレーニングデータが取得され、ＤＬネットワーク１７０が繰り返し更新されることで、誤差（例えば、損失関数により生成された値）が減少する。ＤＬ－ＡＮＮネットワークにより、トレーニングデータにより示されるマッピングが推測され、ＤＬネットワーク１７０の最新の更新値を入力画像１５７に適用することによって生成された結果と目標画像１５３とのずれに関する誤差値が、費用関数により生成される。例えば、特定の実施形態において、費用関数は、平均二乗誤差を用いて、平均二乗誤差を最小化してもよい。多層パーセプトロン（Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎｓ：ＭＬＰ）ニューラルネットワークの場合、（確率）勾配降下法を用いて平均二乗誤差ベースの費用関数を最小化することによりネットワークをトレーニングするために、逆伝播アルゴリズムを用いてもよい。
トレーニングプロセス１６０のステップ３１６において、ＤＬネットワーク１７０の係数のための最初の推測が行われる。例えば、最初の推測は、撮像される領域の先験的知識、または１つ以上の代表的なノイズ除去法、エッジ検出法、および／またはブロブ検出法に基づいてもよい。さらに、最初の推測は、ＬｅＣｕｎ初期化、Ｘａｖｉｅｒ初期化、およびＫａｉｍｉｎｇ初期化のいずれかに基づいてもよい。
トレーニングプロセス１６０のステップ３１６～３１９は、ＤＬネットワーク１７０をトレーニングするための最適化法の限定されない例を示す。
（例えば、損失関数または費用関数を用いて）誤差が計算され、目標画像１５３（すなわち、グラウンドトルース）と最新版のＤＬネットワーク１７０を適用した後の入力画像１５７との違いの程度（例えば、距離尺度）が表示される。誤差は、上記費用関数などの任意の既知の費用関数または画像データ間の距離尺度を用いて、計算してもよい。さらに、特定の実施形態において、誤差／損失関数は、ヒンジ損失および交差エントロピー損失の１つ以上を用いて、計算してもよい。
特定の実施形態において、ＤＬネットワーク１７０は逆伝播法を用いてトレーニングされる。逆伝播法は、ニューラルネットワークをトレーニングするために用いることができ、勾配降下最適化法と組み合わせて使用される。順伝播の間、アルゴリズムにより、最新のパラメータΘに基づいてネットワークの予測値が計算される。次に、これらの予測値が損失関数に入力され、損失関数によって対応するグラウンドトルース標識（すなわち、高品質画像である目標画像１５３）と比較される。逆伝播の間、モデルにより、最新のパラメータに対する損失関数の勾配が計算され、その後、最小化された損失の方向に所定の刻み幅だけ進めることにより（例えば、Ｎｅｓｔｅｒｏｖモーメンタム法や各種適応方法などの加速法では、より早く収束して損失関数が最適化されるように、刻み幅を選択できる）、パラメータが更新される。
逆伝播法を実行する最適化法では、勾配降下法、バッチ勾配降下法、確率勾配降下法、およびミニバッチ確率勾配降下法のうちの１つ以上を用いてもよい。順伝播および逆伝播は、ネットワークのそれぞれの層で増分的に実行できる。順伝播において、第１の層に入力を与えることにより実行が開始され、次の層のために出力活性化が生成される。このプロセスは、最後の層の損失関数に達するまで、繰り返される。逆伝播の間、最後の層で、（もしあれば）それ自身の学習可能パラメータに対する勾配、および前の層の上流側の導関数となる自身の入力に対する勾配が計算される。このプロセスは、入力層に達するまで繰り返される。
図４に戻って、トレーニングプロセス１６０のステップ３１７で、誤差の変化がネットワークにおけるその変化の関数として計算され（例えば、誤差勾配）、この誤差の変化を用いて、ＤＬネットワーク１７０の重み／係数に対する次の変化のための方向および刻み幅が選択される。このような誤差の勾配の計算は、勾配降下法の特定の実施形態と整合性がとれている。特定の他の実施形態において、当業者には理解されるであろうが、このステップを、省略および／または別の最適化アルゴリズム（例えば、擬似焼きなまし法や遺伝的アルゴリズムのような勾配降下法ではない最適化アルゴリズム）による別のステップと入れ換えることができる。
トレーニングプロセス１６０のステップ３１７において、新たな一式の係数が、ＤＬネットワーク１７０のために算出される。例えば、勾配降下最適化法または過剰緩和加速法におけるように、重み／係数は、ステップ３１７で計算された変化を用いて、更新される。
トレーニングプロセス１６０のステップ３１８において、ＤＬネットワーク１７０の更新された重み／係数を用いて、新たな誤差値が計算される。
ステップ３１９において、所定の停止基準を用いて、ネットワークのトレーニングが完了したか否かが判定される。例えば、所定の停止基準により、新たな誤差および／または実行された全反復回数が所定値を超えたか否かを評価することができる。例えば、新たな誤差が所定閾値未満になったか、または最大反復回数に達したか、いずれかの場合に、停止基準を満たすことができる。停止基準が満たされない場合、トレーニングプロセス１６０で実行されるトレーニングプロセスは繰り返しループのスタートに戻って続けられ、新たな重みおよび係数を用いてステップ３１７が繰り返される（繰り返しループは、ステップ３１７、３１８、および３１９を含む）。停止基準が満たされると、トレーニングプロセス１６０におけるトレーニングプロセスが終了する。
図５Ａおよび図５Ｂは、ＤＬネットワーク１７０における層の間の相互接続の様々な例を示す。ＤＬネットワーク１７０に、全結合層、畳み込み層、およびプーリング層を含めることができる。これら全てについて以下に説明する。ＤＬネットワーク１７０の特定の好適な実施形態において、畳み込み層が入力層の近くに配置される一方で、高度な推論を行なう全結合層は、損失関数に向かってアーキテクチャのさらに下に配置される。プーリング層は、畳み込みの後に挿入され、フィルタの空間広がり、ひいては学習可能パラメータの量を減少させる縮小を検証できる。また、活性化関数が様々な層に組み込まれることで、非線形性が導入され、ネットワークが複雑な予測関係を学習できるようになっている。活性化関数は、飽和活性化関数（例えば、シグモイドまたは双曲線正接の活性化関数）または正規化活性化関数（例えば、上述の第１および第２の例で適用した正規化線形ユニット（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ：ＲｅＬＵ））であってもよい。また、ＤＬネットワーク１７０の層は、上述の第１および第２の例で示したように、バッチ正規化であってもよい。
図５Ａは、Ｎ個の入力、Ｋ個の隠れ層、および３個の出力を有する一般的なＡＮＮの例を示す。各層はノード（ニューロンともいう）で構成されており、各ノードで、入力の加重和が計算され、加重和の結果が閾値と比較されて、出力が生成される。ＡＮＮは、関数のクラスを構成しており、このクラスのメンバーは、閾値、接続重み、またはノード数および／またはノード接続性などのアーキテクチャの特質を変化させることにより取得される。ＡＮＮ内のノードは、ニューロン（または、ニューロンノード）と呼ばれ、ニューロンは、ＡＮＮシステムの異なる層の間を相互に接続できる。シナプス（すなわち、ニューロン間の接続）は、計算においてデータを操作する「重み」（互換的に「係数」または「重み係数」ともいう）を格納する。ＡＮＮの出力は、（ｉ）ニューロンの異なる層の間の相互接続パターン、（ｉｉ）相互接続の重みを更新するための学習プロセス、および（ｉｉｉ）ニューロンの重み付け入力をその出力活性化に変換する活性化関数である、３種類のパラメータによって決まる。
数学的に、ニューロンのネットワーク関数ｍ（ｘ）は、他の関数ｎｉ（ｘ）の合成関数として定義され、該他の関数ｎｉ（ｘ）は、さらに他の関数の合成関数として定義されてもよい。これは都合よくネットワーク構造として表現することができ、図５Ａに示すように、矢印が変数間の依存性を表している。例えば、ＡＮＮに非線形加重和ｍ（ｘ）＝Ｋ（Σｉｗｉｎｉ（ｘ））を用いてもよい。ここでＫ（通例、活性化関数という）は、双曲線正接などのある所定の関数である。
図５Ａにおいて（また同様に図５Ｂにおいて）、ニューロン（すなわち、ノード）は閾値関数の周りの円で描かれている。図５Ａに示す限定されない例について、入力は線形関数の周りの円で描かれ、また矢印はニューロン間の有向接続を示している。特定の実施形態において、ＤＬネットワーク１７０は、フィードフォワードネットワークである。
図５Ｂは、ＤＬネットワーク１７０がＣＮＮである、限定されない例を示す。ＣＮＮは、ＡＮＮの一種であり、画像処理に有利な特性を有すため、画像ノイズ除去の適用と特に関連がある。ＣＮＮは、ニューロン間の接続パターンで画像処理における畳み込みを表現できる、フィードフォワードＡＮＮを用いる。例えば、ＣＮＮは、受容野と呼ばれる画像の入力部分を処理する小さいニューロンクラスタからなる複数の層を用いた画像処理の最適化に、用いることができる。そして、これらのクラスタの出力は、互いに重なり合うように並べられ、元の画像をより好適に表現することができる。この処理パターンを、畳み込み層とプーリング層とを交互に有する複数層にわたって繰り返すことができる。
畳み込み層の後に続いて、畳み込み層におけるニューロンクラスタの出力を組み合わせる局所および／または広域プーリング層を、ＣＮＮに含めることができる。さらに、特定の実施形態において、各層の端にまたは後ろに点別非線形性を適用して、ＣＮＮに、畳み込み層および全結合層の様々な組み合わせを含めてもよい。
図６は、医用イメージングシステム４０の実施形態の例を示す。医用イメージングシステム４０は、少なくとも１つのスキャン装置４３０と、それぞれが特別に構成された計算装置（例えば、特別に構成されたデスクトップコンピュータ、特別に構成されたラップトップコンピュータ、特別に構成されたサーバ）である１つ以上の画像生成装置４１０と、表示装置４２０とを含む。
なお、スキャン装置４３０及び画像生成装置４１０は医用装置の一例である。例えば、スキャン装置４３０は、スキャンを実施することで取得した医用データについて、上述した方法１０における種々のステップ及びその変形例を実施することができる。或いは、画像生成装置４１０、スキャン装置４３０から取得した医用データについて、上述した方法１０における種々のステップ及びその変形例を実施することができる。
スキャン装置４３０は、被検体（例えば、患者）の領域（例えば、部位、ボリューム、スライス）をスキャンすることにより、スキャンデータを収集するように構成される。走査モダリティは、例えば、ＭＲＩ、ＣＴ、ＰＥＴ、Ｘ線撮影、および超音波診断であってもよい。スキャン装置４３０は、圧縮センシング再構成に適したランダムアンダーサンプリングを行った一式のスキャンデータを収集してもよく、または圧縮センシング処理に用いられ得るスキャンデータを収集してもよい。このため、圧縮センシングデータは、圧縮センシング処理で用いられ得る、または圧縮センシング再構成に適した、スキャンデータを含む。
前記１つ以上の画像生成装置４１０は、スキャン装置４３０からスキャンデータを取得し、スキャンデータに基づいて被検体の領域の画像を生成する。画像を生成するために、例えば、スキャンデータが圧縮センシングデータである場合、前記１つ以上の画像生成装置４１０が、医用イメージングプロセス１００の各ステップを実行してもよい。
前記１つ以上の画像生成装置４１０が画像を生成した後、前記１つ以上の画像生成装置４１０は、画像を表示する表示装置４２０に、該画像を送信する。
図７は、医用イメージングシステム４０がＣＴスキャンを実行可能なガントリ５００を含む実施形態を示す。図７に示すように、ガントリ５００は、側面からの様子が示されており、さらにＸ線管５０１、環状フレーム５０２、および複数列または２次元アレイ型Ｘ線検出器５０３を含む。Ｘ線管５０１およびＸ線検出器５０３は、直径方向に被検体ＯＢＪをはさんで環状フレーム５０２上に取り付けられ、環状フレーム５０２は回転軸ＲＡの周りで回転可能に支持される。
マルチスライスＸ線ＣＴ装置は、高電圧発生器５０９をさらに含み、高電圧発生器５０９は、Ｘ線管５０１がＸ線を生成するように、スリップリング５０８を介してＸ線管５０１に印加される管電圧を生成する。Ｘ線は、被検体ＯＢＪに向かって放射され、被検体ＯＢＪの断面領域は円によって表される。例えば、Ｘ線管５０１は、１回目のスキャンの間に、２回目のスキャンの間の平均Ｘ線エネルギーよりも少ない平均Ｘ線エネルギーを有する。したがって、異なるＸ線エネルギーに対応する２回以上のスキャンを、取得できる。Ｘ線検出器５０３は、被検体ＯＢＪを透過した照射Ｘ線を検出するために、被検体ＯＢＪをはさんでＸ線管５０１の反対側に位置する。Ｘ線検出器５０３は、さらに、独立した検出器要素または検出器ユニットを含む。
ＣＴ装置は、さらに、Ｘ線検出器５０３からの検出信号を処理するための他の装置を含む。データ収集回路またはデータ収集システム（Ｄａｔａ Ａｃｑｕｉｓｉｔｉｏｎ Ｓｙｓｔｅｍ：ＤＡＳ）５０４は、各チャネルについてＸ線検出器５０３から出力される信号を電圧信号に変換し、電圧信号を増幅し、さらに電圧信号をデジタル信号へと変換する。
上記のデータは、非接触データ送信器５０５を介して、ガントリ５００の外部のコンソール内に収容された前処理回路５０６に送信される。前処理回路５０６は、生データに対して、感度補正などの特定の補正を実行する。メモリ５１２は、結果として得られるデータ（投影データともいう）を再構成処理の直前の段階で格納する。メモリ５１２は、データ／制御バス５１１を介して、再構成回路５１４、入力インタフェース５１５、およびディスプレイ５１６と共に、処理回路５１０に接続される。処理回路５１０は、電流をＣＴシステムの駆動のために十分なレベルまで制限する電流調整回路５１３を制御する。
検出器は、様々な世代のＣＴスキャナシステムの中の患者に対して、回転および／または固定される。一実施形態において、上記のＣＴシステムは、第３世代ジオメトリと第４世代ジオメトリを組み合わせたシステムの例であってもよい。第３世代システムでは、Ｘ線管５０１およびＸ線検出器５０３は、直径方向に環状フレーム５０２上に取り付けられ、環状フレーム５０２が回転軸ＲＡを軸に回転させられると、被検体ＯＢＪの周りを回転する。第４世代ジオメトリシステムでは、検出器は、患者の周りに固定して配置され、Ｘ線管は患者の周りを回転する。代替的な実施形態において、ガントリ５００は、Ｃアームおよびスタンドによって支持された環状フレーム５０２上に配置された複数の検出器を有する。
メモリ５１２は、Ｘ線検出器５０３でのＸ線の放射照度を表す測定値を格納できる。さらに、メモリ５１２は、医用イメージングプロセス１００を実行するための専用プログラムを格納できる。
再構成回路５１４は、医用イメージングプロセス１００の様々なステップを実行できる。さらに、再構成回路５１４は、必要に応じて、ボリュームレンダリング処理および画像差分処理などの前再構成処理および画像処理を実行できる。
前処理回路５０６によって実行される投影データの前再構成処理は、例えば、検出器校正、検出器非線形性、および極性効果に対する補正を含んでもよい。
再構成回路５１４によって実行される後再構成処理は、必要に応じて、画像のフィルタリングおよび平滑化、ボリュームレンダリング処理、ならびに画像差分処理を含んでもよい。画像再構成処理は、医用イメージングプロセス１００の様々なステップを実装できる。再構成回路５１４は、メモリを使用して、例えば、投影データ、再構成画像、校正データおよびパラメータ、ならびにコンピュータプログラムを格納できる。
再構成回路５１４は、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）、またはその他の複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）など、離散論理ゲートとして実現できるＣＰＵ（処理回路）を含んでもよい。ＦＰＧＡまたはＣＰＬＤの実装は、ＶＨＤＬ、Ｖｅｒｉｌｏｇ、またはその他のハードウェア記述言語でコード化されてもよく、また、コードはＦＰＧＡまたはＣＰＬＤにおいて電子メモリ内に直接格納されてもよいし、別個の電子メモリとして格納されてもよい。さらに、メモリ５１２は、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはＦＬＡＳＨメモリなどの不揮発性のものであってもよい。また、メモリ５１２は、スタティックＲＡＭまたはダイナミックＲＡＭなどの揮発性のものでもよく、また、マイクロコントローラまたはマイクロプロセッサなどのプロセッサを、電子メモリ、およびＦＰＧＡまたはＣＰＬＤとメモリの間の連携を管理するために設けてもよい。
また、再構成回路５１４におけるＣＰＵは、実施形態に記載の機能を実行するコンピュータ可読命令の一式を含むコンピュータプログラムを実行してもよく、該プログラムは、上記の非一時的電子メモリおよび／またはハードディスクドライブ、ＣＤ、ＤＶＤ、ＦＬＡＳＨドライブ、あるいはその他の任意の既知の記憶媒体のいずれかに格納される。さらに、コンピュータ可読命令は、ユーティリティアプリケーション、バックグラウンドデーモン、またはオペレーティングシステムのコンポーネント、またはそれらの組み合わせとして提供されてもよく、米国Ｉｎｔｅｌ社のＸｅｎｏｎプロセッサまたは米国ＡＭＤ社のＯｐｔｅｒｏｎプロセッサなどのプロセッサと、また、Ｍｉｃｒｏｓｏｆｔ ＶＩＳＴＡ、ＵＮＩＸ（登録商標）、Ｓｏｌａｒｉｓ、ＬＩＮＵＸ（登録商標）、Ａｐｐｌｅ、ＭＡＣ－ＯＳ、および当業者にとって既知のオペレーティングシステムなどのオペレーティングシステムと共に動作する。さらに、ＣＰＵは、命令を実行するために並行して協同で動作する、複数のプロセッサとして実装されてもよい。
一実施形態において、再構成画像は、ディスプレイ５１６上に表示されてもよい。ディスプレイ５１６は、ＬＣＤディスプレイ、ＣＲＴディスプレイ、プラズマディスプレイ、ＯＬＥＤ、ＬＥＤ、またはその他の本技術分野で既知のディスプレイであってもよい。
メモリ５１２は、ハードディスクドライブ、ＣＤ－ＲＯＭドライブ、ＤＶＤドライブ、ＦＬＡＳＨドライブ、ＲＡＭ、ＲＯＭ、またはその他の本技術分野で既知の電子記憶装置であってもよい。
メモリ５１２は、ハードディスクドライブ、ＣＤ－ＲＯＭドライブ、ＤＶＤドライブ、ＦＬＡＳＨドライブ、ＲＡＭ、ＲＯＭ、またはその他の本技術分野で既知の電子記憶装置であってもよい。
以上説明した少なくとも１つの実施形態によれば、医用画像の画質を向上させることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
４０ 医用イメージングシステム
５００ ガントリ
５１４ 再構成回路
５００ ガントリ
５１４ 再構成回路
Claims (15)
- 低品質データである入力画像と高品質データである目標画像とによるデータセットを用いてニューラルネットワークを学習させることを含む学習方法であって、
前記目標画像は、
被検体から収集された医用データに対し、複数の異なる再構成を実施することで異なる複数の画像を取得し、
取得した前記複数の画像から、それぞれ異なる特徴領域を抽出し、
抽出した前記異なる特徴領域を、１つの画像に組み合わせることで生成される、ニューラルネットワークの学習方法。 - 前記異なる特徴領域は、１つの画像内の異なる解剖学的組織または器官を表す、請求項１に記載のニューラルネットワークの学習方法。
- 前記異なる特徴領域は、特定の質感、構造のための画像処置、または人体の図解書の情報に基づいて決定される、請求項１に記載のニューラルネットワークの学習方法。
- 前記ニューラルネットワークは、前記目標画像と、対応の前記入力画像を前記ニューラルネットワークに適用することにより生成された出力画像との間の差を表す損失関数を、重み係数を繰り返し調整して最小化することによって学習する、請求項１に記載のニューラルネットワークの学習方法。
- 前記入力画像または前記目標画像は、Ｘ線コンピュータ断層撮影（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ：ＣＴ）データ、ガンマ線ポジトロン放射断層撮影（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ：ＰＥＴ）、単光子放射型ＣＴ（Ｓｉｎｇｌｅ－Ｐｈｏｔｏｎ Ｅｍｉｓｓｉｏｎ ＣＴ：ＳＰＥＣＴ）データ、および磁気共鳴イメージング（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ：ＭＲＩ）データのうちの１つにより生成された画像である、請求項１に記載のニューラルネットワークの学習方法。
- 高品質データである目標画像であって、被検体から収集された医用データに対して複数の異なる再構成を実施することで異なる複数の画像を取得し、取得した前記複数の画像からそれぞれ異なる特徴領域を抽出し、抽出した前記異なる特徴領域を１つの画像に組み合わせることで生成される目標画像と、低品質データである入力画像とによるデータセットを用いてニューラルネットワークを学習させる
処理をコンピュータに実行させる、プログラム。 - 被検体から収集された医用データに基づく第１の画像を取得し、
前記第１の画像をニューラルネットワークに適用して前記第１の画像の特徴認識ノイズ除去を行なうことにより、前記第１の画像に対して低減されたノイズを有し、前記ノイズの低減量が前記第１の画像に表された特徴の位置に応じて変化する第２の画像を生成することを含む医用画像処理方法であって、
前記ニューラルネットワークは、入力層と出力層との間の複数層における各層のニューロンノード間の接続の重み係数を含み、入力画像および目標画像の対を含むトレーニングデータセットを用いてトレーニングされており、
前記目標画像は、対応する前記入力画像に対して空間的に変化するノイズ除去の度合いを示し、
前記空間的に変化するノイズ除去の度合いは、前記目標画像に表された特徴の位置に対応する、医用画像処理方法。 - 入力画像および目標画像の対を含むトレーニングデータセットを取得し、
ニューラルネットワークを初期化して、前記ニューラルネットワークに適用される入力を基準に前記ニューラルネットワークから出力のノイズを除去し、
前記ニューラルネットワークをトレーニングして、より高い正則化を有する前記目標画像における特徴に対応する前記入力画像内の領域により高いノイズ除去を適用することを含む医用画像処理方法であって、
前記入力画像および前記目標画像は、所定の解剖学的領域の放射線データから再構成される医用画像であり、前記入力画像は前記目標画像よりも多くのノイズを示し、前記目標画像は前記目標画像それぞれに表れた特徴に基づいて空間的に変化する正則化を有し、
前記ニューラルネットワークは、前記ニューラルネットワークの入力層と出力層の間の複数層における各層のニューロンノード間の接続の重み係数を含み、
前記重み係数を繰り返し調整し、前記目標画像と、対応の前記入力画像を前記ニューラルネットワークに適用することにより生成された出力画像との間の差を表す損失関数を最小化することで前記ニューラルネットワークをトレーニングする、医用画像処理方法。 - 対象画像を取得し、
取得した対象画像に対して、低品質画像と高品質画像の複数のペアに基づいてトレーニングされたニューラルネットワークを適用することで、当該ニューラルネットワークによって品質が改善された出力画像を生成する回路を備えた医用装置であって、
前記高品質画像は、被検体の領域をスキャンして得られたスキャンデータを取得し、当該スキャンデータを使用して複数の異なるパラメータの下で複数の医用画像を再構成し、再構成された前記複数の医用画像のうちの異なる１つから抽出され且つ前記複数の異なるパラメータのうちの１つに各々が対応する複数の特徴を抽出し、抽出された特徴を統合することで取得される統合医用画像であり、
前記複数の異なるパラメータの各々は、対応する特徴の画質を最適化するためのパラメータである、医用装置。 - 前記回路は、前記複数の医用画像として、前記被検体の第１の領域に対応する第１のパラメータの下で再構成された第１の画像と、前記被検体の第２の領域に対応する第２のパラメータの下で再構成された第２の画像とを、前記スキャンデータを使用して取得する、請求項９に記載の医用装置。
- 前記回路は、前記複数の異なるパラメータとして、前記第１の画像から前記第１の領域に対応する第１の特徴を抽出し、前記第２の画像から前記第２の領域に対応する第２の特徴を抽出する、請求項１０に記載の医用装置。
- 前記第１のパラメータは、前記第１の領域の画質を最適化するためのパラメータであり、前記第２のパラメータは、前記第２の領域の画質を最適化するためのパラメータである、請求項１０に記載の医用装置。
- 前記回路は、第１の再構成方法を用いて前記対象画像を取得し、
前記低品質画像は、前記第１の再構成方法を用いて再構成され、
前記複数の医用画像は、逐次近似再構成法を用いて再構成される、請求項９に記載の医用装置。 - 前記高品質画像を生成する処理は、オフラインプロセスに含まれる、請求項９に記載の医用装置。
- 対象画像を取得し、
取得した対象画像に対して、低品質画像と高品質画像の複数のペアに基づいてトレーニングされたニューラルネットワークを適用することで、当該ニューラルネットワークによって品質が改善された出力画像を生成することを含む医用画像処理方法であって、
前記高品質画像は、被検体の領域をスキャンして得られたスキャンデータを取得し、当該スキャンデータを使用して複数の異なるパラメータの下で複数の医用画像を再構成し、再構成された前記複数の医用画像のうちの異なる１つから抽出され且つ前記複数の異なるパラメータのうちの１つに各々が対応する複数の特徴を抽出し、抽出された特徴を統合することで取得される統合医用画像であり、
前記複数の異なるパラメータの各々は、対応する特徴の画質を最適化するためのパラメータである、医用画像処理方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/372,174 US11315221B2 (en) | 2019-04-01 | 2019-04-01 | Apparatus and method for image reconstruction using feature-aware deep learning |
| US16/372,174 | 2019-04-01 | ||
| JP2019230421A JP7433883B2 (ja) | 2019-04-01 | 2019-12-20 | 医用装置及びプログラム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019230421A Division JP7433883B2 (ja) | 2019-04-01 | 2019-12-20 | 医用装置及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024054204A true JP2024054204A (ja) | 2024-04-16 |
Family
ID=72603854
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019230421A Active JP7433883B2 (ja) | 2019-04-01 | 2019-12-20 | 医用装置及びプログラム |
| JP2024015758A Pending JP2024054204A (ja) | 2019-04-01 | 2024-02-05 | ニューラルネットワークの学習方法、プログラム、医用画像処理方法及び医用装置 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019230421A Active JP7433883B2 (ja) | 2019-04-01 | 2019-12-20 | 医用装置及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11315221B2 (ja) |
| JP (2) | JP7433883B2 (ja) |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018232388A1 (en) * | 2017-06-16 | 2018-12-20 | Rensselaer Polytechnic Institute | Systems and methods for integrating tomographic image reconstruction and radiomics using neural networks |
| WO2020219915A1 (en) * | 2019-04-24 | 2020-10-29 | University Of Virginia Patent Foundation | Denoising magnetic resonance images using unsupervised deep convolutional neural networks |
| CN110070588B (zh) * | 2019-04-24 | 2023-01-31 | 上海联影医疗科技股份有限公司 | Pet图像重建方法、系统、可读存储介质和设备 |
| KR20200126825A (ko) * | 2019-04-30 | 2020-11-09 | 삼성전자주식회사 | 자기 공명 신호 데이터로부터 파라미터 맵을 생성하는 자기 공명 영상 장치 및 그 동작 방법 |
| KR20200127766A (ko) * | 2019-05-03 | 2020-11-11 | 삼성전자주식회사 | 영상 처리 장치 및 그 영상 처리 방법 |
| JP7353803B2 (ja) * | 2019-06-03 | 2023-10-02 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| DE102019210545B4 (de) * | 2019-07-17 | 2024-02-01 | Siemens Healthcare Gmbh | Bereitstellen eines Ergebnisbilddatensatzes und einer trainierten Generatorfunktion |
| US11540798B2 (en) | 2019-08-30 | 2023-01-03 | The Research Foundation For The State University Of New York | Dilated convolutional neural network system and method for positron emission tomography (PET) image denoising |
| US11394732B1 (en) * | 2019-09-10 | 2022-07-19 | NortonLifeLock Inc. | Systems and methods for adaptively managing data drift in a classifier |
| DE102019215460A1 (de) * | 2019-10-09 | 2021-04-15 | Siemens Healthcare Gmbh | Verfahren und Vorrichtung zur Rauschreduktion von Bildaufnahmen |
| US20210118200A1 (en) * | 2019-10-21 | 2021-04-22 | Regents Of The University Of Minnesota | Systems and methods for training machine learning algorithms for inverse problems without fully sampled reference data |
| US11288775B2 (en) * | 2019-11-27 | 2022-03-29 | GE Precision Healthcare LLC | Methods and systems for parametric noise modulation in x-ray imaging |
| CN112424835B (zh) * | 2020-05-18 | 2023-11-24 | 上海联影医疗科技股份有限公司 | 用于图像重建的系统和方法 |
| US11481937B2 (en) * | 2020-05-21 | 2022-10-25 | Zhejiang University | Positron emission tomography image reconstruction method |
| DE102020207210A1 (de) * | 2020-06-09 | 2021-12-09 | Siemens Healthcare Gmbh | Rekonstruktionsmodul und Verfahren zur Rekonstruktion von medizinischen Bildern |
| WO2022076654A1 (en) * | 2020-10-07 | 2022-04-14 | Hyperfine, Inc. | Deep learning methods for noise suppression in medical imaging |
| CN112381741B (zh) * | 2020-11-24 | 2021-07-16 | 佛山读图科技有限公司 | 基于spect数据采样与噪声特性的断层图像重建方法 |
| CN112634146B (zh) * | 2020-12-02 | 2023-09-15 | 四川玄光立影医疗科技有限公司 | 基于多种注意力机制的多通道cnn医学ct图像去噪方法 |
| CN112541876B (zh) * | 2020-12-15 | 2023-08-04 | 北京百度网讯科技有限公司 | 卫星图像处理方法、网络训练方法、相关装置及电子设备 |
| WO2022132972A1 (en) * | 2020-12-15 | 2022-06-23 | The Truestees Of Columbia University In The City Of New York | System, method, and computer-accessible medium for facilitating single echo reconstruction of rapid magnetic resonance imaging |
| CN112258597B (zh) * | 2020-12-18 | 2021-04-20 | 成都理工大学 | 基于神经网络定位算法的快速成像方法及装置 |
| CN113096238B (zh) * | 2021-04-02 | 2022-05-17 | 杭州柳叶刀机器人有限公司 | 一种x射线图模拟方法、装置、电子设备及存储介质 |
| CN113192154B (zh) * | 2021-05-28 | 2023-05-23 | 广东工业大学 | 基于边缘计算的水下鬼成像系统及深度学习图像重建方法 |
| CN113052786B (zh) * | 2021-05-31 | 2021-09-03 | 北京星天科技有限公司 | 一种声呐图像合成方法和装置 |
| US20230019733A1 (en) * | 2021-07-16 | 2023-01-19 | Shanghai United Imaging Intelligence Co., Ltd. | Motion artifact correction using artificial neural networks |
| CN113744356A (zh) * | 2021-08-17 | 2021-12-03 | 中山大学 | 一种低剂量spect弦图恢复和散射校正的方法 |
| TWI779784B (zh) * | 2021-08-19 | 2022-10-01 | 中華電信股份有限公司 | 特徵解析系統、方法及其電腦可讀媒介 |
| CN114140353B (zh) * | 2021-11-25 | 2023-04-07 | 苏州大学 | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 |
| US20230177747A1 (en) * | 2021-12-06 | 2023-06-08 | GE Precision Healthcare LLC | Machine learning generation of low-noise and high structural conspicuity images |
| US20230290108A1 (en) * | 2022-03-10 | 2023-09-14 | Samsung Electronics Co., Ltd. | Machine-Learning Models Trained to Modify Image Illumination Without Ground-Truth Images |
| JP2024054668A (ja) * | 2022-10-05 | 2024-04-17 | 浜松ホトニクス株式会社 | 画像処理装置および画像処理方法 |
| JP2024054952A (ja) * | 2022-10-06 | 2024-04-18 | 浜松ホトニクス株式会社 | 画像処理装置および画像処理方法 |
| CN116012478B (zh) * | 2022-12-27 | 2023-08-18 | 哈尔滨工业大学 | 一种基于收敛型扩散模型的ct金属伪影去除方法 |
| CN116228916B (zh) * | 2023-05-10 | 2023-07-11 | 中日友好医院(中日友好临床医学研究所) | 一种图像去金属伪影方法、系统及设备 |
| CN117314763A (zh) * | 2023-08-17 | 2023-12-29 | 贵州医科大学附属口腔医院 | 一种基于机器学习的口腔卫生管理方法及系统 |
| CN117496044A (zh) * | 2023-09-19 | 2024-02-02 | 上海睿触科技有限公司 | 基于深度学习的肺部ct图像重建方法 |
| CN117593611A (zh) * | 2024-01-19 | 2024-02-23 | 荣耀终端有限公司 | 模型训练方法、图像重建方法、装置、设备及存储介质 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998029833A1 (fr) * | 1996-12-25 | 1998-07-09 | Hitachi, Ltd. | Appareil et procede de reconnaissance de formes |
| JP3953569B2 (ja) * | 1997-03-11 | 2007-08-08 | 株式会社日立メディコ | 画像処理装置 |
| US8135199B2 (en) | 2006-12-19 | 2012-03-13 | Fujifilm Corporation | Method and apparatus of using probabilistic atlas for feature removal/positioning |
| CN102667852B (zh) | 2009-11-25 | 2015-11-25 | 皇家飞利浦电子股份有限公司 | 增强图像数据/剂量减小 |
| JP5828649B2 (ja) | 2011-03-09 | 2015-12-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びコンピュータプログラム |
| CN108366728B (zh) * | 2015-12-03 | 2021-09-03 | 皇家飞利浦有限公司 | 用于被静电荷损坏并被路线发送到心电图(ekg)监测器的心电信号的静电荷滤波器 |
| US10993688B2 (en) | 2015-12-15 | 2021-05-04 | Koninklijke Philips N.V. | Method of data processing for computed tomography |
| US9760807B2 (en) | 2016-01-08 | 2017-09-12 | Siemens Healthcare Gmbh | Deep image-to-image network learning for medical image analysis |
| CN109863512B (zh) | 2016-09-01 | 2023-10-20 | 通用医疗公司 | 用于通过流形近似进行自动变换的系统和方法 |
| US10074038B2 (en) * | 2016-11-23 | 2018-09-11 | General Electric Company | Deep learning medical systems and methods for image reconstruction and quality evaluation |
| US20180197317A1 (en) | 2017-01-06 | 2018-07-12 | General Electric Company | Deep learning based acceleration for iterative tomographic reconstruction |
| EP3404611A1 (en) * | 2017-05-19 | 2018-11-21 | RetinAI Medical GmbH | Reducing noise in an image |
| US10643319B2 (en) | 2018-01-30 | 2020-05-05 | Canon Medical Systems Corporation | Apparatus and method for context-oriented blending of reconstructed images |
| US10949951B2 (en) * | 2018-08-23 | 2021-03-16 | General Electric Company | Patient-specific deep learning image denoising methods and systems |
-
2019
- 2019-04-01 US US16/372,174 patent/US11315221B2/en active Active
- 2019-12-20 JP JP2019230421A patent/JP7433883B2/ja active Active
-
2024
- 2024-02-05 JP JP2024015758A patent/JP2024054204A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US11315221B2 (en) | 2022-04-26 |
| JP7433883B2 (ja) | 2024-02-20 |
| JP2020168352A (ja) | 2020-10-15 |
| US20200311878A1 (en) | 2020-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7433883B2 (ja) | 医用装置及びプログラム | |
| JP7432356B2 (ja) | 医用装置及びプログラム | |
| JP7150837B2 (ja) | 機械学習を使用した画像生成 | |
| US20230119427A1 (en) | Apparatus and method for medical image reconstruction using deep learning for computed tomography (ct) image noise and artifacts reduction | |
| US11847761B2 (en) | Medical image processing apparatus having a plurality of neural networks corresponding to different fields of view | |
| US11554272B2 (en) | System and method for diagnostic and treatment | |
| JP7187476B2 (ja) | 深層学習に基づくトモグラフィ再構成 | |
| JP6855223B2 (ja) | 医用画像処理装置、ｘ線コンピュータ断層撮像装置及び医用画像処理方法 | |
| US11100684B2 (en) | Apparatus and method for artifact detection and correction using deep learning | |
| US11026642B2 (en) | Apparatuses and a method for artifact reduction in medical images using a neural network | |
| US10925568B2 (en) | Apparatus and method using physical model based deep learning (DL) to improve image quality in images that are reconstructed using computed tomography (CT) | |
| US11403791B2 (en) | Apparatus and method using deep learning (DL) to improve analytical tomographic image reconstruction | |
| US11224399B2 (en) | Apparatus and method using deep learning (DL) to compensate for large focal spot size in x-ray projection imaging | |
| US11547378B2 (en) | Apparatus and method combining deep learning (DL) with an X-ray computed tomography (CT) scanner having a multi-resolution detector | |
| JP2016152916A (ja) | Ｘ線コンピュータ断層撮像装置及び医用画像処理装置 | |
| Zhang et al. | PET image reconstruction using a cascading back-projection neural network | |
| JP7362460B2 (ja) | 医用画像処理装置、方法及び記憶媒体 | |
| JP7475979B2 (ja) | Ｘ線システム及び撮像プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240205 |