JP7466141B2 - High-speed magnetic resonance image reconstruction method and magnetic resonance imaging device - Google Patents
High-speed magnetic resonance image reconstruction method and magnetic resonance imaging device Download PDFInfo
- Publication number
- JP7466141B2 JP7466141B2 JP2020025707A JP2020025707A JP7466141B2 JP 7466141 B2 JP7466141 B2 JP 7466141B2 JP 2020025707 A JP2020025707 A JP 2020025707A JP 2020025707 A JP2020025707 A JP 2020025707A JP 7466141 B2 JP7466141 B2 JP 7466141B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- space data
- resolution
- magnetic resonance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 39
- 238000002595 magnetic resonance imaging Methods 0.000 title claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 38
- 238000005070 sampling Methods 0.000 claims description 14
- 238000013135 deep learning Methods 0.000 claims description 13
- 238000011084 recovery Methods 0.000 claims description 6
- 238000004513 sizing Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 12
- 238000005481 NMR spectroscopy Methods 0.000 description 10
- 210000002569 neuron Anatomy 0.000 description 10
- 238000004904 shortening Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000593 degrading effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 229910052739 hydrogen Inorganic materials 0.000 description 2
- 239000001257 hydrogen Substances 0.000 description 2
- 230000005415 magnetization Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002945 steepest descent method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000004870 electrical engineering Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
Description
特許法第30条第2項適用 ウェブサイト:https://www.ieice.org/ken/paper/2019030661MB/ 公開日:平成31年2月26日 集会名:電子情報通信学会研究会(第36回IBISML研究会) 開催日:平成31年3月6日 授業名:国立大学法人九州大学システム情報科学研究院情報学専攻修士2年次の演習授業「情報学講究」 公開日:令和1年7月2日 ウェブサイト:https://link.springer.com/article/10.1007/s10334-019-00755-1 https://link.springer.com/journal/10334/32/1/suppl(Pages235-371の分) 公開日:2019年9月24日 ウェブサイト:https://esmrmb2019.smart-abstract.com/eposter/#/posters/124 公開日:2019年10月3日 集会名:European Society for Magnetic Resonance in Medicine and Biology 2019 Congress(ESMRMB 2019 Congress) 開催日:2019年10月5日
本発明は、磁気共鳴画像高速再構成法及び磁気共鳴イメージング装置に関する。 The present invention relates to a method for high-speed magnetic resonance image reconstruction and a magnetic resonance imaging device.
磁気共鳴画像法(Magnetic Resonance Imaging; MRI)は生体内の情報を得る有力な手段の1つである。しかし、MRI装置の検査には、数十分から1時間ほどの時間が必要となる。そこで、患者の負担軽減のため、撮像時間のさらなる短縮が求められている。この10年間、情報処理によるMRIの高速化と高精細化に貢献してきたのが圧縮センシング(Compressed Sensing; CS)である(例えば、特許文献1、非特許文献1参照)。圧縮センシングは、アンダーサンプリングを行って撮像時間を削減しつつ、計算により少ない観測データから元の画像を復元し再構成する技術である。
Magnetic resonance imaging (MRI) is one of the most effective means of obtaining information about the inside of a living body. However, examinations using an MRI device can take anywhere from several tens of minutes to an hour. Therefore, in order to reduce the burden on patients, there is a need to further shorten the imaging time. Over the past decade, compressed sensing (CS) has contributed to the speed and resolution of MRI through information processing (see, for example,
しかし、圧縮センシングのアルゴリズムは観測数の3乗オーダーの計算量を必要とする。このため、観測データを少なくして削減した撮像時間よりも、画像を復元し再構成する再構成時間の方が超えてしまうといった不都合が生ずる場合がある。 However, compressed sensing algorithms require a computational complexity on the order of the cube of the number of observations. This can lead to inconveniences such as the time required to restore and reconstruct an image exceeding the imaging time saved by reducing the amount of observation data.
本発明は、上記実情の下になされたものであり、撮像時間及び再構成時間を双方短縮しつつ、高解像度画像を復元することができる磁気共鳴画像高速再構成法及び磁気共鳴イメージング装置を提供することを目的とする。 The present invention has been made in light of the above circumstances, and aims to provide a magnetic resonance image high-speed reconstruction method and a magnetic resonance imaging device that can restore high-resolution images while shortening both the imaging time and the reconstruction time.
上記目的を達成するために、本発明の第1の観点に係る磁気共鳴画像高速再構成法は、
磁気共鳴により観測される原信号から、低周波数領域のサンプリング点が高周波数領域のサンプリング点よりも密となるように、サンプリング点を間引きして第1のk空間データを取得するデータ取得ステップと、
多重解像度畳み込みニューラルネットワークを用いて、前記第1のk空間データから高解像度画像を復元するデータ復元ステップと、を含み、
前記多重解像度畳み込みニューラルネットワークでは、
前記第1のk空間データから、前記第1のk空間データよりもサイズが小さくかつ高周波成分が除去された第2のk空間データを生成し、
前記第1のk空間データ及び前記第2のk空間データ各々から得られる画像を、超解像畳み込みニューラルネットワークを用いて超解像化し、
超解像化された画像を、サイズを合わせて重ね合わせることにより、前記高解像度画像を復元する。
In order to achieve the above object, a fast magnetic resonance image reconstruction method according to a first aspect of the present invention comprises:
a data acquisition step of acquiring first k-space data by thinning out sampling points from an original signal observed by magnetic resonance so that sampling points in a low frequency region are denser than sampling points in a high frequency region;
and a data reconstruction step of reconstructing a high-resolution image from the first k-space data using a multi-resolution convolutional neural network;
In the multi-resolution convolutional neural network,
generating second k-space data from the first k-space data , the second k-space data being smaller in size than the first k-space data and from which high frequency components have been removed;
super-resolution of images obtained from the first k-space data and the second k-space data using a super-resolution convolutional neural network;
The super-resolved images are resized and overlapped to restore the high-resolution image.
この場合、前記データ復元ステップに先立って、
高精細なk空間データを教師データとし、前記教師データが間引きされて生成されたk空間データを前記第1のk空間データとして、前記多重解像度畳み込みニューラルネットワークを学習させる深層学習ステップを含む、
こととしてもよい。
In this case, prior to the data recovery step,
A deep learning step of learning the multi-resolution convolutional neural network using high-resolution k-space data as teacher data and k-space data generated by thinning out the teacher data as the first k-space data.
This may also be the case.
また、前記深層学習ステップでは、
所定の空間周波数よりも低周波成分のデータ全体を残し、前記空間周波数よりも高周波成分についてはランダムにデータを残すアンダーサンプリングフィルタを用いて、前記教師データを間引きすることにより、学習用の前記第1のk空間データを生成する、
こととしてもよい。
In addition, in the deep learning step,
generating the first k-space data for learning by thinning out the teacher data using an undersampling filter that leaves all data of components lower than a predetermined spatial frequency and randomly leaves data of components higher than the spatial frequency;
This may also be the case.
前記深層学習ステップでは、
前記教師データと、前記多重解像度畳み込みニューラルネットワークを用いて復元された前記高解像度画像に対応する第3のk空間データとの誤差に基づく誤差逆伝播法を用いて学習を行う、
こととしてもよい。
In the deep learning step,
learning is performed using an error backpropagation method based on an error between the teacher data and third k-space data corresponding to the high-resolution image restored using the multi-resolution convolutional neural network;
This may also be the case.
本発明の第2の観点に係る磁気共鳴イメージング装置は、
磁気共鳴により観測される原信号から、低周波数領域のサンプリング点が高周波数領域のサンプリング点よりも密となるように、サンプリング点を間引きして第1のk空間データを取得するデータ取得部と、
多重解像度畳み込みニューラルネットワークを用いて、前記第1のk空間データから高解像度画像を復元するデータ復元部と、
を備え、
前記多重解像度畳み込みニューラルネットワークは、
前記第1のk空間データから、前記第1のk空間データよりもサイズが小さくかつ高周波成分が除去された第2のk空間データを生成し、
前記第1のk空間データ及び前記第2のk空間データ各々から得られる画像を、超解像畳み込みニューラルネットワークを用いて超解像化し、
超解像化された画像を、サイズを合わせて重ね合わせることにより、前記高解像度画像を復元するように構成されている。
A magnetic resonance imaging apparatus according to a second aspect of the present invention comprises:
a data acquisition unit that acquires first k-space data by thinning out sampling points from an original signal observed by magnetic resonance so that sampling points in a low frequency region are denser than sampling points in a high frequency region;
a data restoration unit that restores a high-resolution image from the first k-space data by using a multi-resolution convolutional neural network;
Equipped with
The multi-resolution convolutional neural network includes:
generating second k-space data from the first k-space data , the second k-space data being smaller in size than the first k-space data and from which high frequency components have been removed;
super-resolution an image obtained from each of the first k-space data and the second k-space data using a super-resolution convolutional neural network;
The super-resolved images are adapted to be resized and overlapped to reconstruct the high-resolution image.
本発明によれば、処理時間が圧縮センシングよりも短い多重解像度畳み込みニューラルネットワークを用いて観測点数の少ない第1のk空間データをスケールダウンし、多重化して超解像処理を行って得られる画像を用いて画像の再構成を行う。このため、観測点数を少なくして撮像時間を短縮しつつ、多重解像度畳込みニューラルネットワークを用いて再構成時間を短縮して、高周波成分だけでなく低周波成分も損なうことなく画像を復元することができる。この結果、撮像時間及び再構成時間を双方短縮しつつ、高解像度画像を復元することができる。 According to the present invention, first k-space data with a small number of observation points is scaled down using a multi-resolution convolutional neural network, which has a shorter processing time than compressed sensing, and then multiplexed and subjected to super-resolution processing to obtain an image, which is then used to reconstruct the image. As a result, it is possible to reduce the number of observation points to shorten the imaging time, while shortening the reconstruction time using a multi-resolution convolutional neural network, thereby restoring the image without compromising not only high-frequency components but also low-frequency components. As a result, it is possible to restore a high-resolution image while shortening both the imaging time and the reconstruction time.
以下、本発明の実施の形態について図面を参照して詳細に説明する。各図面においては、同一又は同等の部分に同一の符号を付す。 The following describes in detail an embodiment of the present invention with reference to the drawings. In each drawing, the same or equivalent parts are denoted by the same reference numerals.
図1に示すように、磁気共鳴イメージング装置1は、データ取得部10と、データ復元部20と、を備える。
As shown in FIG. 1, the magnetic
データ取得部10は、静磁場の中に置かれた被検体(生体)に一連のシーケンスに従って高周波磁場及び傾斜磁場を印加して、被検体から発生する核磁気共鳴信号(原信号)を検出する。核磁気共鳴信号は、被検体内の水素密度分布を示す空間周波数の領域(k空間)の信号として観測される。データ取得部10は、磁気共鳴により観測される原信号に基づく第1のk空間データとしてのk空間データ15を取得する。
The
具体的には、データ取得部10は、図2(A)に示すように、被検体を+Z方向の静磁場B0に置いた状態で、静磁場に垂直な方向から90°パルス及び180°パルスなどのRF(Radio Frequency)パルスを被検体に印加する。これにより、被検体の水素原子核が励起されて、核磁気共鳴信号(エコー信号)を取り出すことができる。データ取得部10は、この核磁気共鳴信号(エコー信号)をサンプリングして取得する。データ取得部10は、k空間データ15を、サンプリング点を間引きつつ取得することができる。
Specifically, as shown in FIG. 2A, the
データ取得部10において、RFパルスは、図2(B)に示すように、Z軸方向に勾配を有するスライス傾斜磁場B(Z)と同時に被検体に印加される。通常は、Z軸方向が被検体の体軸方向となる。スライス位置Zに対応する静磁場強度をB(Z)とすると、スライス位置Z0を選択励起するため、周波数γB(Z0)を持つ正弦波のRFパルスを印加する。ここで、γは磁気回転比である。
In the
さらに、図2(A)に示すように、データ取得部10において、被検体には、Y軸方向に傾きGyを有する位相エンコード傾斜磁場と、X軸方向に傾きGxを有する周波数エンコード傾斜磁場とが加えられる。さらに、核磁気共鳴信号(エコー信号)を観測するタイミングで、X軸方向に傾きGxを有する周波数エンコード傾斜磁場が再度印加される。上述のようなシーケンスが位相エンコード傾斜磁場の強度(傾きGy)を変えながら繰り返され、その度に核磁気共鳴信号(エコー信号)が観測される。
Furthermore, as shown in FIG. 2(A), in the
上記シーケンスにおいて、観測される複数の核磁気共鳴信号(エコー信号)により、2次元のk空間データが生成される。図3(A)に示すように、観測される核磁気共鳴信号(エコー信号)は、k空間では、点線で示される空間周波数Kyが同じ直線の領域に対応するデータとなる。 In the above sequence, two-dimensional k-space data is generated from the multiple nuclear magnetic resonance signals (echo signals) observed. As shown in FIG. 3(A), the observed nuclear magnetic resonance signals (echo signals) become data corresponding to the linear region in k-space with the same spatial frequency Ky, as shown by the dotted line.
k空間における位置座標(Kx,Ky)は、周波数エンコード傾斜磁場の傾きGx、位相エンコード傾斜磁場の傾きGyで表現すれば(γGxt,γGyt)となる。ここで、tは、位相エンコード傾斜磁場の傾きGy、周波数エンコード傾斜磁場の傾きGxの印加時間である。核磁気共鳴信号(エコー信号)は、位相エンコード傾斜磁場の傾きGyの強度を変えながら観測されるため、それぞれの信号はKy軸の位置が異なるデータとなる。このようにして、スライス位置Z0における2次元のk空間データが構成される。 Position coordinates (Kx, Ky) in k-space are expressed as (γGxt, γGyt) when expressed by the gradient Gx of the frequency encoding gradient magnetic field and the gradient Gy of the phase encoding gradient magnetic field. Here, t is the application time of the gradient Gy of the phase encoding gradient magnetic field and the gradient Gx of the frequency encoding gradient magnetic field. Since the nuclear magnetic resonance signal (echo signal) is observed while changing the strength of the gradient Gy of the phase encoding gradient magnetic field, each signal becomes data with a different position on the Ky axis. In this way, two-dimensional k-space data at the slice position Z0 is constructed.
データ取得部10は、このような計測を、RFパルスの周波数を変更しながら、すなわちスライス位置Zを変更しながら繰り返し行う。これにより、スライス位置Zが異なる2次元k空間データが観測される。なお、このk空間データを逆フーリエ変換すれば、そのZ位置におけるXY面の2次元画像が得られる。その画像データを図3(B)に示すように並べれば、被検体の3次元の画像データが得られるようになる。
The
なお、データ取得部10でデータが取得される時間、すなわち撮像時間を短縮する場合には、シーケンスの繰り返し数又は観測するスライス位置Zの数を少なくする必要がある。シーケンスの繰り返し数を少なくすれば、図3(A)に点線で示されるエコー信号の本数が少なくなり、スライス位置Zの数を少なくすれば、図3(B)に示される2次元画像の枚数が少なくなる。
When shortening the time it takes for data to be acquired by the
図1に戻り、データ復元部20は、データ取得部10で取得されたk空間データ15を入力する。データ復元部20は、多重解像度畳み込みニューラルネットワークを用いて、k空間データ15から高解像度画像25を復元する。また、畳み込みニューラルネットワークは、もともと人間の脳の視覚に関わる構造を参考にして考案され、名前の通り畳み込み層を持つことを特徴とする。
Returning to FIG. 1, the
データ復元部20は、多重解像度畳み込みニューラルネットワーク21を用いてk空間データ15を高解像化し、高解像度画像25を生成して出力する。多重解像度畳み込みニューラルネットワーク21は、多重解像度(Multi-Resolution)を、畳み込みニューラルネットワーク(Convolutional Neural Network; CNN)で実現していることから、MRCNN21ともいう。
The
MRCNN21は、入力したk空間データ15から、サイズの異なる(スケールダウンした)k空間データ(第2のk空間データ)を複数生成する。MRCNN21は、図4に示すように、まず、k空間データ15を1/2、1/4にリサイズして低周波成分を取得し、2つのk空間データ(1/2データ、1/4データ)を生成する。k空間データ15、1/2データ及び1/4データはそれぞれ逆フーリエ変換される。例えば、入力されたk空間データ15が逆フーリエ変換されて生成される入力画像が、256×256ピクセルのデータであった場合には、128×128ピクセルの画像と、64×64ピクセルの画像とが生成される。
The
続いて、サイズの異なる画像データそれぞれに対して超解像畳み込みニューラルネットワーク(SRCNN)35を用いた画像復元を行う。超解像とは、与えられた低解像度画像からより解像度の高い高解像度画像を得る手法のことである。ここでは、図4に示すように、入力画像、1/2データに対応する画像、1/4データに対応する画像に対してそれぞれSRCNN35により超解像処理が行われる。
Next, image restoration is performed on each of the different sized image data using a super-resolution convolutional neural network (SRCNN) 35. Super-resolution is a technique for obtaining a high-resolution image with higher resolution from a given low-resolution image. Here, as shown in FIG. 4, super-resolution processing is performed by the
SRCNN35は、図5に示す3層の畳み込み層で構成され、大きく分けて3つのステップを含んでいる。第1のステップは、パッチ分解・抽出であり、第2のステップは、辞書学習・パッチ推定(非線形写像)であり、第3のステップは、データの再構成である。 SRCNN35 is composed of three convolutional layers as shown in Figure 5, and includes three main steps. The first step is patch decomposition and extraction, the second step is dictionary learning and patch estimation (nonlinear mapping), and the third step is data reconstruction.
(第1のステップ)
第1のステップでは、パッチ分解・特徴量の抽出などが行われる。第1のステップでの写像(特徴マップ)を以下の関数F1で表す。パッチとは画像を細かく分解したものである。パッチ分解することで2次元画像データのサイズが小さくなる。
In the first step, patch decomposition and feature extraction are performed. The mapping (feature map) in the first step is expressed by the following function F1 . A patch is an image that is decomposed into small pieces. The size of the 2D image data is reduced by decomposing into patches.
(第2のステップ)
第2のステップでは、低解像度パッチを高い解像度パッチに非線形的に写像し、圧縮センシングの計算を行う。データのサイズが小さいため、このときの圧縮センシングについては、短時間のうちに行うことができる。第2のステップである非線形写像に相当する写像(特徴マップ)を関数F2で表す。
In the second step, the low-resolution patch is nonlinearly mapped to a high-resolution patch, and the compressed sensing calculation is performed. Since the data size is small, the compressed sensing can be performed in a short time. The mapping (feature map) corresponding to the nonlinear mapping in the second step is represented by the function F2 .
第3のステップでは、高解像度パッチベクトルを結合し、推定高解像度データdとして出力する。第3のステップである写像は、以下の関数Fで表すことができる。
ここで、図4に示すように、k空間データ15に対応する入力画像が入力されるSRCNN35で推定される推定高解像度データdをd1とする。また、1/2データに対応する画像が入力されるSRCNN35で推定される推定高解像度データdをd2とする。さらに、1/4データに対応する画像が入力されるSRCNN35で推定される推定高解像度データdをd3とする。SRCNN35で復元された推定高解像度データd3は、2つの畳み込み層(CONV)を経て、アップサンプリングされ、推定高解像度データd2と重ね合わせられる。ここで、アップサンプリングとは、推定高解像度データを拡大する処理であり、アンプーリング(プーリングの逆の処理)とも呼ばれる。例えば、重ね合わせられた推定高解像度データd2+d3は、2つの畳み込み層(CONV)を経てアップサンプリングされ、k空間データ15に対応する画像から生成された推定高解像度データd1と重ね合わせられる。この重ね合わされた推定高解像度データd1+d2+d3が、2つの畳み込み層(CONV)を経て、復元された高解像度画像として復元される。この高解像度画像25は、学習時にフーリエ変換され、k空間データとして出力される。なお、各段の2つの畳み込み層のフィルタサイズは、3×3×2×2又は3×3×2×1である。
Here, as shown in FIG. 4, the estimated high-resolution data d estimated by the
データ復元部20において、MRCNN21によりk空間データ15から得られる画像の高解像化を行うためには、MRCNN21のパラメータを最適化する必要がある。このため、データ復元部20は、深層学習により、MRCNN21を学習させ、そのパラメータを最適化する学習部22を備えている。
In order for the
学習部22は、教師データ50を有している。教師データ50としては、間引きすることなくサンプリングされた被検体の高精細な断層画像をフーリエ変換して得られるk空間データが用いられる。学習部22は、教師データ50の一部が間引きされて生成されたデータを、k空間データ15としてMRCNN21に入力する。
The
学習部22は、アンダーサンプリングフィルタ40を有している。アンダーサンプリングフィルタ40は、データからサンプルを間引いて解像度を下げるフィルタである。図7では、k空間において、白い部分がデータを取得する部分であり、黒い部分がデータを間引く部分である。図7に示すように、アンダーサンプリングフィルタ40は、k空間データにおける中間の空間周波数よりも低周波成分(白い領域)のデータ全体を残しつつ、空間周波数よりも高周波成分についてはランダムにデータを残すような形状のフィルタとなっている。アンダーサンプリングフィルタ40は、全体のデータ取得率を10%としている。例えば、低周波成分と高周波成分とのデータ取得率を1:1とすることができるが、この割合に特に限定されるものではない。
The
このアンダーサンプリングフィルタ40は、低周波成分にエネルギーのほとんどが中心に集中しており、画像全体を高精度に復元することができるように構成されている。また、アンダーサンプリングフィルタ40は、また、高周波成分は、病変を発見する上で重要であるため、ポアソンディスクサンプリングによりランダムに高周波成分を取得するように構成されている。
This
学習部22は、アンダーサンプリングフィルタ40を通過して間引きされたk空間データ15をMRCNN21に入力する。MRCNN21は、高解像度画像25を出力する。学習部22は、この場合に、MRCNN21で生成される高解像度画像25がフーリエ変換部41でフーリエ変換されて生成されるk空間データが教師データ50に近づくようにMRCNN21のパラメータ調整を行う。
The
学習部22は、パラメータ設定部45を備えている。パラメータ設定部45は、教師データ50と、教師データ50が間引きされて生成されたk空間データ15から復元された高解像度画像25に対応するk空間データ(第3のk空間データ)との誤差に基づいて、誤差逆伝搬法を用いて深層学習を行う。誤差逆伝搬法は、入力層、中間層、出力層からなるネットワークに対し、出力層から入力層にかけて誤差の勾配を逆伝搬させることで各層の重みフィルタW1,W2,W3とバイアスB1,B2,B3といったパラメータを更新する教師付き学習アルゴリズムである。
The
各層の重みについてパラメータの更新の様子を説明する。出力層付近に着目したネットワークの構造を図8に示す。N層第kニューロンへの入力、N層第kニューロンの出力をそれぞれxk
(N),yk
(N)とする。また、N-1層第jニューロンからN層第kニューロンへの重みをwjk
(N)とする。N層第kニューロンの活性化関数をgk
(N)とおくと、xk
(N),yk
(N)は、ニューロンモデルから次の式で表すことができる。
あるネットワークの入力に対する出力層の出力(高解像度画像25から得られるk空間データ)と教師データ50との誤差を表す関数を誤差関数L(y1
(N),・・・,yk
(N),・・・,yK
(N))とする。まず、誤差関数LのN-1層第jニューロンからN層第kニューロンへの重みwjk
(N)に関する勾配は、式(4)、(5)と連鎖律によって式(6)で表される。
ただし、
次に、N-1層(中間層)の重みに関する勾配を考える。同様に、誤差関数LのN-2層第iニューロンからN-1層第jニューロンへの重みwij
(N-1)に関する勾配は、次式で表される。
パラメータの更新は、最急降下法の考え方に基づいて行う。最急降下法では誤差関数Lを用いて次式のように各パラメータを更新する。ただし、tは、反復回数を表す。
最急降下法では学習率が低いと収束が遅くなってしまう。また、tに対して勾配が振動するような場合も収束が遅くなる。これを解決するためにモーメンタム法と呼ばれる手法を用いるようにしてもよい。モーメンタム法における更新式を以下に示す。
図9に示すように、データ復元部20は、制御部61、主記憶部62、外部記憶部63、操作部64をハードウエア構成として備えている。主記憶部62、外部記憶部63、操作部64はいずれも内部バス60を介して制御部61に接続されている。
As shown in FIG. 9, the
制御部61は、CPU(Central Processing Unit)等から構成されている。このCPUが、外部記憶部63に記憶されているプログラム69に従ってMRCNN21及び学習部22の処理を実行することにより、図1に示すデータ復元部20が実現される。
The
主記憶部62は、RAM(Random-Access Memory)等から構成されている。主記憶部62には、外部記憶部63に記憶されているプログラム69がロードされる。この他、主記憶部62は、制御部61の作業領域(データの一時記憶領域)として用いられる。
The
外部記憶部63は、フラッシュメモリ、ハードディスク、DVD-RAM(Digital Versatile Disc Random-Access Memory)、DVD-RW(Digital Versatile Disc ReWritable)等の不揮発性メモリから構成される。外部記憶部63には、制御部61に実行させるためのプログラム69があらかじめ記憶されている。また、外部記憶部63は、制御部61の指示に従って、このプログラム69の実行の際に用いられるデータを制御部61に供給し、制御部61から供給されたデータを記憶する。
The
操作部64は、キーボード及びマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス60に接続するインターフェイス装置から構成されている。操作部64を介して、操作者が操作した内容に関する情報が制御部61に入力される。
The
表示部65は、CRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)などから構成され、操作者が操作情報を入力する場合は、操作用の画面が表示される。
The
入出力部66は、データ取得部10からk空間データ15を入力し、高解像度画像25を出力するインターフェイスとなる。
The input/
データ復元部20では、制御部61がプログラム69を実行することにより、各種機能を実現する。
In the
なお、データ取得部10において演算を行う部分のハードウエア構成も、図9のデータ復元部20のハードウエアと同様であってもよいし、共通化されていてもよい。
The hardware configuration of the part that performs the calculations in the
次に、本発明の実施の形態に係る磁気共鳴画像高速再構成法(磁気共鳴イメージング装置1の動作)について説明する。 Next, we will explain the fast magnetic resonance image reconstruction method (operation of the magnetic resonance imaging device 1) according to an embodiment of the present invention.
図10に示すように、まず、学習部22が、教師データを用いた学習を行う(ステップS1;深層学習ステップ)。上述のように、学習部22は、高解像度画像25のk空間データの教師データ50(図6参照)と、教師データ50が間引きされて生成されたk空間データ15を用いて、MRCNN21を学習させる深層学習を行い、MRCNN21の各種パラメータを最適化する。なお、この深層学習ステップでは、所定の空間周波数よりも低周波成分のデータ全体を残し、所定の空間周波数よりも高周波成分についてはランダムにデータを残すアンダーサンプリングフィルタ40を用いて、教師データ50が間引きされ、k空間データ15が生成される。また、この深層学習ステップでは、教師データ50と、MRCNN21を用いて復元された高解像度画像25に対応するk空間データとの誤差に基づいて、誤差逆伝播法による学習が行われる。
As shown in FIG. 10, first, the
続いて、データ取得部10は、上記シーケンスに従って動作し、磁気共鳴により観測される核磁気共鳴信号(原信号)に基づくk空間データ15を取得する(ステップS2;データ取得ステップ)。これにより、被検体の断層画像を得るためのk空間データ15が取得される。なお、このデータ取得においては、図7に示すアンダーサンプリングフィルタ40に従って、シーケンスの繰り返し数又は観測するスライス位置Zの数が規定されている。すなわち、k空間における低周波数成分についてはデータが間引きせずにサンプリングされ、高周波成分についてはランダムに間引きされた状態でデータがサンプリングされる。これにより、データ取得時間(撮像時間)が短縮されている。
Then, the
続いて、データ復元部20が、多重解像度畳み込みニューラルネットワーク(MRCNN21)を用いて、磁気共鳴により観測される原信号に基づくk空間データ15から高解像度画像25を復元する(ステップS3;データ復元ステップ)。具体的には、MRCNN21は、図4に示すように、k空間データ15から、サイズが異なる(スケールダウンした)k空間データ(1/2データ、1/4データ)を生成する。そして、MRCNN21は、k空間データ15、1/2データ及び1/4データ各々から逆フーリエ変換される画像を、SRCNN35を用いて復元する。さらに、MRCNN21は、復元されたデータを、アップサンプリング、すなわちデータのサイズを合わせて重ね合わせることにより、高解像度画像25を復元する。
Then, the
図11には、劣化した被検体の断層画像が示され、図12には、本実施の形態に係る磁気共鳴画像高速再構成法において復元された被検体の断層画像が示されている。図11及び図12を比較するとわかるように、被検体の断層画像が高精細に復元されている。なお、この断層画像は、T1強調画像である。T1強調画像は、2次元で脳の組織を見るための画像である。T1強調画像は、大脳皮質又は骨などの解剖学的な構造を見る時に使用される。T1は、縦磁化の緩和時間である。T1強調画像は、RFパルスが出射される間隔である繰り返し時間を短くしてT1の影響を強調し、RFパルスを出射してからエコー信号の中央までの時間であるエコー時間を短くしてT2(横磁化の緩和時間)の影響を少なくすることにより得られる画像である。 Figure 11 shows a degraded tomographic image of a subject, and Figure 12 shows a tomographic image of the subject restored by the magnetic resonance image high-speed reconstruction method according to this embodiment. As can be seen by comparing Figures 11 and 12, the tomographic image of the subject is restored with high resolution. This tomographic image is a T1 weighted image. A T1 weighted image is an image for viewing brain tissue in two dimensions. A T1 weighted image is used when viewing anatomical structures such as the cerebral cortex or bones. T1 is the relaxation time of longitudinal magnetization. A T1 weighted image is an image obtained by shortening the repetition time, which is the interval between the emission of RF pulses, to emphasize the effect of T1, and shortening the echo time, which is the time from the emission of an RF pulse to the center of the echo signal, to reduce the effect of T2 (relaxation time of transverse magnetization).
本実施の形態に係る磁気共鳴画像高速再構成法による画像の復元状態を評価した。データとしては、頭部のMRI断層画像(サイズ:256×256)を用いた。trainを100枚、testを50枚として、本実施の形態に係るMRCNN21によるデータ復元、SRCNN35単独でのデータ復元との間での性能比較を行った。画像の復元の評価方法としては、PSNR、MISSIM、KPSNRが用いられた。 The state of image restoration using the magnetic resonance image high-speed reconstruction method according to this embodiment was evaluated. MRI tomographic images of the head (size: 256 x 256) were used as data. With 100 train images and 50 test images, a performance comparison was made between data restoration using the MRCNN21 according to this embodiment and data restoration using the SRCNN35 alone. PSNR, MISSIM, and KPSNR were used as methods for evaluating image restoration.
まず、PSNRについて説明する。xを原画像、yを比較したい画像とすると、PSNRは、以下の式で定義される。
上式により、PSNRの値が大きいほど原画像に近いという評価になる。
SSIMは、画像の小領域毎に計算される。計算式を以下に示す。
The SSIM is calculated for each small region of the image using the following formula:
ここで、α=β=γ=1かつC3=C2/2とすると、SSIM(x,y)は以下の式で表される。
次に、KPSNRについて説明する。KPSNRは周波数領域ごとの復元度を調べるために考案した手法で、K空間でPSNRを測定する。図13、図14、図15の白の領域をそれぞれ低周波領域、中間領域、高周波領域として抽出し、それぞれの領域でKPSNRを測定した。各領域での測定結果を、KPSNR(low)、KPSNR(middle)、KPSNR(high)とした。 Next, we will explain KPSNR. KPSNR is a method devised to examine the degree of restoration for each frequency region, and measures PSNR in K space. The white regions in Figures 13, 14, and 15 were extracted as the low-frequency region, mid-frequency region, and high-frequency region, respectively, and KPSNR was measured in each region. The measurement results for each region were called KPSNR (low), KPSNR (middle), and KPSNR (high).
図16に示すように、MRCNN21は、PSNR、MSSIM、KPSNR(low)、KPSNR(middle)、KPSNR(high)全てにおいて、SRCNN35単独の場合よりも、評価値が良好であった。すなわち、畳み込みニューラルネットワークの多重化を行った効果、本実施の形態に係るMRCNN21の効果を確認することができた。 As shown in FIG. 16, MRCNN21 had better evaluation values than SRCNN35 alone in all of PSNR, MSSIM, KPSNR (low), KPSNR (middle), and KPSNR (high). In other words, the effect of multiplexing the convolutional neural network and the effect of MRCNN21 according to this embodiment were confirmed.
また、本実施の形態に係る磁気共鳴画像高速再構成法を、MRA(Magnetic Resonance Angiography)画像に適用した。MRA画像とは、3次元の血管の構造を把握するために使用される画像である。MRA画像は、MIP(Maximum Intensity Projection;最大投影法)処理を行うことにより生成され、血管が強調された画像となる。 The fast magnetic resonance image reconstruction method according to this embodiment was also applied to MRA (Magnetic Resonance Angiography) images. MRA images are images used to grasp the three-dimensional structure of blood vessels. MRA images are generated by performing MIP (Maximum Intensity Projection) processing, resulting in images in which blood vessels are emphasized.
MIP処理とは、3次元の画像データを任意の方向(投影方向)にある2次元の投影面に投影した場合に、3次元の画像データにおける投影面の同じ位置に投影される複数の画素の最大値を投影面上の各画素の値とする処理のことである。この処理により、3次元の画像データにおいて投影方向に沿った複数のボクセルの中で最も信号強度が高いボクセルの信号強度が、MRA画像のピクセルの信号強度となる。 MIP processing is a process in which, when three-dimensional image data is projected onto a two-dimensional projection surface in an arbitrary direction (projection direction), the maximum value of multiple pixels projected onto the same position on the projection surface in the three-dimensional image data is set as the value of each pixel on the projection surface. With this process, the signal intensity of the voxel with the highest signal intensity among multiple voxels along the projection direction in the three-dimensional image data becomes the signal intensity of the pixel in the MRA image.
ここでは、患者1人当たりのMRA画像のデータのサイズを、175×512×512(スライス×縦×横)とした。また、訓練データを200枚とし、テストデータを100枚とした。フィルタとしては、図7のアンダーサンプリングフィルタを用いた。また、学習時のハイパーパラメータとして、学習係数(誤差逆伝播の係数)を1.0×10-5とし、反復回数を1.0×104とし、バッチサイズを10とした。 Here, the size of the MRA image data per patient was 175×512×512 (slice×length×width). The training data was 200 images, and the test data was 100 images. The undersampling filter in FIG. 7 was used as the filter. As hyperparameters during learning, the learning coefficient (error backpropagation coefficient) was 1.0×10 −5 , the number of iterations was 1.0×10 4 , and the batch size was 10.
図17(A)~図17(C)には、頭頂から見た場合の、すなわち頭頂から見た場合に視線方向に投影されるMIP画像の一例が示されている。図17(A)は、元画像(正解画像)である。この正解画像は、時間をかけて計測された高精細な画像である。ここで、この正解画像を教師データ50としてMRCNN21により学習を行った。例えば、アンダーサンプリングフィルタ40を用いて図17(A)に示す元画像から、図17(C)に示す劣化画像を生成し、MRCNN21の学習を行った。さらに、学習されたMRCNN21により、図17(C)に示す劣化画像から、図17(B)に示す復元画像が得られた。
Figures 17(A) to 17(C) show an example of an MIP image as viewed from the top of the head, that is, as projected in the line of sight when viewed from the top of the head. Figure 17(A) is the original image (correct image). This correct image is a high-definition image measured over a long period of time. Here, this correct image was used as
図18(A)~(C)には、図17(A)~(C)の白枠部分の拡大図が示されている。図18(A)と図18(B)とを比較して示すように、MRCNN21で復元された復元画像は、元画像(正解画像)と比べ、精細さに遜色はなかった。 Figures 18(A) to (C) show enlarged views of the white framed areas in Figures 17(A) to (C). As can be seen by comparing Figures 18(A) and 18(B), the images restored by MRCNN21 were comparable in detail to the original image (correct image).
図19(A)~図19(C)には、横方向から見た場合のMIP画像の一例が示されている。図19(A)は、元画像(正解画像)である。この正解画像は、時間をかけて高精細な画像である。同様に、この正解画像を教師データ50としてMRCNN21により学習を行った。例えば、アンダーサンプリングフィルタ40を用いて図17(A)に示す元画像から、図19(C)に示す劣化画像を生成し、MRCNN21の学習を行った。そして、学習されたMRCNN21により、図19(C)に示す劣化画像から、図19(B)に示す復元画像が得られた。
Figures 19(A) to 19(C) show an example of an MIP image when viewed from the side. Figure 19(A) is the original image (correct image). This correct image is a high-definition image that has been developed over time. Similarly, this correct image was used as
図20(A)~(C)には、図19(A)~(C)の白枠部分の拡大図が示されている。図20(A)と図20(B)とを比較して示すように、MRCNN21で復元された復元画像は、元画像(正解画像)と比べ、精細さに遜色はなかった。 Figures 20(A) to (C) show enlarged views of the white framed areas in Figures 19(A) to (C). As can be seen by comparing Figures 20(A) and 20(B), the images restored by MRCNN21 were comparable in detail to the original image (correct image).
図21(A)~図21(C)には、正面方向から見た場合のMIP画像の一例が示されている。図21(A)は、元画像(正解画像)である。この正解画像は、時間をかけて高精細な画像である。ここで、この正解画像を教師データ50としてMRCNN21により学習を行った。例えば、アンダーサンプリングフィルタ40を用いて図21(A)に示す元画像から、図21(C)に示す劣化画像を生成し、MRCNN21の学習を行った。そして、学習されたMRCNN21により、図21(C)に示す劣化画像から、図21(B)に示す復元画像が得られた。
Figures 21(A) to 21(C) show an example of an MIP image when viewed from the front. Figure 21(A) is the original image (correct image). This correct image is a high-definition image that has been developed over time. Here, this correct image was used as
図22(A)~(C)には、図21(A)~(C)の白枠部分の拡大図が示されている。図22(A)と図22(B)とを比較して示すように、MRCNN21で復元された復元画像は、元画像(正解画像)と比べ、精細さに遜色はなかった。 Figures 22(A) to (C) show enlarged views of the white framed areas in Figures 21(A) to (C). As can be seen by comparing Figures 22(A) and 22(B), the images restored by MRCNN21 were comparable in detail to the original image (correct image).
なお、画像の復元度の評価を行うために、上記式(14)のPSNRが使用された。図23には、PSNRの結果が示されている。具体的には、MIP処理を行う前のMRA原原画像について、元画像に対する劣化画像のPSNR値と、元画像に対する復元画像のPSNR値と、復元画像のPSNR値とが求められ、それらの差が復元度として求められた。MIP画像(頭頂)と、MIP画像(横方向)と、MIP画像(正面方向)とについても、同様にPSNR値が求められた。図23に示すように、MIP画像(頭頂)と、MIP画像(横方向)と、MIP画像(正面方向)とについて、それぞれの復元度は大幅に向上しており、MIP処理前のMRA原画像と、MIP処理後の画像とを比較すると、MIP処理を行った方がより復元度が向上していることが分かった。これは、MIP処理後の画像は、投影方向に沿ったボクセルの最大値に基づく画像であり、MIP処理前に比べノイズ成分が低減されているためであると考えられる。 In order to evaluate the degree of restoration of the image, the PSNR of the above formula (14) was used. Figure 23 shows the results of the PSNR. Specifically, for the original MRA image before MIP processing, the PSNR value of the degraded image relative to the original image, the PSNR value of the restored image relative to the original image, and the PSNR value of the restored image were obtained, and the difference between them was obtained as the degree of restoration. The PSNR values were also obtained in the same manner for the MIP image (top of the head), MIP image (sideways), and MIP image (frontal). As shown in Figure 23, the degree of restoration of each of the MIP images (top of the head), MIP image (sideways), and MIP image (frontal) was significantly improved, and when the original MRA image before MIP processing and the image after MIP processing were compared, it was found that the degree of restoration was improved more when MIP processing was performed. This is thought to be because the image after MIP processing is an image based on the maximum value of the voxels along the projection direction, and noise components are reduced compared to before MIP processing.
以上詳細に説明したように、本実施の形態によれば、処理時間が圧縮センシングよりも短い多重解像度畳み込みニューラルネットワーク(MRCNN21)を用いて観測点数の少ない第1のk空間データ15をスケールダウンし、多重化して超解像処理を行って得られる画像を用いて画像の再構成を行う。このため、観測点数を少なくして撮像時間を短縮しつつ、多重解像度畳込みニューラルネットワークを用いて再構成時間を短縮して、高周波成分だけでなく低周波成分も損なうことなく高解像度画像25を復元することができる。この結果、撮像時間及び再構成時間を双方短縮しつつ、高解像度画像25を復元することができる。
As described above in detail, according to this embodiment, the first k-
MRI断層撮影では、周波数領域でアンダーサンプリングが行われるため、様々な周波数成分が不足してしまう。また、SRCNN35単体では、フィルタのサイズが小さいため、高周波成分しかとらえることができないという問題があり、フィルタを大きくするしかなく、この場合にはパラメータ数が増えて学習が困難になる。そこで、本実施の形態に係る磁気共鳴イメージング装置1では、超解像畳み込みニューラルネットワークの多重化を行って、入力画像のサイズを小さくすることで相対的にフィルタのサイズを大きくしたので、低周波成分の復元も行うことができるようになり、この結果、高精細な画像を復元することができるようになった。
In MRI tomography, undersampling is performed in the frequency domain, resulting in a lack of various frequency components. In addition, with the SRCNN35 alone, there is a problem that only high-frequency components can be captured because the filter size is small, and the only option is to make the filter larger, which increases the number of parameters and makes learning difficult. Therefore, in the magnetic
また、本実施の形態では、画像ではなく、磁気共鳴信号(原信号)から構成されるk空間そのものに対する学習により、データ復元を行う。これにより、低域から高域までの様々な空間周波数成分を直接復元することができるようになるので、より高精細な画像の復元が可能となる。このため、これまで発見が困難であった病変の発見も可能になることが期待される。 In addition, in this embodiment, data restoration is performed by learning not images but the k-space itself, which is composed of magnetic resonance signals (original signals). This makes it possible to directly restore various spatial frequency components from low to high frequencies, enabling the restoration of higher-definition images. This is expected to make it possible to discover lesions that have been difficult to find until now.
また、本実施の形態では、画像の復元に有益な低周波成分全体を残し、病変を発見する上で重要な高周波成分をランダムに残すアンダーサンプリングフィルタを用いて学習を行った。これにより、病変を発見し易く、かつ、高精細な画像を復元することが可能となった。 In addition, in this embodiment, learning was performed using an undersampling filter that leaves all low-frequency components that are useful for image restoration and randomly leaves high-frequency components that are important for detecting lesions. This makes it easier to detect lesions and enables high-resolution image restoration.
なお、本実施の形態では、アンダーサンプリングフィルタ40のデータ取得率を10%としたが、本発明はこれには限られない。データ取得率は、10%を超えてもよいし、10%未満であってもよい。
In this embodiment, the data acquisition rate of the
なお、アンダーサンプリングフィルタ40の形状は、図7に示すものには限られない。アンダーサンプリングフィルタ40の形状は、原信号の低周波成分と、高周波成分とが大きく損なわれないようなものであるのが望ましい。
The shape of the
また、学習部22は、高解像度k空間データ15と教師データ50との誤差に基づく誤差逆伝播法により学習を行った。これにより、k空間データにおける誤差に基づいて直接学習が行われるようになるので、学習時間を短縮することが可能となる。なお、学習方法は、誤差逆伝播法には限られない。MRCNN21のパラメータを最適化できるのであれば、様々な学習方法を適用可能である。
The
なお、上記実施の形態では、MRCNN21における多重化を3つとしたが、2つでもよいし、4つ以上でもよい。多重化が2つの場合には、1/2データが生成され、多重化が4つ以上の場合には、1/2データ、1/4データ、1/8データ、・・・を生成して、それぞれをSRCNN35に入力すればよい。 In the above embodiment, the number of multiplexes in the MRCNN21 is three, but it may be two or four or more. When the number of multiplexes is two, 1/2 data is generated, and when the number of multiplexes is four or more, 1/2 data, 1/4 data, 1/8 data, ... are generated and input to the SRCNN35, respectively.
また、多重化するのはSRCNN35に限られない。他の畳み込みニューラルネットワークを多重化するようにしてもよい。 Furthermore, the multiplexing is not limited to SRCNN35. Other convolutional neural networks may also be multiplexed.
なお、本発明は、データ取得(撮影)のパルスシーケンスに制限はない。スピンエコー法、高速スピンエコー法、グラディエントエコー法、エコープレナー法、ハーンエコー法、スティミュレイテドエコー法など、様々な方法に対応することができる。 The present invention does not limit the pulse sequence for data acquisition (imaging). It can accommodate a variety of methods, including spin echo, fast spin echo, gradient echo, echo planar, Hahn echo, and stimulated echo.
その他、データ復元部20のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。
The hardware and software configurations of the
制御部61、主記憶部62、外部記憶部63、操作部64、表示部65及び入出力部66、内部バス60などから構成されるデータ復元部20の処理を行う中心となる部分は、上述のように、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体(フレキシブルディスク、CD-ROM、DVD-ROM等)に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行するデータ復元部20を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで磁気共鳴イメージング装置1を構成してもよい。
The core part of the processing of the
コンピュータの機能を、OS(オペレーティングシステム)とアプリケーションプログラムの分担、またはOSとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。 When the functions of a computer are realized by sharing the responsibilities between an OS (operating system) and application programs, or by collaboration between an OS and application programs, only the application program portion may be stored on a recording medium or storage device.
搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。 It is also possible to superimpose a computer program on a carrier wave and distribute it over a communications network. For example, the computer program may be posted on a bulletin board system (BBS) on the communications network and distributed over the network. The computer program may then be started and executed under the control of the OS in the same way as other application programs, thereby enabling the above-mentioned processing to be performed.
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。 This invention allows for various embodiments and modifications without departing from the broad spirit and scope of the invention. Furthermore, the above-described embodiment is intended to explain the invention and does not limit the scope of the invention. In other words, the scope of the invention is indicated by the claims, not the embodiments. Furthermore, various modifications made within the scope of the claims and within the scope of the meaning of the invention equivalent thereto are considered to be within the scope of the invention.
本発明は、磁気共鳴画像の撮影時間、データ処理時間の短縮及び高解像度化に適用することができる。 The present invention can be applied to shortening the imaging time and data processing time of magnetic resonance images and increasing the resolution.
1 磁気共鳴イメージング装置、10 データ取得部、15 k空間データ、20 データ復元部、21 多重解像度畳み込みニューラルネットワーク(MRCNN)、22 学習部、25 高解像度画像、35 超解像畳み込みニューラルネットワーク(SRCNN)、40 アンダーサンプリングフィルタ、41 フーリエ変換部、45 パラメータ設定部、50 教師データ、60 内部バス、61 制御部、62 主記憶部、63 外部記憶部、64 操作部、65 表示部、66 入出力部、69 プログラム 1 Magnetic resonance imaging device, 10 Data acquisition unit, 15 k-space data, 20 Data restoration unit, 21 Multi-resolution convolutional neural network (MRCNN), 22 Learning unit, 25 High-resolution image, 35 Super-resolution convolutional neural network (SRCNN), 40 Undersampling filter, 41 Fourier transform unit, 45 Parameter setting unit, 50 Teacher data, 60 Internal bus, 61 Control unit, 62 Main memory unit, 63 External memory unit, 64 Operation unit, 65 Display unit, 66 Input/output unit, 69 Program
Claims (5)
多重解像度畳み込みニューラルネットワークを用いて、前記第1のk空間データから高解像度画像を復元するデータ復元ステップと、を含み、
前記多重解像度畳み込みニューラルネットワークでは、
前記第1のk空間データから、前記第1のk空間データよりもサイズが小さくかつ高周波成分が除去された第2のk空間データを生成し、
前記第1のk空間データ及び前記第2のk空間データ各々から得られる画像を、超解像畳み込みニューラルネットワークを用いて超解像化し、
超解像化された画像を、サイズを合わせて重ね合わせることにより、前記高解像度画像を復元する、
磁気共鳴画像高速再構成法。 a data acquisition step of acquiring first k-space data by thinning out sampling points from an original signal observed by magnetic resonance so that sampling points in a low frequency region are denser than sampling points in a high frequency region;
and a data reconstruction step of reconstructing a high-resolution image from the first k-space data using a multi-resolution convolutional neural network;
In the multi-resolution convolutional neural network,
generating second k-space data from the first k-space data , the second k-space data being smaller in size than the first k-space data and from which high frequency components have been removed;
super-resolution of images obtained from the first k-space data and the second k-space data using a super-resolution convolutional neural network;
reconstructing the high-resolution image by resizing and overlapping the super-resolved images;
Fast magnetic resonance imaging reconstruction method.
高精細なk空間データを教師データとし、前記教師データが間引きされて生成されたk空間データを前記第1のk空間データとして、前記多重解像度畳み込みニューラルネットワークを学習させる深層学習ステップを含む、
請求項1に記載の磁気共鳴画像高速再構成法。 Prior to the data recovery step,
A deep learning step of learning the multi-resolution convolutional neural network using high-resolution k-space data as teacher data and k-space data generated by thinning out the teacher data as the first k-space data.
2. A method for fast magnetic resonance image reconstruction according to claim 1.
所定の空間周波数よりも低周波成分のデータ全体を残し、前記空間周波数よりも高周波成分についてはランダムにデータを残すアンダーサンプリングフィルタを用いて、前記教師データを間引きすることにより、学習用の前記第1のk空間データを生成する、
請求項2に記載の磁気共鳴画像高速再構成法。 In the deep learning step,
generating the first k-space data for learning by thinning out the teacher data using an undersampling filter that leaves all data of components lower than a predetermined spatial frequency and randomly leaves data of components higher than the spatial frequency;
A method for fast magnetic resonance image reconstruction according to claim 2.
前記教師データと、前記多重解像度畳み込みニューラルネットワークを用いて復元された前記高解像度画像に対応する第3のk空間データとの誤差に基づく誤差逆伝播法を用いて学習を行う、
請求項2又は3に記載の磁気共鳴画像高速再構成法。 In the deep learning step,
learning is performed using an error backpropagation method based on an error between the teacher data and third k-space data corresponding to the high-resolution image restored using the multi-resolution convolutional neural network;
4. A method for fast reconstruction of magnetic resonance images according to claim 2 or 3.
多重解像度畳み込みニューラルネットワークを用いて、前記第1のk空間データから高解像度画像を復元するデータ復元部と、
を備え、
前記多重解像度畳み込みニューラルネットワークは、
前記第1のk空間データから、前記第1のk空間データよりもサイズが小さくかつ高周波成分が除去された第2のk空間データを生成し、
前記第1のk空間データ及び前記第2のk空間データ各々から得られる画像を、超解像畳み込みニューラルネットワークを用いて超解像化し、
超解像化された画像を、サイズを合わせて重ね合わせることにより、前記高解像度画像を復元するように構成されている、
磁気共鳴イメージング装置。 a data acquisition unit that acquires first k-space data by thinning out sampling points from an original signal observed by magnetic resonance so that sampling points in a low frequency region are denser than sampling points in a high frequency region;
a data restoration unit that restores a high-resolution image from the first k-space data by using a multi-resolution convolutional neural network;
Equipped with
The multi-resolution convolutional neural network includes:
generating second k-space data from the first k-space data , the second k-space data being smaller in size than the first k-space data and from which high frequency components have been removed;
super-resolution of images obtained from the first k-space data and the second k-space data using a super-resolution convolutional neural network;
The method is configured to reconstruct the high-resolution image by sizing and overlapping the super-resolved images.
Magnetic resonance imaging device.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019040207 | 2019-03-06 | ||
JP2019040207 | 2019-03-06 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020146449A JP2020146449A (en) | 2020-09-17 |
JP7466141B2 true JP7466141B2 (en) | 2024-04-12 |
Family
ID=72431258
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020025707A Active JP7466141B2 (en) | 2019-03-06 | 2020-02-18 | High-speed magnetic resonance image reconstruction method and magnetic resonance imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7466141B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102584166B1 (en) * | 2020-12-10 | 2023-10-05 | 주식회사 에어스메디컬 | MAGNETIC RESONANCE IMAGE PROCESSING APPARATUS AND METHOD USING ARTIFICIAL NEURAL NETWORK AND RESCAlING |
KR102572311B1 (en) * | 2020-12-10 | 2023-08-29 | 주식회사 에어스메디컬 | Magnetic resonance image processing apparatus and method using artificial neural network and substitute map |
WO2023085017A1 (en) * | 2021-11-09 | 2023-05-19 | ソニーセミコンダクタソリューションズ株式会社 | Learning method, learning program, information processing device, information processing method, and information processing program |
CN114159027B (en) * | 2021-11-26 | 2024-04-12 | 浙江大学 | Magnetic resonance fingerprint imaging method capable of changing number of echoes |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170213321A1 (en) | 2016-01-22 | 2017-07-27 | Siemens Healthcare Gmbh | Deep Unfolding Algorithm For Efficient Image Denoising Under Varying Noise Conditions |
-
2020
- 2020-02-18 JP JP2020025707A patent/JP7466141B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170213321A1 (en) | 2016-01-22 | 2017-07-27 | Siemens Healthcare Gmbh | Deep Unfolding Algorithm For Efficient Image Denoising Under Varying Noise Conditions |
Non-Patent Citations (3)
Title |
---|
Chang Min Hyun, et al.,Deep learning for undersampled MRI reconstruction,Phys. Med. Biol.,2018年,63,1-15 |
Jasper Schoormans, et al.,Reconstruction of sparsely sampled Magnetic Resonance Imaging measurements with a convolutional neural network,1st Conference on Medical Imaging with Deep Learning,2018年,1-3 |
Seungjun Nah, et al.,Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring,CVPR,2017年,pp.3883-3891 |
Also Published As
Publication number | Publication date |
---|---|
JP2020146449A (en) | 2020-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ghodrati et al. | MR image reconstruction using deep learning: evaluation of network structure and loss functions | |
JP7466141B2 (en) | High-speed magnetic resonance image reconstruction method and magnetic resonance imaging device | |
Eo et al. | KIKI‐net: cross‐domain convolutional neural networks for reconstructing undersampled magnetic resonance images | |
Hammernik et al. | Learning a variational network for reconstruction of accelerated MRI data | |
Lin et al. | Artificial intelligence for MR image reconstruction: an overview for clinicians | |
Cordero-Grande et al. | Sensitivity encoding for aligned multishot magnetic resonance reconstruction | |
JP6085545B2 (en) | Magnetic resonance imaging apparatus, image processing apparatus, and magnetic susceptibility image calculation method | |
Fuin et al. | A multi-scale variational neural network for accelerating motion-compensated whole-heart 3D coronary MR angiography | |
US8170311B2 (en) | Toeplitz random encoding for reduced acquisition in compressed sensing magnetic resonance imaging | |
US20140210469A1 (en) | Nonrigid motion correction in 3d using autofocusing with localized linear translations | |
Montesinos et al. | Application of the compressed sensing technique to self‐gated cardiac cine sequences in small animals | |
US20170169563A1 (en) | Low-Rank and Sparse Matrix Decomposition Based on Schatten p=1/2 and L1/2 Regularizations for Separation of Background and Dynamic Components for Dynamic MRI | |
Zhou et al. | Dual-domain self-supervised learning for accelerated non-Cartesian MRI reconstruction | |
Wang et al. | Correction of out-of-FOV motion artifacts using convolutional neural network | |
DE112020004393T5 (en) | MOTION CORRECTED TRACER KINETIC MAPPING USING MRI | |
JP7300811B2 (en) | Medical information processing apparatus, medical information processing method, and program | |
CN115113114A (en) | System and method for deep learning based accelerated magnetic resonance imaging with extended field of view coil sensitivity calibration | |
Miller et al. | Memory efficient model based deep learning reconstructions for high spatial resolution 3D non-cartesian acquisitions | |
Li et al. | Deep residual network for highly accelerated fMRI reconstruction using variable density spiral trajectory | |
KR102090690B1 (en) | Apparatus and method for selecting imaging protocol of magnetic resonance imaging by using artificial neural network, and computer-readable recording medium storing related program | |
EP4012432A1 (en) | B0 field inhomogeneity estimation using internal phase maps from long single echo time mri acquisition | |
WO2023038910A1 (en) | Dual-domain self-supervised learning for accelerated non-cartesian magnetic resonance imaging reconstruction | |
CN111009020B (en) | Image reconstruction method, image reconstruction device, computer equipment and storage medium | |
JP2022002762A (en) | Processing method of image obtained by magnetic resonance imaging, image processing program, and computer | |
Lee et al. | Accelerated 3D myelin water imaging using joint spatio‐temporal reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200319 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20200319 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221223 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231010 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240325 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7466141 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |