JP7369572B2 - Mri装置、画像処理装置および画像処理方法 - Google Patents

Mri装置、画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP7369572B2
JP7369572B2 JP2019167077A JP2019167077A JP7369572B2 JP 7369572 B2 JP7369572 B2 JP 7369572B2 JP 2019167077 A JP2019167077 A JP 2019167077A JP 2019167077 A JP2019167077 A JP 2019167077A JP 7369572 B2 JP7369572 B2 JP 7369572B2
Authority
JP
Japan
Prior art keywords
tomographic image
space
image
cnn
space data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019167077A
Other languages
English (en)
Other versions
JP2021041065A (ja
Inventor
二三生 橋本
希望 大手
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2019167077A priority Critical patent/JP7369572B2/ja
Publication of JP2021041065A publication Critical patent/JP2021041065A/ja
Application granted granted Critical
Publication of JP7369572B2 publication Critical patent/JP7369572B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Description

本発明は、MRI装置、画像処理装置および画像処理方法に関するものである。
MRI(magnetic resonance imaging)装置は、核磁気共鳴(nuclear magnetic resonance)現象を利用して、被検体の内部の情報を画像化することができる。MRI装置は、高周波の磁場を与えることで被検体内の水素原子に共鳴現象を起こさせ、その共鳴現象により発生する電波を受信コイルにより収集し、その収集したデータに基づいて被検体の断層画像を作成する。MRI装置は、水分量が多い脳や血管などの部位を診断する際に好適に用いられている。
MRI装置では、被検体に与える傾斜磁場の勾配方向に、信号源となるスピン位相のエンコードを行う。実空間での各方向の傾斜磁場の印加量は、そのまま断層画像の空間周波数の空間であるk空間(k-space)での位置となる。したがって、傾斜磁場の印加によって受信コイルにより収集したk空間データを逆フーリエ変換すれば、被検体の断層画像を得ることができる。なお、数値演算を行う上ではフーリエ変換と逆フーリエ変換とは実質的に同じである。
MRI装置においては、被検体の負担の軽減や検査スループットの向上のために、k空間データの収集に要する時間の短縮が求められている。k空間データ収集の高速化を図る技術の一つとして圧縮センシング(compressed sensing)が注目されている。圧縮センシングとは、観測データが或る表現空間ではスパース(疎)である性質を有することを利用して、本来必要とするデータ量より少ない観測データに基づいて、或る条件の下で対象を復元する方法である。非特許文献1~3には、MRI装置に圧縮センシングを適用してk空間データに基づいて断層画像を作成する方法が記載されている。そのうち非特許文献3には、断層画像の画質を改善する方法が提案されている。
非特許文献3に記載された方法では、k空間のうちの一部空間について収集された部分k空間データが逆フーリエ変換されて第1断層画像が作成され、この第1断層画像が学習済みの畳み込みニューラルネットワーク(CNN: convolutional neural network)に入力されて該CNNからCNN出力断層画像が出力される。このCNN出力断層画像がフーリエ変換されて第1k空間データが作成される。上記一部空間についての部分k空間データと、第1k空間データのうち上記一部空間以外の空間についてのk空間データとに基づいて、第2k空間データが作成される。そして、この第2k空間データが逆フーリエ変換されて第2断層画像が作成される。
この方法では、k空間の全体ではなく一部空間についてのみk空間データを収集すればよいので、k空間データ収集に要する時間の短縮が可能である。また、最終的に得られる第2断層画像は、第1断層画像およびCNN出力断層画像と比べて、良好な画質を有するとされている。
玉田大輝、"圧縮センシングのMRIへの実装"、日本磁気共鳴医学会雑誌 38.3 (2018): 76-86. 町田好男、森一生、"MRI高速撮像の進展~画像化の原理から圧縮センシングまで~"、医用画像情報学会雑誌30.1 (2013): 7-11. Hyun, Chang Min, et al."Deep learning for undersampled MRI reconstruction," Physics inMedicine & Biology 63.13 (2018): 135007. Biomedical Image Analysis Group, ImperialCollege London,"IXI Dataset",[online],[令和元年8月20日検索],インターネット<URL:http://brain-development.org/ixi-dataset/> Ronneberger O, Fischer P and BroxT 2015 U-net: convolutional networks for biomedical image segmentation(arXiv:1505.04597).
しかし、非特許文献3に記載された方法により最終的に得られる断層画像には、周期的なアーチファクトが見られる。MRI装置に圧縮センシングを適用してk空間のうちの一部空間について収集された部分k空間データに基づいて断層画像を作成する方法は、更なる画質改善が望まれる。
本発明は、上記問題点を解消する為になされたものであり、MRI装置に圧縮センシングを適用してk空間のうちの一部空間について収集された部分k空間データに基づいて更に良好な画質を有する断層画像を作成することができる画像処理装置および画像処理方法を提供することを目的とする。また、本発明は、このような画像処理装置を備えるMRI装置を提供することを目的とする。
本発明の画像処理装置は、(1) MRI装置においてk空間のうちの一部空間について収集された部分k空間データに基づいて第1断層画像を作成する第1断層画像作成部と、(2) 畳み込みニューラルネットワークに断層画像を入力させて畳み込みニューラルネットワークからCNN出力断層画像を出力させるCNN処理部と、(3) CNN出力断層画像に基づいて第1k空間データを作成する第1k空間データ作成部と、(4)前記一部空間についての部分k空間データと、第1k空間データのうち前記一部空間以外の空間についてのk空間データとに基づいて、第2k空間データを作成する第2k空間データ作成部と、(5) 第2k空間データに基づいて第2断層画像を作成する第2断層画像作成部と、を備える。そして、CNN処理部は、畳み込みニューラルネットワークによる処理を2回以上行い、そのうち第1回の処理では、第1断層画像を畳み込みニューラルネットワークに入力させ、第2回以降の処理では、前回の処理によるCNN出力断層画像に基づいて作成された第2断層画像を畳み込みニューラルネットワークに入力させる。
CNN処理部は、畳み込みニューラルネットワークを学習させる際に、(a) k空間内の前記一部空間について収集された部分k空間データに基づいて作成された被検体の第1断層画像または第2断層画像を畳み込みニューラルネットワークへの入力画像として用い、(b) k空間内の前記一部空間より広い空間について収集されたk空間データに基づいて作成された被検体の断層画像を教師画像として用いるのが好適である。また、CNN処理部は、畳み込みニューラルネットワークを学習させる際に、k空間の全体について収集されたk空間データに基づいて作成された被検体の断層画像を教師画像として用いるのが更に好適である。
CNN処理部は、畳み込みニューラルネットワークを学習させる際に、教師画像とCNN出力断層画像との差を含む関数を損失関数として用いるのが好適である。また、CNN処理部は、畳み込みニューラルネットワークを学習させる際に、教師画像とCNN出力断層画像との差、および、教師画像をフーリエ変換して得られるk空間データとCNN出力断層画像をフーリエ変換して得られるk空間データとの差を含む関数を、損失関数として用いるのが更に好適である。
或いは、本発明の画像処理装置は、(1) MRI装置においてk空間のうちの一部空間について収集された部分k空間データに基づいて第1断層画像を作成する第1断層画像作成部と、(2) 畳み込みニューラルネットワークに第1断層画像を入力させて畳み込みニューラルネットワークからCNN出力断層画像を出力させるCNN処理部と、(3) CNN出力断層画像に基づいて第1k空間データを作成する第1k空間データ作成部と、(4)前記一部空間についての部分k空間データと、第1k空間データのうち前記一部空間以外の空間についてのk空間データとに基づいて、第2k空間データを作成する第2k空間データ作成部と、(5) 第2k空間データに基づいて第2断層画像を作成する第2断層画像作成部と、を備える。そして、CNN処理部は、畳み込みニューラルネットワークを学習させる際に、(a) k空間内の前記一部空間について収集された部分k空間データに基づいて作成された被検体の第1断層画像または第2断層画像を畳み込みニューラルネットワークへの入力画像として用い、(b) k空間内の前記一部空間より広い空間について収集されたk空間データに基づいて作成された被検体の断層画像を教師画像として用い、(c) 教師画像とCNN出力断層画像との差、および、教師画像をフーリエ変換して得られるk空間データとCNN出力断層画像をフーリエ変換して得られるk空間データとの差を含む関数を、損失関数として用いる。
本発明のMRI装置は、k空間データを収集するk空間データ収集部と、k空間データ収集部により収集されたk空間データに基づいて断層画像を作成する上記の本発明の画像処理装置と、を備える。
本発明の画像処理方法は、(1) MRI装置においてk空間のうちの一部空間について収集された部分k空間データに基づいて第1断層画像を作成する第1断層画像作成ステップと、(2) 畳み込みニューラルネットワークに断層画像を入力させて畳み込みニューラルネットワークからCNN出力断層画像を出力させるCNN処理ステップと、(3) CNN出力断層画像に基づいて第1k空間データを作成する第1k空間データ作成ステップと、(4) 前記一部空間についての部分k空間データと、第1k空間データのうち前記一部空間以外の空間についてのk空間データとに基づいて、第2k空間データを作成する第2k空間データ作成ステップと、(5) 第2k空間データに基づいて第2断層画像を作成する第2断層画像作成ステップと、を備える。そして、CNN処理ステップの処理を2回以上行い、そのうち第1回の処理では、第1断層画像を畳み込みニューラルネットワークに入力させ、第2回以降の処理では、前回の処理によるCNN出力断層画像に基づいて作成された第2断層画像を畳み込みニューラルネットワークに入力させる。
CNN処理ステップでは、畳み込みニューラルネットワークを学習させる際に、(a) k空間内の前記一部空間について収集された部分k空間データに基づいて作成された被検体の第1断層画像または第2断層画像を畳み込みニューラルネットワークへの入力画像として用い、(b) k空間内の前記一部空間より広い空間について収集されたk空間データに基づいて作成された被検体の断層画像を教師画像として用いるのが好適である。また、CNN処理ステップでは、畳み込みニューラルネットワークを学習させる際に、k空間の全体について収集されたk空間データに基づいて作成された被検体の断層画像を教師画像として用いるのが更に好適である。
CNN処理ステップでは、畳み込みニューラルネットワークを学習させる際に、教師画像とCNN出力断層画像との差を含む関数を損失関数として用いるのが好適である。また、CNN処理ステップでは、畳み込みニューラルネットワークを学習させる際に、教師画像とCNN出力断層画像との差、および、教師画像をフーリエ変換して得られるk空間データとCNN出力断層画像をフーリエ変換して得られるk空間データとの差を含む関数を、損失関数として用いるのが更に好適である。
或いは、本発明の画像処理方法は、(1) MRI装置においてk空間のうちの一部空間について収集された部分k空間データに基づいて第1断層画像を作成する第1断層画像作成ステップと、(2) 畳み込みニューラルネットワークに第1断層画像を入力させて畳み込みニューラルネットワークからCNN出力断層画像を出力させるCNN処理ステップと、(3) CNN出力断層画像に基づいて第1k空間データを作成する第1k空間データ作成ステップと、(4) 前記一部空間についての部分k空間データと、第1k空間データのうち前記一部空間以外の空間についてのk空間データとに基づいて、第2k空間データを作成する第2k空間データ作成ステップと、(5) 第2k空間データに基づいて第2断層画像を作成する第2断層画像作成ステップと、を備える。そして、CNN処理ステップでは、畳み込みニューラルネットワークを学習させる際に、(a) k空間内の前記一部空間について収集された部分k空間データに基づいて作成された被検体の第1断層画像または第2断層画像を畳み込みニューラルネットワークへの入力画像として用い、(b) k空間内の前記一部空間より広い空間について収集されたk空間データに基づいて作成された被検体の断層画像を教師画像として用い、(c) 教師画像とCNN出力断層画像との差、および、教師画像をフーリエ変換して得られるk空間データとCNN出力断層画像をフーリエ変換して得られるk空間データとの差を含む関数を、損失関数として用いる。
本発明によれば、MRI装置に圧縮センシングを適用してk空間のうちの一部空間について収集された部分k空間データに基づいて更に良好な画質を有する断層画像を作成することができる。
図1は、MRI装置1の構成を示すブロック図である。 図2は、画像処理方法を説明するフローチャートである。 図3は、第2k空間データ作成部14により行われる第2k空間データ作成ステップS14の処理について説明する図である。 図4は正解画像の例である。 図5はアンダーサンプリングのパターンを示す図である。 図6は、第1断層画像作成ステップS11において部分k空間データyに基づいて作成された第1断層画像xの一例を示す図である。 図7は、CNN処理ステップS12の処理を1回のみ行って得られたCNN出力断層画像xCNNの一例を示す図である。 図8は、CNN処理ステップS12の処理を1回のみ行って得られた第2断層画像xの一例を示す図である。 図9は、CNN処理ステップS12の処理を10回行って得られた第2断層画像xの一例を示す図である。 図10は、CNN処理ステップS12の処理を1回のみ行って得られたCNN出力断層画像xCNNの一例を示す図である。 図11は、CNN処理ステップS12の処理を1回のみ行って得られた第2断層画像xの一例を示す図である。 図12は、CNN処理ステップS12の処理を10回行って得られた第2断層画像xの一例を示す図である。 図13は、正解画像(図4)中の注目領域R1,R2を示す図である。 図14は、CNN出力断層画像xCNN(図7)中の注目領域R1,R2を示す図である。 図15は、第2断層画像x(図8)中の注目領域R1,R2を示す図である。 図16は、第2断層画像x(図9)中の注目領域R1,R2を示す図である。 図17は、CNN出力断層画像xCNN(図10)中の注目領域R1,R2を示す図である。 図18は、第2断層画像x(図11)中の注目領域R1,R2を示す図である。 図19は、第2断層画像x(図12)中の注目領域R1,R2を示す図である。 図20は、CNN学習時に損失関数としてL,Lそれぞれを用いた場合について、第1断層画像xおよび第2断層画像xそれぞれのPSNRを示すグラフである。 図21は、CNN学習時に損失関数としてL,Lそれぞれを用いた場合について、第1断層画像xおよび第2断層画像xそれぞれのSSIMを示すグラフである。
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
図1は、MRI装置1の構成を示すブロック図である。MRI装置1は、k空間データ収集部10および画像処理装置2を備える。
k空間データ収集部10は、被検体に対し傾斜磁場を与えるとともに、被検体内の水素原子の共鳴現象により発生する電波を受信コイルにより受信してk空間データを収集する。k空間データ収集部10は、k空間の全体についてk空間データを収集(フルサンプリング)することができ、また、k空間のうちの一部空間についてk空間データを収集(アンダーサンプリング)することができる。アンダーサンプリングの際のk空間のうちの一部空間のパターンとしては、格子状(cartesian)、放射状(radial)および螺旋状(spiral)等が知られている(非特許文献1,2参照)。
画像処理装置2は、k空間データ収集部10により収集されたk空間データに基づいて被検体の断層画像を作成する。画像処理装置2は、第1断層画像作成部11、CNN処理部12、第1k空間データ作成部13、第2k空間データ作成部14、第2断層画像作成部15、制御部16、記憶部17および表示部18を備える。
第1断層画像作成部11は、k空間データ収集部10により収集(フルサンプリングまたはアンダーサンプリング)されたk空間データに基づいて被検体の断層画像を作成する。具体的には、第1断層画像作成部11は、k空間データを逆フーリエ変換することで断層画像を作成する。k空間のうちの一部空間について収集された部分k空間データyに基づいて第1断層画像作成部11により作成された断層画像を第1断層画像xとする。
CNN処理部12は、第1断層画像作成部11により作成された第1断層画像x、または、第2断層画像作成部15により作成された第2断層画像xを、畳み込みニューラルネットワーク(CNN)に入力させる。これにより、CNN処理部12は、CNNからCNN出力断層画像xCNNを出力させる。
第1k空間データ作成部13は、CNN出力断層画像xCNNに基づいて第1k空間データyを作成する。具体的には、第1k空間データ作成部13は、CNN出力断層画像xCNNをフーリエ変換することで第1k空間データyを作成する。
第2k空間データ作成部14は、上記一部空間についての部分k空間データyと、第1k空間データyのうち上記一部空間以外の空間についてのk空間データとに基づいて、第2k空間データyを作成する。
第2断層画像作成部15は、第2k空間データyに基づいて第2断層画像xを作成する。具体的には、第2断層画像作成部15は、第2k空間データyを逆フーリエ変換することで第2断層画像xを作成する。
制御部16は、画像処理装置2の全体の動作を制御するものであり、特に、第1断層画像作成部11、CNN処理部12、第1k空間データ作成部13、第2k空間データ作成部14および第2断層画像作成部15それぞれの処理を制御する。記憶部17は、部分k空間データy、第1断層画像x、CNN出力断層画像xCNN、第1k空間データy、第2k空間データyおよび第2断層画像x等を記憶する。表示部18は、部分k空間データy、第1断層画像x、CNN出力断層画像xCNN、第1k空間データy、第2k空間データyおよび第2断層画像x等を画面上に表示する。
画像処理装置2は、CPU(central processing unit)、DSP(digital signal processor)、ROM(read only memory)、GPU(graphics processing unit)、RAM(random access memory)、ハードディスクドライブ、ディスプレイ、キーボードおよびマウス等を有するコンピュータにより構成することができる。第1断層画像作成部11、第1k空間データ作成部13、第2k空間データ作成部14および第2断層画像作成部15は、CPUまたはDSPを含んで構成され得る。CNN処理部12は、CPU、DSPまたはGPUを含んで構成され得る。制御部16はCPUを含んで構成され得る。記憶部17はROM、RAM、ハードディスクドライブを含んで構成され得る。表示部18はディスプレイを含んで構成され得る。
CNN処理部12は、CNNによる処理を2回以上行う。そのうち第1回の処理では、CNN処理部12は、第1断層画像xをCNNに入力させる。第2回以降の処理では、CNN処理部12は、前回の処理によるCNN出力断層画像xCNNに基づいて作成された第2断層画像xをCNNに入力させる。
図2は、画像処理方法を説明するフローチャートである。この図には、k空間データ収集部10により部分k空間データyを収集するk空間データ収集ステップS10も示されている。画像処理方法は、第1断層画像作成ステップS11、CNN処理ステップS12、第1k空間データ作成ステップS13、第2k空間データ作成ステップS14および第2断層画像作成ステップS15を備える。
第1断層画像作成ステップS11は、第1断層画像作成部11により行われる処理である。第1断層画像作成ステップS11では、k空間データ収集ステップS10でk空間のうちの一部空間について収集された部分k空間データyに基づいて第1断層画像xを作成する。
CNN処理ステップS12は、CNN処理部12により行われる処理である。CNN処理ステップS12では、第1断層画像作成ステップS11で作成された第1断層画像x、または、第2断層画像作成ステップS15で作成された第2断層画像xを、CNNに入力させる。これにより、CNN処理ステップS12では、CNNからCNN出力断層画像xCNNを出力させる。
第1k空間データ作成ステップS13は、第1k空間データ作成部13により行われる処理である。第1k空間データ作成ステップS13では、CNN出力断層画像xCNNに基づいて第1k空間データyを作成する。
第2k空間データ作成ステップS14は、第2k空間データ作成部14により行われる処理である。第2k空間データ作成ステップS14では、上記一部空間についての部分k空間データyと、第1k空間データyのうち上記一部空間以外の空間についてのk空間データとに基づいて、第2k空間データyを作成する。
第2断層画像作成ステップS15は、第2断層画像作成部15により行われる処理である。第2断層画像作成ステップS15では、第2k空間データyに基づいて第2断層画像xを作成する。
CNN処理ステップS12の処理を2回以上行う。そのうち第1回の処理では、CNN処理ステップS12は、第1断層画像xをCNNに入力させる。第2回以降の処理では、CNN処理ステップS12は、前回の処理によるCNN出力断層画像xCNNに基づいて作成された第2断層画像xをCNNに入力させる。
図3は、第2k空間データ作成部14により行われる第2k空間データ作成ステップS14の処理について説明する図である。この図には、部分k空間データy、第1k空間データyおよび第2k空間データyが模式的に示されている。図3(a)に示される部分k空間データyは、k空間のうちの一部空間(図3(a)においてハッチング領域)について収集(アンダーサンプリング)されたものであり、その一部空間以外の空間(図3(a)において白色領域)のデータは値0である。
図3(c)に示される第1k空間データyは、CNN出力断層画像xCNNをフーリエ変換することで作成されたものであり、k空間の全体において0でない値をとり得る。図3(b)に示される第2k空間データyは、第2k空間データ作成ステップS14により作成されるものであり、上記一部空間については部分k空間データyと同じ値を有し、上記一部空間以外の空間については第1k空間データyと同じ値を有する。
なお、本実施形態の画像処理装置および画像処理方法は、非特許文献3に記載された方法と比較すると、次の点で相違している。非特許文献3に記載された方法は、第1断層画像作成ステップS11、CNN処理ステップS12、第1k空間データ作成ステップS13、第2k空間データ作成ステップS14および第2断層画像作成ステップS15それぞれを1回のみ行うものであって、CNN処理ステップS12を繰り返し行うものではない。これに対して、これまで説明してきた本実施形態では、CNN処理部12によるCNN処理ステップS12を2回以上行う。これにより、本実施形態では、k空間のうちの一部空間について収集された部分k空間データyに基づいて良好な画質を有する断層画像を作成することができる。
次に、CNNの学習について説明する。CNNを学習させる際に、CNN処理部12は、k空間内の一部空間について収集(アンダーサンプリング)された部分k空間データyに基づいて作成された被検体の第1断層画像xまたは第2断層画像xを、CNNへの入力画像として用いる。また、CNN処理部12は、上記一部空間より広い空間について収集されたk空間データに基づいて作成された被検体の断層画像を、教師画像xtrueとして用いる。好適には、CNN処理部12は、k空間の全体について収集(フルサンプリング)されたk空間データに基づいて作成された被検体の断層画像を、教師画像xtrueとして用いる。
CNNの学習の際に用いる損失関数は、教師画像xtrueとCNN出力断層画像xCNNとの差を含む関数(下記(1)式)であってもよい。この式Lは、教師画像xtrueとCNN出力断層画像xCNNとのL2ノルムを表す。損失関数が小さくなるようにCNNの学習を行う。
Figure 0007369572000001
また、損失関数は、教師画像xtrueとCNN出力断層画像xCNNとの差、および、教師画像xtrueをフーリエ変換して得られるk空間データF(xtrue)とCNN出力断層画像xCNNをフーリエ変換して得られるk空間データF(xCNN)との差を含む関数(下記(2)式)であってもよい。この式Lは、教師画像xtrueとCNN出力断層画像xCNNとのL2ノルムと、k空間データF(xtrue)とk空間データF(xCNN)とのL2ノルムに重み係数λを乗じたものと、の和を表す。重み係数λの値は0超1以下の範囲で選ばれるのが好適である。
Figure 0007369572000002
損失関数L((1)式)を用いてCNNを学習させれば、CNN処理部12によるCNN処理ステップS12の繰り返し回数を2回以上とすることで画質改善の効果が得られる。CNN処理部12によるCNN処理ステップS12の繰り返し回数は最大10回程度で十分である。画質改善された最終的な断層画像は、CNN処理部12によるCNN処理ステップS12を2回以上行った後のCNN出力断層画像xCNNおよび第2断層画像xの何れであってもよい。
損失関数L((2)式)を用いてCNNを学習させれば、CNN処理部12によるCNN処理ステップS12を2回以上行う場合だけでなく、CNN処理部12によるCNN処理ステップS12を1回のみ行う場合であっても、k空間のうちの一部空間について収集された部分k空間データyに基づいて良好な画質を有する第2断層画像xを作成することができる。
次に、シミュレーション結果について説明する。非特許文献4に蓄積されているMRIによる脳の断層画像のうちT2強調画像を用いた。57名分の7427個の断層画像を用いてCNNを学習させた。57名分の7460個の断層画像を用いて、アンダーサブサンプリングによる部分k空間データyを作成した。アンダーサンプリングのパターンは、格子状(cartesian)であり、フルサンプリングの際のk空間の全体に対して20%の空間とした。CNNとして、非特許文献5に記載されているU-netを用いた。CNN学習時に損失関数としてL(上記(1)式)およびL(上記(2)式)を用いた。損失関数としてLを用いた場合、重み係数λを0.1とした。
図4は正解画像の例である。図中の矩形領域R1,R2は注目領域である。図5はアンダーサンプリングのパターンを示す図である。図中で、白色領域はk空間のうちアンダーサンプリングした一部空間であり、その一部空間以外の黒色領域の空間のデータは値0である。正解画像(図4)をフーリエ変換して得られるk空間データのうち、アンダーサンプリングのパターン(図5)の白色領域に相当する領域のデータのみを取り出すことで、部分k空間データyを作成した。
図6は、第1断層画像作成ステップS11において部分k空間データyに基づいて作成された第1断層画像xの一例を示す図である。図6(a)は第1断層画像xを示し、図6(b)は第1断層画像xと正解画像(図4)との差分を示す。
図7~図9は、CNN学習時に損失関数としてLを用いたときに作成された断層画像の一例を示す図である。図7は、CNN処理ステップS12の処理を1回のみ行って得られたCNN出力断層画像xCNNの一例を示す図である。図7(a)はCNN出力断層画像xCNNを示し、図7(b)はCNN出力断層画像xCNNと正解画像(図4)との差分を示す。図8は、CNN処理ステップS12の処理を1回のみ行って得られた第2断層画像xの一例を示す図である。図8(a)は第2断層画像xを示し、図8(b)は第2断層画像xと正解画像(図4)との差分を示す。図9は、CNN処理ステップS12の処理を10回行って得られた第2断層画像xの一例を示す図である。図9(a)は第2断層画像xを示し、図9(b)は第2断層画像xと正解画像(図4)との差分を示す。
図10~図12は、CNN学習時に損失関数としてLを用いたときに作成された断層画像の一例を示す図である。図10は、CNN処理ステップS12の処理を1回のみ行って得られたCNN出力断層画像xCNNの一例を示す図である。図10(a)はCNN出力断層画像xCNNを示し、図10(b)はCNN出力断層画像xCNNと正解画像(図4)との差分を示す。図11は、CNN処理ステップS12の処理を1回のみ行って得られた第2断層画像xの一例を示す図である。図11(a)は第2断層画像xを示し、図11(b)は第2断層画像xと正解画像(図4)との差分を示す。図12は、CNN処理ステップS12の処理を10回行って得られた第2断層画像xの一例を示す図である。図12(a)は第2断層画像xを示し、図12(b)は第2断層画像xと正解画像(図4)との差分を示す。
図13~図19は、各断層画像中の注目領域R1,R2を拡大して示す図である。各図(a)は注目領域R1を示し、各図(b)は注目領域R2を示す。図13は、正解画像(図4)中の注目領域R1,R2を示す図である。
図14は、CNN処理ステップS12の処理を1回のみ行って得られたCNN出力断層画像xCNN(図7)中の注目領域R1,R2を示す図である。図15は、CNN処理ステップS12の処理を1回のみ行って得られた第2断層画像x(図8)中の注目領域R1,R2を示す図である。図16は、CNN処理ステップS12の処理を10回行って得られた第2断層画像x(図9)中の注目領域R1,R2を示す図である。これら図14~図16は、CNN学習時に損失関数としてLを用いた場合のものである。
図17は、CNN処理ステップS12の処理を1回のみ行って得られたCNN出力断層画像xCNN(図10)中の注目領域R1,R2を示す図である。図18は、CNN処理ステップS12の処理を1回のみ行って得られた第2断層画像x(図11)中の注目領域R1,R2を示す図である。図19は、CNN処理ステップS12の処理を10回行って得られた第2断層画像x(図12)中の注目領域R1,R2を示す図である。これら図17~図19は、CNN学習時に損失関数としてLを用いた場合のものである。
正解画像(図4,図13(a))の注目領域R1において、実線矢印が指し示す白色に近い領域にラクナ梗塞が認められる。ラクナ梗塞とは、脳血栓の中でも脳の深い部分を流れている細い血管が詰まってしまうことで起きる脳梗塞である。CNN学習時に損失関数としてL,Lの何れを用いた場合においても、CNN処理ステップS12の処理を1回のみ行って得られたCNN出力断層画像xCNNと比べて、CNN処理ステップS12の処理を1回のみ行って得られた第2断層画像xではラクナ梗塞が鮮明に認められ、CNN処理ステップS12の処理を10回行って得られた第2断層画像xではラクナ梗塞が更に鮮明に認められる。
CNN学習時に損失関数としてL,Lの何れを用いた場合においても、注目領域R1中の破線矢印が指し示す領域に、CNN処理ステップS12の処理を1回のみ行って得られたCNN出力断層画像xCNNと比べて、CNN処理ステップS12の処理を1回のみ行って得られた第2断層画像xではアーチファクトが低減されており、CNN処理ステップS12の処理を10回行って得られた第2断層画像xではアーチファクトが更に低減されている。
正解画像(図4,図13(b))の注目領域R2において、実線矢印が指し示す領域に着目すると、CNN学習時に損失関数としてL,Lの何れを用いた場合においても、CNN処理ステップS12の処理を1回のみ行って得られたCNN出力断層画像xCNNと比べて、CNN処理ステップS12の処理を1回のみ行って得られた第2断層画像xでは脳構造が鮮明に復元されており、CNN処理ステップS12の処理を10回行って得られた第2断層画像xでは脳構造が更に鮮明に復元されている。
正解画像(図4,図13(b))の注目領域R2において、破線印が指し示す領域に着目すると、CNN学習時に損失関数としてL,Lの何れを用いた場合においても、CNN処理ステップS12の処理を1回のみ行って得られたCNN出力断層画像xCNNと比べて、CNN処理ステップS12の処理を1回のみ行って得られた第2断層画像xではアーチファクトが低減されており、CNN処理ステップS12の処理を10回行って得られた第2断層画像xではアーチファクトが更に低減されている。特に、CNN学習時に損失関数としてLを用いた場合には、CNN処理ステップS12の処理を10回行って得られた第2断層画像xではアーチファクトが殆ど認められない。
図20は、CNN学習時に損失関数としてL,Lそれぞれを用いた場合について、第1断層画像xおよび第2断層画像x(CNN処理ステップS12の繰り返し回数itrを1,2,5,10)それぞれのPSNRを示すグラフである。PSNR(Peak Signal to Noise Ratio)は、画像の品質をデシベル(dB)で表したものであり、値が高いほど良好な画質であることを意味する。
図21は、CNN学習時に損失関数としてL,Lそれぞれを用いた場合について、第1断層画像xおよび第2断層画像x(CNN処理ステップS12の繰り返し回数itrを1,2,5,10)それぞれのSSIMを示すグラフである。SSIM(Structural Similarity Index)は、画像の輝度およびコントラストならびに構造の変化を定量化する指標であり、値が高いほど良好な画質であることを意味する。
PSNRおよびSSIMの何れの指標も、第1断層画像xより第2断層画像xの方が画質が良好であることを示しており、CNN処理ステップS12の繰り返し回数itrを多くするほど第2断層画像xの画質が良好になることを示している。また、PSNRおよびSSIMの何れの指標も、CNN学習時に損失関数としてLよりLを用いる場合の方が、画質が良好であることを示している。
1…MRI装置、2…画像処理装置、10…k空間データ収集部、11…第1断層画像作成部、12…CNN処理部、13…第1k空間データ作成部、14…第2k空間データ作成部、15…第2断層画像作成部、16…制御部、17…記憶部、18…表示部、x…第1断層画像、x…第2断層画像、xCNN…CNN出力断層画像、y…部分k空間データ、y…第1k空間データ、y…第2k空間データ。

Claims (13)

  1. MRI装置においてk空間のうちの一部空間について収集された部分k空間データに基づいて第1断層画像を作成する第1断層画像作成部と、
    畳み込みニューラルネットワークに断層画像を入力させて前記畳み込みニューラルネットワークからCNN出力断層画像を出力させるCNN処理部と、
    前記CNN出力断層画像に基づいて第1k空間データを作成する第1k空間データ作成部と、
    前記一部空間についての前記部分k空間データと、前記第1k空間データのうち前記一部空間以外の空間についてのk空間データとに基づいて、第2k空間データを作成する第2k空間データ作成部と、
    前記第2k空間データに基づいて第2断層画像を作成する第2断層画像作成部と、
    を備え、
    前記CNN処理部は、前記畳み込みニューラルネットワークによる処理を2回以上行い、そのうち第1回の処理では、前記第1断層画像を前記畳み込みニューラルネットワークに入力させ、第2回以降の処理では、前回の処理による前記CNN出力断層画像に基づいて作成された前記第2断層画像を前記畳み込みニューラルネットワークに入力させる、
    画像処理装置。
  2. 前記CNN処理部は、前記畳み込みニューラルネットワークを学習させる際に、k空間内の前記一部空間について収集された前記部分k空間データに基づいて作成された被検体の前記第1断層画像または前記第2断層画像を前記畳み込みニューラルネットワークへの入力画像として用い、k空間内の前記一部空間より広い空間について収集されたk空間データに基づいて作成された前記被検体の断層画像を教師画像として用いる、
    請求項1に記載の画像処理装置。
  3. 前記CNN処理部は、前記畳み込みニューラルネットワークを学習させる際に、k空間の全体について収集されたk空間データに基づいて作成された前記被検体の断層画像を教師画像として用いる、
    請求項2に記載の画像処理装置。
  4. 前記CNN処理部は、前記畳み込みニューラルネットワークを学習させる際に、前記教師画像と前記CNN出力断層画像との差を含む関数を損失関数として用いる、
    請求項2または3に記載の画像処理装置。
  5. 前記CNN処理部は、前記畳み込みニューラルネットワークを学習させる際に、前記教師画像と前記CNN出力断層画像との差、および、前記教師画像をフーリエ変換して得られるk空間データと前記CNN出力断層画像をフーリエ変換して得られるk空間データとの差を含む関数を、損失関数として用いる、
    請求項2または3に記載の画像処理装置。
  6. MRI装置においてk空間のうちの一部空間について収集された部分k空間データに基づいて第1断層画像を作成する第1断層画像作成部と、
    畳み込みニューラルネットワークに前記第1断層画像を入力させて前記畳み込みニューラルネットワークからCNN出力断層画像を出力させるCNN処理部と、
    前記CNN出力断層画像に基づいて第1k空間データを作成する第1k空間データ作成部と、
    前記一部空間についての前記部分k空間データと、前記第1k空間データのうち前記一部空間以外の空間についてのk空間データとに基づいて、第2k空間データを作成する第2k空間データ作成部と、
    前記第2k空間データに基づいて第2断層画像を作成する第2断層画像作成部と、
    を備え、
    前記CNN処理部は、前記畳み込みニューラルネットワークを学習させる際に、
    k空間内の前記一部空間について収集された前記部分k空間データに基づいて作成された被検体の前記第1断層画像または前記第2断層画像を前記畳み込みニューラルネットワークへの入力画像として用い、
    k空間内の前記一部空間より広い空間について収集されたk空間データに基づいて作成された前記被検体の断層画像を教師画像として用い、
    前記教師画像と前記CNN出力断層画像との差、および、前記教師画像をフーリエ変換して得られるk空間データと前記CNN出力断層画像をフーリエ変換して得られるk空間データとの差を含む関数を、損失関数として用いる、
    画像処理装置。
  7. k空間データを収集するk空間データ収集部と、
    前記k空間データ収集部により収集されたk空間データに基づいて断層画像を作成する請求項1~6の何れか1項に記載の画像処理装置と、
    を備えるMRI装置。
  8. MRI装置においてk空間のうちの一部空間について収集された部分k空間データに基づいて第1断層画像を作成する第1断層画像作成ステップと、
    畳み込みニューラルネットワークに断層画像を入力させて前記畳み込みニューラルネットワークからCNN出力断層画像を出力させるCNN処理ステップと、
    前記CNN出力断層画像に基づいて第1k空間データを作成する第1k空間データ作成ステップと、
    前記一部空間についての前記部分k空間データと、前記第1k空間データのうち前記一部空間以外の空間についてのk空間データとに基づいて、第2k空間データを作成する第2k空間データ作成ステップと、
    前記第2k空間データに基づいて第2断層画像を作成する第2断層画像作成ステップと、
    を備え、
    前記CNN処理ステップの処理を2回以上行い、そのうち第1回の処理では、前記第1断層画像を前記畳み込みニューラルネットワークに入力させ、第2回以降の処理では、前回の処理による前記CNN出力断層画像に基づいて作成された前記第2断層画像を前記畳み込みニューラルネットワークに入力させる、
    画像処理方法。
  9. 前記CNN処理ステップでは、前記畳み込みニューラルネットワークを学習させる際に、k空間内の前記一部空間について収集された前記部分k空間データに基づいて作成された被検体の前記第1断層画像または前記第2断層画像を前記畳み込みニューラルネットワークへの入力画像として用い、k空間内の前記一部空間より広い空間について収集されたk空間データに基づいて作成された前記被検体の断層画像を教師画像として用いる、
    請求項8に記載の画像処理方法。
  10. 前記CNN処理ステップでは、前記畳み込みニューラルネットワークを学習させる際に、k空間の全体について収集されたk空間データに基づいて作成された前記被検体の断層画像を教師画像として用いる、
    請求項9に記載の画像処理方法。
  11. 前記CNN処理ステップでは、前記畳み込みニューラルネットワークを学習させる際に、前記教師画像と前記CNN出力断層画像との差を含む関数を損失関数として用いる、
    請求項9または10に記載の画像処理方法。
  12. 前記CNN処理ステップでは、前記畳み込みニューラルネットワークを学習させる際に、前記教師画像と前記CNN出力断層画像との差、および、前記教師画像をフーリエ変換して得られるk空間データと前記CNN出力断層画像をフーリエ変換して得られるk空間データとの差を含む関数を、損失関数として用いる、
    請求項9または10に記載の画像処理方法。
  13. MRI装置においてk空間のうちの一部空間について収集された部分k空間データに基づいて第1断層画像を作成する第1断層画像作成ステップと、
    畳み込みニューラルネットワークに前記第1断層画像を入力させて前記畳み込みニューラルネットワークからCNN出力断層画像を出力させるCNN処理ステップと、
    前記CNN出力断層画像に基づいて第1k空間データを作成する第1k空間データ作成ステップと、
    前記一部空間についての前記部分k空間データと、前記第1k空間データのうち前記一部空間以外の空間についてのk空間データとに基づいて、第2k空間データを作成する第2k空間データ作成ステップと、
    前記第2k空間データに基づいて第2断層画像を作成する第2断層画像作成ステップと、
    を備え、
    前記CNN処理ステップでは、前記畳み込みニューラルネットワークを学習させる際に、
    k空間内の前記一部空間について収集された前記部分k空間データに基づいて作成された被検体の前記第1断層画像または前記第2断層画像を前記畳み込みニューラルネットワークへの入力画像として用い、
    k空間内の前記一部空間より広い空間について収集されたk空間データに基づいて作成された前記被検体の断層画像を教師画像として用い、
    前記教師画像と前記CNN出力断層画像との差、および、前記教師画像をフーリエ変換して得られるk空間データと前記CNN出力断層画像をフーリエ変換して得られるk空間データとの差を含む関数を、損失関数として用いる、
    画像処理方法。
JP2019167077A 2019-09-13 2019-09-13 Mri装置、画像処理装置および画像処理方法 Active JP7369572B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019167077A JP7369572B2 (ja) 2019-09-13 2019-09-13 Mri装置、画像処理装置および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019167077A JP7369572B2 (ja) 2019-09-13 2019-09-13 Mri装置、画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2021041065A JP2021041065A (ja) 2021-03-18
JP7369572B2 true JP7369572B2 (ja) 2023-10-26

Family

ID=74864614

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019167077A Active JP7369572B2 (ja) 2019-09-13 2019-09-13 Mri装置、画像処理装置および画像処理方法

Country Status (1)

Country Link
JP (1) JP7369572B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022140966A (ja) 2021-03-15 2022-09-29 セイコーエプソン株式会社 搬送装置、記録装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150097565A1 (en) 2013-10-01 2015-04-09 Beth Israel Deaconess Medical Center, Inc. (BIDMC) Methods and apparatus for reducing scan time of phase contrast mri
JP2018130142A (ja) 2017-02-13 2018-08-23 株式会社日立製作所 医用画像診断装置
JP2019025044A (ja) 2017-07-31 2019-02-21 株式会社日立製作所 医用撮像装置及び医用画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150097565A1 (en) 2013-10-01 2015-04-09 Beth Israel Deaconess Medical Center, Inc. (BIDMC) Methods and apparatus for reducing scan time of phase contrast mri
JP2018130142A (ja) 2017-02-13 2018-08-23 株式会社日立製作所 医用画像診断装置
JP2019025044A (ja) 2017-07-31 2019-02-21 株式会社日立製作所 医用撮像装置及び医用画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Chang Min Hyun, et al.,Deep Learning for undersampled MRI reconstruction,Physics in Medicine & Biology ,V0l.63 No.13,英国,Institute of Physics and Engineering in Medicine,2018年06月25日,135007(15pp)

Also Published As

Publication number Publication date
JP2021041065A (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
Ghodrati et al. MR image reconstruction using deep learning: evaluation of network structure and loss functions
Yu et al. Deep de-aliasing for fast compressive sensing MRI
US11341616B2 (en) Methods and system for selective removal of streak artifacts and noise from images using deep neural networks
CN109214989B (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
de Leeuw Den Bouter et al. Deep learning-based single image super-resolution for low-field MR brain images
CN111856368A (zh) 利用神经网络检测患者运动的mri系统和方法
JP7466141B2 (ja) 磁気共鳴画像高速再構成法及び磁気共鳴イメージング装置
CN114049408A (zh) 用于加速多模态mr成像的深度网络模型
Pawar et al. A deep learning framework for transforming image reconstruction into pixel classification
US20220260659A1 (en) Medical information processing apparatus, magnetic resonance imaging apparatus, and medical information processing method
CN117611453A (zh) 一种核磁共振图像超分辨率恢复方法及模型构建方法
US9759796B2 (en) Method and apparatus for eliminating noise in magnetic resonance images
JP7369572B2 (ja) Mri装置、画像処理装置および画像処理方法
CN113030813B (zh) 一种磁共振t2定量成像方法及系统
Safari et al. MRI motion artifact reduction using a conditional diffusion probabilistic model (MAR‐CDPM)
Rashid et al. Single MR image super-resolution using generative adversarial network
CN113066141A (zh) Mr图像数据的重建
Zong et al. Fast reconstruction of highly undersampled MR images using one and two dimensional principal component analysis
Qin et al. A2OURSR: Adaptive adjustment based real MRI super-resolution via opinion-unaware measurements
KR100452644B1 (ko) 영상 처리 방법과 장치, 기록 매체 및 촬상 장치
CN114494014A (zh) 一种磁共振图像超分辨率重建方法及装置
KR102514804B1 (ko) 비지도 학습 기반 자기 공명 영상 처리 방법 및 그 장치
Ye et al. Simultaneous Super-Resolution and Distortion Correction for Single-shot EPI DWI using Deep Learning
CN117333571B (zh) 磁共振图像的重建方法、系统、设备及介质
He et al. Gating feature dense network for single anisotropic mr image super-resolution

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231016

R150 Certificate of patent or registration of utility model

Ref document number: 7369572

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150