JP6646271B2 - 磁気共鳴画像装置及びコンピュータプログラム - Google Patents

磁気共鳴画像装置及びコンピュータプログラム Download PDF

Info

Publication number
JP6646271B2
JP6646271B2 JP2015094396A JP2015094396A JP6646271B2 JP 6646271 B2 JP6646271 B2 JP 6646271B2 JP 2015094396 A JP2015094396 A JP 2015094396A JP 2015094396 A JP2015094396 A JP 2015094396A JP 6646271 B2 JP6646271 B2 JP 6646271B2
Authority
JP
Japan
Prior art keywords
magnetic resonance
image
slice
observation data
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015094396A
Other languages
English (en)
Other versions
JP2016209208A (ja
Inventor
晃 平林
晃 平林
憲人 稲室
憲人 稲室
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ritsumeikan Trust
Original Assignee
Ritsumeikan Trust
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ritsumeikan Trust filed Critical Ritsumeikan Trust
Priority to JP2015094396A priority Critical patent/JP6646271B2/ja
Publication of JP2016209208A publication Critical patent/JP2016209208A/ja
Application granted granted Critical
Publication of JP6646271B2 publication Critical patent/JP6646271B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本発明は、核磁気共鳴を検出することで得られる観測データを処理して磁気共鳴画像を生成するための磁気共鳴画像装置及びコンピュータプログラムに関するものである。
磁気共鳴画像装置では、被験者を含む空間に静磁場を印加することで、被験者の体内に無数に存在している水素原子から核磁気共鳴信号を発生させ、この核磁気共鳴信号をサンプリングしてk空間(周波数空間)の観測データを取得する。この観測データに対して逆フーリエ変換を適用することで、被験者の断層画像である磁気共鳴画像(スライス画像)が生成される。
k空間のデータは膨大であるため、その全データを観測データとするフルセンシングでは、撮像に時間がかかる。そこで、k空間のデータをランダムに間引いて収集する圧縮センシングが知られている。圧縮センシングを用いれば撮像時間を短縮することができるが、単純に逆フーリエ変換を適用すると、生成したスライス画像に劣化が生じる問題がある。
医療画像はウェーブレット変換等によりスパース化することができ、このスパース性を利用して、圧縮センシングにより得られた情報量の少ない観測データから、lノルム最小化によってスライス画像を高精度に再構成する技術が研究されている。非特許文献1には、他のスライスの情報を用いず、再構成の対象のスライスの情報のみを用いてスライス画像を再構成する手法が開示されている。
M・ラスティグ(M. Lustig)、他1名、「スパースMRI:ザ・アプリケーション・オブ・コンプレスド・センシング・フォー・ラピッド・MR・イメージング(Sparse MRI: The application of compressed sensing for rapid MR imaging)」、マグネティック・レゾナンス・イン・メディシン(Magnetic Resonance in Medicine)、2007年、第58巻(Vol. 58)、p.1182−1195
圧縮センシングによって得られた観測データを用いて、高精度にスライス画像を再構成する新たな手法の開発が望まれている。
そこで、本発明は、従来手法とは異なる手法により、圧縮センシングによって得られた情報量の少ない観測データから、高精度にスライス画像を再構成することが可能な磁気共鳴画像装置及びコンピュータプログラムを提供することを目的とする。
(1)本発明は、対象物を横切るスライスにおける核磁気共鳴信号を検出して得られるk空間の観測データを処理して前記スライスにおける磁気共鳴画像を生成するための磁気共鳴画像装置であって、対象物の第1のスライスにおける核磁気共鳴信号を検出して得られる第1の観測データと、前記対象物の第2のスライスにおける核磁気共鳴信号を検出して得られる、前記第1の観測データよりも観測量が小さい第2の観測データとを出力する核磁気共鳴信号検出装置と、前記核磁気共鳴信号検出装置から出力された前記第1の観測データ及び前記第2の観測データに基づいて、前記第1のスライスにおける第1の磁気共鳴画像及び前記第2のスライスにおける第2の磁気共鳴画像を生成する処理装置と、を備え、前記処理装置は、前記第1の観測データに基づいて、前記第1の磁気共鳴画像を生成する第1磁気共鳴画像生成手段と、前記第1磁気共鳴画像生成手段によって生成された前記第1の磁気共鳴画像に基づいて、前記第2のスライスにおける参照画像を生成する参照画像生成手段と、前記参照画像生成手段によって生成された前記参照画像と、前記第2の磁気共鳴画像との差分画像を推定する差分画像推定手段と、前記参照画像生成手段によって生成された前記参照画像と、前記差分画像推定手段によって推定された前記差分画像とを加算合成して、前記第2の磁気共鳴画像を生成する第2磁気共鳴画像生成手段と、を有し、前記差分画像推定手段は、前記参照画像と前記差分画像との加算合成結果を用いて定義される前記第2の観測データの推定値と、前記核磁気共鳴信号検出装置から出力された前記第2の観測データとの差分、及び前記差分画像のスパース性に基づく正則化項を最小化することにより、前記差分画像を推定するように構成されていることを特徴とする、磁気共鳴画像装置である。
上記本発明によれば、観測量が大きい第1の観測データに基づいて生成された高精度な第1の磁気共鳴画像に基づいて参照画像が生成される。第1のスライスと第2のスライスが十分に近接している場合には、生成される磁気共鳴画像は類似する。したがって、画像の類似性から参照画像は第2の磁気共鳴画像の高品質な近似画像になっていると考えられ、その差分は微小且つスパースとなる。このため、観測量が小さい第2の観測データによって、高精度に第2の磁気共鳴画像を生成することができる。
(2)前記核磁気共鳴信号検出装置は、前記第1のスライスにおける核磁気共鳴信号の全部を観測することにより、前記第1の観測データを取得するように構成されているのが好ましい。
この場合、フルセンシングによって得られた第1の観測データにより、非常に高精度な第1の磁気共鳴画像を得ることができる。したがって、参照画像がさらに高品質になり、より高精度に第2の磁気共鳴画像を生成することができる。
(3)前記核磁気共鳴信号検出装置は、前記第1のスライスにおける核磁気共鳴信号の一部を観測することにより、前記第1の観測データを取得するように構成されているのが好ましい。
この場合、圧縮センシングによって第1の観測データが得られるため、撮像のさらなる高速化が可能となる。
(4)前記核磁気共鳴信号検出装置は、前記第1のスライスと前記第2のスライスとの間にある第3のスライスにおける核磁気共鳴信号を検出して得られる、前記第1の観測データよりも観測量が小さい第3の観測データを出力するように構成されており、前記参照画像生成手段は、前記第1の磁気共鳴画像と前記第3の観測データとに基づいて生成された前記第3のスライスにおける第3の磁気共鳴画像に基づいて、前記参照画像を生成するように構成されているのが好ましい。
この場合、第2のスライスは第1のスライスから離れており、第1の磁気共鳴画像から参照画像を生成すると参照画像の品質が低下する可能性がある。一方、第1のスライスに近い第3のスライスにおける第3の磁気共鳴画像は、第1の磁気共鳴画像に基づいて生成することで高品質なものとなる。第3のスライスは第2のスライスに近いので、参照画像は第3の磁気共鳴画像に類似する。したがって、第3の磁気共鳴画像から高品質な参照画像を生成することができ、このため高精度に第2の磁気共鳴画像を生成することができる。
(5)前記核磁気共鳴信号検出装置は、前記第2のスライスを挟んで第1のスライスの反対側にある第3のスライスにおける核磁気共鳴信号を検出して得られる第3の観測データを出力するように構成されており、前記参照画像生成手段は、前記第1の磁気共鳴画像と、前記第3の観測データに基づいて生成された前記第3のスライスにおける第3の磁気共鳴画像とに基づいて、前記参照画像を生成するように構成されているのが好ましい。
この場合、第1の磁気共鳴画像と第3の磁気共鳴画像との両方を用いて参照画像を生成するので、さらに高品質な参照画像を得ることができる。したがって、より高精度に第2の磁気共鳴画像を生成することができる。
(6)前記第3の観測データは、前記第1の観測データと観測量が同じであり、前記核磁気共鳴信号検出装置は、前記第1のスライスと前記第3のスライスの間にある複数のスライスそれぞれにおける核磁気共鳴信号を検出して得られる、前記第1の観測データよりも観測量が小さい複数の観測データを出力するように構成されており、前記参照画像生成手段は、前記第1の磁気共鳴画像と前記第3の磁気共鳴画像とに基づいて、前記複数のスライスそれぞれにおける複数の参照画像を生成するように構成されており、前記差分画像生成手段は、前記複数のスライスそれぞれにおいて前記参照画像と生成される磁気共鳴画像との差分画像を推定するように構成されており、前記第2磁気共鳴画像生成手段は、前記複数のスライスそれぞれにおいて前記参照画像と前記差分画像とを加算合成して、前記複数のスライスそれぞれにおける複数の磁気共鳴画像を生成するように構成されているのが好ましい。
(7)他の観点からみた本発明は、対象物の第1のスライスにおける核磁気共鳴信号を検出して得られるk空間の第1の観測データ、及び前記対象物の第2のスライスにおける核磁気共鳴信号を検出して得られる、前記第1の観測データよりも観測量が小さいk空間の第2の観測データを処理して、前記第1のスライスにおける第1の磁気共鳴画像及び前記第2のスライスにおける第2の磁気共鳴画像を生成するためのコンピュータプログラムであって、コンピュータを、前記第1の観測データに基づいて、前記第1の磁気共鳴画像を生成する第1磁気共鳴画像生成手段、前記第1磁気共鳴画像生成手段によって生成された前記第1の磁気共鳴画像に基づいて、前記第2のスライスにおける参照画像を生成する参照画像生成手段、前記参照画像生成手段によって生成された前記参照画像と、前記第2の磁気共鳴画像との差分画像を推定する差分画像推定手段、及び前記参照画像生成手段によって生成された前記参照画像と、前記差分画像推定手段によって推定された前記差分画像とを加算合成して、前記第2の磁気共鳴画像を生成する第2磁気共鳴画像生成手段として機能させ、前記差分画像推定手段は、前記参照画像と前記差分画像との加算合成結果を用いて定義される前記第2の観測データの推定値と、前記対象物の第2のスライスにおける前記核磁気共鳴信号を検出して得られる前記第2の観測データとの差分、及び前記差分画像のスパース性に基づく正則化項を最小化することにより、前記差分画像を推定するように構成されていることを特徴とする、コンピュータプログラムである。
本発明によれば、従来手法とは異なる手法により、圧縮センシングによって得られた情報量の少ない観測データから、高精度にスライス画像を再構成することが可能となる。
実施形態1に係る磁気共鳴画像装置の構成を示す模式図。 処理装置の機能ブロック図。 処理装置のハードウェア構成を示すブロック図。 実施形態1における観測データの取得を説明するための模式図。 実施形態1に係る処理装置の磁気共鳴画像の生成処理の手順を示すフローチャート。 実施形態2における観測データの取得を説明するための模式図。 実施形態2に係る処理装置の磁気共鳴画像の生成処理の手順を示すフローチャート。 磁気共鳴画像装置により撮像した磁気共鳴画像を示す図。 評価試験において生成した参照画像を示す図。 本手法により再構成した磁気共鳴画像を示す図。 従来手法により再構成した磁気共鳴画像を示す図。
以下、本発明の好ましい実施形態について添付図面を参照しながら説明する。
(実施形態1)
[1.磁気共鳴画像装置の構成]
図1は、本実施形態に係る磁気共鳴画像装置(以下、「MRI装置」という)100の構成を示す模式図である。図1に示すように、このMRI装置100は、核磁気共鳴信号検出装置200と、処理装置300とを備えている。
核磁気共鳴信号検出装置200は、対象物である被験者の人体を含む検出空間に静磁場を印加し、人体を横切る複数の平面(スライス)における核磁気共鳴信号を検出し、k空間の観測データを得る。核磁気共鳴信号検出装置200は、複数のスライスにおいて、それぞれ異なる観測量で観測データを得ることが可能である。例えば、一のスライスでは、k空間における核磁気共鳴信号の全部を観測するフルセンシングを行い、他のスライスでは、k空間における核磁気共鳴信号を間引きして観測する圧縮センシングを行うことができる。
処理装置300は、核磁気共鳴信号検出装置200を制御し、核磁気共鳴信号検出装置200によって得られた観測データを処理して磁気共鳴画像を生成する。処理装置300は、核磁気共鳴信号検出装置200と接続されている。核磁気共鳴信号検出装置200から出力された観測データは、処理装置300に与えられる。
図2は、処理装置300の機能ブロック図である。処理装置300は、受信部301、制御部302、送信部303、入力部304、出力部305、及び処理部310としての機能を有している。
受信部301は、核磁気共鳴信号検出装置200から出力された観測データを受信するためのものである。
制御部302は、核磁気共鳴信号検出装置200を制御するためのものである。制御部302は、核磁気共鳴信号検出装置200に対して、スライスの位置、スライスの間隔、各スライスにおける観測データの観測量等を設定することができる。
送信部303は、制御部302において生成された制御信号を、核磁気共鳴信号検出装置200に送信するためのものである。
入力部304は、処理装置300に対してユーザが情報を入力するためのものである。この入力部304によって、ユーザはスライスの位置及び間隔を指定したり、各スライスにおける観測データの観測量を指定したり、撮像の開始を指示したりすることができる。
出力部305は、処理部310の処理結果を表示するためのものである。出力部305によって、生成された磁気共鳴画像が表示される。
処理部310は、観測データを処理して磁気共鳴画像を生成するためのものである。処理部310は、Iスライス画像生成部311と、参照画像生成部312と、差分画像推定部313と、Dスライス画像生成部314とを有する。
Iスライス画像生成部311は、所定のスライスにおけるフルセンシングによって得られた観測データに基づいて、磁気共鳴画像を生成するためのものである。Iスライス画像生成部311は、観測データに対して逆フーリエ変換を適用し、劣化が非常に少ない磁気共鳴画像を生成する。Iスライス画像生成部311では、1つのスライスにおける観測データのみを用いて当該スライスにおける磁気共鳴画像が生成される。以下、磁気共鳴画像の生成に当該スライスにおける観測データのみが用いられるスライスを「Iスライス」という。
参照画像生成部312は、あるスライスにおける磁気共鳴画像に基づいて、当該スライスとは異なる対象スライスにおける参照画像を生成するためのものである。ここで、対象スライスとは、磁気共鳴画像を生成する対象のスライスである。参照画像生成部312は、近接する2以上のスライスにおける磁気共鳴画像は互いに類似するという性質を利用して、対象スライスに近接したスライスにおける磁気共鳴画像に基づいて、対象スライスの磁気共鳴画像の生成に用いられる参照画像を生成する。
差分画像推定部313は、対象スライスにおける磁気共鳴画像と、対象スライスにおける参照画像との差分画像を推定するためのものである。差分画像推定部313は、医療画像のスパース性を利用して、対象スライスにおける観測データに基づいて差分画像を推定する。
Dスライス画像生成部314は、対象スライスにおける参照画像と差分画像との加算合成を行い、対象スライスにおける磁気共鳴画像を生成するためのものである。Dスライス画像生成部314では、対象スライスとは異なるスライスにおける観測データを用いて生成された参照画像を利用して、対象スライスにおける磁気共鳴画像が生成される。以下、磁気共鳴画像の生成に他のスライスにおける観測データが用いられるスライスを「Dスライス」という。
図3は、処理装置300のハードウェア構成を示すブロック図である。処理装置300は、コンピュータによって実現される。図3に示すように、処理装置300は、入力部304と、出力部305と、本体306とを備えている。本体306は、CPU321、ROM322、RAM323、読出装置324、ハードディスク325、入出力インタフェース326、画像出力インタフェース327、及び通信インタフェース328を備えており、CPU321、ROM322、RAM323、読出装置324、ハードディスク325、入出力インタフェース326、画像出力インタフェース327、及び通信インタフェース328は、バスによって接続されている。
CPU321は、RAM323にロードされたコンピュータプログラムを実行することが可能である。そして、磁気共鳴画像生成用のコンピュータプログラムであるMR画像生成プログラム330を当該CPU321が実行することにより、コンピュータが処理装置300として機能し、上記の各機能ブロックが実現される。MR画像生成プログラム330は、圧縮センシングによって得られた解析データから磁気共鳴画像の生成を可能とする。
ROM322は、マスクROM、PROM、EPROM、又はEEPROM等によって構成されており、CPU321に実行されるコンピュータプログラム及びこれに用いるデータ等が記録されている。
RAM323は、SRAMまたはDRAM等によって構成されている。RAM323は、ハードディスク325に記録されているMR画像生成プログラム330の読み出しに用いられる。また、CPU321がコンピュータプログラムを実行するときに、CPU321の作業領域として利用される。
ハードディスク325は、オペレーティングシステム及びアプリケーションプログラム等、CPU321に実行させるための種々のコンピュータプログラム及び当該コンピュータプログラムの実行に用いられるデータがインストールされている。MR画像生成プログラム330も、このハードディスク325にインストールされている。
ハードディスク325には、例えば米マイクロソフト社が製造販売するWindows(登録商標)等のオペレーティングシステムがインストールされている。以下の説明においては、本実施の形態に係るMR画像生成プログラム330は当該オペレーティングシステム上で動作するものとしている。
読出装置324は、フレキシブルディスクドライブ、CD−ROMドライブ、またはDVD−ROMドライブ等によって構成されており、可搬型記録媒体340に記録されたコンピュータプログラムまたはデータを読み出すことができる。可搬型記録媒体340には、MR画像生成プログラム330が格納されており、コンピュータが当該可搬型記録媒体340からMR画像生成プログラム330を読み出し、当該MR画像生成プログラム330をハードディスク325にインストールすることが可能である。
入出力インタフェース326は、例えばUSB,IEEE1394,又はRS-232C等のシリアルインタフェース、SCSI,IDE,又は IEEE1284等のパラレルインタフェース、及びD/A変換器、A/D変換器等からなるアナログインタフェース等から構成されている。入出力インタフェース326には、キーボード及びマウスからなる入力部304が接続されており、ユーザが当該入力部304を使用することにより、処理装置300にデータを入力することが可能である。
画像出力インタフェース327は、LCDまたはCRT等で構成された出力部305に接続されており、CPU321から与えられた画像データに応じた映像信号を出力部305に出力するようになっている。出力部305は、入力された映像信号にしたがって、画像(画面)を表示する。
通信インタフェース328は、Ethernet(登録商標)インタフェース等である。通信インタフェース328は、核磁気共鳴信号検出装置200と通信可能に接続されている。処理装置300は、通信インタフェース328により、核磁気共鳴信号検出装置200との間でデータの送受信を行う。
[2.磁気共鳴画像の生成原理]
核磁気共鳴信号検出装置200は、人体に適切な磁場を印加して、発生した電磁波をコイルで検出し、観測データを得る。観測データyは、次式(1)で表される。
ここで、Mは整数である。
一方、磁気共鳴画像xは、次式(2)で表される。
ここで、Nは整数である。
観測データyは、磁気共鳴画像xを2次元フーリエ変換して得られるものであり、次式(3)で表現することができる。
ここで、FはM×Nの観測行列であり、2次元フーリエ変換である。eは雑音である。
仮に、M≧Nのように観測量が十分に大きく、且つ雑音を無視できる場合には、一般化逆行列Fをかける、つまり逆フーリエ変換を適用することによってxを求めることができる。
観測時間、つまり撮像時間はyの次元数に比例する。したがって、観測数を削減することにより観測時間を短縮することができる。本実施の形態では、次式(4)によりフーリエ係数をランダムに間引いている。
ここで、AはランダムDFT(Discrete Fourier Transformation)である。
図4は、本実施形態における観測データの取得を説明するための模式図である。撮影対象の人体から観測データを取得する際、図4に示すように、4枚おきのIスライス、つまりi番目のスライスと、i+4番目のスライスとに対してフルセンシングを実施する。図において、斜線が付された四角がIスライスを示しており、無地の四角がDスライスを示している。Iスライスの間の3つのDスライス、つまりi+1番目、i+2番目、及びi+3番目のスライスに対しては、高比率の圧縮センシングを実施する。
Iスライスにおいては、逆フーリエ変換により磁気共鳴画像を完全再構成することができる。Dスライスにおいては、単純に逆フーリエ変換を適用すると、偽エッジなどのアーチファクトが生じる。そこで、以下に説明する再構成を行う。まず、対象スライスであるDスライスの両側にあるi番目及びi+4番目の2つのIスライスを用いて、参照画像xrefを生成する。参照画像xrefは、近接する2以上のスライスにおける磁気共鳴画像の類似性から、対象スライスにおける磁気共鳴画像に近似した高品質な画像として生成される。したがって、対象スライスにおける磁気共鳴画像xと参照画像xrefとの差分画像dは、微小でスパースになる。磁気共鳴画像xと参照画像xrefと差分画像dとの関係は、次式(5)によって表される。
上記の式(5)を式(1)に代入し、次のように表現することができる。
また、Dスライスにおける観測データyと参照画像xrefの観測行列Aによる線形変換との差をyとすれば、次のように表現することができる。
式(7)において、右辺は全て既知の情報である。これを式(6)に代入すれば、次のようになる。
対象スライスであるDスライスにおける差分画像を次式(9)で推定する。
ここで、Ψはスパース化変換であり、通常は離散ウェーブレット変換が用いられる。ここでは、差分画像d自体のスパース性が高いため、Ψを単位行列として恒等変換することもできる。この場合、次式(10)で表される。
式(9)及び(10)において、TVは全変動であり、λ及びλは正則化パラメータである。
式(9)及び(10)において、右辺の第1項を変形すれば、||y−A(xref+s)||となる。sは、差分画像dを示す変数であるので、xref+sは、観測データyの推定値である。したがって、第1項は、参照画像xrefと差分画像dとの加算合計結果を用いて定義されるDスライスにおける観測データの推定値と、核磁気共鳴信号検出装置200から出力されたDスライスにおける観測データとの差分を最小化する項である。
また、式(9)の第2項は、差分画像のウェーブレット変換のスパース性に基づく正則化項であり、式(10)の第2項は、差分画像自体のスパース性に基づく正則化項である。第2項が最小化されると、差分画像のウェーブレット変換、又は差分画像自体がスパースとなる。
式(9)及び(10)の第3項において、全変動TVは、対象スライスにおける磁気共鳴画像と、対象スライスに隣り合うスライスにおける磁気共鳴画像との差分のスパース性を示している。第3項が最小化されると、対象スライスにおける磁気共鳴画像と、対象スライスに隣り合うスライスにおける磁気共鳴画像との差分がスパースとなる。かかる式(9)及び(10)の第3項は、対象スライスにおける磁気共鳴画像と、対象スライスに隣り合うスライスにおける磁気共鳴画像との差分のスパース性に基づく正則化項である。つまり、第2項及び第3項は、差分画像のスパース性に基づく正則化項である。
上記の式(9)又は式(10)によって推定された差分画像と、参照画像とによって、下式(11)に従い対象スライスの磁気共鳴画像を生成する。
[3.MRI装置の動作]
以下、MRI装置100の動作について説明する。
ユーザは処理装置300の入力部304を操作して、スライス位置、スライスの間隔、及び各スライスにおける圧縮率(観測量)を指定する。これに応じて、核磁気共鳴信号検出装置200が動作する。
核磁気共鳴信号検出装置200は、対象物である被験者の人体を含む検出空間に静磁場を印加し、設定されたスライスにおける核磁気共鳴信号を検出し、各スライスにおいてk空間の観測データを得る。このとき、核磁気共鳴信号検出装置200は、4つおきのスライスをIスライスとして、各Iスライスにおいてはフルセンシングを実施する。核磁気共鳴信号検出装置200は、Iスライスの間の3つのDスライスにおいて、設定された圧縮率で圧縮センシングを実施する。得られた観測データは、処理装置300へと送信される。
図5は、本実施形態に係る処理装置の磁気共鳴画像の生成処理の手順を示すフローチャートである。処理装置300において、iの初期値は1である。まず、受信部301が、核磁気共鳴信号検出装置200から送信された観測データを受信する(ステップS101)。
次に、Iスライス画像生成部311は、i番目のIスライスにおける観測データに対して逆フーリエ変換を適用し、Iスライスにおける磁気共鳴画像(以下、「Iスライス画像」という)を生成する(ステップS102)。
また、Iスライス画像生成部311は、i+4番目のIスライスにおける観測データに対して逆フーリエ変換を適用し、Iスライス画像を生成する(ステップS103)。
次に、参照画像生成部312は、上記の2つのIスライス画像を用いて、線形補間によりi+1番目のDスライスにおける参照画像を生成する(ステップS104)。i+1番目のDスライスは、i番目のIスライスの隣のスライスであるため、i+1番目のDスライスにおける磁気共鳴画像は、i番目のIスライス画像と類似するはずである。したがって、i+1番目のDスライスにおける磁気共鳴画像の生成に用いられる参照画像を、i番目のIスライス画像を利用して生成することにより、高品質な参照画像が得られる。
次に、差分画像推定部313は、式(9)又は式(10)を用いて、i+1番目のDスライスにおける差分画像を推定する(ステップS105)。
次に、Dスライス画像生成部314は、ステップS104において得られた参照画像と、ステップS105において得られた差分画像とを加算合成し、i+1番目のDスライスにおける磁気共鳴画像を生成する(ステップS106)。以下、Dスライスにおける磁気共鳴画像を、「Dスライス画像」という。
次に、参照画像生成部312は、上記のi番目及びi+4番目のIスライス画像の線形補間によりi+3番目のDスライスにおける参照画像を生成する(ステップS107)。
次に、差分画像推定部313は、式(9)又は式(10)を用いて、i+3番目のDスライスにおける差分画像を推定する(ステップS108)。
次に、Dスライス画像生成部314は、ステップS107において得られた参照画像と、ステップS108において得られた差分画像とを加算合成し、i+3番目のDスライス画像を生成する(ステップS109)。
次に、参照画像生成部312は、既に生成されたi+1番目のDスライス画像と、i+3番目のDスライス画像とを線形補間して、i+2番目のDスライスにおける参照画像を生成する(ステップS110)。i+2番目のDスライスは、i番目及びi+4番目のIスライスの両方と隣り合っていない。つまり、i+2番目のDスライス画像がi番目及びi+4番目のIスライス画像と類似度が低い可能性がある。このため、i番目及びi+4番目のIスライス画像を線形補間して、i+2番目のDスライスにおける参照画像を生成しても、その品質が高くない可能性が考えられる。一方、i+2番目のDスライスは、i+1番目及びi+3番目のDスライスと隣り合っている。したがって、i+2番目のDスライス画像は、i+1番目及びi+3番目のDスライス画像に類似する可能性が高い。よって、i+1番目のDスライス画像と、i+3番目のDスライス画像とを線形補間して、i+2番目のDスライスにおける参照画像を生成することで、高品質な参照画像を得ることが可能となる。
次に、差分画像推定部313は、式(9)又は式(10)を用いて、i+2番目のDスライスにおける差分画像を推定する(ステップS111)。
次に、Dスライス画像生成部314は、ステップS110において得られた参照画像と、ステップS111において得られた差分画像とを加算合成し、i+2番目のDスライス画像を生成する(ステップS112)。
CPU321は、未処理のスライスが存在する場合(ステップS113においてYES)、iを4だけインクリメントし(ステップS114)、ステップS103に処理を移す。ここで、i番目のIスライス(以前のi+4番目のIスライス)についてIスライス画像を生成しないのは、既にIスライス画像が生成されているためである。
未処理のスライスが存在しない場合(ステップS113においてNO)、出力部305は、上記の磁気共鳴画像の生成処理によって得られた各磁気共鳴画像を表示する。以上で、磁気共鳴画像の生成処理が終了する。
(実施形態2)
本実施形態に係るMRI装置の構成については、実施形態1に係るMRI装置の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
本実施形態では、2つおきのスライスをIスライスとし、2つのIスライスの間の1つのスライスをDスライスとする。各Iスライスについては、低比率の圧縮センシングを実施し、各Dスライスについては、高比率の圧縮センシングを実施する。つまり、本実施形態では、Iスライスについても、フルセンシングではなく、k空間における核磁気共鳴信号を間引きして観測する圧縮センシングを実施する。Iスライスについては、Dスライスよりも低比率の圧縮センシングを実施する。つまり、Iスライスについてのk空間データの間引き量は、Dスライスについての間引き量よりも小さい。Iスライスについても圧縮センシングを実施することにより、全体での圧縮率の低下を抑制しつつ、スライス全体に占めるIスライスの割合を大きくすることができる。
図6は、本実施形態における観測データの取得を説明するための模式図である。撮影対象の人体から観測データを取得する際、図6に示すように、2枚おきのIスライス、つまりi番目のスライスと、i+2番目のスライスとに対して低比率の圧縮センシングを実施する。図において、斜線が付された四角がIスライスを示しており、無地の四角がDスライスを示している。Iスライスの間の1つのDスライス、つまりi+1番目のスライスに対しては、高比率の圧縮センシングを実施する。得られた観測データは、処理装置300へと送信される。
以下、本実施形態に係るMRI装置100の動作について説明する。図7は、本実施形態に係る処理装置の磁気共鳴画像の生成処理の手順を示すフローチャートである。まず、受信部301が、核磁気共鳴信号検出装置200から送信された観測データを受信する(ステップS201)。
次に、Iスライス画像生成部311は、i番目のIスライスにおける観測データに基づいて、Iスライス画像を生成する(ステップS202)。このとき、公知の手法を利用することができる。ここで利用される手法は、1つのIスライスにおける観測データのみを用いて、当該Iスライスにおける磁気共鳴画像を生成するものとされ、例えば、非特許文献1に開示されている手法である。Iスライスにおける圧縮率は低いため、劣化のない完全な磁気共鳴画像を得ることはできないものの、高品質なIスライス画像を得ることができる。また、Iスライスにおいて圧縮センシングが実施されるため、撮像の高速化が可能となる。
また、Iスライス画像生成部311は、i+2番目のIスライスにおける観測データに基づいて、ステップS202と同様にしてIスライス画像を生成する(ステップS203)。
次に、参照画像生成部312は、上記の2つのIスライス画像を用いて、線形補間によりi+1番目のDスライスにおける参照画像を生成する(ステップS204)。
次に、差分画像推定部313は、式(9)又は式(10)を用いて、i+1番目のDスライスにおける差分画像を推定する(ステップS205)。
次に、Dスライス画像生成部314は、ステップS204において得られた参照画像と、ステップS205において得られた差分画像とを加算合成し、i+1番目のDスライス画像を生成する(ステップS206)。
CPU321は、未処理のスライスが存在する場合(ステップS207においてYES)、iを2だけインクリメントし(ステップS208)、ステップS203に処理を移す。ここで、i番目のIスライス(以前のi+2番目のIスライス)についてIスライス画像を生成しないのは、既にIスライス画像が生成されているためである。
未処理のスライスが存在しない場合(ステップS207においてNO)、出力部305は、上記の磁気共鳴画像の生成処理によって得られた各磁気共鳴画像を表示する。以上で、磁気共鳴画像の生成処理が終了する。
2つのIスライスの間に1つのDスライスを設けたので、Dスライスの隣が必ずIスライスとなる。したがって、全てのDスライスについて、Iスライス画像から高品質な参照画像を得ることができ、Dスライス画像の高品質化、品質の平準化が可能となる。
上記の如く、実施形態1及び2に係るMRI装置100によれば、観測量が大きいIスライスの観測データを用いて高精度なIスライス画像を得ることができる。特に、実施形態1では、フルセンシングによって極めて劣化の少ない高品質なIスライス画像を得ることができる。かかるIスライス画像に基づいて高品質な参照画像を得ることができるため、観測量が小さいDスライスにおいて、高品質なDスライス画像を生成することが可能となる。
[4.評価試験]
発明者は、実施形態1に係るMRI装置の性能を評価する試験を実施した。試験では、健常な20代男性の被験者の肩の磁気共鳴画像を54枚撮像し、最後の5枚のスライス(#50〜54)を用いて計算機によってシミュレーションを行った。使用したMRI装置は、GE Healthcare UK社製のSignaHDxt(1.5T)である。撮像のパラメータを、TR=800ms, TE=17ms, FOV=240mm×240mm, Matrix=256×256, Gap=0, Thickness=1mmに設定した。
図8に、MRI装置で取得した磁気共鳴画像を示す。各画像は、フルセンシングを実施して得た観測データを逆フーリエ変換したものである。
シミュレーションは、#51〜53の3つのスライスの観測データをそれぞれ一部欠落させ、圧縮センシングを再現した。これらの3つのスライスにおける圧縮率は1/9である。したがって、#50〜53の4枚のスライスにおける圧縮率の平均は1/3となる。
図9に、#51〜53の3つのDスライスにおける参照画像を示す。#51及び#53における参照画像のそれぞれは、#50及び#54のIスライス画像を線形補間することによって生成した。また、#53における参照画像は、再構成した#51及び#53のDスライス画像を線形補間することによって生成した。図9に示すように、参照画像が、対応する磁気共鳴画像(図8参照)と類似していることが分かる。
図10に、実施の形態1で説明した磁気共鳴画像の生成手法(以下、「本手法」という)により生成した磁気共鳴画像を示す。#51〜53の各スライスについて、次式で示されるPSNRを評価値として求めた。
PSNRは、フルセンシングによる磁気共鳴画像と、本手法により生成した磁気共鳴画像との類似度を表しており、PSNRが高いほど類似度が高い。本手法については、#51でのPSNRが50.40dBであり、#52でのPSNRが49.79dBであり、#53でのPSNRが55.08dBであった。
また、参照画像についてもPSNRを計算した。参照画像については、#51でのPSNRが39.96dBであり、#52でのPSNRが40.17dBであり、#53でのPSNRが40.49dBであった。各スライスについて、本手法では参照画像よりもPSNRが約10dB以上高くなっており、参照画像では表現できなかった細部もより精度よく再構成できていることが分かる。
また、#50及び#54は、Iスライスであり、フルセンシングによって磁気共鳴画像を再構成している。したがって、図8における#50及び#54の画像と完全に一致する。医師には、圧縮センシングにより生成された磁気共鳴画像を好まない傾向があり、本手法では、非圧縮画像を一定間隔のスライスについて医師に提供することができる。
図11に、非特許文献1に開示されている磁気共鳴画像の生成手法(以下、「従来手法」という)により生成した磁気共鳴画像を示す。従来手法では、#50〜54の各スライスについて、圧縮率を1/3とした。したがって、#50〜53の4枚のスライスにおける圧縮率の平均は1/3となり、本手法と同一である。従来手法については、#50でのPSNRが43.17であり、#51でのPSNRが45.58dBであり、#52でのPSNRが47.90dBであり、#53でのPSNRが49.55dBであり、#54でのPSNRが50.23dBであった。従来手法では、画像を再構成する際に、他のスライスの情報を用いず単独で再構成する。これに対し、近接スライスの情報を用いて再構成する本手法では、PSNRが約5dB向上している。
(その他の実施形態)
上述した実施の形態1及び2においては、2つのIスライス画像の線形補間により参照画像を生成する構成について述べたが、これに限定されるものではない。3つ以上のIスライス画像に対して公知の補間方法、例えばスプライン補間によって参照画像を生成してもよい。また、1つのIスライス画像から、参照画像を生成してもよい。例えば、Iスライス画像と同一の画像を参照画像としてもよい。
また、上述した実施の形態1においては、i+1番目のDスライス画像と、i+3番目のDスライス画像とを線形補間して、i+2番目のDスライスにおける参照画像を生成する構成について述べたが、これに限定されるものではない。i番目及びi+4番目のIスライス画像を線形補間して、i+2番目のDスライスにおける参照画像を生成するようにしてもよい。
また、上述した実施の形態1においては、Iスライスについてフルセンシングを実施して観測データを得る構成について述べたが、これに限定されるものではない。k空間データを間引いて観測する圧縮センシングによりIスライスにおける観測データを得る構成であってもよい。この場合、Iスライス画像の品質を確保するため、Iスライスについての圧縮率を、Dスライスよりも低くすることが好ましい。また、Iスライス画像の生成には、公知の手法を利用することができる。ここで利用される手法は、1つのIスライスにおける観測データのみを用いて、当該Iスライスにおける磁気共鳴画像を生成するものとされ、例えば、非特許文献1に開示されている手法である。
また、上述した実施の形態2においては、Iスライスについて圧縮センシングを実施して観測データを得る構成について述べたが、これに限定されるものではない。Iスライスについてk空間データの全てを観測するフルセンシングにより観測データを得る構成であってもよい。この場合、Iスライスの観測データに対して逆フーリエ変換を適用することにより、Iスライス画像を生成することができる。
100 磁気共鳴画像装置
200 核磁気共鳴信号検出装置
300 処理装置
310 処理部
311 Iスライス画像生成部
312 参照画像生成部
313 差分画像推定部
314 Dスライス画像生成部
321 CPU
330 MR画像生成プログラム
340 可搬型記録媒体

Claims (7)

  1. 対象物を横切るスライスにおける核磁気共鳴信号を検出して得られるk空間の観測データを処理して前記スライスにおける磁気共鳴画像を生成するための磁気共鳴画像装置であって、
    前記対象物の第1のスライスにおける核磁気共鳴信号を検出して得られる第1の観測データと、前記対象物の第2のスライスにおける核磁気共鳴信号を検出して得られる、前記第1の観測データよりも観測量が小さい第2の観測データとを出力する核磁気共鳴信号検出装置と、
    前記核磁気共鳴信号検出装置から出力された前記第1の観測データ及び前記第2の観測データに基づいて、前記第1のスライスにおける第1の磁気共鳴画像及び前記第2のスライスにおける第2の磁気共鳴画像を生成する処理装置と、
    を備え、
    前記処理装置は、
    前記第1の観測データに基づいて、前記第1の磁気共鳴画像を生成する第1磁気共鳴画像生成手段と、
    前記第1磁気共鳴画像生成手段によって生成された前記第1の磁気共鳴画像に基づいて、前記第2のスライスにおける参照画像を生成する参照画像生成手段と、
    前記参照画像生成手段によって生成された前記参照画像と、前記第2の磁気共鳴画像との差分画像を推定する差分画像推定手段と、
    前記参照画像生成手段によって生成された前記参照画像と、前記差分画像推定手段によって推定された前記差分画像とを加算合成して、前記第2の磁気共鳴画像を生成する第2磁気共鳴画像生成手段と、
    を有し、
    前記差分画像推定手段は、前記参照画像と前記差分画像との加算合成結果を用いて定義される前記第2の観測データの推定値と、前記核磁気共鳴信号検出装置から出力された前記第2の観測データとの差分、及び前記差分画像のスパース性に基づく正則化項を最小化することにより、前記差分画像を推定するように構成されていることを特徴とする、磁気共鳴画像装置。
  2. 前記核磁気共鳴信号検出装置は、前記第1のスライスにおける核磁気共鳴信号の全部を観測することにより、前記第1の観測データを取得するように構成されていることを特徴とする、請求項1に記載の磁気共鳴画像装置。
  3. 前記核磁気共鳴信号検出装置は、前記第1のスライスにおける核磁気共鳴信号の一部を観測することにより、前記第1の観測データを取得するように構成されていることを特徴とする、請求項1に記載の磁気共鳴画像装置。
  4. 前記核磁気共鳴信号検出装置は、前記第1のスライスと前記第2のスライスとの間にある第3のスライスにおける核磁気共鳴信号を検出して得られる、前記第1の観測データよりも観測量が小さい第3の観測データを出力するように構成されており、
    前記参照画像生成手段は、前記第1の磁気共鳴画像に基づいて、前記第3のスライスにおける参照画像を生成し、
    前記差分画像推定手段は、前記第3の観測データを用いて、前記参照画像生成手段によって生成された前記第3のスライスにおける前記参照画像と、前記第3のスライスにおける第3の磁気共鳴画像との差分画像を推定し、
    前記第2磁気共鳴画像生成手段は、前記参照画像生成手段によって生成された前記第3のスライスにおける前記参照画像と、前記差分画像推定手段によって推定された前記第3の磁気共鳴画像との前記差分画像とを加算合成して、前記第3のスライスにおける第3の磁気共鳴画像を生成し、
    前記参照画像生成手段において前記第2のスライスにおける前記参照画像を生成することは、前記第2磁気共鳴画像生成手段によって前記第1の磁気共鳴画像に基づいて生成された前記第3の磁気共鳴画像に基づいて、前記第2のスライスにおける参照画像を生成することである、請求項1乃至3の何れか1項に記載の磁気共鳴画像装置。
  5. 前記核磁気共鳴信号検出装置は、前記第2のスライスを挟んで第1のスライスの反対側にある第3のスライスにおける核磁気共鳴信号を検出して得られる、前記第2の観測データよりも観測量が大きい第3の観測データを出力するように構成されており、
    前記参照画像生成手段は、前記第1の磁気共鳴画像と、前記第3の観測データに基づいて生成された前記第3のスライスにおける第3の磁気共鳴画像とに基づいて、前記参照画像を生成するように構成されていることを特徴とする、請求項1乃至3の何れか1項に記載の磁気共鳴画像装置。
  6. 前記第3の観測データは、前記第1の観測データと観測量が同じであり、
    前記核磁気共鳴信号検出装置は、前記第1のスライスと前記第3のスライスの間にある複数のスライスそれぞれにおける核磁気共鳴信号を検出して得られる、前記第1の観測データよりも観測量が小さい複数の観測データを出力するように構成されており、
    前記参照画像生成手段は、前記第1の磁気共鳴画像と前記第3の磁気共鳴画像とに基づいて、前記複数のスライスそれぞれにおける複数の参照画像を生成するように構成されており、
    前記差分画像推定手段は、前記複数のスライスそれぞれにおいて前記参照画像と生成される磁気共鳴画像との差分画像を推定するように構成されており、
    前記第2磁気共鳴画像生成手段は、前記複数のスライスそれぞれにおいて前記参照画像と前記差分画像とを加算合成して、前記複数のスライスそれぞれにおける複数の磁気共鳴画像を生成するように構成されていることを特徴とする、請求項5に記載の磁気共鳴画像装置。
  7. 対象物の第1のスライスにおける核磁気共鳴信号を検出して得られるk空間の第1の観測データ、及び前記対象物の第2のスライスにおける核磁気共鳴信号を検出して得られる、前記第1の観測データよりも観測量が小さいk空間の第2の観測データを処理して、前記第1のスライスにおける第1の磁気共鳴画像及び前記第2のスライスにおける第2の磁気共鳴画像を生成するためのコンピュータプログラムであって、
    コンピュータを、
    前記第1の観測データに基づいて、前記第1の磁気共鳴画像を生成する第1磁気共鳴画像生成手段、
    前記第1磁気共鳴画像生成手段によって生成された前記第1の磁気共鳴画像に基づいて、前記第2のスライスにおける参照画像を生成する参照画像生成手段、
    前記参照画像生成手段によって生成された前記参照画像と、前記第2の磁気共鳴画像との差分画像を推定する差分画像推定手段、及び
    前記参照画像生成手段によって生成された前記参照画像と、前記差分画像推定手段によって推定された前記差分画像とを加算合成して、前記第2の磁気共鳴画像を生成する第2磁気共鳴画像生成手段として機能させ、
    前記差分画像推定手段は、前記参照画像と前記差分画像との加算合成結果を用いて定義される前記第2の観測データの推定値と、前記対象物の第2のスライスにおける核磁気共鳴信号を検出して得られる前記第2の観測データとの差分、及び前記差分画像のスパース性に基づく正則化項を最小化することにより、前記差分画像を推定するように構成されていることを特徴とする、コンピュータプログラム。
JP2015094396A 2015-05-01 2015-05-01 磁気共鳴画像装置及びコンピュータプログラム Expired - Fee Related JP6646271B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015094396A JP6646271B2 (ja) 2015-05-01 2015-05-01 磁気共鳴画像装置及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015094396A JP6646271B2 (ja) 2015-05-01 2015-05-01 磁気共鳴画像装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2016209208A JP2016209208A (ja) 2016-12-15
JP6646271B2 true JP6646271B2 (ja) 2020-02-14

Family

ID=57550766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015094396A Expired - Fee Related JP6646271B2 (ja) 2015-05-01 2015-05-01 磁気共鳴画像装置及びコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP6646271B2 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1959397B1 (en) * 2007-02-19 2019-08-07 Wisconsin Alumni Research Foundation Iterative HYPR medical image reconstruction
JP5220125B2 (ja) * 2007-12-20 2013-06-26 ウイスコンシン アラムナイ リサーチ ファウンデーシヨン 先験的画像制限画像再構成法
US8194937B2 (en) * 2007-12-20 2012-06-05 Wisconsin Alumni Research Foundation Method for dynamic prior image constrained image reconstruction
US20110215805A1 (en) * 2010-03-03 2011-09-08 Allegheny-Singer Research Institute MRI and method using multi-slice imaging
US8483463B2 (en) * 2010-05-19 2013-07-09 Wisconsin Alumni Research Foundation Method for radiation dose reduction using prior image constrained image reconstruction
EP2503349A1 (en) * 2011-03-24 2012-09-26 Koninklijke Philips Electronics N.V. MR image reconstruction using prior information-constrained regularization
WO2014075005A1 (en) * 2012-11-11 2014-05-15 The Regents Of The University Of California High spatial and temporal resolution dynamic contrast-enhanced magnetic resonance imaging
EP3042215A1 (en) * 2013-09-05 2016-07-13 Koninklijke Philips N.V. Mri using spatially adaptive regularization for image reconstruction

Also Published As

Publication number Publication date
JP2016209208A (ja) 2016-12-15

Similar Documents

Publication Publication Date Title
EP2904971B1 (en) Magnetic resonance imaging device and image processing device
US10215822B2 (en) Image processing apparatus and magnetic-resonance imaging apparatus
Geethanath et al. Compressive sensing could accelerate 1H MR metabolic imaging in the clinic
Van Sloun et al. Compressed sensing for ultrasound computed tomography
US20180153516A1 (en) Sparse Tracking in Acoustic Radiation Force Impulse Imaging
US9830687B2 (en) Image processing device, magnetic resonance imaging apparatus and image processing method
US20140195200A1 (en) Smart Data Sampling and Data Reconstruction
US9811924B2 (en) Interferometric techniques for magnetic resonance imaging
Kouame et al. Super-resolution in medical imaging: An illustrative approach through ultrasound
McCormick et al. An approach to unbiased subsample interpolation for motion tracking
JP2022504299A (ja) イメージングシステムを用いた位相速度イメージング
KR100983770B1 (ko) 초음파 탄성영상을 형성하기 위한 시스템 및 방법
JP2013510612A (ja) 超音波データの再サンプリング方法
CN103815932B (zh) 基于光流法和应变的超声准静态弹性成像方法
Nguyen et al. A Fourier‐series‐based virtual fields method for the identification of three‐dimensional stiffness distributions and its application to incompressible materials
JP6646271B2 (ja) 磁気共鳴画像装置及びコンピュータプログラム
Chen et al. Three‐dimensional canine heart model for cardiac elastography
Huang et al. Accelerating cardiac diffusion tensor imaging combining local low-rank and 3D TV constraint
Sette et al. Algorithms for ultrasound elastography: a survey
US20210364589A1 (en) Improved multi-shot echo planar imaging through machine learning
Pineda et al. Optimizing constrained reconstruction in magnetic resonance imaging for signal detection
EP2189812A1 (en) Providing volume information on a periodically moving target object in an ultrasound system
Byanju et al. Time efficiency analysis for undersampled quantitative MRI acquisitions
US20230341492A1 (en) Systems, Methods, and Media for Estimating a Mechanical Property Based on a Transformation of Magnetic Resonance Elastography Data Using a Trained Artificial Neural Network
Huo et al. Optimization of spiral MRI using a perceptual difference model

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20180126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20190726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191225

R150 Certificate of patent or registration of utility model

Ref document number: 6646271

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees