JP6710127B2 - 磁気共鳴イメージング装置および画像再構成方法 - Google Patents

磁気共鳴イメージング装置および画像再構成方法 Download PDF

Info

Publication number
JP6710127B2
JP6710127B2 JP2016162046A JP2016162046A JP6710127B2 JP 6710127 B2 JP6710127 B2 JP 6710127B2 JP 2016162046 A JP2016162046 A JP 2016162046A JP 2016162046 A JP2016162046 A JP 2016162046A JP 6710127 B2 JP6710127 B2 JP 6710127B2
Authority
JP
Japan
Prior art keywords
unit
processing
magnetic resonance
calculation
imaging apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016162046A
Other languages
English (en)
Other versions
JP2018029656A (ja
Inventor
克成 長嶋
克成 長嶋
毅倫 村瀬
毅倫 村瀬
康弘 鎌田
康弘 鎌田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2016162046A priority Critical patent/JP6710127B2/ja
Priority to PCT/JP2017/028159 priority patent/WO2018037868A1/ja
Publication of JP2018029656A publication Critical patent/JP2018029656A/ja
Application granted granted Critical
Publication of JP6710127B2 publication Critical patent/JP6710127B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本発明は、圧縮センシング技術を適用した磁気共鳴イメージング装置(以下、MRI装置という)に関し、特に、その画像再構成手法に関する。
MRI装置は、主に水素原子核の核磁気共鳴現象を利用した医用画像診断装置であるが、その特性上、検査時間が長いという問題がある。一般的に一検体当たり数十分を要し、患者への負担も大きいことから、撮像の高速化が望まれている。そこで近年、圧縮センシング(Compressed Sensing:CS)と呼ばれる手法のMRI装置への応用が進められている(例えば、特許文献1、2)。CSは信号の持つ疎性を利用し、疎な観測結果から本来の信号を高精度に復元することが可能である。
撮像の高速化を図る技術として、パラレルイメージングがある。パラレルイメージングは、感度分布が異なる複数の受信コイルを用いて、通常画像再構成に必要なデータよりも少ないデータを計測し(アンダーサンプリング)、それにより画像に含まれることになる折り返しを受信コイルの感度分布を用いた演算によって除去する技術である。このパラレルイメージングとCSを組み合わせることも提案されている(例えば、特許文献3)。
米国特許第7646924号明細書 特開2015−205037号公報 米国特許公開第2010/0308824号明細書
通常、操作者は検査終了後、なるべく早く画像を確認する必要がある。また次の検査に早く移ることで、より多くの検査を実施することが可能となる。このような理由により、撮像から画像が表示されるまでの時間がなるべく短いことが望ましい。しかしCSは、信号復元の処理量が膨大であることが多く、その結果、検査完了後に画像が表示されるまでの時間が長いという問題がある。さらに、MRI装置では、CSによって本来の信号を高精度に復元した後で、画像化するための再構成処理も実施する必要がある。例えば2DFFT、パラレルイメージング演算や、コイルの感度差を補正するための処理等が挙げられる。これらの再構成処理は、信号復元後のデータに対して行われるため、順番に実施され、画像表示まで時間はCSに係る処理と再構成処理との単純な加算となり延長する。
本発明は、CSを適用したMRI装置において、検査終了後画像を表示するまでの時間を短縮することを課題とする。
本発明のMRI装置は、CS演算以外の再構成に関わる演算のうち、CS演算の完了を待たずに開始可能な演算について、CS演算と並列して処理する手段を設けることにより上記課題を解決する。
具体的には、本発明のMRI装置は、被検体から核磁気共鳴信号を計測し、疎の計測データを取得する計測部と、前記計測部が計測した疎の計測データを用いて画像再構成に必要な処理を行う画像処理部と、前記計測部及び前記画像処理部の動作を制御する制御部と、を備え、前記画像処理部は、並行して動作する第一演算部と第二演算部とを有し、前記制御部は、前記疎の計測データを用いて、計測されていないデータの復元処理を前記第一演算部が行い、前記復元処理以外の画像再構成に必要な演算の少なくとも一部を前記第二演算部が行うように前記画像処理部の動作を制御することを特徴とする。
本発明によれば、CSを適用した撮像において検査完了から画像が表示されるまでの時間を短縮することができる。
(A)はMRI装置100の全体構成を示すブロック図、(B)は受信部を示す図。 CSにおける処理を示す図。 CSにおける観測パターンの例を示す図。 CSの復元処理を概念的に示す図。 実施形態の画像処理部220の構成例を示すブロック図。 実施形態の画像処理部220の処理の流れを示す図。 処理時間の短縮効果を示す図で、(A)は従来手法の処理時間、(B)は実施形態の処理時間を示す。 従来手法による画像処理部の処理の流れを示す図。 第1の実施形態の画像処理部の処理の流れを示す図。 第1の実施形態の処理時間の短縮効果を示す図で、(A)は従来手法の処理時間、(B)は第1の実施形態の処理時間を示す。 第2の実施形態の画像処理部の処理の流れを示す図。 第3の実施形態の画像処理部の処理の流れを示す図。 第4の実施形態の画像処理部の処理の流れを示す図。 第5の実施形態の画像処理部の処理の流れを示す図。 第6の実施形態の画像処理部の処理の流れを示す図。 第6の実施形態の処理時間の短縮効果を示す図で、(A)は従来手法の処理時間、(B)は第6の実施形態の処理時間を示す。 第7の実施形態の画像処理部の処理の流れを示す図。 第7の処理時間の短縮効果を示す図で、(A)は従来手法の処理時間、(B)は第7の実施形態の処理時間を示す。
以下、本発明を適用した実施形態を、図面を参照して説明する。
まず、本実施形態のMRI装置の全体構成について説明する。図1(A)は、本実施形態のMRI装置100の全体構成を示すブロック図である。本実施形態のMRI装置100は、大きく分けて、計測部110と、信号処理部120と、操作部130とを備える。
計測部110は、被検体ここでは人150が配置される空間に静磁場を発生する静磁場発生部101、同空間に傾斜磁場を発生する傾斜磁場コイル102、検査対象150に高周波磁場パルスを照射する送信コイル103、及び、被検体150が発生する核磁気共鳴信号を受信する受信コイル104を備える。
静磁場発生部101は、永久磁石方式、常電導方式あるいは超電導方式の静磁場発生源により構成され、垂直磁場方式であれば、被検体1の周りの空間にその体軸と直交する方向に、水平磁場方式であれば、被検体1の体軸方向に均一な静磁場を発生させる。
傾斜磁場コイル102は、MRI装置100の座標系(静止座標系)であるX、Y、Zの3軸方向に巻かれた傾斜磁場コイルから成り、それぞれ傾斜磁場電源112に接続されている。傾斜磁場コイル102は傾斜磁場電源112により駆動されて、X、Y、Zの3軸方向に傾斜磁場Gx,Gy,Gzを発生し、その組み合わせで任意の方向の傾斜磁場を発生することができる。例えば、撮影時には、スライス面(撮影断面)に直交する方向にスライス方向傾斜磁場パルス(Gs)を印加して被検体1に対するスライス面を設定し、そのスライス面に直交して且つ互いに直交する残りの2つの方向に位相エンコード方向傾斜磁場パルス(Gp)と周波数エンコード方向傾斜磁場パルス(Gf)とを印加して、エコー信号にそれぞれの方向の位置情報をエンコードする。
送信コイル103は、被検体150に近接して配置された高周波コイルからなり、図示しない高周波発振器、変調器、及び高周波増幅器を備えた送信部113に接続されている。高周波発振器から出力されたRFパルスを変調器により振幅変調した後、高周波増幅器で増幅し、送信コイルから被検体に照射することで、被検体150の生体組織を構成する原子の原子核スピンに核磁気共鳴を起こさせる。
受信コイル104は、被検体150から核磁気共鳴により放出されるエコー信号(NMR信号)を検出する高周波コイルで、図示しない信号増幅器、直交位相検波器、及びA/D変換器などを備えた受信部114に接続されている。送信コイル103から照射されたRFパルスによって誘起された応答のNMR信号は、被検体150に近接して配置された受信コイル104で検出され、信号増幅器で増幅され、直交位相検波器により直交する二系統の信号に分割され、それぞれがA/D変換器でディジタル量に変換されて、計測データとして信号処理部120に送られる。
受信コイル104は、パラレルイメージングを行う場合、図1(B)に示すように、複数の小型RFコイル104a〜104dを組み合わせたマルチプルアレイコイル(MAC)を用いる。その場合、上述した受信部114はチャンネルごと(マルチプルアレイコイルを構成する小型RFコイル毎)に設けられている。なお図では4チャンネルのマルチプルアレイコイルの例を示しているが、小型RFコイル(チャンネル)の数は図示するものに限らず任意である。
信号処理部120は、装置全体の制御、各種データ処理、処理結果の表示及び保存等を行うもので、制御部210と、画像処理部220と、記憶部230とを備える。制御部210は、主として、計測部110を制御する機能を有し、例えば、所定のパルスシーケンスに従って、RFパルスと傾斜磁場パルスとを繰り返し印加するよう制御するとともに、計測データ収集に必要な種々の命令を送信部113、傾斜磁場電源112、および受信部114に送る。本実施形態では、CSを適用した計測データを収集するように撮像部110を制御する。CSを適用した計測データについては後述する。
画像処理部220は、計測したデータに対し画像再構成に必要な種々の演算を行う。本実施形態では、CS演算、画像の補正、またパラレルイメージングの場合にはそのための演算などを行う。このような機能を実現するため、信号処理部120は、具体的には、CPU、ROM、RAM等の記憶装置や、光ディスク、磁気ディスク等の外部記憶装置を備え、制御部210による撮像制御や画像処理部220による処理は、予め記憶装置に格納されたプログラムや演算のアルゴリズムを読み込むことにより実現される。また演算の一部は、ASICやFPGAのようなハードウェアで実現することも可能である。
操作部130は、MRI装置100自体の各種制御情報および信号処理部120で行う処理の各種制御情報の入力を受け付けるもので、トラックボール又はマウス、キーボード等の入力装置からなる入力部240と、画像やGUI等を表示す表示部250とを備える。操作者は、表示部250を見ながら入力部240を介してインタラクティブにMRI装置100の各種処理に必要な情報を入力する。
信号処理部120は、受信部114からの計測データが入力されると、画像処理部220が信号処理、画像再構成等の処理を実行し、その結果である被検体150の断層画像を表示部250に表示すると共に、記憶装置に記録する。
次に本実施形態のMRI装置に適用されるCSについて説明する。
図2に、CSにおける基本的な処理を示す。図示するように、CSでは、疎なK空間データの取得S101、信号或いはデータの復元処理S102、復元処理以外の画像再構成処理S103が実行される。以下、各処理を詳述する。
まず、疎なK空間データの取得S101では、計測部110が、傾斜磁場の印加パターンを調整し、K空間データのデータ点より少ないデータ点数で且つ所定のパターン(観測パターン)でK空間データを収集する。一般的にCSでは、信号成分を偏りなく観測するため観測対象の空間をランダムに観測するのがよいとされる。しかしながら、K空間においては、原点付近の低周波成分を密に観測しないと、再構成される画像のコントラストや明るさに大きな変動が発生してしまうため、原点付近の低周波成分に関してはすべての要素を観測する。このような観測方法による観測パターンとしては、図3に示すような平行線状31、放射状32(例えば、特許文献2参照)、ランダム状33、更には図示を省略したらせん状等が考えられる。本実施形態ではそのいずれを採用してもよい。
次に復元処理S102は、信号処理部120がCSアルゴリズムによる演算を行う。CSアルゴリズムは、計測したK空間データをフーリエ変換して画像空間にしたのち、スパース化変換して、L1ノルム最小化等の最適化問題を反復アルゴリズムで解くもので、スパース化変換にはウェーブレット変換、それとCurvelet変換の組み合わせ、TV(Total Variation)、Ridgelet変換などがある。このような圧縮センシングのアルゴリズムは、公知であり、例えば、L1−SPIRiT、L1−ESPIRiT、SAKE−L1ESPIRiT、TVG(Total Generalized Variation:TVの改良版)など、ソフトウェアのパッケージとして入手可能である。CSのアルゴリズムはMRI装置の記憶装置或いは他の記憶装置にプログラムとして格納されており、画像処理部220が、そのプログラムをアップロードして実行する。
図4に、CSのL1ノルム最小化を用いた復元処理の一例を概念的に示す。観測データ41、ここでは計測部110により計測された疎なK空間データ、をフーリエ変換し実空間データ42とする(S201)。次いで実空間データ42をスパース変換演算子で圧縮し、スパース画像43を得る(S202)。このスパース処理は、MR画像では理想的には同じ組織の信号強度は等しく組織の境界でのみ信号強度が変化するということを利用し、画像を境界とそれ以外の情報に分離してスパース性の高い(すなわちゼロ成分が多い)画像に変換する処理であり、スパース変換演算子としては、ウェーブレット変換、離散余弦変換等がある。このスパース画像43に対し、閾値によるマスク処理を実施して、閾値マスク後のスパース画像44を得る。(L1ノルム最小化では、反復するにつれて、この閾値を徐々に小さくしていくことで、最小化を計る。)次いでスパース画像44の逆変換を行い、CS後の実空間データ45とし(S204)、これを更に逆フーリエ変換し(S205)、復元後のK空間データ46を得る。
初期値である疎な観測データ41と復元後のK空間データ46との差分(例えば平均二乗誤差)を評価する評価関数を設定し、評価関数の値が所定の閾値に達していない場合には、直前の演算で得られた復元後のK空間データ46と疎な観測データ41を合わせ(疎な観測データ41の中で、観測していない部分を復元後の観測データ46で埋めて)、それを初期値41として、上述した処理S201〜S205を繰り返す(S206)。
なお図4では、復元処理にL1ノルム最小化を用いたが、復元アルゴリズムとしてはL1ノルム最小化以外にも種々のものが知られており、L1ノルム最小化に限定されず採用することができる。
復元処理S102の繰り返し演算は、受信コイル104が図1(B)に示すようなマルチプルアレイコイルの場合、K空間データはマルチプルアレイコイルを構成する小型RFコイルごとに収集されるので、各K空間データに対し行う。
復元処理以外の画像再構成処理S103には、例えば、パラレルイメージングの場合の折り返し除去演算(パラレルイメージング演算)、マルチプルアレイコイルを用いた場合のシェーディング(画像濃淡)補正などがある。パラレルイメージング演算には、大きく分けて、計測空間(K空間)上で収集していないデータを作成する方法(SMASHやGRAPPA等)と、実空間上で折り返しを展開して除去する方法(SENSEなど)がある。前者は、上述した復元処理S102において、CSと複合化したアルゴリズム(例えば特許文献3)で処理することも可能である。ここでは、実空間上で折り返しを展開する方法を説明する。
まずパラレルイメージングでは、計測部110が、マルチプルアレイコイルを用いて、位相エンコードの繰り返し回数を一定の割合で間引いて計測する。位相エンコード数を等間隔に1/N間引いて計測を行った場合には、2次元フーリエ変換後の画像にはN回の折り返しが発生する。ここで、N以上のM個の受信コイルを用いて1/N間引いた計測を行い、N回折り返しの発生したM個の画像(受信コイル毎の画像)を取得する。そして、信号処理部120が、M個の受信コイルの感度分布を用いてN回の折り返し画像を展開し、折り返しを除去した1枚の画像を取得する。
画像を、間引きをしないで計測した場合には、画像Sは、式(1)に示すように、被検体の密度分布pと、コイルの感度分布Cの積で表される。ここで、x,y方向の画像マトリスクをそれぞれX、Yとした場合、i(ただし、1≦i≦M)番目の小型受信コイルの画像内の座標(x,y)(x:1≦x≦X,y:1≦y≦Y)の画素値をSi(x,y)、感度分布をCi(x,y)、同じく被検体の密度分布をp(x,y)とする。
Figure 0006710127
位相エンコード方向を1/Nに間引きして計測した場合には、画像の位相エンコード方向のマトリクスは、Δy=Y/Nとなり、折り返し画像は、
Figure 0006710127
となる。
簡単のために、式(3)によって式(1)を置き換えると、式(4)となる。
Figure 0006710127
Figure 0006710127
この式(4)は、M個のRF受信コイルについて同様に成り立つので、行列で表わすと、式(5)のようになる。
Figure 0006710127
したがって、被検体の密度分布P、即ち、折り返しの無い画像は、以下のように感度分布の逆行列を求めることで、得ることができる。
Figure 0006710127
次に、復元処理以外の画像再構成処理S103の別の例として、シェーディング補正について説明する。マルチプルアレイコイルを用いた計測では、各局所コイルの感度分布が局在するため、画像にシェーディングが生じる。シェーディング補正では、まずそのシェーディングを補正するための補正係数を求め(処理1)、次いでこの補正係数を計測データ(画像データ)に乗じて補正後の画像データを得る(処理2)。これによりシェーティングが補正された計測データが得られる。
係数を求める処理1では、最初にスライスごとに、独立してフィッティング曲面F(x、y)を算出し、MAC(合成したコイル全体)の感度分布を近似する。この時、算出するF(x、y)は、a〜fの6つのフィッティング係数を用いて式(8)で表せる。
Figure 0006710127
なお式(8)において、x、yはそれぞれ周波数エンコード方向、位相エンコード方向の位置を示す。
次に、スライスごとに式(8)で算出したフィッティング曲面に対し、スライス方向にも式(9)で表す2次関数でフィッティングする。マルチプルアレイコイルの感度は3次元空間に滑らかに分布しているため、スライス方向にもフィッティングを行うことで、スライス方向にも連続性を持たせることができる。
Figure 0006710127
なお式(9)において、zはスライス方向の位置を示す。
上述した式(8)、(9)を合わせて、フィッティング曲面を式(10)で求める。
Figure 0006710127
さらに、このフィッティング曲面の逆数を計算し、補正係数(G(x,y,z))に変換する。
[数11]
G(x,y,z)=1/F’ (x,y,z) (11)
シェーディング補正(処理2)は、上述のように求めた補正係数Gを画像データに乗じることで、受信コイル感度だけでなく照射不均一に起因する濃淡も含めたシェーディングが補正された画像データが得られる。
[数12]
Si(x,y,z)corrected=Si(x,y,z)×G(x,y,z)
(12)
以上、CSを適用したMRI装置の画像処理部220が主として行う処理について説明した。本実施形態のMRI装置は、これらの処理のうち、特に演算部120が行う処理を短縮化するために、処理の内容に応じた並列化を行うことが特徴である。すなわち処理の内容によっては、シーケンシャルであることが必須である(前後関係に拘束がある)が、一つの処理を適切に分割することで分割した処理を並列化することができ、処理時間の短縮化を図ることができる。
このような処理時間の短縮化を図る画像処理部220の構成例を、図5に示す。図示するように画像処理部220は、複数の演算を並列処理するために第一演算部221と第二演算部222とを備え、これら第一演算部221及び第二演算部222の動作を制御する主制御部223を更に備えている。画像処理部220は、前述したようにCPUを備えた信号処理部120の一機能部であり、これら第一演算部221及び第二演算部222は、そのCPU上に構築することができるが、並列処理を同一のCPU上で実施した場合は、それぞれの処理時間が延長してしまい、効果が十分得られない可能性もある。そのため、画像処理部220は、複数のCPUを割り当てる、もしくはマルチコアCPUやGPUを用いるなど、同時に複数の処理を実施できる構成であることが望ましい。なお主制御部223は、計測部110を制御する制御部210がその機能を兼ねてもよい。
このような構成における画像処理部220の処理の流れを、図6を参照して説明する。
まず計測部110が計測した疎なK空間データを取り込む(S101)。次いで第一演算部221において、疎なK空間データの復元処理を開始する(S102)。復元処理は、例えば図4に示すような、スパース変換と閾値処理を含む繰り返し演算であり、複数の受信コイルがある場合には、受信コイル毎に実行される。受信コイル毎の処理は第一演算部において並列処理することができる。第一演算部221における処理と並行して、第二演算部222において、取得した疎なK空間データを用いた処理が開始する(S201)。この処理は、復元後に行われる画像再構成処理(S202)の一部であり、復元前のデータを用いて行う処理、例えば比較的密である低周波領域のデータを利用した処理で、マップの作成、補正係数の算出などである。
第一演算部221及び第二演算部222における処理が終了後、画像再構成処理S202を実行する。画像再構成処理S202は、2DFFT、パラレルイメージング演算、各受信コイルの画像データの合成(MAC合成)、受信コイルの感度マップを用いたシェーディング補正などであり、第一演算部221及び第二演算部222のいずれが行ってもよいし、或いは第一演算部221及び第二演算部222とは別に設けた第三の演算部が実行してもよい。この復元処理後に行われる画像再構成処理S202は、処理に必要なマップや係数などが、既に、第二演算部222による処理S201で得られているので、それを用いて短時間で行うことができる。
本実施形態による時間短縮効果を図7に示す。図7(A)は、従来の処理時間を、(B)は本実施形態の処理時間を模式的に示したものである。図示するように、従来では復元処理に続いて画像再構成処理を行っていたのに対し、本実施形態では、時間を要する復元処理の間に、画像再構成処理の一部を行うことで、復元処理後の画像再構成処理の時間を大幅に短縮することができる。
以下、画像再構成処理の具体的な内容に即して、本実施形態をさらに詳述する。
<第1の実施形態>
最初に説明する実施形態では、主制御部223(或いは制御部210)は、第一演算部221において、復元処理とパラレルイメージングに基づく計算とを連続して行い、第一演算部221の処理に並行して、第二演算部222において、パラレルイメージングに基づく計算と補正処理に用いる補正値の算出とを行うよう画像処理部220を制御する。第一演算部221と第二演算部222による処理終了後に、第二演算部が算出した補正値を用いた補正処理を行う。補正処理は、例えば、シェーディング補正であり、第二演算部は、復元前の疎なK空間データを使ってシェーディング補正に用いる補正係数の演算を行う。
一例として、復元処理の後に、パラレルイメージングと濃淡の補正を行う場合の処理フローを説明する。比較のために従来の処理フローを図8に示し、本実施形態の処理フローを図9に示す。両図において同じ処理は同一の符号でしめす。また図8及び図9では、処理を示すブロックの横に、その処理を実施した時点でのデータ(頭部撮像した際のイメージ図)を併せて示している(以下の処理フローでも同様)。なお以下の説明で「画像」はK空間データに対しフーリエ変換を施し実空間の画像としたものを云うものとする。
まず従来手法の画像化処理フローについて図8を用いて説明する。ステップS801で、CSにより計測した疎なK空間データを取得する。この時点では、このK空間データを再構成した画像81は、輪郭がぼやけた画像になっている。
ステップS802では、取得した疎なK空間データに対して復元処理を実施し、K空間データを復元する。K空間データを復元したことで、輪郭がはっきりした画像82になる。
ステップS803では、画像(82)データに対してパラレルイメージング演算を実施して画像に発生している折り返しを展開する。その結果、折り返しがない画像83になる。
ステップS804では、パラレルイメージング演算後の画像に対して、コイル感度差や照射不均一などによって発生する濃淡を補正するための値(補正係数)を計算する。この計算は、上述の式(8)〜(11)で説明した補正係数を算出する処理である。補正係数84は、信号値が高くなっている部分は信号値を低く補正し、低くなっている部分は信号値を高く補正するような値になる。
ステップS805では、ステップS804で作成した補正係数を使って補正処理を実施する(式(12))。その結果、濃淡がなくなった画像85が完成する。
このように従来の画像化処理フローでは、各ステップを順番に実施する必要があるので、疎なK空間データ取得後、画像が完成するまでの時間は、図10(A)に示すように、各ステップの処理時間の合計となる。図10に模式的に示したように各ステップの処理時間は、処理内容によって異なり、復元処理S802及びフィッティング曲面を求める補正係数計算S804は、パラレルイメージング演算S803や補正処理S805に比べ長時間を要する。
続いて、本実施形態の処理フローについて図9を用いて説明する。
ステップS801で、CSにより計測した疎なK空間データを取得した後、長時間を要する2つの処理、復元処理S802と画像濃淡の補正係数計算S804とを並列処理する。例えば第一演算部221が復元処理S802と、それに続いてパラレルイメージング演算S803を行い、それと並行して第二演算部222がパラレルイメージング演算S901、それに続いて補正係数計算S902とを行う。S802とS803は、従来の処理と内容が同じであるので説明を省略する。
ステップS901では、まず、疎なK空間データに対してパラレルイメージング処理を実施し、折り返しがない輪郭がぼやけた画像91を作成する。そして、ステップS902では、S901で作成された画像データを使って濃淡を補正するための補正係数を作成する。この処理で用いる画像データ(画像91)は、従来手法のステップS804で用いたデータ84と違い、元にするデータの輪郭がぼやけているが、濃淡は特徴的に表れているので、従来と変わらない補正係数を求めることができる。
並列して行われた処理が終了した時点で、ステップS902で作成した補正係数を使って、ステップS805の補正処理を実施する。その結果、従来手法と変わらない濃淡がなくなった画像85が完成する。
本実施形態によれば、比較的長時間の演算を含む「復元処理」と「画像濃淡の補正値計算」とを並列で実施した結果、図10(B)に示すように、画像化の時間は従来手法と比べて短くなる。
<第2の実施形態>
本実施形態は、画像処理部220が、復元処理と並行して、疎なK空間データの中心部分を使って、画像の濃淡を補正する値を計算する。以下、図11を参照して、本実施形態の処理を説明する。図11において、図9に示す処理と同じ内容の処理は同一符号で示し重複する説明は省略する。
第1の実施形態では、第二演算部222がまずパラレルイメージング演算を行った後、折り返し除去後のデータを用いて補正係数計算を行ったが、本実施形態では、疎なK空間データのうち中心データを用いて補正係数計算を行う点が異なる。
すなわちステップS911では疎なK空間データの中心部分を抜き出す。中心部分とは、K空間原点を含む低周波数領域を意味し、図3に示したように、データ点を密に計測した領域のデータであり、CS計測パターン(31〜33)によって決まる。ステップS801で取得するデータは、画像81で表したように、疎なK空間データであるが、K空間中心部分は密にデータが存在しているため、折り返しが発生していない。従ってパラレルイメージングを実施せずに、中心部分のK空間データを再構成することで折り返しのない画像93を得ることができる。
そして、ステップS912では、S911で作成された画像データを使って、フィッティングにより濃淡を補正するための補正係数を算出する(式(8)〜(11))。
その後、ステップS805で、ステップS912で作成した補正値(補正係数)94を使って補正処理を実施することは第1の実施形態と同様であり、従来と変わらず、濃淡がなくなった画像85が完成する。
本実施形態でも、図10に示したように、処理時間の短縮化を図ることができる。
<第3の実施形態>
本実施形態は、画像処理部220が、復元処理に先立ってパラレルイメージング演算を実施し、その後、復元処理と、シェーディング補正のための補正係数計算とを並列して行うことが特徴である。以下、図12を参照して、本実施形態の処理を説明する。図11において、図9に示す処理と同じ内容の処理は同一符号で示し重複する説明は省略する。
疎なK空間データを取得後(S801)、最初に、ステップS921にて、パラレルイメージング演算を行う。この演算は、第一演算部221及び第二演算部222のいずれが行ってもよいし、或いは第一演算部221及び第二演算部222とは別に設けた第三の演算部が実行してもよい。パラレルイメージング演算は、K空間データに対する演算(例えばSMASH)でもよいし、画像データに対する演算(例えばSENSE)のいずれでもよい。この処理で、図9の画像91と同様に、折り返しがない輪郭がぼやけた画像91が得られる。
次いで、ステップS922では、第二演算部222が、第1の実施形態と同様に、ステップS921で得られた画像データを用いて、濃淡を補正するための補正係数を作成する。この第二演算部222の処理と並行して、ステップS923で、第一演算部221が復元処理を実施する。
復元後の画像データと、ステップS922で算出した補正係数を用いて補正処理S805を行うことは、第1の実施形態と同様である。また本実施形態においても第1の実施形態と同様の処理時間の短縮効果が得られる。
<第4の実施形態>
本実施形態は、第一演算部221が、復元処理とパラレルイメージング演算とを複合化アルゴリズムを用いて実施することが特徴である。図13に、本実施形態の処理フローを示す。図13において、図9に示す処理と同じ内容の処理は同一符号で示している。
図9に示す処理との比較からわかるように、第一演算部221が行う処理(ステップS802、S803)がステップS931に置き換わった以外は、第1の実施形態と同様である。
このステップS931では、例えば、Wavelet変換とGRAPPAなどのパラレルイメージング演算とを組み合わせたCSアルゴリズムによる復元処理を実施する。このようなCSアルゴリズムは、例えば、特許文献3にも開示され、また前掲のソフトウェアパッケージ(L1−SPIRiT、L1−ESPIRiT)としても入手可能である。
その他のステップは、第1の実施形態と同様であり、従来手法より短い処理時間で、折り返しがなく、濃淡がなくなった画像85が完成する。
<第5の実施形態>
本実施形態は、第一演算部221で復元処理を行いながら、それと並行して、第二演算部222で、パラレルイメージング用のマップ作成と、シェーディング用の補正係数計算とを実施することが特徴である。即ち、本実施形態では、第2の実施形態における第二演算部222の処理として、パラレルイメージング用のマップ作成が追加され、この処理の終了後に、パラレルイメージング演算のステップS803が実施される。
以下、図14を参照して、本実施形態の処理を説明する。図14において、図11に示す処理と同じ内容の処理は同一符号で示し重複する説明は省略する。
疎なK空間データを取得した後(S801)、ステップS802で第一演算部221は、所定のCSアルゴリズムを用いて復元処理を行う。一方、第二演算部222は、ステップS911にて、小型コイル毎に、疎なK空間データの中心部分を抜き出す。中心部分は第2の実施形態で説明したとおり、密にデータが存在しているため、折り返しが発生しないデータである。
ステップS941では、この中心部分のデータを再構成した画像93からパラレルイメージング用のマップを作成する。パラレルイメージング演算は、前述したように、各小型コイルの感度マップ(式(1)或いは(4)のCi(x,y)、i=1〜Mの整数、Mはコイルの数)を用いる。マップCi(x,y)は、各小型コイルの画像データSi(x,y)を次のように算出することができる。
[数13]
Ci(x,y)=Si(x,y)/√(ΣCi(x,y)) (13)
次のステップS912では、第二演算部222が、第2の実施形態と同様に、ステップS941で得られた画像データを用いて、濃淡を補正するための補正係数を作成する。
第一演算部221における処理(復元処理)と、上述した第二演算部222における処理が完了した後、ステップS803において、ステップS941で作成したマップを用いてパラレルイメージング演算を行い、次いで、ステップS805において、ステップS912で算出した補正係数94を用いてシェーディング補正を行う。その結果、他の実施形態と同様に短時間で、濃淡がなくなった画像85が完成する。
<第6の実施形態>
第1〜第5の実施形態では、第一演算部221の処理と第二演算部222の処理は、独立して並列に行われる例であるが、本実施形態は、第一演算部221の復元途中のデータを第二演算部222に渡し、第二演算部222は復元途中のデータを用いて補正係数計算を行うことが特徴である。
以下、図15を参照して、本実施形態の処理を説明する。図15において、図9に示す処理と同じ内容の処理は同一符号で示し重複する説明は省略する。
ステップS801で取得した疎なK空間データを、第一演算部221が取込み、第1の実施形態と同様に、復元処理S802、続いてパラレルイメージング演算S803を実施する。また第一演算部221は、復元処理の途中で、ある程度復元されたデータを第二演算部222に渡す。第二演算部222に渡すデータの復元度は、第二演算部22における処理を進める上で問題にならない程度であることが好ましく、特に限定されるものではないが、例えば、閾値処理に用いられた閾値(ソフト閾値)の、当初の閾値に対する割合や繰り返し回数で定めることができる。これら割合或いは繰り返し回数が所定の値に達した時点で、第二演算部222は途中データを取り込み(ステップS951)、ステップS952でこの途中データに対しパラレルイメージング演算を行い、折り返しが除去された画像95を得る。その後、ステップS953において、補正係数計算を行い、補正係数96を得ることは第1の実施形態と同様である。
一般に、CS計測において、K空間を疎にする度合が大きい場合は、上述した実施形態(第1〜第5の実施形態)のように全く復元しないデータをそのまま使うと、復元後の再構成処理を途中まで進めることができなかったり、進めることはできても、画質が劣化してしまったりする可能性がある。本実施形態では、ある程度、復元が進んだデータを使うことで、より正確に、シェーディング補正用の補正係数を計算することができる。
本実施形態における処理時間の短縮効果を、図16(B)に示す。図16(A)は従来法の処理時間である。図示するように、本実施形態では、「復元処理」を途中まで実施した段階から「画像濃淡の補正係数計算」を並列で実施する。従って第1の実施形態と比べると「画像濃淡の補正値計算」を開始するタイミングが遅くなるが、「復元処理」に必要な時間は長いため、「画像濃淡の補正値計算」の方が早く完了し、第1の実施形態と同様の時間短縮効果が得られる。また、仮に「復元処理」が先に完了した場合でも、「画像濃淡の補正値計算」が完了するのを待ってから補正処理を実施することで画像化の時間を短くすることができる。
<第7の実施形態>
上述した第6の実施形態は、第一演算部221の処理途中でデータを第二演算部222に渡し、第二演算部222が途中データを用いて処理を行う例であるが、本実施形態では、第一演算部221と第二演算部222との間でデータのやりとりを行い、第一演算部221が第二演算部222の処理結果を利用して復元の繰り返し演算を制御することが特徴であり、これにより復元処理にかかる時間を短縮する。
以下、図17を参照して、本実施形態の処理を説明する。本実施形態では、一例として、第二演算部222が疎なK空間データを使って作成したパラレルイメージング後のデータを復元処理に使う場合を説明する。なお図17において、図9に示す処理と同じ内容の処理は同一符号で示し重複する説明は省略する。
疎なK空間データ取得(S801)後に第一演算部221が行う処理は、第1の実施形態と同様に、ステップS802、ステップS803と続く処理で、ステップS802でK空間データが復元され、ステップS803でパラレルイメージング演算によって折り返しが展開される。従来手法と同じ処理フローである。
第二演算部222が行う処理は、まずステップS961で疎なK空間データに対してパラレルイメージング処理を実施し、折り返しがない輪郭がぼやけた画像91を作成する。次にステップS962では、ステップS802の復元処理途中の第一演算部221との間でデータをやり取りして、復元処理に利用する。例えば、パラレルイメージング演算(S961)で作成した画像91と、復元処理S802で途中まで復元した画像を比較し、その差の大きさで復元度合を判断し、ソフト閾値の値を決める係数の値を変更したりする。これにより判断した復元度合いに応じて計算量を減らすことができる。
その後、ステップS963で、復元前のデータ(ステップS961でパラレルイメージング演算を行った後のデータ)を使って濃淡を補正するための値を作成し、補正係数を求める。また復元前のデータを使う代わりに、第6の実施形態と同様に、ステップS962でやり取りした復元途中のデータを用いてもよい。
最後にステップS805でシェーディング補正を行い、折り返しが除去され且つ濃淡が補正された画像85を得る。
本実施形態によれば、復元処理をより最適な精度で実施することができ、無駄な処理を省くことで処理時間を短縮することができる。
本実施形態における処理時間の短縮効果を、図18(B)に示す。図18(A)は従来法の処理時間である。図示するように、本実施形態では、「復元処理」と「画像濃淡の補正値計算」を並列で実施するため、画像化の時間は従来手法と比べて短くなる。さらに、疎なK空間データを使って作成したデータを復元処理に利用することで、復元処理の処理時間も短くなる。
以上、本実施形態のMRI装置の、特に画像処理部の処理の各実施形態を説明したが、本発明はこれら実施形態に限定されることなく、種々の変更が可能である。例えば、上記実施形態では、復元処理と並行して実施される処理の主なものとして、シェーディング補正の補正係数の計算を例示したが、画像の再構成に関わる演算であって、疎なK空間データ或いは復元途中のデータを用いた演算であれば、適用することが可能である。
また復元処理や補正係数の計算等、実施形態中で説明した手法や式は単なる例示であって、それ以外の手法を用いることも本発明に包含される。さらに必須ではない要素を追加或いは削除した構成も本発明に包含される。
100・・・MRI装置、110・・・計測部、120・・・信号処理部、130・・・操作部、210・・・制御部、220・・・画像処理部、221・・・第一演算部、222・・・第二演算部、223・・・主制御部、230・・・記憶部、240・・・表示部、250・・・入力部。

Claims (14)

  1. 被検体から核磁気共鳴信号を計測し、所定の観測パターンでアンダーサンプリングにより収集されたK空間データを取得する計測部と、
    前記計測部が計測した前記K空間データを用いて、復元処理を含む、画像再構成に必要な処理を行う画像処理部と、
    前記計測部及び前記画像処理部の動作を制御する制御部と、を備え、
    前記画像処理部は、並行して動作する第一演算部と第二演算部とを備え、
    前記制御部は、前記復元処理を前記第一演算部が行い、前記復元処理以外の画像再構成に必要な演算の少なくとも一部を前記第二演算部が行うように前記画像処理部の動作を制御することを特徴とする磁気共鳴イメージング装置。
  2. 請求項1に記載の磁気共鳴イメージング装置であって、
    前記画像処理部が行う処理は、前記復元処理後の計測データに対する補正処理を含み、
    前記第二演算部は、前記第一演算部の処理と並行して、前記補正処理に用いる補正値の算出を行うことを特徴とする磁気共鳴イメージング装置。
  3. 請求項1に記載の磁気共鳴イメージング装置であって、
    前記計測部は、核磁気共鳴信号を計測する受信部として2以上の受信コイルを有し、
    前記画像処理部が行う処理は、前記2以上の受信コイルの感度分布を用いた画像再構成を含み、
    前記第二演算部は、前記第一演算部の処理と並行して、前記感度分布を用いた画像再構成に必要なデータの算出を行うことを特徴とする磁気共鳴イメージング装置。
  4. 請求項3に記載の磁気共鳴イメージング装置であって、
    前記2以上の受信コイルの感度分布を用いた画像再構成処理は、パラレルイメージングに基づく計算を含むことを特徴とする磁気共鳴イメージング装置。
  5. 請求項1に記載の磁気共鳴イメージング装置であって、
    前記計測部は、核磁気共鳴信号を計測する受信部として2以上の受信コイルを有し、
    前記画像処理部が行う処理は、前記2以上の受信コイルの感度分布を用いたパラレルイメージングに基づく計算と、前記復元処理後の計測データに対する補正処理を含み、第二演算部は、前記第一演算部の処理と並行して、前記補正処理に用いる補正値の算出を行うことを特徴とする磁気共鳴イメージング装置。
  6. 請求項5に記載の磁気共鳴イメージング装置であって、
    前記第一演算部は、前記復元処理と前記パラレルイメージングに基づく計算とを連続して行い、前記第二演算部は、前記第一演算部の処理に並行して、パラレルイメージングに基づく計算と前記補正処理に用いる補正値の算出とを行うことを特徴とする磁気共鳴イメージング装置。
  7. 請求項6に記載の磁気共鳴イメージング装置であって、
    前記第一演算部は、前記パラレルイメージングに基づく計算と前記復元処理とを複合化したアルゴリズムに基づく処理を実行することを特徴とする磁気共鳴イメージング装置。
  8. 請求項5に記載の磁気共鳴イメージング装置であって、
    前記第一演算部は、前記復元処理と前記パラレルイメージングに基づく計算とを連続して行い、前記第二演算部は、前記第一演算部の処理に並行して、前記疎の計測データから低周波帯域データを抽出する処理と、当該抽出した低周波帯域データを用いた、前記補正処理に用いる補正値の算出と、を行うことを特徴とする磁気共鳴イメージング装置。
  9. 請求項5に記載の磁気共鳴イメージング装置であって、
    前記画像処理部は、前記第一演算部による復元処理後に、前記パラレルイメージングに基づく計算を行い、
    前記第二演算部は、前記第一演算部による復元処理と並行して、前記パラレルイメージングに基づく計算に用いるマップの作成を行うことを特徴とする磁気共鳴イメージング装置。
  10. 請求項5に記載の磁気共鳴イメージング装置であって、
    前記第一演算部は、復元処理の途中データを前記第二演算部に渡し、
    前記第二演算部は、前記復元処理の途中データを用いて、前記補正処理に用いる補正値の算出を行うことを特徴とする磁気共鳴イメージング装置。
  11. 請求項5に記載の磁気共鳴イメージング装置であって、
    前記第一演算部は、復元処理の途中データを前記第二演算部に渡し、
    前記第二演算部は、前記パラレルイメージングに基づく演算を行うとともに、その演算結果と前記第一演算部から受け取った前記復元処理の途中データとを用いて、前記第一演算部における前記復元処理に用いる閾値を変更して前記第一演算部に渡すことを特徴とする磁気共鳴イメージング装置。
  12. 請求項1に記載の磁気共鳴イメージング装置であって、
    前記第一演算部は、復元処理の途中データを前記第二演算部に渡し、
    前記第二演算部は、前記演算として、前記第一演算部における前記復元処理に用いる閾値の算出を行い、前記第一演算部に渡すことを特徴とする磁気共鳴イメージング装置。
  13. 請求項1に記載の磁気共鳴イメージング装置であって、
    前記画像処理部は、GPU(Graphics Processing Unit)またはCPU(Central Processing Unit)を複数備えることを特徴とする磁気共鳴イメージング装置。
  14. 磁気共鳴イメージング装置で計測した、所定の観測パターンでアンダーサンプリングにより収集されたK空間データを用いて画像再構成する方法であって、
    前記K空間データを復元する処理と、それに続く画像濃淡補正処理とを含み、
    前記復元する処理と並行して、前記画像濃淡補正処理に用いる補正値の算出を行うことを特徴とする画像再構成方法。
JP2016162046A 2016-08-22 2016-08-22 磁気共鳴イメージング装置および画像再構成方法 Active JP6710127B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016162046A JP6710127B2 (ja) 2016-08-22 2016-08-22 磁気共鳴イメージング装置および画像再構成方法
PCT/JP2017/028159 WO2018037868A1 (ja) 2016-08-22 2017-08-03 磁気共鳴イメージング装置および画像再構成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016162046A JP6710127B2 (ja) 2016-08-22 2016-08-22 磁気共鳴イメージング装置および画像再構成方法

Publications (2)

Publication Number Publication Date
JP2018029656A JP2018029656A (ja) 2018-03-01
JP6710127B2 true JP6710127B2 (ja) 2020-06-17

Family

ID=61245584

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016162046A Active JP6710127B2 (ja) 2016-08-22 2016-08-22 磁気共鳴イメージング装置および画像再構成方法

Country Status (2)

Country Link
JP (1) JP6710127B2 (ja)
WO (1) WO2018037868A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7221681B2 (ja) * 2018-12-28 2023-02-14 キヤノンメディカルシステムズ株式会社 画像再構成方法、再構成装置、及び磁気共鳴イメージング装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7646924B2 (en) * 2004-08-09 2010-01-12 David Leigh Donoho Method and apparatus for compressed sensing
US7688068B2 (en) * 2008-05-06 2010-03-30 General Electric Company System and method for using parallel imaging with compressed sensing
US8692549B2 (en) * 2009-05-27 2014-04-08 Siemens Aktiengesellschaft Method for reconstructing images of an imaged subject from a parallel MRI acquisition
JP6072723B2 (ja) * 2014-04-21 2017-02-01 株式会社日立製作所 磁気共鳴イメージング装置、及び画像撮像方法
WO2015170394A1 (ja) * 2014-05-09 2015-11-12 株式会社日立製作所 撮像装置、画像処理装置及び画像処理方法
US9846214B2 (en) * 2014-12-29 2017-12-19 Toshiba Medical Systems Corporation Magnetic resonance image reconstruction for undersampled data acquisitions
JP6423094B2 (ja) * 2015-06-22 2018-11-14 株式会社日立製作所 画像診断装置,及び方法
JP6571495B2 (ja) * 2015-11-06 2019-09-04 キヤノンメディカルシステムズ株式会社 磁気共鳴イメージング装置及び画像生成方法

Also Published As

Publication number Publication date
JP2018029656A (ja) 2018-03-01
WO2018037868A1 (ja) 2018-03-01

Similar Documents

Publication Publication Date Title
US10671939B2 (en) System, method and computer-accessible medium for learning an optimized variational network for medical image reconstruction
JP5048052B2 (ja) 磁気共鳴イメージング装置および磁気共鳴イメージング方法
JP6400375B2 (ja) 画像処理装置及び磁気共鳴イメージング装置
JP5815722B2 (ja) 磁気共鳴イメージング装置および磁気共鳴イメージング方法
JP6085545B2 (ja) 磁気共鳴イメージング装置、画像処理装置および磁化率画像算出方法
JP6072723B2 (ja) 磁気共鳴イメージング装置、及び画像撮像方法
US20160012569A1 (en) Image processing device, magnetic resonance imaging apparatus and image processing method
JP6702691B2 (ja) 磁気共鳴イメージング及び医用画像処理装置
CN113994225A (zh) 用于磁共振成像中的图像重建的系统和方法
JP7466141B2 (ja) 磁気共鳴画像高速再構成法及び磁気共鳴イメージング装置
US20230260088A1 (en) Medical information processing apparatus and medical information processing method
US10163231B2 (en) Magnetic resonance imaging apparatus and image processing apparatus
JP6710127B2 (ja) 磁気共鳴イメージング装置および画像再構成方法
JP7350568B2 (ja) 磁気共鳴データ収集方法及び磁気共鳴イメージング装置
US20230184861A1 (en) Propeller magnetic resonance acquisition and blade-specific reconstruction
JP7419145B2 (ja) 医用情報処理装置及び医用情報処理方法
JP7490003B2 (ja) タイムドメイン磁気共鳴のためのパラメータマップ決定
JP5156958B2 (ja) 磁気共鳴イメージング装置
JP6618786B2 (ja) 磁気共鳴イメージング装置及び画像処理装置
JP2023069890A (ja) 磁気共鳴イメージング装置、画像処理装置、及び、画像処理方法
JP6809870B2 (ja) 磁気共鳴イメージング装置、および、信号処理方法
WO2015170394A1 (ja) 撮像装置、画像処理装置及び画像処理方法
EP4012432A1 (en) B0 field inhomogeneity estimation using internal phase maps from long single echo time mri acquisition
CN113924503B (zh) 时域磁共振的参数图确定
US11914017B2 (en) Magnetic resonance imaging apparatus and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200526

R150 Certificate of patent or registration of utility model

Ref document number: 6710127

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250