JP7303677B2 - 医用データ処理装置、医用データ処理方法、医用データ処理プログラム及び磁気共鳴イメージング装置 - Google Patents
医用データ処理装置、医用データ処理方法、医用データ処理プログラム及び磁気共鳴イメージング装置 Download PDFInfo
- Publication number
- JP7303677B2 JP7303677B2 JP2019124695A JP2019124695A JP7303677B2 JP 7303677 B2 JP7303677 B2 JP 7303677B2 JP 2019124695 A JP2019124695 A JP 2019124695A JP 2019124695 A JP2019124695 A JP 2019124695A JP 7303677 B2 JP7303677 B2 JP 7303677B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- imaging
- rank
- compressed
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
- G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
- G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
- G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
- G01R33/561—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/4818—MR characterised by data acquisition along a specific k-space trajectory or by the temporal order of k-space coverage, e.g. centric or segmented coverage of k-space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/4818—MR characterised by data acquisition along a specific k-space trajectory or by the temporal order of k-space coverage, e.g. centric or segmented coverage of k-space
- G01R33/4824—MR characterised by data acquisition along a specific k-space trajectory or by the temporal order of k-space coverage, e.g. centric or segmented coverage of k-space using a non-Cartesian trajectory
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/50—NMR imaging systems based on the determination of relaxation times, e.g. T1 measurement by IR sequences; T2 measurement by multiple-echo sequences
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
- G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
- G01R33/561—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
- G01R33/5611—Parallel magnetic resonance imaging, e.g. sensitivity encoding [SENSE], simultaneous acquisition of spatial harmonics [SMASH], unaliasing by Fourier encoding of the overlaps using the temporal dimension [UNFOLD], k-t-broad-use linear acquisition speed-up technique [k-t-BLAST], k-t-SENSE
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- High Energy & Nuclear Physics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Description
そのため深層学習を用いた手法も提案されているが、深層学習においては信号値からT1値、T2値が直接推定されることになる。そのため、推定されたT1値、T2値といった値の信頼性をチェックするためには、大規模なシミュレーションを行う必要があり、信頼性を高めるための繰り返し演算を実行する場合に、計算コストおよび計算時間が大きくなってしまう。
第1の実施形態に係る医用データ処理装置について、図1のブロック図を参照して説明する。
医用データ処理装置1は、処理回路2、入力インタフェース4、通信インタフェース6およびメモリ8を含む。
取得機能21は、対象をスパースサンプリングする事により生成されたN個の第1データを取得する。Nは2以上の整数である。スパースサンプリングは、本実施形態では、通常行うべきサンプリング間隔よりも間引いた間隔となるサンプリング、または通常取得すべきサンプリング数よりも少ないサンプリング数となるサンプリング、またはナイキスト条件を満たしたサンプリング数よりも少ないサンプリング数となるサンプリングを示す。
生成機能22は、あらかじめ設定されたM組の、N個からなる重み係数をもちいて、それぞれの組について、N個の第1データに、対応する重み係数を乗算して加算することで、N個の第1データを圧縮し、M個の第1圧縮データを生成する。さらに第1圧縮データには、フーリエ変換、逆フーリエ変換、グリッディング等の付加的な信号処理が行なわれる場合もある。
フルサンプリングは、本実施形態では、通常行うべきサンプリング間隔によるサンプリング、または通常取得すべきサンプリング数となるサンプリング、またはナイキスト条件を満たしたサンプリング数となるサンプリングを示す。
推定機能24は、M個の第2圧縮データに対して信号処理を行い、所望の定量値(またはパラメータ値)、例えば、T1、T2、PDといった定量値を推定する。推定機能24は、第2圧縮データに基づいてT1強調画像、T2強調画像といった画像データを生成してもよい。
なお、上述の第1データ、第2データ、第1圧縮データ、第2圧縮データ、および以下の実施形態で説明するk空間データ、サイノグラムk空間データなど、実施形態で説明する各データは、行列で表現されるデータである場合について説明するが、データが行列である場合に限らず、テンソルなど多次元配列であってもよい。
通信インタフェース6は、有線または無線により外部装置とデータのやり取りを実行する。
ステップS201では、取得機能21により処理回路2が、所定のスパースサンプリングを行なう撮像シーケンス(以下、スパースサンプリング撮像シーケンスと呼ぶ)によりMR信号を取得する。このとき、MR信号によってk空間が充填され、N個にまとめられたk空間データを取得する。Nは2以上の整数である。N個にまとめられたk空間データがN個の第1データに対応する。以下ではN個にまとめられたk空間データをk空間データセットと呼ぶ事もある。
k空間データの重み付けに用いる、あらかじめ設定されたM組のN個からなる重み係数は、例えば、撮像シーケンスおよびスキャンの種類ごとに、撮像シーケンスと重み係数を対応付けたルックアップテーブルとして用意しておき、ステップS201で用いられた撮像シーケンスに対応する重み係数として取得すればよい。
ここで、ステップS201で行なった、スパースサンプリング撮像シーケンスに対応した、フルサンプリング撮像シーケンスを行なった場合、N個のk空間データは個別に逆フーリエ変換を行なうことにより、N個のフルサンプリング実空間画像に変換する事ができる。その場合、あるT1値、T2値を持った対象の画像では、その実空間信号値(画像の輝度に対応する)が、N個の画像でどのように変化するか、ブロッホシミュレーションにより計算する事ができる。すなわち、N個の実空間画像をt1, t2, … ,tNと番号付けした場合、t1, t2, …, tNにおける実空間信号値がどのように変化するべきかをあらかじめ計算する事ができる。これを以降、実空間信号変化とよぶ。実空間信号変化はT1値、T2値によって異なり、両者を対応づける事ができる。そこで、あらかじめ計算によって、T1値、T2値と実空間信号変化の対応を表として作成しておく事ができる。以降はこれを辞書と呼ぶ。
このとき、重み係数としては、辞書を用いて以下のように生成したものを用いる事ができる。たとえば上記辞書の実空間信号変化の全セットを取り出し並べる事により得られる行列に対して、特異値分解したときに得られる重み係数のうち、特異値が大きいほうから選択したM組を、重み係数として用いる事ができる。この場合、M個の圧縮画像は、N個のk空間データを使って生成した、ランクMに低ランク近似された画像となる。詳細は図7および図8を参照して後述する。なお、本方式においては、辞書は重み係数を求めるためにのみ用いている。
以下では例として、重み係数として、特異値分解によって得られた値を用いるため、スパース圧縮画像をスパース低ランク画像と呼ぶ事にする。またM個のスパース低ランク画像をまとめて、スパース低ランク画像セットと呼ぶこともある。
ここで、M個のフル低ランク画像とは、S201で用いた、スパースサンプリング撮像シーケンスに対応した、フルサンプリング撮像シーケンスで得られたN個のk空間データに対して、スパース低ランク画像を得たときと同様の処理を行なう事により得られるM個の画像のことである。図6を参照して後述する。なお、M個のフル低ランク画像をまとめて、フル低ランク画像セットと呼ぶ事もある。
入力であるスパース低ランク画像セットの数M(ランクM)に対して、出力となるフル低ランク画像セットの数は同じくM(ランクM)とすることが望ましいが、出力のランク数に対して、入力のランク数を多くすることにより、出力精度をよりよくすることもできる。また、出力のランク数に対して、入力のランク数を減らすことによって、出力の精度はやや落ちるものの、メモリ量、計算速度の点では高速化が可能となる。このように入力のランク数と出力のランク数は使用目的に応じて、適宜調節することができる。従って、上記のステップS203においては、出力するM個のフル低ランク画像は、例えば、所望のランクだけとしてもよく、少なくとも1つを出力するように処理することが好ましい。すなわち、M個全てを出力するものに限定されない。なお、以下の実施例では入力のランク数と出力のランク数が同じ場合について説明する。
ステップS204では、最適化機能23により処理回路2が、学習済みモデルを適用して得られたフル低ランク画像セットと、ステップS201で取得した、k空間データセットとのデータ整合性をチェックし、データ整合性を考慮した収束条件を満たすか否かを判定する。具体的には、得られたフル低ランク画像セットに逆変換を行い、整合性チェック用のスパースサンプリングされたk空間データセットであるチェック用k空間データセットを生成し、当該チェック用k空間データセットとステップS201で取得したk空間データセットとの差分の評価を含んだ誤差関数の値が閾値以下となるかを判定する。誤差関数の値が閾値以下となれば収束条件を満たすと判定し、ステップS206に進む。誤差関数の値が閾値よりも大きい場合は収束条件を満たさないと判定し、ステップS205に進む。
ステップS206では、推定機能24により処理回路2が、生成されたフル低ランク画像セットから、使用した撮像シーケンスから推定可能な各種定量値を推定する。例えば、T1値、T2値およびPD(Proton Density)値を算出する。フル低ランク画像セットからT1値、T2値およびPD値を算出する手法としては、例えば、辞書マッチングを行なってもよいし、解析的なフィッティング処理を実行してもよいし、ディープラーニングなどの機械学習により生成された学習済みモデルを適用して算出してもよい。
なお、ステップS203で生成されたフル低ランク画像セットが出力されてもよい。さらに、ステップS204で求められる誤差関数の値が設定値よりも大きければ、アラートを出力するようにしてもよい。
反復回数を収束条件とする、第1の実施形態に係る医用データ処理装置の動作例について図3のフローチャートを参照して説明する。なお、ステップS201からステップS203まで、ステップS205、およびステップS206の処理は図2と同様である。
ステップS302では、ステップS203の学習済みモデルの適用回数が閾値以上であるか否かを判定する。言い換えれば、スパース低ランク画像セットから学習済みモデルを用いてフル低ランク画像セットを生成した回数が閾値以上であるか否かを判定する。学習済みモデルの適用処理の回数が閾値未満であれば、ステップS205に進み、学習済みモデルの適用回数が閾値以上であれば、ステップS206に進む。
なお、処理回数フラグが1と設定されてもよい。すなわちステップS302の処理を繰り返さずに、ステップS302の処理を1度行ない、そのままフル低ランク画像セットが出力されてもよい。
また繰り返し終了時には誤差関数の値を計算し、設定値よりも大きければ、アラートを出力するようにしてもよい。
また、図2に示す誤差関数の値と閾値とによる判定処理と、図3に示す学習済みモデルの適用回数に関する判定処理とを組合せ、どちらか先に収束条件を満たせば、フル低ランク画像セットを出力する、またはステップS206に進むようにしてもよい。
図4は、IR-bSSFP(Inversion Recovery-balanced Steady-State Free Precession)撮像シーケンスであり、横軸が時間であり、縦軸がk空間MR信号値もしくは実空間信号値を模式的に示している。第1の実施形態では、IR-bSSFPにより2次元(2D)ラジアルスキャンが実施される。1ショットで1スポークをスキャンするように想定し、TE(Echo time)は2.5ms、TR(Time of Repetition)は5msに固定する。始めにIRパルス(180°パルス)を送信し、その後フリップアングル(FA)30度の撮像を400回(400ショット)実施し、2秒の待ち時間の後、フリップアングル(FA)60度の撮像を400回実施する。つまり、待ち時間を挟んでフリップアングルを変えた撮像を実施する一般的な撮像シーケンスとなっている。データ解析においてはショットごとにまとめて1つのデータとする事により、800個にまとめられたk空間データが得られる。この場合N=800に相当する。
また、スキャン法としては、ラジアルスキャンに限らず、プロペラスキャン、スパイラルスキャンなどの他のスキャン法でもよい。
図5は、横軸をkx、縦軸をkyとした場合のk空間におけるラジアルスキャンのトラジェクトリを示す。本実施形態では、図5に示すように、1ショットごとに、ラジアルスキャンのスポークの角度をゴールデンアングル(2π/(1+√5))増加(回転)させるものとする。ただしこれは一例にすぎず、スポーク角度の振り方はゴールデンアングルに限定したものではない。
なおフルサンプリングk空間信号は、数値ファントムの撮像シミュレーションによっても生成する事ができる。またすでに図4、図5を用いて説明した撮像(図7を用いて詳細を後述する)を、初期スポーク角度をゴールデンアングルだけ増加させながら、複数回繰り返して、1つにまとめる事によって生成する事もできる。すなわち、フルサンプリング撮像する場合は、フルサンプリングに必要なスポーク本数の回数、上記スパースサンプリング撮像を、スポーク角度の初期値をゴールデンアングルだけずらしながら行い、その全てのデータを撮像時間ごとにまとめる事により得る事ができる。他の撮像シーケンス、撮像トラジェクトリをもちいた場合においても、同様の方法により、フルサンプリングに必要な複数回の撮像を行い、すべてのk空間データを撮像時間ごとにまとめる事によりN個のフルサンプリングk空間データを得る事ができる。
図7は、図6と同様のラジアルスキャンを想定した例である。図6に示すフルサンプリングの場合と違い、1ショットごとに、ラジアルスキャンにおける1スポーク分のトラジェクトリに沿ってMR信号が収集され、k空間が充填されることでk空間データが取得される。具体的には、撮像時間t1では、右下がりのスポークにそってMR信号を収集し、撮像時間t2では、右上がりのスポークに沿ってMR信号を収集する。つまり、撮像時間ごとにスパースサンプリングしたk空間データ701が取得される。
図8に示すように、スキャンの種類および撮像シーケンス801とランク802ごとの重み係数603のセットとを対応付けて格納する。具体的には、例えばスキャンの種類および撮像シーケンス801が「S1」に対して、ランク802「ランク1」および重み係数603のセット「w1,w2,w3,…」と、ランク802「ランク2」および重み係数603のセット「w’1,w’2,w’3,…」とが対応付けられる。
図9は、学習用データ生成装置90、学習用データ保管装置92と、モデル学習装置94と、医用データ処理装置1とを含む。
モデル学習時には、例えば工場出荷時などにおいて、学習用データを用いて多層ネットワークを機械学習させればよい。また、修理時やソフトウェアのアップデート時において学習済みモデルをアップデートできるようにしてもよい。
学習済みモデルの利用時には、スパース低ランク画像セットに、対応する撮像シーケンスおよびスキャン方法に基づく学習済みモデルを適用することによって、フル低ランク画像セットが生成される。なお、スパース低ランク画像セットに含まれる画像から同数の画像を含むフル低ランク画像セットを出力することに限らず、スパース低ランク画像セットを入力し、学習済みモデルを用いることで、少なくとも1つのフル低ランク画像を出力するようにしてもよい。つまり、モデルの学習時には、スパース低ランク画像セットに含まれる画像数に対応するフル低ランク画像を出力できるように学習されているため、後処理で必要となるフル低ランク画像の数にあわせてフル低ランク画像の出力数を調整できる。
低ランク近似を用いることで、SVDを使って行列のランクを低減できる。例えば、辞書の実空間MR信号変化を並べて作った行列δを低ランク近似する事は、
まず、x~を、低ランク近似したM個の画像を1つにまとめた行列とする。これは低ランク画像セットに対応する。D~は、x~に最も一致する低ランク近似された期待値(学習済みモデルの出力から求められる、x~がとると期待される正規化された値)の行列とすると、次の拡張ラグランジアンを考えることができる。
(3)式をADMM法を用いて解くには、更新式となる(4)式から(6)式までを用いることができる。
また、最初に(4)式を解く場合、j=0として、D0 ~、x0 ~およびμに適当な初期値を代入し、y0 ~はゼロ行列とする。
ステップ2として、学習済みモデルを適用して(5)式の期待値D1 ~を求める。ステップ2は、フル低ランク画像セット(xj+1 ~+yj ~)に対する期待値を求める事に対応するため、(xj+1 ~+yj ~)から求めたスパース低ランク画像セットに学習済みモデルを適用してフル低ランク画像セットを生成する処理を行なう事により求める事ができる。このステップがS203に対応する。
このとき出力として得られたフル低ランク画像セットは正規化されていないため、ボクセル毎に信号値の絶対値が「1」となるように正規化することで得られる値を用いて、期待値D~を更新する。具体的には、ランクを「5」とした場合、5枚のフル低ランク画像の中のあるボクセルの信号値が、それぞれs1,s2,s3,s4,s5であった場合、(s12+s22+s32+s42+s52)1/2で各信号値を除算することで絶対値が「1」となるようにし、得られた値を期待値D~とすればよい。
この場合はCG法、非線形CG法と一体化して、S203,S204,S205のステップが実行される。
図12上段は、5個のスパース低ランク画像を示す。図12に示す5個のスパース低ランク画像の中で、特異値が最大の画像がランク1、特異値が最小の画像がランク5と設定される。図12下段は、上段の5個のスパース低ランク画像から第1の実施形態に係る医用データ処理装置1により生成された、スパース低ランク画像のランクにそれぞれ対応する5個のフル低ランク画像である。
図13では、医用データ処理装置1の出力結果である5個のフル低ランク画像から推定された定量値、PD、1/T1および1/T2の推定結果を示す。
図13(b)に示すように、従前の辞書マッチング手法では、ノイズが大きく、推定精度が悪い。一方、本実施形態に係る医用データ処理装置の処理結果である図13(c)のような学習済みモデル適用処理が1回でも画像の推定精度が向上しており、さらに図13(d)によれば、学習済みモデル適用処理を複数繰り返すことで、正解データである図13(a)に近い精度が得られており、画像の推定精度がさらに向上していることが分かる。
第2の実施形態では、実空間画像ではなく、k空間データに対しても同様に実施することができる。
第2の実施形態に係る医用データ処理装置1の動作について図14のフローチャートを参照して説明する。
ステップS1402では、生成機能22により処理回路2が、取得したN個のk空間データにM組のN個からなる重み係数をそれぞれに乗算し加算することで、M個のスパース低ランクk空間データを生成する。k空間データセットの重み付けに用いる重み係数は、例えば、第1の実施形態における実空間画像の処理に対して用いたルックアップテーブルを用いて重み係数を用いてもよいし、k空間データセットの処理用に特化した重み係数のルックアップテーブルを作成し、当該ルックアップテーブルから重み係数を決定してもよい。例えば、フルサンプリングk空間データセットから、ランダムにデータを取り出してデータセットを作り、当該データセットに対してSVDを実行することによりk空間データセット用の重み係数を決定できる。
ステップS1404では、最適化機能23により処理回路2が、学習済みモデルを適用して得られたM個のフル低ランクk空間データからチェック用k空間データセットを生成し、ステップS1402で取得したk空間データセットとの差分の評価を含んだ誤差関数が、データ整合性を考慮した収束条件を満たすか否かを判定する。具体的には誤差関数の値が閾値以下となれば収束条件を満たすと判定し、ステップS1406に進む。誤差関数の値が閾値よりも大きい場合は収束条件を満たさないと判定し、ステップS1405に進む。
ステップS1406では、例えば生成機能22により処理回路2が、M個のフル低ランクk空間データを逆フーリエ変換し、M個のフル低ランク画像を生成する。
なお、上述のフローチャートでは、近似ADMMによる最適化処理を想定しているが、第1の実施形態と同様に処理できる。
さらに、k空間データに限らず、ハイブリッド空間データを用いても、スパース低ランクデータセットからフル低ランクデータセットを推定することができる。ハイブリッド空間データは、ある次元については逆フーリエ変換が行われ、他の次元については逆フーリエ変換が行われていないk空間データである。たとえば、3次元(3D)撮像を行い、スライス方向であるkz方向だけ逆フーリエ変換を行ない、kx方向、ky方向については逆フーリエ変換を行なっていない、(kx,ky,z)空間がハイブリッド空間に当たる。このようなハイブリッと空間は3D撮像のときに、処理の簡略化に寄与できる。
図16は、第2の実施形態に係る医用データ処理装置のデータ処理の概念を示す。ここで用いるサイノグラム実空間データは、k空間のスキャン方法としてラジアルスキャンが採用された場合、各スポークに対して、スポークに沿った1次元逆フーリエ変換を行って得られたデータを、スポークに沿った位置情報を縦軸とし、スポークの角度方向(θ方向)を横軸とした座標形式で表現したデータである。
なお、スポークにそって1D逆フーリエ変換を行わず、縦軸をkr(k空間でのスポークの半径方向の波数)、横軸をスポークの角度θとおいて並べた、サイノグラムk空間でデータを表示した場合も同様に処理することができる。
第1の実施形態及び第2の実施形態では、2次元撮像の例を説明したが、3次元撮像に対応した医用データ処理装置1によるデータ処理について説明する。
撮像シーケンスおよびスキャン方法としては、上述の実施形態と同様にIR-bSSFPのラジアルスキャンを用いる。
続いて、2秒程度待ち時間を設けた後、スポイラーによって横磁化を消失させるまでを1サイクルとして、複数のサイクルによってMR信号を収集する。なお、1サイクルの撮像時間は約8秒であるため、一般的に被検体から観測されるT1値よりも十分に長く、サイクル毎の各ボクセルの信号強度はほぼ同じとなると考えられる。
生成機能22により処理回路2が、kzスライスごと、つまり1サイクルごとに、取得したスパースサンプリングk空間データセットSkz1~5に5組の重み係数を乗算して足し合わせるあわせる事で、k空間データセットSkz1~5ごとに5つのスパース低ランクk空間データを生成する。スパース低ランクk空間データは、以下の(8)式のように表せる。
5つのスライスの、5つのスパース低ランク画像は以下の(9)式のように表せる。
5つのスライスの5つのフル低ランク画像は、以下の(10)式のように表せる。
5スライスの5つのフル低ランクk空間データは、(11)式のように表せる。
最適化機能23により処理回路2が、チェック用k空間データセットS’kz1~5と実際の撮像から取得したk空間データセットSkz1~5とを比較することにより、上述の実施形態と同様な繰り返し処理を実施すればよい。
なお、図18の例は、実空間画像セットを用いて学習を行った学習済みモデルを用いた場合について説明したが、k空間データセットを用いて学習を行った学習済みモデルを用いてもよい。
図19に示すように、k空間データセットに関する学習済みモデルは、学習時及び利用時には3次元フーリエ変換および逆フーリエ変換を行った各スライスのスパース低ランク画像セットを生成せずに、5つのスパース低ランクk空間データから直接、5つのフル低ランクk空間データを生成することができる。よって、3次元フーリエ変換および3次元逆フーリエ変換に要する計算時間を削減することができる。
図20は、頭部の8スライスの画像である。図20上段はPD画像、中段は1/T1画像、下段、1/T2画像をそれぞれ示す。図20に示すように、スライス間で同じ信号強度を保ったスライス画像を生成でき、結果として高速かつ高精度に3次元画像を生成できる。
第3の実施形態に係る変形例として、kz方向のスライスを撮像する際に、パラレルイメージングにより処理する場合について図21を参照して説明する。
図21は、図17と同様の撮像シーケンスを示す。ここで、kz平面のスライスを1おきに間引いてMR信号を収集する。図21の例では、kz1,kz3,kz5,kz7の各スライスのk空間を充填するようにMR信号を収集する。
具体的には、各サイクルにおいて、スポーク角度の振り方は同じにしているため、各サイクルにおいてn番目に収集されるスポークは全て同じ角度となり、kz-kr平面で見た場合に、1つの平面をなしている。また、n番目のスポークが撮像される1サイクル中でのタイミングは、各サイクルで全て同じとなるため、当該平面を構成しているスポークは、全て観察対象が同じ信号強度(コントラスト)を持った瞬間の撮像データとなる。
なお、変形例による処理によれば、一般的なパラレルイメージングの枠組みを使う事ができるため、一般的なMRI装置で用いられているライブラリを利用できるというメリットもある。また、パラレルイメージング処理によれば、kz平面のスライスの撮像数は半分となるため、全体の撮像時間を半分にすることができる。
第3の実施形態では、1つのkz平面のスライスを1サイクルで撮像する例を示すが、第4の実施形態では、複数のkzスライスを、複数のサイクルでグループとしてまとめて撮像してもよい。
図22の例では、2つのサイクルを、1つのグループとしてまとめ、当該1つのグループで4つのkzスライスを撮像する例を示す。
ステップS2301では、取得機能21により処理回路2が、上述した撮像シーケンスに沿って、複数のコイルによりMR信号を取得する。ここでは、被検体の頭部撮影を想定し、32チャンネルのヘッドコイルを用いる場合を想定する。この場合、32チャンネル分の信号を得られる。
ステップS2303では、生成機能22により処理回路2が、仮想コイルごとに、k空間データを低ランク近似し、スパース低ランクk空間データセットを生成する。ここでは、6チャンネルの仮想コイルの信号について、チャンネルごとに5組の重み係数を乗算して足し合わせることで5つのスパース低ランクk空間データを生成する。よって、1グループのデータとしては、グループ収集するkz平面の8スライス、仮想コイルの6チャンネル、5個の低ランクk空間データであるため、8×6×5=240枚の2次元のスパース低ランクk空間データを得られる。
ステップS2305では、最適化機能23により処理回路2が、データ整合性を含んだ誤差関数が収束条件を満たすか否かを判定する。収束条件を満たせば、ステップS2307に進み、収束条件を満たさなければ、ステップS2306に進む。収束条件は上述の実施形態と同様である。
ステップS2307では、例えば生成機能22により処理回路2が、フル低ランクk空間データセットを逆フーリエ変換してフル低ランク画像を生成する。
ステップS2308では、推定機能24により処理回路2が、フル低ランク画像から各種定量値を算出する。
なお、メモリや処理量の制約がなければ、ステップS2302における仮想コイルに信号を圧縮する処理を用いずに、撮像に使用した複数のコイルのMR信号をそのままステップS2303で処理してもよい。
図23に示す最適化処理によれば、撮影に用いる複数のコイルのそれぞれで取得されるMR信号を全て活用して、フル低ランクk空間データおよびフル低ランク画像を生成することができる。
図24は、1スライスにおいて256×256ボクセルの解像度を有する2次元データを示す。
このように、複数のコイルのデータを一括して学習させることにより、パラレルイメージングにおけるデータ補間も同時に行なうことができる。さらに、パッチ学習と組み合わせることで、高速かつメモリコストを低減した処理を行うことができる。
図25はSSFPによる2次元ラジアルスキャンを用いる場合を示す。
図26は、バイポーラMPG2601を1度入れる場合を示す。なお、バイポーラMPG2601を入れる代わりに、異なる方向のモノポーラMPGを交互に入れてもよい。また、各TR期間においてMPGを入れる代わりに、数回のTR経過後に入れるようにしてもよい。
また、MPGとして、任意の波形を用いることで、q軌跡拡散MRI(QTI)と組み合わせてもよい。
以上に記述した撮像方法をDW-SSFPと呼ぶ。
図27では、bSSFPにおける通常のRFパルスを送信する前に、磁化にコントラストを付けるための拡散プレパレーションパルス2701を送信する。なお、拡散プレパレーションパルス2701の後に全ての撮像を行う必要は無く、数回のTRの撮像を行なった後に、再び拡散プレパレーションパルス2701を送信するようなシーケンスでもよい。
なお、ADC値の推定精度を上げるためにはMPGパルスの強度を変えた2種類以上の撮像を行っておくことが望ましい。またMPGパルスの強度をゼロとした撮像を行なっておくことも望ましい。
第5の実施形態では、上述の実施形態に係る医用データ処理装置を含む磁気共鳴イメージング装置の全体構成について、図28を参照して説明する。図28は、本実施形態における磁気共鳴イメージング装置100の構成を示す図である。
図28に示すように、磁気共鳴イメージング装置100は、静磁場磁石101と、傾斜磁場コイル103と、傾斜磁場電源105と、寝台107と、寝台制御回路109と、送信コイル113と、送信回路115と、受信コイル117と、受信回路119と、シーケンス制御回路121と、バス123と、インタフェース125と、ディスプレイ127と、記憶装置129と、処理回路131とを備える。なお、磁気共鳴イメージング装置100は、静磁場磁石101と傾斜磁場コイル103との間に中空の円筒形状のシムコイルを有していてもよい。
2,131 処理回路
4 入力インタフェース
6 通信インタフェース
8 メモリ
21 取得機能
22 生成機能
23 最適化機能
24 推定機能
90 学習用データ生成装置
92 学習用データ保管装置
94 モデル学習装置
100 磁気共鳴イメージング装置
101 静磁場磁石
103 傾斜磁場コイル
105 傾斜磁場電源
107 寝台
109 寝台制御回路
111 ボア
113 送信コイル
115 送信回路
117 受信回路
119 受信コイル
121 シーケンス制御回路
123 バス
125 インタフェース
127 ディスプレイ
129 記憶装置
1071 天板
1311 システム制御機能
1313 画像生成機能
Claims (19)
- スパースサンプリングされた複数の第1データを取得する取得部と、
前記複数の第1データの数よりも少ない組ごとの重み係数を用いて、当該組ごとに、前記複数の第1データのそれぞれに前記重み係数を乗算して加算することで、前記第1データの数よりも少ない数の第1圧縮データを生成する生成部と、
観察対象についてスパースサンプリングされた複数の第1データから生成された複数の第1圧縮データが入力され、前記観察対象についてフルサンプリングされた複数の第2データから生成された複数の第2圧縮データの少なくともいずれか1つを出力するように学習された学習済みモデルに従い、前記生成部で生成された第1圧縮データから、第2圧縮データを出力する第1処理を実行する最適化部と、
を具備する医用データ処理装置。 - 前記重み係数は、前記第2データの次元を圧縮することで得られる係数に基づき決定される、請求項1に記載の医用データ処理装置。
- 前記最適化部は、前記第2圧縮データから推定される推定第1データと前記取得部で取得した複数の第1データとの比較に基づき前記第1圧縮データを補正する第2処理と、前記第1処理とを、収束条件が満たされるまで繰り返し実行する、請求項1または請求項2に記載の医用データ処理装置。
- 前記最適化部は、ADMM(Alternating Direction Method of Multipliers)法を用いて、前記収束条件が満たされるまで前記第1処理と前記第2処理とを繰り返し実行する、請求項3に記載の医用データ処理装置。
- 前記第2圧縮データから定量値を推定する推定部をさらに具備する、請求項1から請求項4のいずれか1項に記載の医用データ処理装置。
- 前記生成部は、特異値分解または主成分解析を含む次元圧縮手法を用いて生成された重み係数を用いる、請求項2から請求項5のいずれか1項に記載の医用データ処理装置。
- 前記複数の第1データおよび前記複数の第2データは、画像データ、k空間データ、サイノグラムおよびハイブリッド空間データのいずれか1つである、請求項1から請求項5のいずれか1項に記載の医用データ処理装置。
- 前記複数の第1データは、k空間において、スライス選択方向にスライスが間引かれたデータであり、
前記生成部は、前記間引かれたデータをパラレルイメージング処理により補間する請求項7に記載の医用データ処理装置。 - 前記複数の第1データはそれぞれ、各コイルで取得した信号に基づく複数のデータのセットであり、
前記生成部は、前記セットごとに、前記第1圧縮データを生成し、
前記最適化部は、前記複数の第1圧縮データを入力として、第2圧縮データを生成するように学習された前記学習済みモデルに従って、複数の前記セットの第1圧縮データから複数の第2圧縮データのうち少なくともいずれか1つを生成する、請求項1に記載の医用データ処理装置。 - 前記複数のデータのセットは、複数のコイルをまとめた仮想コイルの信号に基づくデータのセットである、請求項9に記載の医用データ処理装置。
- 前記複数の第1データは、反転パルスを用いて定常状態で収集された撮像データである、請求項1に記載の医用データ処理装置。
- 前記複数の第1データは、IR-bSSFP(Inversion Recovery-balanced Steady-State Free Precession)またはIR-FISP(Fast Imaging with Steady-state Precession)の撮像シーケンスを用いて収集された撮像データである、請求項1に記載の医用データ処理装置。
- 前記複数の第1データは、少なくともTR(Time of Repetition)とTE(Echo time)とが固定された撮像シーケンスを用いて収集された撮像データである、請求項1に記載の医用データ処理装置。
- 前記複数の第1データは、フリップアングルを30度に設定したパルスと、フリップアングルを60度に設定したパルスとを用いて収集された撮像データである、請求項1に記載の医用データ処理装置。
- 前記組は、実空間信号変化のセットから生成される行列に対して特異値分解した場合に得られる重み係数のうち、特異値が大きいほうから選択される数に対応する、請求項1に記載の医用データ処理装置。
- 前記第1圧縮データおよび前記第2圧縮データは、前記組に含まれるデータ数に対応するランク数に低ランク近似されたデータである、請求項1に記載の医用データ処理装置。
- スパースサンプリングされた複数の第1データを取得し、
前記複数の第1データの数よりも少ない組ごとの重み係数を用いて、当該組ごとに、前記複数の第1データのそれぞれに前記重み係数を乗算して加算することで、前記第1データの数よりも少ない数の第1圧縮データを生成し、
観察対象についてスパースサンプリングされた複数の第1データから生成された複数の第1圧縮データが入力され、前記観察対象についてフルサンプリングされた複数の第2データから生成された複数の第2圧縮データの少なくともいずれか1つを出力するように学習された学習済みモデルに従い、前記生成された第1圧縮データから、第2圧縮データを出力する第1処理を実行する、医用データ処理方法。 - コンピュータを、
スパースサンプリングされた複数の第1データを取得する取得機能と、
前記複数の第1データの数よりも少ない組ごとの重み係数を用いて、当該組ごとに、前記複数の第1データのそれぞれに前記重み係数を乗算して加算することで、前記第1データの数よりも少ない数の第1圧縮データを生成する生成機能と、
観察対象についてスパースサンプリングされた複数の第1データから生成された複数の第1圧縮データが入力され、前記観察対象についてフルサンプリングされた複数の第2データから生成された複数の第2圧縮データの少なくともいずれか1つを出力するように学習された学習済みモデルに従い、前記生成機能により生成された第1圧縮データから、第2圧縮データを出力する第1処理を実行する最適化機能と、
して実現させるための医用データ処理プログラム。 - 被検体に対してスパースサンプリングに対応する撮像シーケンスにより、スパースサンプリングされた複数の第1データを収集する収集部と、
前記複数の第1データの数よりも少ない組ごとの重み係数を用いて、当該組ごとに、前記複数の第1データのそれぞれに前記重み係数を乗算して加算することで、前記第1データの数よりも少ない数の第1圧縮データを生成する生成部と、
観察対象についてスパースサンプリングされた複数の第1データから生成された複数の第1圧縮データが入力され、前記観察対象についてフルサンプリングされた複数の第2データから生成された複数の第2圧縮データの少なくともいずれか1つを出力するように学習された学習済みモデルに従い、前記生成部で生成された第1圧縮データから、第2圧縮データを出力する第1処理を実行する最適化部と、
を具備する磁気共鳴イメージング装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019124695A JP7303677B2 (ja) | 2019-07-03 | 2019-07-03 | 医用データ処理装置、医用データ処理方法、医用データ処理プログラム及び磁気共鳴イメージング装置 |
US16/912,034 US11762049B2 (en) | 2019-07-03 | 2020-06-25 | Medical data processing apparatus, medical data processing method, and magnetic resonance imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019124695A JP7303677B2 (ja) | 2019-07-03 | 2019-07-03 | 医用データ処理装置、医用データ処理方法、医用データ処理プログラム及び磁気共鳴イメージング装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021010408A JP2021010408A (ja) | 2021-02-04 |
JP7303677B2 true JP7303677B2 (ja) | 2023-07-05 |
Family
ID=74066721
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019124695A Active JP7303677B2 (ja) | 2019-07-03 | 2019-07-03 | 医用データ処理装置、医用データ処理方法、医用データ処理プログラム及び磁気共鳴イメージング装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11762049B2 (ja) |
JP (1) | JP7303677B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8077918B2 (en) | 2008-08-28 | 2011-12-13 | Google, Inc. | Architectures and methods for creating and representing time-dependent imagery |
JP2021534852A (ja) | 2018-08-15 | 2021-12-16 | ハイパーファイン,インコーポレイテッド | 磁気共鳴画像においてアーティファクトを抑制するためのディープラーニング技術 |
EP3629335A1 (de) * | 2018-09-26 | 2020-04-01 | Siemens Healthcare GmbH | Verfahren zum automatischen auswählen von bildgebungsparametern für bildgebungsverfahren |
US11344219B2 (en) | 2019-03-14 | 2022-05-31 | Hyperfine Operations, Inc. | Deep learning techniques for alignment of magnetic resonance images |
US11417423B2 (en) * | 2020-08-06 | 2022-08-16 | Shanghai United Imaging Intelligence Co., Ltd. | Multi-coil magnetic resonance imaging with artificial intelligence |
CN112785491B (zh) * | 2021-01-20 | 2022-10-04 | 北京航空航天大学 | 一种基于偏振指导的图像高光反射分离计算方法 |
EP4365617A1 (en) | 2022-11-04 | 2024-05-08 | Koninklijke Philips N.V. | Transmission of k-space data for remote reconstruction of magnetic resonance images |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009505711A (ja) | 2005-08-23 | 2009-02-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 並行磁気共鳴撮像のための装置および方法 |
JP2015051264A (ja) | 2013-08-08 | 2015-03-19 | 株式会社東芝 | 画像処理装置及び磁気共鳴イメージング装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10209335B2 (en) | 2014-04-21 | 2019-02-19 | Case Western Reserve University | Nuclear magnetic resonance (NMR) fingerprinting with singular value decomposition (SVD) compression |
US10989779B2 (en) | 2017-09-29 | 2021-04-27 | Yonsei University, University - Industry Foundation (UIF) | Apparatus and method for reconstructing magnetic resonance image using learning, and under-sampling apparatus method and recording medium thereof |
US10740694B2 (en) * | 2018-08-10 | 2020-08-11 | Vis Machina Inc. | System and method for capture and adaptive data generation for training for machine vision |
-
2019
- 2019-07-03 JP JP2019124695A patent/JP7303677B2/ja active Active
-
2020
- 2020-06-25 US US16/912,034 patent/US11762049B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009505711A (ja) | 2005-08-23 | 2009-02-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 並行磁気共鳴撮像のための装置および方法 |
JP2015051264A (ja) | 2013-08-08 | 2015-03-19 | 株式会社東芝 | 画像処理装置及び磁気共鳴イメージング装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2021010408A (ja) | 2021-02-04 |
US11762049B2 (en) | 2023-09-19 |
US20210003651A1 (en) | 2021-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7303677B2 (ja) | 医用データ処理装置、医用データ処理方法、医用データ処理プログラム及び磁気共鳴イメージング装置 | |
US10338178B2 (en) | System and method for high-resolution spectroscopic imaging | |
US9709650B2 (en) | Method for calibration-free locally low-rank encouraging reconstruction of magnetic resonance images | |
CN108885246A (zh) | 用于生成高b值处的合成扩散图像的扩散MRI方法 | |
JP2014503292A (ja) | 任意k空間トラジェクトリの高速並行再構成 | |
CN103380384B (zh) | 使用交错的水参考扫描的具有自动相位和b0校正的磁共振波谱成像方法和装置 | |
JP7272818B2 (ja) | データ処理装置、方法及びプログラム | |
US10088539B2 (en) | Silent multi-gradient echo magnetic resonance imaging | |
KR20220024425A (ko) | 자기 공명 이미징에서의 이미지 재구성을 위한 시스템들 및 방법들 | |
JP2017502727A (ja) | 拡大視野への補間を用いたmriのrfコイル感度の計算 | |
WO2011161596A1 (en) | Method of reconstructing a magnetic resonance image of an object considering higher-order dynamic fields | |
US11875509B2 (en) | System and method for determining undersampling errors for a magnetic resonance fingerprinting pulse sequence | |
van der Heide et al. | High‐resolution in vivo MR‐STAT using a matrix‐free and parallelized reconstruction algorithm | |
JP7039194B2 (ja) | 磁気共鳴イメージング装置および医用画像処理装置 | |
US11131733B2 (en) | System and method for magnetic resonance fingerprinting with non-locally sequential sampling of k-space | |
JP2020531140A (ja) | 磁気共鳴イメージングシステムにおける位相依存アーチファクトのデータ駆動型補正 | |
US20230186532A1 (en) | Correction of magnetic resonance images using multiple magnetic resonance imaging system configurations | |
Hu et al. | A fast MR fingerprinting simulator for direct error estimation and sequence optimization | |
Wang et al. | High-fidelity Direct Contrast Synthesis from Magnetic Resonance Fingerprinting | |
JP7140551B2 (ja) | 磁気共鳴イメージング装置、処理装置、および医用画像処理方法 | |
US10782375B2 (en) | Multi-contrast images from a magnetic resonance imaging scan | |
CN113661404B (zh) | 使用模拟磁共振图像对磁共振图像的校正 | |
US20230160982A1 (en) | Medical data processing apparatus, medical data processing method, and magnetic resonance imaging apparatus | |
US20220343565A1 (en) | Reconstruction apparatus, method, and program | |
JP2022168844A (ja) | 再構成装置、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220530 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20230106 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230403 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230623 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7303677 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |