JP3976684B2 - 画像における動きの影響を低減する方法および装置 - Google Patents

画像における動きの影響を低減する方法および装置 Download PDF

Info

Publication number
JP3976684B2
JP3976684B2 JP2002584007A JP2002584007A JP3976684B2 JP 3976684 B2 JP3976684 B2 JP 3976684B2 JP 2002584007 A JP2002584007 A JP 2002584007A JP 2002584007 A JP2002584007 A JP 2002584007A JP 3976684 B2 JP3976684 B2 JP 3976684B2
Authority
JP
Japan
Prior art keywords
data set
spatial data
space
scan
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002584007A
Other languages
English (en)
Other versions
JP2004538049A5 (ja
JP2004538049A (ja
Inventor
ディビッド アトキンソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qinetiq Ltd
Original Assignee
Qinetiq Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qinetiq Ltd filed Critical Qinetiq Ltd
Publication of JP2004538049A publication Critical patent/JP2004538049A/ja
Publication of JP2004538049A5 publication Critical patent/JP2004538049A5/ja
Application granted granted Critical
Publication of JP3976684B2 publication Critical patent/JP3976684B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/565Correction of image distortions, e.g. due to magnetic field inhomogeneities
    • G01R33/56509Correction of image distortions, e.g. due to magnetic field inhomogeneities due to motion, displacement or flow, e.g. gradient moment nulling

Landscapes

  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理の分野に関し、特定的には、特に映されている対象の動きにより、獲得中画像に取り込まれるアーチファクトが、出力画像の生成において補正される、画像処理技術に関する。
磁気共鳴画像法(MRI)は、医療診断画像法に幅広く使用される技術である。従来のMRIスキャナでは、患者は、場の方向に対して平行か、反平行かのいずれかである、非ゼロスピン量子数を伴う核の磁気モーメントの整列を生じる、強度静磁場中に配置される。2の向きの間でのモーメントのボルツマン分布は、場の方向に沿った正味の磁化を生じる。この磁化は、検査中の核種および加えられる場の強度によって決定される周波数の無線周波数(RF)磁場をかけることによって操作されることができる。医療用画像法のほぼすべての場合において、検査される種は水素原子の核であり、主に水分子で体内に存在し、およびRFパルスは、これら水プロトンの共鳴周波数でかけられる。しかしながら、他の核種および他の種に結合される水素を映すことも可能である。
RF場からの核によって吸収されるエネルギはその後再放出され、および適切に調整されたアンテナで、発振電圧として、または自由誘導減衰信号として検出されてもよい。より一般的には、さらなるRFパルスまたは磁場勾配が、信号獲得を遅らせ、およびスピン‐エコーあるいは勾配エコー‐エコー信号を生成するために使用される。
空間情報は、エコー獲得の間に、またはエコー獲得の前にかけられる、磁場勾配として知られる追加的な線形に変化する磁場によって、エコー信号に符号化される。空間符号化の原理は、場勾配がある場合は、一定の核モーメント、そしてその共鳴周波数によって経験される正味の場は、スキャナとの位置の関数である。勾配がエコー獲得中にかけられるとき、受信された信号は、勾配方向に沿った様々な場所での核を表すある範囲の周波数成分を含む。この信号のフーリエ変換は、患者を通した1次元投影を作り出す。この技術は、周波数符号化として公知である。2次元符号化は、位相符号化勾配として知られる、周波数符号化軸に垂直にかけられる、追加的勾配の使用を必要とする。この勾配は、データ獲得前の短い時間、かけられる。獲得プロセスは、異なる強度の位相符号化勾配を用いて、何回も、おそらくは256または512回繰り返される。周波数および位相同時符号化は、2次元フーリエ変換を受けると所望の画像を提供する、2次元データ・セットを産出する。このデータのアレイは、k−空間として知られるものに存在し、および画像空間のフーリエ変換である。位相符号化勾配の効果は、データ獲得の開始を(勾配強度に依存した)k−空間の1つの軸に沿った特定の場所に移動することであり、周波数符号化は、他の軸に平行にk−空間を通過するスイープを表す。これらのスイープの各々は、“ショット”や“ビュー”として知られる。
第3次元での空間的位置限定は、追加の位相符号化勾配を用いて、又は、より一般的には、勾配および狭帯域RFパルスを用いる核モーメントの初期摂動を単一の断層X線写真のスライスに制約することによって達成されることができる。この原理は、マルチスライスMRIに容易に拡張することができる。
従来のMRIにおいては、単一の位相符号化ビューは、各RF励起の後に獲得される。しかしながら、各励起の後に、一連の、異なって符号化されたエコーを獲得するために、さらなるRFパルスおよび位相符号化勾配が使用される、より早い画像化シーケンスが現在存在する。これらのエコーは、k−空間のいくつかの線を横切り、および一連のエコーの長さに等しい係数だけ走査時間を低減する。極端な場合には、単一のショット・エコー・平面画像(EPI)技術が、100msより短く続く単一の獲得において、2次元k−空間の全体を網羅するが、空間解像度および画像品質は、大幅に譲歩されるかもしれない。
MRI画像の獲得中の患者の動きは、臨床的に関連のある情報をあいまいにしうる画像の劣化を生じる。各読み出し期間は、数ミリ秒かかる一方で、読み取りの間の時間間隔は100から4000msの間でもよい。患者の動きによって生じるぼけおよびゴースティング・アーチファクトの大半は、単一の読み出しの間の動きよりもむしろ、k−空間における線の間の動きによる。
動きは、その結果の画像に、位相符号化方向に沿ったぼけやゴースティングとして現れる、k−空間の線の間の位相エラーにつながる。これらの位相エラーは、並進動きおよび回転動きから生じうる。読み出し方向での患者の並進は、k−空間の各線における周波数依存位相シフトを生じる。空間領域における回転は、k−空間での回転でもあり、およびk−空間における位置のより複雑な関数であるk−空間変化を生じる。
動きを通して画像に取り込まれる画像アーチファクトを補正しようと試みるため、様々な技術が採用されてきた。しかしながら、患者の動きを補正するとして知られている技術のほとんどは、追加の走査または追加の設備さえも伴う場合もある、修正された信号獲得技術を伴う。
国際特許出願WO98/01828は、純粋にポストデータ収集信号処理効果を用いて、画像において動きが誘発したアーチファクトの影響を低減するための技術を開示する。そこに説明されている技術において、可能性のある動きが誘発するアーチファクトに対抗するためにデータを操作し、および操作されたデータは、画像品質が向上しているかどうかを見るために、焦点条件を用いて比較される。この技術は、しかしながら、大量の処理を伴いうる。さらに、該方法は、より正確に動きのパラメータを決定するために、k−空間線のグループ化を伴ってもよいが、このグループ化は、見つかった動きの一時的な解像度を下げうる。
動きが誘発した画像アーチファクトを補正するための別の方法は、コンプレックス・セットに対する投影法(POCS)、Hedley M、Hong Y and Rosenfeld D.“Motion Artifact Correction in MRI using generalized projections”IEEE Trans.Med.Imag.,10:40−46,1991である。これは、それによって、バイナリ・マスクを形成するために、上質の画像が使用される方法である。該マスクは、組織‐空気境界を定義し、すなわち、マスクの外側には信号があってはならない。獲得された画像における動きが誘発したアーチファクトは、空気中で見かけ上の信号を生じる。POCS法は獲得された画像においてマスクの外側すべてを黒に設定する。画像データはそれからk−空間にフーリエ変換される。新しい複合k−空間は、測定されたデータの絶対値から、および前のステップからの推定値の位相から形成される。この新しいk−空間は、画像領域にフーリエ変換され、該処理は繰り返される。この方法は、しかしながら、処理が繰り返されると大量のフーリエ変換を伴うので、大量の計算量および従って時間を伴う。さらに、該方法は、常に達成されるとは限らない処理の前に、獲得された画像と、バイナリ・マスクとの空間整列を求める。
拡散重みつけされたMRIにおいて動きによって誘発されたアーチファクトを補正するための異なる方法が、‘Correction of Motional Artifacts in Diffusion−Weighted Images Using a Reference Phase Map’、Ulug et al. Magnetic Resonance in Medicine、Vol.34,no.2,1995,pp476−480で説明されている。そこで説明された方法は、拡散重みつけのない、または大変低い重みつけで測定し、および位相マップを構築するためにこの情報を使用する。この位相マップからの位相は、それから動きによって誘発される位相成分を排除し、かつ調節されたデータ・セット形成するために、より高い重みをかけられたデータ・セットの位相を置き換えるために使用される。
Ulugらによって説明される方法は、動きに対して大変敏感であり、すべてのMRI画像には適用できない、拡散重みつけMRI走査に関する。さらに、説明された該方法は、映し出されている間の対象の回転を補正することはできないだろう。
本発明は、画像における、動きによって誘発されたアーチファクトを補正するための代替的な方法を提供しようと試みる。
本発明に従って、次のものが提供される
走査中に、対象の望ましくない動きによって取り込まれるアーチファクトが補正された、走査された対象の画像を作る方法であって;
該対象の走査から導出された走査k−空間データ・セットを取り、
該対象の参照k−空間データ・セットを取り、
該走査k-空間データ・セットにおける走査中の何らかの動きの程度を決定するために、該走査k−空間データ・セットと参照k−空間データ・セットとを比較し、
動きを補正された画像セットを作るために、該走査k−空間データ・セットおよび該走査k−空間データ・セットの動きの程度に関する情報を使用し、および
画像を作るために、該画像を補正された走査k−空間データ・セットを使用するステップ
を含む方法。
参照k−空間データ・セットは、対象の画像に対応する、動きの無い(または該環境においてできるだけ動きのないものに近い)k−空間データである。動きの無いデータ・セットを取ることによって、崩れた画像データ・セットにつながる動きがモデル化されうる。走査k−空間データ・セットのみからのデータは、モデル化された動きに基づいて補正された画像を作るために使用される。2のデータ・セットがk−空間または空間周波数領域で比較されるので、データ・セット全体の反復したフーリエ変換は必要ない。該方法が、決定された動きに関して走査k−空間データ・セットのデータを補正し、それを他のデータとおきかえるのではないので、実際の画像からの情報が保存される。
該方法は好ましくは、走査k−空間ならびに参照k−空間データ・セットをk−空間におけるセクションに分割するステップを含み、および動きを決定するために、走査k−空間データ・セットと参照データ・セットを比較するステップは、セクションごとにデータ・セットを比較する。2D画像に関して、各セクションは都合よく、スキャナによって取られた位相符号データの線でありうる。3D画像に関しては、各セクションはk−空間データの平面である。
2のデータ・セットを比較するステップは、何らかの回転の程度を決定するためにデータ・セットを比較するステップと、および何らかの並進の程度を決定するためにデータ・セットを比較するステップを含むと都合がよい。画像において拡張や収縮を生じさせる動きも、そのような方法によって補正されてもよい。
好ましくは、データ・セットを比較するステップは、何らかの回転動きの程度を決定するために、データ・セットにおける選択された点を比較するステップを含む。選択された点のk−空間絶対値が、比較のために使用されると都合よい。k−空間データの絶対値は位相から独立しており、よって並進動きによって影響されない。映し出されている対象の回転はk−空間において回転を生じさせる一方で、並進は、k−空間データへ位相傾斜を与える。点の選択は、k−空間データの、ブロックへの分離を伴ってもよい。ブロック内の一定の点が、例えば各ブロックにおける最大の絶対値値を持つ点を選択することによって、選択されうる。ブロックへの分離は、k−空間の合理的な範囲が達成され、十分な角解像度を与えることを確かにする。
回転動きの程度は、参照k−空間データにおける選択された点の可能な角度動きを繰り返し検討することにより、および回転動きの程度を決定するために、適切な焦点基準を用いて、走査k−空間データ・セットと変換された参照データ・セットとを比較することによって決定されうる。参照k−空間データ・セットを変換するステップは、好ましくは、線形補間を用いて実行されるが、3次またはスプラインなど他の補間が使用されうる。
並進動きの程度を決定するためにデータ・セットを比較するステップは、Reddy BS and Chatterji BN、“An FFT−Based Technique for Translation, Rotation and Scale−Invariant Image Registration”、IEEE Trans.Imag.Proc.,5:1266−1271,1996に説明されたような、クロス・スペクトル方法に基づいた方法を用いて決定されるのが都合がよい。クロス・スペクトル解析を実行する際に、k−空間は、解像度を改善するために、ゼロパッドされてもよく、または1に等しい絶対値および任意の位相を有する複素数値でパッドされてもよい。クロス・スペクトル方法は、2のデータ・セットの間の定数および線形に変化する位相差を検出する。2のデータ・セットは、後述されるように、関数Kcを形成するために結合される。Kcのフーリエ変換は、ピークを与える。中心からのピークのシフトは位相スロープと関連しており、FE方向への動きの量を示す。ピークの位相は、2つのデータ・セットの間の位相差を明らかにし、およびPE方向の動きの程度を明らかにする。
並進動きの程度を決定した後、走査k−空間データ・セットは、決定された動きに関して補正されてもよい。この補正されたデータ・セットの位相は、周波数符号化方向へのサブピクセルの動きを決定するために、参照k−空間データの位相と比較されうる。
何らかの点が、参照k−空間データ・セットまたは走査k−空間データ・セットのいずれかで信頼性がないことが分かっている場合、Kcにおける対応する点は信頼性がない。そのような点は、動きの決定に影響を与える信頼性のない点を避けるため、1に等しい絶対値および任意の位相を有する点と置き換えられうる。
クロス・スペクトルに基づいた方法は、確実性の測定を含んでもよい。理想的な場合では、Kcのフーリエ変換の結果は、単一のピークになるだろう。現実には、ノイズ、異なる獲得基準等による参照および走査k−空間データ・セットの間の差が、影響を及ぼす。これは、KcのFTが、非ゼロである他の値を伴うピークとなることを生じる。他の値の平均値に対するピークの高さの比は、信頼性の測定値として使用されることができ、この比が高いほど、動きの決定はより信頼性がある。
参照データ・セットおよび画像データ・セットを取るステップは、データ・グリッドの中心に一致して最大(DC)点がくるように、走査k−空間データ・セットと参照k−空間参照データ・セットの両方を整列するステップを含んでもよい。さらに、該方法は、最大(DC)点において、2のデータ・セットが同じ複素数値を有するように、2のデータ・セットを全体的にスケール調整するステップを含みうる。
最大絶対値を伴うk−空間点は、0空間周波数に対応する点であると仮定されることが注記されるべきである。0空間周波数はときにDCと呼ばれる。
さらに、該方法は、一定の量のぼけを取り込むために、獲得された画像と参照画像の両方をフィルタにかけるステップを含んでもよい。画像にフィルタをかけることで対応するk−空間をぼかし、および線形補間を用いて回転動きの決定を手助けしうる。k−空間をぼかすことは、それがあまり迅速に変化せず、よって点の間の補間がより簡単であることを意味する。
走査k−空間データ・セットは、磁気共鳴画像(MRI)走査手段から得られたデータ・セットでもよい。
参照k−空間データ・セットは、多くの方法で得られうる。多くの走査プロトコルは、信号対ノイズ比をより良くするために、2またはそれ以上のデータ・セットおよび平均を取得する。そのような場合、データ・セットの1は、その他における何らかの動きを補正するために、参照画像として取られうる。最善のデータ・セットは、画像のエントロピの測定値、すなわち画像における乱れの程度を用いることによって決定されうる。
あるいは、対象が、造影剤の導入で連続的に映し出されている場合、1つの画像は参照k−空間データ・セットとして使用されうる。
あるいは、参照データ・セットは以前に獲得された走査から取られうる。例えば進行性の疾患を監視する際、異なる時に同じ被写体への繰り返した走査が必要となりうる。本発明は、参照データ・セットからのk−空間情報を用いるのではなく、走査k−空間データ・セットに関する何らかの動きの程度を決定するだけなので、前の画像が使用されることができ、および該技術は、画像の間での差、例えば様々なコントラスト、ノイズ、または増進する腫瘍などの特徴に対しても合理的に強くあるべきである。使用できる参照データが無い場合、参照画像は、使用可能なデータから作成されうる。
画像全体を補正するよりは、画像の領域は、局限された領域のみに補正をしてマスクされうる。この場合、該方法は、画像の所望の部分を選択し、および走査k−空間データ・セットを作るために、画像をフーリエ変換する前に、画像の所望でない範囲を削除するステップを含む。
本発明の別の特徴においては、対象を走査し、ならびに該対象から受信された信号から走査k−空間データ・セットを導出する走査手段と、および該走査中に、前記対象の望ましくない動きによって取り込まれるアーチファクトが補正された、走査された対象の画像を作るために、走査k−空間データ・セットを操作する処理手段を含む画像システムであって、該処理手段は、対象走査から導出された走査k−空間データ・セットを取り、対象の参照k−空間データ・セットを取り、画像データ・セットにおける何らかの動きの程度を決定するために走査k−空間データ・セットと参照k−空間データ・セットとを比較し、動きを補正された走査k−空間データ・セットを作るために走査k−空間データ・セットの動きの程度に関する情報を使用し、および画像を作るために、動き補正された走査データ・セットを使用するように適応しているシステムが提供される。
本発明は、以下の図面を参照して、例示的にのみ説明される;
図1を参照すると、磁気共鳴画像システム10の概略図が示されている。システム10は、従来の種類の磁気共鳴画像スキャナ12を含んでいる。スキャナ12は、患者の中の原子核の場方向に沿った正味の整列を生じさせるだけ十分に強い磁場を生成する超伝導または抵抗性主磁石20を有する。スキャナ12は、主磁石20の磁場における望ましくない不均一性を補正するために、シム(shim)コイル22も含む。シムコイル22によって作られる磁場は、シムコイル電力供給ユニット24によって制御される。
特定の原子核の共鳴周波数は、核およびかけられる磁場の強度に特有である。空間情報を提供するために、磁場勾配は、コイル26などの勾配コイルによって生成される。勾配コイルは、3直交方向に勾配場を生成するようにしばしば配置される。勾配コイルによって生成される磁場は、勾配コイル電力供給ユニット28によって制御される。患者の原子核から信号を生成するために、無線周波数磁気パルスが、送信コイル30によって生成される。このパルスは、一定の患者のスライスの体積の中で、核スピンの角度を‘フリップ’する。これらの励起されたスピンまたは磁化はそれから、送信コイル30と同じコイルでもよい受信コイルに電流を誘導する。コイル30は、送信ユニット32および受信ユニット34に接続され、その各々は、周波数源36からも信号を受信する。
システム10は、システム10の構成要素の操作を制御する制御コンピュータ38を含む。コンピュータ38は、勾配タイミング、磁場強度、および向き制御の形式で、勾配コイル電力供給ユニット28を制御する。加えて、該コンピュータは、送信機タイミングと一緒に受信ユニット34から信号を受信する。
患者の器官の画像を形成するために、患者がシステム10へと挿入され、および一連の測定値が、静的および/または可変的勾配場の様々な組み合わせを用いて取られる。患者の組織からの信号は組織の属性、磁場勾配強度、勾配の向き、およびかけられる無線周波数パルスに関連するタイミングに依存する。可変的勾配は、受信された信号の位相、周波数、および強度を符号化する。時間の関数として受信された信号は、その後の処理のためにコンピュータ38のメモリに記憶されるきちんとした順序のセットを形成する。
その後の信号処理段階において、受信された信号のきちんとした順序のセットに関してフーリエ変換が実行されてもよく、該変換の絶対値は、画像を形成するため、グレイ・スケールに信号を割り当てるために使用される。受信された信号のセットは、k−空間に存在すると言われている。
従来のMRIにおいては、患者がデータの獲得中に動くと、受信される信号が影響を受け、k−空間信号の部分が崩れる。画像が再構築される方法によって、この動きは画像全体に影響を与え、最終画像においてぼけおよび/またはゴースティング・アーチファクトを生じさせる。
ここで図2を参照すると、システム10の操作の機能的ブロック図が示されている。コンピュータ38は、スキャナ12からの情報を制御し、かつ受信し、およびディスプレイ50で画像を生成するためのこの情報を使用する。この画像は、初期再構築画像である。システム10のオペレータが、初期画像が崩れていると判断する場合、追加の信号処理ルーチンが選択される。あるいは、さらなる信号処理が自動的に発生しうる。いずれの場合も、記憶された画像データは、患者の動きの影響を低減するために処理される。
画像を処理する該方法は、本発明に従った画像処理ルーチンにおける段階の流れ図100を示す図3を参照して、次の通りである。
獲得時間はノードに分割される。2D画像に関して、ノードは位相符号化線に対応する。3D画像に関しては、ノードはk−空間データの平面である。
該システムの軸は、次のように定義される;Xは読み出し、または周波数符号化方向である。2D画像に関しては、Yは位相符号化勾配方向であり、およびZはスルー・スライス方向である。3D画像においては、Yは遅い位相勾配符号化方向であり、およびZは速い位相符号化勾配方向である。よって、kxが最も迅速に変化し、それからkz、そしてkyにおいて最も遅く変化するデータ点が獲得される。3D画像において、ノードは定数kyの平面である。
画像処理は、画像データ102に関して実行され、それは例えば、順次k−空間線として得られてもよいが、他の獲得技術が可能である。参照画像データ104も使用される。
最初に、ある程度のデータ・セットの前処理が、比較を助けるために実行されてもよい。この場合、第一の段階は、各セットに関する最大(DC)値k−空間データ点が、両方のデータ・セットの中心ピクセルになるように、両方のk−空間が整列される整列段階106でもよい。
2のデータ・セットは、DCにおける複素数値が各データ・セットにおいて同じであることを確実にするため、正規化段階108においてスケール調整されてもよい。これは好ましくは参照データ・セット104に関して実行される。
フィルタリング段階110は、実際の画像および参照画像をフィルタにかけるために採用される。このフィルタは、後に比較段階を助けるある程度のk−空間へのぼかしを取り込む。適切なフィルタ関数は、画像の端に向かって離れていく、画像中央における、値1のガウシアン(ガウス波形)をピクセルに乗じることである。使用された1つのフィルタは、nがk−空間次元に沿った点の数である、(0.3125n)2に等しい分散を有するのガウシアンである。
そのような方法でフィルタにかけることによって、k−空間はぼかされる(および画像は中央で明るく、端に向かうにつれて暗くなる)。これは後に線形補間ステップを助ける。
所望であれば、マスキング段階112は、関心のないピクセルが0に設定されうる場合に適用されうる。
フィルタにかけられ、かつ適切にマスクされた画像はそれから、k−空間画像データ・セットおよびk−空間参照データ・セットを作るために、フーリエ変換段階114を受ける。フィルタにかけることおよび隠すことは、実際の画像で実行されるので、k−空間へのフーリエ変換が必要となる。
適切な角解像度が達成されることを確実にするために、k−空間はそれから分割段階116において様々なブロックへと分割される。k−空間をブロックに分割することで、アルゴリズムの速度の増加を可能にしうるが、正確さの損失を生じるかもしれず、この分割はすべてのk−空間点を別のブロックにすることによって省略することができる。2D画像に関して、線に沿って均等に間隔をあけた多くのブロックがあってもよい。線に256の点がある場合、32ブロックを選択することによって1ブロック当たり8点を生じるが、他の組み合わせが使用されうる。3Dでは、平面は、平面の各次元において一定の数のブロックに分割される。
次に、ノード選択段階118において、各ノードが同様に選択される。各ノードに関して、各ブロックにおける最大絶対値を持つ点の座標r1は、段階120で決定されるが、他の選択基準が利用されうる。
選択段階122では対象の回転に対応する角変換Taが選択され、次いで異なる変換が選択される。角変換Taによって変換された、選択された点の座標に対応する参照k−空間Krにおける位置の絶対値が決定される。この段階124において、当業者には良く理解されるように、フィルタリング段階110が適用された時は、線形補間技術で十分である。
最も正確に回転動きを表す角変換Taは、どの角変換が適切な焦点基準を最小化するかを見つけることによって決定されうる。
適切な焦点基準は;
Figure 0003976684
であり、Km(ri)は、選択された点に関する修正されていない画像データである。Ta(ri)が測定された参照k−空間の中に入らないとき、それは焦点基準合計から排除されるべきである。
この焦点基準は、中心(DC)ノードに近いノードに適している。中心(DC)ノードから離れた、すなわち60より多いノードだけ離れたノードに関して、焦点基準合計は、分子および分母が、比を取る前に別個に合計されるように変更されうる。焦点基準の正規化は、様々な絶対値を伴うk−空間点からの相対的寄与を変えるために変更されうる。絶対値が端より大きい中心近くで、各点は、最善の角解像度を与える同じ重みを運ぶ。しかしながら、より低い絶対値を有する輪郭に関しては、ノイズは相当な問題であり、および正規化を変更することは、ノイズと角解像度の間のトレードオフを許す。
その代わりに、1つのデータ・セットの中の補間点の代わりに、以前に回転した、および記憶されたデータ・セットからの相対線は、焦点基準の評価において使用されてもよい。
該ノードに関してすべての角変換が調べられ、および最小の焦点基準が決定されると、次のノードが試みられうる。
すべてのノードが処理されると、例えば、よく知られているように、見つかった回転をk−空間データ・セットに適用するために、剪断アルゴリズムが適用される回転補正段階が行われる。しかしながら、補間など、補正のための他の方法も適用されうる。
次に、再度ノード選択ステップ130で開始する並進が補正される。しかしながら代わりの実施態様において、特定のノードに関する並進補正は、ノードに関する回転補正が実行された直後に決定されうる。すべてのノードが回転補正を受けるのを待つ必要はない。
並進は、クロス・スペクトルに基づいた方法を用いて決定される。Krが、一定のノードにおける参照データの線(または3Dでの平面)におけるすべてのk−空間を表しており、およびKmが画像データにおいて同様である場合、Kcのフーリエ変換におけるピークの位置は、定義されたx方向(および3Dではz)に並進を与える。Kcは次の方程式によって与えられる;
Figure 0003976684
アレイの中心からの、Kcのフーリエ変換のピークのシフトは、xおよびz方向(2Dではxのみ)を与え、およびy方向は、ピークの位相pから決定されうる。y置換Yは次の式によって与えられる;
Figure 0003976684
lは位相符号化線の数で、中心(DC)位相符号化線においては0である。
それによってxおよびz置換が見られる解像度の改善のために、Kcはゼロ・パッドされてもよい。あるいは、Kcは、絶対値1および任意の位相を有する複素数値でパッドされてもよい。後者は、Kcのフーリエ変換におけるピークを、より明確に区別させ、および正確に位置を特定させるかもしれない。
さらに、KrまたはKmのいずれかにおける何らかの点は信頼性がないことが分かっている場合、Kcにおける対応する点も信頼性はない。そのような場合、信頼性がない点は、絶対値1および任意の位相を有する点と置き換えられうる。Kcのすべての点が、Kcに存在する固有の正規化により絶対値1を有するので、絶対値1が選択される。或る点が、複数の受信コイルからのk−空間のデータ平均または計算など、他の処理ステップによって信頼性がないと決定される場合もある。
並進情報は、次のノードに移動する前に、該ノードに関してデータを補正するための補正段階134において使用されうる。
上述の、クロス・スペクトルに基づいた方法が、データ・パッドなく使用される場合、該方法は、一番近いピクセルへの、周波数符号化方向補正での並進動きを決定する。代わりの実施態様(図示されていない)において、該方法は、参照データ・セットおよび画像データ・セットを用いて、上述のように実行されうる。画像データ・セットは、決定された動きに関して補正されることができ、それからこの中間補正されたデータが参照データ・セットと比較される。残りの位相傾斜は、fe方向にサブピクセルシフトを与えるように決定されうる。位相傾斜は、Krと補正されたKmとの比の位相に関して、強い線適合アルゴリズムを用いて決定されてもよい。
このように、獲得された画像は参照画像と比較されてもよく、および獲得された画像の何らかの回転および/または並進動きは補正されうる。k−空間絶対値データに関する回転比較を実行することは、何らかの並進動きに対して不変であるという効果を有する。また、画像領域における回転の中心は、k−空間が常にその中心で回転するので、わかる必要はない。
この方法の結果は、参照および補正された画像が空間的に配列されることである。さらに、凸集合への投影方法(the method Projection onto Convex Sets)とは異なり、参照およびデータ画像セットの、前もっての空間的整列は必要ない。
また、参照画像におけるすべての情報は、画像データに求められる動き補正を知らせるために使用されるが、補正された画像において使用される実際のデータ点のすべては、画像データから来る。
参照画像は、前に獲得された走査でもよい。進行性の障害を持つ患者はいくつかの走査をし、および履歴走査が使用されうる。実際の参照画像データは、補正された画像において使用されるものはまったくないので、該方法は、ゆっくり進行する障害の様々な段階において、走査の間に遭遇するかもしれない画像の間のわずかな相違とともに使用されうる。
あるいは、例えば、造影剤を増加して複数の画像が取られる場合、特定の画像が参照画像として取られうる。さらに、いくつかの画像技術は、2の画像をとり、およびより良い信号対ノイズ比を達成するために平均される。これらのいずれの場合にも、動きが誘発する画像アーチファクトからの解放という点で、最善の画像が使用されうる。これは、システム・オペレータによって選択されることができ、あるいは最善の画像が、適切な画像処理技術によって選択されうる。例えば、画像の乱れの量を測定するために、画像に関してエントロピに基づいた計算が実施されうる。より低いエントロピを有する画像はより多くの秩序とより少ないアーチファクトを持つ。当業者は、適切なエントロピ計算技術に精通しているだろう。
使用可能な参照データがない場合、参照画像は、使用可能なデータから作られうる。
図4は、被写体の2Dスライスを示す。静止した被写体の画像は、左に示されている。この画像は、参照画像として使用された。動きで崩れた画像が中央に示されているように取られた(被写体は、走査中にうなずいた)。本発明の方法を用いて、補正された画像が図のように得られた。補正された画像は、動きで崩れた画像に対して大幅に改善されていることがわかる。
図5は、被写体を通した3直交スライスを示す。ここでも、参照画像は左に示されており、動きで崩れた画像は中央に、および本発明に従って補正された画像は右に示されている。ここでも、補正された画像において改善が見られる。
さらなる実施態様において、上述のクロス・スペクトルに基づいた方法は、動きが決定されたことについての信頼性の表示を与えるために使用されうる。参照データ・セットおよび画像データ・セットが、並進動きによってのみ異なるという理想的な条件下では、Kcのフーリエ変換は、すべての他の値が0であるピークである。実際に、両方のデータ・セットは、ノイズにより、およびそれらが異なる時間に、おそらく異なる条件下で獲得されるために異なる。よって実際には、フーリエ変換は、非0である他の値を有するピークを生じる。ピークの高さ対他の値の平均との比は、信頼性の測定値として使用されることができ、比が高くなるほど、決定された動きはより信頼性がある。これは、単純に、動きの決定における信頼性の表示を与えるために使用されることができ、または異なる参照データ・セットが試されるべきであることを示すために使用されうる。該方法は自動的に比を決定することができ、および比が一定の閾値よりも低くなる場合には信号を生成する。
本発明の他の実施態様および効果は、ここに説明された本発明から逸脱することなく、当業者に明らかになるだろう。
図1は、磁気共鳴画像システムの概略図を示す。 図2は、図1のシステムの操作の機能図を示す。 図3は、本発明に従って実行される画像補正ルーチンの流れ図である。 図4は、本発明の方法を用いた、MRI画像、参照画像、および動き補正画像を示す。 図5は、本発明を用いた、獲得された画像、参照画像、および動き補正画像に関する直交MRIを示す。

Claims (13)

  1. 走査中に、対象の望ましくない動きによって取り込まれるアーチファクトを補正された、走査された対象の画像を作る画像処理方法であって;
    該対象の走査から導出された走査k−空間データ・セットを受取り、
    該対象の参照k−空間データ・セットを受取り、
    該走査k−空間データ・セットにおいて走査中に起こる何らかの動きの程度を決定するために、該走査k−空間データ・セットと参照k−空間データ・セットとを比較し、
    動きを補正されたk−空間データ・セットを作るために、該走査k−空間データ・セットおよび該走査k−空間データ・セットの動きの程度に関する情報を使用し、および
    画像を作るために、該補正された走査k−空間データ・セットを使用するステップ
    を含み、
    何らかの動きの程度を決定するために、該走査k−空間データ・セットと参照k−空間データ・セットとを比較する前記ステップが、回転動きの程度を決定するために、該走査k−空間データ・セットおよび参照k−空間データ・セットにおける選択された点の絶対値を比較するステップを含み、前記選択された点が、k−空間を分割する複数のブロックの内の選択されたブロック内の複数の点の内の最大絶対値を伴う点であることを特徴とする方法。
  2. 該方法は、該走査k−空間データ・セットおよび参照k−空間データ・セットをセクションに分割するステップを含み、および該走査k−空間データ・セットと参照k−空間データ・セットを比較するステップは、該走査k−空間データ・セットの動きの程度を決定するために、該走査k−空間データ・セットと参照k−空間データ・セットをセクションごとに比較するステップを含むことを特徴とする、請求項1に記載の方法。
  3. 該走査k−空間データ・セットの各セクションは、位相符号化データの線であることを特徴とする請求項2に記載の方法。
  4. 該走査k−空間データ・セットの各セクションは、k−空間データの平面であることを特徴とする請求項2に記載の方法。
  5. 該方法は、何らかの回転の程度を決定するために、該走査k−空間データ・セットと参照k−空間データ・セットとを比較し、および何らかの並進の程度を決定するために、該走査k−空間データ・セットと参照k−空間データ・セットを別個に比較するステップを含むことを特徴とする、請求項1から4のいずれかに記載の方法。
  6. 選択された点の該絶対値を比較するステップは、様々な可能性のある回転変換を用いて該参照k−空間データ・セットまたは走査k−空間データ・セットのいずれかにおける該選択された点を繰り返し変換し、および他のk−空間データ・セットと比較するステップを含むことを特徴とする、請求項1に記載の方法。
  7. クロス・スペクトルに基づく方法は、並進動きの程度を決定するため、該走査k−空間データ・セットと参照k−空間データ・セットとを比較するために使用されることを特徴とする請求項1からのいずれかに記載の方法。
  8. 該クロス・スペクトルに基づいた方法は、組み合わされたk−空間データ・セットを形成するために、該参照k−空間データ・セットと走査k−空間データ・セットとを組み合わせ、該組み合わせたk−空間データ・セットのフーリエ変換を実行し、および並進動きの程度を決定するために、フーリエ変換された組み合わせたk−空間データ・セットのピークの位置および位相を決定するステップを伴うことを特徴とする、請求項に記載の方法。
  9. 該方法は、決定された該並進動きに関して該走査k−空間データ・セットを補正し、およびサブピクセルの動きを決定するために、動きを補正された走査k−空間データ・セットの位相と、該参照k−空間データ・セットの位相とを比較するステップを含むことを特徴とする、請求項またはに記載の方法。
  10. 該参照k−空間データ・セットおよび走査k−空間データ・セットによって表される該画像は、該k−空間データ・セットの比較の前に、k−空間にぼけを取り込むためにフィルタにかけられることを特徴とする、請求項1からのいずれかに記載の方法。
  11. 該走査k−空間データ・セットは、磁気共鳴画像走査手段から得られることを特徴とする、請求項1から10のいずれかに記載の方法。
  12. 該走査k−空間データ・セットによって表される画像の一部は、比較の前にマスクされることを特徴とする、請求項1から11のいずれかに記載の方法。
  13. 対象を走査し、および該対象から受信された信号から走査k−空間データ・セットを導出する走査手段と、および該走査中に前記対象の望ましくない動きによって取り込まれるアーチファクトに関して補正された、該走査された対象の画像を作るために、該走査k−空間データ・セットを操作する処理手段を含む画像システムであって、該処理手段は、該対象走査から導出された走査k−空間データ・セットを取り、該対象のk−空間参照データ・セットを取り、該走査k−空間データ・セットにおける何らかの動きの程度を決定するために、該走査k−空間データ・セットと参照k−空間データ・セットとを比較し、動きを補正された走査k−空間データ・セットを作るために、該走査k−空間データ・セットの動きの程度に関する情報を使用し、および画像を作るために、該動き補正された走査k−空間データ・セットを使用するように適応しており、前記比較が、回転動きの程度を決定するために、該走査k−空間データ・セットおよび参照k−空間データ・セットにおける選択された点の絶対値を比較することを含み、前記選択された点が、k−空間を分割する複数のブロックの内の選択されたブロック内の複数の点の内の最大絶対値を伴う点であることを特徴とする画像システム。
JP2002584007A 2001-04-20 2002-04-18 画像における動きの影響を低減する方法および装置 Expired - Fee Related JP3976684B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GBGB0109892.0A GB0109892D0 (en) 2001-04-20 2001-04-20 Method and apparatus for reducing the effects of motion in an image
PCT/GB2002/001731 WO2002086531A1 (en) 2001-04-20 2002-04-18 Method and apparatus for reducing the effects of motion in an image

Publications (3)

Publication Number Publication Date
JP2004538049A JP2004538049A (ja) 2004-12-24
JP2004538049A5 JP2004538049A5 (ja) 2005-12-22
JP3976684B2 true JP3976684B2 (ja) 2007-09-19

Family

ID=9913261

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002584007A Expired - Fee Related JP3976684B2 (ja) 2001-04-20 2002-04-18 画像における動きの影響を低減する方法および装置

Country Status (5)

Country Link
US (1) US7308125B2 (ja)
EP (1) EP1384090A1 (ja)
JP (1) JP3976684B2 (ja)
GB (1) GB0109892D0 (ja)
WO (1) WO2002086531A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6675034B2 (en) * 2001-04-19 2004-01-06 Sunnybrook And Women's Health Sciences Centre Magnetic resonance imaging using direct, continuous real-time imaging for motion compensation
GB0129600D0 (en) 2001-12-08 2002-01-30 Qinetiq Ltd Method for compensating for effects of object motion in an image
US7545966B2 (en) * 2003-05-05 2009-06-09 Case Western Reserve University Efficient methods for reconstruction and deblurring of magnetic resonance images
DE102005046732B4 (de) * 2005-04-18 2010-04-15 Siemens Ag Verbessertes Rekonstruktionsverfahren bei der Propellerbildgebung in der Magnetresonanztomographie
JP2008546465A (ja) * 2005-06-23 2008-12-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ユーザーの身体の生体インピーダンスを誘導的に測定する方法及び装置
GB2430026A (en) * 2005-09-09 2007-03-14 Qinetiq Ltd Automated selection of image regions
CN101273277B (zh) * 2005-09-29 2013-01-02 皇家飞利浦电子股份有限公司 用于采集磁共振成像(mri)数据的系统和方法
US7660481B2 (en) * 2005-11-17 2010-02-09 Vital Images, Inc. Image enhancement using anisotropic noise filtering
US20080069459A1 (en) * 2006-09-19 2008-03-20 Stefano Casadei Estimation of image motion, luminance variations and time-varying image aberrations
US20100054570A1 (en) * 2007-04-12 2010-03-04 Koninklijke Philips Electronics N.V. Motion corrected multinuclear magnetic resonance imaging
JP5105586B2 (ja) * 2007-05-11 2012-12-26 株式会社日立メディコ 磁気共鳴イメージング装置
DE102007028660B3 (de) * 2007-06-21 2009-01-29 Siemens Ag Verfahren zur Korrektur von Bewegungsartefakten bei der Aufnahme von MR-Bildern
WO2009061468A1 (en) * 2007-11-07 2009-05-14 Oni Medical Systems, Inc. Systems, methods and machine readable programs for enhanced fat/water separation in magnetic resonance imaging
KR101595884B1 (ko) * 2009-07-16 2016-02-22 한화테크윈 주식회사 감시 카메라, 그 제어방법
DE102009049402B4 (de) * 2009-10-14 2012-09-27 Siemens Aktiengesellschaft Korrektur von Verzerrungen bei der diffusionsgewichteten Magnetresonanzbildgebung
US8396267B2 (en) * 2009-11-04 2013-03-12 International Business Machines Corporation Correcting subject motion in multiple resolutions in magnetic resonance imaging
US8929626B2 (en) * 2010-02-22 2015-01-06 Koninklijke Philips N.V. RF antenna arrangement and method for multi nuclei MR image reconstruction involving parallel MRI
CN103124516B (zh) * 2010-09-27 2015-11-25 株式会社日立医疗器械 磁共振成像装置以及磁共振成像方法
GB201020516D0 (en) * 2010-12-03 2011-01-19 Univ Sheffield Improvements in providing image data
US8306299B2 (en) * 2011-03-25 2012-11-06 Wisconsin Alumni Research Foundation Method for reconstructing motion-compensated magnetic resonance images from non-Cartesian k-space data
US8934691B2 (en) 2011-04-06 2015-01-13 Siemens Medical Solutions Usa, Inc. System for motion compensated MR parallel imaging
US20130051644A1 (en) * 2011-08-29 2013-02-28 General Electric Company Method and apparatus for performing motion artifact reduction
CN104244818B (zh) * 2012-02-06 2017-04-12 因赛泰克有限公司 在非侵入式治疗期间的基于参考的运动跟踪
US8958623B1 (en) 2014-04-29 2015-02-17 Heartflow, Inc. Systems and methods for correction of artificial deformation in anatomic modeling
WO2019218000A1 (en) * 2018-05-15 2019-11-21 Monash University Method and system of motion correction for magnetic resonance imaging
CN110363842B (zh) * 2019-06-12 2023-04-18 北京理工大学珠海学院 基于自填零枝切法的三维立体重构方法、系统和存储介质
WO2022159830A1 (en) * 2021-01-25 2022-07-28 Nous Imaging, Inc. System and method for determining data quality using k-space magnetic resonance imaging data

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3672976B2 (ja) * 1995-09-05 2005-07-20 株式会社東芝 磁気共鳴映像装置
US5928146A (en) * 1996-03-15 1999-07-27 Hitachi Medical Corporation Inspection apparatus using nuclear magnetic resonance
US5850486A (en) * 1996-04-29 1998-12-15 The Mclean Hospital Corporation Registration of image data
US6178271B1 (en) 1996-04-29 2001-01-23 The Mclean Hospital Corporation Methods and systems for registering image data
GB9614407D0 (en) * 1996-07-09 1996-09-04 Secr Defence Method for imaging artefact reduction
DE19647537A1 (de) * 1996-11-16 1998-05-20 Philips Patentverwaltung MR-Verfahren zur Reduzierung von Bewegungsartefakten und Anordnung zur Durchführung des Verfahrens
US6114852A (en) * 1999-01-23 2000-09-05 General Electric Company Method employing point source to determine motion induced errors in MR imaging
US6518759B2 (en) * 2001-04-09 2003-02-11 Mayo Foundation For Medical Education And Research Motion correction of magnetic resonance images

Also Published As

Publication number Publication date
WO2002086531A1 (en) 2002-10-31
GB0109892D0 (en) 2001-06-13
US7308125B2 (en) 2007-12-11
EP1384090A1 (en) 2004-01-28
US20040114791A1 (en) 2004-06-17
JP2004538049A (ja) 2004-12-24

Similar Documents

Publication Publication Date Title
JP3976684B2 (ja) 画像における動きの影響を低減する方法および装置
JP4176835B2 (ja) アーチファクト減少像生成装置
US9797974B2 (en) Nonrigid motion correction in 3D using autofocusing with localized linear translations
JP6513398B2 (ja) 事前情報に制約される正則化を使用するmr画像再構成
JP5737725B2 (ja) 局所化および高度に限定された画像再構成法
US5368033A (en) Magnetic resonance angiography method and apparatus employing an integration projection
JP6333293B2 (ja) 金属耐性mr画像化
NL2003804C2 (en) System and method for automated scan planning using symmetry detection and image registration.
KR20100047806A (ko) 원통형 오프셋 여기 영역을 이용한 자기 공명 영상장치 및 방법
JPWO2002056767A1 (ja) 高精度コイル感度マップを用いたパラレルmrイメージング
JP2016512780A (ja) 圧縮センシングを使用したmr画像の再構成
JP4070268B2 (ja) 画像の分解能を向上させる方法、投影画像の一部を拡大させる方法及び画像の分解能を向上させる装置
WO2003098553A1 (en) Retrospective selection and various types of image alignment to improve dti snr
US6777933B2 (en) Method for compensating for effects of object motion in an image
JP3556176B2 (ja) Mr投影画像の自動修正
US11125847B2 (en) System and method for out-of-view artifact suppression for magnetic resonance fingerprinting
WO2014154544A1 (en) Real-time motion correction for mri using fat navigators
US6486667B1 (en) Combination of fluid-attenuated inversion-recovery complex images acquired using magnetic resonance imaging
US7239138B2 (en) Magnetic resonance method and device
JP4330247B2 (ja) 核磁気共鳴イメージング装置
JP2002085376A (ja) 核磁気共鳴イメージング装置および方法
JP3796389B2 (ja) 磁気共鳴撮影装置
JP6377712B2 (ja) 超音波診断装置、及び画像撮像方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050401

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060206

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060501

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070619

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 3976684

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130629

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees