JP3878456B2 - Diagnostic imaging support system - Google Patents
Diagnostic imaging support system Download PDFInfo
- Publication number
- JP3878456B2 JP3878456B2 JP2001348507A JP2001348507A JP3878456B2 JP 3878456 B2 JP3878456 B2 JP 3878456B2 JP 2001348507 A JP2001348507 A JP 2001348507A JP 2001348507 A JP2001348507 A JP 2001348507A JP 3878456 B2 JP3878456 B2 JP 3878456B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- magnetic resonance
- tomographic image
- ultrasonic
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、磁気共鳴撮像(MRI:Magnetic Resonance Imaging)装置による画像(以下、MR画像という)、および超音波撮像装置による画像(以下、US画像という)を合成して、医師の診断を支援する画像診断支援システムおよびその合成のための画像処理方法に関するものである。
【0002】
【従来の技術】
MRI装置では、静磁場空間に被検体を収容し、磁気共鳴を利用して被検体の被検部位を撮像する。
具体的には、励起パルスで被検体内のスピン(spin)を励起し、それによって生じる磁気共鳴信号を、たとえばスピンエコー(spinecho)またはグラディエントエコー(gradientecho)として2次元フーリエ空間に収集する。
磁気共鳴信号には、いわゆるビュー(view)毎に異なる位相エンコードを付与し、2次元フーリエ空間において位相軸上の位置が異なる複数のビューのエコーデータをそれぞれ収集する。
そして、収集した全ビューのエコーデータを2次元逆フーリエ変換することにより、画像を再構成し、再構成画像を表示装置に表示する。
【0003】
また、超音波撮像装置では、超音波プローブを被検体の被検部位に当接させて被検体に超音波を送波し、たとえば被検体内での非線形効果による高調波エコーに基づいて画像を生成し、表示装置に表示する。
【0004】
これらのMRI装置および超音波撮像装置は、同じ電磁波シールド内で使用可能であるが、それぞれに装置が独立に画像を収集して表示するような形態で利用され、それぞれの画像は個別に医師等の検査時や手術中の診断の判定に用いられていた。
【0005】
【発明が解決しようとする課題】
ところで、このような利用形態では、検査中や手術中に個別に装置を使い分ける必要があり、操作が煩雑であることから、MRI装置の撮影断層像に応じた超音波撮影断面を容易に収集し、両画像を合成表示して診断に有用な画像を得ることが可能な超音波およびMRI複合診断装置が提案されている(たとえば、特開平9−24034号公報、特開平9−24035号公報 参照)。
【0006】
この超音波およびMRI複合診断装置は、MR画像とUS画像を合成表示するのであるが、MR画像とUS画像には、以下に示すような長所と短所を有することから、両画像を単に合成するだけでは、両者の画像情報の矛盾等から真に有用な画像をリアルタイムに得ることは困難である。
【0007】
すなわち、MRI装置は、一般に軟部組織のコントラスト分解能に優れており、高空間分解能画像を得ることができるが、撮像時間が超音波診断装置に比べて長いという欠点がある。
超音波診断装置は、リアルタイムイメージングが可能であるが、MR画像に比べて画像が粗いとい欠点がある。
【0008】
また、上記提案された超音波およびMRI複合診断装置において、たとえばMRI装置で形態的な情報を取得し、超音波撮像装置のドップラモードの画像を重ね合わせる場合を想定すると、生体を撮像対象とすることから、呼吸や突発的な運動により相互の位置ずれが起きる可能性が容易に推察できる。
【0009】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、MRI装置と超音波撮像装置の画像情報から真に有用な合成画像をリアルタイムに得ることは可能な画像診断支援システムおよび画像処理方法を提供することにある。
【0010】
【課題を解決するための手段】
上記目的を達成するため、本発明の第1の観点は、異なる撮像装置で撮像された被検体の被検部位の複数の画像データを整合処理する画像診断支援システムであって、静磁場空間に被検体を収容し、磁気共鳴信号を得るパルスシーケンスでデータを収集し、収集したデータに基づいて画像を生成する磁気共鳴撮像装置と、被検体に超音波を送波し画像を生成する超音波撮像装置と、上記超音波撮像装置による被検部位の超音波画像データを用いて、上記超音波画像の特徴を抽出し、当該特徴情報と整合させるように、上記磁気共鳴撮像装置で事前に取得された磁気共鳴画像を変形させて、磁気共鳴画像を補正する画像整合装置とを有する。
【0011】
第1の観点では、上記画像整合装置により補正された磁気共鳴画像を表示する表示装置を有する。
【0012】
また、第1の観点では、上記画像整合装置は、上記磁気共鳴撮像装置で事前に取得された磁気共鳴画像データを記憶する記憶装置を有し、上記画像整合装置は、上記記憶装置から読み出した磁気共鳴画像に対して上記補正処理を行う。
【0013】
また、第1の観点では、上記画像整合装置は、上記磁気共鳴撮像装置で事前に取得された磁気共鳴画像データを記憶する記憶装置と、上記超音波撮像装置による被検部位の超音波画像データから超音波画像の特徴を抽出する特徴抽出部と、事前に取得され上記記憶装置に保持された磁気共鳴画像を読み出し、上記特徴抽出部で抽出された超音波画像の特徴情報と整合させるように、読み出した磁気共鳴画像を変形させて、超音波画像との矛盾をなくした補正磁気共鳴画像を生成する磁気共鳴画像補正部とを有する。
【0014】
また、第1の観点では、上記磁気共鳴撮像装置は、励起パルスで被検体内のスピンを励起することよって生じる磁気共鳴信号を、エコーデータとして2次元フーリエ空間に収集し、収集したエコーデータを2次元逆フーリエ変換することにより、画像を再構成して上記画像整合装置に出力する。
【0015】
また、第1の観点では、上記超音波撮像装置は、超音波プローブを通して得られたエコー受信信号に基づいてBモード画像データをリアルタイムに生成して上記画像整合装置に出力する。
【0016】
本発明の第2の観点は、異なる撮像装置で撮像された被検体の被検部位の複数の画像データを整合処理する画像処理方法であって、磁気共鳴撮像装置における静磁場空間に被検体を収容し、磁気共鳴信号を得るパルスシーケンスでデータを収集し、収集したデータに基づいて画像を生成することにより磁気共鳴画像データを事前に取得しておき、超音波撮像装置により、被検体に超音波を送波して超音波画像データをリアルタイムに生成し、生成された超音波画像の特徴を抽出し、上記抽出した特徴情報と整合させるように、上記事前に取得された磁気共鳴画像を変形させて、磁気共鳴画像を補正する。
【0017】
第2の観点では、上記補正された磁気共鳴画像を表示する。
【0018】
また、第2の観点では、上記磁気共鳴画像データは、励起パルスで被検体内のスピンを励起することよって生じる磁気共鳴信号を、エコーデータとして2次元フーリエ空間に収集し、収集したエコーデータを2次元逆フーリエ変換することにより、画像を再構成して生成する。
【0019】
また、第2の観点では、上記超音波画像データは、超音波プローブを通して得られたエコー受信信号に基づいてBモード画像データをリアルタイムに形成して生成する。
【0020】
本発明によれば、まず、磁気共鳴撮像装置において、静磁場空間に被検体が収容され、励起パルスで被検体内のスピンを励起することよって生じる磁気共鳴信号が、エコーデータとして2次元フーリエ空間に収集される。そして、収集したエコーデータが2次元逆フーリエ変換され、これにより、画像が再構成されて画像整合装置に出力される。
画像整合装置では、磁気共鳴撮像装置による高分解能、高コントラスト分解能の磁気共鳴画像データがたとえば記憶装置に一端記憶される。
次に、超音波撮像装置の超音波プローブを通して得られたエコー受信信号に基づいてBモード画像データがリアルタイムに形成され、生成された超音波画像データが画像整合装置に出力される。
画像整合装置では、超音波撮像装置によりリアルタイムに得られる超音波画像データを受けて、特徴抽出部により超音波画像から、たとえば被検部位の臓器の境界などの特徴点(線)が抽出され、磁気共鳴画像補正部に出力される。
磁気共鳴画像補正部では、超音波画像の特徴から、その情報と整合させるように記憶装置に格納されている事前に取得された磁気共鳴画像が変形されて、超音波画像と矛盾をなくした補正磁気共鳴画像が生成される。
この補正され、リアルタイムに生成された超音波画像と整合され、両画像間に矛盾がなく、しかも高分解能、高コントラスト分解能の磁気共鳴画像が表示装置に表示される。
【0021】
【発明の実施の形態】
以下、本発明の実施形態に係る画像診断支援システムについて図面に関連付けて説明する。
【0022】
図1は、本発明に係る画像診断支援システムの一実施形態を示す構成図である。
本画像診断支援システム1は、図1に示すように、MRI装置2、超音波撮像装置3、画像整合装置4、および表示装置5を有している。
なお、本実施形態では、超音波撮像装置3は、被検体内での非線形効果による高調波エコーに基づいて画像を生成する装置を例に説明するが、本発明は他の超音波撮像装置にも適用することができる。
【0023】
MRI装置2は、静磁場空間に被検体を収容し、磁気共鳴を利用して被検体の被検部位に、励起パルスで被検体内のスピン(spin)を励起し、それによって生じる磁気共鳴信号を、たとえばスピンエコー(spinecho)またはグラディエントエコー(gradientecho)として2次元フーリエ空間に収集し、収集した全ビューのエコーデータを2次元逆フーリエ変換することにより、画像を再構成し、再構成画像データを信号S2として画像整合装置4に供給するとともに、表示部に表示する。
【0024】
図2は、本実施形態に係るMRI装置2の構成例を示す図である。
【0025】
本実施形態に係るMRI装置2は、図2に示すように、マグネットからの放射電磁波の洩漏や外乱電磁波の進入を防止する閉空間を形成した図示しないスキャンルームに配設される本体装置2A、およびたとえばスキャンルームに隣接して設けられた操作ルーム内のオペレータOPが操作等するオペレータコンソール2Bを主構成要素として有している。
【0026】
本体装置2Aは、図2に示すように、マグネットシステム21、RF駆動部22、勾配駆動部23、データ収集部24、制御部25、およびクレードル26を有している。
【0027】
マグネットシステム21は、図2に示すように、上下の磁石に挟まれた内部空間(ギャップ:gap)211を有し、ギャップ211内には、クッションを介して被検体6を載せたクレードル26が図示しない搬送部によって搬入される。
【0028】
マグネットシステム21内には、図2に示すように、ギャップ211内のマグネットセンタ(走査する中心位置)の周囲に、主磁場マグネット部212a,212b、勾配コイル部213a,213b、およびRFコイル部214a,214bが配置されている。
【0029】
主磁場マグネット部212a,212b、勾配コイル部213a,213b、およびRFコイル部214a,214bのそれぞれは、検査時に被検体6が位置するギャップ211内の空間を挟んで対向する1対のコイルからなる。
【0030】
主磁場マグネット部212a,212bは、ギャップ211内に静磁場を形成する。静磁場の方向は、たとえば概ね被検体6の体軸方向と直交する方向である。すなわち、垂直磁場を形成する。主磁場マグネット部212a,212bを構成する一対の主磁場マグネットは、たとえば永久磁石などを用いて構成される。
【0031】
勾配コイル部213a,213bは、RFコイル部214a,214bが受信する磁気共鳴信号に3次元の位置情報を持たせるために、主磁場マグネット部212a,212bが形成した静磁場の強度に勾配を付加する勾配磁場を発生する。勾配コイル部213a,213bが発生する勾配磁場は、スライス(slice)勾配磁場、リードアウト(read out)勾配磁場およびフェーズエンコード(phase encode)勾配磁場の3種類であり、これら3種類の勾配磁場に対応して勾配コイル部213は3系統の勾配コイルを有する。
【0032】
RFコイル部214a,214bは、主磁場マグネット部212が形成した静磁場空間内で被検体6の体内にスピンを励起するための高周波磁場を形成する。ここで、高周波磁場を形成することをRF励起信号の送信という。RFコイル部214は、被検体6の体内に励起されたスピンが生じる電磁波を磁気共鳴信号として受信する。
RFコイル部214は、図示しない送信用コイルおよび受信用コイルを有する。送信用コイルおよび受信用コイルは、同じコイルを兼用するかあるいはそれぞれ専用のコイルを用いる。
【0033】
なお、本実施形態に場合、RFコイル部214a,214bは、RF駆動部22によるプロトコル対応の駆動信号DR1を受けて高周波磁場を形成する。
磁気共鳴撮影処理においては、1繰り返し時間(TR;repetitiontime)毎に用いるパルスシーケンス(スキャンシーケンス)の数は、被検部位毎に対応して設定されたプロトコルによって異なる。
たとえば頭部等の被検部位に応じたプロトコル毎に、それぞれ異なる回数、たとえば64回〜512回繰り返されて、64ビューから512ビューのビューデータが得られる。
【0034】
RF駆動部22は、制御部25の指示に基づいたプロトコル対応の駆動信号DR1をRFコイル部214a,214bに与えてRF励起信号を発生させて、被検体6の体内のスピンを励起する。
【0035】
勾配駆動部23は、制御部25の指示に基づいたプロトコル対応の駆動信号DR2を勾配コイル部213a,213bに与えて勾配磁場を発生させる。
勾配駆動部23は、勾配コイル部213の3系統の勾配コイルに対応して、図示しない3系統の駆動回路を有する。
【0036】
データ収集部24は、RFコイル部214a,214bが受信した受信信号を取り込み、それをビューデータ(view data)として収集して、オペレータコンソール2Bのデータ処理部27に出力する。
【0037】
制御部25は、オペレータコンソール2Bのデータ処理部27から送られてくる被検体6の被検部位に対応した実行すべきプロトコルに即して、あらかじめ決められた繰り返し時間TR内において所定のパルスシーケンスが所定回数繰り返される駆動信号DR1をRFコイル部214に印加するようにRF駆動部22を制御する。
同様に、制御部25は、実行すべきプロトコルに即して、1TR内に、所定のパターンのパルス信号を勾配コイル213a,213bに印加するように勾配駆動部23を制御する。
また、制御部25は、RFコイル部214a,214bが受信した受信信号を取り込み、それをビューデータ(view data)として収集して、オペレータコンソール2Bのデータ処理部27に出力するように、データ収集部24を制御する。
【0038】
この磁気共鳴撮像用パルスシーケンスは、いわゆるスピンエコー(SE:Spin Echo)法、グラディエントエコー(GRE:GRadient Echo)法、ファーストスピンエコー(FSE:Fast Spin Echo)法、ファーストリカバリSE(Fast Recovery Spin Echo)法、エコープラナー・イメージング(EPI:Echo Planar Imaging)法等、各撮像方法によって異なる。
【0039】
ここで、各撮像方法のパルスシーケンスのうち、SE法のパルスシーケンスについて、図3に関連付けて説明する。
図3(a)はSE法におけるRF励起用の90°パルスおよび180°パルスのシーケンスであり、RF駆動部22がRFコイル部214に印加する駆動信号DR1に相当する。
図3(b)、(c)、(d)、および(e)は、それぞれスライス勾配Gs、リードアウト勾配Gr、フェーズエンコード勾配Gp、およびスピンエコーMRのシーケンスであり、スライス勾配Gs、リードアウト勾配Gr、およびフェーズエンコード勾配Gpのパルスは、勾配駆動部23が勾配コイル部213に印加する駆動信号DR2に相当する。
【0040】
図3(a)に示すように、RF駆動部22によりRFコイル部214a,214bに対して90°パルスが印加され、スピンの90°励起が行われる。このとき、図3(b)に示すように、勾配駆動部23により勾配コイル部213a,213bに対してスライス勾配パルスGsが印加され、所定のスライスについて選択励起が行われる。
図3(a)に示すように、90°励起から所定の時間後に、RF駆動部22によりRFコイル部214a,214bに対して180°パルスが印加され、180°励起、すなわちスピン反転が行われる。このときも、図3(b)に示すように、勾配駆動部23により勾配コイル部213a,213bに対してスライス勾配パルスGsが印加され、同じスライスについて選択的な反転が行われる。
【0041】
図3(c)および(d)に示すように、90°励起とスピン反転の間の期間に、勾配駆動部23により勾配コイル部213a,213bに対してリードアウト勾配パルスGr、およびフェーズエンコード勾配パルスGpが印加される。
そして、リードアウト勾配パルスGrによりスピンのディフェーズが行われ、フェーズエンコード勾配パルスGpによりスピンのフェーズエンコードが行われる。
【0042】
スピン反転後、図3(c)に示すように、勾配駆動部23により勾配コイル部213a,213bに対してリードアウト勾配パルスGrが印加されて、リフェーズされて、図3(e)に示すように、スピンエコーMRが発生される。
このスピンエコーMRは、データ収集部24によりビューデータとして収集される。
【0043】
制御部25は、このようなパルスシーケンスで、実行プロトコルに応じて、周期TRでたとえば64〜512回繰り返すように、RF駆動部22、勾配駆動部23、およびデータ収集部24を制御する。
また、制御部25は、繰り返しのたびに、フェーズエンコード勾配パルスGpを変更し、毎回異なるフェーズエンコードを行うように、制御を行う。
【0044】
オペレータコンソール2Bは、図2に示すように、データ処理部27、操作部28、および表示部29を有している。
【0045】
データ処理部27は、データ収集部24から取り込んだデータをメモリに記憶する。メモリ内にはデータ空間が形成される。メモリに形成されるデータ空間は、2次元フーリエ空間を構成する。データ処理部27は、これら2次元フーリエ空間のデータを2次元逆フーリエ変換、すなわちフーリエ周波数空間から実空間への変換を行って、被検体6の画像を生成(再構成)する。そして、データ処理部27は、再構成画像を信号S2として画像整合装置4に供給する。なお、2次元フーリエ空間をkスペースともいう。
【0046】
データ処理部27には、制御部25が接続されており、制御部25の上位にあってそれを統括する。
データ処理27には、また、操作部28、および表示部29が接続されている。
【0047】
操作部28は、ポインティングデバイスを備えたキーボードやマウス等により構成され、オペレータOPの操作に応じた操作信号をデータ処理部27に出力する。また、操作部28からは、たとえば上述した実行すべきプロトコルの入力が行われる。データ処理部27は、操作部28から入力されたプロトコルに関する情報(プロトコル番号等)を制御部25に供給する。
【0048】
表示部29は、グラフィックディスプレイ等により構成され、操作部28からの操作信号に応じて、本体装置2Aの動作状態に応じた所定の情報を表示する。
【0049】
超音波撮像装置3は、超音波プローブを被検体の被検部位に当接させて被検体に超音波を送波し、被検体内での非線形効果による高調波エコーに基づいて画像を生成し、生成した画像データを信号S3として画像整合装置4に供給するとともに、表示部に表示する。
【0050】
図4は、本実施形態に係る超音波撮像装置3の構成例を示す図である。
【0051】
超音波撮像装置3は、図4に示すように、超音波プローブ31、送受信部32、Bモード処理部33、画像処理部34、表示部35、制御部36、および操作部37を有している。
【0052】
超音波プローブ31は、被検体6に当接されて超音波の送受波に使用される。超音波プローブ31は、図示しない超音波トランスデューサアレイ(transducerarray)を有する。超音波トランスデューサアレイは、複数の超音波トランスデューサをアレイ状に配列して構成される。個々の超音波トランスデューサは、たとえばPZT(チタン(Ti)酸ジルコン(Zr)酸鉛)セラミックス(ceramics)等の圧電材料で構成される。
超音波プローブ31は、ケーブル38により送受信部32に接続されている。
【0053】
送受信部32は、超音波ブローブ31に駆動信号を与えて、超音波を送波させ、また、超音波プローブ31が受波したエコーを受信する。
【0054】
図5は、図4の送受信部32の構成例を示す図である。
送受信部32は、図5に示すように、送波タイミング発生回路321、送波ビームフォーマ322、送受切換回路323、および受信ビームフォーマ324を有している。
【0055】
送波タイミング発生回路321は、送波タイミング信号S321を周期的に発生して送波ビームフォーマ322に供給する。
送波ビームフォーマ322は、送波タイミング信号S321に基づいて、送波ビームフォーミング信号、すなわち、超音波トランスデューサアレイ中の送波アパーチャ(aperture)を構成する複数の超音波トランスデューサを時間差をもって駆動する複数の駆動信号S322を発生し、送受切換回路323に出力する。
【0056】
送受切換回路323は、複数の駆動信号S322を超音波プローブ31の超音波トランスデューサアレイにケーブル38を介して送信する。アレイ中の送波アパーチャを構成する複数の超音波トランスデューサは、複数の駆動信号の時間差に対応した位相差を持つ複数の超音波をぞれぞれ発生する。それら超音波の波面合成により超音波ビームが形成される。
超音波ビームの送波は、送波タイミング発生回路321が発生する送波タイミング信号S321により、所定の時間間隔で繰り返し行われる。
そして、超音波ビームの方位は送波ビームフォーマ322によって順次変更される。
それにより、被検体6の内部が、超音波ビームが形成する音線によって走査される。すなわち被検体6の内部が音線順次で走査される。
【0057】
また、送受切換回路323は、超音波トランスデューサアレイ中の受波アパーチャが受波した複数のエコー信号を受波ビームフォーマ324に入力する。
受波ビームフォーマ324は、複数の受波エコーに時間差を付与して位相を調整し次いでそれら加算して、音線に沿ったエコー受信信号の形成、すなわち、受波のビームフォーミングを行う。受波ビームフォーマ324により、受波の音線も送波に合わせて走査される。
受波ビームフォーマ324は、各音線毎のエコー受信信号をBモード処理部33に出力する。
【0058】
以上の、送波タイミング発生回路321、送波ビームフォーマ322、送受切換回路323、および受信ビームフォーマ324は、制御部36の制御信号CTLによって制御される。
【0059】
Bモード処理部33は、送受信部32の受波ビームフォーマ324による各音線毎のエコー受信信号を受けて、Bモード画像データを形成する。
【0060】
図6は、図4のBモード処理部33の構成例を示す図である。
Bモード処理部33は、図6に示すように、基本波処理部331および高調波処理部332を有している。基本波処理部331および高調波処理部332には、受波ビームフォーマ324の出力信号が共通に入力される。
【0061】
基本波処理部331は、基本波エコー、すなわち送波超音波の中心周波数と同じ周波数を持つエコー受信信号を通過させる図示しないフィルタを有する。
高調波処理部332は、高調波エコー、すなわち送波超音波の中心周波数のたとえば2次の高調波(第2高調波)と同じ周波数を持つエコー受信信号を通過させる図示しないフィルタを有する。なお、このフィルタは、必要に応じて3次またはそれ以上の高次の高調波に対応するものとしても良いのは勿論である。
【0062】
基本波処理部331は、入力信号につき、基本波エコーを対数増幅および包路線検波することにより、音線上の個々の反射点でのエコーの強度を表す信号、すなわちAスコープ信号を得て、このAスコープ信号の各瞬時の振幅をそれぞれ輝度値として、Bモード画像データを形成する。すなわち基本波処理部331は基本波エコーに基づくBモード画像データを生成し、画像処理部34に出力する。
【0063】
高調波処理部332は、入力信号につき、第2高調波エコーを対数増幅および包絡線検波することにより、音線上の個々の反射点でのエコーの強度を表す信号すなわちAスコープ信号を得て、このAスコープ信の各瞬時の振幅をそれぞれ輝度値として、Bモード画像データを形成する。すなわち高調波処理部332は、第2高調波エコーに基づくBモード画像データをそれぞれ生成し、画像処理部34に出力する。
【0064】
画像処理部34は、Bモード処理部33から入力される複数系統のBモード画像データに基づいて複数のBモード画像をそれぞれ生成し、生成したBモード画像データを信号S3として画像処理装置4に出力する。
【0065】
図7は、図4の画像処理部34の構成例を示す図である。
画像処理部34は、図7に示すように、バス341によって接続された音線データメモリ342、ディジタル・スキャンコンバータ343、画像メモリ344、および画像処理プロセッサ345を有している。
【0066】
Bモード処理部33から音線毎に入力された基本波エコーおよび第2高調波エコーによるBモード画像データは、音線データメモリ342にそれぞれ記憶される。音線データメモリ342内にはそれぞれの音線デー夕空間が形成される。
【0067】
ディジタル・スキャンコンバータ343は、走査変換により音線データ空間のデータを物理空間のデータに変換する。
ディジタル・スキャンコンバータ343によって変換された画像データは、画像メモリ344に記憶される。すなわち、画像メモリ344は、物理空間の画像データを記憶する。
画像処理プロセッサ345は、音線データメモリ342および画像メモリ344のデータについてそれぞれ所定のデータ処理を施す。
【0068】
また、画像処理部34には、表示部35が接続されている。
表示部35は、画像処理部34から画像信号が与えられ、それに基づいて画像を表示する。表示部35は、たとえばカラー画像が表示可能なグラフィックディスプレイ等によって構成される。
【0069】
制御部36は、送受信部32、Bモード処理部33、画像処理部34、および表示部35の各部に制御信号CTLを与えてその動作を制御する。
また、制御部36には、被制御の各部から各種の報知信号が入力される。
そして、制御部36による制御の下で、超音波撮像が遂行される。
さらに、制御部36には操作部37が接続されている。
操作部37は操作者によって操作され、制御部36に所望の指令や情報を入力する。操作部37は、たとえばキーボードやその他の操作具を備えた操作パネルで構成される。
【0070】
画像整合装置4は、たとえばワークステーション等により構成され、MRI装置2により事前に取得された、たとえば図8(a)に示すような、血管▲1▼、腫瘍▲2▼、体表▲3▼、並びに検査のために被検体内に挿入された生検針体▲4▼を含むの臓器に関する高分解能、高コントラスト分解能のMR画像信号S2を受けて一旦記憶装置等に蓄積しておき、超音波撮像装置3によりリアルタイムに得られるUS画像信号S3を受けて、図8(b)に示し詳細は後述するように、US画像から臓器の境界などの特徴点(線)を抽出し、US画像の特徴から、その情報と整合させるように(つじつまがあうように)、事前に取得されメモリに保持したMR画像を、図8(c)に示すように変形させて、MR画像とUS画像の画像情報間に矛盾をなくした補正MR画像を生成し、表示装置5に表示させる。
すなわち、本実施形態のように、同一対象を時間をおいて撮像した場合、それらの複数枚の画像を相互に比較するためには、正確に重ね合せをする必要がある。すなわち、画像整合装置4は、位置合わせという操作を行う。
位置合わせに際しては、MR画像とUS画像のでの対応関係を明らかにしておく必要がある。
たとえばいくつかの基準点が共通に求められる場合には、これらの座標を用いて後述する座標変換方法に従って座標変換を行い、一方の画像を他方の画像に重ね合わせることができる。
【0071】
図9は、画像整合装置4の構成例を示す図である。
画像整合装置4は、図9に示すように、事前に取得した高分解能、高コントラスト分解能のMR画像信号S2を記憶するハードディスク装置等からなる記憶装置41、超音波撮像装置3によるUS画像信号S3からUS画像の特徴を抽出する特徴抽出部42、および特徴抽出部42で抽出されたUS画像の特徴から、その情報と整合させるように、記憶装置41に保持したMR画像を変形させて、MR画像とUS画像の画像情報間に矛盾をなくした補正MR画像を生成するMR画像補正部43を有する。
【0072】
なお、臓器の特徴点(線)は、図8(a)に示すような、血管▲1▼、腫瘍▲2▼、体表▲3▼等に基づいて検出する。
特徴抽出部42は、たとえば位置情報および輝度データに基づいて、抽出体対象領域の形状や位置等の特徴を検出する。
なお、腫瘍▲2▼の特徴パラメータは、形状、形態、位置、エコー、およびテクスチャの5つに大別できる。
たとえば腫瘤の形状や形態の特徴パラメータをもとめるためには、輪郭抽出処理を行う。
エコーに関する特徴は、たとえば腫瘤内部、外側、後部、後部外側陰影、および同じ深さの濃度平均値と分散を求め、それらの差や比を一つの特徴パラメータとする。
また、テクスチャは、腫瘤の種類により内部組成が異なることから違いがある。テクスチャの特徴パラメータとしては、一様性、コントラスト、エントロピー、濃度相関が用いられる。テクスチャを定量化するには、たとえばフーリエ変換法、同時共起行列法、フラクタル法などが用いられる。
また、特徴パラメータである位置パラメータは、たとえば皮膚から臓器の体表▲3▼までの距離等が用いられる。
【0073】
MR画像補正部43がMR画像を矛盾がないようにUS画像に整合させる変形処理においては、以下に示すような位置合わせが行われる。
【0074】
すなわち、上述したように本実施形態のように、同一対象を時間をおいて撮像したり、あるいは異なる撮像系や波長を用いて撮像した場合、それらの複数枚の画像を相互に比較するためには、正確に重ね合せをする必要がある。
このような操作を位置合わせという。
位置合わせに際しては、画像間での対応関係を明らかにしておく必要がある。いくつかの基準点が共通に求められる場合には、これらの座標を用いて後述する座標変換方法に従って座標変換を行い、一方の画像を他方の画像に重ね合わせることができる。
基準点が明確でない場合には、一方の画像の小領域が他方の画像内のどの領域に最も似ているかを検出することによって2枚の画像間での対応付けを行う。
基本的には、2枚の画像が平行移動で重なる関係にある場合に有効である。若干のひずみがあっても適用可能であるが、たとえば大きさが異なるなどの場合には上述したように、画像の特徴を抽出して特徴記述間のマッチングを行う。
領域域間での類似度を判定して対応点(領域)の検出を行う方法は、テンプレートマッチングと呼ばれる。
テンプレートマッチング法では 基準とする画像内の小領域をテンプレートとし、他方の画像内でこのテンプレートと最も類似した領域を探し出す(マッチング)ことが行われる。
【0075】
座標変換
幾何学的変換(変形)は、x−y座標系で表現された画像f(x,y)を、別の座標系であるu−v座標系を用いた画像g(u,v)に変換する座標変換の問題として扱うことができる。
すなわち、図10(a),(b)に示すように、画像2中の座標(u,v)にある画素P ’が、画像1中の座標(x,y)にある画素P に対応するとする。このとき、座標変換を表現する関数p(x,y)、q(x,y)を用いて、次のように表現できる。
【0076】
【数1】
u=p(x,y)
v=q(x,y) …(1)
【0077】
関数p,qとしては、次の与え方がある。
(1) 平行移動、回転拡大・縮小などあらかじめ変換式が与えられている場合、
(2) 基準となる画像( たとえば正方格子状のパターン) を撮像し、撮像系におけるひずみ特性を解析的に求める場合、
(3) 互いに位置を合わせようとする画像相互で対応する点を指定し、これらの対応関係から変換式を推定する場合、
である。
【0078】
(3) の場合、変換式としてはたとえば次式で表現される多項式表現が用いられる。
【0079】
【数2】
【0080】
画像1と2とで対応する点の組(xk ,yk ),(uk ,vk )を複数求め、式(2)に代入してaij、bijに関する連立方程式をたてる。これを最小2乗法を用いて解くことにより係数aij、bijの値が求まり変換式が確定する。
【0081】
次に、上記構成による動作を説明する。
【0082】
先ず、クッションを介してクレードル26上に載せられた被検体6が、図示しない搬送部によって、本体装置20のマグネットシステム21のギャップ211内に搬入される。
【0083】
次に、被検体6の被検部位、たとえば腹部をギャップ211内のマグネットセンタに位置させる。このとき、マグネットセンタを含むギャップ211内の所定の領域には、主磁場マグネット部212による静磁場が形成されている。
【0084】
そして、オペレータOPにより、被検部位に対応したプロトコル情報が操作部28から入力される。
操作部28から入力されたプロトコルに関する情報(プロトコル番号等)がデータ処理部31により制御部25に供給される。
【0085】
制御部25では、オペレータコンソール2Bのデータ処理部27により実行すべきプロトコルの指定があると、オペレータコンソール2Bのデータ処理部27から送られてくる被検体6の被検部位に対応した実行すべきプロトコルに即して、あらかじめ決められた繰り返し時間TR内において所定のパルスシーケンスが所定回数繰り返される駆動信号DR1をRFコイル部214に印加するようにRF駆動部22が制御され、実行すべきプロトコルに即して、1TR内に、所定のパターンのパルス信号を勾配コイル213に印加するように勾配駆動部23が制御される。
【0086】
RF駆動部22では、制御部25の指示に基づいたプロトコル対応の駆動信号DR1がRFコイル部214に印加され、勾配駆動部23では、制御部25の指示に基づいたプロトコル対応の駆動信号DR2が勾配コイル部213に印加される。
【0087】
そして、RFコイル部214より発生された高周波磁場に基づき、被検部位のスピンが励起され、励起信号の送信を打ち切った後に外部に放射される電磁波が受信コイルで受信される。
【0088】
これにより、被検体6の被検部位で励起されたスピンが生じる電磁波が磁気共鳴信号として取り出され、これがデータ収集部24で収集され、検査結果のデータとしてオペレータコンソール2Bのデータ処理部27に出力される。
すなわち、被検部位の撮像が行われる。
【0089】
データ処理部27では、データ収集部24から入力したデータがメモリに記憶され、メモリ内にデータ空間が形成される。データ処理部27では、これら2次元フーリエ空間のデータを2次元逆フーリエ変換して被検体6の被検部位の画像が生成(再構成)される。
そして、データ処理部27から再構成画像が信号S2として画像整合装置4に供給される。
【0090】
画像整合装置4では、信号S2として入力したMR画像が記憶装置41に一旦格納される。
【0091】
次に、超音波撮像装置3により、MRI装置2で撮像した被検体の同一被検部位が撮像される。
【0092】
すなわち、超音波プローブ31が被検体6の所望の個所に当接され、操作部37を操作して撮像が行われる。
撮像は、制御部36による制御の下で遂行される。
具体的には、たとえばセクタスキャンにより、各音線ごとに超音波ビームが送波され、そのエコーが送受信部32で受信され、各音線のエコー受信信号に基づき、Bモード処理部33でBモード画像データが形成される。Bモード画像データは、基本波エコーに基づくものと第2高調波エコーに基づくものとがそれぞれ形成され、画像処理部34の音線データメモリ342に記憶される。
画像処理部34では、画像処理プロセッサ345により音線データメモリ342の複数系統のBモード画像データが、デイジタル・スキャンコンバータ343で走査変換されて、それぞれ画像メモリ344に書き込まれる。
ここで、操作部37を操作して、これらのBモード画像を表示部35に表示させる。そして、表示された基本波エコー像と第2高調波エコー像とを観察し、両画像の比較対照等により診断(検査)が行われる。第2高調波エコー像は、被検体の体表から始まる画像を含むので、基本波エコー像との比較対照を行うのに都合が良い。
また、画像処理部34からは、生成したBモード画像データが信号S3として画像処理装置4に出力される。
【0093】
画像整合装置4では、上述したように、MRI装置2により事前に取得された所定の臓器に関する高分解能、高コントラスト分解能のMR画像データが記憶装置41に格納されている。
そして、画像整合装置4では、超音波撮像装置3によりリアルタイムに得られるUS画像信号S3を受けて、特徴抽出部42によりUS画像から臓器の境界などの特徴点(線)が抽出され、MR画像補正部43に出力される。
MR画像補正部43では、US画像の特徴から、その情報と整合させるように記憶装置41に格納されている事前に取得されたMR画像が変形されて、MR画像とUS画像の画像情報間に矛盾をなくした補正MR画像が生成される。
この補正され、リアルタイムに生成された超音波画像と整合され、両画像間に矛盾がなく、しかも高分解能、高コントラスト分解能のMR画像が表示装置5に表示される。
【0094】
そして、被検体6の被検部位のデータ収集が完了すると、図示しない搬送部によって、クレードル26と共に被検体6がギャップ211の外に搬出される。
【0095】
以上説明したように、本実施形態によれば、超音波撮像装置3によりリアルタイムに得られるUS画像信号S3を受けて、特徴抽出部42によりUS画像から臓器の境界などの特徴点(線)を抽出し、US画像の特徴から、その情報と整合させるように記憶装置41に格納されている事前に取得されたMR画像を変形させて、MR画像とUS画像の画像情報間に矛盾をなくした補正MR画像を生成し、補正MR画像が表示装置5に表示する画像整合装置4を設けたので、MRI装置と超音波撮像装置の画像情報から真に有用な高分解能、高コントラスト分解能のMR画像をリアルタイムに得ることができる利点がある。
【0096】
【発明の効果】
以上説明したように、本発明によれば、MRI装置と超音波撮像装置の画像情報から真に有用な合成画像をリアルタイムに得ることができる利点がある。
【図面の簡単な説明】
【図1】本発明に係る画像診断支援システムの一実施形態を示す構成図である。
【図2】本実施形態に係るMRI装置の構成例を示す図である。
【図3】スピンエコー法のパルスシーケンスについて説明するためのタイミングチャートである。
【図4】本実施形態に係る超音波撮像装置の構成例を示す図である。
【図5】図4の送受信部の構成例を示す図である。
【図6】図4のBモード処理部の構成例を示す図である。
【図7】図4の画像処理部の構成例を示す図である。
【図8】本発明に係るMRI装置によるMR画像、超音波撮像装置によるUS画像、および補正後のMR画像を示す図である。
【図9】本発明に係る画像整合装置の構成例を示す図である。
【図10】座標変換を説明するための図である。
【符号の説明】
1…画像診断支援システム、2…MRI装置、2A…本体装置、21…マグネットシステム、211…ギャップ、212…主磁場マグネット部、213…勾配コイル部、214…RFコイル部、22…RF駆動部、23…勾配駆動部、24…データ収集部、25…制御部、26…クレードル、2B…オペレータコンソール、27…データ処理部、28…操作部、29…表示部、3…超音波撮像装置、31…超音波プローブ、32…送受信部、321…送波タイミング発生回路、322…送波ビームフォーマ、323…送受切換回路、324…受波ビームフォーマ、33…Bモード処理部、331…基本波処理部、332…高調波処理部、34…画像処理部、341…バス、342…音線データメモリ、343…ディジタル・スキャンコンバータ、344…画像メモリ、345…画像プロセッサ、35…表示部、36…制御部、37…操作部、4…画像整合装置、41…記憶装置、42…特徴抽出部、43…MR画像補正部、5…表示装置、6…被検体。[0001]
BACKGROUND OF THE INVENTION
The present invention synthesizes an image (hereinafter referred to as an MR image) obtained by a magnetic resonance imaging (MRI) apparatus and an image obtained by an ultrasonic imaging apparatus (hereinafter referred to as a US image) to support a doctor's diagnosis. The present invention relates to an image diagnosis support system and an image processing method for synthesis thereof.
[0002]
[Prior art]
In an MRI apparatus, a subject is accommodated in a static magnetic field space, and a region to be examined of the subject is imaged using magnetic resonance.
Specifically, a spin in a subject is excited with an excitation pulse, and a magnetic resonance signal generated thereby is collected in a two-dimensional Fourier space, for example, as a spin echo or a gradient echo.
The magnetic resonance signal is given different phase encoding for each so-called view, and echo data of a plurality of views having different positions on the phase axis in the two-dimensional Fourier space are collected.
Then, two-dimensional inverse Fourier transform is performed on the collected echo data of all views to reconstruct the image, and the reconstructed image is displayed on the display device.
[0003]
Further, in an ultrasonic imaging apparatus, an ultrasonic probe is brought into contact with a test site of a subject and ultrasonic waves are transmitted to the subject, and an image is obtained based on, for example, a harmonic echo due to a nonlinear effect in the subject. Generate and display on the display device.
[0004]
These MRI apparatuses and ultrasonic imaging apparatuses can be used in the same electromagnetic wave shield, but are used in such a manner that each apparatus independently collects and displays images, and each image is individually used by a doctor or the like. It was used to determine the diagnosis at the time of examination and during surgery.
[0005]
[Problems to be solved by the invention]
By the way, in such a usage form, it is necessary to use the apparatus separately during examination and surgery, and the operation is complicated. Therefore, an ultrasonic imaging section corresponding to the tomographic image of the MRI apparatus can be easily collected. In addition, there has been proposed an ultrasonic and MRI combined diagnostic apparatus capable of obtaining an image useful for diagnosis by combining and displaying both images (see, for example, Japanese Patent Laid-Open Nos. 9-24034 and 9-24035). ).
[0006]
This ultrasonic and MRI combined diagnostic apparatus combines and displays MR images and US images, but MR images and US images have the advantages and disadvantages shown below, so they are simply combined. Alone, it is difficult to obtain a truly useful image in real time due to the contradiction between the image information of both.
[0007]
That is, the MRI apparatus is generally superior in contrast resolution of soft tissue and can obtain a high spatial resolution image, but has a drawback that the imaging time is longer than that of the ultrasonic diagnostic apparatus.
The ultrasonic diagnostic apparatus can perform real-time imaging, but has a drawback that the image is coarser than the MR image.
[0008]
Further, in the proposed ultrasonic and MRI combined diagnosis apparatus, assuming that, for example, morphological information is acquired by the MRI apparatus and images in the Doppler mode of the ultrasonic imaging apparatus are superimposed, a living body is set as an imaging target. Therefore, it is possible to easily infer the possibility that mutual displacement occurs due to breathing or sudden movement.
[0009]
The present invention has been made in view of such circumstances, and an object of the present invention is to provide an image diagnosis support system and an image that can obtain a truly useful composite image in real time from image information of an MRI apparatus and an ultrasonic imaging apparatus. It is to provide a processing method.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, a first aspect of the present invention is an image diagnosis support system for performing alignment processing on a plurality of image data of a test site of a subject imaged by different imaging devices, and in a static magnetic field space A magnetic resonance imaging apparatus that collects data in a pulse sequence that contains a subject and obtains a magnetic resonance signal, generates an image based on the collected data, and an ultrasonic wave that transmits an ultrasonic wave to the subject to generate an image Using the imaging device and the ultrasound image data of the region to be examined by the ultrasound imaging device, the features of the ultrasound image are extracted and acquired in advance by the magnetic resonance imaging device so as to match the feature information. And an image matching device for correcting the magnetic resonance image by deforming the magnetic resonance image.
[0011]
In a first aspect, a display device that displays a magnetic resonance image corrected by the image matching device is provided.
[0012]
In the first aspect, the image alignment apparatus includes a storage device that stores magnetic resonance image data acquired in advance by the magnetic resonance imaging apparatus, and the image alignment apparatus reads from the storage device. The above correction processing is performed on the magnetic resonance image.
[0013]
In the first aspect, the image matching device includes a storage device that stores magnetic resonance image data acquired in advance by the magnetic resonance imaging device, and ultrasonic image data of a region to be examined by the ultrasonic imaging device. A feature extraction unit for extracting features of an ultrasonic image from the image, and a magnetic resonance image acquired in advance and stored in the storage device, and matched with feature information of the ultrasonic image extracted by the feature extraction unit And a magnetic resonance image correction unit that deforms the read magnetic resonance image to generate a corrected magnetic resonance image in which a contradiction with the ultrasonic image is eliminated.
[0014]
In the first aspect, the magnetic resonance imaging apparatus collects magnetic resonance signals generated by exciting a spin in a subject with an excitation pulse in a two-dimensional Fourier space as echo data, and the collected echo data is collected. By two-dimensional inverse Fourier transform, the image is reconstructed and output to the image matching apparatus.
[0015]
In the first aspect, the ultrasonic imaging apparatus generates B-mode image data in real time based on an echo reception signal obtained through the ultrasonic probe and outputs the B-mode image data to the image matching apparatus.
[0016]
According to a second aspect of the present invention, there is provided an image processing method for performing alignment processing on a plurality of image data of a region to be examined captured by different imaging devices, the subject being placed in a static magnetic field space in a magnetic resonance imaging device. Acquire data in a pulse sequence that is stored and obtain a magnetic resonance signal, generate an image based on the collected data, acquire magnetic resonance image data in advance, Transmit ultrasonic waves to generate ultrasonic image data in real time, extract the features of the generated ultrasonic image, and transform the previously acquired magnetic resonance image to match the extracted feature information To correct the magnetic resonance image.
[0017]
In the second aspect, the corrected magnetic resonance image is displayed.
[0018]
In the second aspect, the magnetic resonance image data is obtained by collecting magnetic resonance signals generated by exciting a spin in a subject with an excitation pulse in a two-dimensional Fourier space as echo data. An image is reconstructed and generated by performing a two-dimensional inverse Fourier transform.
[0019]
In the second aspect, the ultrasonic image data is generated by forming B-mode image data in real time based on an echo reception signal obtained through an ultrasonic probe.
[0020]
According to the present invention, first, in a magnetic resonance imaging apparatus, a subject is accommodated in a static magnetic field space, and a magnetic resonance signal generated by exciting a spin in the subject with an excitation pulse is converted into two-dimensional Fourier space as echo data. To be collected. The collected echo data is subjected to a two-dimensional inverse Fourier transform, whereby an image is reconstructed and output to the image matching apparatus.
In the image matching apparatus, high-resolution and high-contrast resolution magnetic resonance image data from the magnetic resonance imaging apparatus is temporarily stored in, for example, a storage device.
Next, B-mode image data is formed in real time based on the echo reception signal obtained through the ultrasonic probe of the ultrasonic imaging apparatus, and the generated ultrasonic image data is output to the image matching apparatus.
In the image matching device, receiving ultrasonic image data obtained in real time by the ultrasonic imaging device, the feature extraction unit extracts feature points (lines) such as the boundary of the organ of the test site from the ultrasonic image, It is output to the magnetic resonance image correction unit.
The magnetic resonance image correction unit corrects the characteristic of the ultrasonic image by deforming the previously acquired magnetic resonance image stored in the storage device so that it matches the information, and eliminating the contradiction with the ultrasonic image. A magnetic resonance image is generated.
This corrected and aligned with the ultrasonic image generated in real time, there is no contradiction between both images, and a magnetic resonance image with high resolution and high contrast resolution is displayed on the display device.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an image diagnosis support system according to an embodiment of the present invention will be described with reference to the drawings.
[0022]
FIG. 1 is a configuration diagram showing an embodiment of an image diagnosis support system according to the present invention.
The image
In the present embodiment, the
[0023]
The
[0024]
FIG. 2 is a diagram illustrating a configuration example of the
[0025]
As shown in FIG. 2, the
[0026]
As shown in FIG. 2, the
[0027]
As shown in FIG. 2, the
[0028]
In the
[0029]
Each of the main magnetic
[0030]
The main magnetic
[0031]
The
[0032]
The
The RF coil unit 214 includes a transmission coil and a reception coil (not shown). As the transmission coil and the reception coil, either the same coil or a dedicated coil is used.
[0033]
In the present embodiment, the
In the magnetic resonance imaging process, the number of pulse sequences (scan sequences) used for each repetition time (TR; repetition time) varies depending on the protocol set corresponding to each test site.
For example, the view data of 64 views is obtained from 64 views by repeating different times, for example, 64 times to 512 times, for each protocol according to the test site such as the head.
[0034]
The
[0035]
The
The
[0036]
The
[0037]
The
Similarly, the
The
[0038]
This pulse sequence for magnetic resonance imaging includes a so-called spin echo (SE) method, a gradient echo (GRE) method, a fast spin echo (FSE) method, a fast recovery spin echo (SE) method. ) Method and Echo Planar Imaging (EPI) method.
[0039]
Here, among the pulse sequences of the respective imaging methods, the pulse sequence of the SE method will be described with reference to FIG.
FIG. 3A shows a sequence of 90 ° pulses and 180 ° pulses for RF excitation in the SE method, and corresponds to the
FIGS. 3B, 3C, 3D, and 3E are sequences of a slice gradient Gs, a readout gradient Gr, a phase encoding gradient Gp, and a spin echo MR, respectively. The pulses of the gradient Gr and the phase encode gradient Gp correspond to the drive signal DR2 that the
[0040]
As shown in FIG. 3A, a 90 ° pulse is applied to the
As shown in FIG. 3A, after a predetermined time from 90 ° excitation, a 180 ° pulse is applied to the
[0041]
As shown in FIGS. 3C and 3D, during the period between 90 ° excitation and spin inversion, the
Then, the spin is dephased by the read-out gradient pulse Gr, and the spin is phase-encoded by the phase encode gradient pulse Gp.
[0042]
After the spin inversion, as shown in FIG. 3C, the
The spin echo MR is collected as view data by the
[0043]
The
In addition, the
[0044]
As shown in FIG. 2, the
[0045]
The
[0046]
A
An
[0047]
The
[0048]
The
[0049]
The
[0050]
FIG. 4 is a diagram illustrating a configuration example of the
[0051]
As shown in FIG. 4, the
[0052]
The ultrasonic probe 31 is in contact with the subject 6 and is used for transmitting and receiving ultrasonic waves. The ultrasonic probe 31 has an ultrasonic transducer array (not shown). The ultrasonic transducer array is configured by arranging a plurality of ultrasonic transducers in an array. Each ultrasonic transducer is made of a piezoelectric material such as PZT (titanium (Ti) zirconate (Zr) acid) ceramics.
The ultrasonic probe 31 is connected to the transmission /
[0053]
The transmission /
[0054]
FIG. 5 is a diagram illustrating a configuration example of the transmission /
As shown in FIG. 5, the transmission /
[0055]
The transmission
The transmission beamformer 322 drives a plurality of ultrasonic transducers constituting a transmission beam forming signal, that is, a transmission aperture in the ultrasonic transducer array, with a time difference based on the transmission timing signal S321. Drive signal S322 is generated and output to the transmission /
[0056]
The transmission /
The ultrasonic beam is repeatedly transmitted at a predetermined time interval by a transmission timing signal S321 generated by the transmission
The direction of the ultrasonic beam is sequentially changed by the transmission beam former 322.
As a result, the inside of the subject 6 is scanned by sound rays formed by the ultrasonic beam. That is, the inside of the subject 6 is scanned in a sound ray sequence.
[0057]
The transmission /
The
The receiving beam former 324 outputs an echo reception signal for each sound ray to the B-
[0058]
The transmission
[0059]
The B
[0060]
FIG. 6 is a diagram illustrating a configuration example of the B-
As shown in FIG. 6, the B
[0061]
The fundamental
The
[0062]
The fundamental
[0063]
The
[0064]
The
[0065]
FIG. 7 is a diagram illustrating a configuration example of the
As shown in FIG. 7, the
[0066]
The B-mode image data by the fundamental wave echo and the second harmonic echo input for each sound ray from the B-
[0067]
The
The image data converted by the
The
[0068]
A
The
[0069]
The
In addition, various notification signals are input to the
Then, under the control of the
Further, an
The
[0070]
The
That is, as in the present embodiment, when the same object is imaged at a time, in order to compare the plurality of images with each other, it is necessary to accurately superimpose them. That is, the
At the time of alignment, it is necessary to clarify the correspondence between the MR image and the US image.
For example, when several reference points are obtained in common, coordinate conversion can be performed using these coordinates according to a coordinate conversion method described later, and one image can be superimposed on the other image.
[0071]
FIG. 9 is a diagram illustrating a configuration example of the
As shown in FIG. 9, the
[0072]
The feature points (lines) of the organ are detected based on the blood vessel (1), the tumor (2), the body surface (3), etc. as shown in FIG.
The
The characteristic parameters of the tumor (2) can be broadly classified into five: shape, form, position, echo, and texture.
For example, in order to determine the feature parameters of the shape and form of the tumor, contour extraction processing is performed.
For the features related to echoes, for example, the average value and variance of the inside, outside, back, and back outside shadows of the mass and the same depth are obtained, and the difference or ratio is used as one feature parameter.
The texture is different because the internal composition differs depending on the type of tumor. Uniformity, contrast, entropy, and density correlation are used as texture feature parameters. In order to quantify the texture, for example, a Fourier transform method, a co-occurrence matrix method, a fractal method, or the like is used.
For example, the distance from the skin to the body surface (3) of the organ is used as the position parameter that is a characteristic parameter.
[0073]
In the deformation process in which the MR
[0074]
In other words, as described above, when the same object is imaged at a time interval or is imaged using different imaging systems or wavelengths as in the present embodiment, in order to compare those multiple images with each other It is necessary to superimpose accurately.
Such an operation is called alignment.
When aligning, it is necessary to clarify the correspondence between images. When several reference points are obtained in common, coordinate conversion can be performed according to a coordinate conversion method described later using these coordinates, and one image can be superimposed on the other image.
If the reference point is not clear, the association between the two images is performed by detecting which region in one image is most similar to the other region in the other image.
Basically, it is effective when two images are overlapped by translation. Although it can be applied even if there is a slight distortion, for example, when the sizes are different, as described above, image features are extracted and matching between feature descriptions is performed.
A method of determining the degree of similarity between regions and detecting corresponding points (regions) is called template matching.
In the template matching method, a small area in a reference image is used as a template, and an area most similar to this template is searched for (matching) in the other image.
[0075]
Coordinate transformation
In geometric transformation (deformation), an image f (x, y) expressed in an xy coordinate system is converted into an image g (u, v) using a uv coordinate system which is another coordinate system. Can be treated as a coordinate transformation problem.
That is, as shown in FIGS. 10A and 10B, when the pixel P ′ at the coordinates (u, v) in the
[0076]
[Expression 1]
u = p (x, y)
v = q (x, y) (1)
[0077]
The functions p and q are given as follows.
(1) When conversion formulas such as translation, rotation enlargement / reduction are given in advance,
(2) When taking a reference image (for example, a square lattice pattern) and analytically determining the distortion characteristics in the imaging system,
(3) When specifying the corresponding points in the images to be aligned with each other and estimating the conversion formula from these correspondences,
It is.
[0078]
In the case of (3), for example, a polynomial expression expressed by the following expression is used as the conversion expression.
[0079]
[Expression 2]
[0080]
A set of points corresponding to
[0081]
Next, the operation according to the above configuration will be described.
[0082]
First, the subject 6 placed on the
[0083]
Next, the test site of the subject 6, for example, the abdomen, is positioned at the magnet center in the
[0084]
Then, the operator OP inputs protocol information corresponding to the test site from the
Information related to the protocol (protocol number and the like) input from the
[0085]
In the
[0086]
In the
[0087]
Then, based on the high-frequency magnetic field generated from the RF coil unit 214, the spin at the test site is excited, and the electromagnetic wave radiated to the outside after the transmission of the excitation signal is stopped is received by the receiving coil.
[0088]
As a result, electromagnetic waves generated by spins excited at the test site of the subject 6 are extracted as magnetic resonance signals, collected by the
That is, imaging of the test site is performed.
[0089]
In the
Then, the reconstructed image is supplied from the
[0090]
In the
[0091]
Next, the same part of the subject imaged by the
[0092]
That is, the ultrasonic probe 31 is brought into contact with a desired portion of the subject 6 and the
Imaging is performed under the control of the
Specifically, for example, by sector scanning, an ultrasonic beam is transmitted for each sound ray, the echo is received by the transmission /
In the
Here, the
Further, the generated B-mode image data is output from the
[0093]
In the
The
In the MR
This corrected and aligned with the ultrasonic image generated in real time, there is no contradiction between both images, and an MR image with high resolution and high contrast resolution is displayed on the
[0094]
When the data collection of the test site of the subject 6 is completed, the subject 6 is carried out of the
[0095]
As described above, according to the present embodiment, the US image signal S3 obtained in real time by the
[0096]
【The invention's effect】
As described above, according to the present invention, there is an advantage that a truly useful composite image can be obtained in real time from the image information of the MRI apparatus and the ultrasonic imaging apparatus.
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing an embodiment of an image diagnosis support system according to the present invention.
FIG. 2 is a diagram illustrating a configuration example of an MRI apparatus according to the present embodiment.
FIG. 3 is a timing chart for explaining a pulse sequence of a spin echo method.
FIG. 4 is a diagram illustrating a configuration example of an ultrasonic imaging apparatus according to the present embodiment.
FIG. 5 is a diagram illustrating a configuration example of a transmission / reception unit in FIG. 4;
6 is a diagram illustrating a configuration example of a B-mode processing unit in FIG. 4;
7 is a diagram illustrating a configuration example of an image processing unit in FIG. 4;
FIG. 8 is a diagram showing an MR image by an MRI apparatus according to the present invention, a US image by an ultrasonic imaging apparatus, and an MR image after correction.
FIG. 9 is a diagram illustrating a configuration example of an image matching apparatus according to the present invention.
FIG. 10 is a diagram for explaining coordinate conversion;
[Explanation of symbols]
DESCRIPTION OF
Claims (6)
静磁場空間に被検体を収容し、磁気共鳴信号を得るパルスシーケンスでデータを収集し、収集したデータに基づいて断層画像を生成する磁気共鳴撮像装置と、
被検体に超音波を送波し超音波断層画像を生成する超音波撮像装置と、
前記超音波撮像装置による被検部位の超音波断層画像データを用いて、前記超音波断層画像における臓器の境界などの特徴点又は特徴線を抽出し、断層画像上で該特徴情報と整合させるように、前記磁気共鳴撮像装置で事前に取得された磁気共鳴断層画像における血管、腫瘍、体表及び生検針体のうちの少なくとも1つを参照しながら該磁気共鳴断層画像を変形させて、磁気共鳴断層画像を補正する画像整合装置とを有する画像診断支援システム。An image diagnosis support system for performing alignment processing of a plurality of image data of a test site of a subject imaged by different imaging devices,
A magnetic resonance imaging apparatus for accommodating a subject in a static magnetic field space, collecting data in a pulse sequence for obtaining a magnetic resonance signal, and generating a tomographic image based on the collected data;
An ultrasonic imaging device that transmits ultrasonic waves to a subject to generate an ultrasonic tomographic image; and
A feature point or feature line such as an organ boundary in the ultrasonic tomographic image is extracted using the ultrasonic tomographic image data of the region to be examined by the ultrasonic imaging apparatus, and is matched with the feature information on the tomographic image. Further, the magnetic resonance tomographic image is deformed while referring to at least one of the blood vessel, tumor, body surface, and biopsy needle in the magnetic resonance tomographic image acquired in advance by the magnetic resonance imaging apparatus. An image diagnosis support system having an image matching device for correcting a tomographic image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001348507A JP3878456B2 (en) | 2001-11-14 | 2001-11-14 | Diagnostic imaging support system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001348507A JP3878456B2 (en) | 2001-11-14 | 2001-11-14 | Diagnostic imaging support system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003144412A JP2003144412A (en) | 2003-05-20 |
JP3878456B2 true JP3878456B2 (en) | 2007-02-07 |
Family
ID=19161320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001348507A Expired - Lifetime JP3878456B2 (en) | 2001-11-14 | 2001-11-14 | Diagnostic imaging support system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3878456B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9563949B2 (en) | 2012-09-07 | 2017-02-07 | Samsung Electronics Co., Ltd. | Method and apparatus for medical image registration |
US10186035B2 (en) | 2016-01-13 | 2019-01-22 | Samsung Medison Co., Ltd. | Method and apparatus for image registration |
US10542955B2 (en) | 2012-11-26 | 2020-01-28 | Samsung Electronics Co., Ltd. | Method and apparatus for medical image registration |
US11571185B2 (en) | 2019-11-08 | 2023-02-07 | Samsung Medison Co., Ltd. | Medical image displaying apparatus and method of displaying medical image using the same |
US12086999B2 (en) | 2020-03-19 | 2024-09-10 | Samsung Medison Co. Ltd. | Medical image displaying apparatus and method of displaying medical image using the same |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1893878A (en) | 2003-12-16 | 2007-01-10 | 株式会社日立医药 | Ultrasonographic bio-movement detection device, image presentation device using the same, and ultrasonographic curing device |
JP4750429B2 (en) * | 2005-02-08 | 2011-08-17 | 株式会社日立メディコ | Image display device |
JP4727302B2 (en) * | 2005-06-02 | 2011-07-20 | 富士フイルム株式会社 | Ultrasound endoscope system and electronic endoscope system |
KR20070058785A (en) * | 2005-12-05 | 2007-06-11 | 주식회사 메디슨 | Ultrasound system for interventional treatment |
JP5134897B2 (en) * | 2007-09-25 | 2013-01-30 | 株式会社東芝 | Breast examination system |
JP5538862B2 (en) * | 2009-12-18 | 2014-07-02 | キヤノン株式会社 | Image processing apparatus, image processing system, image processing method, and program |
US9092666B2 (en) | 2012-01-03 | 2015-07-28 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating organ deformation model and medical image system |
KR101768526B1 (en) | 2012-07-27 | 2017-08-17 | 삼성전자주식회사 | Method and apparatus for creating model of patient specified target organ based on blood vessel structure |
KR102106535B1 (en) | 2013-02-06 | 2020-05-06 | 삼성전자주식회사 | Method, apparatus and system for generating model representing deformation of shape and location of organ in respiration cycle |
KR20150074304A (en) | 2013-12-23 | 2015-07-02 | 삼성전자주식회사 | Method for Providing Medical Image and Apparatus Thereof |
JP5808446B2 (en) * | 2014-02-24 | 2015-11-10 | キヤノン株式会社 | Information processing apparatus and information processing method |
KR102273020B1 (en) * | 2014-06-18 | 2021-07-05 | 삼성전자주식회사 | Method and appartus for registering medical images |
KR102530170B1 (en) * | 2014-10-08 | 2023-05-10 | 삼성전자주식회사 | Image processing apparatus and control method for the same, and medical image apparatus |
US10127655B2 (en) | 2015-07-09 | 2018-11-13 | Samsung Medison Co., Ltd. | Medical imaging apparatus and method of operating same |
KR101659959B1 (en) | 2015-09-03 | 2016-09-26 | 삼성전자주식회사 | Method for Providing Medical Image and Apparatus Thereof |
US10964036B2 (en) * | 2016-10-20 | 2021-03-30 | Optina Diagnostics, Inc. | Method and system for detecting an anomaly within a biological tissue |
-
2001
- 2001-11-14 JP JP2001348507A patent/JP3878456B2/en not_active Expired - Lifetime
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9563949B2 (en) | 2012-09-07 | 2017-02-07 | Samsung Electronics Co., Ltd. | Method and apparatus for medical image registration |
US10542955B2 (en) | 2012-11-26 | 2020-01-28 | Samsung Electronics Co., Ltd. | Method and apparatus for medical image registration |
US10186035B2 (en) | 2016-01-13 | 2019-01-22 | Samsung Medison Co., Ltd. | Method and apparatus for image registration |
US11571185B2 (en) | 2019-11-08 | 2023-02-07 | Samsung Medison Co., Ltd. | Medical image displaying apparatus and method of displaying medical image using the same |
US12086999B2 (en) | 2020-03-19 | 2024-09-10 | Samsung Medison Co. Ltd. | Medical image displaying apparatus and method of displaying medical image using the same |
Also Published As
Publication number | Publication date |
---|---|
JP2003144412A (en) | 2003-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3878456B2 (en) | Diagnostic imaging support system | |
JP3878462B2 (en) | Diagnostic imaging support system | |
CN103356189B (en) | The method of magnetic resonance and ultrasound parametric image fusion | |
US7307423B2 (en) | Magnetic resonance elastography using multiple drivers | |
US9282933B2 (en) | Magnetic resonance elastography for ultrasound image simulation | |
US20130345545A1 (en) | Ultrasound Enhanced Magnetic Resonance Imaging | |
US6500123B1 (en) | Methods and systems for aligning views of image data | |
JP4613051B2 (en) | MRT image forming method | |
CN106137249A (en) | Carry out registrating in the case of narrow visual field merging for multi-modal medical imaging | |
US9795364B2 (en) | Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing method | |
KR20070119578A (en) | Imaging apparatus and imaging method | |
US11304683B2 (en) | Biopsy workflow using multimodal imaging | |
JP4072879B2 (en) | Nuclear magnetic resonance imaging system | |
JP3887774B2 (en) | Displacement vector measuring device and strain tensor measuring device | |
JP3936450B2 (en) | Projection image generation apparatus and medical image apparatus | |
JP4350214B2 (en) | Ultrasonic diagnostic equipment | |
JP4901420B2 (en) | Magnetic resonance imaging apparatus and magnetic resonance imaging method | |
JP3744901B2 (en) | Inspection device | |
Zeng et al. | 3D liver shear wave absolute vibro-elastography with an xmatrix array-a healthy volunteer study | |
CN110934613B (en) | Ultrasonic diagnostic apparatus and ultrasonic diagnostic method | |
JP4901273B2 (en) | Ultrasonic diagnostic apparatus and image processing program thereof | |
JP4125134B2 (en) | Magnetic resonance acousticography | |
JP3782440B2 (en) | Inspection device | |
JP4526102B2 (en) | Image processing method and apparatus | |
JP4558219B2 (en) | Magnetic resonance imaging system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20040506 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060131 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060403 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060502 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060731 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060803 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3878456 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091110 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131110 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |