以下、本発明の実施形態について説明する。
(第一実施形態)
先ず、第一実施形態について図1〜図9に基づいて説明する。図1に示す超音波診断装置1は、超音波プローブ2、送受信ビームフォーマ3、エコーデータ処理部4、表示制御部5、表示部6、操作部7、制御部8、記憶部9を備える。
前記超音波プローブ2は、アレイ状に配置された複数の超音波振動子(図示省略)を有して構成され、この超音波振動子によって被検体に対して超音波を送信し、そのエコー信号を受信する。
前記超音波プローブ2には、例えばホール素子で構成される前記磁気センサ10が設けられている。この磁気センサ10により、例えば磁気発生コイルで構成される磁気発生部11から発生する磁気が検出されるようになっている。前記磁気センサ10における検出信号は、前記表示制御部5へ入力されるようになっている。前記磁気センサ10における検出信号は、図示しないケーブルを介して前記表示制御部5へ入力されてもよいし、無線で前記表示制御部5へ入力されてもよい。前記磁気発生部11及び前記磁気センサ10は、後述のように前記超音波プローブ2の位置及び傾きを検出するために設けられている。
前記送受信ビームフォーマ3は、前記超音波プローブ2から所定の走査条件で超音波を送信するための電気信号を、前記制御部8からの制御信号に基づいて前記超音波プローブ2に供給する。また、前記送受信ビームフォーマ3は、前記超音波プローブ2で受信したエコー信号について、A/D変換、整相加算処理等の信号処理を行ない、信号処理後のエコーデータを前記エコーデータ処理部4へ出力する。
前記エコーデータ処理部4は、前記送受信ビームフォーマ3から出力されたエコーデータに対し、超音波画像を作成するための処理を行なう。例えば、前記エコーデータ処理部4は、対数圧縮処理、包絡線検波処理等のBモード処理を行ってBモードデータを作成する。また、前記エコーデータ処理部4は、直交検波処理、MTIフィルタ(Moving Target Indication filter)処理、自己相関演算処理等を行なってカラードプラデータを作成してもよい。
前記表示制御部5は、図2に示すように、位置算出部51、超音波画像データ作成部52、表示画像制御部53、グループ設定部54、座標変換情報設定部55を有する。前記位置算出部51は、前記磁気センサ10からの磁気検出信号に基づいて、前記磁気発生部11を原点とする三次元空間の座標系における前記超音波プローブ2の位置及び傾きの情報(以下、「プローブ位置情報」と云う)を算出する。さらに、前記位置算出部51は、前記プローブ位置情報に基づいてエコー信号の前記三次元空間の座標系における位置情報を算出する。前記磁気発生部11を原点とする三次元空間の座標系を、超音波画像UIの座標系と云うものとする。
前記超音波画像データ作成部52は、前記エコーデータ処理部4から入力されたデータを、スキャンコンバータ(Scan Converter)によって走査変換して超音波画像データを作成する。具体的には、前記超音波画像データは、Bモード画像データやカラードプラ画像データなどである。
前記表示画像制御部53は、図3に示すように、超音波画像UIを前記表示部6に表示させるとともに、この超音波画像UIと被検体において同一断面の医用画像MIを表示させる(表示画像制御機能)。詳細は後述する。前記表示画像制御部53は、本発明における表示画像制御部の実施の形態の一例である。
前記医用画像MIは、超音波の送受信対象と同一被検体について、前記超音波診断装置1以外の医用画像装置100で予め取得された医用画像である。例えば、前記医用画像装置100は、X線CT装置やMRI装置などであり、前記医用画像は、前記X線CT装置で取得されたX線CT画像や前記MRI装置で取得されたMRI画像である。
前記医用画像MIは、超音波画像であってもよい。この場合、超音波画像は、前記超音波診断装置1で予め取得された画像であってもよいし、前記超音波診断装置1とは別の超音波診断装置(図示省略)で予め取得された画像であってもよい。
前記グループ設定部54は、後述するようにボリュームデータに対してグループを設定する。また、前記座標変換情報設定部55は、座標変換情報設定機能を実行する。具体的には、前記座標変換情報設定部55は、異なるボリュームデータの間における座標変換情報を設定する。また、前記座標変換情報設定部55は、異なるグループの間における座標変換情報(座標変換式)を設定する。詳細は後述する。前記座標変換情報設定部55は、本発明における対応情報設定部の実施の形態の一例である。また、前記座標変換情報設定機能は、本発明における対応情報設定機能の実施の形態の一例である。
前記表示部6は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)などである。前記操作部7は、操作者が指示や情報を入力するためのキーボード及びポインティングデバイス(図示省略)などを含んで構成されている。前記操作部7は、本発明における入力部の実施の形態の一例である。
前記制御部8は、特に図示しないがCPU(Central Processing Unit)を有して構成される。この制御部8は、前記記憶部9に記憶された制御プログラムを読み出し、前記表示画像制御機能や座標変換情報設定機能などを始めとする前記超音波診断装置1の各部における機能を実行させる。
前記記憶部9は、HDD(Hard Disk Drive:ハードディスクドライブ)や、RAM(Random Access Memory)やROM(Read Only Memory)等の半導体メモリ(Memory)である。前記記憶部9には、前記制御プログラムの他、超音波の送受信対象と同一被検体について予め取得された前記医用画像MIのデータが記憶される。この医用画像MIのデータは被検体における三次元領域についてのボリュームデータである。前記医用画像MIのデータは、医用画像MIの座標系における位置情報とともに前記記憶部9に記憶される。
また、前記記憶部9には、前記エコーデータ処理部4から出力されたBモードデータやカラードプラデータなどのローデータ(raw data)が記憶される。また、前記記憶部9には、前記超音波画像データ作成部52によって作成された超音波画像データが記憶されてもよい。本例では、後述するように被検体の三次元領域に対して超音波の送受信が行われる。従って、前記ローデータ(前記Bモードデータや前記カラードプラデータ)及び前記超音波画像データは、ボリュームデータである。
前記ローデータや前記超音波画像データは、前記位置算出部51によって算出された前記プローブ位置情報及び/又はエコー信号の位置情報とともに、前記記憶部9に記憶される。前記記憶部9は、本発明における記憶部の実施の形態の一例である。
さて、本例の超音波診断装置1の作用について説明する。先ず、前記超音波診断装置1によって、被検体Pについての超音波のボリュームデータが取得される。具体的には、操作者は、前記超音波プローブ2によって前記被検体の三次元領域に対して超音波の送受信を行ない、得られたエコー信号に基づいて、前記エコーデータ処理部4は、例えばBモードデータ及びカラードプラデータを作成する。そして、前記超音波画像データ作成部52は、Bモード画像データ及びカラードプラ画像データを作成する。これらBモードデータ、カラードプラデータ、Bモード画像データ及びカラードプラ画像データなどの超音波のボリュームデータは、前記位置算出部51によって算出されるプローブ位置情報又はエコー信号の位置情報とともに、前記記憶部9に記憶される。
次に、前記超音波のボリュームデータに基づく画像と、前記被検体Pについて、前記医用画像装置100で取得されたボリュームデータに基づく画像が、前記表示部6に表示される。表示部6には、前記被検体Pの同一断面について複数の画像が表示される。具体的に、図4のフローチャートに基づいて説明する。
先ず、ステップS1では、例えば操作者による前記操作部7の入力があると、前記制御部8は、前記記憶部9に記憶された複数のボリュームデータを読み込む。ここでは、超音波のボリュームデータVDUS1,VDUS2と、CTのボリュームデータVDCTとが読み込まれる。
次に、ステップS2では、前記ステップS1で読み込まれたボリュームデータのグループ分けを行なう。具体的にこのグループ分けについて説明する。先ず、前記表示画像制御部53は、例えば前記ボリュームデータが読み込まれた後に、図5に示すように、前記表示部6にアイコンIC及び領域Rを表示させる。
前記アイコンICは、前記ステップS1で読み出されたボリュームデータに対応する。ここでは、アイコンICとして、超音波のボリュームデータVDUS1,VDUS2を示すアイコンIC1,IC2と、CTのボリュームデータVDCTを示すアイコンIC3とが表示されている。
前記領域Rは、ボリュームデータが属するグループを示す領域である。ここでは、前記領域Rとして、グループGrAを示す領域R1と、グループGrBを示す領域R2とが表示される。ちなみに、グループに属するボリュームデータは、後述するように操作者によって指定され、グループ分けが行われる。
前記領域Rは、デフォルト(default)の設定に従って表示されてもよいし、操作者による前記操作部7の入力によって表示されてもよい。この場合、前記グループGrA,GrBを表示させる入力があると、前記領域R1,R2が表示される。例えば、操作者は、表示させる領域の数や領域の表示名「GrA,GrB」を入力する。
前記アイコンIC及び前記領域Rが表示されると、操作者はボリュームデータのグループ分けを行なう。例えば、操作者は、前記操作部7のトラックボール等を用いて、所望の前記領域に対して、図6に示すように、前記アイコンICをドラッグアンドドロップ(drag and drop)して、グループ分けを行なう。図6では、前記アイコンIC1,IC2が前記領域R1にドラッグアンドドロップされ、前記アイコンIC3が前記領域R3にドラッグアンドドロップされている。これにより、前記グループ設定部54は、前記アイコンIC1,IC2に対応する超音波のボリュームデータVDUS1,VDUS2をグループGrAに属するボリュームデータとし、前記アイコンIC3に対応するCTのボリュームデータVDCTをグループGrBに属するボリュームデータとする。
このようにして、グループが設定されると、前記表示部6には、図7に示すように、前記領域R1内に前記アイコンIC1,IC2が表示され、前記領域R2内に前記アイコンIC3が表示される。
前記グループGrAは、本発明における第一グループの実施の形態の一例であり、前記ボリュームデータVDUS1,VDUS2は、本発明における第一ボリュームデータの実施の形態の一例である。また、前記グループGrBは、本発明における第二グループの実施の形態の一例であり、前記ボリュームデータVDCTは、本発明における第二ボリュームデータの実施の形態の一例である。
操作者は、被検体の同一部分について位置対応関係が特定されているボリュームデータが同じグループに属するように、グループ分けを行なう。前記位置対応関係が特定されているボリュームデータは、被検体の同一部分の座標が同一のボリュームデータ又は被検体の同一部分の座標が異なっているものの、互いに座標変換が可能で、座標対応関係が特定されているボリュームデータである。
例えば、位置対応関係が特定されているボリュームデータは、被検体が動かずに取得された超音波のボリュームデータ、すなわち前記磁気発生部11を原点とする三次元空間の座標系において、被検体の同一部分の座標が同一のボリュームデータである。また、位置対応関係が特定されているボリュームデータは、被検体が動いたことによって、前記磁気発生部11を原点とする三次元空間の座標系において、被検体の同一部分の座標が異なっているものの、互いに座標変換が可能で、座標対応関係が特定されているボリュームデータも該当する。
ちなみに、本例においては、位置対応関係が特定されているボリュームデータは、前記超音波のボリュームデータVDUS1,VDUS2である。これら超音波のボリュームデータVDUS1,VDUS2は、Bモード画像データとカラードプラ画像データであり、同一のモダリティ、すなわち同一の座標系(前記磁気発生部11を原点とする三次元空間の座標系)において、被検体の同一部分について取得されたデータである。すなわち、前記ボリュームデータVDUS1,VDUS2は、被検体における同一部分の座標が同一のデータである。
次に、ステップS3では、前記グループGrAと前記グループGrBとの間の位置対応情報が設定される(位置合わせ処理)。具体的には、前記グループGrAに属する超音波のボリュームデータVDUS1,VDUS2のうちのいずれかと、前記グループGrBに属するCTのボリュームデータVDCTとの間で位置対応情報が設定される。
位置対応情報の設定手法について具体的に説明する。ここでは、前記ボリュームデータVDUS1と前記ボリュームデータVDCTとの間で位置対応情報を設定するものとする。先ず、前記表示画像制御部53は、例えば操作者による前記操作部7の入力によって、図8に示すように、前記ボリュームデータVDUS1に基づく超音波画像UIと前記ボリュームデータVDCTに基づく医用画像(X線CT画像)MIとを、前記表示部6に並べて表示させる。
次に、操作者は前記表示部6に表示された前記超音波画像UIと前記医用画像MIとを見比べながら、いずれか一方又は両方の画像の断面を移動させ、同一断面の超音波画像UIと医用画像MIとを表示させる。断面の移動は、例えば前記操作部7を操作して断面を変更する指示を入力することにより行なう。
同一断面か否かは、例えば操作者が特徴的な部位を参照するなどして判断する。操作者は、同一断面についての超音波画像UI及び医用画像MIが表示されると、前記操作部7のトラックボール等を用いて、前記超音波画像UIの任意の点を指定する。また、操作者は前記超音波画像UIにおいて指定された点と同一位置と思われる点を前記医用画像MIにおいても指定する。操作者は、このような点の指定を複数点について行なう。
ここで、前記ボリュームデータVDUS1及び前記ボリュームデータVDCTは位置情報を有している。従って、上述のように前記超音波画像UIと前記医用画像MIとで同一位置と思われる点を指定すると、前記ボリュームデータVDUS1の座標系と前記ボリュームデータVDCTの座標系との対応位置が特定される。そして、前記ボリュームデータVDUS1の座標系と前記ボリュームデータVDCTの座標系との対応点が複数点特定されると、前記座標変換情報設定部55は、対応点の座標情報に基づいて、前記ボリュームデータVDUS1の座標系と前記ボリュームデータVDCTの座標系との間の座標変換式f1を作成する。この座標変換式により、前記ボリュームデータVDUS1の座標系と前記ボリュームデータVDCTの座標系との間で座標変換が可能になる。
前記座標変換情報設定部55は、図9に示すように、前記座標変換式f1を前記グループGrAと前記グループGrBの間の座標変換式として設定する。すなわち、前記座標変換情報設定部55は、前記座標変換式f1を、前記グループGrAに属するボリュームデータVDUS1,VDUS2と、前記グループGrBに属するボリュームデータVDCTとの間の位置対応情報とする。
次に、ステップS4では、操作者は、前記被検体Pの同一断面について、前記グループGrAに属するボリュームデータVDUS1,VDUS2のいずれかに基づく超音波画像UIと、前記グループGrBに属するボリュームデータVDCTに基づく医用画像MI(X線CT画像)とを前記表示部6に表示させる。具体的には、操作者が前記被検体Pの同一断面の画像を表示させるボリュームデータVD(ここでは、前記ボリュームデータVDUS1又は前記ボリュームデータVDUS2)を、前記操作部7を用いて選択すると、前記表示画像制御部53は、選択されたボリュームデータVDに基づいて、前記座標変換式f1を用いて、同一断面の画像を表示させる。
ここでは、前記ボリュームデータVDUS2が選択され、このボリュームデータVDUS2に基づく超音波画像UIと、前記ボリュームデータVDCTに基づく医用画像MIとが表示される。前記表示画像制御部53は、前記ボリュームデータVDUS2における座標点を前記座標変換式f1によって座標変換して、前記ボリュームデータVDCTにおいて対応する座標点を特定し、図3に示すように、同一断面の超音波画像UIと医用画像MIとを表示させる。
ここで、前記ボリュームデータVDUS2と前記ボリュームデータVDCTとの間においては、座標変換式は直接設定されていない。しかし、前記ボリュームデータVDUS1及び前記ボリュームデータVDUS2は、同一の座標系において前記被検体Pの同一部分の座標が同一なので、前記座標変換式f1を用いることにより、前記ボリュームデータVDUS2と前記ボリュームデータVDCTとの間において対応する座標点を特定することができる。
ちなみに、図3において、前記医用画像MI上に表示された輪郭線Olで囲まれる領域は、前記医用画像MIにおいて超音波画像UIと対応する領域である。前記医用画像MIにおける前記輪郭線Ol内の画像及び前記超音波画像UIは、被検体において同一領域の画像である。
本例によれば、ボリュームデータVDUS2とボリュームデータVDCTとの間で座標変換式を作成するための位置合わせ処理を行なわなくても、前記グループGrAと前記グループGrBとの間の位置対応情報として設定された前記座標変換式f1を用いて座標変換を行なうことにより、被検体Pの同一断面の画像を表示させることができる。このように、ボリュームデータVDの全ての組み合わせについて位置合わせ処理をする必要がないので、操作者の負担を軽減することができる。
次に、第一実施形態の変形例について説明する。この変形例では、同一グループに属する位置対応関係が特定されているボリュームデータ(前記グループGrAに属するボリュームデータVDUS1,VDUS2)は、同一の座標系(前記磁気発生部11を原点とする三次元空間の座標系)の異なる座標位置において取得されて被検体Pの同一部分の座標が異なっており、互いに座標変換が可能なボリュームデータである。
本例では、前記ボリュームデータVDUS1,VDUS2は、例えば被検体Pの三次元領域について、前記超音波プローブ2による超音波の送受信を二回行なって得られたデータである。一回目のボリュームデータの取得時と二回目のボリュームデータの取得時とで、前記磁気発生部11を原点とする三次元空間の座標系における被検体Pの位置が変わった場合、前記ボリュームデータVDUS1,VDUS2は、被検体Pの同一部分の座標が異なる。
被検体Pの同一部分の座標が異なり、互いに座標変換が可能なボリュームデータについて、図10に基づいて説明する。図10は、被検体Pの平面図である。被検体Pの同一部分の座標が異なるボリュームデータは、例えば被検体Pにおける位置は同一であるものの、被検体Pの呼吸や体動などによって、異なる座標位置(本例では、前記磁気発生部11を原点とする三次元空間の座標系における座標位置)において取得されたボリュームデータVD1,VD2である。このボリュームデータVD1における座標点と、ボリュームデータVD2における座標点との位置対応関係が特定され、座標変換が可能である場合に、これらボリュームデータVD1,VD2を同一グループにすることができる。例えば、図10において、点p1,p2は、被検体Pにおいては同一位置であるものの、被検体Pが動くことにより座標位置が異なる。これら点p1,p2をはじめとする前記ボリュームデータVD1,VD2の各点の座標変換式が存在して、ボリュームデータVD1の各点と,ボリュームデータVD2の各点との間で互いに位置対応関係が特定されている場合、これらボリュームデータVD1,VD2を同一グループにすることができる。
被検体の同一部分の座標が異なるボリュームデータの位置対応関係を特定する手法の一例について説明する。先ず、操作者が被検体において同一断面と思う画像を、各ボリュームデータに基づいて表示させる。次に、操作者は、それぞれの画像において、被検体において同一部分をマーキング等によって特定する。これにより、前記座標変換情報設定部55によって座標変換式が作成され、位置対応関係が特定される。
このように、異なる座標位置において取得されたボリュームデータについては、位置対応関係が特定されている状態で、前記ステップS2において同じグループに入れる。
前記ステップS4において、前記ボリュームデータVDUS2に基づく超音波画像UIと、前記ボリュームデータVDCTに基づく医用画像MIとを表示させる場合の前記表示画像制御部53の処理について説明する。図11に示すように、前記ボリュームデータVDUS1と前記ボリュームデータVDUS2との間の座標変換式をf2、前記グループGrAと前記グループGrBとの間の座標変換式をf1とする。前記ボリュームデータVDUS2と前記ボリュームデータVDCTとに基づいて、被検体における同一断面の超音波画像UI及び医用画像MIを表示させるには、前記表示画像制御部53は、先ず前記ボリュームデータVDUS2の座標点を、前記座標変換式f2を用いて変換する。次に、変換後の座標点を、前記座標変換式f1を用いて変換する。これにより、前記ボリュームデータVDUS2と、前記ボリュームデータVDCTとの対応点が特定され、前記表示画像制御部53は、同一断面の超音波画像UIと医用画像MIとを表示する。
(第二実施形態)
次に、第二実施形態について説明する。以下、前記第一実施形態と異なる事項について説明する。
本例では、図5の前記ステップ1において、超音波のボリュームデータVDUS1,VDUS2と、CTのボリュームデータVDCT1,VDCT2,VDCT3が前記記憶部9から読み込まれる。
前記ステップS2のグループ分けでは、図12に示すように、前記超音波のボリュームデータVDUS1,VDUS2を示すアイコンIC1,IC2と、前記CTのボリュームデータVDCT1,VDCT2,VDCT3を示すアイコンIC3,IC4,IC5とが表示される。前記アイコンIC1,IC2は、前記領域R1にドラッグアンドドロップされ、前記アイコンIC3,IC4,IC5は、前記領域R2にドラッグアンドドロップされる。これにより、前記グループ設定部54は、前記超音波のボリュームデータVDUS1,VDUS2を前記グループGrAに属するボリュームデータとし、前記CTのボリュームデータVDCT1,VDCT2,VDCT3を前記グループGrBに属するボリュームデータとする。従って、第一実施形態と異なり、前記グループGrBにも複数のボリュームデータが属する。
前記表示部6には、図13に示すように、前記領域R1内に前記アイコンIC1,IC2が表示され、前記領域R2内に前記アイコンIC3,IC4,IC5が表示される。
前記超音波のボリュームデータVDUS1,VDUS2は、互いに位置対応関係が特定されている。前記超音波のボリュームデータVDUS1,VDUS2は、被検体の同一部分の座標が同一のデータである。
また、前記CTのボリュームデータVDCT1,VDCT2,VDCT3も、互いに位置対応関係が特定されている。前記CTのボリュームデータVDCT1,VDCT2,VDCT3は、被検体の同一位置において取得され、被検体における同一部分の座標が同一のボリュームデータである。
第一実施形態と同様にして、前記ステップS3において、前記グループGrAと前記グループGrBとの間の位置対応情報が設定されると、前記ステップS4では、前記被検体Pの同一断面について、ボリュームデータVDUS1,VDUS2のいずれかに基づく超音波画像UIと、前記ボリュームデータVDCT1,VDCT2,VDCT3のいずれかに基づく医用画像MI(X線CT画像)とが前記表示部6に表示される。
例えば、前記ステップS3において、前記ボリュームデータVDUS1と前記ボリュームデータVDCT2との間で設定された座標変換式f1が、図14に示すように、前記グループGrAと前記グループGrBとの間の位置対応情報として設定されたとする。ちなみに、図において、ドット(dot)は、座標変換式が直接設定されたボリュームデータであることを示す。前記表示画像制御部53は、前記グループGrAに属するいずれかの前記ボリュームデータVDUS1,VDUS2と、前記グループGrBに属するいずれかの前記ボリュームデータVDCT1,VDCT2,VDCT3との間で前記座標変換式f1を用いて座標変換を行ない、同一断面についての前記超音波画像UIと前記医用画像MIとを表示させる。
前記表示画像制御部53は、操作者が前記操作部7を用いて選択したボリュームデータVDに基づいて、同一断面の超音波画像UIと医用画像MIとを表示させる。例えば、前記ボリュームデータVDUS2及び前記ボリュームデータVDCT3が選択されると、前記表示画像制御部53は、前記ボリュームデータVDUS2の座標点を前記座標変換式f1によって座標変換して、前記ボリュームデータVDCT3において対応する座標点を特定し、図3に示すように、同一断面の超音波画像UIと医用画像MIとを表示させる。
本例においても、前記ボリュームデータVDUS2と前記ボリュームデータVDCT3との間においては、座標変換式は直接設定されていない。しかし、前記ボリュームデータVDUS1及び前記ボリュームデータVDUS2は、同一の座標系において前記被検体Pの同一部分の座標が同一であり、なおかつ前記ボリュームデータVDCT1、前記ボリュームデータVDCT2及び前記ボリュームデータVDCT3も、同一の座標系において前記被検体Pの同一部分の座標が同一なので、前記座標変換式f1を用いることにより、前記ボリュームデータVDUS2と前記ボリュームデータVDCTとの間において対応する座標点を特定することができる。
本例によっても、前記グループGrAに属するいずれかの前記ボリュームデータVDUS1,VDUS2と、前記グループGrBに属するいずれかの前記ボリュームデータVDCT1,VDCT2,VDCT3との全ての組み合わせについて、座標変換式を作成するための位置合わせ処理を行なわなくても、前記被検体Pの同一断面の超音波画像UIと医用画像MIとを表示させることができる。
次に、第二実施形態の変形例について説明する。この変形例では、同一グループに属するボリュームデータVDは、前記第一実施形態の変形例と同様に、同一の座標系において取得され、被検体Pの同一部分の座標が異なっており、互いに座標変換が可能なボリュームデータである。
例えば、前記ボリュームデータVDCT1,VDCT2,VDCT3は、図15に示すように、被検体Pの同一部分と異なる部分とを含むように取得され、互いに重複する部分を有するデータである。被検体Pにおける点pは、前記ボリュームデータVDCT1,VDCT2,VDCT3の座標においては、異なる座標になっているものの、前記ボリュームデータVDCT1,VDCT2,VDCT3の間において点pの座標変換が可能であり、点pに対応する座標が特定されている。そして、点pに限らず、前記ボリュームデータVDCT1,VDCT2,VDCT3の対応点について、互いに座標変換が可能であり、被検体の同一部分について、対応する座標が特定されている
前記ボリュームデータVDCT1,VDCT2,VDCT3の位置対応関係の特定は、第一実施形態の変形例と同様の手法で操作者が行なってもよいし、画像において同一パターンの部分を画像処理によって特定して、自動的に行なってもよい。
例えば、前記ボリュームデータVDUS2に基づく超音波画像UIと、前記ボリュームデータVDCT3に基づく医用画像MIとを、前記ステップS4において表示させる場合の前記表示画像制御部53の処理について説明する。図16に示すように、前記グループGrAと前記グループGrBとの間の座標変換式をf1とする。この座標変換式f1は、前記ボリュームデータVDUS1と前記ボリュームデータVDCT2との間で設定された式である。また、前記ボリュームデータVDUS1と前記ボリュームデータVDUS2との間の座標変換式をf2、前記ボリュームデータVDCT1と前記ボリュームデータVDCT2との間の座標変換式をf3、前記ボリュームデータVDCT2と前記ボリュームデータVDCT3との間の座標変換式をf4とする。
前記ボリュームデータVDUS2と前記ボリュームデータVDCT3とに基づいて、被検体における同一断面の超音波画像UI及び医用画像MIを表示させるには、前記表示画像制御部53は、図17に示すように、先ず前記ボリュームデータVDUS2の座標点を、前記座標変換式f2を用いて前記ボリュームデータVDUS1の座標系に座標変換し、ボリュームデータVDUS1′を得る。次に、このボリュームデータVDUS1′の座標点を、前記座標変換式f1を用いてボリュームデータVDCT2の座標系に座標変換してボリュームデータVDCT2′を得た後、このボリュームデータVDCT2′の座標点を、前記座標変換式f4を用いてボリュームデータVDCT3の座標系に変換して、ボリュームデータVDCT3′を得る。これにより、前記ボリュームデータVDUS2と、前記ボリュームデータVDCT3との対応点が特定され、前記表示画像制御部53は、同一断面の超音波画像UIと医用画像MIとを表示する。
このように、同一グループにおいて、他のグループのボリュームデータVDと座標変換式が直接設定されたボリュームデータVDとの間で座標変換を行ない、なおかつグループ間において設定された座標変換式を用いることにより、座標変換式が直接設定されていないボリュームデータVDの間で対応点を特定することができ、同一断面の画像を表示することができる。
(第三実施形態)
次に、第三実施形態について説明する。以下、前記第一、第二実施形態と異なる事項について説明する。
本例では、図5の前記ステップS1において、超音波のボリュームデータVDUS1,VDUS2と、CTのボリュームデータVDCT1,VDCT2,VDCT3と、MRIのボリュームデータVDMRI1,VDMRI2とが、前記記憶部9から読み込まれる。
前記ステップS2のグループ分けでは、図18に示すように、前記超音波のボリュームデータVDUS1,VDUS2を示すアイコンIC1,IC2と、前記CTのボリュームデータVDCT1,VDCT2,VDCT3を示すアイコンIC3,IC4,IC5と、MRIのボリュームデータVDMRI1,VDMRI2を示すアイコンIC6,IC7が表示される。また、本例では、前記領域R1,R2の他、グループGrCを示す領域R3が表示される。
前記アイコンIC1,IC2は、前記領域R1にドラッグアンドドロップされ、前記アイコンIC3,IC4,IC5は、前記領域R2にドラッグアンドドロップされる。また、前記アイコンIC6,IC7は、前記領域R3にドラッグアンドドロップされる。これにより、前記グループ設定部54は、前記超音波のボリュームデータVDUS1,VDUS2を前記グループGrAに属するボリュームデータとし、前記CTのボリュームデータVDCT1,VDCT2,VDCT3を前記グループGrBに属するボリュームデータとし、前記MRIのボリュームデータVDMRI1,VDMRI2を前記グループGrCに属するボリュームデータとする。前記表示部6には、図19に示すように、前記領域R1内に前記アイコンIC1,IC2が表示され、前記領域R2内に前記アイコンIC3,IC4,IC5が表示される。また、前記領域R3内に前記アイコンIC6,IC7が表示される。
本例においても、同一グループ内のボリュームデータは、互いに位置対応関係が特定されている。
前記ステップS3では、各グループは、少なくともいずれかのグループとの間で座標変換式が設定される。具体的には、図20に示すように、少なくとも前記グループGrAと前記グループGrBとの間で座標変換式f1が設定され、なおかつ前記グループGrBと前記グループGrCとの間で座標変換式f5が設定される。さらに、前記座標変換式f1,f5に加えて、特に図示しないが、前記グループGrAと前記グループGrCとの間で座標変換式が設定されてもよい。
例えば、前記グループGrAと前記グループGrBとの間で設定される座標変換式f1は、前記ボリュームデータVDUS1と前記ボリュームデータVDCT2との間で設定された座標変換式であり、前記前記グループGrBと前記グループGrCとの間で設定される座標変換式f5は、前記ボリュームデータVDCT3と前記ボリュームデータVDMRI1との間で設定された座標変換式であるとする。ちなみに、図において、ドット及び斜線は、座標変換式が直接設定されたボリュームデータであることを示す。
ここで、前記各グループ内のボリュームデータは、被検体Pの同一部分の座標が異なっており、互いに座標変換が可能なボリュームデータであるものとする。図21に示すように、グループGrA内におけるボリュームデータVD間の座標変換式及び前記グループGrB内におけるボリュームデータVD間の座標変換式については、前記第二実施形態の図16と同一である。また、前記グループGrCにおいて、前記ボリュームデータVDと前記ボリュームデータVDとの間の座標変換式をf6とする。
前記被検体における同一断面の超音波画像UIと医用画像MIとして、前記ボリュームデータVDUS2に基づく超音波画像と前記ボリュームデータVDMRI2に基づくMRI画像を表示する場合の前記表示画像制御部53の処理について説明する。前記表示画像制御部53は、図22に示すように、先ず前記ボリュームデータVDUS2の座標点を、前記座標変換式f2を用いて前記ボリュームデータVDUS1の座標系に座標変換し、ボリュームデータVDUS1′を得る。次に、このボリュームデータVDUS1′の座標点を、前記座標変換式f1を用いてボリュームデータVDCT2の座標系に座標変換してボリュームデータVDCT2′を得た後、このボリュームデータVDCT2′の座標点を、前記座標変換式f4を用いてボリュームデータVDCT3の座標系に変換して、ボリュームデータVDCT3′を得る。次に、このボリュームデータVDCT3′の座標点を、前記座標変換式f5を用いてボリュームデータVDMRI1の座標系に変換してボリュームデータVDMRI1′を得た後、このボリュームデータVDMRI1′の座標点を、前記座標変換式f6を用いて前記ボリュームデータボリュームデータVDMRI2の座標系に変換してボリュームデータVDMRI2′を得る。これにより、前記ボリュームデータVDUS2と、前記ボリュームデータVDMRI2との対応点が特定され、前記表示画像制御部53は、同一断面の超音波画像UIと医用画像MIとを表示する。
本例では、前記座標変換式f5が未設定の状態で、前記グループGrAと前記グループGrBとの間で座標変換式f1が設定された時に、前記グループ設定部54は、前記グループGrAに属する前記ボリュームデータVDUS1,VDUS2と、前記グループGrBに属するVDCT1,VDCT2,VDCT3とを、同一のグループGrA−Bに属するものとしてもよい。この場合、図23に示すように、前記グループGrAに属するアイコンIC1,IC2と、前記グループGrBに属するアイコンIC3〜IC5とが同一の領域R1−2内に表示されてもよい。そして、前記グループGrA−Bに属するいずれかのボリュームデータVDと前記グループGrCに属するいずれかのボリュームデータVDとの間で設定された座標変換式f5を、図24に示すように、前記グループGrA−Bと前記グループGrCとの間の座標変換式として設定する。この場合も、前記表示画像制御部53は、上述と同様に前記座標変換式f1,f5(さらには必要に応じてグループGrA内及びグループGrB内のボリュームデータ間の座標変換式)を用いて座標変換を行ない、被検体の同一断面について、前記グループGrA−Bに属するいずれかのボリュームデータVDに基づく画像と、前記グループGrCに属するいずれかのボリュームデータVDに基づく画像とを表示させる。
前記グループGrA−Bは、本発明における第三グループの実施の形態の一例である。また、前記グループGrCは、本発明における他のグループの実施の形態の一例である。
ちなみに、前記図23においては、前記グループGrAを示す領域R1と前記グループGrBを示す領域R2とが破線で表示されているが、これら領域R1,R2は、表示されていなくてもよい。
以上、本発明を前記実施形態によって説明したが、本発明はその主旨を変更しない範囲で種々変更実施可能なことはもちろんである。例えば、図25に示すように、前記グループGrAに異なる座標系(異なるモダリティ)のボリュームデータが属していてもよい。図25では、超音波のボリュームデータVDUSとCTのボリュームデータVDCTが、前記グループGrAに属している。また、グループGrBには、MRIのボリュームデータVDMRIが属している。前記グループGrAに属する前記ボリュームデータVDUSと前記ボリュームデータVDCTは、互いに位置対応関係が特定され、座標変換式f11により座標変換が可能になっている。
また、図26に示すように、前記グループGrBのみではなく、前記グループGrBにも異なる座標系のボリュームデータが属していてもよい。図26では、超音波のボリュームデータVDUS1、CTのボリュームデータVDCT1が前記グループGrAに属し、超音波のボリュームデータVDUS2、CTのボリュームデータVDCT2及びMRIのボリュームデータVDMRIが、前記グループGrBに属している。前記ボリュームデータVDUS2と前記ボリュームデータVDCT2は、互いに位置対応が特定され、座標変換式f12により座標変換が可能になっている。また、前記ボリュームデータVDCT2と前記ボリュームデータVDMRIは、互いに位置対応が特定され、座標変換式f13により座標変換が可能になっている。
また、前記表示部6には、異なるグループに属するボリュームデータに基づいて、超音波画像が二つ表示されてもよい。また、前記医用画像装置100で取得され異なるグループに属するボリュームデータに基づいて、医用画像が二つ表示されてもよい。
また、設定された前記各座標変換式は、前記記憶部9に記憶されてもよい。この場合、ボリュームデータが再度読み込まれて、被検体の同一断面の画像を表示させる時に、前記記憶部9に記憶された座標変換式を読み出して利用することにより、位置対応情報の設定を再度行う必要がない。