JP5285427B2 - 医療画像表示装置 - Google Patents

Description

本発明は、医療画像表示装置に係り、特に人体の特定領域の三次元画像を操作者に効率的に提示する医療画像表示装置に関する。

X線CT装置、X線装置、MRI装置、超音波画像診断装置などの医用画像診断装置により得られた被検体の画像を効率よく観察する手段として、閥値分離処理や領域拡張法等により観察対象となる人体部位に相当する三次元領域(オブジェクト)を抽出し、三次元表示する方法がある。

特許文献1には、CT値の画素値及び画素値勾配の大きさに基づいて陰影付けを行うことで任意の特定のオブジェクトを明瞭に表示することが可能な三次元画像表示方法が提案されている。
特開平10-11604号公報

しかしながら、上記特許文献1では以下のような点について配慮がなされてなかった。特許文献1では、特定のオブジェクトと他のオブジェクトとを区別して表示可能であるが、複数のオブジェクトを明瞭に表示したい場合であって、そのオブジェクトの数が増加した場合には、最適な画像を表示させることに対する配慮がなされてなかった。

これに対応するために、例えば、特許文献1で開示された方法等で特定のオブジェクトが明瞭に表示された三次元画像を合成することで、複数のオブジェクトを明瞭に表示させることが考えられる。しかし、操作者はリストに登録されているオブジェクトの形状を実際に三次元表示するまで把握することが出来ないため、三次元表示を繰り返しながら表示・非表示を判断する必要があった。

また、合成対象となる複数のオブジェクトを選択する場合、予め操作者に提示されたオブジェクトのリストの中から合成表示するオブジェクトを検索する必要があり、手間がかかるという点について配慮がなされてなかった。

更に、既に複数のオブジェクト合成された画像(合成画像)から任意のオブジェクトを取り除いた合成画像を作成したい場合、削除対象となるオブジェクトをリストから検索する必要があり、手間がかかるという点について配慮がなされてなかった。

本発明は、上記事情に鑑みてなされたものであり、複数種類のオブジェクトを示す複数の三次元画像を効率的に合成することにより、操作者の労力を削減し、また、合成画像を用いる画像診断に要する時間を短縮することが可能な医用画像表示装置を提供することを目的とする。

前記課題を解決するために、本発明の医療画像表示装置は、医用画像撮影装置によって取得された被検体の画像データから抽出された、診断対象となる複数種類のオブジェクトを示す複数の三次元画像を取得する画像取得手段と、前記複数の三次元画像を表示する2以上の表示領域を有する表示手段と、前記表示手段の各表示領域に表示されている1つの三次元画像、又は複数の三次元画像を合成表示した合成画像から任意の三次元画像を選択するとともに、選択した三次元画像を前記表示手段の他の表示領域に移動させる指示を行う指示手段と、前記指示手段によって移動が指示された三次元画像を前記表示手段の対応する表示領域に表示させ、1つの表示領域に複数の三次元画像を表示する場合には合成表示させる表示制御手段と、を備えたことを特徴としている。

本発明の医療画像表示装置によれば、複数種類のオブジェクトを示す複数の三次元画像が2以上の表示領域を有する表示手段に表示される。指示手段によって各表示領域に表示されている1つの三次元画像、又は複数の三次元画像を合成表示した合成画像から任意の三次元画像を選択し、選択された三次元画像を表示手段の他の表示領域に移動させる指示が行われる。そして、表示制御手段によって移動が指示された三次元画像が表示手段の対応する表示領域に表示される。なお、1つの表示領域に複数の三次元画像を表示する場合には、複数の三次元画像がその表示領域に合成表示される。

これにより、複数種類のオブジェクトを示す複数の三次元画像を効率的に合成することができる。また、各オブジェクトを視覚的に確認しながら合成画像を作成できるため、三次元画像の合成を容易に行うことができる。そのため、複数の三次元画像の合成を行う操作者の労力を削減することができ、よって、合成画像を用いる画像診断に要する時間を短縮することができる。

また本発明の医療画像表示装置は、前記医療画像表示装置において、前記指示手段は、前記指示手段によって入力された信号の入力時間、入力回数及び入力圧の少なくとも1つと前記合成画像の奥行き方向とを対応させることにより、前記合成画像を構成する複数の三次元画像から任意の三次元画像を選択することを特徴としている。

本発明の医療画像表示装置によれば、指示手段によって入力された信号の入力時間、入力回数及び入力圧の少なくとも1つと、合成画像の奥行き方向とを対応させることで、合成画像を構成する複数の三次元画像から任意の三次元画像が選択される。

これにより、所定の表示領域に複数の三次元画像が合成表示されている場合においても、任意の三次元画像を選択することができる。

さらに本発明の医療画像表示装置は、前記医療画像表示装置において、前記指示手段によって移動が指示された三次元画像が前記表示領域外に移動された場合には、前記表示制御手段は、前記三次元画像が表示されていた表示領域から前記三次元画像を削除することを特徴としている。

本発明の医療画像表示装置によれば、ポインティングデバイスによって移動が指示された三次元画像が表示領域外に移動された場合には、三次元画像が表示されていた表示領域からその三次元画像を削除した画像が表示される。

これにより、複数種類のオブジェクトを示す複数の三次元画像の合成及び削除が容易となるため、目的の三次元画像を効率的に合成することができる。

さらに本発明の医療画像表示装置は、前記医療画像表示装置において、前記指示手段によって選択された三次元画像の断面像であって、前記指示手段によって入力された信号の入力時間、入力回数及び入力圧の少なくとも1つと対応する前記三次元画像の奥行き方向の所定の位置での断面像作成手段を備え、前記表示制御手段は、前記指示手段によって三次元画像が選択されている場合には、前記断面像作成手段で作成された断面像と前記合成画像とを重ねて表示させることを特徴としている。

本発明の医療画像表示装置によれば、指示手段によって選択された三次元画像の断面像であって、指示手段によって入力された信号の入力時間、入力回数及び入力圧の少なくとも1つによって指示された奥行き方向の所定の位置での断面像が作成される。そして、表示制御手段によって作成された断面像と合成画像とを重ねた画像が表示領域に表示される。

これにより、合成画像を構成する複数の三次元画像から任意の三次元画像が選択された場合において、選択された三次元画像が明確に区別されて表示される。

さらに本発明の医療画像表示装置は、前記医療画像表示装置において、前記表示制御手段は、前記指示手段によって移動が指示された三次元画像を前記三次元画像が表示されている表示領域から他の表示領域に移動させる指示が確定するまでの間、前記三次元画像を前記三次元画像が移動される表示領域に画像処理量の少ない簡易表示で表示させることを特徴としている。

本発明の医療画像表示装置によれば、指示手段によって移動が指示された三次元画像を現在表示されている表示領域から他の表示領域に移動させる場合に、その移動が確定するまでの間は、移動が指示された三次元画像は他の表示領域に画像処理量の少ない簡易表示で表示される。

これにより、合成表示される三次元画像が瞬時に表示される。よって、各オブジェクトを視覚的に確認しながら合成画像を作成できるため、三次元画像の合成を容易に行うことができる。

本発明によれば、複数種類のオブジェクトを示す複数の三次元画像を効率的に合成することにより、操作者の労力を削減し、また、合成画像を用いる画像診断に要する時間を短縮することが可能な医用画像表示装置を提供することができる。

本発明が適用された医療画像表示装置全体の構成を示すハードウェア構成図。 上記医療画像表示装置の第1の実施の形態の処理の流れを示すフローチャート。 上記医療画像表示装置の第1の実施の形態の表示領域に表示させるオブジェクトを選択する選択画の一例。 上記医療画像表示装置の第1の実施の形態の表示例。 上記医療画像表示装置の第1の実施の形態の合成画像を作成する方法を説明する説明図。 上記医療画像表示装置の第1の実施の形態の合成画像を作成する方法を説明する説明図。 上記医療画像表示装置の第1の実施の形態の合成画像を作成する方法を説明する説明図。 上記医療画像表示装置の第1の実施の形態の合成画像を作成する方法を説明する説明図。 上記医療画像表示装置の第1の実施の形態の合成画像を作成する方法を説明する説明図。 上記医療画像表示装置の第1の実施の形態の合成画像上で編集オブジェクトを選択する方法を説明する説明図。 上記医療画像表示装置の第1の実施の形態の編集オブジェクトを強調表示した図。 上記医療画像表示装置の第1の実施の形態の編集オブジェクトの断面図を合成画像と重ねて表示した図。 上記医療画像表示装置の第1の実施の形態の編集オブジェクトの断面図を作成する方法を説明する説明図。 上記医療画像表示装置の第1の実施の形態の合成画像を作成する方法を説明する説明図。 上記医療画像表示装置の第1の実施の形態の合成画像を作成する方法を説明する説明図。 上記医療画像表示装置の第1の実施の形態の合成画像を作成する方法を説明する説明図。 上記医療画像表示装置の第1の実施の形態のオブジェクトを削除する方法を説明する説明図。 上記医療画像表示装置の第1の実施の形態のオブジェクトを削除する方法を説明する説明図。 上記医療画像表示装置の第1の実施の形態のオブジェクトを削除する方法を説明する説明図。 上記医療画像表示装置の第1の実施の形態の合成画像上で編集オブジェクトを選択する方法の一例を説明する説明図。 上記医療画像表示装置の第1の実施の形態の合成画像上で編集オブジェクトを選択する方法の一例を説明する説明図。

符号の説明

1 医用画像撮影装置、2 画像データベース、3 ネットワーク、10 医療画像表示装置、11 CPU、12 主メモリ、13 データ記録装置、14 表示メモリ、15 ディスプレイ、16 コントローラ、17 ポインティングデバイス、18 外部入力装置

以下、本発明を実施するための最良の形態を添付図面に基づいて説明する。

図1は、本発明に係る第1の実施の形態の医療画像表示装置全体の構成を示すハードウェア構成図である。

医療画像表示装置10は、被検体の画像を撮影する医用画像撮影装置1、医用画像撮影装置1で撮影された画像等が保存されている画像データベース2とLAN3等のネットワークによって接続される。医用画像撮影装置1は、X線CT装置、MRI装置、超音波撮影装置等の被検体の画像(好ましくは三次元画像)を撮影可能な装置により構成される。なお、図示は省略したが、医療画像表示装置10が医用画像撮影装置1や画像データベース2を備えていても良い。

医療画像表示装置10は、主として各構成要素の動作を制御する制御装置としての中央処理装置(CPU)11と、装置の制御プログラムが格納されたり、プログラム実行時の作業領域となったりする主メモリ12と、オペレーティングシステム(OS)、周辺機器のデバイスドライブ、胸壁の厚さの測定等の処理を行うためのプログラムを含む各種アプリケーションソフト等が格納されるデータ記録装置13と、表示用データを一時記憶する表示メモリ14と、この表示メモリ14からのデータに基づいて画像を表示するCRTモニタ、液晶モニタ等のディスプレイ15と、ディスプレイ15上のソフトスイッチを操作するためのマウス、トラックボール、タッチパネル等の指示手段であるポインティングデバイス17と、ポインティングデバイス17の状態を検出してディスプレイ15上のマウスポインタの位置やポインティングデバイス17の状態等の信号をCPU11に出力するコントローラ16と、操作者が指示を入力するための外部入力装置18と、上記各構成要素を接続するバス19とから構成される。

CPU11は、上記プログラムをデータ記録装置13から読み出して主メモリ12にロードし、実行する。

なお、本実施例では、主メモリ12以外の記憶装置としてデータ記録装置13が接続されているが、データ記録装置13は、医療画像表示装置10に内蔵又は外付けされたメモリ、磁気ディスク等の記憶装置、取り出し可能な外部メディアに対してデータの書き込みや読み出しを行う装置、外部記憶装置とネットワークを介してデータを送受信する装置等を適用してもよい。

次に、上記のように構成された医療画像表示装置10の作用について説明する。

＜複数種類のオブジェクトを示す複数の三次元画像の表示＞
図2は、医療画像表示装置10の複数種類のオブジェクトを示す複数の三次元画像を表示領域に表示させる処理の流れを示すフローチャートである。CPU11は、このフローチャートに従って動作する。以下の処理は、医用画像撮影装置1、画像データベース2から医療画像表示装置10へ読みこまれ、閾値分離処理、領域拡張法等の方法により被検体の観察対象となる部位に相当する複数の三次元画像(オブジェクト)が抽出された後で開始される。

まず、オブジェクトの選択処理(ステップS10〜S12)が行われる。

画面に表示させたい部位がポインティングデバイス17等によって選択される(ステップS10)。例えば、図3に示すような初期画面上で選択が行われる。まず、ポインティングデバイス17等で表示させたい部位(頭部、胸部、腹部等)のボタンを押して部位を選択し、決定ボタンを押すことにより、選択された部位が決定される。以下、部位として頭部が選択された場合について説明する。

部位の選択が終了したら、三次元画像として表示させたいオブジェクトがポインティングデバイス17等によって選択される(ステップS11)。本実施例では、ステップS10で頭部が選択されているため、図3に示すように、頭部にあるオブジェクトを選択するためのボタンが表示される。ポインティングデバイス17等で表示させたいオブジェクト(皮膚、骨、腫瘍、血管、脳等)のボタンを押してオブジェクトを選択し、決定ボタンを押すことにより、選択されたオブジェクトが決定される。

なお、1つのオブジェクトを1つの三次元画像として表示させたい場合には、1つのオブジェクトのボタンを選択した状態で決定ボタンを押せばよいし、複数のオブジェクトを1つの三次元画像として表示させたい場合には、複数のオブジェクトのボタンを選択した状態で決定ボタンを押せばよい。例えば、骨の三次元画像のみを表示させたい場合には、「骨」のボタンを押すことによって「骨」が選択された状態で決定ボタンを押せばよい。又、腫瘍及び脳の2つのオブジェクトを1つの三次元画像として表示させたい場合には、「腫瘍」と「脳」との2つのボタンを押すことによって「腫瘍」と「脳」とが選択された状態で決定ボタンを押せばよい。なお、以降の説明では、皮膚、骨、腫瘍、血管の4種類のオブジェクトが選択された場合について述べる。

そして、ステップS11で決定された三次元画像の中に、複数のオブジェクトを1つの三次元画像として表示させたいものが含まれているかが判断される(ステップS12)。

表示させたい三次元画像が全て1つのオブジェクトの場合(ステップS12でNO)の場合は、オブジェクトの選択処理が終了される。

表示させたい三次元画像のなかに、複数のオブジェクトを1つの三次元画像として表示させたいものが含まれている場合には、複数のオブジェクトに予め与えられた座標情報に基づいて解剖学的に同じ位置で合成することで合成画像を作成する(ステップS13)。

これにより、オブジェクトの選択処理が終了される。

ステップS11で選択された三次元画像の数を数え(ステップS14)、ディスプレイ15に選択された三次元画像の数の表示領域を設定する(ステップS15)。例えば、m×n個(m,nは自然数)の表示領域で、かつ選択された三次元画像の数を含み、最も少ない数となるような数の表示領域を設定する。なお、表示領域の数は、複数であれば数はいくつでもかまわない。

そして、設定された表示領域にステップS11で選択された三次元画像を配置する(ステップS16)。

本実施例では、ステップS11で皮膚、骨、腫瘍、血管の4種類のオブジェクト(皮膚オブジェクト、骨オブジェクト、腫瘍オブジェクト、血管オブジェクト)が選択されていたため、4つの表示領域が設定され、図4に示すように、各表示領域に皮膚オブジェクト、骨オブジェクト、腫瘍オブジェクト、血管オブジェクトが表示される。なお、図4においては、表示領域に表示される画像は、表示領域毎に1個のオブジェクトのみの表示であるが、表示領域毎に合成画像のみの表示でもかまわないし、表示領域によって1個のオブジェクトの表示と合成画像の表示とが混合していてもよい。

これにより、各表示領域に三次元画像が配置されてディスプレイ15に表示される。

なお、図4ではボリュームレンダリング処理によって三次元画像の表示を行っているが、サーフェイスレンダリング処理、最大値投影処理、最小値投影処理、画素値積算処理などの他の三次元表示であっても良い。

また、図4では各表示領域に表示領域の名称(領域.A等)とオブジェクトの名称(皮膚等)がオブジェクトと共に表示されているが、三次元画像のみを表示させるようにしてもよいし、三次元画像と表示領域の名称又はオブジェクトの名称とを表示させるようにしてもよい。

＜三次元画像の合成処理＞
次に、医療画像表示装置10の表示領域に表示された三次元画像のなかから合成対象となるオブジェクト(編集オブジェクト)を選択し、編集オブジェクトと他のオブジェクトとの合成処理により、複数のオブジェクトの合成画像を作成する処理について説明する。

以下の処理は、図２に示す複数種類のオブジェクトを示す複数の三次元画像を表示領域に表示させる処理が終了した後で、CPU11によって行われる。

[編集オブジェクトのみが表示領域に表示されている場合]
図5〜図7を用いて、編集オブジェクトのみが表示領域に表示されている場合について説明する。

表示領域に三次元画像が配置されたものがディスプレイ15に表示されると、図5に示すように、ディスプレイ15上にポインタが表示され、表示されたオブジェクトから編集オブジェクトを選択することができるようになる。

ポインティングデバイス17を用いてポインタをオブジェクト上に移動させ、オブジェクト上にポインタを置いたままポインティングデバイス17を押すことで、ポインタで指されているオブジェクトが編集オブジェクトとして選択される。例えば、図５においては、ポインタが領域.Bにあり、ポインティングデバイス17が押されているので、骨が編集オブジェクトとして選択されている。

次に、編集オブジェクトを移動し、編集オブジェクトと他のオブジェクトとを合成する方法について説明する。

ポインティングデバイス17を用いて、編集オブジェクトを選択した状態で、ポインタを動かす(ドラッグ操作)。これにより、編集オブジェクトの移動が可能となる。

編集オブジェクトを、合成したい他のオブジェクトが表示されている表示領域内に移動させ、ポインティングデバイス17を放す(ドロップ操作)。これにより、編集オブジェクトと編集オブジェクトがドロップ操作された表示領域に表示されているオブジェクトとを合成表示するようにとの指示がCPU11に入力される。例えば、図6において、領域.Bに表示されている骨オブジェクトを領域.Dにドラッグ操作することにより、骨オブジェクトと領域.Dに表示されている血管オブジェクトとを合成表示するようにとの指示がCPU11に入力される。

オブジェクトを合成表示するようにとの指示がCPU11に入力されると、ドラッグ操作された編集オブジェクトと、ドラッグ操作された編集オブジェクトがドロップ操作された表示領域に表示されたオブジェクトとが各オブジェクトに予め与えられた座標情報に基づいて解剖学的に一致するように合成される。そして、その合成された画像(合成画像)が、編集オブジェクトがドロップ操作された表示領域に表示される(合成表示)。

例えば、領域.Bに表示されている骨オブジェクトが領域.Dにドラッグアンドドロップ操作された場合には、図7に示すように、骨オブジェクトが領域.Bから削除され、骨オブジェクトと領域.Dに表示されていた血管オブジェクトとの合成画像が領域.Dに合成表示される。

これにより、編集オブジェクトのみが表示領域に表示されている場合において、編集オブジェクトと他のオブジェクトとの合成処理により、複数のオブジェクトの合成画像が作成される。

[編集オブジェクトを含む合成画像が表示領域に合成表示されている場合]
図8〜図14を用いて、編集オブジェクトを含む合成画像が表示領域に合成表示されている場合について説明する。

以下、図8に示すように、領域.Dに血管オブジェクトと骨オブジェクトとが合成表示されている場合に、血管オブジェクトを選択し、血管オブジェクトと領域.Aに表示されている皮膚オブジェクトとの合成画像を領域.Aに表示させる場合を例にとって説明する。なお、領域.Dに表示されている合成画像は、別々の表示領域に表示された個々のオブジェクトが合成された合成画像でもよいし、表示領域に表示されるオブジェクトを選択する段階において2つのオブジェクトが選択されることにより最初から合成画像、すなわち図2のステップS13により合成された合成画像でもよい。

まず、合成画像において、編集オブジェクトを選択する方法について説明する。

1つの表示領域に合成画像が表示されている場合において、外部入力装置18等によりオブジェクトの合成を行う旨の指示が入力されると、図9に示すように、ディスプレイ15上にポインタ及び指定点A(x,y)を示すカーソル(図9の×印)が表示される。

ポインティングデバイス17を用いてポインタ及び指定点A(x,y)を示すカーソルを動かすことにより、ポインタ及び指定点A(x,y)を示すカーソルをオブジェクト上の所望の位置に移動させる。オブジェクト上の所望の位置にポインタを置いたままポインティングデバイス17を押すことで、指定点A(x,y)を示すカーソルの位置が決定され、指定点A(x,y)が指定される。

ただし、表示領域に合成表示された三次元画像が表示されている場合には、指定された指定点A(x,y)において奥行き方向(z方向)に複数のオブジェクトが存在する可能性がある。

図10(a)は図9で表示されている合成画像を側面から描画したものである。この例では、奥行き方向(z方向)に対して、手前から骨A、血管、骨Bの3つのオブジェクトが存在している。この場合、操作者が指定点A(x,y)を指定しただけでは、編集オブジェクトを自動的に決定することはできない。

この問題を解決する手段としては、以下の3つの実施の形態が考えられる。

(1)編集オブジェクトを自動的に決定する第1の実施の形態 奥行き方向(z方向)に対して最も手前に存在するオブジェクトを編集オブジェクトと
して選択する方法がある。

例えば、ボリュームレンダリングによる三次元表示においては、最も手前にある表示対象が明瞭に表示される。そのため、最も手前に存在するオブジェクトを編集オブジェクトとして選択したとしても、操作者が選択を意図したオブジェクトと異なる可能性は小さい。

よって、指定点A(x,y)において、奥行き方向(z方向)に対して最も手前に存在するオブジェクトを編集オブジェクトとして選択することで、操作者が選択を意図したオブジェクトが自動的に選択される。

(2)編集オブジェクトを自動的に決定する第2の実施の形態
編集オブジェクトを自動的に決定する第1の実施の形態においては、奥行き方向(z方向)に対して最も手前に存在するオブジェクトを編集オブジェクトとして選択したが、複数のオブジェクトに異なる不透明度を与えて合成表示する場合において問題が発生する可能性がある。

例えば、図10(a)において、骨オブジェクトの不透明度を下げることで、骨オブジェクトを透過して血管オブジェクトが表示されるような合成画像を作成する場合には、血管オブジェクトが表示領域に明瞭に表示される。操作者が血管オブジェクトの選択を意図した場合、上記の方法では血管オブジェクトの手前に位置する骨オブジェクトが選択されるため、操作者の意図と異なるオブジェクトが選択されるため不便である。

編集オブジェクトを自動的に決定する第2の実施の形態は、各々のオブジェクトの反射光量を考慮して最も積算反射光の寄与率が大きいオブジェクトを編集オブジェクトとして選択する方法である。

ボリュームレンダリングは表示対象に対して仮想的な光線を投影し、その反射光を積算して三次元画像を作成する手法であるが、表示対象に割り当てた不透明度が高いほど、その表示対象は明瞭に表示される。つまり、オブジェクトごとに積算反射光の寄与率を求め、最も寄与率が高いオブジェクトを編集オブジェクトとして選択すれば、複数のオブジェクトに異なる不透明度を与えて合成表示する場合でも、編集オブジェクトが操作者の意図したオブジェクトと異なる可能性は小さい。

よって、指定点A(x,y)において、各々のオブジェクトの反射光量を考慮して最も積算反射光の寄与率が大きいオブジェクトを編集オブジェクトとして選択することで、操作者が選択を意図したオブジェクトが自動的に選択される。

なお、ボリュームレンダリング処理以外の三次元処理については、最大値投影法であれば、奥行き方向の最大値を含むオブジェクト、最小値投影法であれば、奥行き方向の最小値を含むオブジェクトを選択することで実施が可能となる。

(3)編集オブジェクトを自動的に決定する第3の実施の形態
編集オブジェクトを自動的に決定する第2の実施の形態においては、各々のオブジェクトの反射光量を考慮して最も積算反射光の寄与率が大きいオブジェクトを編集オブジェクトとして選択したが、合成表示されたオブジェクトの数が多い場合等においては、どのオブジェクトが選択されるか視覚的に認識しにくい場合がある。

編集オブジェクトを自動的に決定する第3の実施の形態は、図10(a)、(ｂ)に示すように、操作者が入力した信号の入力時間を用いて編集オブジェクトを選択する方法である。入力時間とは、例えば、指定点A(x,y)を選択する時のポインティングデバイス17をクリックする時間である。

まず、奥行き方向(z方向)の範囲を分割し、図10(ｂ)に示すように、各々のオブジェクトが所属する選択領域を設定する。この選択領域の境界はオブジェクトの中心位置に設定しても良いし、選択対象のオブジェクトの位置座標から、奥行き方向に向かって次のオブジェクトが現れるまでの範囲を設定しても良い。

例えば、図10において、クリック時間が1.0秒の場合には骨Aオブジェクトが選択され、1.5秒の場合には血管オブジェクトが選択される。

よって、指定点A(x,y)において、操作者が入力した信号の入力時間と対応する選択領域のオブジェクトを編集オブジェクトとして選択することで、操作者が選択を意図したオブジェクトが自動的に選択される。

なお、ポインティングデバイス17をクリックし続けた場合の選択領域の設定は、奥行き方向の一番奥で止まるようにしてもよいし、奥行き方向の一番奥に到達した後で手前方向に戻るようにしてもよい。また、選択領域の設定は、ポインティングデバイス17の左クリックで奥行き方向に進み、右クリックで手前方向に戻るようにしてもよい。

これらの編集オブジェクトを自動的に決定する方法を用いることにより、所定の表示領域に複数のオブジェクトが合成表示されている場合においても、任意のオブジェクトを選択することができる。

上記の方法によれば、操作者の意図通りの編集オブジェクトを選択可能であるが、選択候補のオブジェクトの前後関係によって、操作者に対して編集オブジェクトの候補が視覚的に表示されない場合がある。編集候補のオブジェクトが複数の場合、選択された編集オブジェクトを他のオブジェクトと区別して表示できれば、操作者は一目で選択中の編集オブジェクトを認識できるため、合成画像の作成を効率的に行うことが可能となる。

以下、合成画像において、選択された編集オブジェクトを他のオブジェクトと区別して表示する方法について示す。

(1)編集オブジェクトを他のオブジェクトと区別して表示する第1の実施の形態
編集オブジェクトを他のオブジェクトと区別して表示する第1の実施の形態は、編集オブジェクトを強調表示することで、他のオブジェクトと区別して表示するものである。

図11は、骨オブジェクトと血管オブジェクトとの合成画像において、血管オブジェクトの輪郭を太線で表示することで血管オブジェクトを強調表示したものである。このように、合成画像上において強調表示した編集オブジェクトを表示することにより、編集オブジェクトと他のオブジェクトとの区別が容易となり、操作者が容易に編集オブジェクトを選択することが可能となる。

なお、他の強調表示の方法としては、色付け(編集オブジェクトの輪郭、内部等に他のオブジェクトと違う色をつける)、模様付け(編集オブジェクト内部に模様を付ける)、点滅表示(編集オブジェクトを点滅して表示させる)などが挙げられる。

(２)編集オブジェクトを他のオブジェクトと区別して表示する第2の実施の形態
編集オブジェクトを他のオブジェクトと区別して表示する第2の実施の形態は、編集オブジェクトの断面像を合成画像上に重ねて表示することで、他のオブジェクトと区別して表示するものである。

図12は、骨と血管オブジェクトの合成画像において、血管オブジェクトの断面像を合成画像上に重ねて表示したものであり、図13は、断面像を作成する断面位置を決定する方法を示したものである。

まず、編集オブジェクトの断面像を作成する断面位置を決定する。

ポインティングデバイス17によって入力された指定点A(x,y)のクリック時間によって、奥行き方向(z方向)の座標が決定される。なお、断面位置の決定は、編集オブジェクトの選択と同時に行われる。図13に示すように、クリック時間が0.5秒の場合には、骨Aオブジェクトが編集オブジェクトとして選択され、断面位置としてz１が決定される。また、クリック時間が1.5秒の場合には、血管オブジェクトが編集オブジェクトとして選択され、断面位置としてz2が決定される。

次に、編集オブジェクトの決定された断面位置での断面像が作成され、合成画像に重ねて表示される。図12は、血管オブジェクトが編集オブジェクトとして選択され、断面位置としてz2が決定された場合の表示例である。図12では、血管オブジェクトの断面像が合成画像上に重ねて表示されることにより、血管オブジェクトの手前に位置する骨Aオブジェクトが除去されて表示されるため、血管オブジェクトが選択されたことが容易に認識できる。

このように、編集オブジェクトの断面像を合成画像上に重ねて表示することにより、編集オブジェクトと他のオブジェクトとの区別が容易となり、操作者が容易に編集オブジェクトを選択することが可能となる。

なお、断面位置を決定する方法は、上記に限らず、クリック時間を延長することで断面位置を順次更新しても良い。例えば、まず0.5秒間のクリックがなされ、骨Aオブジェクトのz１での断面が決定されている場合において、さらに1.0秒のクリックがなされた場合には、合計1.5秒のクリックがなされたことになるため、血管オブジェクトのz2での断面が決定される。

また、本実施例では、奥行き方向(z方向)に直交する断面像を表示しているが、上記に限らず、選択候補のオブジェクトが明瞭に表示される断面角度の断面像が表示されるようにしても良い。

次に、合成画像に表示された編集オブジェクトを移動させて、他のオブジェクトと合成表示する方法について示す。

ポインティングデバイス17を用いて、編集オブジェクトが選択された状態でポインタを動かす(ドラッグ操作)。これにより、編集オブジェクトの移動が可能となる。

編集オブジェクトを、合成したい他のオブジェクトが表示されている表示領域内に移動させ、ポインティングデバイス17を放す(ドロップ操作)。これにより、編集オブジェクトが合成表示されているオブジェクトから編集オブジェクトを除去するようにとの指示及び編集オブジェクトと編集オブジェクトがドロップ操作された表示領域に表示されているオブジェクトとを解剖学的に一致するように合成し、ドロップ操作された表示領域に表示(合成表示)するようにとの指示がCPU11に入力される。

例えば、図8において、領域.Dに表示されている合成画像の血管オブジェクトが編集オブジェクトとして決定され、血管オブジェクトを領域.Dから領域.Aにドラッグ操作することにより、図14に示すように、CPU11によって、領域.Dに表示されている合成画像から血管オブジェクトが削除される。また、血管オブジェクトと領域.Aに表示されている皮膚オブジェクトとが解剖学的に一致するように合成され、合成された画像(合成画像)が領域.Aに合成表示される。

これにより、編集オブジェクトを含む合成画像が表示領域に表示されている場合において、編集オブジェクトと他のオブジェクトとの合成処理により、複数のオブジェクトの合成画像が作成される。

なお、複数のオブジェクトを合成表示する方法としては、各々のオブジェクトごとに作成した三次元画像を重み付け加算するαブレンディング法や、各々のオブジェクトからの反射光を積算して画素値を決定するレイキャスティング法などが提案されている。

上記の合成画像を合成表示する一連の処理は、ポインティングデバイス17を使用した一連の動作、いわゆるドラッグアンドドロップ操作処理で行われるため、操作者は直感的に短い作業時間で合成画像を作成することが可能となる。

また、上記の合成画像を合成表示する一連の処理は、編集オブジェクトを含む複数のオブジェクトが表示されている状態で行われるため、合成対象とするオブジェクトの組み合わせを考えやすく、合成画像の作成が容易となる。また、オブジェクトが表示されていることにより、オブジェクト同士の相対的な位置が視認できるため、合成画像の作成が容易となる。

なお、上記の説明では、編集オブジェクトがドロップ操作された後で、編集オブジェクトと、編集オブジェクトがドロップ操作された表示領域に表示されているオブジェクトとの合成画像が作成される方法について説明したが、図15に示すように、編集オブジェクトが他のオブジェクトが表示されている表示領域に動かされた場合、すなわち、編集オブジェクトがドラッグ操作された(ドロップ操作はされていない)場合に、編集オブジェクトと、編集オブジェクトがドラッグ操作された表示領域に表示されているオブジェクトとを簡易処理することより作成された簡易表示された合成画像を、編集オブジェクトがドラッグ操作された表示領域に表示するようにしてもよい。

ここで、簡易処理とは、解像度などを落として画像処理量を低減し、高速描画を行う画像処理のことである。図15は、領域.Bに表示されている骨オブジェクトを領域.Dにドラッグ操作することにより、領域.Dに骨オブジェクトと血管オブジェクトとの簡易表示された合成画像が表示された例である。

編集オブジェクトと編集オブジェクトがドロップ操作された表示領域に表示されているオブジェクトとの合成画像を作成して合成表示する場合には、合成表示するまでに一定の時間がかかる。操作者が合成画像を確認するには、合成処理が終了するまで待機する必要があるが、表示された合成画像が操作者の期待にそぐわないものであれば、再度合成処理を繰り返すこととなり効率が悪い。

図15に示すように、新規表示領域の決定直前、つまりドロップ操作の前に簡易表示された合成画像を表示すれば、操作者は迅速に合成画像の確認をすることが可能となり、作業効率が向上する。例えば512×512マトリックスの合成表示に10秒を要する場合、簡易画像の解像度を128×128とすることで約0.6での簡易表示された合成画像の確認を行うことが可能となる。

簡易表示された合成画像の確認の結果、表示された合成画像が操作者の期待にそぐわないものであった場合には、ドロップ操作を行わなければ合成画像が作成されないため、表示を元に戻すことが容易となる。

これにより、各オブジェクトを視覚的に確認しながら合成画像を作成できるため、三次元画像の合成を容易に行うことができる。

また、合成表示するオブジェクトの選択中に、合成表示する場合の合成条件を設定できるようにしてもよい。図16は、血管オブジェクトが編集オブジェクトとして選択されており、骨オブジェクトと血管オブジェクトとを合成表示する場合に、ドラック操作に要する時間に応じて、骨オブジェクトと血管オブジェクトの合成率を変更する例を示す。つまり、血管オブジェクトのドラッグ時間が長いほど、骨オブジェクトの不透明度が低くなり、血管オブジェクトの不透明度が高くなるように合成率が変更される。また簡易表示においても、ドラッグ操作に要する時間に応じて、オブジェクト間の合成率を変更してもよい。これにより、簡易表示された合成画像を操作者が視覚的に確認しながら合成画像を作成できるので、三次元画像の合成を容易に行うことができる。

＜三次元画像の削除処理＞
表示領域に表示されたオブジェクトが必要ない場合等には、表示領域に表示されたオブジェクトを削除することができる。

表示領域に1つのオブジェクトのみが表示されている場合には、そのオブジェクトをポインタで指し、そのオブジェクトを表示領域外へドラックアンドドロップ処理をすることにより、そのオブジェクトが表示領域から削除される。

図17において、領域.Cに表示されている腫瘍オブジェクトを表示領域外へドラックアンドドロップ処理をすることにより、図18に示すように、領域.Cに表示されている腫瘍オブジェクトが削除される。

表示領域に合成画像が表示されている場合には、削除対象となるオブジェクトを選択し、削除対象となるオブジェクトを表示領域外へドラックアンドドロップ処理をすることにより、そのオブジェクトが表示領域から削除される。

図19において、領域.Dに表示されている合成画像に含まれる骨オブジェクトを削除対象となるオブジェクトとし、骨オブジェクトを表示領域外へドラックアンドドロップ処理をすることにより、領域.Dに表示されている合成画像から骨オブジェクトが削除され、領域.Dには血管オブジェクトのみが表示される。

なお、同様の手順により、合成画像を再度分解処理することもできる。図19において、領域.Dに表示されている合成画像に含まれる骨オブジェクトを選択し、骨オブジェクトを領域.Dから領域．Bに移動することにより、領域.Dの合成画像が分解され、領域.Dには血管オブジェクトが表示され、領域．Bには骨オブジェクトが表示される。

本実施の形態によれば、ポインティングデバイスによって表示領域に表示されているオブジェクト又は合成画像から、合成画像を作成する複数のオブジェクトを選択することにより、目的の合成画像を効率的に合成することができる。

また、本実施の形態によれば、各オブジェクトを視覚的に確認しながら合成画像を作成できるため、三次元画像の合成を容易に行うことができる。そのため、複数の三次元画像の合成を行う操作者の労力を削減することができ、よって、合成画像を用いる画像診断に要する時間を短縮することができる。

また、本実施の形態によれば、合成処理によって合成画像が作成された後で再度合成処理、分解処理、削除処理等か可能であるため、三次元画像の合成を容易に行うことができる。

また、本実施の形態によれば、ポインティングデバイスによって移動が指示されたオブジェクトを表示領域外に移動することにより、三次元画像が表示されていた表示領域からその三次元画像を削除した画像が表示されるため、複数のオブジェクトの合成及び削除が容易となり、目的の合成画像を効率的に合成することができる。

なお、本実施の形態では、指示手段としてポインティングデバイスでオブジェクトの選択、移動などを行う例を示したが、同等の機能を持った他の入力手段であっても問題はない。例えば、キーボード等の外部入力装置を用いた場合にも、操作者が入力するキーを組み合わせることにより全く同等の効果を得ることが可能である。

また、本実施の形態では、選択するオブジェクト数は一つであるが、複数であっても構わない。例えば、図８において、領域.Dに表示された血管オブジェクトと骨オブジェクトを選択し、領域Aにドラックアンドドロップ操作をした場合は、領域.Aに皮膚オブジェクト、血管オブジェクト及び骨オブジェクトの合成画像が表示される。なお、ポインティングデバイスによるポインタの操作、外部入力装置による操作等を組み合わせることにより、合成画像に含まれる複数のオブジェクトの中から希望する複数のオブジェクトを選択することが可能である。

また、本実施の形態では、オブジェクトの名称を用いて、表示領域に表示させるオブジェクトを選択したが、CT値、血管造影法で撮影された画像等の基準を用いて、表示領域に表示させるオブジェクトが自動的に選択されるようにしてもよい。なお、自動的に選択されたオブジェクトが各々自動的に表示領域に表示されるようにしてもよい。

また、本実施の形態では、編集オブジェクトを選択する方法、断面像を作成する断面位置を決定する方法として、指定点A(x,y)を選択する時のポインティングデバイスのクリック時間を利用する例を示したが、これに限らず、ポインティングデバイスのクリック回数を利用してもよいし、ポインティングデバイスのクリック圧を利用してもよい。

ポインティングデバイスのクリック回数を利用する場合には、例えば、図20に示すように、クリック回数が2回の場合は骨Aオブジェクトが選択され、3回の場合は血管オブジェクトが選択されるようにしてもよいし、クリック回数が1回の場合は骨Aオブジェクトが選択され、2回の場合は血管オブジェクトが選択され、3回の場合は骨Bオブジェクトが選択され、4回の場合は骨Aオブジェクトが選択されるというように、クリック回数により奥行き方向にあるオブジェクトが順番に選択されるようにしてもよい。

ポインティングデバイスのクリック圧を利用する場合には、ポインティングデバイスの内部に圧力センサーを装備させる等により、クリック圧を検出する。例えば、図21に示すように、クリック圧が2kPaの場合は骨Aオブジェクトが選択され、3kPaの場合は血管オブジェクトが選択されるようにすればよい。

Claims (8)

1. 医用画像撮影装置によって取得された被検体の画像データから抽出された、診断対象となる複数種類のオブジェクトを示す複数の三次元画像を取得する画像取得手段と、
   前記取得された複数の三次元画像を表示する2以上の表示領域を有する表示手段と、
   前記表示手段の各表示領域に表示されている1つの三次元画像、又は複数の三次元画像を合成表示した合成画像から任意の三次元画像を選択するとともに、選択した三次元画像を前記表示手段の他の表示領域に移動させる指示を行う指示手段と、
   前記指示手段によって移動が指示された三次元画像を前記表示手段の対応する表示領域に表示させ、1つの表示領域に複数の三次元画像を表示する場合にはそれらの三次元画像を合成表示させる表示制御手段と、を備え、
   前記指示手段は、前記指示手段の操作パラメータと前記合成画像の奥行き方向とを対応させることにより、前記合成画像を構成する複数の三次元画像から任意の三次元画像を選択し、
   前記指示手段の操作パラメータは、前記指示手段によって入力された信号の入力時間であることを特徴とする医療画像表示装置。
2. 医用画像撮影装置によって取得された被検体の画像データから抽出された、診断対象となる複数種類のオブジェクトを示す複数の三次元画像を取得する画像取得手段と、
   前記取得された複数の三次元画像を表示する2以上の表示領域を有する表示手段と、
   前記表示手段の各表示領域に表示されている1つの三次元画像、又は複数の三次元画像を合成表示した合成画像から任意の三次元画像を選択するとともに、選択した三次元画像を前記表示手段の他の表示領域に移動させる指示を行う指示手段と、
   前記指示手段によって移動が指示された三次元画像を前記表示手段の対応する表示領域に表示させ、1つの表示領域に複数の三次元画像を表示する場合にはそれらの三次元画像を合成表示させる表示制御手段と、を備え、
   前記指示手段は、前記指示手段の操作パラメータと前記合成画像の奥行き方向とを対応させることにより、前記合成画像を構成する複数の三次元画像から任意の三次元画像を選択し、
   前記指示手段の操作パラメータは、前記指示手段によって入力された信号の入力回数であることを特徴とする医療画像表示装置。
3. 医用画像撮影装置によって取得された被検体の画像データから抽出された、診断対象となる複数種類のオブジェクトを示す複数の三次元画像を取得する画像取得手段と、
   前記取得された複数の三次元画像を表示する2以上の表示領域を有する表示手段と、
   前記表示手段の各表示領域に表示されている1つの三次元画像、又は複数の三次元画像を合成表示した合成画像から任意の三次元画像を選択するとともに、選択した三次元画像を前記表示手段の他の表示領域に移動させる指示を行う指示手段と、
   前記指示手段によって移動が指示された三次元画像を前記表示手段の対応する表示領域に表示させ、1つの表示領域に複数の三次元画像を表示する場合にはそれらの三次元画像を合成表示させる表示制御手段と、を備え、
   前記指示手段は、前記指示手段の操作パラメータと前記合成画像の奥行き方向とを対応させることにより、前記合成画像を構成する複数の三次元画像から任意の三次元画像を選択し、
   前記指示手段の操作パラメータは、前記指示手段によって入力された信号の入力圧であることを特徴とする医療画像表示装置。
4. 前記指示手段によって移動が指示された三次元画像が前記表示領域外に移動された場合には、前記表示制御手段は、前記三次元画像が表示されていた表示領域から前記三次元画像を削除することを特徴とする請求項1乃至3のいずれか一項に記載の医療画像表示装置。
5. 前記指示手段によって選択された三次元画像の断面像であって、前記指示手段の操作パラメータと対応する前記三次元画像の奥行き方向の所定の位置での断面像作成手段を備え、
   前記表示制御手段は、前記指示手段によって三次元画像が選択されている場合には、前記断面像作成手段で作成された断面像と前記合成画像とを重ねて表示させることを特徴とする請求項1乃至3のいずれか一項に記載の医療画像表示装置。
6. 前記表示制御手段は、前記指示手段の操作パラメータに基づいて前記合成画像を構成する複数の三次元画像間の合成率を設定することを特徴とする請求項1乃至3のいずれか一項に記載の医療画像表示装置。
7. 前記表示制御手段は、前記指示手段によって移動が指示された三次元画像を前記三次元画像が表示されている表示領域から他の表示領域に移動させる指示が確定するまでの間、前記三次元画像が移動される表示領域に前記三次元画像を簡易表示で表示させることを特徴とする請求項1乃至3のいずれか一項に記載の医療画像表示装置。
8. 前記表示制御手段は、前記指示手段の操作パラメータに基づいて簡易表示されている複数の三次元画像間の合成率を設定することを特徴とする請求項7に記載の医療画像表示装置。

Images