JPH11283055A - 三次元画像表示装置 - Google Patents

Abstract

(57)【要約】 【課題】手動で入力しなくとも視点の更新が停止するこ
となく、且つ意図した三次元画像が得られる三次元画像
表示装置を提供する。 【解決手段】視線方向は○印１４で表示された最深部の
方向へ更新され、視点位置は最深部へ近づくように自動
的に更新される。視線方向と視点位置とを連続的に更新
することによって、血管の奥行き方向に移動させる内視
鏡的な動きを模擬したデプス画像が得られる。本発明で
は、この三次元画像上にマウスポインタ１６が表示さ
れ、操作者がマウスで画像上の任意の位置をクリックす
ると、自動的な更新よりも優先して、視線方向がクリッ
クされた方向へ更新されると共に、視点位置がクリック
された点に近づくように更新される。このため、視線方
向を所望の方向へ更新することができると共に、視点位
置を所望の位置に更新することができ、意図した三次元
画像が得られる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は三次元画像表示装置
に係り、特に中心投影法によって疑似三次元画像を構成
する際に必要なパラメータである視点位置及び視線方向
を更新する三次元画像表示装置に関する。

【０００２】

【従来の技術】血管の内部を内視鏡的に観察する際に
は、中心投影法によって、血管の内部に設定された点状
の視点と所定の投影面（視線方向と直交する平面）との
間の原画像を、前記視点を中心として投影面に投影す
る。該投影像から血管の内部の疑似三次元画像が作成さ
れて、表示画面に表示される。そして、前記視点位置及
び視線方向（投影面の角度）を連続的に更新することに
よって、視点を血管の奥行き方向に移動させる内視鏡的
な動きを模擬した疑似三次元画像が得られる。

【０００３】従来、視点位置及び視線方向を更新する際
には、視点から原画像上の画素までの距離に応じて陰影
付けられたデプス画像内の視点からの距離が最も遠い最
深部を探索して、該最深部の方向に視線方向を更新する
と共に、前記視点位置が最深部に近づくように自動的に
更新されるものが出願されている（特願平６−１４３４
９６号、特願平７−２６１７３６号明細書参照）。

【０００４】また、自動的に更新処理を行う自動モード
と手動で更新する手動モードとを選択するものも出願さ
れている。手動モードを選択した際には、操作者が表示
画面上をマウスでクリックすることによって、視線方向
がクリックされた点の方向に更新されると共に、視点位
置がクリックされた点に近づくように更新される（特願
平７−９７５８６号、特願平８−９９６７４号、特願平
８−１６４９０１号明細書参照）。

【０００５】また、自動モードで更新している際に、血
管が枝分かれしているような部分などで深部が複数存在
し最深部の判定が不能の場合、手動モードに切り換わ
り、操作者が複数の深部から１つを選択する方法も記載
されている。

【０００６】

【発明が解決しようとする課題】しかしながら、上記の
ように手動モードに切り換わると、手動での指示入力待
ち状態となるため、そのたびに操作者が深部の選択を行
わなくてはならず手間がかかるという欠点があった。ま
た、視線方向は探索された最深部の方向へ更新されるた
め、視線方向を深部以外の方向に更新させることができ
ず意図した三次元画像が得られないという欠点があっ
た。

【０００７】本発明はこのような事情に鑑みてなされた
もので、手動で入力しなくとも視点の更新が停止するこ
となく、且つ意図した三次元画像が得られる三次元画像
表示装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】本発明は上記目的を達成
するために、複数の断層像を積み上げた原画像内におけ
る１つの視点位置及び該視点位置からの視線方向を設定
し、前記視点位置を起点とした中心投影法を使用して投
影面上に前記原画像を投影し、該投影像に陰影を付けて
疑似三次元画像としてモニタ画面に表示する三次元画像
表示装置において、前記視点から前記原画像内の最も遠
い最深部を探索し、前記視線方向を前記最深部の方向に
自動的に更新すると共に、前記視点位置が前記最深部に
近づくように自動的に更新する自動更新手段と、前記視
点位置及び視線方向のうちの少なくとも一方が所望の位
置及び／又は方向になるように操作者によって操作され
る指示入力手段と、前記指示入力手段による指示入力に
基づいて、前記視点位置及び視線方向のうち少なくとも
一方を更新する手動更新手段であって、前記自動更新手
段による更新よりも優先して更新する手動更新手段と、
前記自動更新手段又は手動更新手段によって更新された
視点位置及び視線方向に基づいて前記疑似三次元画像を
順次構成する処理手段と、を備えたことを特徴とする。

【０００９】本発明によれば、視点位置及び該視点位置
からの視線方向が設定されると、自動更新手段が視点か
ら前記原画像内の最も遠い最深部を探索し、前記視線方
向を前記最深部の方向に自動的に更新すると共に、前記
視点位置が前記最深部に近づくように自動的に更新す
る。操作者が指示入力手段によって、視点位置及び視線
方向のうちの少なくとも一方が所望の位置及び／又は方
向になるように指示すると、手動更新手段は、自動更新
手段による更新よりも優先して、指示入力手段による指
示入力に基づいて、前記視点位置及び視線方向のうち少
なくとも一方を更新する。自動更新手段又は手動更新手
段によって更新された視点位置及び視線方向に基づい
て、処理手段は疑似三次元画像を順次構成する。このよ
うに、手動更新手段による更新を自動更新手段による更
新よりも優先することによって、視点位置が所望の位置
になるように、及び／又は前記視線方向が所望の方向に
なるように更新することができ、意図した三次元画像を
得ることができる。

【００１０】また、本発明は上記目的を達成するため
に、三次元の原画像内における１つの視点位置及び該視
点位置からの視線方向を設定し、前記視点位置を起点と
した中心投影法を使用して投影面上に前記原画像を投影
し、該投影像に陰影を付けて疑似三次元画像としてモニ
タ画面に表示する三次元画像表示装置において、前記視
点から前記原画像内の最も遠い最深部を探索し、前記視
線方向を前記最深部の方向に自動的に更新すると共に、
前記視点位置が前記最深部に近づくように自動的に更新
する自動更新手段と、前記疑似三次元画像上で、前記疑
似三次元画像のない背景部分を求める手段と、前記求め
た背景部分に基づいて、前記自動更新手段による前記視
線方向と前記視点位置との更新を停止させる自動更新停
止手段と、を備えたことを特徴とする。

【００１１】本発明によれば、再構成された疑似三次元
画像上で、疑似三次元画像のない背景部分が求められ、
求めた背景部分に基づいて、自動更新停止手段が自動更
新手段による前記視線方向と前記視点位置との更新を停
止させる。このように、背景部分に基づいて視点の自動
更新を停止することによって、視点が更に背景の方向に
更新されて原画像外に出るのを防止することができる。

【００１２】

【発明の実施の形態】以下添付図面に従って本発明に係
る三次元画像処理装置の好ましい実施の形態について詳
説する。図１は、血管の内部を内視鏡的に観察した三次
元画像である。この三次元画像は、中心投影法によっ
て、視点と投影面との間に介在する原画像を視点位置を
中心として投影面に投影して得られる。視点から原画像
上の画素までの距離情報がメモリに記憶され、視点から
の距離が最も遠い画素を最深部とし、三次元画像上に○
印１４で表示される。

【００１３】視線方向は前記○印１４で表示された最深
部の方向へ更新されると共に、視点位置が前記最深部に
近づくように自動的に更新される。このように視線方向
及び視点位置を連続的に更新することによって、血管の
奥行き方向に移動させる内視鏡的な動きを模擬した疑似
三次元画像が得られる。また、本発明では、この三次元
画像上にマウスポインタ１６が表示され、操作者がマウ
スで画像上の任意の位置をクリックすると、自動的な更
新よりも優先して、視線方向がクリックされた方向へ更
新されると共に、視点位置がクリックされた点に近づく
ように更新される。

【００１４】視点位置及び視線方向を更新する方法は、
一段階処理方法と二段階処理方法とに分けられる。図２
は、一段階処理方法を説明する説明図である。視点位置
ｅ１と投影面とが決定されると、視線方向が投影面と直
交する方向に定められる。投影面上の最深部をｐ１とす
ると、視点がｅ１とｐ１とを結ぶ線分上の視点位置ｅ２
に位置し、且つ視線方向がこの線分と一致するように、
視点位置と視線方向（投影面）とが同時に更新される。
更新された投影面上の最深部をｐ２とすると、視点がｅ
２とｐ２とを結ぶ線分上の視点位置ｅ３に位置し、且つ
視線方向がこの線分と一致するように、視点位置と視線
方向（投影面）とが同時に更新される。

【００１５】図３は、二段階処理方法を説明する説明図
である。視点位置ｅ１と投影面とが決定されると、視線
方向が投影面と直交する方向に定められる。投影面上の
最深部をｐ１とすると、先ず、視線方向がｅ１とｐ１と
を結ぶ線分上に位置するように視点位置ｅ１を中心に回
転され、その後、視点が視線方向に沿って視点位置ｅ２
まで平行移動される。更新された投影面上の最深部をｐ
２とすると、先ず、視線方向がｅ２とｐ２とを結ぶ線分
上に位置するように視点位置ｅ２を中心に回転され、そ
の後、視点が視線方向に沿って視点位置ｅ３まで平行移
動される。このように、二段階処理方法では視点位置と
視線方向（投影面）とが二段階で更新される。

【００１６】前記一段階処理方法と二段階処理方法と
は、図４に示すように、操作者は一段階処理方法又は二
段階処理方法を選択する（ステップ３０）。一段階処理
方法を選択すると図２で示した方法で更新処理が行われ
（ステップ３２）、二段階処理方法を選択すると図３で
示した方法で更新処理が行われる（ステップ３１）。図
５は、三次元画像処理装置の一段階処理方法による処理
手順を示すフローチャートである。

【００１７】まず、フラグをゼロクリアする（ステップ
１）。フラグは共有メモリ領域に設定してあるので、異
なるプロセス（タスク）から参照することができる。次
に、マウス６０でサーフェイス画像２１をクリックする
ことによって初期視線方向と視点座標とを設定する（ス
テップ２）。初期設定の方法としてはこれに限定され
ず、磁気ディスクに設定しておいた値を読み込んでもよ
い。

【００１８】視線方向と視点座標とが初期設定された
ら、しきい値を入力して、デプス画像やサーフェイス画
像２１などの三次元画像を再構成させる（ステップ
３）。デプス画像上で視点からの距離が最も遠い最深部
を探索する（ステップ４）。最深部を探索する際には、
図６に示すように、小さな矩形４０ａ、４０ｂ、４０
ｃ、…内の画素値（デプス画像では、視点から原画像上
の画素までの距離に対応している）の平均値を求め、視
点から最も遠い距離情報を保持している矩形の中心を最
深部とする。探索された最深部は＋印４２で表示され、
その周囲が○印４１で表示される。これにより、探索結
果が視認でき、視点位置や視線方向を手動で指示すべき
かどうかの判断が容易になる。

【００１９】最深部が探索されたら、フラグが１である
かを判定する（ステップ５）。判定した結果、フラグが
１でなく０であったら、ステップ４で探索した最深部
（図６の画面上の情報ｄＸ、ｄＹ）に基づいて、視線方
向が前記最深部の方向へ更新されると共に、視点位置が
最深部に近づくように自動的に更新され、デプス画像や
サーフェイス画像などの三次元画像が再構成される（ス
テップ７）。尚、視点の移動量は、指定された距離、又
は最深部までの距離に対する指定された割合に相当する
距離に設定される。

【００２０】一方、ＣＲＴ５８上の各種ボタンはクリッ
クされたかが監視され（ステップ１０）、何れかのボタ
ンがクリックされた場合は、対応する処理を行う（ステ
ップ１３）。画像上の任意の位置をマウス６０でクリッ
クすると（ステップ１１）、フラグが１に設定され、ク
リックされた点の座標が決定される（ステップ１２）。
決定された座標は、読み込まれて共有メモリに記憶さ
れ、フラグがゼロクリアされる（ステップ６）。クリッ
クされた座標が読み込まれたら、視線方向が該座標の方
向へ更新されると共に、視点位置が該座標に近づくよう
に一段階処理方法によって更新され、デプス画像やサー
フェイス画像などの三次元画像が再構成される（ステッ
プ６）。このように、画像上の任意の位置がクリックさ
れると、自動的な更新よりも優先して、視線方向がクリ
ックされた点の方向へ更新され、視点位置がクリックさ
れた点に近づくように更新される。したがって、視点位
置を所望の位置へ更新することができると共に、視線方
向を所望の方向へ更新することができ、意図した三次元
画像を得ることができる。

【００２１】三次元画像が再構成されたら、診断支援処
理を行う（ステップ８）。例えば、図７に示すようなス
ピキュラ４６（腫瘤の周囲に見られる放射状にのびる
筋）の有無を判定し、スピキュラ４６が有る場合には、
図８に示すＣＲＴ５８上に「異常有り」の警告メッセー
ジ２８が表示されると共に、ボリュームレンダリング画
像２０上の異常箇所が点線２９で囲われる。

【００２２】ステップ７で三次元画像が再構成されてか
ら一定時間（例えば数秒）経過したかを判定し（ステッ
プ１４）、経過したら終了ボタン２２がクリックされた
か否かを判定する（ステップ９）。終了ボタン２２がク
リックされたら終了し、クリックされなければ、デプス
画像の最深部の探索を行い（ステップ４）、前述の処理
を繰り返す。

【００２３】図８に示すＣＲＴ５８には、ボリュームレ
ンダリング画像２０と図１で示したサーフェイス画像２
１とが表示される。このＣＲＴ５８にはマウス６０が接
続され、マウス６０でサーフェイス画像２１の任意の位
置をクリックすることによって手動で視点位置と視線方
向とを更新することができる。ＣＲＴ５８の左下部に
は、終了ボタン２２、停止ボタン２３、後退ボタン２
４、前進ボタン２５及びモードボタン２６が表示され
る。前進ボタン２５を押すことによって視点位置及び視
線方向が自動的に更新され、更新前の視点位置及び視線
方向が記録媒体に記録される。後退ボタン２４を押すこ
とによって、視点位置及び視線方向が前記記録された更
新前の視点位置及び視線方向に戻される。また、モード
ボタン２６を押すことによって、前記更新の処理方法を
選択することができる。

【００２４】図９は、三次元画像処理装置の二段階処理
方法による処理手順を示すフローチャートである。図５
と共通のステップは同一のステップ番号を付与し、その
部分の説明は省略する。二段階処理方法では、先ず、視
点位置はそのままで視線を変更し、三次元画像が再構成
される（ステップ１５）。三次元画像が再構成されてか
ら一定時間経過したかが判定され（ステップ１６）、経
過したら、視点が投影面の最深部又はマウスで指示され
た方向に前進されて、三次元画像が再構成される（ステ
ップ１７）。三次元画像が再構成されると、診断支援が
行われ（ステップ８）、三次元画像が再構成されてから
一定時間が経過したか判定される（ステップ１４）。

【００２５】図１０は、視点位置及び視線方向の更新を
停止する方法を示す説明図である。同図に示すように、
原画像１００に含まれる血管内を視点１０１、１０２は
図上右方向に順次自動的に更新される。視点位置及び視
線方向が更新されると、視点位置を中心とする中心投影
法によって再構成された血管壁を示す三次元画像がメモ
リ１０３に記憶される。視点１０１を中心として構成さ
れた三次元画像には、血管壁ａ、ｂ、ｃ、ｄ、ｅが表示
され、視点１０２が原画像１００の端に近づくと、図１
１に示すように、メモリ１０３には中央部に血管壁のな
い背景部分が表示された三次元画像が記憶される。この
時、血管内の血液は記憶されない。本発明では、三次元
画像内でこのような背景部分の面積とそれ以外の部分の
面積との比率がある定数を超えると、視線方向と視点位
置との自動更新処理を停止する。このように、三次元画
像内での背景部分の面積が大きくなると、視線方向と視
点位置との自動更新を停止することによって、視点が更
に図上右方向に進行して原画像１００外に出るのを防止
することができる。

【００２６】図１２は、自動更新処理を停止させる手順
を示すフローチャートである。まず、前記定数をキー入
力又は磁気ディスクから読み込んで設定する（ステップ
２００）。次に、視線方向と視点座標との初期値を設定
する（ステップ２０１）。視線方向と視点座標との初期
値が設定されたら、視点位置を中心とする内視鏡的に観
察した三次元画像を再構成させ、該三次元画像をメモリ
１０３に記憶させる（ステップ２０２）。この時の三次
元画像は、視点位置からの距離情報に基づいて陰影付け
されたデプス画像である。

【００２７】三次元画像が再構成されたら、メモリ１０
３上の背景部分と血管壁が示された非背景部分の面積の
比率（背景部分の面積／非背景部分の面積）を求める
（ステップ２０３）。背景部分の画素には負の特定値が
書き込んであり、その特定値を有する画素数を数えるこ
とによって背景部分の面積を求めることができる。三次
元画像を再構成する場合、予めメモリ１０３の全画素に
前記特定値を書き込んでおき、非背景部分を前記特定値
以外の画素値で書き込む。このため、背景部分の画素の
みが特定値を有する。

【００２８】比率を求めたら、求めた比率が前記設定さ
れた定数よりも大きいか判定し（ステップ２０４）、そ
の結果、比率が定数よりも大きければ、自動更新処理を
停止する（ｅｎｄ）。予め設定した視点数より大きい時
に停止してもよい。この場合、ステップ２００で視点数
を設定しておく。逆に、比率が定数よりも大きくなけれ
ば、デプス画像上で視点からの距離が最も遠い最深部を
探索する（ステップ２０５）。例えば、図１０の視点１
０１では点ｄが最深部である。また、前記最深部は点の
みでなく、大きさを有する領域でもよい。最深部が探索
されたら、視線方向が前記最深部の方向に更新されると
共に、視点位置が最深部に近づくように自動的に更新さ
れる（ステップ２０６）、視線方向と視点位置とが更新
されると、三次元画像が再構成され（ステップ２０
２）、前述の手順を繰り返す。

【００２９】尚、本実施の形態では、背景部分の面積と
非背景部分の面積との比がある定数を超えると自動更新
処理を停止するが、これに限定されず、三次元画像に背
景部分が一部でも表示されたら自動更新処理を停止す
る、又は三次元画像全面に背景が表示されたら自動更新
処理を停止するように設定してもよい。図１３は、三次
元画像表示装置のハードウェア構成を示すブロック図で
ある。この三次元画像表示装置は、例えばＸ線ＣＴ装置
やＭＲＩ装置などの医用画像診断装置で被検体の対象部
位について収集した医用画像データを記録し表示するも
ので、各構成要素の動作を制御する中央演算処理装置
（ＣＰＵ）５０と、装置の制御プログラムが格納された
主メモリ５２と、複数の断層像及び画像再構成プログラ
ム等が格納された磁気ディスク５４と、再構成された画
像データを表示するために記憶する表示メモリ５６と、
この表示メモリ５６からの画像データを表示する表示装
置としてのＣＲＴ５８と、位置入力装置としてのマウス
６０と、マウス６０の状態を検出してＣＲＴ５８上のマ
ウスポインタの位置やマウス６０の状態等の信号をＣＰ
Ｕ５０に出力するマウスコントローラ６２と、各種の操
作指令等を入力するキーボード６４と、上記各構成要素
を接続する共通バス６６とから構成される。

【００３０】

【発明の効果】以上説明したように本発明によれば、自
動更新手段による更新よりも優先して視線方向及び視点
位置を更新する手動更新手段を備えたことによって、視
点位置を所望の位置に更新することができると共に、視
線方向を所望の方向に更新することができ、意図した三
次元画像を得ることができる。

【図面の簡単な説明】

【図１】血管の内部を内視鏡的に観察した三次元画像

【図２】一段階処理方法を説明する説明図

【図３】二段階処理方法を説明する説明図

【図４】一段階処理方法と二段階処理方法とを選択する
手順を示したフローチャート

【図５】三次元画像表示装置の一段階処理方法による処
理手順を示したフローチャート

【図６】最深部を探索する方法を説明する説明図

【図７】スピキュラの投影された三次元画像を説明する
説明図

【図８】ＣＲＴの画面構成を示す説明図

【図９】三次元画像構成装置の二段階処理方法による処
理手順を示したフローチャート

【図１０】視点位置及び視線方向の更新を停止する方法
を示す説明図

【図１１】背景を有する三次元画像が記憶されたメモリ
を示す図

【図１２】自動更新処理を停止させる手順を示すフロー
チャート

【図１３】三次元画像表示装置のハードウェア構成を示
すブロック図

【符号の説明】

５０…ＣＰＵ ５２…主メモリ ５４…磁気ディスク ５６…表示メモリ ５８…ＣＲＴ ６０…マウス ６２…マウスコントローラ ６４…キーボード １００…原画像 １０１、１０２…視点 １０３…メモリ

Claims (3)

【特許請求の範囲】
1. 【請求項１】 三次元の原画像内における１つの視点位
   置及び該視点位置からの視線方向を設定し、前記視点位
   置を起点とした中心投影法を使用して投影面上に前記原
   画像を投影し、該投影像に陰影を付けて疑似三次元画像
   としてモニタ画面に表示する三次元画像表示装置におい
   て、 前記視点から前記原画像内の最も遠い最深部を探索し、
   前記視線方向を前記最深部の方向に自動的に更新すると
   共に、前記視点位置が前記最深部に近づくように自動的
   に更新する自動更新手段と、 前記視点位置及び視線方向のうちの少なくとも一方が所
   望の位置及び／又は方向になるように操作者によって操
   作される指示入力手段と、 前記指示入力手段による指示入力に基づいて、前記視点
   位置及び視線方向のうち少なくとも一方を更新する手動
   更新手段であって、前記自動更新手段による更新よりも
   優先して更新する手動更新手段と、 前記自動更新手段又は手動更新手段によって更新された
   視点位置及び視線方向に基づいて前記疑似三次元画像を
   順次構成する処理手段と、 を備えたことを特徴とする三次元画像表示装置。
2. 【請求項２】 前記処理手段は、前記視点位置と視線方
   向とを同時に更新して前記疑似三次元画像を構成する一
   段階処理手段と、視線方向のみを更新して疑似三次元画
   像を構成し、所定時間経過後に前記構成した疑似三次元
   画像に対して視点位置のみを更新して疑似三次元画像を
   構成する二段階処理手段と、前記一段階処理手段又は二
   段階処理手段を選択する選択手段と、を有することを特
   徴とする請求項１記載の三次元画像表示装置。
3. 【請求項３】 三次元の原画像内における１つの視点位
   置及び該視点位置からの視線方向を設定し、前記視点位
   置を起点とした中心投影法を使用して投影面上に前記原
   画像を投影し、該投影像に陰影を付けて疑似三次元画像
   としてモニタ画面に表示する三次元画像表示装置におい
   て、 前記視点から前記原画像内の最も遠い最深部を探索し、
   前記視線方向を前記最深部の方向に自動的に更新すると
   共に、前記視点位置が前記最深部に近づくように自動的
   に更新する自動更新手段と、 前記疑似三次元画像上で、前記疑似三次元画像のない背
   景部分を求める手段と、 前記求めた背景部分に基づいて、前記自動更新手段によ
   る前記視線方向と前記視点位置との更新を停止させる自
   動更新停止手段と、 を備えたことを特徴とする三次元画像表示装置。