JPH096986A

JPH096986A - マルチモダリティに対応した３次元画像合成表示装置

Info

Publication number: JPH096986A
Application number: JP7151336A
Authority: JP
Inventors: Yoshiaki Isobe; 義明磯部; Koichi Sano; 耕一佐野; Michio Oikawa; 道雄及川
Original assignee: Hitachi Ltd; Hitachi Medical Corp
Current assignee: Hitachi Ltd; Hitachi Healthcare Manufacturing Ltd
Priority date: 1995-06-19
Filing date: 1995-06-19
Publication date: 1997-01-10
Anticipated expiration: 2019-09-29
Also published as: US5995108A; JP3570576B2

Abstract

(57)【要約】【目的】３次元データ上でデータを統合することなし
に、表示表面深さ（Ｚバッファ）値により３次元位置関
係の正しく画像合成でき、されに関心領域ごとに最適な
レンダリングパラメータを選択できるため高画質に画像
合成でき、さらに関心領域ごとに任意の不透明度の合成
を行う、３次元画像合成表示装置を提供する。【構成】３次元データを保管する記憶装置と、ボリュ
ームレンダリングと画像合成を処理する計算機と、ディ
スプレイと、ディスプレイの座標を入力する装置とを備
えた３次元画像合成表示装置において、３次元データを
可視化するためのボリュームレンダリング機能２１１
と、関心領域を抽出する機能２２０と、その抽出領域に
対しボリュームレンダリングする機能２２１と、ボリュ
ームレンダリングの際、最も表示に関与したボクセルを
表示表面深さ（Ｚバッファ）値として求める機能２１
１、２２１とを有する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用の分野】本発明は、Ｘ線ＣＴ装置やＭＲ
Ｉ装置や３Ｄ超音波診断装置やEmission ＣＴ装置によ
り得られた複数の３次元ボリュームデータの３次元画像
合成表示に関し、各データごとに同一の視線方向を合わ
せて表示表面深さ（Ｚバッファ）値を持つ３次元投影画
像を計算する機能を備え、この３次元投影画像を複数用
いることで３次元的に位置の正しい高画質な合成表示を
得る３次元画像合成表示装置に関する。

【０００２】

【従来の技術】本発明に関連する公知例として以下の文
献が挙げられる。（１）M.Levoy：Efficient Ray Tracing of Volume Dat
a, ACM Trans. on Graphics,Vol.9, No.3, (1990) pp2
45-261 （２）Newell, M.E.,Newell, R.G. and Sancha, T.
L.：A New Approach to the Shaded Picture Problem,P
roc.ACM.Nat.Conf.,(1972)pp.443 （３）石井光雄：映像化マシン、オーム社pp12 （４）西川克彦,桜庭孝弘,斉藤英樹,杉山淳一,松尾昭
彦：高速高性能三次元システム「昴」−(４)高速描画機
構−,1992年電子情報通信学会秋季大会講演論文集6,pp2
04 （５）特開昭６４−３７６７８号公報（６）医用画像のディジタル化と三次元画像処理−旭化
成情報システム(株)−, 映像情報(Ｍ)1994年5月, pp606
-607 文献（１）では、３次元データのボリュームレンダリン
グを説明している。ボリュームレンダリングにおける３
次元データは、半透明のボクセルから構成されると考え
る。視点から物体に向かいレイトレースしていき、半透
明のボクセルに光が透過するとき、光の透過量が変化す
る度合いとして、各ボクセルに対し不透明度を定義し、
ボクセルから反射される光の量の総和を投影面のピクセ
ル値として投影する。ＣＧの技術として、透明、半透明
の物体の合成を行う簡単な方法が（２）のNewellの方法
である。この方法は、背後の物体の色と透明な物体の色
を混ぜ合わせることにより、透明感を表現するものであ
る。文献（３）では、物体モデルをレンダリングする隠
面処理としてＺバッファの機能を用いている。ここで
は、各物体モデルの表面位置とＺバッファの値と比較し
て、すでにレンダリングされている物体より手前の物体
ならＺバッファとこの物体の投影値を書き換え、全ての
物体について同様に計算し投影画像を得る。文献（４）
では、複数の描画機構を奥行きデータ制御機構を介して
接続することにより、各描画機構で生成された画像を奥
行き値に基づいて合成することができる。この方式で
は、３次元空間に定義される複数のプリミティブを複数
の描画機構により分担し並列に複数の画像を生成し、そ
れを合成し３次元画像を得るので、描画機能の台数によ
り時間を短縮できる。一般に複数の３次元データの合成
表示する場合、それぞれのデータから表示したい部位を
３次元的に抽出処理により、分離（セグメンテーショ
ン）し、統合したい３次元データに埋め込み、合成表示
を行う必要があった。このように、一つの３次元データ
に統一されたデータに対して、公知例（５）では、３次
元データから任意の構造物を抽出し、その投影面からの
距離を作成しておき、任意の形状に設定された切除領域
の内外のサーフェス画像を一枚の画像に合成表示してい
る。文献（６）では、3D合成ソフト「Dr.View/Blende
r」を紹介しており、このソフトによれば自由な方向か
ら見た表示が可能であり、その表示物体に割断面を入れ
ることができ、この表示結果の３次元表面にモダリティ
の異なる画像をある割合で張り付けることができる。

【０００３】

【発明が解決しようとする課題】Ｘ線ＣＴ装置で患部を
撮影する場合、様々な血管造影を行い、患部やその周辺
の血管の走行状態、骨などの３次元情報を得る。また、
ＭＲＩでは、軟部組織の病変や、血流などの３次元情報
を低侵襲で得ることができる。さらに、EmissionＣＴで
は、人体の生理機能を３次元情報として得ることができ
る。このような様々な撮影方法により得られた３次元情
報を有効利用し、互いのデータを補完し、合成表示を行
い、診察や手術計画の際に役立てたいというニーズがあ
る。従来、単一の上記のような３次元データを高画質に
可視化する方法として、文献（１）のような表示表面を
一意に決めずに可視化するボリュームレンダリング法が
知られているが、この方法では滑らかに変化する表示表
面部の数ボクセルを投影値に関与させる可視化アルゴリ
ズムなので表示表面深さ（Ｚバッファ）値を、一意に決
定できない。また、複数の３次元データを合成するに
は、３次元空間に複数の３次元データを表現する必要が
ありメモリを多く消費する。さらに、この方法で各関心
領域を半透明に表示するには、レンダリングパラメータ
が複雑になり最適なパラメータを得るのは非常に困難で
ある。また、公知例（５）は上記のように各々の３次元
データから表示したい関心領域を抽出処理によりセグメ
ンテーションし、統合したい３次元データの対応する位
置に埋め込み、合成表示するものである。この方法で
は、異なるデータにセグメンテーションした結果を埋め
込むため画像に不連続面が生じ、ボリュームレンダリン
グで合成表示する際、画質の悪化が予想される。また、
３次元ＣＧでは、文献（２）（３）（４）のような、様
々な画像合成テクニックが提案されているが、これらの
方法では複数の３次元データの関心領域ごとに表面位置
データなどの３次元座標データに変更し、一つの３次元
ベクトルデータとして表現し、レンダリング処理する必
要があり、このため、個々の関心領域に対し、画質の良
いボリュームレンダリング法を選択できなかった。ま
た、文献（６）のような三次元データの投影結果に異な
るデータの投影結果をある割合で単純に張り付け、画像
の合成を行う方法では、３次元的に前後関係の合った合
成をすることは不可能である。

【０００４】本発明の目的は、このような問題点を改善
し、異なる複数の３次元データを統合し新たな３次元デ
ータを作成することなしに高画質なボリュームレンダリ
ング合成表示を簡単に行うことが可能な、３次元画像合
成表示装置を提供することにある。さらに、各関心領域
ごとに最適な可視化パラメータでボリュームレンダリン
グすることを可能とし、高画質なボリュームレンダリン
グ画像の合成表示を行うことが可能とすることを目的と
する。さらに、各関心領域ごとにボリュームレンダリン
グ画像作成時に最も表示に関与したボクセルの深さ値に
より表示表面深さ（Ｚバッファ）値を求めることがで
き、この値をもとにボリュームレンダリング合成表示を
行うことで３次元的な前後関係の正しい３次元合成画像
を得ることを目的とする。さらに、各ボリュームレンダ
リング画像ごとに不透明度を任意に設定することで、任
意の半透明合成画像や非透明合成画像を得ることを目的
とする。また、３次元機能データとの画像合成でも複数
の３次元形態データから得たボリュームレンダリング合
成画像上に画像合成できるようにすることを目的とす
る。さらに、マルチモダリティデータの合成表示におい
ては、各撮影装置ごとにボリュームレンダリングを行う
プロセッサを持ち、それぞれの３次元投影画像を並列に
計算可能にすることを目的とし、さらにその結果を画像
合成装置に転送することで、画像合成ができ、データ量
の大きい３次元ボリュームデータを転送しないことを目
的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、本発明の３次元画像合成装置は、３次元データを保
管するハードディスク（図１の１０４）と、ボリューム
レンダリング及び投影画像合成を行う計算機（図１の１
００）と、ディスプレイ（図１の１０３）と、ディスプ
レイの座標を入力する装置（図１の１０２）とを備えて
いる。さらに、計算機１００には、３次元データを可視
化するための、ボリュームレンダリング機能（図２の２
１１）と、関心領域の抽出機能（図２の２２０）及びそ
の抽出領域に対しボリュームレンダリングする機能（図
２の２２１）と、これらレンダリングの際に表示表面深
さ（Ｚバッファ）値を求める機能（図２の２１１、２２
１）とを備えている。上記ボリュームレンダリング機能
２１１、２２１は、位置合わせの済んだ各々の３次元デ
ータごとの関心領域ごとに最適なレンダリングパラメー
タで３次元投影画像（図９参照）を得ると同時に、投影
画像の画素ごとにレンダリング輝度値とともにこの輝度
値に最も関与した光線追跡線上のボクセルの深さ値とし
て表示表面深さ（Ｚバッファ）値（図１０参照）を求め
るものである。さらに、複数の３次元データに対し、同
一の視線方向からボリュームレンダリングし複数の３次
元画像（Ｚバッファ付き）を得る機能と、同一の視線方
向から複数のレンダリングパラメータで複数の３次元画
像（Ｚバッファ付き）を得る機能を備えている。さら
に、このようなボリュームレンダリング機能により得た
複数の同一の視線方向から投影計算された３次元投影画
像を表示表面深さ（Ｚバッファ）値をもとに画素ごとに
求めた前後関係と、各３次元投影画像ごとに設定された
不透明度と、それぞれの画像の画素の輝度値とにより、
合成画像の画素値への関与について計算を行い画像合成
結果を得る機能（図１３参照）を備えている。さらに、
同様に得られた同一視線方向の３次元画像（Ｚバッファ
付き）を合成表示する機能に対し、各画像ごとに不透明
度を設定する機能（図６の３３１）と、各画像ごとに輝
度値を変更する機能（図６の３６０、３７０）と、各画
像ごとに任意に線形変形する機能（図１６の６３４、６
３５）と、各画像ごとに表示表面深さ（Ｚバッファ）値
を一様に変更する機能（図１６の６３７）とを備えてい
る。上記のように得られた合成画像に対し、合成された
３次元画像の表示表面深さ（Ｚバッファ）値の最大値を
取ることで合成画像の表示表面深さ（Ｚバッファ）値を
求め、この値とこの合成画像を計算した視線方向より、
合成画像の表面に３次元機能データの値を合成し、機能
情報合成画像を得る機能（図１８参照）を備えている。
また、マルチモダリティの画像合成に対し、各撮影装置
ごとにプロセッサ（図１９の８１０、８２０、８４０、
８５０）を備え、このプロセッサは共通の座標系に位置
合わせする機能と、画像合成装置の指示する視線方向の
ボリュームレンダリングを行い３次元画像を求める機能
と、表示表面深さ（Ｚバッファ）値を求める機能と、求
めた３次元画像と表示表面深さ（Ｚバッファ）値を画像
合成装置に転送し、合成画像を求める機能（図２０参
照）を備えている。

【０００６】

【作用】本発明では、複数の３次元データに対し、それ
ぞれのデータで個別に同一視線方向からの３次元画像を
作成し、その得られた３次元画像に対し合成計算を行う
ため、複数の３次元データを統合する必要がなく、簡単
に合成画像を得ることができる。さらに、各関心領域ご
とに３次元画像を作成するため、各関心領域ごとに最適
なボリュームレンダリングパラメータを選択することが
でき、高画質な合成表示を行うことができる。さらに、
ボリュームレンダリングでは、一意に決められない表示
表面深さ（Ｚバッファ）値を表示に最も関与したボクセ
ルの深さ値から求め、画像合成の際にこの値により３次
元的前後位置関係を判定しこの結果に応じた合成を行う
ため、３次元位置関係の正しい合成表示を行うことがで
きる。さらに、各３次元画像ごとに不透明度をユーザー
の入力により対話的に設定することができるため、任意
の半透明合成表示や非透明合成表示(手前にある画像の
画素値最優先表示)を行うことができる。さらに、複数
の３次元データから合成された画像の表示表面に３次元
機能データの機能情報を合成表示することができる。さ
らに、複数のモダリティごとに処理装置を設けてネット
ワーク構成とすることにより、処理装置の処理結果をネ
ットワークを介して画像合成表示装置に転送しマルチモ
ダリティの合成表示を行うことができる。

【０００７】

【実施例】本発明を実施例を用いて説明する。図１は本
発明のシステム構成の一例であって、各実施例における
画像合成表示方法を適用するものである。Ｘ線ＣＴ装置
２０で計測された３次元データはネットワーク７０を介
して、オンラインで３次元画像処理システム１００のハ
ードディスク１０４に転送される。または、計測された
３次元データは光磁気ディスクＭＯ１２に記録され、オ
フラインで３次元画像処理システム１００に接続されて
いる光磁気ディスクＭＯ１０１より読み出され、ハード
ディスク１０４に転送される。同様な経路で、ＭＲＩ装
置１０、３Ｄ超音波診断装置４０、Emission ＣＴ３０
の各装置で計測された３次元データも３次元画像処理シ
ステム１００のハードディスク１０４に転送される。３
次元画像処理装置１００は、光磁気ディスク１０１と、
ハードディスク１０４と、入力装置１０２と、ディスプ
レイ装置１０３を持つ。

【０００８】（実施例１）実施例１では、複数の３次元
データのボリュームレンダリング結果の画像合成につい
て説明する。図２は３次元画像処理装置100内での処理
を示すフローチャートである。ステップ２００：上記のような手段により、３次元デー
タを３次元画像処理装置１００内に読み込む。ステップ２０１：ステップ２００で読み込まれた複数の
データに対し、位置や分解能、軸方向を合わせる処理や
データごとに最適な階調に変換する処理を前処理として
行う。ステップ２１１：ステップ２０１で生成されたデータに
対し、３次元画像処理装置１００でサポートしているボ
リュームレンダリング処理を行い、データごとの関心領
域ごとに最適なパラメータでレンダリングを行い、３次
元画像２１２を得る。ステップ２２０：ステップ２０１で生成されたデータに
対し、３次元画像処理装置１００でサポートしている関
心領域抽出処理により、データごとに関心領域をセグメ
ンテーションする。ステップ２２１：ステップ２２０でセグメンテーション
された関心領域ごとに、３次元画像処理装置１００でサ
ポートしているボリュームレンダリング処理を行い、３
次元画像２２２を得る。３次元画像２１２、２２２は、
画素ごとに輝度を示す画素値と表示表面深さ（Ｚバッフ
ァ）値を持つ。また、この画像の輝度値は、画像の画素
値とカラーマップテーブルにより任意の色の輝度値に決
定されるものとする。このカラーマップテーブルは画像
ごとにヘッダ情報として定義される。こうして得られた
３次元画像２１２、２２２を合成表示機能３００に入力
する。

【０００９】図３は合成表示に入力する３次元画像デー
タの持つ表示表面深さ（Ｚバッファ）値の説明図であ
る。格子２３０は３次元データの任意のスライスのレン
ダリング座標系を示し、頭部のサジタル断面とする。こ
の画像では脳領域の濃度値２３１を「１００」、脳以外
の頭部領域の濃度値２３２を「９０」、空気領域の濃度
値２３３を「０」とする。矢印２４０はレンダリング処
理の際の視線方向を示す。この方向からレンダリングし
た際の表示深さの目盛りを２４１に示した。このような
データを可視化する際、頭部を関心領域とする場合、レ
ンダリングパラメータのしきい値を「８５」以上に設定
することにより、表示関与領域は頭部に限定され、頭部
を可視化することができる。このようにレンダリング方
向２４０に沿って格子２３０点ごとの画素値をレイトレ
ースしていき、最初のしきい値「８５」以上の座標点の
表示表面深さ目盛り２４１の値を投影面のＺバッファに
記憶する。このとき、投影面の画素ごとに表示表面深さ
（Ｚバッファ）値を求めた値が２５０である。同様に脳
を関心領域とする場合、しきい値を「９５」以上に設定
することにより、脳領域を可視化することができ、この
とき、２６０のような表示表面深さ（Ｚバッファ）値を
得る。しかし、ＭＲＩやＸ線ＣＴなどの計測データに適
用し、以上のような濃度しきい値以上のサーフェスレン
ダリングを行うと計測ノイズのため、滑らかな投影画像
を得ることができない。このため、表示表面付近の数画
素を投影画像に関与させるボリュームレンダリング法を
用い、高画質な投影画像を得る。

【００１０】ここで、ボリュームレンダリングについて
説明する。各ボクセルの不透明度αと反射度が等しく、
光の透過率が(１ーα)であるとする。そして各点に配置
されたボクセルで反射された光が投影面に対して前にあ
る他のボクセルの透過率に従い透過して投影点に達する
ものとして、各ボクセルが投影値に影響を与える表示関
与量Ｑを式１により求める。

【数１】ここで、ｉは、処理対象となったボクセルを表す。すな
わち、ｉ−１は、前回の処理対象ボクセルを表す。よっ
て、Π(１ーα(ｊ) )は、ｉの手前に配置された各ボク
セル透過率の積であり、点ｉのボクセルで反射した光α
(ｉ)ｃ(ｉ)の投影面への透過率を示している。この各ボ
クセルの投影値に与える表示関与量Ｑの総和が、ボリュ
ームレンダリングの投影値となる。以上で、投影面上の
一つのピクセル値が求まったので、この計算をすべての
投影面のピクセルに対し行い、ボリュームレンダリング
画像を求める。

【００１１】図４によって、このボリュームレンダリン
グとサーフェスレンダリングとを比較した。(a)はサー
フェスレンダリング、(b)は、ボリュームレンダリング
を光線追跡断面のモデル図に示したものである。投影点
２７０のサーフェスレンダリングにおいて、表示表面は
２７５のように一つの投影点に一つのボクセルとなり、
光の反射は２７１のようになる。一方、ボリュームレン
ダリングでは、先に述べたように、同一の投影点２７０
のレンダリングにおいて、表示表面は、２８１〜２８４
のように数ボクセルとなり、２９１〜２９４のそれぞれ
の光の反射量とそれぞれに到達する光の量の積の和によ
り投影値が決まる。この例では、不透明度αは、対話的
に指定する傾きパラメータとボクセル濃度値の一次関数
とした。この際の各ボクセルごとの表示関与量Ｑを図５
にグラフで示す。上記のように、ボリュームレンダリン
グでは、表示表面が数ボクセルに及んでいるため、一意
に決定する方法が求められる。以下の方法が考えられ
る。（イ）最初に表示に関与したボクセルの表示表面ボクセ
ルとする。（ロ）表示に関与した全てのボクセルの深さ値の平均を
取る。（ハ）表示に関与したボクセルの最大の関与量を示すボ
クセルを表示表面ボクセルとする。本実施例では、想定する表面と誤差が最も小さいと思わ
れる（ハ）の方法により、表示表面深さ値を定義する。
この例の場合は、表示に関与したボクセルのなかで最大
の関与量を示すボクセル２８３が表示表面となり、表示
表面深さ値は「９」となる。なお（イ）の方法では、ボ
クセル２８１が表示表面となり、表示表面深さ値は
「５」となる。また（ロ）の方法は、表示に関与したボ
クセル２８１〜２８４の深さ値の平均を取る方法で、表
示表面深さ値は「（５＋８＋９＋１０）／４＝８」とな
る。（イ）の方法が最もシンプルで処理も速く、（ハ）
の方法が最も精度が高い合成表示が可能である。（ロ）
の方法は、これらを折衷した方法である。

【００１２】図６に合成表示機能の構成の一例を示し、
図７にその合成表示機能のメインルーチンを示す。この
実施例ではオブジェクト指向の概念に基づき構築されて
おり、マウスやキーボードのイベント４０１により、各
機能ごとのルーチンが起動される。ウインドウ３０１に
画像合成結果を表示する。ウインドウ３０２で、同一の
視線方向からレンダリングした３次元画像（図２の２１
２、２２２）を複数枚読み込む。読み込まれた各３次元
画像ごとに、ラベル３１１に３次元画像名を表示し、ウ
インドウ３２１に３次元画像を参照表示し、スライダ３
３１により、対応する３次元画像ごとの不透明度を設
定、画像合成イベントを発行する。プッシュボタン３４
０は、マウスのクリックにより３次元画像の読み込みイ
ベントを発行する。プッシュボタン３４５は、マウスの
クリックによりウィンドウ３０１で表示している合成表
示結果をファイルに保存するイベントを発行する。プッ
シュボタン３５０は、マウスのクリックによりウィンド
ウ３０２に表示している３次元画像の画像合成イベント
を発行する。プッシュボタン３６０は、マウスのクリッ
クにより、任意の読み込んだ３次元画像の色変更イベン
トを発行する。プッシュボタン３７０は、マウスのクリ
ックにより、任意の読み込んだ３次元画像のＬＵＴ変更
イベントを発行する。なお、マウスをクリックすること
により、予め登録してある輝度値変更テーブルを選択変
更できるように構成されているものとする。プッシュボ
タン３８０は、マウスのクリックにより、任意の読み込
んだ３次元画像の変形・移動イベントを発行する。プッ
シュボタン３９０は、マウスのクリックにより、合成表
示機能終了イベントを発行する。

【００１３】図８に、画像読み込みイベントの処理ルー
チンを示す。ステップ４１０：画像読み込みイベントが発行されると
（図７のステップ４０１）、まず、３次元画像選択ウィ
ンドウを表示し、任意の３次元画像を選択する。ステップ４１１：選択された３次元画像を合成表示機能
（図２の３００）に読み込む。ステップ４１２：読み込んだ３次元画像をヘッダのカラ
ーマップ情報などによりＲＧＢデータに変換する。ステップ４１３：読み込んだ３次元画像の表示表面深さ
（Ｚバッファ）値により、各３次元画像の画素ごとの前
後関係の順番をメモリ上に記録する。

【００１４】図９に具体的な合成表示を適用する画像の
例を示す。それぞれ、３次元画像２１３を頭画像、３次
元画像２１４を骨画像、３次元画像２２３を血管画像と
する。図１０に図９の眼孔の位置の縦軸平行線上の表示
表面深さ（Ｚバッファ）値の変化の様子を示す。ここで
も、３次元画像２１３を頭の表示表面深さ（Ｚバッフ
ァ）値、３次元画像２１４を骨の表示表面深さ（Ｚバッ
ファ）値、３次元画像２２３を血管の表示表面深さ（Ｚ
バッファ）値とする。さらに、合成投影点Ｂ５０１付近
において、頭骨眼孔部を５０２とする。図１１で合成表
示処理における光量減衰の過程の例を示す。ここで、頭
画像２１３の不透明度を「０．５」、骨画像２１４の不
透明度を「０．５」、血管画像２２３の不透明度を
「１．０」とする。合成投影点Ａ５００では、光量初期
値「１．０」５１０が、まず、不透明度「０．５」の頭
画像２１３を通るため、通過後の光量５１１は、(１．
０−０．５)＝０．５となる。さらに、不透明度「０．
５」の骨画像２１４を通るため、通過後の光量５１２
は、０．５×（１．０−０．５）＝０．２５となる。合
成投影点Ｂ５００では、合成投影点Ａ５０１と同様に光
量初期値「１．０」５１０が、まず不透明度「０．５」
の頭画像２１３を通るため、通過後の光量５１１は、
(１．０−０．５)＝０．５となる。合成投影点Ｂ５００
では、眼孔部５０２であるため血管画像２２３の方が骨
画像２１４より手前にあるため、不透明度「１．０」の
血管画像２２３を通る。通過後の光量５１３は、０．５
×(１．０−１．０)＝０．０となる。それぞれの画像の
合成計算値への関与値は、画像の輝度と通過してきた光
量とその画像の不透明度値の積算となる。合成画像の画
素値は、各３次元画像の関与値の総和となる。なお、画
像の合成計算は（式２）のようになる。

【数２】

【００１５】図１２に画像合成処理実行ルーチンの処理
フローを示す。ステップ４２１：注目合成画素に対する合成計算初期値
を代入する。ステップ４２２：総和計算の終了条件判定を行い、ステ
ップ４２３〜４２５を画像の枚数分繰り返す。この繰り
返しは、各表示表面深さ（Ｚバッファ）値を比較し、手
前にある画像から順に処理を行う。ステップ４２３：各画像の画素値の合成計算値への関与
値を求め、合成計算値に関与値をインクリメントし、最
終的には総和を求め合成画素値を得る。ここで、関与値
は次のようになる。 (関与値)＝(画像の画素値)×(この画像に到達した光量)
×(画像の不透明度) なお、この画像に到達した光量は、初期値「１．０」と
して、ステップ４２４により、奥にある画像に対する光
量程、前の画像の不透明度により減衰される。ステップ４２４：対象となっている画像による光量の減
衰結果を計算する。ここで、光量の減衰は次のようにな
る。（減衰した光量）＝（光量）×（１．０−画像の不透明
度）ステップ４２５：対象画像を次の画像に移し、ステップ
４２２に戻る。ステップ４２６：画像合成計算終了の判定を行う。終了
していなければステップ４２７に進む。終了していれば
ステップ４２８に進む。ステップ４２７：次の合成計算画素に注目点を移し、ス
テップ４２１に戻る。ステップ４２８：画像合成計算結果を表示するため画像
の正規化を行う。この合成計算は各３次元画像に対応する不透明度変更ス
ライダ３３１の変更イベントが発行されたときと合成計
算イベント（図６の３５０）が発行されたとき実行さ
れ、合成計算結果ウインドウ（図６の３０１）に表示す
る。

【００１６】図１３に回転指定を含む合成表示機能の処
理フローを示す。ステップ５００：合成計算の対象になっている３次元デ
ータを読み込む。ステップ５０１：各関心領域表示のためのしきい値、ボ
リュームレンダリング不透明度、表示抽出領域、色（Ｒ
ＧＢの割合）などのパラメータをすべての関心領域にマ
ルチに設定する。Ｘ線ＣＴデータを例に説明すると、皮
膚表示に対ししきい値をＣＴ値「−３００」以上で色を
肌色に設定し、骨表示に対ししきい値をＣＴ値「２０
０」以上で色を白色に設定し、血管表示に対しあらかじ
め血管領域を抽出しておき、赤色を設定する。ステップ５０２：同一の視線方向から各関心領域ごとに
３次元画像を作成する。この結果を合成表示機能３００
に渡す。ステップ５０４：ステップ５０２の結果を画像合成す
る。ステップ５０５：ステップ５０２の結果に対し、各３次
元画像の不透明度を変更した場合、変更後のパラメータ
で画像合成を繰り返す。ステップ５０６：視線方向パラメータの変更をした場
合、ステップ５０２に戻り、各関心領域ごとに３次元画
像を変更された視線方向で作成し、画像合成を繰り返
す。このような、フローにより、任意の視線方向からの合成
結果を得る。

【００１７】なお、図１４のような並列化により回転を
含む画像合成を高速化が可能である。ネットワーク５７
０に接続された、いくつかのプロセッサ５６０で関心領
域ごとにボリュームレンダリングの処理を分割し、並列
にボリュームレンダリング画像を求める。この結果を特
定の画像合成プロセッサ５８０に転送し、合成画像を得
る。このとき、各ボリュームレンダリングプロセッサ
は、レンダリングが終了した投影画像の部分領域を逐次
画像合成プロセッサに転送、画像合成プロセッサはデー
タの揃った画像の部分領域から合成を行うようにする。
この結果、最も時間のかかる関心領域のボリュームレン
ダリング画像を求める時間とその画像転送時間と画像合
成表示時間を足した時間で合成画像を求めることができ
る。

【００１８】（実施例２）実施例２では、３次元ベクト
ルデータとの画像合成について例を示す。これは、人工
血管や人工骨等を形成する前に、ＣＴやＭＲＩ等の計測
画像の３次元データの３次元画像上で人工血管等の３次
元ベクトル（ＣＡＤ）データを合成表示する場合を考え
る。これにより、人工血管や人工骨等の人工オブジェク
トの適用箇所への適応状況をシミュレーションすること
ができる。図１５に３次元ベクトルデータと３次元デー
タとの合成のフローチャートを示す。ステップ６００〜６０２：３次元データを読み込み、ボ
リュームレンダリング、Ｚバッファ付き３次元画像を得
る。ステップ６０３：３次元ＣＡＤなどにより、形状をモデ
ル化し、３次元ベクトルデータを作成する。ステップ６０４：ステップ６０３のデータをステップ６
０１のボリュームレンダリングの視線方向からレンダリ
ングする。このとき、表示表面深さ（Ｚバッファ）値も
計算する。ステップ６０５：Ｚバッファ付き３次元画像を得る。ステップ６１０：（実施例１）と同様に画像を合成し、
合成画像を得る。ステップ６２０〜６２８に画像の変
形、移動、干渉チェックなどの機能について説明する。ステップ６２０：プッシュボタン（図６の３８０）によ
り、変形・移動イベントが入力されたかチェックする。ステップ６２１：画像変形・移動サブウィンドウを呼び
出し、変形画像を指定する。ステップ６２３：移動、回転、拡大・縮小、表示表面深
さ（Ｚバッファ）値変更などの変形・移動の操作を行
う。ステップ６２４：変形対象画像に対し、変形・移動計算
を行い、ステップ６２３の結果と変形対象外の３次元画
像とを比較し、干渉し合っていないかチェックする。ステップ６２５〜６２６：ステップ６２３の結果、干渉
を受けている場合、変形・移動を停止し、干渉を受けて
いる点をマーキングする。ステップ６２８：受けていない場合、画像合成し、変形
・移動の処理（ステップ６２３）を続ける。

【００１９】図１６に変形・移動を行うサブウインドウ
を示す。ウィンドウ６３０：変形後の結果合成画像を表示する。ウィンドウ６３１：変形対象の画像を表示する。プッシュボタン６３２：変形画像と変形対象以外の画像
の合成画像とフリッカ表示（交互表示）を行う。プッシュボタン６３４：拡大・縮小・回転指定イベント
の発行を行う。プッシュボタン６３５：平行移動指定イベントの発行を
行う。プッシュボタン６３４、６３５は、ウィンドウ６
３１に対し、ポイントを指定し、変形・移動のパラメー
タを指定するため、どちらのパラメータを指定してする
のかを切り替える役目を果たす。トグルボタン６３６：干渉をチェックするかどうか切り
替える。スライダ６３７：変形画像の表示表面深さ（Ｚバッフ
ァ）値を一様に変更する変更量を指定する。ラベル６３８：変形パラメータを数値で表示する。

【００２０】図１７に変形のフローチャートを示す。
(a)に拡大・縮小・回転のフローチャートを、(b)に平行
移動のフローチャートを示す。この変形はボリュームレ
ンダリング画像だけでなく、表示表面深さ（Ｚバッフ
ァ）値に対しても同様の操作で行うことで、前後の位置
関係を保持する。ステップ６５０：拡大・回転のイベントの発行を受け、
このルーチンに入る。ステップ６５１：変更画像エリア内でのマウスイベント
の入力待ち状態にはいる。ステップ６５２：変更画像エリア内のマウスイベントが
最初の一点とするとき、このマウスイベントの座標を変
形中心点と設定する。ステップ６５３：変更画像エリア内のマウスイベントが
２番目のとき、マウスボタンの押された座標と離された
座標を得る。ステップ６５４：ステップ６５３で押された座標を変形
基準座標とし、離された座標を基準座標の変形後の座標
点とする。ステップ６５６：ステップ６５２〜６５４で得た、変形
パラメータをもとにアフィン変換を行う。ステップ６５７：変形後の画像を変更画像エリアに表
示、次の変形指定を待つ。ステップ６６０：平行移動の発行を受け、このルーチン
に入る。ステップ６６１：変更画像エリア内でのマウスイベント
の入力待ち状態にはいる。ステップ６６２：変更画像エリア内のマウスイベントが
入ったとき、マウスボタンの押された座標と離された座
標を得る。ステップ６６３：ステップ６６２で押された座標を変形
基準座標とし、離された座標を基準座標の変形後の座標
点とする。ステップ６６４：ステップ６５２〜６５３で得た、変形
パラメータをもとに平行移動変換を行う。ステップ６６５：変形後の画像を変更画像エリアに表
示、次の変形指定を待つ。以上のような操作で画像の変
形を対話的に指定する。

【００２１】（実施例３）実施例３では、ＭＲＩやＸ線
ＣＴなどの３次元形態データとEmissionＣＴなどの３次
元機能データの合成表示について説明する。ここでは、
各データ間の位置合わせ等は終了しているものとする。
図１８にそのフローチャートを示す。ステップ７０１：ボリュームレンダリングの視線方向を
指定する。ステップ７０２：ステップ７０１で指定された視線方向
より、複数の３次元データの複数の関心領域ごとにボリ
ュームレンダリングを行い、Ｚバッファ付きのボリュー
ムレンダリング画像を作成する。ステップ７０３：ステップ７０２で作成されたボリュー
ムレンダリング画像を合成し、Ｚバッファ付きで色指定
のない合成画像を作成する。ステップ７０４：ステップ７０１で指定された視線方向
に機能データを回転する。ステップ７０５：ステップ７０４で得た機能データにお
いて、ステップ７０３で得た表示表面深さ（Ｚバッフ
ァ）の座標の持つ値に指定されている色をこのピクセル
の色に設定し、機能情報合成画像を作成する。以上のように、複数の３次元データと３次元機能データ
との合成表示が可能となる。

【００２２】（実施例４）本実施例では、マルチモダリ
ティの画像合成について説明する。図１９にシステムの
構成例を示す。Ｘ線ＣＴ装置２０で計測された３次元デ
ータは、計測装置に直接接続された処理装置８２０へ転
送される。同様に、ＭＲＩ装置１０、３Ｄ超音波診断装
置４０、他計測装置８３０で計測されたそれぞれの３次
元データはそれぞれの計測装置に直接接続された処理装
置８１０、８４０、８５０に転送される。転送されたそ
れぞれのデータは、処理装置により共通の座標系にレジ
ストレーションされる。各処理装置はＬＡＮ７０、ＷＡ
Ｎ８６０を介し、画像合成表示装置８００と接続されて
いる。画像合成表示装置は結果を表示するディスプレイ
１０３と、入力装置１０２を持つ。

【００２３】図２０に図１９の構成例での画像合成表示
方法のフローチャートを示す。ステップ８７０：画像合成表示装置８００により、視線
方向の指定を行う。ステップ８８０：ステップ８７０で指定された視線方向
パラメータを合成の対象となっている３次元データを持
つ処理装置８１０、８２０、８４０、８５０にＬＡＮ７
０、ＷＡＮ８６０を介して転送する。ステップ８９０：ステップ８８０で送られてきた視線方
向パラメータに基づき、各処理装置８１０、８２０、８
４０、８５０にて、ボリュームレンダリングを行い、投
影画像と表示表面深さ（Ｚバッファ）値を計算する。ステップ９００：ステップ８９０で計算された投影画像
と表示表面深さ（Ｚバッファ）値を画像合成表示装置８
００に転送する。ステップ９１０：それぞれの処理装置により転送された
結果に基づき（ステップ９００）、画像合成表示装置に
おいて画像合成計算を行う。ステップ９２０：ステップ９１０の画像合成結果をディ
スプレイ１０３に表示する。

【００２４】

【発明の効果】以上で詳細に説明した如く、本発明によ
れば、３次元データ上でデータを統合することなしに、
高画質なボリュームレンダリング画像に対し表示表面深
さ（Ｚバッファ）値を求めることができ、この値を投影
画像合成に用いることで３次元位置関係を正しく画像合
成でき、また、関心領域ごとに最適なレンダリングパラ
メータを選択できるためそれぞれ高画質に画像を作り合
成表示でき、さらに関心領域ごとに任意の不透明度の合
成を行う装置を実現できるという顕著な効果を奏するも
のである。

【図面の簡単な説明】

【図１】本発明の第１乃至第３の実施例における３次元
画像合成表示システムの構成図である。

【図２】本発明の第１の実施例における３次元データ取
得から画像合成までの処理を示すフローチャートであ
る。

【図３】本発明の第１の実施例における表示表面深さ
（Ｚバッファ）値の説明図である。

【図４】本発明の第１の実施例におけるボリュームレン
ダリングとサーフェスレンダリングとの比較を示す説明
図である。

【図５】本発明の第１の実施例におけるボリュームレン
ダリングの表示関与量の棒グラフ図である。

【図６】本発明の第１の実施例における画像合成機能の
画面構成を示す図である。

【図７】本発明の第１の実施例における画像合成機能を
示すメインルーチンフローチャートである。

【図８】本発明の第１の実施例における画像合成のため
のデータ準備ルーチン（画像読み込みイベントの処理ル
ーチン）フローチャートである。

【図９】本発明の第１の実施例における合成表示対象の
３次元画像を示す図である。

【図１０】図９の眼孔位置の縦軸平行線上の表示表面深
さ（Ｚバッファ）値の変化を示す図である。

【図１１】図１０の画像合成計算時の光量減衰の過程の
説明図である。

【図１２】本発明の第１の実施例における画像合成処理
実行ルーチンを示すフローチャートである。

【図１３】本発明の第１の実施例における視線方向変更
を含む画像合成表示機能の処理を示すフローチャートで
ある。

【図１４】本発明の第１の実施例における並列プロセッ
サの説明図である。

【図１５】本発明の第２の実施例における変形・移動を
含むＣＡＤデータと３次元データの画像合成を示すフロ
ーチャートである。

【図１６】本発明の第２の実施例における変形・移動サ
ブウィンドウの構成図である。

【図１７】本発明の第２の実施例における変形・移動機
能を示すフローチャートである。

【図１８】本発明の第３の実施例における３次元機能デ
ータと３次元データの画像合成を示すフローチャートで
ある。

【図１９】本発明の第４の実施例における３次元画像合
成表示システムの構成図である。

【図２０】本発明の第４の実施例における画像合成表示
機能を示すフローチャートである。

【符号の説明】

１０：ＭＲＩ装置、２０：Ｘ線ＣＴ装置、３０：Emissi
on ＣＴ装置、４０：３Ｄ超音波診断装置、５０：画像
データベース、６０：ＣＡＤ装置、１００：３次元画像
処理装置、１１、２１、３１、４１、１０１：光磁気デ
ィスク、１０２：入力装置、１０３：ディスプレイ装
置、１０４：ハードディスク装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者及川道雄神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内

Claims

【特許請求の範囲】

【請求項１】３次元配列からなる３次元ボリュームデ
ータを保存する記憶装置と、該データを処理する処理装
置と、処理結果を表示するディスプレイと、ディスプレ
イ上の位置情報を入力する装置とを備えた画像表示装置
において、前記データのレンダリングにおいて同一光線追跡線上の
複数ボクセルの値を投影値に関与させるボリュームレン
ダリング法により３次元投影画像を計算する演算手段
と、前記レンダリングの際の複数の表示関与ボクセルの
深さ値に基づき光線追跡線上単一の表示表面深さ値を求
める演算手段と、同一の視線方向から計算された複数の
３次元投影画像と前記表示表面深さ値を基に画像を合成
表示する演算手段とを備えたことを特徴とした３次元画
像合成表示装置。
【請求項２】請求項１記載の３次元画像合成表示装置
において、前記表示表面深さ値を求める際に、ボリュームレンダリ
ングで、同一光線追跡線上の表示に関与した複数のボク
セルのうち、最大の関与量を示したボクセルの深さ値を
表示正面深さ値とするように構成したことを特徴とする
請求項１記載の３次元画像合成表示装置。
【請求項３】請求項２記載の３次元画像合成表示装置
において、同一の視線方向から前記表示表面深さ値を求めて得た複
数のボリュームレンダリング画像の合成において、該表
示表面深さ値をそれぞれの投影画像の前後関係の判定に
用い、画素ごとの表示優先度に関与させるように構成し
たことを特徴とした３次元画像合成表示装置。
【請求項４】請求項１記載の３次元画像合成表示装置
において、合成を行う各ボリュームレンダリング画像ごとにユーザ
の入力により不透明度を変更設定する制御手段を有し、
任意にボリュームレンダリング画像ごとの優先表示の割
合を指定するように構成したことを特徴とした３次元画
像合成表示装置。
【請求項５】請求項１記載の３次元画像合成表示装置
において、合成を行う各ボリュームレンダリング画像ごとにユーザ
の入力により輝度値テーブルを変更設定するする制御手
段を有し、任意のボリュームレンダリング画像の輝度値
テーブルを反転設定することでエッジ領域を高輝度に設
定するように構成したことを特徴とした３次元画像合成
表示装置。
【請求項６】請求項２記載の３次元画像合成表示装置
において、３次元ボリュームデータから作成された前記表示表面深
さ値を持つ複数のボリュームレンダリング画像と、ユー
ザーが設計した３次元座標により表現された３次元ベク
トルデータから前記表示表面深さ値も併せて計算した３
次元投影画像とを合成表示する演算手段を有することを
特徴とした３次元画像合成表示装置。
【請求項７】請求項１記載の３次元画像合成表示装置
において、３次元投影画像を平行移動／回転／拡大・縮小して変形
する制御手段を有し、ユーザの入力により複数の３次元
投影画像から任意の３次元投影画像を選択し、前記制御
手段のパラメータを指定し、変形・移動結果を合成表示
するように構成したことを特徴とした３次元画像合成表
示装置。
【請求項８】請求項１記載の３次元画像合成表示装置
において、複数の３次元投影画像のうち、任意の３次元投影画像の
表示表面深さ値を一様に変更する制御手段を有し、ユー
ザの入力により変更パラメータを指定することにより、
３次元的な前後位置関係を変更し合成表示するように構
成したことを特徴とした３次元画像合成表示装置。
【請求項９】請求項１〜８記載の３次元画像合成表示
装置において、複数のボリュームレンダリング画像の画像合成結果と該
画像合成結果の表示表面深さ値より画素ごとに対応する
３次元機能データの注目座標を求め、該注目座標の値に
設定された色を画像投影値の色に指定し、機能合成画像
を得るように構成したことを特徴とした３次元画像合成
表示装置。
【請求項１０】複数のモダリティごとに設定した処理
装置と、該処理装置間を結ぶネットワークと、該ネット
ワークに接続された画像合成表示装置とを備え、各処理装置には、共通の座標系にレジストレーションす
る演算手段と、請求項１記載の３次元投影画像を計算す
る演算手段と、請求項１記載の表示表面深さ値を求める
演算手段とを持ち、３次元ボリュームデータの処理結果をネットワークを介
し画像合成表示装置に転送し、マルチモダリティの合成
表示を行うように構成したことを特徴とした画像合成表
示システム。