JP6688618B2 - 医用画像処理装置及び医用画像診断装置 - Google Patents

Description

実施形態は、例えば、グローバルイルミネーション（大域照明）を用いてレンダリング処理を実行する医用画像処理装置及び医用画像診断装置に関する。

医用画像診断装置は、被検体に関する画像データを撮像によって収集するものであり、超音波診断装置、Ｘ線コンピュータ断層撮像装置、磁気共鳴イメージング装置、Ｘ線診断装置等である。例えば、超音波診断装置は、トランスジューサからの超音波の送信および受信によって解剖学的構造を撮像するために超音波を用いることが知られている。超音波撮像は子宮内の胎児を撮像するために利用されることが多い。

３次元（３Ｄ）超音波画像は、異なる位置または角度で取られた超音波データを組み合わせてボリュメトリック超音波データ（三次元超音波データ）を取得し、単純表面陰影付けまたは直接ボリュームレンダリングなどの方法を用いて該三次元超音波データからの画像をレンダリングするためのソフトウェアを用いることによって取得され得る。レンダリング済み画像は、２Ｄ画面などの２Ｄ表面上への表示のために適当な画素色相値を備えた２Ｄレンダリング済み画像データ組として表され得る。しかしながらこのようなレンダリング済み画像は、例えば中実な構造などの構造が３次元で表現されていると観察者が認識するような画像を提供しているため、このレンダリング済み画像は３Ｄ画像と呼ばれ得る。

４次元（４Ｄ）超音波撮像システムでは、例えば３Ｄ超音波動画などの動いている３Ｄ画像を提供するために異なる時点で取得された一連の３Ｄ画像が動的にレンダリングされている。

近年では３Ｄ超音波画像や４Ｄ超音波画像は、従来使用されていたものと比べて物理的により正確なモデルによって照明をシミュレーションする高度なライティング技法（例えば、グローバルイルミネーション、グラジエントフリーライティング、表面下散乱またはフォトンマッピングなどと呼ばれる）を用いることによってより現実感を高めてきた。

グローバルイルミネーションでは、光源から直接到来する光による直接照明と例えば別の表面から散乱された光による照明などの間接照明の両方を含んだライティングモデルが用いられ得る。

超音波におけるグローバルイルミネーションは、幾つかのケースにおいて超音波システムに要求される特徴に対する新規性と見なされてこなかった。産科学では、胎児の顔に関する高品質の画像を提供するためにグローバルイルミネーションを用い得る。グローバルイルミネーションは、他の専門分野の医師の関心を呼ぶことがあり、例えば幾つかのケースにおいてより単純なライティングモデルで作成されたものと比べてより容易に読み取れおよび／またはより多くの細部情報を包含し得る画像を作成するために、腹部スキャンからの画像をレンダリングするのにグローバルイルミネーションが用いられ得る。グローバルイルミネーションに関する認識および重要性の増大が続き得ることが予測されている。

ボリュームレンダリングは計算コストが高くなり得る。図１は、幅＝高さ＝奥行き＝Ｎであるようなボクセルからなる立方格子を示している。この立方体に関するボリュームレンダリングの複雑性はＮ³となり得る（すべてのボクセルを考慮に入れなければならない）。

グローバルイルミネーションが使用されているボリュームレンダリングは、グローバルイルミネーションを伴わないボリュームレンダリングと比べて計算コストがかなり大きくなり得る。単純ライティング構成に関する素朴な方法は概ねＮ⁴回の演算を含み得る。

グローバルイルミネーションプロセスが２つのパスに変換されるようなグローバルイルミネーション法が存在する。このような方法を用いるとレンダリングの複雑性を概ね２＊Ｎ³まで縮減することを検討し得る。このような一方法がフォトンマッピングである。トラバーサル（traversal）と呼ばれ得る２つのパスを実行する他の方法も利用可能である。

第１のパスはライトボリュームを生成し得、また第２のパスはこのライトボリュームを用いて表示のために画像をレンダリングし得る。２パスシステムによれば、異なる観察角度で複数のレンダリングパスに関して単一のライトボリュームを使用することが可能となり、したがってレンダリングごとにライトボリュームを再計算する必要性が回避され得る。

ボリュームデータ組（ボリュームデータ）は、その各々が関連付けされた強度を有するボクセルからなる配列を備える。ボリュームデータは、医用撮像スキャンから直接取得されることや、再構成やフィルタ処理などのさらなるプロセスを通じて取得され得る。

ボリュームデータは、スキャン対象の全体を表すことやその一部を表し得る。ボクセルの強度は、スキャンの対象（例えば、組織種別）の物理的特性に対応し得る。この強度は、例えば伝達関数を用いることなどによって不透明度や色相値とするようにマッピングされ得る。

ボリュームデータは、対象内にある材料、表面その他に関する描出を包含する。以下の検討ではプロセスについて、これらがあたかも物理空間で生じている（例えば、光が表面から反射している）かのように言及され得る。しかし照明のケースでは発明者らは通常、ボリュームデータに対する数値演算として生じる仮想的な（シミュレーションの）プロセスとして記述している。同様に、発明者らがボリュームデータをそれがあたかも物理的範囲を有する物理空間であるかのように検討しているときに、発明者らは一般に画像ボリュームのボクセルによって描出された座標空間に言及している。

ボリュームデータから画像をレンダリングするために、ボリュームデータに対する参照により少なくとも１つの光源の位置が決定され得る。観察点（カメラと呼ばれることもある）の位置が決定されることもある。この画像は、あたかも観察点から観察されたかのようにしてレンダリングされることになる。

第１のパスは、ボリュームデータ内への光源からのトラバーサルを備え得、ここにおいてボリュームデータ内に仮想光が投射されている。グローバルイルミネーションライティングモデルが用いられ得る。光源に由来する放射輝度は、ボクセル強度に応じてボクセルに割り当てられる吸収特性を用いてボリュームデータ内の点からなる大きな配列の各々において決定され得る。この配列の点における放射輝度値はライトボリュームとして保存され得る。このライトボリュームはメモリ内に保存され得る。このライトボリュームは観察点と無関係であり得る。

ライトボリューム内の各ボクセルの放射輝度は、ボクセルを通過するフォトン数によって決定される。より良好な数値性能を得るためには、フォトンを離散的方式ではなく統計的方式で取り扱うことが多い。このことは、あるときには光源からの光が光ビームとして振る舞い得、別のときには離散的フォトンのように振る舞い得ることを意味している。

吸収は、統計学的に（通常は、ビア−ランベルト則（Beer-Lambert law）によって形成される積算値として）記述するとより効率的とすることができる。ビア−ランベルト則によって規定される吸収は、減衰係数と呼ばれる媒質特異的な係数によって左右される。この減衰係数は［０，∞］の範囲を有するとともに、不透明度と同義に使用され得る。多くの場合に不透明度は、その光のうちどれだけの割合が吸収されるかを示している［０，１］の範囲で規定される。

反射と散乱と屈折は、光経路に沿って生じる可能性がある事象として観察され得、このためこれらは各ボクセルの放射輝度の決定の一部となり得る。

第２のパスは、大域ライティング情報を提供するためにライトボリュームを用いてカメラからライトボリュームを通過するトラバーサルを備え得る。線束が（例えば、得られたレンダリング済み画像の画素ごとに１つの線束として）カメラから投射され得、また最終のレンダリング済み画像に画素色相値を提供するために各線束に沿った点からの放射輝度が積算され得る。

しかしながら、従来のグローバルイルミネーションを用いたレンダリング処理は、計算コストの点において改善の余地がある。

上記事情を鑑みてなされたもので、グローバルイルミネーションを用いたレンダリング処理を行う場合において、従来に比して計算コストを低減することができる医用画像処理装置及び医用画像診断装置を提供することを目的としている。

一実施形態に係る医用画像処理装置は、ボリュームデータを記憶する記憶ユニットと、医用画像をレンダリングするレンダリング処理ユニットと、を具備する。レンダリング処理ユニットは、ボリュームデータに対する光源を所定の位置に設定し、ボリュームデータにおける複数のサンプル点を決定し、サンプル点から所定のオフセット距離だけ離れたオフセット点を、サンプル点ごとに決定し、光源から仮想的に放出される光に由来する放射輝度をオフセット点ごとに決定し、対応する前記オフセット点における放射輝度を利用して、各サンプル点における放射輝度を決定し、決定された各サンプル点における放射輝度に基づいて、画像をレンダリングする。

辺がＮのボリュームを表した図。 一実施形態に従った画像処理装置の概要図。 一実施形態のプロセスの概要を表した流れ図。 第１のパスにおける光源からの線束の進行を表した概要図。 第２のパスにおけるカメラからの線束の進行を表した概要図。 レンダリング済み画像の一部を示した図。 ある範囲のレンダリングシナリオについて放射輝度改善がある場合とない場合のレンダリング済み画像の一部を示した図。 放射輝度改善がある場合とない場合のある範囲のレンダリングシナリオの結果を示した表。 放射輝度改善ありでレンダリングされた胎児の顔画像。 放射輝度改善なしでレンダリングされた胎児の顔画像。

以下、図面を参照しながら本実施形態に係る超音波診断装置について説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。

一実施形態に従った医用画像診断装置１について、図２に概要が示されている。本実施形態では医用画像診断装置１は、医用撮像スキャンからボリュメトリック画像データ（ボリュームデータ）を収集することと、この収集されたボリュームデータを処理することと、この処理されたボリュームデータから画像をレンダリングすることと、を行うように構成されている。代替的な実施形態では画像処理装置は、医用画像診断装置（超音波診断装置、ＣＴスキャナ（Ｘ線コンピュータ断層撮像装置）、ＭＲスキャナ（磁気共鳴イメージング装置）、ＰＥＴスキャナまたはＳＰＥＣＴスキャナ（核医学診断装置）、Ｘ線診断装置等）によって収集されたボリュームデータを受け取ることと、この受け取られたボリュームデータを処理することと、この処理されたボリュームデータから画像をレンダリングすることと、を行うように構成されている。

本実施形態では医用画像診断装置１は、超音波診断装置２と、関連する超音波プローブ（計測探触子）４と、を備える。適当な任意のタイプの超音波診断装置２および超音波プローブ４、例えば３Ｄまたは４Ｄ撮像に適した超音波画像データを取得するように構成された任意の超音波診断装置２およびトランスジューサ探触子４が使用され得る。

本実施形態では、医用画像診断装置１が超音波診断装置２である場合を例示する。しかしながら、当該例に拘泥されず、医用画像診断装置１は、例えばＣＴスキャナ、ＭＲスキャナ、ＰＥＴスキャナまたはＳＰＥＣＴスキャナなどの代替的な様式の装置を備え得る。

超音波診断装置２は、主超音波画像を表示するための主表示画面６と、制御情報を表示するための制御画面８と、スキャナコンソール１０と、を備える。この実施形態ではスキャナコンソール１０は、入力ボタンや入力ノブ、コンピュータキーボード、マウスまたはトラックボールなどの１つまたは複数の入力デバイスを備える。代替的な実施形態では制御画面８は、表示デバイスとユーザ入力デバイスの両方となるタッチ画面である。さらなる実施形態は、制御画面８と、超音波診断装置２の一部を成していない表示画面または主表示画面６と、を備え得る。超音波診断装置２はまた、ボリュームデータを保存するためのデータ格納部２０を備える。

超音波診断装置２は、画像データを含むデータの処理のための処理装置１２を備える。処理装置１２は、中央演算処理ユニット（ＣＰＵ）と、グラフィック処理ユニット（ＧＰＵ）と、を備える。処理装置１２は、ボリュームデータを生成または受け取るためのボリュームデータユニット１４と、ボリュームデータから画像をレンダリングするためのレンダリング処理ユニット１６と、を含む。本実施形態では処理装置１２はまた、レンダリング済み画像の表示のための表示制御ユニット１８を備える。ボリュームデータユニット１４、レンダリング処理ユニット１６および表示制御ユニット１８のそれぞれは、ＣＰＵ中に、ＧＰＵ中に、あるいはＣＰＵとＧＰＵを組み合わせたもの中に実装され得る。

代替的な実施形態ではボリュームデータユニット１４、レンダリング処理ユニット１６および表示制御ユニット１８を備えた処理装置１２は、適当な任意の医用画像診断装置（例えば、ＣＴスキャナやＭＲスキャナ）または画像処理装置（例えば、ＰＣやワークステーション）の一部であり得る。処理装置１２は、例えば超音波、ＣＴ、ＭＲ、ＰＥＴまたはＳＰＥＣＴデータなど適当な任意の様式のボリュームデータを処理するように構成され得る。

本実施形態ではボリュームデータユニット１４、レンダリング処理ユニット１６および表示制御ユニット１８のそれぞれは、本実施形態の方法を実行するように実行可能なコンピュータ読み取り可能な命令を有するコンピュータプログラムによって処理装置１２のＣＰＵおよび／またはＧＰＵの中に実装されている。しかし他の実施形態では各ユニットが、ソフトウェア、ハードウェアまたはハードウェアとソフトウェアからなる適当な任意の組合せの中に実装され得る。幾つかの実施形態では、様々なユニットが１つまたは複数のＡＳＩＣ（特定用途向け集積回路）またはＦＰＧＡ（現場プログラム可能ゲートアレイ）として実装され得る。

処理装置１２はまた、ＲＡＭ、ＲＯＭを含めたハードドライブやその他の構成品と、データバスと、様々なデバイスドライバを含めたオペレーティングシステムと、グラフィックスカードを含めたハードウェアデバイスと、を含む。このような構成品は明瞭にするために図２には示していない。

図２のシステムは、図３の流れ図で概要を示したような一連の段階を有するプロセスを実行するように構成されている。図３は、本実施形態に関してどのステップがＣＰＵ内で実行されかつどれが処理ユニット１２のＧＰＵ内で実行されるかが図示されるように構成している。代替的な実施形態では、図３においてＣＰＵ内で実行されるように指摘したステップのうちの一部またはすべてがＧＰＵ内で実行され得、またこの逆もあり得る。

未処理超音波ボリューム３０は、超音波診断装置２によって超音波プローブ４を用いて収集される。未処理超音波ボリューム３０は、ＣＰＵからＧＰＵに渡される。

未処理超音波ボリューム３０は、対象の３次元領域に対する超音波の送信および受信によって取得されるエコー信号を表している。撮像される３次元領域は、撮像対象の構造である観察目標を包含している。例えば幾つかの実施形態ではその３次元領域が腹部であり、かつその観察目標が肝臓または腎臓である。

本実施形態では未処理超音波ボリューム３０は、胎児（この胎児は観察目標である）の少なくとも一部を表している。他の実施形態では未処理超音波ボリューム３０が超音波による撮像に適した任意の構造を表し得る。例えばその未処理超音波ボリュームが、胆のう、肝臓、腎臓、膀胱、子宮または他の腹部臓器を表し得る。

本実施形態では未処理超音波ボリューム３０は、扇形の幾何学構造を備えた超音波スキャナの本来の形態で収集されるデータ点を備えている。段階３２では、ボリュームデータユニット１４が、デカルトデータ（互いに直交する真っ直ぐな軸に沿って配列されたデータ）を取得するために未処理超音波ボリューム３０に対する再構成を実行する。段階３２によって、規則的な３次元ボクセル配列を備えた初期デカルトボリュームが得られる。

段階３２では再構成に関する適当な任意の方法（例えば、適当な任意の形式の補間を備えるような再構成）が用いられ得る。代替的な撮像様式が使用されている実施形態では、収集されるデータはすでにデカルト形式となり得、また段階３２が省略され得る。

段階３４では、ボリュームデータユニット１４が最終的なデカルトボリューム３６を取得するために初期デカルトボリュームに対してフィルタ処理を実行する。このフィルタ処理は、初期デカルトボリューム内に存在するノイズを低減させるためにフィルタを適用することを備え得る。段階３４では、適当な任意のフィルタまたはフィルタの組合せが用いられ得る。幾つかの実施形態、特により低ノイズの撮像様式での実施形態では、段階３４が省略され得る。ボリュームデータユニット１４は、デカルトボリューム３６をＧＰＵからＣＰＵに渡している。

代替的な実施形態ではデカルトボリューム３６は、以前に（例えば、図３の画像レンダリングプロセスの前に実施しているスキャン手続きによって）取得済みである。ボリュームデータユニット１４はデカルトボリューム３６を、例えばデータ格納部２０から受け取る。段階３４までの段階は段階３４を含め省略される。

デカルトボリューム３６はボクセルからなる配列を備える。各ボクセルは、デカルトボリュームの座標空間における位置と、関連付けされた信号強度（超音波信号捕捉を表している未処理超音波データの強度から補間され得る）と、を有する。組織の種類が異なると異なる信号強度が生成され得る。各強度は、不透明度および／または色相に関連付けされ得る。例えば、強度を不透明度および／または色相に関連させるために伝達関数が使用され得る。

段階３８（２パスレンダリングプロセスの第１のパスと考えられ得る）では、レンダリング処理ユニット１６がフォトンボリューム４０を取得するためにデカルトボリューム３６上のフォトンマッピングを実行する。（フォトンボリューム４０のことはまたライトボリュームまたはスペクトル放射輝度ボリュームと記述され得、これはまた当該ボリューム内における光エネルギー分布を示している。）段階３８のフォトンマッピングについて図４の概要図を参照しながら以下で説明することにする。

図４は、デカルトボリューム３６を通るあるスライスを表している概要図である。ボリュームボクセル格子５２は、デカルトボリューム３６内部におけるボクセルの位置を表している。ボリュームボクセル格子５２の各隅（線の交差部）は、ボクセルの中心（ボクセル中心は補間の下で格子に対して正確に整列されている）を表している。ボリュームボクセル格子５２の各ボックスに対するグレイスケールの陰影付けは、当該領域にあるボクセルに関連付けされた吸収を表している。

本実施形態では、各ボクセルに関する吸収関数は色相依存の吸収特性を有する関数であり、これはまたスペクトル吸収と記述され得る。この吸収関数は、組織の吸収を表すために青色および緑色の光が赤色光よりより強力に吸収されるように規定されている。グレイスケール陰影付けはある周波数における吸収を表している。吸収関数は伝達関数を用いてボクセル強度と関連付けされている。吸収関数は、図３のプロセスの初期段階でレンダリング処理ユニット１６によってまたはボリュームデータユニット１４によってボクセルに対して関連付けされ得る。

図４にはボリュームボクセル格子５２のスライスを１つだけしか表していないが、ボリュームボクセル格子５２はデカルトボリューム３６全体に及ぶ３次元格子と見なすべきである。

レンダリング処理ユニット１６は、放射輝度が計算されようとする基準点からなる配列を備えた光（放射輝度）ボリューム格子５０を決定する。基準点の位置は、ボリュームボクセル格子５２内におけるボクセルの位置と一致することや一致しないことがあり得る。

本実施形態では、ライトボリューム格子５０はボリュームボクセル格子５２をダウンサンプリングしたものである。したがって以下の検討ではライトボリューム格子の基準点のことがダウンサンプリング済みボクセルと呼ばれることになる。代替的な実施形態ではライトボリューム格子はダウンサンプリングされないことがあり、かつこれに代えてボリュームボクセル格子５０と同じボクセルサイズを有し得ることが理解されよう。

図４では、ライトボリューム格子５０が太線で表されており、またボリュームボクセル格子５２が通常の太さの線で表されている。ライトボリューム格子５０は、ボリュームボクセル格子５２に対して１辺あたり係数４でダウンサンプリングしたものである（したがって、ライトボリューム内のダウンサンプリングされたボクセルの数と画像ボリューム内のボクセルの数の比は１：２５６である）。他の実施形態では、異なるダウンサンプリング係数が使用され得、あるいはダウンサンプリングが実行されないことがあり得る。

レンダリング処理ユニット１６は、デカルトボリュームを基準とした少なくとも１つの仮想光源の位置を規定している。本実施形態では、ボリュームデータの境界の外側に単一の光源５４が配置されている。しかし代替的な実施形態では、２つ以上の光源が使用され得る。幾つかのケースでは、光源位置をボリュームデータによって表されたボリュームの内部とすること、例えばボリュームデータによって表されたボリュームの内部であるが観察目標（例えば、胎児）の外部とし得る。

レンダリング処理ユニット１６は、光源５４からの光のデカルトボリューム３６内への投射をシミュレーションする。この光は光源５４からデカルトボリューム３６内に放射される１組の光線束と見なされ得る。各光線束は多数のフォトンを備える。各フォトンは、光源５４からデカルトボリュームと相互作用しながら吸収される地点までトレースされる。光線束のうちの１つの進行（矢印で表される）について図４に示している。

線束は光源５４の方向からデカルトボリューム３６に入る。レンダリング処理ユニット１６は、線束上の１組の点（一定の長さ増分ずつ（図４では各矢印の長さで表している）離間させた点）の各々について放射輝度を計算する。図４の実施形態では、各光線束は４×ボクセル間隔（＝１×ダウンサンプリングされたボクセル間隔）の増分でボクセルを通って進む。代替的な実施形態では、異なる増分が使用され得る。幾つかの実施形態では、増分長さは線束に沿って様々とさせ得る。

線束が光源５４からボリュームを横切るに連れて、線束はそれが通過する点の周りの局所的な近傍ボクセルに仮想光エネルギーを分配する。線束が進行するに連れて吸収される光の量が計算されるとともに、すべての光が吸収されたときにトラバーサルが終了する。

図４に示した線束の進行を考えるために、線束が先ず点５６（デカルトボリューム内のどのボクセルの位置とも一致しない点）にあると考える。レンダリング処理ユニット１６は光源５４と点５６の間の吸収を、光源５４と点５６の間の任意のボクセルと関連付けされた吸収関数を用いて決定し、またこれにより点５６の光による放射輝度を決定する。

本実施形態では、ボリュームからのグレイ値が補間によって生成される。目下の位置（点５６）の空間領域は、１つまたは多数のオブジェクトに属するものと決定される。所与のボクセルはそのボクセルの位置があるオブジェクトの一部であると分類された場合にそのオブジェクトに属することになる。オブジェクトとは例えば、選択物、臓器、血管または病変（例えば、腫瘍や動脈瘤）を備え得る。レンダリング処理ユニット１６は異なるオブジェクトに対して、これらを視覚的に識別するために異なる光学的特性を割り当て得る。

空間オブジェクト分類は、２進ボリューム、メッシュ、平面または同様の構造を用いて提供され得る。幾つかの実施形態では、２進ボリュームが使用される。本実施形態では、各ボクセルが当該箇所に対応するオブジェクトナンバーを表しているようなボリュームが使用される。このことは、オブジェクトが重なり合わない複数の２進ボリュームと同じ効果を有し得る。各オブジェクトは、補間されたグレイ値を吸収関数のスペクトル減衰係数にマッピングしている伝達関数を有する。

複数のオブジェクトが重なり合っている場合（本実施形態の実装の場合はこれに当たらない）は、複数の独立の減衰係数が生成されるとともに、例えば加算、平均化または最大値の取得によってこれらが合成され得る。

追加的な平滑性を得るために、補間されたボリュームによって平滑な遷移を生じさせることによって減衰係数を変調させ得る。クリップ平面もまたこうした変調を利用し得、ここではクリップ平面までの距離の関数となる。幾つかの実施形態では散乱はまた、オブジェクト単位の伝達関数によって決定され得る。

図４に示した例では、光源５４と点５６の間で光が吸収されておらず（光源と点５６の間に吸収性の材料がまったく存在しておらず）、したがって点５６における放射輝度は光源５４から発した放射輝度の１００％となる。

各点で計算された放射輝度はスペクトル性の放射輝度であり、赤色、緑色および青色の成分が組み合わされたものとして（あるいは、より一般的には対応する波長からなるフルスペクトルに関して１波長あたり１つの放射輝度として）記述し得る。

点５６では、吸収がまったくないために、その光は白色光である。放射輝度はＷ／ｍ³を単位としてあるいは未較正値として表現することができる。例えば放射輝度は、光源５４から放出された放射エネルギーに合わせて正規化され得る。

本実施形態では決定される放射輝度をスペクトル性の放射輝度としているが、他の実施形態では決定される放射輝度をスペクトル性の放射輝度としないことがある（決定される放射輝度が色相成分を有しないことがある）。

本実施形態では、計算される放射輝度が指向性ではない。

他の実施形態では、関連付けされた放射輝度方向は放射輝度が計算される各点において決定され得る。放射輝度方向は、当該点で受け取られる光の入射方向とし得る。

幾つかの実施形態では、各点において複数の放射輝度方向ごとに放射輝度が計算される。幾つかの実施形態では、各点においてすべての角度にわたって放射輝度分布が決定される。

レンダリング処理ユニット１６は、点５６における放射輝度をライトボリューム格子５０の最も近くのダウンサンプリング済みボクセルの間に分配する。図４では、最も近くにある４つのダウンサンプリング済みボクセルが点５８で示されている。２次元で表したときにボリューム内の各点が最も近くにある４つの近隣のダウンサンプリング済みボクセルを有しているが、３次元デカルト格子では各点は最も近くの８つの近隣ボクセルを有する。したがって３次元の場合では、点５６からの放射輝度を最も近くにある８つの近隣のダウンサンプリング済みボクセル５８の間で分配している。

ある点からの放射輝度を近傍のボクセルに分配するためには、適当な任意の方法が使用され得る。各点からの放射輝度を分配することは補間の逆操作と見なすことができる。したがって分配に関する具体的な方法が補間に関する具体的な方法に類似し得る。最も近くにある８つの近隣ボクセルへの分配は、トリリニア（trilinear）補間に類似すると見なされ得る。放射輝度の分配に関して異なるフットプリントが使用され得る。幾つかの実施形態では、放射輝度を分配する先となる最も近くにある８つの近隣ボクセルのフットプリント（２×２×２のフットプリント）ではなく、４×４×４立方のフットプリントが使用される。また別の実施形態では、さらに複雑なフットプリントが使用される。

各近傍のダウンサンプリング済みボクセルに分配する放射輝度の量は、点５６からダウンサンプリング済みボクセルまでの距離に依存し得る。各ボクセルに割り当てられる放射輝度の量は、点５６からダウンサンプリング済みボクセルの各々までの距離と反比例させ得る。線束上の点がダウンサンプリング済みボクセル位置と一致する場合には、その点における線束からの放射輝度のすべてが当該のダウンサンプリング済みボクセルに与えられるとともに近隣ボクセルの間にはまったく分配させないことがある。

レンダリング処理ユニット１６は、点５６において決定された放射輝度および点５６と点６０の間のボクセルに関する吸収値を用いて、点６０におけるスペクトル性の放射輝度を決定する。図４の例では、点５６と点６０の間の幾つかのボクセルが、対応するボクセルに対するグレイスケール陰影付けで示したように非ゼロの吸収を有する。点５６と点６０の間のボクセルは組織を表し得る。

レンダリング処理ユニット１６は点５６と６０の間のボクセルの吸収値を用いて、点５６で計算される放射輝度が点５６と６０の間でどのくらい吸収されるかを計算する。組織の半透明性効果（translucent effect）についてシミュレーションされ得る。例えば、皮膚表面に大きな放射輝度が予測され得、また皮膚のすぐ下では若干小さいことがある。

吸収量は光の色相が異なると異なることがあり得る。具体的には、組織は赤色光よりむしろ青色と緑色の光を吸収し得ることが予測され、またしたがってスペクトル吸収関数は吸収性材料を光が通過するに連れてより赤色が強まるように設定され得る。

レンダリング処理ユニット１６は、点６０における放射輝度をライトボリューム格子の最も近くにある８つの近傍のダウンサンプリング済みボクセルの間で分配している（あるいはフットプリントが異なる他の実施形態では、例えば当該点の周りの４×４×４のボクセル組に対するなどボクセルの適当なフットプリントに対して放射輝度を分配している）。

レンダリング処理ユニット１６は、点６２におけるスペクトル性の放射輝度を点６０について決定された放射輝度と点６０と６２の間のボクセルの吸収値を用いて決定する。図４では、点６０と６２の間に大きな吸収（濃いグレイスケール値で示している）が存在しており、また点６２にはわずかな放射輝度が残されているだけである。点６２における放射輝度の色相は点６０における色相と比べてかなり赤色が強まっており、青色と緑色の光の大部分またはすべては吸収済みとなっている。

ある具体的な線束内の光のうちの十分な部分が吸収済みとなると、当該線束に対してさらなる計算は実行されない。本実施形態では、線束内の光の９９％が吸収済みとなると、当該線束に対してさらなる計算が実行されない。他の実施形態では、例えば光の９０％または９５％など光について異なる比率を十分な部分と考え得る。他の実施形態では、光のすべてについて吸収されることが必要とされ得る。

上述したような光の投射プロセスは、デカルトボリューム内に投射される線束のすべてについて反復される。本実施形態では光源５４は指向性の光である。デカルトボリューム内に投射される線束のすべては平行である。他の実施形態では光源５４は、点状の光とすることや、平行の線束を有しないような他の形式の光とすることがあり得る。また別の実施形態では、その方向がある特異的な分布を有する確率変数となっているような確率的な（stochastic）光源が使用され得る。

本実施形態では、段階３８の線束投射プロセスは、散乱ならびに直接照明をシミュレーションしている。幾つかのフォトンは吸収されるのではなく散乱され得る。幾つかの実施形態では、単一散乱のみが考慮される。幾つかの実施形態では、多重散乱が考慮される。

幾つかの実施形態では、反射も考慮される。幾つかの実施形態では、散乱および／または反射は（例えば、複雑となるためまたは性能の理由から）全部無視され得る。散乱および／または反射は、第１のパス（ライトボリュームに格納されたデータを変更しないことがある）では有効とされ得る。第２のパスは光がカメラの方向に導かれるような最終の散乱動作を表しているため、第２のパスに対しては反射が適用されない。

第１のパスについて多重散乱が用いられる場合は第１のパスの多重散乱を第２のパスにおけるより正確な散乱モデルとマッチングさせることが望ましい。幾つかの実施形態では、第２のパスにおけるこのより正確な散乱モデルは指向性の放射輝度分布を使用している。

本実施形態では、光線束ごとに線束に沿ってダウンサンプリング済みボクセル間隔に対応する合間に（４×ボリュームボクセル格子５２のボクセル間隔に）配置された点において放射輝度が決定される。他の実施形態では放射輝度が異なる合間で決定され得る。例えば放射輝度は、ボリュームボクセル格子５２のボクセルサイズに対応する合間で決定され得る。

ライトボリューム格子内の各ダウンサンプリング済みボクセルは、複数の線束から（例えば、ボクセルの上方、下方またはその各辺に入る線束上の点から）放射輝度の寄与を受け取り得る。

段階３８の光投射（フォトンマッピング）プロセスの結果は、その中でライトボリューム格子５０上のダウンサンプリング済みボクセルの各々がスペクトル性の放射輝度と関連付けされるフォトンボリューム（または、ライトボリューム）４０となる。

上ではフォトンマッピングプロセスを光源が１つの場合だけについて説明しているが、フォトンマッピングプロセスは複数の光源に関して実行され得る。上の線束投射プロセスを複数の光源の各々について反復され得る。ダウンサンプリング済みボクセルごとに複数の光源からの寄与を備えるような放射輝度が計算され得る。

フォトンボリューム４０は観察点と無関係であるととともに、その光源位置（複数の位置のこともある）およびボクセル特性にだけ依存する。したがってフォトンボリューム４０の算定は異なる観察点からの複数のレンダリングについて用いることが可能である。フォトンボリューム４０内の任意の点の放射輝度を問い合わせることが可能である。

フォトンボリューム４０はデータ格納部２０内に保存される。本実施形態では、フォトンボリューム４０がデカルトボリューム３６と比べてより低い空間分解能を有する（各次元方向について係数４でダウンサンプリングされている）ということは、フォトンボリューム４０を保存するために必要なメモリが、フル分解能（ボリュームボクセル格子５２の分解能）で計算されたフォトンボリュームとした場合に必要なメモリよりかなり小さくなることを意味する。

フォトンボリューム４０はＣＰＵからＧＰＵに渡される。本実施形態ではレンダリング処理ユニット１６は、ＣＰＵとＧＰＵのいずれにおいてもプロセスを実行することが可能である。

段階４２（２パスレンダリングプロセスの第２のパスとして記載され得る）ではレンダリング処理ユニット１６は、出力画像４４を表している２次元画像データ組を、事前算定のフォトンボリューム４０およびデカルトボリューム３６を用いてレンダリングする。レンダリングパスの一部としてレンダリング処理ユニット１６は、局所的な放射輝度改善（局所レベルでの放射輝度の追加の計算）を実行する。この放射輝度の改善によって、段階３８のフォトンマッピングプロセスだけを通じて取得され得るものと比べてより正確な放射輝度推定値を実現することができる。

段階４２のレンダリングプロセスについては、図５の概要図を参照しながら説明し得る。

カメラ７０の位置および視線方向（図５では矢印７２の方向によって示す）はレンダリング処理ユニット１６によって規定されている。カメラ位置は観察位置と記述され得る。２次元観察平面は、カメラ位置および視線方向（観察方向とも呼ばれる）に基づいて規定され得る。

レンダリング処理ユニット１６は、ボリュームデータによって表されるボリューム内にカメラの方向から線束を投射する。このような線束の１つを図５の矢印７２で示している。各線束は、段階４２のレンダリングによって取得されようとする２次元画像データ組の１つの画素に対応し得る。

本実施形態では各線束は、ボリュームデータによって表されるボリュームの中を、（矢印７２で表される）ボリュームボクセル間隔の増分で進む。他の実施形態では、異なる増分が使用され得る。線束に沿った各増分点のことはサンプル点と呼ばれ得る。サンプル点の表している空間が空の場合、線束は次のサンプル点にスキップする。

材料が存在するサンプル点に線束が到達した場合にレンダリング処理ユニット１６は、そのサンプル点に関する初期放射輝度を決定し、初期放射輝度を改善し、かつこの改善した放射輝度を用いてカメラに戻される光散乱を推定する。初期放射輝度を決定するステップ、初期放射輝度を改善するステップおよび改善された放射輝度を用いて光散乱を推定するステップについて、以下でより詳細に説明することにする。

材料が存在するサンプル点に線束が到達したときにレンダリング処理ユニット１６は、そのサンプル点における初期放射輝度を、ライトボリュームの近傍のダウンサンプリング済みボクセルからの放射輝度の補間によって決定する。図５の例では、線束はサンプル点７４に達している。サンプル点７４に材料が存在することを図５上でグレイスケール陰影付けによって示している。

サンプル点がボクセルの間に来た場合、当該ボリューム内の８つの近傍のダウンサンプリング済みボクセルから放射輝度を補間することによって初期放射輝度が決定される。サンプル点がダウンサンプリング済みボクセルと一致した場合、そのサンプル点にはその初期放射輝度として当該ダウンサンプリング済みボクセルの放射輝度が割り当てられるとともに、補間が要求されないことがある。

本実施形態では初期放射輝度の計算の際に最も近くにある近隣のダウンサンプリング済みボクセルだけを考慮に入れているが、他の実施形態ではこれより多くの数のボクセルを考慮に入れ得る。

レンダリング処理ユニット１６は、ボクセルサイズに依存する一定の半径Ｄをもつ球６８を規定する。レンダリング処理ユニット１６は次いで、サンプル点から光源の方向で距離Ｄだけ離間させたオフセット点を規定する。図５ではオフセット点７６は、サンプル点７４から距離Ｄだけオフセットされている。

本実施形態では距離Ｄは、オフセット点位置を決定するためのレンダリング処理全体にわたって使用される一定の距離である。他の実施形態では、異なるオフセット点について異なる距離が使用され得る。本実施形態では、Ｄはライトボリューム格子のダウンサンプリング済みボクセル間隔（ボリュームボクセル格子のボクセル間隔の４倍）である。

半径Ｄは、段階３８のフォトンマッピング計算における不確実さの尺度であると見なされ得る。不確実さは、例えば格子サイズ、光源、ボリューム内部の表面、ボリューム内部の材料、またはフィルタ処理量など多数の要因に依存する。しかしこの不確実さは、当該サイズのオブジェクトの放射輝度応答の範囲を見ることによって計測され得る。この実施形態では、放射輝度マップ（フォトンボリューム４０）内において当該のサイズ以下のフィーチャは描出が悪くなり得ることが確認されるため半径Ｄには４が使用される。半径Ｄが４であることはまた、計算に関する追加的な算定複雑性について妥当なレベルを提示し得る。他の実施形態では、異なる値のＤが選択され得る。例えば、Ｄの値はフォトンボリューム４０においてどのようなフィーチャサイズは描出が悪くなって見られるかおよび／またはその計算において受け容れ可能な算定複雑性のレベルに応じて選択され得る。

レンダリング処理ユニット１６はオフセット点７６における放射輝度を、オフセット点の最も近くにある近隣ダウンサンプリング済みボクセルからの放射輝度値の補間によって決定する。オフセット点７６がたまたま光ボクセルと一致した場合は、この光ボクセルの放射輝度を使用するとともに補間を実行していない。

レンダリング処理ユニット１６は次いで、サンプル点７４に戻される吸収をシミュレーションし、これによりこのサンプル点７４においてさらなる放射輝度値を決定する。本実施形態ではレンダリング処理ユニット１６は、オフセット点７６からボリュームボクセル格子の１ボクセル間隔の合間（図５において矢印７８で示す）でサンプル点まで戻るように進む。各合間においてレンダリング処理ユニット１６は合間の終点位置における放射輝度を、合間の始点における放射輝度および局所近傍部内のボクセルと関連付けされた吸収から計算する。レンダリング処理ユニット１６は、矢印７８で示された各合間の終わりの位置における放射輝度を決定し、これにより矢印７８で示された合間全体にわたる吸収から決定されるサンプル点７４に関するさらなる放射輝度値を得ている。代替的な実施形態では、放射輝度が合間ごとには決定されないことがある。これに代えて、サンプル点７４におけるさらなる放射輝度値を取得するために、すべての合間からの吸収が組み合わされ得る。

計算される合間の数（この実施形態では、４）は、Ｎ＝幅＝奥行き＝高さよりかなり小さい定数である。

本実施形態では、レンダリングプロセス４２内での吸収計算はフォトンマッピングプロセス３８の吸収計算と比べてより高い分解能で実行されている。本実施形態では、レンダリングプロセス４２内での吸収計算は、保存されたフォトンボリューム４０の分解能と比べてより高い分解能で実行されている。他の実施形態では、異なる分解能が使用され得る。他の実施形態では、吸収の計算のためにオフセット点７６からサンプル点７４まで戻るために異なる合間が使用され得る。

幾つかの実施形態では、フォトンボリューム４０がフル分解能で計算された場合であってもレンダリングプロセス４２内での吸収計算が実行され得る。このような改善によれば、線束のトレース（例えば、矢印７２で表したようなトレース）が連続の格子に対して生じるとともにその改善が実際上ボクセル未満の分解能の要素を有することになるため、得られた画像に対する改良がさらに提供され得る。補間においてはフル分解能のボクセルであっても少なくとも２（−１から１まで）の範囲を有するとともに、追加的なフィルタ処理による影響を受ける。

本実施形態では、レンダリング処理ユニット１６はサンプル点における改善された放射輝度を、初期放射輝度値の２０％とさらなる放射輝度値の８０％とを組み合わせることによって算定する。

他の実施形態では、改善された放射輝度値を算定するために初期放射輝度値とさらなる放射輝度値に関する異なる比率が使用され得る。例えば改善された放射輝度は、さらなる放射輝度値の５０％と第２の放射輝度値の５０％を足し合わせたものを備え得る。改善された放射輝度は、初期放射輝度値の１０％とさらなる放射輝度値の８０％を足し合わせたものを備え得る。

幾つかの実施形態では改善された放射輝度値が、さらなる放射輝度値とするように取られ得る（すなわち、改善された放射輝度はさらなる放射輝度値の１００％と初期放射輝度値の０％とを備える）。

幾つかの実施形態では、サンプル点７４において初期放射輝度が計算されない。オフセット点における放射輝度はオフセット点の最も近くにある近隣の放射輝度値の補間によって計算されるとともに、サンプル点７４についてはさらなる放射輝度値に関連して上述のようにオフセット点７６とサンプル点７４の間の吸収を用いて放射輝度値が決定される。以下における改善された放射輝度に対する言及は、オフセット点７６から戻るように進めることによって計算される（上のさらなる放射輝度値と同じ方法で計算される）放射輝度によって置き換えることができる。

改善された放射輝度は、サンプル点からカメラ位置まで戻る光散乱を計算するために使用される。

正しい拡散方式で光が挙動するような設定値が使用される。この光は、各方向について散乱される可能性が等しい。反射の排除が可能であるとすれば、これらの設定値は（少なくとも指向性の光については）放射輝度の積算値に定数を掛け算したものを表すことになる。しかし反射が分離されていないため、反射の際に光のある一定部分は適用を受ける。

異種性材料の内部やこの異種性材料の内部から出る表面上で散乱が起きる場合、その光の挙動はヘニエイ・グリーンスタイン（Henyey-Greenstein）の位相関数を用いてモデル化され得る。本実施形態では、ヘニエイ・グリーンスタインの位相関数を定数にさせるような設定値が適用される。他の実施形態では、ヘニエイ・グリーンスタインの位相関数がより広範囲に使用され得る。ヘニエイ・グリーンスタインの位相関数は反射を考慮に入れていないため、反射については例えば多項式近似（例えば、双方向性の反射分布関数）を用いて別にモデル化され得る。

レンダリング処理ユニット１６は次いで線束上の次のサンプル点に移動するとともに、そのサンプル点において初期放射輝度を決定する。レンダリング処理ユニット１６は、当該サンプル点を基準としたオフセット点の位置を決定するとともに、そのサンプル点に関するさらなる放射輝度を、オフセット点とサンプル点の間の吸収を用いてそのオフセット点における放射輝度を決定しかつサンプル点まで戻ることによって計算する。レンダリング処理ユニット１６は、そのサンプル点に関する初期放射輝度値とさらなる放射輝度値とを組み合わせて改善された放射輝度値を取得する。この改善された放射輝度は、サンプル点からカメラ位置まで戻される光散乱を計算するために用いられる。

レンダリング処理ユニット１６は、線束上のすべての点に関して改善された放射輝度値を決定するプロセスを反復するとともに、各サンプル点から散乱されて得た光を積算して当該線束に関する画素色相値を取得している。

レンダリング処理ユニット１６は、その各々が表示のための画像（出力画像４４）に対応した２次元画像データ組内のそれぞれの画素に対応する複数の線束の各々について上のプロセスを反復する。これによりレンダリング処理ユニット１６は、２次元画像データ組内の画素ごとに色相値を決定する。

出力画像４４を表している２次元画像データ組はＧＰＵからＣＰＵに渡される。表示制御ユニット１８は主表示画面６上にこの出力画像４４を表示させる。

段階４２におけるレンダリングパスの一部として局所的な放射輝度改善を実行することによって、幾つかの状況において出力画像４４内に、フォトンボリューム４０を用いて放射輝度改善を伴わずに画像がレンダリングされたとした場合に得られるであろうものと比べてより精細さを提示することができる。

１つの光源だけによる放射輝度改善について上で説明しているが、他の実施形態では放射輝度が複数の光源に基づいて改善され得る。各光源方向で１つとしてサンプル点ごとに複数のオフセット点が決定され得る。

所与の光源の方向でオフセット点から改善された放射輝度値を決定することは改善トラバーサルと呼ばれ得る。幾つかの実施形態では、光源ごとに別の改善トラバーサルが実行されている。あるサンプル点について各トラバーサルにおいて、それぞれの光源の方向でオフセット点が決定され、かつオフセット点とサンプル点の間の吸収が用いられてそのサンプル点における放射輝度が決定される。決定された放射輝度は、当該サンプル点における初期放射輝度を改善するために使用され得る。改善された放射輝度は初期放射輝度と異なるオフセット点からの放射輝度とを組み合わせることによって計算され得る。

幾つかの実施形態ではすべてのオフセット点が、様々な光源の方向でサンプル点から同じ距離Ｄにある。他の実施形態では、異なるオフセット点について異なる距離Ｄが使用され得る。

他の実施形態では、複数の光源が存在する場合であっても複数の光源に対する近似値を決定することによって単一の放射輝度改善トラバーサルが実行され得る。

２つの光源が存在するような実施形態では、フォトンボリューム４０はこの２つの光源に関する情報を包含している。光源のうちの１つがレンダリングステップ４２内における改善用に選択され、かつこの改善を場面に適応させるように改善の重みが低減される。したがってこの実施形態では２つの光源が存在してはいるが１つの改善トラバーサルだけが実行される。

従来知られている方法のようにフォトンマッピングステップとレンダリングステップを分離させるのではなく、図３の方法はレンダリングステップの間に一定量のフォトンマッピングプロセスが生じることを許容し、これによりフォトンマッピングステップ（段階３８）に由来する放射輝度推定値を改善させている。放射輝度の改善が局所的であるため、その算定コストを比較的低くさせ得る。

段階４２における局所的放射輝度改善を用いたレンダリングと段階４２における局所的放射輝度改善を用いないレンダリングとの結果を比較するために、この２つの方法を用いて画像をレンダリングしてみた。この画像はまた、異なるレベルのダウンサンプリング（局所的放射輝度改善なし）を用いてレンダリングした。異なるレンダリング条件間の比較のために、図６に示した画像のうちのある小部分８２を選択した。複数のレンダリングシナリオに関してこの小部分８２を図７に示しており、この詳細について以下で説明することにする。

４種類の異なるレンダリングシナリオを用いてボリュームデータがレンダリングされている。

ａ）フォトンボリューム４０は、デカルトボリュームのボリュームボクセル格子と比較して１辺あたり係数４でダウンサンプリングされたダウンサンプリング済みライトボリューム格子を用いて計算されかつ保存されている。放射輝度改善は実行されていない。（このシナリオを図７の番号２で示した縦列に表している。）
ｂ）フォトンボリューム４０は、デカルトボリュームのボリュームボクセル格子と比較して１辺あたり係数２でダウンサンプリングされたダウンサンプリング済みライトボリューム格子を用いて計算されかつ保存されている。放射輝度改善は実行されていない。（このシナリオを図７の番号１で示した縦列に表している。）
ｃ）フォトンボリューム４０は、デカルトボリュームのボリュームボクセル格子と比較してダウンサンプリングされていないライトボリューム格子を用いて計算されかつ保存されている。放射輝度改善は実行されていない。（このシナリオを図７の番号０で示した縦列に表している。）
ｄ）フォトンボリューム４０は、デカルトボリュームのボリュームボクセル格子と比較して１辺あたり係数４でダウンサンプリングされたダウンサンプリング済みライトボリューム格子を用いて計算されかつ保存されている。図３の流れ図を参照しながら上述したようにして放射輝度改善が実行されている。（このシナリオを図７の番号２＋Ｌで示した縦列に表している。）
シナリオごとに、１辺あたり１８０ボクセル、１辺あたり２１６ボクセル、１辺あたり２５６ボクセルという３つのデカルトボリュームサイズの各々についてレンダリングプロセスが実行されている。

図７に提示した画像から、放射輝度改善が実行されない場合には、フォトンボリュームがダウンサンプリングされていない画像内に、ダウンサンプリング済みフォトンボリュームによる画像内に存在するのと比べてより高い精細さが存在することが確認できよう。例えば、縦列０にある（ダウンサンプリングされていない）画像は、縦列２の（１辺あたり係数４でダウンサンプリングされた）画像と比べてかなり高い精細さを有する。

しかし図７の画像から、縦列２＋Ｌ画像は高いレベルの精細さを有しており、縦列０の画像内で観測される精細さのレベルに匹敵するかこれを超え得ることが確認できよう。したがって、１辺あたり係数４でダウンサンプリングされたフォトンボリュームを使用しかつ局所的な放射輝度改善を実行することによって、ダウンサンプリングされておらずかつフル分解能で保存されたフォトンボリュームを用いた場合に匹敵するかこれより良好な精細さを有する画像を作成することができる。

ダウンサンプリング済みフォトンボリュームを用いることによって、ダウンサンプリングされていないフォトンボリュームを用いたのと比較してメモリ要件が軽減され得る。さらに、ダウンサンプリング済みフォトンボリュームを用いた場合はフル分解能のフォトンボリュームを用いた場合と比べて画像がより高速にレンダリングされ得るケースもあり得る。

図８は、上で説明した４つのシナリオの性能について、各シナリオを用いて画像がどれだけ高速にレンダリングされ得るかに関して比較した表である。ここでもそのシナリオには、番号２（係数４でダウンサンプリングされたフォトンボリューム、放射輝度改善は未実行）、番号１（係数２でダウンサンプリングされたフォトンボリューム、放射輝度改善は未実行）、番号０（フル分解能のフォトンボリューム、放射輝度改善は未実行）および番号２＋Ｌ（放射輝度改善を伴う係数４でダウンサンプリングされたフォトンボリューム）のラベルを付けてある。すべてのシナリオは同じボリュームデータを用いて同じハードウェア上で動作させた。

１辺あたりのデカルトボリュームサイズ１８０、２１６および２５６について各シナリオごとの正規化レンダリング速度が与えられる。速度はフレーム毎秒を単位として計測され得る最も遅いレンダリング速度（フル分解能で１辺あたり２５６のボリュームサイズ）に対して正規化されている。図８の結果表は図７の画像に対応している。

予測され得るように、放射輝度改善がない場合ではダウンサンプリング済みフォトンボリュームによるシナリオによってフォトンボリュームがフル分解能で保存された場合のシナリオと比べてより速いレンダリング速度が得られている。（例えば、サイズ１８０のデカルトボリュームでは、ダウンサンプリング係数４を用いたときに８．６２、ダウンサンプリング係数２では６．０７で、またダウンサンプリングなしでは２．１３の正規化速度で動作している。）
図８の結果は、放射輝度改善を用いてもフォトンボリュームに関する同じレベルのダウンサンプリングでかつ放射輝度改善なしの場合と比較して毎秒フレーム数が比較的わずかな低下を生じるにすぎないことを示している。

例えばサイズ１８０のデカルトボリュームは、ダウンサンプリング係数４を用い放射輝度改善なしのときには８．６２、また放射輝度改善ありでは７．８７の正規化速度で動作している。図８の結果では、デカルトボリュームが大きいほどその差が小さい。サイズ２５６のデカルトボリュームは、ダウンサンプリング係数４を用い放射輝度改善なしのときには７．５、また放射輝度改善ありでは７．２の正規化速度で動作している。

臨床の設定においては、臨床医の使用に十分な速度で画像を更新できるように保証するためにある具体的な毎秒フレーム速度の要求があり得る。例えば超音波検査者が患者の上で探触子を移動させるような超音波スキャンでは、表示画像が目下の探触子位置を表すように適当な速度で画像を更新することが要求され得る。

放射輝度改善を伴ったダウンサンプリング済みフォトンボリュームを用いることによって、フル分解能フォトンボリューム（放射輝度改善なし）を用いた画像の精細レベルに少なくとも匹敵するような画像の精細レベルを達成しながらダウンサンプリングなしにより達成可能なフレーム速度よりかなり速い毎秒フレーム速度を達成することを可能とさせ得る。

図３の方法は幾つかの状況では、性能の低下をわずかだけとしながら、以前から知られていた２パスシステムの能力を超える精細レベルを提供する。

図９ａは、放射輝度改善を伴ってレンダリングされた胎児の顔画像を示している。図９ｂは（同じレベルのダウンサンプリングについて）放射輝度改善を用いずにレンダリングされた胎児の顔画像を示している。放射輝度改善を用いてレンダリングされた画像は放射輝度改善なしでレンダリングされた画像より精細さレベルが強化され得る。

ある動作モードでかつある例示のデータ組については、ボリュームデータの収集に概ね２３ｍｓかかり、再構成３２に概ね１４ｍｓかかり、フィルタ処理３４に８０ｍｓ（８回反復の場合）、６０ｍｓ（５回反復の場合）または３５ｍｓ（３回反復の場合）のいずれかがかかり、段階３６、３８、４０に合わせて概ね３３ｍｓかかり、かつレンダリング段階４２および画像４４単一フレーム出力に概ね２６ｍｓかかり、概ね４．３〜５．４フレーム毎秒のフレームレートに対応する１８６〜２３０ｍｓの総時間となった。

ダウンサンプリング済みフォトンボリュームおよび放射輝度改善を使用すると、幾つかの状況において精細さの改良を与え得る他のレンダリング方式（例えば、より高分解能のライトボリューム生成のシャドウ線束方式）より速い速度とさせ得る。

幾つかの状況では図３の方法は、既存の２パス方法（同じサイズのダウンサンプリング済みフォトンボリュームを使用し得る）により要求されるよりメモリ消費を増加させずにまたは大幅に増加させずに適用させ得る。幾つかの状況では図３の方法はメモリ消費を大幅に増加させずに出力画像内の精細さレベルを増大させ得る。幾つかのレガシーシステムでは、メモリ消費の増大を必要とする方法の実装を不可能とさせるようなメモリに関する制約が存在し得る。幾つかの状況では、精細さの増大を提供するためにフォトンボリュームの分解能を増大させることが不可能なことがあり得る。

局所的な放射輝度改善を含まない従来の方法では、精細さレベルを２倍にするとフォトンマッピングを実施するパイプラインの一部に関して性能が４分の１に低下し得る（各線束は精細さが２倍であるか否かに関わらずフル分解能のサンプリング速度でフル分解能ボリュームを通るようにトレースされる。したがってその性能は８分の１ではなく４分の１の低下となる）。これに対して図３の方法では、幾つかの状況においてこのような性能の低下を伴うことなく精細さの改良を達成することができる。幾つかの状況では図３の方法は、速度について限られた低下だけで出力画像内の精細さレベルを増大させることができる。この速度の低下はユーザにとって受け容れ可能な速度低下となり得る。

図３の方法の２つのパスはそれぞれ異なる性能および品質特性を有し得る。第１のパスでは、局所的な精細さは非常に計算コストが高くあり得る。第２のパスでは、大域精細さは非常に計算コストが高くあり得る。

上述の実施形態ではボリュームデータと比べてより低い分解能でフォトンボリュームが計算されかつ保存されているが、他の実施形態ではボリュームデータと同じ分解能またはボリュームデータより高い分解能でフォトンボリュームが計算および／または保存され得る。幾つかの実施形態では、ライトボリュームのうちのある領域がライトボリュームの他の領域と比べてより高い分解能で計算および／または保存され得る。

図３の方法では、フォトンマッピング段階３８における放射輝度の大域計算が、レンダリング段階４２の一部としての放射輝度に対する局所的な計算によって改善されている。上の放射輝度に対する言及は光の可視周波数が考慮される場合に、照度（illuminance）に対する言及に置き換えることができる。

ある種の実施形態は、光／放射輝度ボリュームを用いて線束に沿ったライティング推定に対応するように、光／放射輝度または同様のボリュームを生成するための第１のパスと画像をレンダリングするための第２のパスとを備えたグローバルイルミネーションの精細さレベルを上昇させるための方法を提供しており、ここにおいて、第２のパス（レンダリングパス）内には、線束から光源に向かってオフセットされた点における放射輝度を用いるとともにこの点と線束の間の局所的な吸収を算定することによってライティング推定値を改善させるためのステップを存在させている。

第１のパスはフォトンマッピングを用いてライトボリュームを生成し得る。第１のパスは光空間ボリュームトラバーサルを用いてライトボリュームを生成し得る。このレンダリングは、近似によるか、各光に関する寄与を分離し各光に関して改善トラバーサルを実施することによるか、のいずれかによって複数の光を考慮に入れ得る。

幾つかの実施形態では、角度からなる格子を形成するように複数の改善トラバーサルが実行され得、次いでこれらの角度間で放射輝度が補間され得る。こうした実施形態では少なくとも２５〜６４のトラバーサルが必要とされ得る。角度からなるこうした格子は、周辺光、平面光、または極めて多数の光が使用される場合の近似として当てはまり得る。

周辺、確率的または平面の光は、各タイプの光に関する寄与を近似または分離するとともに、各ステップについてボリュメトリック局所的改善トラバーサル（ボリュームデータに関する局所的改善トラバーサル）を実施することによって考慮に入れられ得る。

上述の実施形態は超音波画像のレンダリングのコンテキストで説明されているが、図３の方法は例えばＣＴ、ＭＲ、ＰＥＴまたはＳＰＥＣＴなど適当な任意のボリュームデータをレンダリングするために使用され得る。

ＣＰＵまたはＧＰＵにおいて特定の動作が実行されるように説明しているが、他の実施形態ではＣＰＵとＧＰＵの間で任意の算出配分が使用され得る。あらゆるプロセスをいずれの側（ＣＰＵまたはＧＰＵ）で生じさせることも可能である。幾つかの実施形態では、ＧＰＵ上でフォトンマッピングが実行され得る。

上述の実施形態はグローバルイルミネーションプロセスに関連して説明している。他の実施形態では上で説明した放射輝度改善が、例えばグローバルイルミネーション、フォトンマッピング、光空間ボリュームトラバーサル、ディープシャドウマップ、半角スライス法、光伝播ボリュームまたはシャドウ伝播ボリュームのうちの少なくとも１つを用いたレンダリング方法など適当な任意のレンダリング方法に適用され得る。

本明細書では特定のユニットについて記載しているが、代替的な実施形態ではこれらのユニットのうちの１つまたは幾つかの機能を単一のユニット、処理用リソースまたはその他の構成品によって提供することが可能であり、あるいは単一のユニットによって提供される機能を２つ以上のユニットまたは他の構成品を組み合わせることによって提供することが可能である。単一のユニットに対する言及は当該ユニットの機能を提供するような複数の構成品を包含しており（この際に、こうした構成品が互いに離れているか否かによらない）、また複数のユニットに対する言及はこれらのユニットの機能を提供する単一の構成品を包含する。

また、本実施形態に係る医用画像処理装置は、ボリュームデータを取得するためのボリュームデータユニットと、光源の位置を設定することとボリュームデータに関する複数のサンプル点を決定することとを行うように構成されたレンダリング処理ユニットと、を備えるものであってもよい。このレンダリング処理ユニットは、サンプル点ごとに少なくとも１つのオフセット点を決定すること、ここにおいて、そのまたは各オフセット点はサンプル点からそれぞれのオフセット距離に位置決めされる、を行うように構成されている。このレンダリング処理ユニットは、オフセット点ごとに光源から仮想的に放出される光に由来する放射輝度を決定することを行うように構成されている。このレンダリング処理ユニットは、各サンプル点における放射輝度を、そのそれぞれの少なくとも１つのオフセット点における放射輝度に基づいて決定または改善することと、サンプル点における決定または改善された放射輝度に基づいて画像をレンダリングすることと、を行うようにさらに構成されている。

また、本実施形態に係る医用画像処理方法は、ある種の実施形態は、ボリュームデータを取得することと、光源の位置を設定することと、ボリュームデータに関する複数のサンプル点を決定することと、サンプル点ごとに少なくとも１つのオフセット点を決定することと、ここにおいて、このまたは各オフセット点はサンプル点からそれぞれのオフセット距離に位置決めされる、オフセット点ごとに光源から仮想的に放出される光に由来する放射輝度を決定することと、各サンプル点における放射輝度をそのそれぞれの少なくとも１つのオフセット点における放射輝度に基づいて決定または改善することと、サンプル点における決定または改善された放射輝度に基づいて画像をレンダリングすることと、を備えたものであってもよい。

ある種の実施形態について説明してきたが、これらの実施形態は一例として提示したものであり、また本発明の趣旨を限定するように意図したものではない。実際に本明細書に記載した新規の方法およびシステムは、多種多様なその他の形態で具現化され得、さらに本明細書に記載した方法およびシステムの形態において本発明の精神を逸脱することなく様々な省略、代用および変更が実施され得る。添付の特許請求の範囲およびその等価物は、本発明の趣旨の域内にあるような形式および修正を包含するように意図したものである。

１…医用画像診断装置、２…超音波診断装置、４…超音波プローブ、６…主表示装置、８…制御画面、１０…スキャナコンソール、１２…処理装置、１４…ボリュームデータユニット、１６…レンダリング処理ユニット、１８…表示処理ユニット、２０…データ格納部。

Claims (7)

1. ボリュームデータを記憶する記憶ユニットと、
   医用画像をレンダリングするレンダリング処理ユニットと、を具備し、
   前記レンダリング処理ユニットは、
   前記ボリュームデータに対する光源を所定の位置に設定し、
   前記ボリュームデータにおける複数のサンプル点を決定し、
   前記サンプル点から所定のオフセット距離だけ離れたオフセット点を、前記サンプル点ごとに決定し、
   前記光源から仮想的に放出される光に由来する放射輝度を前記オフセット点ごとに決定し、
   対応する前記オフセット点における前記放射輝度を利用して、前記各サンプル点における放射輝度を決定し、
   前記決定された各サンプル点における放射輝度に基づいて、画像をレンダリングし、
   前記レンダリング処理ユニットは、
   前記オフセット点と前記サンプル点の間における光の吸収を決定し、
   前記サンプル点における前記放射輝度及び前記決定された光の吸収に基づいて、前記サンプル点における前記放射輝度を修正することで、前記各サンプル点において放射輝度を決定すること、
   を特徴とする医用画像処理装置。
2. ボリュームデータを記憶する記憶ユニットと、
   医用画像をレンダリングするレンダリング処理ユニットと、を具備し、
   前記レンダリング処理ユニットは、
   前記ボリュームデータに対する光源を所定の位置に設定し、
   前記ボリュームデータにおける複数のサンプル点を決定し、
   前記サンプル点から所定のオフセット距離だけ離れたオフセット点を、前記サンプル点ごとに決定し、
   前記光源から仮想的に放出される光に由来する放射輝度を前記オフセット点ごとに決定し、
   対応する前記オフセット点における前記放射輝度を利用して、前記各サンプル点における放射輝度を決定し、
   前記決定された各サンプル点における放射輝度に基づいて、画像をレンダリングし、
   前記レンダリング処理ユニットは、対応する前記サンプル点から実質的に前記光源の方向に前記オフセット距離だけオフセットするように、前記各オフセット点を決定することを特徴とする医用画像処理装置。
3. ボリュームデータを記憶する記憶ユニットと、
   医用画像をレンダリングするレンダリング処理ユニットと、を具備し、
   前記レンダリング処理ユニットは、
   前記ボリュームデータに対する光源を所定の位置に設定し、
   前記ボリュームデータにおける複数のサンプル点を決定し、
   前記サンプル点から所定のオフセット距離だけ離れたオフセット点を、前記サンプル点ごとに決定し、
   前記光源から仮想的に放出される光に由来する放射輝度を前記オフセット点ごとに決定し、
   対応する前記オフセット点における前記放射輝度を利用して、前記各サンプル点における放射輝度を決定し、
   前記決定された各サンプル点における放射輝度に基づいて、画像をレンダリングし、
   前記レンダリング処理ユニットは、
   前記サンプル点ごとに前記光源から仮想的に放出される光に由来する初期放射輝度を決定し、
   前記各サンプル点において前記初期放射輝度を修正することで、前記各サンプル点において前記放射輝度を決定し、
   前記レンダリング処理ユニットは、前記ボリュームデータ内の１配列の基準点の各々について、前記光源からの光の仮想的放出に応じて放射輝度を決定し、
   前記レンダリング処理ユニットは、前記各オフセット点の放射輝度の決定において、前記オフセット点毎に、前記オフセット点近傍の基準点から放射輝度を補間する処理を実行することを特徴とする医用画像処理装置。
4. ボリュームデータを記憶する記憶ユニットと、
   医用画像をレンダリングするレンダリング処理ユニットと、を具備し、
   前記レンダリング処理ユニットは、
   前記ボリュームデータに対する光源を所定の位置に設定し、
   前記ボリュームデータにおける複数のサンプル点を決定し、
   前記サンプル点から所定のオフセット距離だけ離れたオフセット点を、前記サンプル点ごとに決定し、
   前記光源から仮想的に放出される光に由来する放射輝度を前記オフセット点ごとに決定し、
   対応する前記オフセット点における前記放射輝度を利用して、前記各サンプル点における放射輝度を決定し、
   前記決定された各サンプル点における放射輝度に基づいて、画像をレンダリングするように構成され、
   前記レンダリング処理ユニットは、
   前記ボリュームデータに対して、配列のボクセルに比して低い空間分解能を有するダウンサンプリング済みボクセルを設定し、
   前記ダウンサンプリング済みボクセルを用いて、前記光源から仮想的に放出される光に由来する放射輝度を前記オフセット点ごとに決定すること、
   を特徴とする医用画像処理装置。
5. 前記レンダリング処理ユニットは、
   ライトボリュームプロセスによって第１のパス計算によって、前記光源から仮想的に放出される光に由来する放射輝度を前記オフセット点ごとに決定し、
   第２のパス計算によって、前記各サンプル点における放射輝度を決定すること、
   を特徴とする請求項１乃至４のうちいずれか一項記載の医用画像処理装置。
6. 前記ボリュームデータは、超音波診断装置によって取得されたデータであることを特徴とする請求項１乃至５のうちいずれか一項記載の医用画像処理装置。
7. 前記ボリュームデータは、胎児、胆のう、肝臓、腎臓、膀胱、子宮、腹部臓器のうちの少なくとも１つの少なくとも一部を表した画像データであることを特徴とする請求項１乃至６のうちいずれか一項記載の医用画像処理装置。