JP6602574B2 - 医用画像処理装置 - Google Patents

医用画像処理装置 Download PDF

Info

Publication number
JP6602574B2
JP6602574B2 JP2015133023A JP2015133023A JP6602574B2 JP 6602574 B2 JP6602574 B2 JP 6602574B2 JP 2015133023 A JP2015133023 A JP 2015133023A JP 2015133023 A JP2015133023 A JP 2015133023A JP 6602574 B2 JP6602574 B2 JP 6602574B2
Authority
JP
Japan
Prior art keywords
rendering
sample
opacity
calculation
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015133023A
Other languages
English (en)
Other versions
JP2016013438A (ja
Inventor
デイ ティモシー
マイルズ モービン
レイノルズ スティーブン
ハンカークス ジェームズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Publication of JP2016013438A publication Critical patent/JP2016013438A/ja
Application granted granted Critical
Publication of JP6602574B2 publication Critical patent/JP6602574B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Description

本実施形態は、ボリュメトリック画像データ(ボリュームデータ)、例えばボリュメトリック医用画像データをレンダリングする医用画像処理装置に関する。
コンピュータ断層撮影(CT)および磁気共鳴映像法(MRI)を含む現代の三次元撮像技法は、解剖学的構造のボリュメトリック表現を作成する能力を有する。
かかる三次元技法は、対応する測定ボリュームの特性をそれぞれ表すボクセルの三次元アレイを備える、大量の三次元ボリュームデータセットを作成する。ボクセルデータはスキャナのスカラー場を表すものであってもよい。例えば、CTでは、各ボクセルは、それぞれの対応する測定ボリュームによるX線放射の減衰を表してもよい。ボクセルにおける減衰は、測定ボリュームにおけるプロトン密度と関連付けられる、ハウンスフィールド単位(HU)での強度値によって表されてもよい。
影付きボリュームレンダリング(SVR)は、多くの医療用視覚化製品で使用されている。SVRは、ボリュメトリック画像データからの表示に対して画像をレンダリングする方法である。
三次元ボリュームデータセットは、表示用の、例えば表示画面上の表示用の画像を表す、二次元画像データセットを得るため、SVRを使用してレンダリングされてもよい。二次元画像データセットは、ピクセル値の、例えばピクセル色値のアレイを備える。
SVRでは、各ピクセルの値は、通常、観察位置または他の光線経路源からボリュメトリックデータセットのボリューム内へと光線を投射することによって決定される。光線は、データセットを通る直線経路を辿って、光線に沿って規則的な間隔で位置する地点における強度データをサンプリングし、強度を画像データ値に関係付ける伝達関数を使用して、各サンプル抽出地点の少なくとも1つの画像データ値を決定する。
伝達関数を使用して決定される、各サンプル抽出地点の画像データ値は、通常、色チャネルおよびアルファチャネル(Cおよびα)を含む。アルファは、0が透明であって1が不透明であるスケール上における不透明度を表す。各サンプル抽出地点iは、色Ciおよび不透明度αiと関連付けられる。不透明度は、そのサンプルにおいて物質がどの程度中実であるかを表してもよい。不透明度は、光の通過を妨げるメカニズムがどのようなものであるかに係わらず、光がサンプルを通り抜けるのがどの程度妨げられるかを表してもよい。
例えば、CTの場合、高強度値(例えば、1000HU)は骨に由来することが予期されることがあり、したがって、伝達関数を使用して白く色付けられてもよい。より低い強度値は、器官、例えば肝臓を表すことが予期されることがあり、したがって赤く色付けられてもよい。組織と関連付けられることがある強度値は、骨と関連付けられることがある強度値よりも低い不透明度を割り当てられてもよい。最も関心のある物質または解剖学的構造の部分に応じて、強度と共に不透明度値および色の異なる変動を提供する、伝達関数を使用することが知られている。例えば、場合によっては、関心のある解剖学的特徴が骨の後方に位置するものと見込まれる場合、適切な伝達関数を使用したレンダリングにおいて、骨は透明またはほぼ透明(例えば、低い不透明度値)とされる。
光線は、光線上のすべてのサンプル抽出地点にわたって、次式の色値および不透明度値の合計にしたがって最終ピクセル色を蓄積する。
式中、Cfinalは最終ピクセル色であり、Nは光線上におけるサンプル抽出地点の数であり、Ciはサンプルiにおけるピクセル色(伝達関数によって決定される)であり、αiはサンプルiにおける不透明度(伝達関数によって決定される)である。
画質を改善する目的で、各サンプル抽出地点に対して複雑なレンダリング計算を行うことが知られている。かかる複雑な計算は、例えば、事前統合、照明(lighting)技法、またはセグメント化補間(segmentation interpolation)を含んでもよい。
これらの複雑な計算はそれぞれ実行コストを有する。例えば、複雑な計算それぞれの使用は、複雑な計算を使用せずにレンダリングを行うのに比べて、SVRレンダリングを減速させ、かつ/または追加のメモリを要することがある。
図1は、複雑な影付け計算を含む従来のレンダリング方法の一例を説明するためのフローチャートである。図1のプロセスは、光線に沿って各サンプル抽出地点に対して行われる。段階2で、ボリュームを調べることによって、サンプル抽出地点の強度が決定される(ボリュメトリック画像データを使用して適切な地点の強度を決定する)。段階4で、伝達関数を使用して、サンプルのサンプル色および不透明度が決定される。段階6で、サンプル抽出地点に対して複雑な影付け計算が行われる。複雑な影付け計算によって、サンプル抽出地点の最新の色値が得られてもよい。最新の色値は画像データ値と呼ばれることがある。最新の色値は、式1を使用して光線上のすべてのサンプル抽出地点に対する最新の色および不透明度値全体を統合することによって、光線から最終ピクセル色を決定するのに使用される。
複雑な影付け計算の使用は、複雑な影付け計算が使用されないレンダリングから得られるものよりも良好な画質を提供することができる。他の複雑なサンプル毎の計算を適用することによっても、画質を改善することができる。
いくつかのレンダリングプロセスでは、早期に光線を終了させることが知られている。その際、蓄積した不透明度が特定のサンプル抽出地点で閾値に達した場合、そのサンプル抽出地点以降の地点に対する強度値、または不透明度値もしくは色値などの画像データ値に係わらず、そのサンプル抽出地点以降の地点に対してそれ以上のレンダリング計算は行われない。また、いくつかのレンダリングプロセスでは、不透明度値に応じてサンプル地点の間隔を変動させることが知られている。
いくつかのレンダリングプロセスでは、特定の閾値を超えるかまたは特定の範囲内にある強度値を有するサンプル抽出地点に対してレンダリング計算が行われないように、閾値化プロセスを行うことが知られている。例えば、ある領域内または空気中もしくは真空中にあるサンプル抽出地点がレンダリングにおいて事実上無視されるように、それらの地点に対してレンダリング計算を行わないことが知られている。
特開2006−000126号公報 特表2008−511365号公報
しかしながら、従来の医用画像診断装置では、原則として、ボリュームレンダリングのレイキャスティングにおいて、レイ上の全てのサンプル(ボクセル)に対して不透明度、カラー(色彩、色値)、ライティングなどの計算を行っている。このため、ボリュームレンダリング処理に多くの時間を要し、効率が低下する場合がある。
そこで目的は、ボリュームレンダリングのレイキャスティングにおいて、描画性能を維持しつつ、全てのサンプルに対して計算処理を行う場合に比して高速に処理できる医用画像処理装置を提供することにある。
実施形態によれば、医用画像処理装置は、計算部、レンダリング部を具備する。計算部は、ボリュームデータのうちの所定のサンプルについて不透明度及び累積不透明度を計算し、前記計算された不透明度及び累積不透明度に基づいて重要係数を計算する。レンダリング部は、重要係数と所定の閾値とに基づいて、複数のレンダリング処理のうちの少なくとも一つを選択し、所定のサンプルに対応する領域に対して、前記選択された少なくとも一つのレンダリング処理を実行する。
一実施形態による医用画像処理装置の概略図。 一実施形態による画像レンダリングプロセスの概観を示すフローチャート。 一実施形態による、サンプル抽出地点の画像データ値を計算する方法の概観を示すフローチャート。 サンプル抽出地点すべてが同じ不透明度を有する、光線に沿った複数のサンプル抽出地点それぞれについてサンプル寄与率を示すグラフ。 サンプル抽出地点が表す物質に応じて異なる不透明度を有する、光線に沿った複数のサンプル抽出地点それぞれについてサンプル寄与率を示すグラフ。 既知のレンダリング方法を使用してレンダリングした画像。 一実施形態の方法を使用してレンダリングした画像。 複雑な影付け計算を含む従来のレンダリング方法の一例を説明するためのフローチャート。
図1は、本実施形態に係る医用画像処理装置10のブロック構成図を示している。同図に示す様に、医用画像処理装置10は、表示画面16と、コンピュータのキーボードおよびマウスなど、1つもしくは複数の入力デバイス18とに接続された、計算装置12を、この場合はパーソナルコンピュータ(PC)またはワークステーションを備える。また、医用画像処理装置10は、必要に応じて、所定の医用画像診断装置(図1ではCTスキャナ14を例示)を接続される。しかしながら、当該例に拘泥されず、医用画像処理装置10は、例えば医用画像診断装置のコンソール部に内蔵されていてもよい。
当該医用画像診断装置10によって処理される一連の画像データはCTスキャナ14によって得られ、データストア20に格納される。また、処理対象とする一連の画像データは、遠隔のデータストアまたは他のメモリからロードされてもよい。
計算装置12は、図2および図3を参照して後述する方法を行うように構成された、様々なソフトウェアモジュールまたは他のソフトウェア構成要素をロードし実行するように動作可能な、中央処理装置(CPU)22を備える。
計算装置12は、ボリュメトリック画像データを得るための画像データユニット24と、表示用の二次元画像データセットを生成するため、ボリュメトリック画像データ(所定の三次元領域に対応するボリュームデータ)をレンダリングするためのレンダリングユニット26とを含む。
本実施形態では、画像データユニット24およびレンダリングユニット26はそれぞれ、実施形態の方法を行うように実行可能なコンピュータ可読命令を有するコンピュータプログラムによって、計算装置12に実装される。しかし、他の実施形態では、様々なユニットが、1つもしくは複数のASIC(特定用途向けIC)またはFPGA(フィールドプログラマブルゲートアレイ)として実装されてもよい。
計算装置12はまた、RAM、ROM、データバス、様々なデバイスドライバを含むオペレーティングシステム、およびグラフィックカードを含むハードウェアデバイスを含む、PCのハードドライブならびに他の構成要素を含む。明瞭にするため、かかる構成要素は図1には示されていない。
図1の装置は、図2のフローチャートに概観で示されるような一連の段階を行うように構成される。
段階30で、画像データユニット24はデータストア20からボリュメトリック画像データセットを得る。他の実施形態では、画像データユニット24は、スキャナ14から直接、遠隔のデータストアから、または他の任意の適切な場所から、ボリュメトリック画像データセットを得てもよい。ボリュメトリックデータセットは、患者または他の被検体の三次元領域を表す。
段階40〜60で、レンダリングユニット26は、複数のピクセルを備える、表示用の画像を表す二次元レンダリング画像データセットを得るため、ボリュメトリック画像データセットに対してレンダリングプロセスを行う。
段階40で、レンダリングユニット26は、1つの光線が複数のピクセルそれぞれに対応する、複数の光線(レイ)をボリュメトリック画像データセット内へと投射する。各光線は、この場合、データセットを通る直線の経路を辿る。各光線は、サンプリング経路として説明されてもよい。
段階50で、各光線について、レンダリングユニット26はサンプリングプロセスを行う。レンダリングユニット26は、光線に沿った複数の地点それぞれにおいて、ボリュメトリック画像データセット(すなわち、各地点に対応するボクセル)をサンプリングする。本実施形態では、サンプル抽出地点は、規則的な間隔で光線に沿って離隔される。サンプル間隔は、この場合、サンプル抽出地点における特性、例えば強度または不透明度には依存せず、ボリューム全体を通して一定である。
レンダリングユニット26は、サンプル抽出地点それぞれに対して少なくとも1つの画像データ値を計算する。各サンプル抽出地点について、段階50における画像データ値の計算は、図3のフローチャートで詳述されるような段階51〜56を備える。図3のプロセスは、すべての光線上におけるすべてのサンプル抽出地点に対して繰り返される。他の実施形態では、光線の部分集合が考慮されてもよい。いくつかの実施形態では、光線のいくつかまたはすべてに対して、サンプル抽出地点の部分集合が考慮されてもよい。
図3の段階51では、レンダリングユニット26は、ボリュメトリック画像データからサンプル抽出地点の強度値を調べる。レンダリングユニット26は、サンプル抽出地点における強度値を得るため、サンプル抽出地点に最も近いボクセルからの強度値を補間することによって、サンプル抽出地点における強度値を調べる。
段階52で、レンダリングユニット26は、サンプル抽出地点における強度を色および不透明度に関係付けるため、伝達関数を使用することによってサンプル抽出地点の色および不透明度を調べる。異なる強度は異なる色に、例えば高強度(骨を表す)の場合は白、低強度(組織を表す)の場合は赤に関係付けられてもよい。異なる強度は異なる不透明度に関係付けられてもよい。例えば、より高い強度はより高い不透明度と関連付けられてもよい。
代替実施形態では、レンダリングユニット26は、伝達関数を使用して、各ボクセルの色および/または不透明度を決定し、隣接するボクセルに対して決定された色および/または不透明度を使用して、各サンプル抽出地点の色および/または不透明度を決定する。レンダリングユニット26は、強度値をボリューム中の位置の色値および不透明度値に変換することによって、変換したボリュメトリック画像データを得てもよく、サンプル抽出地点の色値および不透明度値の決定は、変換したボリュメトリック画像データを使用して色および不透明度を決定することを備えてもよい。
本実施形態では、強度を色および不透明度の両方に関係付ける伝達関数を使用して、色および不透明度が決定されるが、他の実施形態では、色および不透明度を決定する異なる方法が使用されてもよい。色および不透明度は、例えば、リストもしくはルックアップテーブルまたは手続き型関数を使用することによって、強度に関係付けられてもよい。レンダリング画像が色画像ではなくグレースケール画像となる場合、以下の色に対する参照はグレースケールに対する参照に置き換えられてもよい。
いくつかの実施形態では、分類関数が、色および不透明度をサンプル抽出地点に割り当てるのに使用されてもよい。例えば、分類関数は、任意の適切な分類基準に基づいて、物質(例えば、骨、肝臓、空気)を各ボクセルに割り当てるのに使用されてもよい。特定の物質としてのサンプル抽出地点の分類は、サンプル抽出地点に隣接したボクセルの分類を使用して決定されてもよい。次に、決定された物質に基づいて、サンプル抽出地点に対して色および不透明度が決定されてもよい。
いくつかの実施形態では、ボリュメトリックデータセットは、各サンプル抽出地点の色および不透明度を決定する前にセグメント化されてもよい。各サンプル抽出地点は、セグメント化に応じて、適切な構造(例えば、骨、血管、または器官)に割り当てられてもよい。サンプル抽出地点の色および不透明度は、サンプル抽出地点が割り当てられる構造に基づいて決定されてもよい。
段階53で、レンダリングユニット26は、サンプル抽出地点の重要度係数を決定する。重要度係数は、サンプル抽出地点に当たる光線に対して決定された最終ピクセル色に対して、サンプル抽出地点がどの程度寄与し得るかを表す。
すべてのサンプル抽出地点が最終画像に対して等しく寄与するとは限らない。一部のサンプル抽出地点は、それらの前方にある他のサンプル抽出地点によって覆い隠され、そのため、最終ピクセル色にほとんど影響しない。一部のサンプル抽出地点は低い不透明度を有し、そのため、最終ピクセル色にほとんど影響しない。高い不透明度を有する、かつ/または光線の始点に近いサンプル抽出地点は、低い不透明度を有する、かつ/または光線の終点に近いサンプル抽出地点よりも、最終ピクセル色に対してより寄与することがある。
サンプル寄与率は、光線の最終ピクセル色に対する所与のサンプル抽出地点の寄与率がどの程度顕著であるかを表す、重要度係数である。
サンプル寄与率は、いくつかの実施形態では、次式のように表現されてもよい。
式中、αは、段階52で伝達関数を使用して調べたサンプル抽出地点における不透明度であり、accumulated αは、光線に沿った以前のサンプル抽出地点すべてによる累積不透明度である。例えば、光線に沿った4番目のサンプル抽出地点のサンプル寄与率は、光線に沿った1番目〜3番目のサンプル抽出地点による蓄積不透明度を1から引いたものを、そのサンプル抽出地点における不透明度に掛けたものである。
光線中の最初のn個のサンプル抽出地点にわたる蓄積不透明度は、次式のように計算される。
例えば、光線に沿った1番目〜3番目のサンプル抽出地点にわたる蓄積不透明度は、次式の通りである。
したがって、(n+1)番目のサンプルのサンプル寄与率は、次式の通りである。
式3を式2に代入することによって、式2における蓄積不透明度は、以前のサンプル抽出地点すべてにわたって蓄積されてきた不透明度である。
例えば、4番目のサンプル抽出地点のサンプル寄与率は、次式の通りである。
特定の重要度係数(サンプル寄与率)が式2で与えられるが、代替実施形態では、最終ピクセル色に対するサンプル抽出地点の重要度を表す任意の重要度係数が使用されてもよい。重要度係数は、不透明度および蓄積不透明度の点から定義されてもよい。蓄積不透明度は、当該サンプル抽出地点以前のすべてのサンプル抽出地点(当該サンプル抽出地点を除く)の不透明度の組み合わせ、当該サンプル抽出地点以前のすべてのサンプル抽出地点の不透明度に当該サンプル抽出地点自体の不透明度を加えた組み合わせ、または当該サンプル抽出地点以前の、もしくは当該サンプル抽出地点を含む一部のサンプル抽出地点の不透明度の組み合わせを備えてもよい。例えば、蓄積不透明度は、以前のサンプル抽出地点の部分集合からの不透明度の組み合わせ、以前のサンプル抽出地点のダウンサンプリングした組、最も顕著な以前のサンプル抽出地点、セグメント化構造内のサンプル抽出地点の組、または以前のサンプル抽出地点の他の任意の適切な組を表してもよい。
いくつかの実施形態では、重要度係数は、最初に伝達関数を使用して不透明度を決定することなく、サンプル抽出地点における強度、および光線上における以前のサンプル抽出地点の強度に直接基づいて計算されてもよい。
式2に戻ると、次の条件のどちらかまたは両方が当てはまる場合、サンプル抽出地点におけるサンプル寄与率の値が高くてもよいことが分かる。
a)サンプル抽出地点の不透明度αが高い
b)サンプル抽出地点における蓄積不透明度の値が低い。
高い不透明度値を有していた所与のサンプル抽出地点の前にいくつかのサンプルが存在する場合、その所与のサンプル抽出地点における蓄積不透明度の値は低いことがある。例えば、所与のサンプル抽出地点は、光線中の最初のサンプル抽出地点の1つであってもよく、または光線上の以前のサンプル抽出地点はほとんど透明であった場合がある。
同様に、次の条件のどちらかまたは両方が当てはまる場合、サンプル寄与率の値は低くてもよい。
a)サンプル抽出地点の不透明度αが低い(サンプル抽出地点が、全体的にまたはある程度透明もしくは半透明である)
b)サンプル抽出地点における蓄積不透明度の値が高い。
サンプル抽出地点における蓄積不透明度の値は、光線上に多数の以前のサンプル抽出地点が存在する場合、または光線上の以前のサンプル抽出地点が高い不透明度を有する場合に、より高くなり得ることがある。
蓄積不透明度の値は光線の始点近くでは低いことがあるので、光線の始点のサンプル抽出地点は、非常に透明でない限り、高いサンプル寄与率を有することがある。光線経路にさらに沿ったサンプル抽出地点は、それらよりも前のサンプル抽出地点が、蓄積αが高くなるのに十分な高い不透明度を有する場合、著しく不透明である場合であっても低い寄与率を有することがある。
光線に沿った所与のサンプル抽出地点の位置から得られるサンプル寄与率に対する影響が、図4に明示される。図4は、すべてのサンプル抽出地点が同じ不透明度値、即ち不透明度=0.025を有する単純な事例についての、サンプル番号に対する蓄積不透明度80およびサンプル寄与率82のプロットである。サンプル抽出地点は、光線に沿って等間隔に位置し、連続的に番号が付与されており、サンプル抽出地点1は光線上の最初のサンプル抽出地点である。
各サンプル抽出地点に関係する蓄積不透明度80はサンプル番号と共に上昇しているが、それは、各サンプル抽出地点が蓄積不透明度に加わるためである。図4の例では、サンプルの不透明度は一定のままであるものの、各サンプル抽出地点の寄与率82はサンプル番号と共に低下している。サンプル番号に伴う寄与率の低下は、蓄積不透明度の増加によるものである。
図5は、サンプル抽出地点における不透明度が光線に沿って変動する場合の、サンプル番号に対する蓄積不透明度80およびサンプル寄与率82のプロットである。光線に沿った位置に伴う不透明度の変動は、医用画像を表すボリュメトリック画像データセットで見られることがある、光線に沿った位置に伴う不透明度の変動に類似していることがある。サンプル番号は、光線または他のサンプリング経路の起源の位置を表す0から増加し、サンプル番号の増加は起源からの距離の増加を表す。
第1の領域84のサンプル抽出地点は不透明度0を有する(サンプル抽出地点は透明である)。領域84の各サンプル抽出地点については、不透明度は0であり、蓄積不透明度は0であり、サンプル寄与率は0である。領域84は、空き空間(例えば、空気または真空)を表すボリュメトリックデータセットの領域に対応してもよい。
第2の領域86のサンプル抽出地点は、不透明度0.01(1%の不透明度)を有し、これは組織を表すことがある。領域86における(その領域内の最初のサンプル以降の)サンプル抽出地点は、非0の蓄積不透明度を有する。光線が領域86を通り抜けるにしたがって、各サンプル抽出地点の蓄積不透明度は以前のサンプル抽出地点の蓄積不透明度よりもわずかに大きくなるので、各サンプル抽出地点のサンプル寄与率は、以前のサンプル抽出地点のサンプル寄与率よりもわずかに少ない。
次に、光線は第3の領域である領域88に入る。領域88のサンプル抽出地点はそれぞれ、10%(0.1)の不透明度を有し、これは骨を表すことがある。例えば、10%の不透明度は、多少透明であるものとして骨がレンダリングされるレンダリングモード(透明骨モード(transparent bone mode)と呼ばれることがある)における骨を表してもよい。
領域86と領域88との間(組織と骨との間)の遷移によって、最初にサンプル寄与率の大きな増加が引き起こされる。領域88の最初のサンプル抽出地点は、大きい不透明度および比較的小さい蓄積不透明度を有するので、そのサンプル寄与率は非常に高い。光線が領域88を通り抜けるにしたがって、蓄積不透明度は高い値(1に非常に近い)へと実質的に増加し、また、各サンプル抽出地点が高い蓄積不透明度を有するので、各サンプル抽出地点のサンプル寄与率は減少する。
段階54で、レンダリングユニット26は、サンプル抽出地点それぞれに寄与率閾値を適用する。本実施形態では、寄与率閾値は寄与率値0.02である。他の実施形態では、異なる寄与率値が閾値として使用されてもよい。次に、レンダリングユニット26は、サンプル抽出地点のサンプル寄与率を寄与率閾値と比較する。
各サンプル抽出地点について、サンプル抽出地点の寄与率値が閾値以上である場合、図3のプロセスは段階55に進む。段階55で、第1のレンダリング計算プロセスがサンプル抽出地点に対して行われる。第1のレンダリング計算プロセスは複雑な影付け計算を備える。
照明モデルにしたがって、各サンプル抽出地点に対して照明が計算される。照明計算は、例えば、地点自体における照明計算を備えてもよく、あるいは照明計算は、例えば、隣接するボクセルに対して行われ、次にその結果または計算がサンプル抽出地点において補間されてもよい。場合によっては、各ボクセルにおける法線が事前計算され、照明ボリューム(lighting volume)に格納され、サンプル抽出地点に対する後の計算に使用されてもよい。一般に、照明は、周辺光、散乱光、および反射光の組み合わせを備えてもよい(照明の方程式にしたがって組み合わされてもよい)。照明モデルは、フォンシェーディング(Bui Tuong Phong,Illumination for computer generated pictures,Communications of ACM 18(1975),no.6,311−317)を備えてもよい。
本実施形態では、反射光は照明モデルに含まれる。他の実施形態では、反射光は含まれないことがある。散乱照明および反射照明は指向性照明と呼ばれることがある。
周辺光は、画像全体に共通であり、一定の照明寄与率を提供する。周辺光レベルはユーザによって選択されてもよい。周辺光レベルは、レンダリングユニット26によるデフォルトによって提供されてもよい。
散乱光は表面配向と共に変動する。したがって、サンプル抽出地点の散乱光を計算するために、レンダリングユニット26は、サンプル抽出地点における法線を計算する。法線、例えば法線ベクトルは、サンプル抽出地点の局所区域における強度値に応じて計算されてもよい。法線ベクトルの計算は強度勾配の計算を備えてもよい。
レンダリングユニット26は、散乱照明寄与率を得るため、法線ベクトルに照明方向を掛ける。いくつかの実施形態では、複数の照明方向が考慮されてもよい。
レンダリングユニットは、結果として得られる散乱照明寄与率を、周辺照明寄与率および反射照明寄与率に加えて、サンプル抽出地点の全体の照明寄与率を決定する。したがって、周辺光レベルおよび/または散乱光レベル(例えば、散乱光の比率)および/または反射光レベル(例えば、反射光の比率)に基づいて、サンプル抽出地点の照明レベルを決定することを備える、照明計算が行われる。他の実施形態では、反射照明寄与率は省略されてもよい。レンダリングユニット26は、照明計算から得られている少なくとも1つの画像データ値を出力する。本実施形態では、照明計算から得られている画像データ値は、段階55で計算されている照明を考慮に入れた最新の色値である。
サンプル抽出地点の寄与率値が閾値を下回る場合、図3のプロセスは段階56に進む。段階56で、第2のレンダリング計算プロセスがサンプル抽出地点に対して行われる。第2のレンダリング計算プロセスは、段階55を参照して上述した複雑な影付け計算の代わりに単純化された影付け計算を備えるという点で、第1のレンダリング計算プロセスとは異なる。
単純化された影付け計算では、サンプル抽出地点における法線は計算されない。代わりに、散乱光レベルの固定的比率が使用される。散乱光の固定的比率は周辺光に加えられる。本実施形態では、散乱光の比率は散乱光強度の0.5倍である。他の実施形態では、異なる比率が使用されてもよい。いくつかの実施形態では、比率は固定的比率でなくてもよく、任意の適切な基準を使用して決定されてもよい。
本実施形態では、単純化された影付け計算には反射光寄与率は含まれない。いくつかの実施形態では、反射光強度の比率も周辺光および散乱光に加えられてもよい。
法線の計算を省略し、その代わりに散乱光の固定的比率を使用する理由は、ほぼ透明であるボリュームの領域が実質的に均質な材料を備える傾向があることである。ほぼ透明な領域の強度値は、ある少量のノイズを有するほぼ平坦なものであってもよい。したがって、ほぼ透明な領域のボクセルに対する法線は、無作為の方向を有効に指してもよい。
ほぼ透明な領域の地点における計算を単純化するため、それらの領域のボクセルに対して法線は計算されず、代わりに、各ボクセルは、現在の周辺光レベルと散乱光の比率とを用いて照明される。
単純化された影付け計算で使用される散乱光の比率は、散乱光の固定的比率であってもよい。比率は、無作為に向いた法線をそれぞれ有する長い一連のほぼ目に見えない地点から、カメラに向かってどの程度の光が反射するかを解明することによって計算されてもよい。
単一方向の光の場合、散乱光の比率は散乱光強度の0.25倍であってもよい。
双方向の光の場合、因数は散乱光強度の0.5倍であってもよい。
法線の計算を省略することは、上述したように、ほぼ透明な領域における照明に対する適切な近似であってもよい。さらに、最終ピクセル色に対する寄与率が低いことが決定されている任意のサンプル抽出地点に対する照明を計算するとき、法線の計算を省略することは、やはり容認できる単純化であることがある。光線上における低寄与率のサンプル抽出地点の照明計算における誤差は、光線に対して最終ピクセル色をわずかにのみ異ならせることがある。
図5を再び参照すると、領域84および86の地点はすべて、0.02の閾値を下回るサンプル寄与率を有するので、これらの地点で、例えばサンプル抽出地点の部分集合に対して、単純化された影付けが使用されてもよい。領域88の最初の数地点は、0.02の閾値を上回るサンプル寄与率を有する。複雑な影付け計算が、これらの地点それぞれで、例えばサンプル抽出地点の別の部分集合に対して使用されてもよい。領域88の後の地点に対してサンプル寄与率が再び0.02未満に低下すると、単純化された影付けが、例えばサンプル抽出地点のさらなる部分集合に対して、再び使用される。
図5の例の光線の場合、光線上のサンプル抽出地点の90%は0.02の閾値未満に低下する。したがって、より単純な(かつより高速の)照明計算が、サンプル抽出地点の90%に使用されてもよい。より高速の近似は、サンプル寄与率が低いサンプル抽出地点に使用されてもよい。単純化された照明モードを、光線の長さに沿って繰返し入れたり切ったりすることができる。
図3の段階55または段階56(必要に応じて、段階54で取られた経路に依存する)の出力は、必要に応じて、複雑な影付け計算を備える第1のレンダリング計算プロセス、または単純な影付け計算を備える第2のレンダリング計算プロセスのどちらかによって決定されている、サンプル抽出地点の少なくとも1つの画像データ値である。
画像データ値は、例えば、色値、グレースケール値、または不透明度値を備えてもよい。本実施形態では、段階55または56で出力されるサンプル抽出地点の画像データ値は、影付け計算を考慮に入れたサンプル抽出地点の最新の色値と、関連する不透明度値とを備える。
段階50(段階50は段階51〜56を含む)が完了したところで図2に戻ると、段階60で、レンダリングユニット26は、各光線のサンプル地点に対して決定された画像データ値を組み合わせる。各光線に対して、レンダリングユニット26は、光線と関連付けられるピクセルの色を決定するため、式1を使用する。式1の計算に使用される色値は、段階55または56から得られた最新の色値である。
ピクセル色値は、表示画面に表示するのに適した画像を表す二次元画像データセットとして格納される。段階70で、二次元画像データセットに相当する画像が表示画面16に表示される。
本実施形態では、光線中のすべてのサンプル抽出地点に対して画像データ値が決定される。サンプル抽出地点は省略されない。一部の画像データ値は、複雑な影付け計算(段階55)を備える第1のレンダリング計算プロセスを使用して計算され、他の画像データ値は、より単純な影付け計算(段階56)を備える第2のレンダリング計算プロセスを使用して計算される。段階56のより単純な影付け計算を使用して計算されたサンプルは、ピクセルの最終色値に対する寄与率が低くなることが決定されているものである。
図2および図3の方法は、複雑な影付け計算がすべてのサンプル抽出地点に対して行われる方法と比べて、計算コストが低減されてもよい。図2および図3の方法では、寄与率閾値に基づいて、ピクセルの一部に対してより単純な影付け計算が使用される。より単純な影付け計算は、関連するサンプル地点に対して複雑な影付け計算を使用する場合よりも、求められる計算能力が低い。
図7および図7は、同じボリュメトリック画像データセットからレンダリングされた2つの画像である。図6は、すべてのサンプルに対して複雑な影付け計算が行われる、図8を参照して上述したような既知の方法を使用してレンダリングされている。図6では、各サンプル抽出地点に対する複雑な影付け計算は、そのサンプル抽出地点における法線の計算を伴う。
図7は、図2および図3の方法を使用してレンダリングされている。閾値寄与率値(図7の場合、閾値は0.02)を上回るサンプル寄与率を有するサンプル地点に対しては、複雑な影付け計算が行われる。閾値寄与率値を下回る寄与率を有するサンプルに対しては、より単純な影付け計算が行われる。図7の場合、画像データ値は、各サンプル地点に対する法線の計算を含む複雑な影付け計算を使用して、閾値を上回る寄与率を有する各サンプルに対して計算される。閾値を下回る寄与率を有するサンプルの画像データ値は、上述したより単純な影付け計算を使用して計算され、その際、サンプル地点の法線は計算されず、代わりに、それらのサンプルに対して散乱光の固定的比率が使用される。
透明骨レンダリングモードでは、骨表面のサンプルから得られる高い蓄積不透明度により、骨の内部のサンプル地点は低い寄与率を有することがある。透明な骨の場合、骨内部のサンプルに対して法線を計算した場合、法線は完全に無作為ではないことがある。しかし、図7では、骨の内部で単純化された影付け計算を使用することによって、骨の内部があたかも無作為な法線を使用したかのように見える。
図7における単純化された影付けの使用(無作為の法線の使用に類似)によって、図6の場合よりも、骨内部の領域の多少滑らかな外観がもたらされる。しかし、骨の内部のより滑らかな外観は臨床医にとって容認可能なことがある。いくつかの状況では、骨の内部のより滑らかな外観は、法線が計算されるときにもたらされることがある、より粒子の粗い外観に比べて有用なことがある。例えば、透明骨モードは、臨床医が骨の後方にある器官をより明瞭に見たい状況で使用されてもよく、その場合、骨自体の外観は臨床医にとってさほど重要でないことがある。
図7の画像は、図6の画像(すべてのサンプル地点に対して複雑な照明計算を使用してレンダリングしたもの)よりも40%高速で(図2および図3の方法を使用して)レンダリングされた。
二次元レンダリング画像データセットは、例えば、100万ピクセル(1000×1000ピクセル)を備えてもよい。各ピクセルの色を決定するため、多数のサンプルが、例えば単一の光線上における少なくとも数百のサンプルが使用されてもよい。図2および図3の方法は、サンプルの一部と関連付けられた計算の複雑さを低減することによって、二次元レンダリング画像データセットのレンダリングの計算コストを可能にしてもよい。
図2および図3を参照して上述した実施形態は、各サンプル抽出地点に対して、複雑な影付け計算を備える第1のレンダリング計算プロセス、またはより単純な影付け計算を備える第2のレンダリング計算プロセスを選択することを伴う。第1のレンダリング計算プロセスまたは第2のレンダリング計算プロセスは、サンプル抽出地点に対して決定されたサンプル寄与率に応じて選択される。
他の実施形態では、第1のレンダリング計算プロセスは、任意の複雑な計算プロセスを備えてもよい(複雑な計算プロセスが、事前定義された閾値を上回るサンプル寄与率に対して行われるプロセスである場合)。第2のレンダリング計算プロセスは、複雑な計算プロセスを単純化したバージョン(例えば、複雑な計算プロセスの近似)を含む計算プロセスを備えてもよく、または複雑な計算プロセスを省略してもよい。
複雑な計算プロセスは、代替の計算プロセスよりも複雑なプロセス、代替の計算プロセスよりも多くのメモリを要するプロセス、代替の計算プロセスよりも多くの時間がかかるプロセス、または代替の計算プロセスよりも多くの処理能力を要するプロセスであってもよい。複雑な計算プロセスは、段階52で行った色および不透明度の単純な調査を越える任意のプロセスであってもよい。
複雑な計算プロセスは、例えば、事前統合計算、照明計算、影付け計算、セグメント化補間計算、オブジェクト対オブジェクト合成(object-to-object blending)計算、または照射量計算を備えてもよい(例えば、全体照明アルゴリズムに関する)。複雑な計算プロセスは、シャドウ光線(shadow rays)および/またはアンビエントオクルージョンサンプリング光線を備えてもよい。第1のレンダリング計算プロセスは、いくつかの複雑な計算プロセスを備えてもよい。いくつかの複雑な計算プロセスが、任意の1つのサンプル抽出地点に対して行われてもよい。
サンプル寄与率が事前定義の閾値を下回る場合、第2のレンダリング計算プロセスを選択することによって、照明などのより高度な計算が無効にされてもよく、より高速だが確度の低い近似が代わりに使用されてもよい。
レンダリング計算プロセスはそれぞれ、サンプル抽出地点に対して、例えばレイキャスティングにおけるそれぞれのサンプル抽出地点に対して行われてもよい、任意の計算を備えてもよい。
各サンプル抽出地点について、段階55の第1のレンダリング計算プロセスは、いくつかの異なるタイプの計算プロセスを備えてもよい。例えば、一実施形態では、第1のレンダリング計算プロセスは、複雑な影付け計算、複雑な照射量計算、および事前統合を備えてもよい。第2のレンダリング計算プロセス(閾値を下回るサンプル抽出地点に対して行われる)は、単純化された影付け計算および単純化された照射量計算を備え、事前統合の計算を省略してもよい。
一実施形態では、第1のレンダリング計算プロセスはオブジェクト対オブジェクト合成を備える。オブジェクト対オブジェクト合成は、セグメント化したオブジェクトの縁部が滑らかな外観を有するようにする補間プロセスである。オブジェクト対オブジェクト合成の一例は、M.Hadwiger et al,High Quality Two Level Volume Rendering of Segmented Data Sets,Vis’03,Proceedings of the 14th IEEE Visualization Conference,24 October 2003に記載されている。
図2の段階30と段階40との間で、ボリュメトリック画像データは、セグメント化アルゴリズムおよび/またはユーザ選択を使用してセグメント化される。段階52で、各サンプル抽出地点の色および不透明度が、複数のセグメント化構造それぞれに対して異なる色ルックアップテーブルを使用して決定される。異なる色は、各構造(例えば、各器官、骨、または血管)を表すのに使用される。図3を参照して上述したように、各サンプル抽出地点のサンプル寄与率が計算される。
段階54で、レンダリングユニット26は、サンプル寄与率が閾値よりも大きいか否かを判断する。サンプル寄与率が閾値よりも大きい場合、レンダリングユニット26は、段階55でのサンプル抽出地点におけるオブジェクト対オブジェクト合成を備える、第1のレンダリング計算プロセスを選択し行う。サンプル寄与率が閾値未満である場合、レンダリングユニット26は、オブジェクト対オブジェクト合成を行うことを備えない、第2のレンダリング計算プロセスを選択する。他の実施形態では、サンプル寄与率が閾値未満である場合、レンダリングユニット26は、オブジェクト対オブジェクト合成の単純化したバージョンを備える、第2のレンダリングプロセスを選択し行う。
一実施形態では、第1のレンダリング計算プロセスは事前統合を備える。事前統合は、サンプル抽出地点間の間隔に対して事前計算された色を使用することを伴う技法であり、計算の結果は、二次元ルックアップテーブルに格納される。強度値およびサンプル抽出間隔の可能な対それぞれに対応する不透明度値および色値は、伝達関数を使用して事前計算され、ルックアップテーブルに格納される。光線経路に沿ったサンプルの連続した対それぞれについて、レンダリングユニット26は、2Dルックアップテーブルから、サンプル抽出した強度値のその対およびそのサンプル間隔に対応する、事前計算した色値および不透明度値を調べる。事前統合は、各ピクセルに対して、スライス毎のレンダリングプロセスではなくスラブ毎のレンダリングプロセスを事実上提供し、したがって、伝達関数およびサンプル抽出したデータにおけるいかなる非持久性をも打ち消す平滑化を提供することができる。
第1のレンダリング計算プロセスが事前統合を備え、第2のレンダリングプロセスが事前統合を備えない一実施形態では、事前統合プロセスは、サンプル寄与率に応じてオンオフされてもよい。例えば、一対のサンプル抽出地点を考慮すると、サンプル抽出地点の両方が閾値よりも大きいサンプル寄与率を有する場合にのみ、その対に対して事前統合が行われてもよい。別の実施形態では、サンプル抽出地点の一方または両方が閾値よりも大きいサンプル寄与率を有する場合にのみ、事前統合が行われてもよい。サンプル抽出地点のどちらも閾値よりも大きいサンプル寄与率を有さない場合、事前統合は無効にされてもよい。
さらなる実施形態では、第1のレンダリング計算プロセスはグローバルイルミネーション照明プロセスを備える。グローバルイルミネーションプロセスでは、光線は、一連の照射量値を備える光ボリュームを決定するため、ボリュメトリック画像データセット内へと投射される。次に、光線は、最終画像を決定するため、観察方向から光ボリューム内へと投射される。
グローバルイルミネーションの実施形態では、光ボリューム中の各サンプル抽出地点に対する不透明度値および色値は、光ボリュームの強度値および照射量値に基づいて決定される。図2および図3の方法は、光ボリューム中のサンプル抽出地点に対して複雑な照射量計算が行われるか否かを判断するのに使用される。
別の実施形態では、第1のレンダリング計算は、アンビエントオクルージョン計算を、例えば、Hernell,F,Ljung.P and Ynnerman,A Local Ambient Occlusion in Direct Volume Rendering,Visualization and Computer Graphics,IEEE Transactions on,Vol.16,Issue,4,July−Aug 2010に記載されているような、アンビエントオクルージョン計算を備える。第2のレンダリング計算はアンビエントオクルージョン計算を省略する。
図2および図3の方法は、図5の例に示されるように、光線の長さに沿って複雑な計算をオンオフすることを可能にする。図2および図3を参照して記載した方法は、低減された可視性に対するすべての計算を中止するものではない。単純化された計算(例えば、単純化された照明)は、単一の光線に沿ってオンオフを複数回切り替えることができる。
図2および図3の方法は、各光線に沿って規則的な一定の間隔を有するサンプル抽出地点を使用するが、サンプル抽出地点の一部に対するレンダリング計算における計算上の複雑さも低減する。固定の刻み幅を維持することは、他の計算またはプロセス、例えば事前統合されたテーブルの計算および利用に役立ってもよい。刻み幅が可変であった場合、事前統合されたテーブルは、場合によっては、刻み幅の変化を計上するために別の軸を要するか、または、事前統合されたテーブルの調査を行った後にさらなる補正を要することがある。伝達関数はサンプル間隔に依存することがあるので、伝達関数の実施に基づいたルックアップテーブルであっても、使用の際の可能なサンプル間隔それぞれに対して別個のテーブルを要することがある。
図2および図3の実施形態は、1つの寄与率閾値を使用するものとして記載されているが、他の実施形態では、複数の寄与率閾値が使用されてもよい。例えば、一実施形態では、第1の(下位の)寄与率閾値は0.01に設定され、第2の(上位の)寄与率閾値は0.02に設定される。第1の寄与率閾値を上回るサンプル抽出地点に対しては、第1のレンダリング計算プロセスが行われる。第1の寄与率閾値と第2の計算閾値との間のサンプル抽出地点に対しては、第2のレンダリング計算プロセスが行われる。第2の計算閾値を下回るサンプル抽出地点に対しては、第3のレンダリング計算プロセスが行われる。いくつかの実施形態では、異なる寄与率閾値が、ボリュメトリックデータセットの異なる領域に対して、例えば異なるセグメント化オブジェクトに対して設定されてもよい。いくつかの実施形態では、異なる複雑な計算に関して異なる寄与率閾値が設定されてもよい。例えば、第1の寄与率閾値は、複雑な照明計算が使用されるか否かを判断するのに使用されてもよく、第2の寄与率閾値は、オブジェクト対オブジェクト合成が使用されるか否かを判断するのに使用されてもよい。
いくつかの実施形態では、異なる寄与率閾値が、ボリュメトリック画像データセットの異なる領域に対して使用されてもよい。例えば、いくつかの実施形態では、ボリュメトリック画像データセットは、いくつかの異なるセグメント化オブジェクトへとセグメント化されてもよい。異なる寄与率閾値が、異なるセグメント化オブジェクトに対して適用されてもよい。いくつかの実施形態では、寄与率閾値(例えば、0.02の閾値)が一部のセグメント化オブジェクトに適用されてもよく、一方で、他のセグメント化オブジェクトには寄与率閾値が適用されなくてもよい(または0の寄与率閾値が適用されてもよい)。
例えば、いくつかの実施形態では、腫瘍は、それらの表現を決して単純化すべきではない重要なものとして考慮されることがある。したがって、かかる実施形態では、腫瘍の一部として特定されたサンプル抽出地点には、より複雑な計算プロセスが常に適用されてもよい(重要度閾値0)。通常の組織の一部として特定されたサンプル抽出地点については、適用される計算プロセスは、その地点におけるサンプル寄与率が重要度閾値(例えば、0.02)を上回るか否かに応じて、複雑または単純なものであってもよい。
図2および図3の実施形態は、光線上のすべてのサンプル抽出地点に対して行われるが、他の実施形態では、光線上のサンプル抽出地点のいくつかのみが使用されてもよい。例えば、いくつかの実施形態では、空の空間もしくはより重要度が低い物質として特定されている、あるいは空の空間もしくはより重要度が低い物質であることを示す強度値または不透明度値を有する三次元空間の領域に対しては、計算は行われない。使用されるサンプル抽出地点に対しては、上述したような累積不透明度に応じてレンダリング計算プロセスが選択されてもよい。したがって、実施形態は、サンプル地点のフィルタ処理または閾値化の特徴、ならびに不透明度に応じたレンダリング計算の選択を含むことができる。
いくつかの実施形態では、累積不透明度が閾値を超えた場合、サンプル抽出地点は無視されるかまたは使用されない。使用されるサンプル抽出地点に対しては、上述したような累積不透明度に応じてレンダリング計算プロセスが選択されてもよい。したがって、実施形態は、早期の光線終了の特徴、ならびに不透明度に応じたレンダリング計算の選択を含むことができる。
さらに、いくつかの実施形態では、例えば不透明度値または蓄積不透明度値に応じて、サンプル抽出地点間隔を変動させることができる。使用されるサンプル抽出地点それぞれに対して、上述したような累積不透明度に応じてレンダリング計算プロセスが選択されてもよい。したがって、実施形態は、サンプル地点間隔の変動の特徴、ならびに不透明度に応じたレンダリング計算の選択を含むことができる。
上記の実施形態はレイキャスティングに関係して記載されているが、他の実施形態では、図2および図3の方法が他のレンダリング方法に適用されてもよい。例えば、サンプル寄与率の決定、およびサンプル寄与率に応じたレンダリング計算プロセスの選択は、サンプルのラインが考慮される任意のレンダリングプロセス、例えば光線経路または投影経路が関与する任意のレンダリングプロセスにおいて行われてもよい。
例えば、いくつかの実施形態では、レンダリングプロセスはシアーワープレンダリングである。シアーワープレンダリングでは、ボリュメトリックデータセットは、各スライスを翻訳し再サンプリングすることによってシアー空間(sheared space)内へと転換され、転換されたデータセットは観察面上に投影され、観察面上の画像をワープさせて最終画像が得られる。シアーワープレンダリングでは、転換されたデータセットを通り抜けるラインに沿ってサンプルが考慮され、それらのサンプルそれぞれのサンプル寄与率は、図3を参照して上述したように決定されてもよい。複雑なまたは単純化された計算が、サンプル寄与率に応じてサンプルそれぞれに適用されてもよい。
レンダリング計算プロセスの選択(例えば、各サンプル抽出地点における、複雑さが高いまたは低いレンダリング計算プロセスの選択)が、不透明度パラメータの蓄積値α、およびαのそれぞれのサンプル地点値に基づいて行われる、実施形態について記載してきたが、代替実施形態では、不透明度を表すかもしくは不透明度と関連付けられた他の任意のパラメータの蓄積値および/またはそれぞれのサンプル地点値に基づいて、選択が行われてもよい。例えば、選択は、透過率パラメータおよび/または反射率パラメータおよび/または照射量関連パラメータか、あるいは、光が通るのを妨げるメカニズムが何であるかに係わらず、光(例えば、レイキャスティング技術における仮想光線)がサンプルを通り抜けるのがどの程度妨げられるかを表す他の任意のパラメータの値に基づいてもよい。
第1および第2のレンダリング計算プロセスの間で選択がなされる、実施形態について記載してきた。代替実施形態では、任意の所望の数のレンダリング計算プロセスの間で選択がなされてもよく、例えば、レンダリング計算プロセスの少なくとも1つ(もしくはそれぞれ)は、レンダリング計算プロセスの少なくとも1つの他のもの(もしくは互い)よりも、複雑さが低いか、時間がよりかからないか、必要とする処理能力が低いか、または必要とするメモリが少ないかの少なくとも1つである。
色値と不透明度値の両方を決定するのに同じボリュメトリック画像データが使用される、実施形態について記載してきた。他の実施形態では、2つ以上の位置合わせさが実行されるか、又は、別の形で整列されたボリュメトリック画像データが、色値および不透明度値を決定するのに使用されてもよい。例えば、いくつかの実施形態は、フュージョンボリュームレンダリングプロセスに適用されてもよい。かかる実施形態では、仮想の多チャンネルボリュームに対して組み合わされる、いくつかのソースボリュームが存在してもよい。次に、光線に沿ったレンダラーステップ(renderer steps)として得られるサンプルの色および不透明度を制御するのに、異なるチャネルが使用される。この一例は、(PET/SPECTからの)ボリュメトリック灌流情報がサンプルの色に使用され、CTデータが、サンプルの不透明度および照明を決定するのに使用されるものである。これにより、最終画像の色が、最終画像における機能上および構造上の情報を示すことが可能になり、実施形態は、場合によっては、フュージョンボリュームレンダリングプロセスを加速させるか、またはより効率的にすることができる。
特定のユニットについて本明細書に記載してきた。いくつかの実施形態では、これらのユニットの1つもしくは複数の機能性は、単一の処理資源または他の構成要素によって提供することができ、あるいは、単一のユニットによって提供される機能性を、2つ以上の処理資源または他の構成要素の組み合わせによって提供することができる。単一のユニットに対する言及は、そのユニットの機能性を提供する、互いに離隔しているか否かを問わない複数の構成要素を包含し、複数のユニットに対する言及は、それらのユニットの機能性を提供する単一の構成要素を包含する。
その他の実施形態は、三次元領域を表すボリュメトリック画像データを得るための画像データユニットと、複数のサンプリング経路それぞれについて、サンプリング経路に沿った複数のサンプル抽出地点に基づいて対応するピクセルのそれぞれの色値またはグレースケール値を決定することを備える、サンプリングプロセスを含むレンダリングプロセスを、ボリュメトリック画像データに対して行うように構成されたレンダリングユニットとを備える、医用画像処理装置を提供する。各サンプリング経路に対して、レンダリングユニットによって行われるサンプリングプロセスは、サンプル抽出地点の少なくともいくつかのそれぞれについて、サンプル抽出地点に対してサンプリング経路に沿った少なくとも蓄積不透明度に基づいて、サンプル抽出地点の重要度係数を計算すること、計算した重要度係数に応じて、サンプル抽出地点に対して複数のレンダリング計算プロセスのうち1つを選択すること、および、サンプル抽出地点の少なくとも1つの画像データ値を得るため、選択されたレンダリング計算プロセスを行うことを備える。各サンプリング経路に対して、レンダリングユニットは、経路の複数のサンプル抽出地点に対して決定された画像データ値に基づいて、対応するピクセルの色値またはグレースケール値を決定するように構成される。
その他の実施形態は、三次元領域に対応するボリュームデータを表すボリュメトリック画像データを得ることと、複数のサンプリング経路それぞれについて、サンプリング経路に沿った複数のサンプル抽出地点に基づいて対応するピクセルのそれぞれの色値またはグレースケール値を決定することを備える、サンプリングプロセスを含むレンダリングプロセスを、ボリュメトリック画像データに対して行うこととを備える、レンダリングの方法を提供する。各サンプリング経路に対して、レンダリングユニットによって行われるサンプリングプロセスは、サンプル抽出地点の少なくともいくつかのそれぞれについて、サンプル抽出地点に対してサンプリング経路に沿った少なくとも蓄積不透明度に基づいて、サンプル抽出地点の重要度係数を計算することと、計算した重要度係数に応じて、サンプル抽出地点に対して複数のレンダリング計算プロセスのうち1つを選択することと、サンプル抽出地点の少なくとも1つの画像データを得るため、選択されたレンダリング計算プロセスを行うこととを備える。方法は、各サンプリング経路に対して、経路の複数のサンプル抽出地点に対して決定された画像データ値に基づいて、対応するピクセルの色値またはグレースケール値を決定することを備える。方法は、決定されたピクセルの色値またはグレースケール値を使用して、レンダリング画像を表示することをさらに備える。
特定の実施形態について記載してきたが、これらの実施形態は単なる例として提示したものであり、本発明の範囲を限定することを意図しない。実際に、本明細書に記載した新規な方法およびシステムは、様々な他の形態で具体化されてもよく、さらに、本明細書に記載した方法およびシステムの形態における様々な省略、置換、および変更が、本発明の趣旨から逸脱することなくなされてもよい。添付の請求項およびそれらの等価物は、本発明の範囲内にあるであろう、かかる形態および修正を網羅することを意図する。

Claims (9)

  1. ボリュームデータのうちの所定のサンプルについて不透明度及び累積不透明度を計算し、前記計算された不透明度及び累積不透明度に基づいて重要係数を計算する計算部と、
    前記重要係数と所定の閾値とに基づいて、複数のレンダリング処理のうちの少なくとも一つを選択し、前記所定のサンプルに対応する領域に対して、前記選択された少なくとも一つのレンダリング処理を実行するレンダリング部と、
    を具備する医用画像処理装置。
  2. 前記計算部は、前記ボリュームデータに対しサンプリング経路を設定し、前記サンプリング経路上に存在するボクセルを用いて前記不透明度及び累積不透明度を計算する請求項1記載の医用画像処理装置。
  3. 前記レンダリング部は、前記所定のサンプルのうちの前記重要係数が前記所定の閾値を上回るサンプルに対応する領域については、第1のレンダリング処理を選択し、前記所定のサンプルのうちの前記重要係数が前記所定の閾値を下回るサンプルに対応する領域については、前記第1のレンダリング処理に比して処理が簡略化された第2のレンダリング処理を選択する請求項2記載の医用画像処理装置。
  4. 前記レンダリング部は、前記第2のレンダリング処理として、周辺光レベル、散乱光レベル、反射光レベルの少なくともいずれかの比率に基づいて、固定された光の強度を用いる請求項3記載の医用画像処理装置。
  5. 前記レンダリング部は、前記第2のレンダリング処理として、単一の色値を用いる請求項3記載の医用画像処理装置。
  6. 前記レンダリング部は、前記第2のレンダリング処理として、事前統合処理を無効とする請求項3記載の医用画像処理装置。
  7. 前記レンダリング部は、前記第2のレンダリング処理として、オブジェクト対オブジェクト合成(object-to-object blending)処理を無効とする請求項3記載の医用画像処理装置。
  8. 前記レンダリング部は、レイキャスティングレンダリング及びシアーワープレンダリングの少なくとも一方を実行する請求項1乃至7のうちいずれか一項記載の医用画像処理装置。
  9. 前記計算部は、空気もしくは真空の少なくとも1つに対応するサンプルの位置、及び被検体の解剖学的構造に対応するサンプルの位置の少なくとも一方に基づいて、前記サンプリング経路を設定する請求項記載の医用画像処理装置。
JP2015133023A 2014-07-01 2015-07-01 医用画像処理装置 Active JP6602574B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/321,493 2014-07-01
US14/321,493 US10002457B2 (en) 2014-07-01 2014-07-01 Image rendering apparatus and method

Publications (2)

Publication Number Publication Date
JP2016013438A JP2016013438A (ja) 2016-01-28
JP6602574B2 true JP6602574B2 (ja) 2019-11-06

Family

ID=55017346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015133023A Active JP6602574B2 (ja) 2014-07-01 2015-07-01 医用画像処理装置

Country Status (2)

Country Link
US (1) US10002457B2 (ja)
JP (1) JP6602574B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726608B2 (en) * 2016-11-23 2020-07-28 3D Systems, Inc. System and method for real-time rendering of complex data
WO2018100188A1 (en) 2016-12-02 2018-06-07 Koninklijke Philips N.V. Apparatus for identifying objects from an object class
CN106530382A (zh) * 2016-12-09 2017-03-22 江西中科九峰智慧医疗科技有限公司 医学三维图像的数据处理方法及系统
JP6793074B2 (ja) * 2017-03-22 2020-12-02 株式会社日立製作所 超音波画像処理装置
US10782441B2 (en) * 2017-04-25 2020-09-22 Analogic Corporation Multiple three-dimensional (3-D) inspection renderings
US10719907B2 (en) * 2018-02-27 2020-07-21 Canon Medical Systems Corporation Method of, and apparatus for, data processing
US10762693B2 (en) 2018-04-05 2020-09-01 Canon Medical Systems Corporation Imaging data processing apparatus and method
US10964093B2 (en) 2018-06-07 2021-03-30 Canon Medical Systems Corporation Shading method for volumetric imaging
CN108876783B (zh) * 2018-06-27 2021-02-05 上海联影医疗科技股份有限公司 图像融合方法及系统、医疗设备和图像融合终端
CN110555894B (zh) * 2019-07-19 2023-03-07 广东智媒云图科技股份有限公司 一种智能机器人绘画方法、电子设备、存储介质
JP6765583B1 (ja) 2020-02-14 2020-10-07 三菱電機株式会社 画像処理装置、画像処理プログラム及び画像処理方法
CN111598989B (zh) * 2020-05-20 2024-04-26 上海联影医疗科技股份有限公司 一种图像渲染参数设置方法、装置、电子设备及存储介质
CN111836584B (zh) * 2020-06-17 2024-04-09 深圳迈瑞生物医疗电子股份有限公司 超声造影成像方法、超声成像装置和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7301538B2 (en) 2003-08-18 2007-11-27 Fovia, Inc. Method and system for adaptive direct volume rendering
JP2006000126A (ja) 2004-06-15 2006-01-05 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
JP2006055213A (ja) * 2004-08-17 2006-03-02 Konica Minolta Medical & Graphic Inc 画像処理装置、及びプログラム
US20070299639A1 (en) 2004-08-31 2007-12-27 Koninklijke Philips Electronics N.V. Direct Volume Rendering with Shading
US8049752B2 (en) * 2006-07-25 2011-11-01 Siemens Medical Solutions Usa, Inc. Systems and methods of determining sampling rates for volume rendering
US20080232694A1 (en) * 2007-03-21 2008-09-25 Peter Sulatycke Fast imaging data classification method and apparatus
JP5264097B2 (ja) * 2007-04-11 2013-08-14 株式会社日立メディコ 超音波診断装置
US8682053B2 (en) * 2010-01-08 2014-03-25 Siemens Aktiengesellschaft Method for sampling volume data of an object in an imaging device
JP5551957B2 (ja) * 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム

Also Published As

Publication number Publication date
US20160005218A1 (en) 2016-01-07
US10002457B2 (en) 2018-06-19
JP2016013438A (ja) 2016-01-28

Similar Documents

Publication Publication Date Title
JP6602574B2 (ja) 医用画像処理装置
US10008026B2 (en) Apparatus for, and method of, rendering image data
CN104008568B (zh) 医用图像处理装置以及医用图像处理方法
JP6688618B2 (ja) 医用画像処理装置及び医用画像診断装置
EP3493161B1 (en) Transfer function determination in medical imaging
US9984493B2 (en) Method and system for volume rendering based on 3D image filtering and real-time cinematic rendering
US8111889B2 (en) Method and apparatus for efficient calculation and use of reconstructed pixel variance in tomography images
EP3511908B1 (en) Hybrid interactive rendering of medical images with physically based rendering and direct volume rendering
US20180108169A1 (en) Image rendering apparatus and method
KR20190139968A (ko) 컬러의 3d 이미지를 결합하기 위한 시스템 및 방법
JP6215057B2 (ja) 可視化装置、可視化プログラムおよび可視化方法
US9466129B2 (en) Apparatus and method of processing background image of medical display image
US9224236B2 (en) Interactive changing of the depiction of an object displayed using volume rendering
US20190114751A1 (en) Medical image processing apparatus, medical image processing method and medical image processing system
JP7237623B2 (ja) 医用画像診断装置、医用画像処理装置及び医用画像処理プログラム
Turlington et al. New techniques for efficient sliding thin-slab volume visualization
de Farias Macedo et al. Improving on-patient medical data visualization in a markerless augmented reality environment by volume clipping
EP2828826B1 (en) Extracting bullous emphysema and diffuse emphysema in e.g. ct volume images of the lungs
US20230334732A1 (en) Image rendering method for tomographic image data
JP2018121857A (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
US11259782B2 (en) Medical imaging data processing apparatus and method
Kye et al. Interactive GPU-based maximum intensity projection of large medical data sets using visibility culling based on the initial occluder and the visible block classification
JP2023535340A (ja) ダイレクトボリュームレンダリング装置
JP2021186651A (ja) 医用画像処理装置及び医用画像処理方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160512

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180626

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191009

R150 Certificate of patent or registration of utility model

Ref document number: 6602574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150