JP5020823B2 - レンダリングされた多次元データセットの視覚化 - Google Patents

Description

本発明は、レンダリングされた多次元データセットの視覚化に関する。

一般に多次元データセットは、データ値を多次元幾何学空間、特にボリュームにおける位置に割り当てる個々のデータ要素（しばしばピクセル又はボクセルと呼ばれる）から形成される。典型的にデータ値は、密度、局所的磁化、流速、温度等のような物理量の値に関する。通常多次元幾何学空間は、三次元のボリューム又は二次元の表面若しくは平面である。多次元幾何学空間の次元の１つは、時間でもよく、すなわち多次元データセットは、３Ｄ＋時間又は２Ｄ＋時間のデータセットを含む。

このような多次元データセットを基本的に二次元ディスプレイスクリーンに視覚化するために、一般にレンダリングプロセスが適用される。このようなレンダリングプロセスは、不透明値だけでなく典型的にはカラー値又はグレイ値のディスプレイ値のデータ要素への割り当てに関する。データ要素の不透明値は、個々のデータ要素が、相対的な位置に基づいて他のデータ要素の視覚化に影響する態様を表す。データ要素のディスプレイ値は、データ要素それ自身が視覚化される態様を表す。

多次元データセットを視覚化する方法は、ドイツ特許出願ＤＥ１００５２５４０から知られている。

既知の視覚化は、ボリュームレンダリングが適用されるグレイ値の三次元データセットに関する。ボリュームレンダリングは、透明値（Ａ）並びに赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の混合したものを有するＲＧＢＡ値を、各グレイ値に対して割り当てる伝達関数に関する。既知の伝達関数は、（引用したドイツ特許出願の図３に示されるように）いくつかの台形の形状を有するグラフに従って、透明値を三次元データセットのグレイ値に割り当てる。伝達関数は、三次元データセットのグレイ値のヒストグラムに基づいて調整される。伝達関数は、台形の角及び高さを設定することにより調整され、このようにして透明値は制御される。特定の台形に関する伝達関数の各部分に対して、色及び明るさが、グレイ値に割り当てられる。

本発明の目的は、ディスプレイ値及び不透明値が割り当てられる態様が、よりユーザフレンドリな態様で調整されるような、視覚化の方法を提供することである。

この目的は、本発明の視覚化の方法により達成され、該方法では、
‐個々のデータ要素が、データ値を多次元幾何学空間の位置に割り当て、
‐前記視覚化が、
‐ディスプレイ値及び不透明値が、多次元データセットの個々のデータ要素に割り当てられ、データ値及び不透明値及び／又はディスプレイ値の間の関係を導く伝達関数にしたがうレンダリングプロセス
を有し、
‐それぞれ伝達関数によって関連付けられたデータ値、ディスプレイ値及び／又は不透明値を有する１以上の制御セットが規定され、
‐個々の制御セットに対してディスプレイ値及び／又は不透明値は、他の制御セットのディスプレイ値及び／又は不透明値と独立して調整可能である。

伝達関数は、多次元データセットの個々のデータ値に、不透明値及び／又はディスプレイ値を割り当てる。レンダリングされた多次元データセットがディスプレイされる態様は、不透明値及びディスプレイ値に基づいてなされる。データ値に割り当てられたディスプレイ値は、ディスプレイで問題となるボクセルをディスプレイするために使用されるカラー値又はグレイ値を決定する。ディスプレイ値は、ボリューム内の構造を視覚的に見分け、ボリューム内の構造間の関係を理解する手がかりを与えるか、又は特定のデータ値の存在を示す若しくは強調することを可能にする。しばしばデータ値は、密度、温度等のようなスカラー量のディスプレイ値である。不透明値は、問題となるボクセルがもつ明白な吸収量を決定し、これは、レンダリングに使用される視野のラインと、他のボクセルの相対的な位置とに依存して、他のボクセルをディスプレイするために使用される明るさに影響を与える。伝達関数は、ディスプレイスクリーンに示されたレンダリングされた多次元データセットの外観を決定する。本発明によると、不透明値及び／又はディスプレイ値とデータ値との関連されたセットを特定する制御セットが規定される。実際に制御セットは、伝達関数のグラフ上の点として観察される。制御セットは、伝達関数を変化させるように、個々に調整することができる。伝達関数の変化は、現在調整された制御セットのみが変化され、他の制御セットが既に設定された値のままであるように、個々の制御セットを調整することにより影響される。

制御セットに基づいて、伝達関数は、ディスプレイ値及び／又は不透明値を多次元データセットのデータ値に割り当てるように規定される。調整可能な制御セットの１つの部分ではないデータ値に対して、伝達関数は、補間スキームによっても規定することができる。例えば、簡素な線セグメントが、伝達関数のグラフを作成するために、制御セットを接続するのに使用することができ、この簡素な補間スキームは、非常に良い結果を導く。

個々に且つ独立して調整可能な制御セットは、ユーザが伝達関数を非常に直観的な態様で調整することを可能にする。特に伝達関数は、調整される制御セットの周辺のみで変化され、調整される制御セットから離れたデータ値に対する伝達関数に不注意な他の変更が避けられる。

本発明のこれら及び他の態様は、従属請求項に規定された実施例を参照して、更に詳述されるだろう。

視覚化する方法の好ましい実施では、データ値の重なり合わない領域が既定される。これらの重なり合わない領域は、ユーザにより選択され得る。制御セットは、個々の重なり合わない領域内に位置される。これらの重なり合わない領域は、隣接しても可能であるし、又は厳密に離れていることも可能である。制御セットを調整することは、主に、問題となる制御セットのデータ値の領域に対する伝達関数に影響する。特に、近傍の制御セットに制限された簡素な補間が採用される場合、１つの制御セットの調整が、問題となる制御セットの領域及び隣接する領域における伝達関数にのみ影響する。よって、伝達関数への変化、したがって多次元データセットの視覚化は、容易に制御され、非常に直観的である。

本発明の他の態様によると、データ値の重なり合わない領域の境界線で設定されたディスプレイ値がある。これは、ディスプレイ値の付加的などちらかというと直観的な制御を提供する。例えば、特定の領域のデータ値に対して同じディスプレイ値を設定することは、ディスプレイ値をその領域に渡って一定にし、その領域内の何れの制御セットも、その一定のディスプレイ値を持つ。

より洗練された態様での伝達関数を調整する更なるオプションは、制御セットを加える及び／又は削除することによって利用可能である。このように伝達関数は、視覚化が適用される多次元データセットの内容に適応することができる。

本発明は、更に、多次元データセットを視覚化する機能を有するワークステーションに関する。このため、ワークステーションは、多次元データセットを受信する入力と、視覚化プロセスを実行するプロセッサと、視覚化プロセスの結果が示されるディスプレイスクリーンとを有する。本発明のワークステーションは、請求項５に規定される。本発明のワークステーションは、本発明の視覚化の実行を可能にされ、したがってユーザが、視覚化の伝達関数をより直観的且つより良く制御された態様で調整することを可能にする。本発明は、例えば多目的ワークステーションのプロセッサにインストールすることができるコンピュータプログラムにも関する。本発明のコンピュータプログラムは、請求項６に規定される。本発明のコンピュータプログラムがワークステーションのプロセッサにインストールされると、該ワークステーションは、本発明の視覚化の実行を可能にされ、したがって、ユーザが視覚化の伝達関数をより直観的且つより制御された態様で調整することを可能にする。

本発明のこれら及び他の態様は、以下に記載された実施例を参照し、添付の図面を参照して明らかにされるだろう。

本発明の視覚化の方法は、ユーザが正確なボクセル値で所望する色を規定する。色は、制御セットを表す規定された位置間で補間される。領域を通じて一定の色であるボクセル値のこの領域（セグメント）は、意図された領域の境界で同等の色を設定することにより実現することができる。

不透明度は、色とまったく同じ態様で規定される。色及び不透明度は、互いに完全に独立している。図１は、一定の色の３つのセグメントと、一定の不透明度の２つのセグメントとを含む色及び不透明度のマップの形態の伝達関数（ＴＦ）のグラフの一例を示す。

あるボクセル値又はある領域のボクセル値で設定される色は、隣接した色の値又はその関連したボクセル値が変更される場合、変わらないだろう。同じことが割り当てられた不透明値に対しても言える。それゆえ一度色又は不透明度がボクセル値に割り当てられると、ユーザにより故意に変更されない限り、該色又は不透明度は変わらないだろうということは確かである。

色又は不透明度が規定されるボクセル値の数は、ユーザが自由に選択することができる。色又は不透明度に対する制御セットに対応する規定の点は、簡単に加える又は削除することができる。

色及び不透明度が互いに独立であるということは、これら両方が、他方から影響されることなく変更されることができるという利点を与える。例えば、組織タイプ（ボクセル値領域）は、したがってある色を付与され得、一方レンダリングされた画像における半透明度（不透明度）は、該画像の色を変更することなく依然として様々であり得る。本発明のアプローチは、簡単であり、最大限の柔軟性を提供する。

伝達関数（ＴＦ）は、ＵＩウィンドウに規定され、該ウインドウは、規定された色を表す、着色された背景におけるオーバーレイとしてボクセル値のヒストグラムをディスプレイする。発明者らの実施例では、ヒストグラムは、グレイの半透明なオーバーレイとして示される。一方、カラー値は、背景における正に画像の高さの上に示され、その結果、規定された色は、はっきりと目に見えるものであり、ヒストグラムの存在又は高さに独立している。

ＴＦは、スクラッチから規定することができるか、又は、初期のＴＦ若しくは以前に作られたものとして、ストレージからロードすることができる。

水平なボクセル値の軸に沿って色が規定される位置は、画像の低い部分に沿ってストリップ状の垂直な指示線により示される。規定される不透明度のマップは、ポリラインの形態のグラフィックなオーバーレイとして示され、このポリラインのノードは、規定されたボクセル値／不透明度の組み合わせを表す。水平の位置は、ボクセル値を表し、一方ノードの垂直な位置は、該ボクセル値に対する不透明度を表す。図２を参照されたい。

色が規定されるボクセル値を変更することは、単に対応する垂直な線を他の水平な位置にドラッグすることによってなされる。ボクセル値に割り当てられる色の変更は、対応する線を選択することによってなされ、その後色選択パネルがポップアップされる。ボクセル値及び不透明度の規定された組み合わせを変更することは、ポリラインを表す不透明度の対応するノードを選択し、該ノードを他の水平及び／又は垂直な位置にドラッグすることによりなされる。簡素なマウスボタン及びキーボードの組み合わせを用いて、ボクセル値及び色又は不透明度の新たな組み合わせが加えられるか、又は既存の組み合わせが削除され得る。

現在提案された方法のプロトタイプの実施に含まれる、ユーザフレンドリ性及び使用しやすさを向上する付加的な機能は、ヒストグラムに関連した色又は不透明度のマップの（水平方向のズームインの）変換及び伸張並びに、詳細のより良い可視性のために、完全なＴＦ及びヒストグラムの組み合わせの変換／伸張を含む。図３を参照されたい。

ＭＲから直接的に冠状動脈を視覚化することは、提案された方法が適用され得る一例である。しかしながら、この方法は、ダイレクトボリュームレンダリング（ＤＶＲ）が視覚化に使用されるいかなる状況にも適用することができるということに、留意されるべきである。

図４ａは、完全な心臓部及び周辺の構造をカバーして得られた３ＤＭＲデータセットの一横断面を示す。適切なＴＦが図２に示され、このＴＦからの結果のレンダリングは、図４ｂに示される。好ましくは、リンクは、レンダリングされた画像における対応する位置と、３ＤＭＲデータセットの関連する断面との間に確立される。ユーザが、レンダリングされた画像における位置を示す場合、前記リンクに基づいて、関連する断面における対応する位置（又はその逆）が示される。したがって、ユーザが、レンダリングされた画像における狭窄のような損傷の疑いがある領域を見分け得、関連の断面における損傷の存在の確認を探し得る（又はその逆もし得る）。

図５は、本発明が採用されるワークステーションの図式的な表示を示す。ワークステーション１は、多次元データセット３にアクセスするレンダリングシステム２を有する。ワークステーション１は、いくつかのビューポートＶ１、Ｖ２をもつディスプレイスクリーンを有するユーザインタフェースを備える。一方のビューポートにおいて、規定点の形態で制御セットを持つ伝達関数が示される。ユーザは、規定点を操作することにより伝達関数を適用し得る。またデータ値の領域の境界における色の設定は、ビューポートＶ１により助けられるユーザ規定になり得る。レンダリングプロセスに対する対応するセッティングは、レンダリングシステム２に適用される。レンダリングシステムは、ダイレクトボリュームレンダリングのようなレンダリングプロセスを実行し、レンダリングされた多次元データセットをディスプレイされるべきユーザインタフェース、例えばビューポートの１つに送る。特に、異なるビューポートは、伝達関数をディスプレイするため、及び、レンダリングされた多次元データセットをディスプレイするために採用される。

図１は、伝達関数を表す色及び不透明度の簡単且つ柔軟な定義に対する提案されたアプローチを示す。 図２は、伝達関数の規定及び操作に対するインタラクションウィンドウを示す。 図３は、色及び不透明度の正確な規定のためのズームインを示す。 図４ａは、一例のオリジナルのボクセルデータ（横断面）を示す。 図４ｂは、結果のレンダリングされた画像を示す。 図５は、本発明が採用されるワークステーションの図式的な表示を示す。

Claims (20)

1. データ要素の多次元データセットを視覚化するため伝達関数を調整する方法において、
   レンダリングシステムを介して、ユーザインタフェースにデータ要素値の関数として伝達関数のグラフを表示するステップを有し、
   前記グラフが、ディスプレイ値と多次元データセットの個別のデータ要素との調整可能な関係を示す第１のグラフ、及び透明値と多次元データセットの個別のデータ要素との調整可能な関係を示す第２のグラフを同時に表し、
   前記同時に表される第１及び前記第２のグラフにより、前記個別のデータ要素に対して前記ディスプレイ値と前記透明値とが同時に定まり、
   前記ディスプレイ値と多次元データセットの個別のデータ要素との調整可能な関係、及び前記透明値と多次元データセットの個別のデータ要素との調整可能な関係が、前記伝達関数と共に表示されるユーザ対話可能なグラフィカルオブジェクトを介して、それぞれ独立して調整可能である、方法。
2. 前記データ要素のサブセットに対するディスプレイ値制御セットを規定するステップと、
   前記ディスプレイ値とデータ要素との関係に対応するグラフィカルオブジェクトのドラッグに基づき、前記データ要素に対する前記ディスプレイ値を調整するステップとを更に有し、
   前記調整するステップが、前記ディスプレイ値制御セットにおける他のデータ要素のディスプレイ値を同時に調整する、請求項１に記載の方法。
3. 前記データ要素の異なるサブセットに対する第２のディスプレイ値制御セットを規定するステップを更に有する、請求項２に記載の方法。
4. 前記調整するステップが、前記第２のディスプレイ値制御セットに影響を与えない、請求項３に記載の方法。
5. 前記調整するステップが、前記データ要素の透明値に影響を与えない、請求項４に記載の方法。
6. 前記ディスプレイ値制御セット又は前記第２のディスプレイ値制御セットのいずれかを除去するステップを更に有する、請求項５に記載の方法。
7. 前記データ要素のサブセットに対する透明値制御セットを規定するステップと、
   前記透明値とデータ要素との関係に対応するグラフィカルオブジェクトのドラッグに基づき、前記データ要素に対する前記透明値を調整するステップとを更に有し、
   前記調整するステップが、前記透明値制御セットにおける他のデータ要素のディスプレイ値を同時に調整する、請求項１に記載の方法。
8. 前記データ要素の異なるサブセットに対する第２の透明値制御セットを規定するステップを更に有する、請求項７に記載の方法。
9. 前記調整するステップが、前記第２の透明値制御セットに影響を与えない、請求項８に記載の方法。
10. 前記調整するステップが、前記データ要素のディスプレイ値に影響を与えない、請求項９に記載の方法。
11. 前記透明値制御セット又は前記第２の透明値制御セットのいずれかを除去するステップを更に有する、請求項１０に記載の方法。
12. 前記伝達関数の上に前記データ要素に関する半透明のヒストグラムを同時に重畳させるステップを更に有する、請求項１に記載の方法。
13. 前記伝達関数の背景として、前記ディスプレイ値に対応する色を同時に表すステップを更に有する、請求項１２に記載の方法。
14. ワークステーションであって、
    ビューポートと、
    データ要素値の関数として伝達関数のグラフを前記ビューポートに表示するレンダリングシステムとを有し、
    前記グラフが、ディスプレイ値と多次元データセットの個別のデータ要素との調整可能な関係を示す第１のグラフ、及び透明値と多次元データセットの個別のデータ要素との調整可能な関係を示す第２のグラフを同時に表し、
    前記同時に表される第１及び前記第２のグラフにより、前記個別のデータ要素に対して前記ディスプレイ値と前記透明値とが同時に定まり、
    前記ディスプレイ値と多次元データセットの個別のデータ要素との調整可能な関係、及び前記透明値と多次元データセットの個別のデータ要素との調整可能な関係が、前記伝達関数と共に表示されるユーザ対話可能なグラフィカルオブジェクトを介して、それぞれ独立して調整可能である、ワークステーション。
15. 前記データ要素のディスプレイ値が、前記ディスプレイ値に対応するユーザ対話可能なオブジェクトを動かすことにより調整され、
    前記データ要素のディスプレイ値の調整が、データ要素の同じディスプレイ値制御セットにおける他のデータ要素のディスプレイ値を同時に調整し、
    前記ディスプレイ値制御セットが、前記多次元データセットの前記データ要素のサブセットを含む、請求項１４に記載のワークステーション。
16. 前記データ要素の透明値が、前記透明値に対応するユーザ対話可能なオブジェクトを動かすことにより調整され、
    前記データ要素の透明値の調整が、データ要素の同じ透明値制御セットにおける他のデータ要素の透明値を同時に調整し、
    前記透明値制御セットが、前記多次元データセットの前記データ要素のサブセットを含む、請求項１５に記載のワークステーション。
17. 前記ディスプレイ値制御セットにおける少なくとも１つのデータ要素が、前記透明値制御セットにはない、請求項１６に記載のワークステーション。
18. 前記ディスプレイ値制御セットにおける少なくとも１つのデータ要素が、前記透明値制御セットにもある、請求項１６に記載のワークステーション。
19. 前記レンダリングシステムが、前記伝達関数を前記データセットに適用することにより前記データセットを処理し、前記処理されるデータセットを与える、請求項１８に記載のワークステーション。
20. データ要素の多次元データセットを視覚化するため伝達関数を調整するプログラムであって、コンピュータに、
    レンダリングシステムを介して、ユーザインタフェースにデータ要素値の関数として伝達関数のグラフを表示するステップを実行させ、
    前記グラフが、ディスプレイ値と多次元データセットの個別のデータ要素との調整可能な関係を示す第１のグラフ、及び透明値と多次元データセットの個別のデータ要素との調整可能な関係を示す第２のグラフを同時に表し、
    前記同時に表される第１及び前記第２のグラフにより、前記個別のデータ要素に対して前記ディスプレイ値と前記透明値とが同時に定まり、
    前記ディスプレイ値と多次元データセットの個別のデータ要素との調整可能な関係、及び前記透明値と多次元データセットの個別のデータ要素との調整可能な関係が、前記伝達関数と共に表示されるユーザ対話可能なグラフィカルオブジェクトを介して、それぞれ独立して調整可能である、プログラム。