JP4774187B2 - 3次元コンテキスト(context)内の詳細を観察するための遮蔽減少変換 - Google Patents

3次元コンテキスト(context)内の詳細を観察するための遮蔽減少変換 Download PDF

Info

Publication number
JP4774187B2
JP4774187B2 JP2002525572A JP2002525572A JP4774187B2 JP 4774187 B2 JP4774187 B2 JP 4774187B2 JP 2002525572 A JP2002525572 A JP 2002525572A JP 2002525572 A JP2002525572 A JP 2002525572A JP 4774187 B2 JP4774187 B2 JP 4774187B2
Authority
JP
Japan
Prior art keywords
function
ort
interest
plane
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002525572A
Other languages
English (en)
Other versions
JP2004507854A (ja
Inventor
カウパースウェイト、デイヴィッド
Original Assignee
ノレジン アセッツ エヌ.ヴィー.,エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノレジン アセッツ エヌ.ヴィー.,エルエルシー filed Critical ノレジン アセッツ エヌ.ヴィー.,エルエルシー
Publication of JP2004507854A publication Critical patent/JP2004507854A/ja
Application granted granted Critical
Publication of JP4774187B2 publication Critical patent/JP4774187B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/40Hidden part removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Description

【0001】
【発明の技術分野】
本発明はコンピュータグラフィック処理分野に関する。特に、コンテキストを保持しながら3次元情報の表示内で詳細を観察するための方法とシステムであって、詳細の遮蔽を回避する方法とシステムに関する。
【0002】
【発明の背景】
情報の3次元(「3D」)表示は、2次元(「2D」)表示では見られない独特の課題がある。たとえば、3D表示において、ある要素は表示内に別の要素が存在するために遮蔽させられることがある。3D表示での遮蔽回避に対処するための従来の取り組みとしては、切断平面、観察者ナビゲーション、情報フィルタリング、透明性などの技術が知られている。これらの方法では、注目要素に対しより鮮明に視覚アクセスすることができるが、表示からコンテキスト上の情報の大部分が排除されている。
【0003】
2D表示において、すべての情報は観察点に垂直な平面に限定される。第3の空間可変(またはz成分)を追加することにより、オブジェクトを観察点とシーン(scene)にあるその他のオブジェクトとの間に介在または位置づけすることができるが、これによってオブジェクトの一部またはすべてが視界から隠れてしまう。空間上の関係を保ち、しかもその関係を遮蔽の原因となるオブジェクトに対して提示することは、物理的にそつのないシーンを構築する、つまりシーンの詳細がそのシーンが存在するコンテキストにおいて保持されるために重要である。例えば、3Dデータのボリュームを再現する際に、そのデータのほぼ継続的な性質によってデータ内部の特徴の遮蔽を回避できなくなることがしばしば生じる。この現象は、シーンを3D表示と認知することを維持させる場合には重要であるが、ユーザとしてはこの隠れた内部領域を確認したいと願うこともあるだろう。
【0004】
過去に遮蔽された要素を視覚アクセスする(つまり要素に対して鮮明な視線を与える)ための解決方法が知られている。その解決方法のいくつかは、「Occlusion Resolution Operators for Three−Dimensional Detail−In−Context」(Cowperthwaite, David J., Occlusion Resolution Operators for Three−Dimensional Detail−In−Context (Burnaby, British Columbia: Simon Fraser University, 2000))でCowperthwaiteによって述べられている。なお、この文献を引例として本明細書に取り入れる。
切断平面を用いてシーンから情報を排除するようにしてもよい。オブジェクトの透明性が向上する(または不透明性が減少する)ことによって、より遠方のオブジェクトを観察者により近接したオブジェクトに透過させることができる。観察者中心(観察者のデータ空間内での移動)であろうと外心的(データ空間の移動または再方向付け)であろうと、観察者をナビゲーションすることで、遮蔽が排除された構成となる。これらはすべて、遮蔽解消のための一般的な方法であり、最終的な表示においてコンテキスト情報の量(または可視性)を低下させることによって機能するものである。パニング、ズーミング、フィルタリングなどの同様な方法も、2次元での情報が多量または混み合って表示されるという問題に対処するのに従来適用されてきた。よって、提示から情報を排除することは、大規模な情報空間に対処するための1つの解決方法であった。
【0005】
別の解決方法は、「コンテキスト内の詳細」表示アルゴリズムの開発であった。コンテキスト内の詳細観察分野は、焦点領域または注目領域(「ROI」)として定義されるエリアまたはアイテムが詳細のレベルを上げて、しかも元の表示からコンテキスト情報を排除することなく示される情報表示の分類の生成に関わる。たとえば、もっとも注目する領域を拡大サイズで表示してより視覚的に詳細にし、一方周囲のコンテキストのサイズを調整してROIを拡大させるためのスペースを与えるようにしてもよい。
【0006】
コンテキスト内の詳細の論文では、「表示(representation)」と「提示(presentation)」という用語は区別されることが多い。「表示」は、コンピュータまたはデータ処理システムに保存された生情報または生データを特定するための正式なシステムまたはマッピングである。例えばある街のデジタルマップは、道路名や、公益設備と道路の相対的な地理的位置を含む生データの表示である。このような表示は、コンピュータのスクリーン上に視覚的に表示されるか紙面にプリントされる。
他方、提示は、手近のタスクに好適なある表示の空間上の構築である。また、コンピュータグラフィック処理における「可視化(visualization)」という用語は、コンピュータグラフィック技術をユーザに情報を提示する際の問題に適用するための方法を明らかにするのにしばしば用いられている。つまり、「表示」は可視化プロセスによって「提示」に変化する。このように、ある表示を提示することは、観察点やその表示の異なる部分または領域を相対的に強調させることなどを組織化するものである。たとえば、街のデジタルマップに道路名が明らかになるように拡大された作業経路を設けてもよい。
このように、コンテキスト内の詳細を表示することにより、周辺表示の可視性を維持しつつ、表示内の特定のROIを拡大することができる。言い換えれば、コンテキスト内の詳細表示において、焦点領域では、元の表示からコンテキスト情報を排除することなく、詳細レベルが上がっている。一般的に、コンテキスト内の詳細表示は、元の表示の一部をゆがめた観察(またはひずみ)とみなされており、そのひずみはひずみ関数などの「レンズ」を元の表示に適用したことによる結果である。参考までに、様々なコンテキスト内の詳細表示技術の詳細な検討については、Carpendaleの「A Framework for Elastic Presentation Space」(Carpendale, Marianne S.T., A Framework for Elastic Presentation Space (Burnaby, British Columbia: Simon Fraser University, 1999)を参照されたい。なお、この文献を引例として本明細書に取り入れる。
【0007】
Carpendaleが説明したような2Dコンテキスト内の詳細表示を生成する方法は、Elastic Presentation Space (“EPS”)という用語に含まれている。EPSは、表示の情報内容に干渉することなく、視覚的提示を調整することができる技術を含んでいる。「elastic(弾性的)」という形容詞は、伸縮、変形ならびに最終的にもとの形状に戻ることなどの能力を意味しているため、EPSという用語に含まれている。基本的には、EPSグラフィック技術において、2次元視覚的表示は表面に配置される。この表面は3次元空間に配置される。表示を内包する表面は透視投影によって観察される。表面を操作して画像の詳細を再構築する。表示変換は2つのステップ、表面操作またはひずみステップと、透視投影ステップに分けられる。古典的なコンテキスト内の詳細観察アルゴリズムを、z成分を追加することによって3D用に拡張しても、状況に適切に対処できない。
【0008】
繰り返しになるが、ROIが遮蔽される可能性があるコンテキスト内の詳細観察と情報の3D表示によって特異の状況が生じているのである。上記のとおり、多くの方法がコンテキスト内の詳細観察とは無関係に、3D情報表示での遮蔽状況に対処するために開発されてきた。これらの方法ではいずれも、あるやり方でディスプレイから情報を排除しており、これはココンテキスト内の詳細観察の目標とは相反するものである。
【0009】
コンピュータグラフィックシステムにおける遮蔽回避のための技術をもたらすシステムがいくつか知られている。米国特許番号5,999,879(Yano)では、建造物、山、および同様な陸標のための形状データを含む道路マップを立体表示するためのナビゲーション装置が開示されている。開示の装置では、陸標オブジェクトが立体観察において道路の一部分と重なっていると、道路の遮蔽部分が観察されるように重なった陸標を変化させる。開示の装置ではコンテキスト内の詳細表示ができない。米国特許番号5,689,628(Robertson)では、n次元作業空間でナビゲーションしつつ選択した表示オブジェクトの観察を維持するための方法とシステムが開示されている。このような構造であるので、開示の方法とシステムではせいぜい、観察者ナビゲーションに類似した遮蔽回避のための解決方法が例示されているだけである。このように、これらのシステムは3D情報表示とコンテキスト内の詳細観察のために最適化されたやり方で遮蔽を回避するための方法やシステムはまったく開示していない。
【0010】
したがって、3次元データの表示における効果的な遮蔽回避とコンテキスト内の詳細観察を可能にするような方法とシステムの出現が望まれている。
【0011】
【発明の概要】
本発明は、3次元データの表示における効果的な遮蔽回避とコンテキスト内の詳細観察を可能にする方法、システム、コンピュータプログラムプロダクト、並びに集積回路プロダクトを提供する。本発明では、遮蔽を引き起こすオブジェクトを変位させることで3D情報表示内における注目すべきオブジェクトの可視性を向上させるために「遮蔽減少変換」を用いる。本発明により、遮蔽回避が可能となり、したがって、3Dコンテキスト内の詳細表示を効果的に生成することが可能となる。遮蔽を引き起こすオブジェクトは通常、ユーザの観察点から情報表示内の注目すべきオブジェクトにまで広がる視線から離れる方向に変位される。
【0012】
発明のある局面では、3次元情報表示のコンテキスト内の詳細提示を形成するためのコンピュータが実施する方法が挙げられる。この方法は、情報表示内の注目すべきオブジェクトを選択するステップと、観察点を選択するステップと、観察点から注目すべきオブジェクトまでのソース経路を選択するステップと、情報表示内のオブジェクトを、ソース経路から離して、観察点から見るとすべての変位したオブジェクトが実質的に見える状態にあり、観察点から見ると注目すべきオブジェクトを遮蔽しないような情報表示内の位置に変位させ、これによってコンテキスト表示内に詳細を生成するステップを含む。ソースから離間させるオブジェクトの変位について、方法は、オブジェクトの各々について、オブジェクトとソース経路上の最近点との間の方向ベクトルを算出するステップと、方向ベクトルの大きさを算出するステップと、方向ベクトルと同一方向であって、方向ベクトルの大きさに基づき、変換関数によって与えられる変位ベクトルを算出するステップと、変位ベクトルの方向内にあるオブジェクトを変位ベクトルの大きさによって与えられる方向だけ変位させるステップを追加的に含む。
【0013】
発明の別の側面では、変換関数は、ソースにもっとも近接して位置するオブジェクトがもっとも遠方に変位され、ソース経路から元々離れて位置するオブジェクトを、遮蔽回避目的で変位する必要がないように、十分遠方に位置するオブジェクトを最終的になめらかに変換するよう継続的に増分が少なくなるよう変位するような変換関数である方法が挙げられる。
【0014】
発明の別の側面では、変換関数はコンテキスト内の詳細ゆがみに基づく関数である方法が挙げられる。
【0015】
発明の別の側面では、ソースは直線である方法が挙げられる。
【0016】
発明の別の側面では、ソースは平面である方法が挙げられる。
【0017】
発明の別の側面では、平面は観察点から注目すべきオブジェクトを含む平面に平行である方法が挙げられる。
【0018】
発明の別の側面では、平面は、観察点から注目すべきオブジェクトまでのベクトルを含む平面に垂直である方法が挙げられる。
【0019】
発明の別の側面では、平面は、観察点から注目すべきオブジェクトまでのベクトルを含む平面に対して回転している方法が挙げられる。
【0020】
発明の別の側面では、観察点から注目ベクトルまでのベクトルに垂直な平面を横切る変換関数の分布は、成形関数によって変更される方法が挙げられる。
【0021】
発明の別の側面では、成形関数は変換関数の動作を一部含むように作動可能である方法が挙げられる。
【0022】
発明の別の側面では、成形関数は一定である方法が挙げられる。
【0023】
発明の別の側面では、成形関数はガウス関数である方法が挙げられる。
【0024】
発明の別の側面では、成形関数は線形関数である方法が挙げられる。
【0025】
発明の別の側面では、成形関数はユーザ定義の曲線である方法が挙げられる。
【0026】
発明の別の側面では、注目すべきオブジェクトはコンテキスト内の詳細ゆがみに基づく関数の焦点である方法が挙げられる。
【0027】
発明の別の側面では、コンテキスト内の詳細ゆがみに基づく関数は線形関数である方法が挙げられる。
【0028】
発明の別の側面では、コンテキスト内の詳細ゆがみに基づく関数はガウス関数である方法が挙げられる。
【0029】
発明の別の側面では、コンテキスト内の詳細ゆがみに基づく関数は半球形である方法が挙げられる。
【0030】
発明の別の側面では、コンテキスト内の詳細ゆがみに基づく関数は反転した半球形である方法が挙げられる。
【0031】
発明の別の側面では、コンテキスト内の詳細ゆがみに基づく関数は直角三角形である方法が挙げられる。
【0032】
発明の別の側面では、コンテキスト内の詳細ゆがみに基づく関数はユーザ定義の関数である方法が挙げられる。
【0033】
発明の別の側面では、観察点から注目すべきオブジェクトまでのベクトルに平行なソース経路に沿った変換関数の分布は、分布関数によって定義される方法が挙げられる。
【0034】
発明の別の側面では、分布関数はz軸分布関数である方法が挙げられる。
【0035】
発明の別の側面では、分布関数は一定である方法が挙げられる。
【0036】
発明の別の側面では、分布関数は線形関数である方法が挙げられる。
【0037】
発明の別の側面では、分布関数は3次元データ表示全体にわたって続き、これによって注目すべきオブジェクトを孤立させる方法が挙げられる。
【0038】
発明の別の側面では、分布関数は短線形関数である方法が挙げられる。
【0039】
発明の別の側面では、短線形分布関数の一端は注目すべきオブジェクトで終了する方法が挙げられる。
【0040】
発明の別の側面では、分布関数は打ち切られた関数である方法が挙げられる。
【0041】
発明の別の側面では、分布関数は注目すべきオブジェクトで打ち切られている方法が挙げられる。
【0042】
発明の別の側面では、打ち切られた分布関数は注目すべきオブジェクトの周りにキャップを含む方法が挙げられる。
【0043】
発明の別の側面では、キャップは半球形である方法が挙げられる。
【0044】
発明の別の側面では、分布関数はユーザ定義の曲線である方法が挙げられる。
【0045】
発明の別の側面では、変換関数で与えられる変位ベクトルの大きさは距離メトリクスで定義される方法が挙げられる。
【0046】
発明の別の側面では、距離メトリクスはユークリッドメトリクスである方法が挙げられる。
【0047】
発明の別の側面では、距離メトリクスは、以下の式で与えられるLpである方法が挙げられる。
【数1】
Figure 0004774187
【0048】
発明の別の側面では、距離メトリクスはスーパー二次距離メトリクスである方法が挙げられる。
【0049】
発明の別の側面では、距離メトリクスはユーザ定義のメトリクスである方法が挙げられる。
【0050】
発明の別の側面では、注目すべきオブジェクトは複数の注目すべきオブジェクトである方法が挙げられる。
【0051】
発明の別の側面では、データ処理システムが挙げられる。このデータ処理システムは実行されると上記方法を行わせる指示列を表すデータを保存している。データ処理システムは通常、入力装置と、中央処理装置と、メモリと、ディスプレイとを有する。
【0052】
発明の別の側面では、コンピュータソフトウエアプロダクトが挙げられる。このコンピュータソフトウエアプロダクトは実行されると上記の方法を行わせる指示列を含む。
【0053】
発明の別の側面では、集積回路プロダクトが挙げられる。本集積回路プロダクトは実行されると上記の方法を行わせる指示列を含む。
【0054】
発明の別の側面では、倉庫の内容を示すディスプレイ内に保存されたオブジェクトを明確に観察するための上記方法の利用が挙げられる。発明の別の側面では、保存したオブジェクトは在庫品である上記利用が挙げられる。発明の別の側面では、ディスプレイは電子ディスプレイである上記利用が挙げられる。発明の別の側面では、ディスプレイはプリントアウトである上記利用が挙げられる。発明の別の側面では、倉庫は出荷用船舶である上記利用が挙げられる。
【0055】
発明の別の側面では、大勢の人々を表示するディスプレイ内で一人一人を明確に観察するために上記方法の利用が挙げられる。発明の別の側面では、ディスプレイは電子ディスプレイである上記利用が挙げられる。発明の別の側面では、ディスプレイはプリントアウトである上記利用が挙げられる。
【0056】
発明の別の側面では、3次元図面内の一成分を明確に観察するために上記方法の利用が挙げられる。発明の別の側面では、図は機械設計図面である上記利用が挙げられる。発明の別の側面では、図面は技術図面である上記利用が挙げられる。発明の別の側面では、図面は自動車エンジンの図面である上記利用が挙げられる。
【0057】
発明の別の側面では、3次元ネットワークトポロジ内のノードを明確に観察するための上記利用が挙げられる。発明の別の側面では、ネットワークトポロジはコンピュータネットワークである上記利用が挙げられる。
【0058】
発明は以下の説明と次のような図面を参照することによって最もよく理解される。
【0059】
【好適な実施形態の詳細な説明】
以下の説明では、発明を十分に理解してもらうために多くの具体的な詳細を述べる。しかし、これらの具体的な詳細を用いることなく発明を実施してもよい。別の例では、発明が不明確にならないように公知のソフトウエア、回路、構造、および技術については詳細に説明しておらず示してもいない。データ処理システムという用語は、ここで述べているコンピュータシステムやネットワーク構造を含めたデータを処理するためのマシンを指すために用いる。図面において、同一の番号は同一の構造または処理を指す。
【0060】
本発明は、2Dコンテキスト内の詳細観察方法から派生したレイアウト調整方法によって3Dシーンにおけるオブジェクトの遮蔽を解消する。3Dでのレイアウト調整へ従来の2Dによる解決方法を拡張することにより、本発明は3D表示における遮蔽の特定の課題に取り組んでいる。そうすることで、本発明は、元の構造を最小限に調節して、しかも切断平面、透明性、あるいは情報フィルタリングを用いることなく3D情報表示におけるオブジェクトすなわちROIを遮蔽させることなく観察するための単純だが強力な方法を提供する。
言い換えれば、本発明は3D情報表示のためのコンテキスト内の詳細観察を提供する遮蔽解消方法を含んでいる。遮蔽が生じるとそれに対処しつつ、すなわち観察点をROIに結びつける視線に沿ってデータの表示を維持する。本発明は、遮蔽減少変換(「ORT」)と呼ばれる動作を利用する。これらのORTは観察者と一直線にそろって、コンテキスト内の詳細観察の影響を3D情報空間に対処するのに必要な遮蔽現象能力と一体化させるよう機能する。ORTを以下に説明するように、3D視覚化の範囲に適用することもできる。
【0061】
これらの2D技術のいくつかを3Dへの応用は、注目すべきオブジェクトを遮蔽させる要素の存在を明らかにするように発展させることができる。このことは、まず2Dのコンテキスト内の詳細観察を生成するための方法を検証し、最終的なレイアウトにおける局地的な情報密度の減少に貢献する変換方法の特定の要素を明らかにすることによって達成できる。
【0062】
本発明の3D表示における遮蔽減少とコンテキスト内の詳細観察のための方法は、Carpendaleに記載されているようなEPS概念を利用している。本EPS概念は次のように記載されている。EPSにおいては、2D視覚表示のコンテキスト内の詳細観察は、3D透視観察台内の2D情報表示面を視線と一直線にそろったひずみによって生成される。観察台を含むピラミッド形の頂点に位置する観察点まで表面領域を移動させることにより、注目領域が拡大され、それに伴い、この変化に寸法を合わせるようにコンテキスト領域が圧縮される。
透視投影によってこれらの変換したレイアウトを投影する方法を行うと、ズーム、圧縮された領域を含めた新たな2Dレイアウトが得られる。第3の寸法および透視ひずみをEPSでの拡大に用いれば、情報表示面をゆがませる方法の意義ある類似となる。このようなシステムにおける情報表示面の3D操作は、新たな情報の2Dレイアウトを生成する方法における中間ステップである。
【0063】
この方法を図14に示す。図14には、EPSシステムに記載の表示1400の断面図が示されている。EPSシステムは観察者と一直線に並んだ透視投影を用いて、ディスプレイ上で観察できる参照観察平面1401内でのコンテキスト内の詳細表示を生成する。ひずみのない2Dデータ点は、極値の光線1421と1422ならびに基底面1410によって定義される3D透視観察ボリュームもしくは台1420の基底面1410内に位置する。
観察点(「VP」)1440は、基底面1410の中点と参照観察面1401の上方に位置する。基底面1410内の点は、上方に変位され一般的な3Dひずみ関数(すなわちコンテキスト内の詳細ひずみに基づく関数)によって定義されるひずみ表面1430上に位置する。ひずみ表面1430に対応する観察者と一直線に並んだ透視投影の方向は基底面1410内の点FP01432からひずみ表面1430の焦点、焦点領域、または焦点に対応する点FP1433まで引いた線FP0−FP1431で示されている。
【0064】
EPSでの遮蔽の概念は次のように説明できる。3D情報表示内の注目すべきオブジェクトが遮蔽されるには、遮蔽を引き起こすオブジェクトの投影が観察点(「VP」)から見て注目すべきオブジェクトの投影に一部重なるように遮蔽を引き起こすオブジェクトを配置しなければならない。さらに、この遮蔽を引き起こすオブジェクトをVPと注目すべきオブジェクト(「OOI」)との間に配置しなければならない。あるOOIの「視線」が注目領域の中心をVPに接続する線分で定義されるのであれば。その「視線」はOOIを遮蔽させるようなほかのオブジェクトが存在するこの視線の近傍にある。
新しいOOIが定義されるかVPが情報レイアウトの新たな表示を与えるように移動すると、レイアウト内のこの視線の位置が変化して、遮蔽のソースと思われるものを表すオブジェクトの集合も同様に変化する。遮蔽を引き起こすと思われるオブジェクトを表すオブジェクトが見つけられるのはこの領域、あるいは視線近傍のみであるということは重要である。この近傍にOOI以外のオブジェクトがなければ、遮蔽は生じない。本発明は、視線を取り巻く領域に他の遮蔽を引き起こすオブジェクトのない状態を維持する方法を提供する。
【0065】
発明の背景の項ですでに述べたとおり、適切に位置づけされ方向付けられた切断平面であれば、OOIとVPとの間の表示内ですべてのデータを排除することができる。このことは、視線領域を支障のない状態に保つのには望ましい効果である。しかし、3D表示のコンテキスト内の詳細観察を支援するものにはならない。全体として構造を理解することがより困難になるという犠牲を払えば、透明性を利用してOOIが見えるように遮蔽の影響を減らすことができるだろう。
また透明性を、遮蔽を引き起こすと思われるオブジェクトをシーンから実質的に排除するという程度まで高めることができる。これによってフィルタリングと同様な効果が達成される。VPから新たな位置までのナビゲーションは、OOIまでの新たな視線を定義し、遮蔽を引き起こすと思われるオブジェクトの集合を変化させる。新たなVPとOOIとの間で遮蔽を引き起こすと思われるオブジェクトが少なくなっているまたはまったくない場合は、新たな外部VPを見つけることも可能であろう。
より密度の高い情報表示(すなわちボリュームのあるデータ)、あるいは要素の分散がより高い密度とより低い密度の領域をもたらす(分散プロットまたはグラフなど)場合の表示においては、このような新たなVPを見つけることは不可能であろう。この場合の別の解決の糸口としては、3D構造内に飛び込み、遮蔽を引き起こすと思われるオブジェクトを通過するようにVPを移動させる方法がある。
本方法は、視線を短くして、遮蔽を引き起こすと思われるオブジェクトの集合を再び減少させるという効果がある。本方法の二次作用は、表示内のデータのうちの少なくともいくつかのデータが観察ボリュームの外側になり、したがって表示から外れてしまうということである。他方、本発明の方法は焦点が視線の近傍にあり、表示がOOIの遮蔽を引き起こす可能性が非常に高いものを表すオブジェクトに主に作用する限り、表示の元の構造をできるだけそのまま残している。
【0066】
Carpendale,Cowperthwaite, Storey, andFracchiaが「Exploring Distinct Aspecs of Distortion Viewing Paradigm」 (Carpendle, M.S.T., David J. Cowperthwaite, Margaret−Anne D. Storey, and F. David Fracchia, Exploring Distinct Aspecs of the Distortion Viewing Paradigm, Technical Report TR97−08, School of Computing, Science, Simon Fraser University, Burnaby, BC, Canada, September 1997)で述べているように、変換関数を2D情報表示内の焦点またはROIの周りの密度を再分布するのに適用することができる。なお、この文献を引例として本明細書に取り入れる。
この場合、2Dから2Dへの変換関数を考える。この関数をt(x)と呼ぶ。t(x)はt(x)=(x*f(x)/(d−f(x))で表される。ただしf(x)はROIが焦点に位置する状態でのゆがみ関数の断面図であり、dは表面に現れる表示の元の平面からVPまでの距離である。この関数のソースが2D表示内の1点から3D表示内の1点に拡張されると、変換関数の動作もまた、(x,y)での要素の移動から(x,y,z)での移動に拡張できる。 この単純な拡張は、Visual Access for 3D Data (Cowperthewaite, David J., M.Sheelagh T. Carpendale, and F. David Fracchia, Visual Access for 3D Data,Proceedings of ACM CHI 96 Conference on Human Factors in Computing Sytems, volume 2 of SHORT PAPERS: Alternative Methods of Interaction, pages 175−176, 1996)においてCowperthwaite Carpendale, and Fracchiaが観察しているように局地的に密度を低下させることができる。なおこの文献を引例として本明細書に取り入れる。
またこの単純な拡張は、KeaheyのVisualization of High−Dimensional Clusters Using Nonlinear Manification (Keahey, T. Alan, Visualization of High−Dimensional Clusters Using Nonlinear Magnification, Technical Report LA−UR−98−2776, Los Alamos National Labratory, 1998)にあるように、3Dグラフのクラスタ破裂またはノードレイアウトへ適用されている。なおこの文献を引例として本明細書に取り入れる。しかし、遮蔽が深刻な問題であるところのより一般的な視覚表示においてはほとんど効果がない。
【0067】
〔焦点の再定義〕
このように2Dコンテキスト内の詳細変換を3Dに直接拡張することの主要な問題点は、OOIの遮蔽を解消するのにほとんど役に立たないということである。すでに述べたとおり、遮蔽を減少させるためには、視線の近傍からオブジェクトを取り除く必要がある。視覚表示のコンテキスト内の詳細提示を維持するために、このことを情報の排除をすることなく、レイアウトの全体構造の破壊をできる限り少なくして達成しなければならない。この拘束された調整によって、ユーザ側が3D構造の元のメンタルモデルをできるだけ長い間保存することとなる。
【0068】
変換関数についての上記の説明では、OOI自体が従来の2Dレイアウト調整アルゴリズムの3Dへの拡張のソースとみなされた。その代わりに、VPからOOIまでの視線が変換関数のソース(すなわちORT)であると定義すれば、同様な方法を用いてオブジェクトを移動させて、単にOOIから引き離すのではなく視線から引き離すことができる。
【0069】
図1(a)、(b)と(c)を参照すると、作動中の線形ORTの2D断面図100が示されている。図1(a)を参照すると、行列110内に配置された多くの情報点と、構造110の中心あたりのOOI120と、右下のVP130によって定義された構造の2D断面図の元の構造が示されている。視線140はOOI120をVP130に結んでいる。言い換えれば、OOI120すなわち焦点あるいはROIと、VP130とが構造110全体にわたり視線を定義する。
【0070】
図1(b)は、視線140上またはその近傍に存在する構造170内の点への方向ベクトル150を示している。それぞれの点170の距離は、視線140上の最近点160で測定される。また、視線140上の最近点160から調整中の点170までの方向ベクトル150も定義されている。点はこれらの方向ベクトル150の方向に移動する。方向ベクトル150の長さは、変換関数への入力を形成する。本関数の結果を用いて、それぞれの点についての変位を判定する。視線に最も近い点は最も遠くに移動して、元はさらに遠くにある点は連続して段々距離の増分が少なくなりながら移動する。言い換えれば、方向ベクトル150の長さが、結果として得られる変位ベクトルの大きさを決定する関数への入力を形成する。その変位ベクトルの方向は、入力方向ベクトルに平行になる。最終的に、変換に影響を受けない程度に十分離れた点へなめらかに変換される。
【0071】
図1(c)を参照すると、変換関数をレイアウト110に適用した結果得られる最終構成180が示されている。本最終構成180では、VP130からOOI120までの鮮明な視線が確立されている。以下の説明では、上記のように、このような関数または演算子を視覚表示の「遮蔽減少変換」または「ORT」と呼ぶ。
【0072】
ORTの影響は、レイアウトを調整することにより3D視覚表示内であるオブジェクトまたは注目領域への鮮明な視線すなわち視覚アクセスを与えるということである。複数のORTを、表示の要素上の個々のORTの影響を組み合わせることによって表示上に構成してもよい。
【0073】
ORTの視線を関数の「ソース」と定義する。後で述べるようにソースをそれ以外で定義することできる。ORTのソース位置は、ORTが適用されると、表示の要素が移動してそこから離れるような位置である。複数のORT演算子、例えば0…nがあると、各ORTiの影響を重み付けした平均を、ある点での別のORTj(j≠i)の影響が、ORTiのソースまでのその点の距離が小さくなるにつれ少なくなる場合に用いることができる。これは、この距離が0の点において、別のORTjの影響もまた0であることを意味する。ORTiに対するOOIは視線の一端を定義するので、ORTiのソースから0の距離にある。1つの要素上の各ORTiの影響を、i=0…nすべてについて単純に平均化して、図2から4に示すように利用できる。
【0074】
図2を参照すると、2つのORTを連続して同時に3Dグラフに適用することを示す斜視図200が示されている。このように適用することで、2つのOOI、(現在の観察点から見て)一方はレイアウト210の前方近く、第2のOOI220は略背面にある。進行シーケンスは図2(a)から2(c)までである。観察点はこの構造内の1つの一体的な構成要素であるので、ORTは適切に方向付けられた状態を維持し、観察点が移動すると遮蔽減少を継続する。
【0075】
図3を参照すると、ORTを適用しない3Dグラフの回転を示す斜視図が示されている。回転シーケンスは図3(a)から3(c)までである。回転は、ORTを適用することなく2つのOOI310と320を明らかにするために行われる。構造内の2つのOOIのうちより近いOOI310の鮮明な観測も、VPがわずかに限定された範囲内で利用可能である。
【0076】
図4を参照すると、ORTが定位置にある3Dグラフの回転を示す斜視図400が示されている。回転シーケンスは図4(a)から図4(c)までであり、図3と同様のシーケンスである。OOI410と420は強調のため寸法が大きくなっている。ORTを適用することで、グラフでは遠方にあるOOI420でも、ORTの視線明確化という影響によって見ることができる。
【0077】
図5を参照すると、直交伸張、直交非線形、および放射状非線形スキームを含むコンテキスト内の詳細観察のために、ORTを追加して、一般的な2Dレイアウト調整またはゆがみスキームを3Dに拡張する場合の影響を示す斜視図を含んだテーブル500が示されている。テーブル500の第1行510は、2Dのゆがみを単純に3Dに拡張したことを示している。ほとんどの場合、OOI520すなわち焦点は、レイアウト調整またはゆがみがなされる前よりはるかに遮蔽していることがわかる。テーブル500の第2行530は、ORTの動作を追加してVPからOOI520すなわち焦点までの視線を鮮明にしている。ここでは、視覚アクセスは、以前に遮蔽されたOOI520に対して行われる。
【0078】
〔ORT相対座標系〕
視線は、効果的なORTを生成するのに利用できるもっとも単純な原線である。同様に、ユークリッド空間における最近点の測定は、もっとも単純な距離測定である。より広範囲なORT演算子の説明を容易にするために、各ORTについての局所座標系(「CS」)を構築することができる。局所ORT座標系を形成するのには、ORT CSのワールドCSに対する位置と方向性が得られる3次元内の2つのベクトルと1つの点が必要である。
【0079】
ここで、ORTに関連するOOIの位置を焦点(「FP」)と呼ぶことにする。視線のこの端部をORT CSの原点の位置として用いる。FPからVPmadeno方向が、ORT CSを方向付けるために必要な2つのベクトルの一方を形成する。2つ目のベクトルについては、観察者、カメラあるいはVP座標系内のUPベクトルを用いる。典型的には、この方向はワールドCSにおいては正のy、<0,1,0>または「上向き」である。ORT CSを適切に定義するために、ベクトルVP−FPとUPを平行にしてはならない。
【0080】
このような要素を用いれば、正のz軸がVPに指向したFPを中心とする座標系を構築することができる。本構築により、ORT CSのx=0平面はワールドCSからのUPベクトルを含有する。ORT CSを、視線を中心に回転させることは、ORT CSの構築において、ワールドCS内でVP−FPベクトルを中心としてUPベクトルを回転させ、この回転したベクトルを用いるという単純なことである。
【0081】
図6を参照すると、ORT CSと、ワールドCSと、VP CSの2通りの位置合わせを示す図600が示されている。図6(a)では、ORT CS610−のz軸がワールドCS620のz軸と一列になっている。図6(b)では、VP CS630は右に移動して、ORT CS610が変化をたどるよう再方向付けされている。なお、視線640は、いずれの場合でもORT CS610とVP CS630を結合している。
【0082】
〔ゆがみ空間〕
ORTのレイアウトへの影響を判定するために、各点p,(x,y,z)を、アフィン変換によってORT CSに変換する。これによって、ORT CS内に新たな座標p’,(x’,y’,z’)が生まれる。z’の値がゼロより大きいと、その点はOOI(すなわちFP)とVPとの間のどこかにある。この場合、距離はORT CSのxy平面でのみ測定し、その点の視線までの距離を測定する。z’の値がゼロ未満であれば、その点はOOIよりも観察点から離れる。
【0083】
ORT CSの利点は、ORTのより複雑な分布の記述を非常に単純化できるという点にある。ORT CSの正のz軸に沿って要素密度を低下させるいずれの変換も、遮蔽減少の望ましい結果をもたらす。
【0084】
再び図1を参照すると、図示の変位の分布は、先端を切った線形ソースを有すると特徴付けることができる。本ORTは視線140に対して作動し、ORT CS内のz軸とその分布はVP130からのOOI120の遠方で先端が切られている。これによって、VP130からの円筒形の遠端がOOI120の周りで半球状キャップ195に融合するような円筒領域の影響190が生じる。
【0085】
このような線形ソース関数に加え、ORT CSのy=0またはx=0平面に対して得られるORTも記述することができる。これらの平面のいずれも、ORTのz軸を含有し、したがって、これらの平面から離間する点の変位が、平面を横切るとともに視線に沿って遮蔽を減少させる。
【0086】
さらに、ワールドCSの主要軸に対して構築できる同様のやり方で、ORT CSの主要軸または平面のすべてに対して変換を行うこともできる。ORT CSに対して定義されれば、変形はVPに並んだままとなる。図7を参照すると、ORT CSの様々な平面を示した図700が示されている。ここで、FP710を通過する3つの平面のうち最も近い平面までの点の距離が測定される。
【0087】
分布をz=0平面で面取りすることは、ORT CSの深さにわたる変位の可能な分布の1つである。また、ORT CSのz軸に沿ってORTを常時適用し続ける、または、情報レイアウトの近接側で最大になり、ORT CSの原点あるいは情報レイアウトの後方でゼロになるような範囲に収まるようORTの適用を線形縮尺することもできる。図8を参照すると、zで突出するガウスに基づく関数を表す図800が示されている。図示されている関数をコンテキスト内の詳細調整スキームに用いることができ、この関数は等式f(x)=e^(−10.0x^2)で表される。この関数f(x)をコンテキスト内の詳細ゆがみ既定関数と呼んでもよい。図9を参照すると、関数の度が空間910の遠端でゼロに縮尺されている図8のガウスに基づく関数を表す図900が示されている。
【0088】
ORTが平面ソースを有するものとして定義されると、表示の要素はORTの作用によってこの平面から押し出される。この場合、平面を横切り、ORT CSのz軸に垂直なORT関数の分布を形状関数によって変更できる。本関数は、変換を空間的に含有し、それによって元のレイアウトのより多くの部分を保存するように、ORTの適用程度を制御する。これらの形状関数は、影響0の重み0から、形状関数を用いない元の影響の1までORTの程度を変調するような曲線であればよい。
図10を参照すると、ガウス形状関数がy=0平面に対して定義されるORTに与える影響を表した図1000が示されている。図10(a)では、元の平面に対するORTが示されている。図10(b)では、2次的形状関数が水平面に対するORTに適用されている。ここでzにおける縮尺は一定であるが、形状曲線を追加してxにおける平面相対関数の範囲を拘束するようにすることもできる。なお、形状関数の幅の範囲はORTの程度に関係なく調整してもよい。
【0089】
2Dでのレイアウト調節の別の分布を得るための別の距離メトリクスを2D変換に用いる場合、3Dでの異なるメトリクスに記載の距離測定に同様な影響を与えるようにしてもよい。例えば、距離をユークリッド距離メトリクスではなくLpを用いて測定するようにしてもよい。3Dでの1点のLpメトリクスでの測定への変換は次の式で与えられる。
【数2】
Figure 0004774187
【0090】
ORTのプロファイルをLp距離メトリクス、ただしp=1、で計算すると、ORTは丸い外観というよりダイヤモンド形の外観を呈する。2を十分上回るほどパラメータpの値が増加すると、継続的でより四角形から離れるように開口部が成形される。図11を参照すると、pの値を変化させるために3DでのLpメトリクスに記載の距離測定を示した図1100が示されている。なお、p=2の場合、Lpメトリクスはユークリッドメトリクスに換算される。
【0091】
暗黙表面モデリングのためのスーパー二次距離の使用は、Generalized Distance Metrics for Implicit Surface Modeling (Tigges, Mark, M.S.T. Carpendale, and Brian Wyvill, Generalized Distance Metrics for Implicit Surface Modeling, in Proceedings of the Tenth Western Computer Graphics Symposium, March 1999)でTigges他が開発した。なおこの文献を引例として本明細書に取り入れる。ユークリッド距離のスーパー二次距離への変換は次の式で与えられる。
【数3】
Figure 0004774187
【0092】
ここで、ewとnsパラメータは空間形状を制御する。ソースから距離を判定する際、これらのパラメータを変化させることで基本ORT関数の形状の前後および断面プロファイルを独立して制御する。図12を参照すると、ewとnsパラメータの距離空間への影響を示すテーブル1200が示されている。スーパー二次距離メトリクスによって、nsとewという形状パラメータ別の仕様が広範囲の距離空間となる空間を形成することが可能となる。なお、ew=ns=2の場合、スーパー二次距離はユークリッド距離に換算される。
【0093】
要すれば、ORT演算子の記述において、我々は変換(すなわちコンテキスト内の詳細ゆがみに基づく関数)に基づく関数、関数のソース、ORT CSのz軸に沿ったORT関数のプロファイル、平面相対ORTにおける形状曲線の適用、および距離メトリクスを定義すればよい。これらのパラメータは下の表1に列挙されている。
【0094】
【表1】
Figure 0004774187
【0095】
図13を参照すると、表1に列挙されたパラメータを変化させることによって可能となるORT記述の範囲を示す単純化斜視概略図を含む表1300が示されている。図13では、ワールドCS1340とVP CS1330が三方向の矢印で示される。関数ソースと分布の各組み合わせについて、VP CSとORT CSの2つの方向付け1350、1360が、ワールドCS内に表示されている。ORT CSとワールドCSのz軸は、各画像1350の左側で平行であり、その右側1360には斜め観察点が示されている。表1300の左列1310は、線形ソース(すなわちORT CSのz軸)に対するORT演算子を示し、右列1320は、ORT CSのy=0またはx=0平面に対して定義されるORTを示す。
【0096】
〔方法の工程〕
繰り返し、さらに発展させて言えば、本発明の方法はコンテキスト内の詳細の3Dデータへの詳細な拡張と適用、ならびに2Dデータについての関連する透視観察に基づくものである。本発明は、遮蔽を引き起こすオブジェクトを適切に変位させることによって、3Dデータ表示内での主要領域すなわち注目すべきオブジェクト(OOI)の可視性を向上させる遮蔽減少変換(ORT)に基づく方法を取り入れる。
本発明によって、遮蔽の減少と複雑なデートセット内の主要な詳細を示す3Dコンテキスト内の詳細表示の生成が可能となる。本発明には、元の3D構造の再配置の空間範囲を、オブジェクトの最終配置がユーザの見慣れているデータの元の「メンタルモデル」にできるだけ類似した状態に維持されるように制限するという効果がある。また、本発明には、OOI以外のオブジェクトを、情報を視界から排除することなく視線から排除することができるという効果がある。
【0097】
本発明の方法に関して、遮蔽のない解像となるので、2Dコンテキスト内の詳細についての概念を透視投影によって3Dに直接拡張または適用することは適切ではない。再び図1を参照すると、本発明の方法のオブジェクトはあたかも、変位の大きさがユークリッド距離に反比例して増加しながら(または別の距離メトリクスによって)、(EPS技術における場合などの)観察点に対するのではなく(OOIからVPまでの直線として定義される)視線に垂直な方向に変位するように本発明によってこの問題は解決できる。
図1において、ゆがみの「焦点」または「ソース」は点ではなく線140である。視線自体ではなく視線に平行な平面はORTのソースとしても用いられる。この場合、遮蔽減少変位は平面からの距離に基づき行われる。さらに、図2に示すように、変位に関する視線ソースを複数の同時視線と複数のOOIに拡張することもできる。この場合、複数のORTがOOI1つにつき適用される。
【0098】
さらに、本発明には、ゆがみ分布関数(すなわち「成形」関数という形式の関数)を、たとえば視線に沿ったVPからの距離に基づきORTに適用してもよいという効果がある。成形関数により、点変位の範囲をさらに制御でき、OOIを超えるデータの可視性を保持するように使用できる。たとえば、このような分布関数を適用しないと、OOIは通常他のすべてのデータから孤立し、何もない背景に対して現われるが残りのデータに囲まれる。この影響はOOIを強調するための方法としては望ましい。
本強調が望まれない場合、その分布関数はOOIにおいてゆがみを打ち切る手段となり、背景データの可視性を維持する。図10に示すように、成形関数を平面変位ソースの範囲を打ち切るために適用してもよい。平面ならびに線形ソースの場合の可能なORTを図13に示す。また、上記表1に示すように、ORTを変換についての基底関数と、本関数のソースと、VP CSのz軸に沿ったORT関数のプロファイルと、平面相対ORTについての成形曲線と、距離メトリクスによって完全に記述することもできる。
【0099】
図15を参照すると、本発明の一つの実施例に記載の遮蔽減少のための一般的な方法を示すフローチャート1500が示されている。工程1501で、その方法が開始される。工程1502で、3Dデータ表示内の注目すべきオブジェクトまたは点が選択される。工程1503で、注目すべきオブジェクトに関する観測点が選択される。工程1504で、観測点と注目すべきオブジェクト間のソースまたは経路が選択される。工程1505で、注目すべきオブジェクトを観測点から見ると注目すべきオブジェクトの遮蔽を回避または減少させるようにソース上またはソース近傍のオブジェクトが変位され、ソースから離間される。
本変位工程は、変位オブジェクトのそれぞれについて次の工程を含むことができる:オブジェクトとソース上の最近点との間の方向ベクトルの算出と;方向ベクトルの大きさの算出と;方向ベクトルと同一方向であって、方向ベクトルの大きさに基づく大きさで、変換関数によって与えられる変位ベクトルを算出する工程と;変位ベクトルの大きさによって与えられる距離だけ変位ベクトルの方向にあるオブジェクトを変位させる工程と;変位ベクトルの大きさによって与える距離だけ変位ベクトルの方向にオブジェクトを変位させる工程。工程1506で、その方法は終了する。
【0100】
〔システム〕
図16を参照すると、本発明の1つの実施例を実行するためのデータ処理システム1600の一例を示すブロック図が示されている。データ処理システム1600は、3D情報表示の遮蔽回避およびコンテキスト内の詳細観察に適している。データ処理システム1600は、入力装置1610と、中央処理装置CPU1620と、メモリ1630と、ディスプレイ1640を含む。入力装置1610は、キーボード、マウス、トラックボール、またはそれらに類似した装置であればよい。
CPU1620は、専用のコプロセッサとメモリ装置を含んでいればよい。メモリ1630は、RAM、ROM、データベースまたはディスク装置を含んでいればよい。ディスプレイ1640は、コンピュータスクリーンや端末装置を含んでいればよい。データ処理装置1600は、実行されると上記の方法を行わせるための指令列を表すデータが内部に保存されている。言うまでもなく、データ処理装置1600は、記述が本発明を理解するのに必要ではないような追加のソフトウエアやハードウエアを含むものであってよい。
【0101】
〔コンピュータソフトウエアプロダクト〕
図16に一例として示したデータ処理システムが行う、実行されると上記の方法を行わせるための指令列は、発明の1つの実施例に記載のコンピュータソフトウエアプロダクトに含めることができる。本コンピュータソフトウエアプロダクトを、図16の一例としてのデータ処理システム内にロードされこのシステム上で作動する。
【0102】
〔集積回路プロダクト〕
図16に一例として示したデータ処理システムが行う、実行されると上記の方法を行わせるための指令列は、本発明の1つの実施例に記載の集積回路プロダクトに含めることができる。本集積回路プロダクトを、図16の一例としてのデータ処理システム内にロードされこのシステム上で作動する。
【0103】
〔適用〕
3D内での情報レイアウトのORT記述のための枠組みが確立されたので、以下の例では、分類が異なる表示についてのこれらの演算子の適用を説明する。3D情報表示の大まかな分類は次のように定義される:離散、同一限界内、連続。図17を参照すると、これらの分類のそれぞれを示す図1700が示されている。
【0104】
離散情報レイアウトは、ノードとエッジ構造または3D分散プロットレイアウトを含む。これらは3Dグラフレイアウトまたは「ボールとスティック」形式の分子モデルであればよい。本分類の表示は、構造内の隣接状態が成分の物理的隣接状態ではなくエッジなどの接続により示された空間内で規則的であるという特徴がある。
【0105】
第2の分類である、同一限界内情報表示は、3Dモデル、有限成分集合、CADデータなどを含む。これらの表示内では、空間内での規則性が重要であるだけでなく、隣接状態と包含の物理的特性も重要である。それぞれの成分の変換が3D物理モデルとしてのオブジェクトの表示を上回るので、これらの表示の変換は、これらの物理特性の考慮も含むものである。
【0106】
第3の分類である、連続情報表示は、本質的に事実上連続するデータセットの表示を含む。すなわち、データはボリューム関数を生成する3Dパラメータ式の積として実際に連続する、またはボリューム医療用結像、地球物理学上または流体力学データなどのような連続して現れる細かく離散したデータセットであってよい。これらのデータセットは通常、ボリュームレンダリングの分野に属する方法でレンダリングされ、その大きなサイズを処理する場合の特定の問題を提示する。
【0107】
以下では、ORTをこれらの3つの大まかな分類のそれぞれに属する一例として表示に適用することについて説明する。
【0108】
〔離散データ表示〕
状況によっては、離散データ表示は3Dレイアウト内の遮蔽の影響をもっとも受けにくい分類である。比較的散在する表示において、データ要素がある任意の観察点から見て遮蔽を引き起こすようなやり方で配置される尤度は比較的低い。しかし、遮蔽の尤度が問題となるような状況は多数ある。特定のレイアウトで離散データ要素が増えると、情報要素が、ある任意の観察点から見て遮蔽を引き起こすような方法でレイアウトされる尤度が高くなる。また、局地的な密度変化により、もっと小さな離散レイアウトであっても領域内のクラスタ化が引き起こされる。
【0109】
〔通常のグラフ構造〕
ORTを離散情報レイアウトに適用する場合、第1の例は9要素3D格子グラフである。図18を参照すると、このような格子グラフを示したダイアグラム1800が示されている。本グラフの通常の空間構造は、レイアウト調整の効果を示すのに役立ち、また均一であれば比較的密度の高い分布を与える。
【0110】
この適用例での3D格子グラフは、x、yとzにおいてノードとそれに最も近接しているノードとの間で単純な接続関係を持つ。グラフのエッジはこれらの関係を示すようレンダリングされる。本システムにおける観察者の相互作用に対する変換可能な暗喩を適用してもよく、観察点は通常グラフの境界外で認められる。9ノードの構造において、中心のノードは観察点の選択に関わらず、4つの別の層内にあるノードによって遮蔽される。
【0111】
上記のとおり、ORT関数ソースと分散を広範囲に組み合わせることが可能である。図19(a)を参照すると、図18の9グラフに適用される直交伸張レイアウト著説アルゴリズムを示すダイアグラム1910が示されている。中心ノード1930はOOIである。図19(b)を参照すると、観察点と一直線に揃った状態で残るORT演算子と同じ機能の適用を示すダイアグラム1920が示されている。図20を参照すると、OOIをVPに結合させる視線に関して定義されるORTを示すダイアグラム2000が示されている。ここで、OOIは9グラフの中心ノードであり、ORTの分布はOOIの位置で打ち切られている。
【0112】
視線が注目すべきノード全体に延びて、ORTがノードを背景に孤立する鮮明な視線となる。図21(a)を参照すると、この影響を示すダイアグラム2110が示されている。ノードの注目すべきオブジェクト後方での視覚クラッタによって確認できない場合は、このレイアウト調整分布パターンが効果的である。その他、ORT関数のテーパー状円錐型分布なども考えられる。図21(b)を参照すると、この影響を表すダイアグラム2120が示されている。図21(a)と21(b)は、ORTをORT CSのz軸に沿って適用する際の一定と線形縮尺の一例を示すものである。
【0113】
視線を含む平面を変位関数のソースとして選択すると、その構造内に相互に切り込みをいれ、この「切り込み」を持つ手段が与えられ、観測点としての視線が構造の周りで移動する。本形式のORTのもっとも単純な2つのケースは、それぞれが表示内に垂直と水平の切り込みを形成する垂直および水平に位置する平面である。図22(a)を参照すると、この影響を表すダイアグラム2210が示されている。
ここで打ち切られたまたはテーパー状の分布が特に効果的であり、表示内に本のような開口を形成する。図22(b)を参照すると、この影響を表すダイアグラム2220が示されている。本方法によって、注目すべきオブジェクトの空間上近隣の可視性を優れたものとして、これに垂直なものより平面内での可視性がより優れている。図22(a)では、演算子はデータ軸に対し相対的であり、観察点の変化を追跡していない。図22(b)では、演算子は観察点と一直線に並んでいる。
【0114】
〔通常の3Dノードとエッジ構造〕
化学の分野ではランダムに配置される3Dグラフが利用できる。分子構造のボールとスティックモデルは、化学化合物、例えばカフェイン分子を表す一般的な手段である。図23を参照すると、カフェインモデル2310のダイアグラム2300が示されている。これらの構造は多くの点で3Dグラフに類似しているが、エッジの長さが短く、ノードに投射するエッジの数が原子の結合特性により制限されている点が異なっている。とはいうものの、これらの方法はレイアウトの幾何学構造が3Dグラフの抽象的レイアウトの場合より適切な表示の解釈に関連すると思われる複雑な構造を表すのに用いられる。
【0115】
図23に示されるカフェイン分子2310は、24個の原子と25個の化学結合からなるので、ここでは遮蔽は特異な問題ではない。しかし、ORTを本表示領域へ適用することの影響を説明することは有用である。図23において、分子の原子は球で表されている。原子の一つをOOIとして選択する場合、ORT関数に対する視線を適用してもよい。そのORTは、遠方側で原子のレイアウトを妨げないようにOOIの深さで打ち切られてもよい。ここで、構造の周りで観察点が移動すると、その他の原子が偏向し通常視線から離間し、視線が通り過ぎると元の位置に戻る。
図24を参照すると、ORT関数を適用しない場合の分子2310の周りでのVPの移動を示した一連のダイアグラム2400が示されている。図24では、OOI2410は丸で囲まれている。ORTを適用しないと、観察点が構造2310の周りで回転するとOOI2410が遮蔽する。図25を参照すると、今回はORTを適用した場合の、分子2310の周りでのVPの移動を示したダイアグラム2500が示されている。図25では、そのOOI2410を見ることが出来る。
【0116】
この例では、原子間の結合を表すエッジをゆがめるかどうかについての選択があることに注意されたい。相対的なトレードオフが、ORTに影響を受ける空間全体にとられる曲線経路の一片での線形近似化としてのエッジのレンダリングコストの増加と、ORTの影響を受けない場合に直線エッジが有する好ましくない影響との間でなされる。ORTからのエッジの回避は、全体としてORTの表示に対する影響からは離れている。この例では、結合をゆがめないでおくということは、2つの原子が変位されて反対方向の視線から離間しても、これらの原子をつなげる結合は、注目すべきオブジェクトの前方で定位置にあるかそこに移動する。これによりわずかな遮蔽が生じるものの、注目すべきオブジェクトの前方では多数の視覚クラッタを引き起こす。
【0117】
本領域では、その他、化学副構造を個々の原子ではなく注目すべきオブジェクトとして選択することも含まれる。例えば、その限られた範囲での近くで、全体構造との関連性を検討すると、ベンゼン環は、遮蔽を引き起こす要素がなく、明確な注目構造を形成できる。
【0118】
分子構造、特にたんぱく質の分子構造をさらに複雑に表示することは生化学の分野では一般的である。たんぱく質の構造は複雑な空間折り畳み配列を形成し、その複雑さは生物学プロセスにおける機能たんぱく質に特に注目している。この包旋構造は、たんぱく質からなる分子鎖の巻き、ひねり、折り重ねを示すリボンとして視覚的に表示されることが多い。これらの表示は密であることが多く、かなりの遮蔽問題を含むので、ORTを適用するには理想的な候補である。
【0119】
〔階層3Dグラフ構造〕
ORTを情報科学分野の円錐ツリーに適用してもよい。円錐ツリーは、階層情報セットの3Dレイアウトを形成する手段を与える。円錐ツリーの典型的な適用としては、構造内の注目すべきノード(node of interest)を特定することで、注目すべきノードが前方中央位置に回転するよう自動的に調整される。図26を参照すると、円錐ツリーディレクトリ構造2610の回転を示す一連のダイアグラム2600が示されている。
円錐ツリーディレクトリ構造2610内の選択されるリーフノード2620は、図26(a)で選択される。本ノード2620は、図26(b)から26(d)に示されるように円錐ツリー構造2610の同心回転によって前方に置かれる。この技術は、単一のOOI2620の場合には適するが、その機構は2つの任意に特定されるOOIを処理する手段まで容易に拡張されるものではない。
【0120】
ORTは、円錐ツリー枠組みを用いて複数の注目すべきノード間の相互作用を支援するのに用いてもよい。円錐ツリーの適用の一例としては、ディレクトリとファイル構造の表示がある。ユーザがレイアウト内の1つのファイルのある説明を検索すると、ファイル系を走査することでいくつかの候補が挙げられる。単一の焦点動作では、検索の結果生じるファイルのそれぞれの単一焦点動作は、連続して検査しなければならない。それぞれが検索結果の1つに対して遮蔽減少を与える複数のORTを追加すると、複数の焦点の3Dコンテキスト内の詳細概観が解る。
本ディスプレイによってより詳細な情報(たとえば、ファイルデータ、経路、著者など)を各結果(すなわち比較的結果が少なければ同時に、同時表示する結果があまりにも多い場合にユーザがカーソルを浮かせるように)に容易に追加することができる。図27を参照すると、2つのORT演算子を「a」2710と「b」2720とラベル表示された2つのリーフノードに適用する。図27(a)で、2つのリーフノード2710と2720は同時に選択される。図27(b)と27(c)では、2つのORT演算子を適用すると、どちらかを前方まで回転させることを明示しなくとも、ノード2710と2720の可視性が向上する。
【0121】
いったん複数の注目すべきオブジェクトが定義されると、オブジェクトが見えている間観察点のナビゲーションが可能になる。図28を参照すると、本影響を示す一連の図2820が示されている。いったんORT演算子が図28(a)のノード「a」と「b」に与えられれば、図28(b)と28(c)に示されるように観察点が移動している間ノード2810と2820を見ることができる。このことは、現在の観察点を取り込む各ORT固有の特性である。
【0122】
〔3Dデスクトップ環境〕
ORTの離散情報空間での適用の最後の例として、デスクトップ型環境を考える。図29を参照すると、3Dデスクトップ環境2910を示すダイアグラム2900が示されている。この環境2910をマイクロソフトウィンドウズ(登録商標)のオペレーティングシステムを作動させるパーソナルコンピュータにおいて実行させることができる。システムが始動すると、システムは現在ユーザのデスクトップ上で作動している各アプリケーション2920の画像を「つかむ」。これらの画像は、ユーザが変換可能な暗喩で観察点を移動させることでナビ芸とできるような3Dデスクトップ環境2910内の多角面に着けられる。本環境2910内では、ユーザは3Dウィンドウ2920をドラッグすることで配置できる。
【0123】
図30を参照すると、3Dデスクトップ環境2910内でのウィンドウの配置を示す一連のダイアグラム3000を示している。ユーザがウィンドウを一度クリックするか、ウィンドウが現在選択されていなければ、マウスを持ち上げることでウィンドウ3010を選択すると、そのウィンドウはOOIとしてマークされる。いったんウィンドウがOOIとマークされると、考えられる任意の遮蔽状況を解消するようにORT関数が適用される。
選択されたウィンドウ3010が3Dデスクトップ環境2910内のウィンドウクラスタ3020を介してシーンの背後に推されると、クラスタ3020は選択されたウィンドウ3010の遮蔽を防ぐために分散される。これによって、視線は非選択ウィンドウ3020のクラスタを介して移動し、ORTの影響はこれらのウィンドウ3020を視線の近傍から離間させるように移動させる。単一のウィンドウ3010も焦点位置、特にユーザのデスクトップに現れるような同一の縮尺で現れる観察者の前方に持っていくこともできる。
【0124】
図30では、新たなORTが多数のフレームにわたって導入されて、レイアウトと前の状態と新しいレイアウトとの間になだらかな遷移が発生する。選択の結果、1つのOOIが第2のOOIに遷移し、元のORTが同様なやり方で排除され、レイアウトの2つの状態の間でクロスフェードが生じる。2つの状態間でレイアウトが「ジャンプ」すると、レイアウトでの変化を追跡するタスクがデスクトップ環境との相互作用の基本タスクから逸脱する。
【0125】
いったんウィンドウをクリックして選択されると、別のウィンドウをクリックするかすべてのウィンドウを再選択する「空の」空間に渡ってクリックすることで再選択されるまでOOIが残る。ウィンドウが選択される限り、ユーザが空間全体をナビゲートするかウィンドウの位置を変化させても遮蔽されないでいる。ユーザが選択ウィンドウを別のグループのウィンドウの背後にドラッグすると、ORTの影響によって一時的に押し出されて視線から外れる。
図31を参照すると、この影響を示す一連のダイアグラム3100が示されている。選択されたウィンドウ3110が観察している左上の初期位置から移動すると(図31(a))、選択ウィンドウが前方を通り過ぎる別のウィンドウのクラスタ3120が選択ウィンドウ3110に付随するORTの作用により分散する(図31(b)と31(c))。選択ページ3110が初期位置(図31(a))から中間位置(図31(c))に移動すると近隣のウィンドウ3120が偏向して、選択ウィンドウ3110が通過するにつれて初期位置から離れ、選択ウィンドウ3110が通過後に初期位置にもどればよい。
【0126】
〔同一限界内データ表示〕
3次元内の情報表示の第2の分類を同一限界内データ表示と呼ぶ。これらの表示は、上記の離散データ表示より強い隣接状態と包含関係を有していることを特徴とする。同一限界内データ表示として、コンピュータ支援製図(「CAD」)における3Dモデルまたはパーツアセンブリがある。その他、医療用画像、流体力学、大気または地球物理データなどのボリュームデータセットから得られる表面データを含むものでよい。
【0127】
このようなデータセットでは、レイアウトは含有または隣接状態を含む物理的関連性を有する成分からなる。ORTをこれらの表示に適用する場合、これらの関係を考慮しておく必要がある。これは、部品がORTの変位の影響を受ける前に部品組み立ての成分を部分的な分解シーケンスによって活動させることを意味する。幾分もう少し複雑なモデル記述を必要とし、部品の組み立てについての何らかの情報を含み、包含関係を含み、部品はその他が自由に移動する前に取り除かねばならないなどであるが、ORTを適用することによって、相互に作用する組み立て図が得られる。
このようなシステムでは、注目成分へ鮮明な視覚アクセスをするようにモデルのほかの要素は自分で分解する。観察点が移動すると、成分グループが分解して経路を外れて移動して、注目成分を遮蔽されずに観察するのに必要なように再度組み立てられる。ORTの大きさを増加減少させることは、組み立てが分解されて自分自身で再度組み立てするという影響もある。
【0128】
以下では、ORTを成分に基づくデータに適用する2つのシステムについての実施例を説明する。第1のシステムは異なる部品からなる3Dモデルに対するものである。本システムにおいて、人間の足の骨格構造モデルを一例として使用する。第2のシステムはORTをOcclusion Resolution Operators for Three−Dimensional Detail−In−ContextでCowperthewaiteが検討しているような「マーチングキューブ(Marching−Cubes)」アルゴリズムによって得られる表面データに適用するものである。第2のシステムでは、ORTを使用して本データの成分または層を切断し、基礎を成す要素を明らかにすることを示している。ここでは、注目すべきオブジェクトはORT変位の影響からは除外されている。
【0129】
〔3Dモデル〕
図32を参照すると、人の足3210の骨格モデルを示すダイアグラム3200が示されている。本モデル3210は、外部楔状骨3220を含む26個の別個の成分と、約4204の三角面を含む。本モデル3210に包含関係はまったくないことに注意されたい。外部楔状骨3220が現在注目しているものであるなら、注目する骨の割合を増やすための十分な空間を与えられるよう楔状骨の周りのその他の骨を縮尺して変位させる。言い換えれば、拡大生成変換(「MPT」、すなわちコンテキスト内の詳細基づく関数の形式)をORTと組み合わせればよい。
【0130】
観察点が一直線にそろったORTをモデルに追加することによって、特定の注目成分3220をORTの作用によって選択し、明らかにすることができる。図33を参照すると、この影響を示す一連の図3300が示されている。図33(a)では、外部楔状骨3220が丸で囲まれている。図33(b)と33(c)では、残りの25本の骨3310は変位されて視線から離れている。図34を参照すると、モデル3210の周りでの観察点の移動を示す一連の図3400を示している。観察者がモデルの周りでナビゲートすると、残りの成分3310がすべて動的に偏向して視線から外れる。このようにして、選択された成分3220の鮮明な観察は維持される。
【0131】
縮尺による注目強調を、ORT演算子の遮蔽減少と組み合わせて適用することができる。注目成分の割合を増加して、残りの成分を縮尺するのではなく変位させ、注目成分の割合を増加させるための十分な余裕を与えるようにすることができる。図35を参照すると、この影響を示す一連のダイアグラム3500が示されている。図35(a)では、縮尺が行われずORTの影響は単に成分3310を変位させて、遮蔽を減少させることだけにある。図35(b)では、変位だけでなく、要素3310がOOI、外部楔状骨3220からの幾何学的距離に応じて縮尺されている。
【0132】
ここで、縮尺は少なくとも2つの機構によって達成することができる。まず、成分を定位置で縮尺して、各成分がその元の位置でレンダリングされるように部分的に縮尺係数を調整するだけとする。第二に、透視ゆがみの影響を用いて、MPTを用いた縮尺を達成する。この第2の技術では、成分が拡大するように幾何学的中心を介して視線に沿って観察点に向かって成分を移動させる。また、成分を圧縮すなわち縮小させるように観察点から離間するように移動させることもできる。
図36を参照すると、二次的観察点から見たときの足のモデルに対するMPT演算子の演算を示す一連のダイアグラム3600が示されている。図36(a)では、モデル3210と透視観察台1420(図14内)の表示の両方が示されている。図36(b)では、焦点成分3220とその成分にもっとも近い成分が拡大させる基本の観測点1440に向かって移動させる。拡大の程度は、元の最終的な位置のカメラ座標系のz軸に対する割合によって決定される。すなわち、モデル3210の成分3310は、個々の視線に沿って変換され、透視ゆがみによる拡大が得られる。
【0133】
定位置縮尺とは機構が実質的に異なるが、MPT技術は、透視投影がいったんなされると同様な結果を生じる。図37を参照すると、ORTが適用されない場合の2方向の舟状骨3730を含んだ足の骨格モデル3210を示す側面図3710と正面図3720が示されている。ゆがみすなわち拡大がなされないと、図37(a)と37(b)では、注目すべきオブジェクトである舟状骨3730はほとんど完全に閉鎖されている。図38を参照すると、足の骨格モデル3210を示した側面図3810と正面図3820が示されている。ここでも、舟状骨3730がOOIである。
図39を参照すると、ORTとMPTの両方が加えられて遮蔽減少と舟状骨3730の透視に基づく縮尺がなされた、足の骨格モデル3210を示す側面図3910と正面図3920が示されている。ここでの拡大は、透視変換によって行われ、その結果、舟状骨3730は部分的に遮蔽されていると思われるその他の骨の前方でレンダリングされる。図40を参照すると、縮尺が定位置成分縮尺によって行われる、変位を含む足の骨格モデル3210を示した側面図4010と正面図4020を示している。ここでもやはり、舟状骨3730がOOIである。透視投影系の基本観察点から見ると、成分はもとの視線のベクトルに沿って前後に強制的に移動させられているので、MPTにおいて成分の動きは見えない。
【0134】
定位置縮尺とMPT縮尺が生成する画像のもっとも大きな違いは、隣接する拡大成分が互いに交差する場合に見られる。図41を参照して、定位置縮尺と透視縮尺を示す足の骨格モデル3210の詳細図4110と4120が示されている。ここでは、外部楔状骨3220がOOIである。図41(a)に示されるような定位置縮尺の結果の外部楔状骨3220と第3の中足骨4130との交点は、図41(b)に示されるような透視縮尺による深さについての成分3220と4130の相対変位によって決定される。
MPMTの場合、拡大成分3220を交点が縮小、または拡大されない成分4130の前方でレンダリングすることによって決定されるよう、拡大成分は深さで分けられる。一部重なり領域でのもっと小さな要素の部分的な遮蔽は、図41(b)に示されるような結果生じる。東部が乗せられたディスプレイ内の複数のスクリーンを通じてであろうが、シーンを赤と青の3D立体写真としてもっと単純にレンダリングすることに関わらず、MPTを深さ強調立体観察支援とともに適用することにより、興味深い透視効果が得られる。さらに拡大したオブジェクトであれば、大きく見えるだけでなく、拡大率がそのオブジェクトより小さな成分よりも接近して見える。
【0135】
〔等表面セットデータ〕
同一限界内表示の分類はさらに、容積データ(volumetric data)から得られる等表面を含む。本情報は、Occlusion Resolution Operators for Three−Dimensional Detail−In−ContextでCowperthewaiteが検討しているような「マーチングキューブ」などのアルゴリズムによって生成されることが多い。ほとんどの場合、これらの表面抽出アルゴリズムは、様々な異なる成分の境界に対応する表面を抽出するためにデータセットに連続して与えられる。
また、本アルゴリズムを、空間的に一致したデータセットのうちから表面を抽出するように用いることもできる。例えば医療用結像の際、数回通過することで、診断頭蓋MRI走査で骨、筋肉、脳および腫瘍についての別々の表面データセットを得るようにしてもよい。その結果得られる同軸層遮蔽を処理するには、以前は内部要素に鮮明に視覚アクセスするためには成分を分解する以外の方法がなかった。このような構造の内部要素にアクセスする際のもっとも一般的な方法は、透明性、成分除去、または切断平面を用いることによって行われた。
上記のとおり、離散表面の知覚を複雑にするか、ディスプレイから相当量の情報を排除してしまうという点のいずれかでこれらの解決方法にはそれぞれ望ましくない影響がある。しかし、本発明の一つの実施例によれば、修正した不連続のORTを、そのようなディスプレイ内で注目成分層に遮蔽を引き起こす層に適用することで、注目領域までの観察点依存の鮮明な視覚経路を形成することが可能となる。
【0136】
不連続ORTは、これらの表面からなる個々の多角形(三角形)に作用することにより、離散成分または層より低いレベルでの表示上で作動する。三角形はORTの局所座標系に変換され、その結果頂点の変位位置が判定される。不連続ORTは平面相対関数を含むものであってよい。関数のソース平面に広がる三角形を、一方の側または他方の側だけで成分に分割して、再度三角形にして、明確な切断面となるようにしてもよい。その他の計算上複雑でない方法としては、三角形を頂点の大部分をすでに包含する側まで移動させるか、平面に広がる三角形を最終の画像から除外する方法を含む。
【0137】
例えば、線形テーパー状の垂直平面相対ORTを、多重硬化症(「MS」)患者の頭部の診断MRI走査と病変の容積マップから得られる表示に適用してもよい。図42を参照すると、MS患者の頭部におけるマーチングキューブによって得られるMRIデータの表面画像を形成するための陽子密度層4210、T2層4220、病変マスク4330ソース画像を示す一連のダイアグラム4200が示されている。
図43を参照すると、MRIソース画像4210、4220、4230から得られた表面4310、4320と4330を示す一連のダイアグラム4300が示されている。陽子密度層表面4310は、皮膚などの外面を明らかにし、T2層表面4320は、脳や眼を含む神経組織を明らかにし、病変マスク表面4330はMS病変の位置を明らかにする。図44を参照すると、陽子密度層4310、T2層4320、病変マスク4330を示す一連の図4400が示されている。
図44は、内部層4310、4320と4330が見えるように一部透明になっている。ここで、図45を参照すると、ORTを病変層4330に適用し、外部脳4320と皮膚層4310を押し戻して、病変マスク4510の一部を遮蔽なく観察することを示す一連のダイアグラム4500が示されている。観察点を操作して異なる角度からのデータを検証するように本変形の後自動的にビューワを実行するようにしてもよい。
【0138】
〔連続データ表示〕
容積測定データは無定形で、マーチングキューブなどの方法によって抽出するための明確な表面境界線をもたないない場合がある。このような場合、直接ボリュームレンダリング(direct volume rendering「DVR」)アルゴリズムが好ましい方法となる。広範なDVR方法がある。これらのアルゴリズムは、レンダリングされたオブジェクトを横切る方法に基づく3つの主要なカテゴリに分けられる:画像配列、オブジェクト配列または2つの混成方法の3つに分けられる。
【0139】
画像配列DVR方法には、ボリュームの再投影ならびに光線投射方法がある。再投影では、観察平面内の各画素からの平行な光線に沿ってvoxel値を平均化する。平均化の結果得られる画像はX線に類似している。ソース減衰再投影は、ソース強度と減衰係数をそれぞれのvoxelに割り当て、voxelが遠方になればなるほど不明瞭になるようにする。再投影は、「SUM」演算子を適用しながら光線を投射する単純な例である。ボリュームへの光線投射では、画像平面内の画素を横切る画像配列を実行する。
遭遇する不透明度と強度の変化を合わせて、がその最終的な不透明度と色を判定する。光線は、光線が遭遇する不透明度が単一になるか光線がボリュームから出るまで、ボリュームを横切り続ける。光線が格子点との間のセルに交差したら、補完を行い交点での値を見つけるようにしてもよい。CPUが集中して行う光線投射によって、マーチングキューブなどの表面整合アルゴリズムなどのように単に表面だけではなく、データセット全体の高品質画像が生成される。
【0140】
オブジェクト配列DVR方法は、ピクセルごとではなくデータセットの要素の順番でシーンを処理することに特徴がある。たとえば「立方体」レンダリングアルゴリズムは、voxelを6辺の多面(立方体)に直接マッピングするものである。z−バッファアルゴリズムを用いてレンダリングするときは隠れ面を通常排除するが、ボリュームが空間上でしっかりと区分けされているので、正確な可視面を生むような横向き配列を決定することもできる。前から後ろ、後ろから前、「octree」に基づく方法などの配列はすべて、性能上効果的である。
立方体にレンダリングされる画像のむらのある外見が、その幾何学構造ではなく傾斜情報に基づいて立方体を変化させることにより改善される。「スプラット」は、投射平面内に容積の画像を積層することによって機能するオブジェクト配列方法である。そのプロセスは、各voxelの投射を表す色つきスノーボールを適切に落下させることにより映像の積層にしばしばたとえられる。スノーボールがスプラットする平面に当たると、ある領域におけるvoxelの貢献が拡大する。
【0141】
〔平面スプラットレンダリング〕
「平面スプラット」は、各データのvoxelをボリュームデータによって色づけされる「小隊」(すなわち4面多面体)として定位置でレンダリングするオブジェクト配列方法である。そのvoxelを横切る容積の傾斜から得られる法線を小隊に関連付けて、ハードウエアベースの照度算出で用いるようにしてもよい。
voxelを表す小隊を、従来のスプラットにおける混成零空間関数を行うためのアルファテクスチャマップ(alpha−texture map)を用いてさらに修正される。その結果得られる色つきでアルファマッピングされた小隊は、たとえば従来のスプラットが最終画像に貢献するのと同様にOpenGL−TMフレームにレンダリングされる。本アルゴリズムが正確に実行されるかどうかは、ボリュームが後ろから前に横切るかどうかに左右される。
単に、観察方向に最も平行なデータ軸を判定し、後ろから前に平面に垂直な平面をレンダリングするということは、平面と、平面を構成するレンダリングされた四辺形が、観察点に垂直な45度の範囲内に収まっていることを意味する。図46を参照すると、人間の頭部4610のデータセットを示すダイアグラム4600が示され、ここでは頭蓋骨の頂部と背後が取り除かれて、脳4620の外面が顕になって、高速スプラット方法でレンダリングされている。
【0142】
ORTをこのようなデータに適用するため、voxelの位置をORT CSの空間内に変換させる。変換ベクトルは決定され、そのベクトルは個々の四面体の最終的なレンダリング位置を変化させるよう適用される。上記の不連続ORTを適用した場合と同様な効果が、線形減衰平面相対変位関数(図13を参照)を適用する場合にも得られる。
図47を参照すると、垂直平面ソースORTを高速スプラット4710によってレンダリングしたCTデータに適用することを示す一連の図4700が示されている。このようなORTは、ボリュームの内部に「切り込み、引っ込み」切れ目を入れるという影響を与える。切れ目の程度は、上記のように影響をさらに拘束させるよう成形関数によって制限または変更させることができる。より離間した形式のデータの場合に用いるような視線を単純に用いるのではなく、平面相対切れ目を使用する理由は、任意の内部視覚アクセスをするのに十分大きく伸張した、点の切れ目の「リアルワールド」という意味を確立するのが困難だからである。
線形相対切れ目の内部または境界面を、単一の光線をボリュームデータに交差させることにより形成してもよく、それほど意味ある視覚情報を明らかにするものではない。逆に、平面相対変位関数を適用すると、ソース平面とボリュームデータを交差させることによって形成される内面4720を有する切れ目を生成する。これらの切断面はさらに多くの有用な情報を運搬し、リアルワールド切れ目を実質的に禁じする。
【0143】
四面体がレンダリングされるとスプラット生成四面体の単純変換が生み出すいくつかの視覚上の効果がある。四面体が「脇へ押し出され」て、元のデータレイアウトよりもさらに積層し、重なる傾向が強い表示内に切れ目を入れる。この重なりが増加することの影響は、これらの領域において、たとえばOpenGl−TM混成機構を用いて達成される複合化プロセスにさらに貢献すると言う点である。これによって、それらの領域でのボリュームデータの色強度が増加する。すなわち、切れ目のエッジでの表面の明るさが増す4730。ORTの周りの縮小領域での四面体の異方性縮尺をこの影響を減らすか取り除くのに用いることもできる。
【0144】
図48から50では、ORTを高速スプラットアルゴリズムでレンダリングされた容積測定データへ適用する例が示されている。図48を参照すると、水平面ORTを「UNC頭部」データセットに適用することを示す一連のダイアグラム4800が示されている。図48(a)では、ORTが観察点と一直線になっている。図48(b)では、ORTを観察と一直線の深さに適用する場合の線形縮尺を強調するためにORTの観察点を更新することなく表示を回転させている。ORTは、表示の正面から注目領域の深さまでの深さで縮尺される。
図49を参照すると、平面を横切る関数の範囲が打ち切られ、関数も深さ方向に縮尺されて曲率効果4910を生み出す場合の、水平面ORTを「UNC頭部」データセットに適用することを示す一連のダイアグラム4900が示されている。つまり、成形曲線が加えられて、水平面を横切るORT演算子の範囲が制御されている。図50を参照すると、ORTが前から注目領域までではなく、データの前から後ろまで深さ方向に縮尺された場合の、平面相対ORTを「可視可能な人間の女性(Visible Human Female)」でデータセットに適用することを示す一連のダイアグラム5000が示されている。
【0145】
〔3Dテクスチャに基づくレンダリング〕
高速テクスチャマッピングハードウエアの出現によって、直接ボリュームレンダリング方法に使用するのに実用的な3Dテクスチャに基づく技術が適用されるようになった。典型的には、データはまず、変換関数を1回適用して赤、緑、青の値と不透明度を判定しながら3Dテクスチャマップに変換される。こうして色と不透明度が3Dテクスチャマップに保存される。テクスチャマップを多数の平行多面体平面に適用し、それぞれの平面がテクスチャによってスライスをサンプリングする。
テクスチャ座標を平面の角について特定し、テクスチャマッピングハードウエアが3次元の平面を横切るテクスチャ座標を取り入れる。多角形を3Dテクスチャ(すなわちデータボリューム)に関連付けるのには2つの方法がある。テクスチャ平面をデータの基本軸と一直線にして、データとともに移動する(回転/変換する)か、あるいは平面を投影平面に平行で一直線にした状態において、テクスチャ座標だけを移動させ(回転/変換させ)て、データを異なる位置から見るようにすればよい。通常、3Dテクスチャをサンプリングする平行平面が多いとより高画質画像が得られるのに対し、平面が少ないとレンダリング速度が速くなる。
本方法には、いったんすべてのデータがテクスチャメモリにダウンロードされる、多角形が変換されると、グラフィックハードウエアはすべてのスライスのレンダリングと画像の合成を行うことができるという効果がある。この方法の問題点は、直線ボリュームが制限されることと、一度にテクスチャメモリに収容できるテクスチャサイズが比較的小さいという点である。ブロック積みプロセス(ボリュームをより小さいテクスチャ領域に分解して、その領域をテクスチャRAMにロードし、連続してレンダリングする)により、本技術を使用してより大きなボリュームをレンダリングすることができる。
また、空の元のデータセットの領域を排除するブロック積みレイアウトを構築するによってレンダリングプロセスを最適化するための方法も提供する。これらの領域はレンダリングされないので、テクスチャ座標を算出し、ボリューム要素が存在しない画素をレンダリングして合成するのに時間を浪費することがない。
【0146】
上記のような切込み効果をもたらすORT生成方法の手段を与えるために、変位が起こる領域において頂点を追加したテクスチャサンプリング面(texture sampling surface)を分割しなければならない。これは、網を変位関数の形状を記述する関数に整合させることによって行えばよい。
(Bossen, Frank J., Anisotropic Mesh Generation with Particles, Technical Report CMU−CS−96−134, CS Dept., Carnegie Melon University, May 1996)においてBossenが記載するような異方性網目生成方法は、三角網の幾何学特性をヘッシアン関数が定義する空間に整合させるような平面のモザイクを生成する手段を与える。なお、この文献を引例として本明細書に取り入れる。ヘッシアンは関数の第二の偏微分行列である。
(Bossen, Frank J. and Paul S. Heckbert, A Pliant Method for Anisotropic Mesh Generation, in 5th Intl. Meshing ROundtable, pages 63−74, October 1996) Bossen他が提示した方法を用いて、注目点の周りで増加する詳細領域を与え、その点を中心とするガウス関数のヘッシアンの形状に整合するような網目を生成すればよい。
図51を参照すると、ガウス関数f(x,y)=e−10.0x2−10.0y2を示すダイアグラム5100が示されている。図52を参照すると、ガウス関数f(x,y)=e−10.0x2−10.0y2のヘッシアンを示すダイアグラム5200が示されている。また、図53を参照すると、ガウス関数f(x,y)=e−10.0x2−10.0y2のヘッシアンに一直線に並んだ異方性網目を示すダイアグラム5300が示されている。
【0147】
典型的には、3Dテクスチャマッピングハードウエアを用いるボリュームをレンダリングする方法には、観察方向に垂直な状態を保つようにテクスチャサンプリング平面を回転させることが含まれる。これを次のようにORTの生成に用いてもよい。単にすべての平面を一列に並べてボリュームを介して観察方向ベクトルを中心にするのではなく、ボリュームを操作するために望ましい幾何学的詳細を与える単一のモザイク網目が形成されれば、平面を、注目点を介して視線を中心に位置づけすることができる。図54を参照すると、交互サンプリング平面位置決めを示すダイアグラム5410と5420が示されている。図54(a)において、サンプリング平面はデータ空間軸に一直線に並べられている。図54(b)では、サンプリング平面は視線を中心に配置される。
【0148】
興味深いことに、上記のORTを高速スプラットされた容積測定データへ適用する方法ではなし得なかった3Dテクスチャに基づくレンダリングの最適化が可能になっている。ORTによる1つの平面の最大変形が判定されれば、本判定から残りのテクスチャサンプリング平面(texture sampling planes)のすべての状態が得られる。いずれの平面の状態も、初期平面の状態と最大変形した平面を好適な状態に補間することによって得られる。このように、ORT座標系において深さを変化させながら、2つのテクスチャサンプリング平面の状態から一定関数、打ち切られた関数、あるいはテーパー状関数を生成することができる。
【0149】
容積をレンダリングする高速スプラット法を用いると、線形ソース関数を適用すると問題が生じる。まず、対称穴をモザイク面に導入して、穴が大きくなるにつれ収容できるようなテクスチャ座標を最終的に再配置することから生じる。その結果、管となり、その管の内側境界がボリュームを介して経路上で交差するある光線の一連のvoxelとなる。これでは意味のある情報をほとんど伝達できない。一つの考えられる解決方法は、「カラードバルーン(coloured ballon)」と呼ばれる方法で、穴をモザイク面に導入することであろう。
この場合、エッジが変形によって伸張した三角形が「アルファ」を比例させながら減少させることによって合成動作に貢献できる。本方法の持つ最も重要な問題点は、ファジーで不明確なゆがみに対する内部境界であって、いくつかの情報をディスプレイから排除することになるという点である。情報排除が受け入れ可能とみなされれば、モザイクをトリミングして穴を作ることは、結果的に変形の内部境界をより鮮明に結像することとなり、その結果はデータの副容積を最終画面から排除するCSG動作のようなものとなる。さらに、排除された領域が、表示が操作され、注目領域が容積内で移動すると、観察点を追跡すると言う効果もある。
【0150】
ここで、ボリュームデータセット(volume data set)の平面相対変形を適用することについて検討する。高速スプラットでは、これらの変形は内部への切り込みの外観と表示内での材料の収縮を生じさせる。本方法ではデータはまったく排除されず、むしろ現在の観察点と一直線に並んだ内部への視覚アクセスをするためにわきへ追いやられる。
【0151】
線形ソースから平面ソースへ移動する際、テクスチャサンプリング平面を配列するやり方を、各平面を元の平面の4つの4分の1をカバーするような4つの4分の1平面に置き換えることによって変更することができる。また、モザイクパターンも変化させて、この変更スキームにおける注目領域全体にわたり視線に近接するような4分の1平面の内側の隅に幾何学的詳細を増加させるようにすることもできる。図55を参照すると、ORT変位が起こる内側の隅5510で三角網密度が増加していることを表すダイアグラム5500が示されている。これにより、テクスチャ座標の線形補間の範囲が最小限となる。
【0152】
変形計算を減少させることによる効果はいずれも、4分の1平面を使用する場合にも得られる。特に、ここで必要なのは、1つの4分の1平面の最大変形について頂点変形の計算をし、残りの3つの4分の1平面については第1象限の線対称変換によって計算をするということである。図56を参照すると、この効果を表した一連のダイアグラム5600が示されている。
単一の変形したテクスチャサンプル平面を反射させることで平面の中央5610に閉じた空の領域を形成することができる。また、テクスチャサンプリング(texture sampling)座標は1つの平面についてのみ決定され、残りの3つの平面についてはたとえばOpenGL−TMテクスチャ(texture)座標変形行列を操作することで正確なテクスチャ(texture)座標が得られる。このような幾何学変換を利用することで、ただ1つの象限を覆う網目から完全なスライスを生成することが可能となる。
【0153】
上記のとおり、観察方向に垂直な深さと平面におけるORTのプロファイルを変更することができる。これにより、視界を横切って部分的に拘束されるORTを行うことができる。成形包絡線として半球プロファイルを用いると、ボリュームデータに関する切込みと収縮演算に類似したORTを生成することができる。
図57を参照すると、y軸に沿って頂点を変形させることにより、テクスチャサンプリング網目を半円状に変形させることを表す一連のダイアグラム5700が示されている。ORT表面の内側境界部分は、ORTソース平面と容積データとが交差することで形成される。4分の1のテクスチャサンプリング平面5710を用いるということは、本交差位置で幾何学構造にあらかじめ定義した裂け目があり、テクスチャサンプリング平面を三角法で動的に再測定する場合の複雑さが緩和されることを意味する。
【0154】
次に、好適な幾何学的サンプリング面を構築するための方法を展開したあとは、これらの多角形の基関数を3Dテクスチャデータ(texture data)と一体化してボリュームをレンダリングした画像を生成することが必要である。OOIはボリュームデータの境界の範囲内ならどこにでも配置してもよく、容積データは観察者に対して任意に方向付けしてよい。テクスチャサンプリング平面を観察者からの視線の中心でOOI全体に集中させる上記の方法は、サンプリング平面をOOIの位置と方向のもっとも極端な組み合わせにおいてデータボリュームを包含するのに十分な大きさに縮尺しなければならないことを意味する。
例えば、データのある隅にあるOOIと、2つの軸内で45度回転したデータをデータボリュームの頂点は観察者に指向するよう観察者に対して方向付けする場合を考える。本構成においては、データボリュームの投影は幅、高さおよび深さで最大となる。単一のテクスチャサンプリング平面の寸法は、データセットに対して最大角度で傾いて、テクスチャサンプリング平面のスタックは深さ方向で同じ距離だけ広がっていなければならない。通常、このことは、各テクスチャサンプリング平面の大部分がデータボリュームの境界外にあることを意味する。
これらの領域で画素をいっぱいにする動作を行うため計算する労力を無駄に使わずに、(観察者とデータ容積の方向付けを補償するよう適切に回転した)平面のクリッピングを行って、(Wilson, Orion, Allen VanGelder, and Jane Wilhelms, Direct VOlume Rendering Via 3d Textures, Technical Report UCSC−CRL−94−19, University of California Santa Cruz, Jack Baskin School of Engineering, June 1994)でWilson他が説明していると同様な方法でサンプリング平面のスタックをデータの境界に合わせて整えることができる。なお、本文献を引例として本明細書に取り入れる。
図58を参照すると、モザイクテクスチャサンプリング平面のクリッピングと観察者に垂直にその平面を回転させていることを表す一連のダイアグラム5800が示されている。例えばOpenGL−TMクリッピング平面を用いて、テクスチャ平面(texture planes)をボリューム表示空間の境界に合わせて調整する。図58(d)では、ORT関数の効果5810を平面に追加した状態が示されている。
【0155】
あるテクスチャサンプリング平面(texture sampling plane)における頂点それぞれについてのテクスチャ座標を、データ容積内で平面の位置と方向に基づき計算する。これらの座標は、元の変形していない構成においては頂点に関して決定される。これと同様な座標を用いて、テクスチャ(texture)を、ORT演算子を与えたことによって得られる変形平面に与える。その結果、頂点の元の位置からのデータが変形位置にまで引っ張られる。
高速スプラットの場合のようにボリュームデータ要素それぞれを明らかに変形するのではなく、補間が三角形状の網目の各要素の頂点間で得られる。ORT演算子を適切に適用して、テクスチャ変換行列を変更することにより、水平または垂直で有界または無限の平面に対するボリュームデータへの切り込みを形成することが可能となる。図59を参照すると、ORTを順次適用することで、容積測定表示での単一の平面に水平で成形された開口を形成することを表す一連のダイアグラム5900が示されている。
図60を参照すると、ORTを順次適用することで、容積測定表示で水平ORTが拡大されることを示す一連のダイアグラム6000が示されている。図61を参照すると、成形関数の幅を広げることにより設定される容積測定データの単一のスライス内における水平ORTの拡大図を示す一連のダイアグラム6100が示されている。さらに、そのOOIの移動は、テクスチャ平面を移動して、テクスチャ座標を逆変換することでボリュームデータ位置を維持することによって行われる。図62を参照すると、サンプリング平面の交点が表示空間を横方向に移動するあいだ、テクスチャ空間が静止状態にあるようにテクスチャ変換行列を操作することを示す一連のダイアグラム6200が示されている。
【0156】
ORT関数の影響を、「可視可能な人間の男性(Visible Human Male)」についてのデータセットの頭部について示してもよい。図63を参照すると、3Dテクスチャスライシング(texture slicing)によってレンダリングされた「可視可能な人間の男性」についてのデータセットを示したダイアグラム6300が示されている。
図64を参照すると、有界で、線形に打ち切られた、平面相対の水平ORTを可視可能な人間の男性についてのデータセットに適用したことを示す一連の図6400が示されている。OOIは左目の後ろにあり、ORTの影響は、データを排除することなく観察点と一直線の2つの切断面を明らかにすることにある。図65を参照すると、定位置にある「可視可能な人間の男性」を前方から左側に回転させ、一方水平ORT関数によって眼の後ろまたは眼の間の領域に視覚アクセスすることを示す一連のダイアグラム6500が示されている。
【0157】
ここで、ORTを「UNC頭部CT」データセットに適用する場合を考える。図66を参照すると、現在の観察点と一直線に並んだ切断面を明らかにするように垂直水平に位置決めしたORT関数を適用した「UNC頭部CT」データセットを示す一連のダイアグラム6600が示されている。水平間での任意に方向付けは、ORT座標系の構造で用いられる上方向ベクトルを回転させ、新しい構造を包含するようにテクスチャサンプリング平面を、視線を中心に回転させることによって行うことができる。
【0158】
上記の方法は、ボリューム表示内の単一の注目領域すなわちOOIと対応のORTに適用される。単一のORTソースを有するということは、テクスチャサンプリング平面を、その位置を切って注目点を介して視線の中心に置くことでソースに沿って配置できる。そのシステムを拡張して、複数の注目領域すなわちORTを支持するために、すでに述べた効率における効果をいくつか放棄しなければならないだろう。
複数の注目領域と連続するテクスチャサンプリング平面のそれぞれとの交点の位置は、観察者から離間するように移動するにつれ発散するので、これらの平面のうちの、平面全体のうち特に右側平面での幾何学的詳細を加える単一のモザイクを利用することができない。平面全体にわたる十分な詳細を与えるという妥協しながらの解決方法をとることができる。これらの平面はそれぞれ、ORTソース平面が動的に交差し、交差線で切断し、サイド三角形状にしなければならない。興味深いことに、高速スプラット方法では、離散モデルをレンダリングするのに適用されるのと同じ方法の実質的に非常に極端な例であるので、複数のORTを補償するのにこのような拡張を必要としない。
【0159】
〔時相シーケンス2D情報〕
3D情報の別のソースは、2D情報レイアウトの経時変化である。このような情報の3Dレイアウトは、時相シーケンスを空間軸の一つとして用いる場合に可能となる。図67を参照すると、時間を表すために空間軸を用いることにより、3D立方体として時間/空間データを配置することを示した一連のダイアグラム6700が示されている。図67では、2D経時データが配置されて3D立方体が形成される。
本方法は、空間/時間風景データを表示および利用するのに用いられてきた。このような2D経時データ情報との相互作用の目的で用いられる暗喩の1つが、フリップブックである。データを立方体として提示する、ただし、2つの軸は空間と第3の時間を表す。これらの軸の1つに垂直に立方体を砕いて開くと、内面が現れ、データ全体の隣接スライスが示される。図68を参照すると、空間/時間風景データのブロックとある瞬間での風景の状態を明らかにするために適用されるORT演算子を示す一連のダイアグラム6800が示されている。立方体を時間軸に垂直に分割すると、面が分割位置での時間内のある段階における2つの空間の広がり状態を表示する。立方体を空間軸の1つで分割すると、風景を横断する線に沿った経時変化が明らかになる。
【0160】
ORTから得られる演算子を、ユーザとこの表示暗喩との相互作用に適用して、本の開いているページの可視性を維持することもできる。ORTを適用するとは、2面のそれぞれが分割位置の操作あるいは観察点のナビゲーション中、可視であり続けることを意味する。図69を参照すると、データ立方体6910における分割部の位置づけをして、ORT演算子を2つの内面6920を明らかにするように適用し、観察点を再位置づけして右面6930のさらに垂直な図を得て、分割部6940を位置づけする新たな点を選択することを示した一連のダイアグラム6900が示されている。開口位置を調整することで、観察者に垂直に方向付けることによって1つの面のより鮮明に観察できるように観察点を再位置づけしつつ、時間または空間における新たな点が明らかになる。
【0161】
ORT演算子は、データ立方体の位置と方向、立方体の開口部、観察点の位置を考慮している。ORTを、立方体を横平面が観察点の相対位置に関係なくORT演算子のソースを形成するよう変更することもできる。本平面とデータ立方体の遠方側との交差からの直線は、ORT関数の適用程度を決定するためのツールとなる。観察点が立方体を分割する平面上にあると、比較的ゆがみが少ない分割による2つの内面が明らかになる。観察点が分割平面から離れたところにあれば、ORT関数の程度を視線が2つの開口面の間にくるよう広げる。
【0162】
ORTのこの本のような構成では、2つの演算モードが可能である。これらのモードは、ハードカバーとソフトカバーの本が機能方法と類似させることによって明らかにすることができる。「ソフトカバー」本として演算する場合、分割によって形成される立方体の2つの部分を観察点から切り離し、これらの2つの部分の隣接面を圧縮して、立方体の遠方面を平面にしておけばよい。「ハードカバー」本として演算する場合、立方体の2つの部分を分割平面と立方体の遠方側との交点を中心に観点させる。図70を参照すると、ハードカバーの外観の場合での本(ブック)モードORTの演算を示す一連のダイアグラム7000が示されている。この場合、2つの部分は切断されず、近接面は圧縮されず、遠方面は湾曲部を横切って2つに分かれる。
【0163】
いずれのモードでも、分割によって形成される2つの部分の相対的なサイズが、ユーザの物理的な本での経験ではよく見られる方法で、データセット内での相対位置についての情報を与えることになる。本の暗喩をさらに助長するために、分割位置を調整するにつれページをめくるよう動かすことも可能である。分割平面を動かすことによってこのような構造をブラウジングすることにより、風景構造の経時変化の確認などのタスクを支援する。
【0164】
〔追加の応用〕
本発明の方法を次のような追加の応用に用いることができる。貯蔵施設の中身の電子表示またはプリントアウトにおける特定の在庫品またはその他の保管されているオブジェクトを明確に観察すること。なお貯蔵施設ではオブジェクトは倉庫または出荷用船舶に配置される棚の列に置かれている;人の群れの電子表示またはその他の表示において、特定の人も含めて観察すること;自動車エンジンの設計などの、ただしこれに限定されることはない、3D機械設計または技術図面内のある部品も含めて観察すること;コンピュータネットワークの3Dネットワークトポロジの様な3Dネットワークトポロジにおいて、ノードも含めて観察すること。
【0165】
繰り返しになるが、本発明は、データレイアウトにおける変換を説明するための枠組みを提供する。これらの変換のレイアウトに与える影響は、レイアウト自体を変化させることとはまったく異なる。これらの変換をそのようなものとして理解するのを支援することは、これらの変換を有効に適用するのに重要な側面である。2Dレイアウト調整方法では、これらの演算子の構造への影響を理解するには、多くの方法で支援することができる。
構造がもともと非常に規則的、たとえば9x9x9格子グラフであれば、ORTのレイアウトへ与える影響は、単一の静止画像であっても容易に明らかになる。データ構造がよりランダム、例えば分子モデルの場合、ORTが行う調整の影響はそれほど容易には明らかにならない。こうした状況で、2次的なより規則的な構造を表示に追加することは、ORTの明確な影響を理解する一助となる。例えば、分子モデルにおける結合経路をORTの影響下で屈曲させて、元の構造に対するレイアウト調整演算子の役割についての追加的な糸口を与えることもできる。
【0166】
ORT演算子は、元のデータレイアウトのかなりの部分に手をつけないで、限定的なレイアウト調整を支援するものである。構成要素の色、尺度、方向などのその他の特性も、ORTの影響下では不変である。直交規則性の維持は支援されるが、同一平面性といった構成要素郡のその他の特性は保持されないかもしれない。
【0167】
これらのゆがみレイアウトの理解は、ゆがみ自体の多くの異なる機構と特性によって支えられるものであってもよい。EPS技術の場合のように、これらのゆがみは可逆性(reversibility)と復帰性(revertability)の両方の概念を支えている。復帰性は、2つの状態が関連しており、人が操作して一方から他方の状態に変え、それを元に戻すことができるという知識であり、可逆性は、2つの状態が何らかの方法で同等であるという考えである。
レイアウトの元の状態とゆがんだ状態との間を移動できるということは、これらの機構の理解を支持する場合の重要な点である。レイアウト調整は空間上拘束されており、観察点が移動すると別の領域がこの影響領域に入って出て行くということは、復帰性の理解をさらに支援するものである。観察点を移動できるまたはレイアウトを再方向付けできるということは、構造の個々の要素を移動させることによって動きフィールドを形成することにつながる。ORTと初期レイアウトとの相互作用は、第2の動きベクトル集合に上書きされる。これらの追加された動きの手がかりは、ORTのソースでは注目領域を取り囲むが、実際のOOIには影響を及ぼさない。2次的動きフィールドでの焦点オブジェクトがこのように孤立していることは、注目すべきオブジェクトの位置をさらに強調するのに役立つ。
【0168】
最後に、2D情報表示のコンテキスト内の詳細ディスプレイを3D情報空間に拡張してもよいが、従来技術は3D表示で生じる注目すべきオブジェクトの遮蔽問題に直接対処していない。また、3Dにおける遮蔽を減少させるための従来技術の方法では、コンテキスト内の詳細結果が得られない。本発明は、2D指向の技術から得られた3Dの独特の問題点に対処するコンテキスト内の詳細観察を形成するためのレイアウト調整方法を提供するものである。
【0169】
発明をある特定の実施例を参照しながら説明してきたが、添付の特許請求の範囲で略述されるような発明の趣旨と範囲を逸脱しない様々な変更が等業者には明らかであろう。
【図面の簡単な説明】
【図1】 本発明の好ましい実施例に記載の、動作中の線形遮蔽減少変換を示す一連の2D断面図である。
【図2】 本発明の好ましい実施例に記載の、2つの遮蔽減少変換を連続的同時に3Dグラフに適用することを示す一連の斜視図である。
【図3】 本発明の好ましい実施例に記載の、遮蔽減少変換を適用しない3Dグラフの回転を示す一連の斜視図である。
【図4】 本発明の好ましい実施例に記載の、遮蔽減少変換が定位置にある状態での3Dグラフの回転を示す一連の斜視図である。
【図5】 本発明の好ましい実施例に記載の、遮蔽減少関数を、直交伸張、直交非線形、放射非線形スキームを含むコンテキスト内の詳細観察についての一般的な2Dレイアウト調整またはゆがみスキームの3Dへの拡張に追加する影響を示す斜視図を含む表の図である。
【図6】 本発明の好ましい実施例に記載の、遮蔽減少変換座標系、ワールド座標系、観察点座標系の2つの整合を示す一連の図である。
【図7】 本発明の好ましい実施例に記載の遮蔽減少変換座標系の様々な面を示す図である。
【図8】 本発明の好ましい実施例に記載の、zにおいて突出するガウスに基づく関数を示す図である。
【図9】 本発明の好ましい実施例に記載の、関数の度数が空間の最端部でゼロに縮尺された、図8のガウスに基づく関数を示す図である。
【図10】 本発明の好ましい実施例に記載の、y=0に対して定義される遮蔽減少変換上のガウス成形関数の影響を示す一連の図である。
【図11】 本発明の好ましい実施例に記載の、pの値を変化させた場合の3DにおけるLpメトリクスにしたがって距離測定を示す一連の図である。
【図12】 本発明の好ましい実施例に記載の、スーパー二次距離メトリクスのパラメータewとnsを変化させた場合の距離空間への影響を示す図を含む表の図である。
【図13】 本発明の好ましい実施例に記載の、様々な異なる遮蔽減少変換によって可能となる遮蔽減少変換記述の範囲を示す簡略斜視概略図を含む表の図である。
【図14】 EPSグラフィック技術と本発明の好ましい実施例に記載の表示の断面図である。
【図15】 本発明の好ましい実施例に記載の遮蔽減少方法を示すフローチャートである。
【図16】 本発明の好ましい実施例に記載のデータ処理システムの一例を示すブロック図である。
【図17】 本発明の好ましい実施例に記載の3D情報表示の3つの分類を示す一連の図である。
【図18】 別の実施例に記載の3D格子グラフを示す図である。
【図19(a)】 別の実施例に記載の、図18の格子グラフに適用する直交伸張レイアウト調整アルゴリズムを示す図である。
【図19(b)】 別の実施例に記載の、観察点と一直線にそろった状態で残るORT演算子としての直交伸張レイアウト調整の適用を示す図である。
【図20】 別の実施例に記載の、OOIを結合する視線に対して定義されるORTを示す図である。
【図21(a)】 別の実施例に記載の、視線がOOIを背景に対して孤立させる鮮明な視線となるOOI全体に延びるORT関数の影響を示す図である。
【図21(b)】 別の実施例に記載の、テーパー状円錐分布を持つORT関数の影響を示す図である。
【図22(a)】 別の実施例に記載の、データ軸に対して、かつ観察点での変化を追跡しない定数演算子の影響を示す図である。
【図22(b)】 別の実施例に記載の、一直線にそろった観察点であるテーパー上演算子の影響を示す図である。
【図23】 別の実施例に記載の、カフェイン分子を示す図である。
【図24】 別の実施例に記載の、図23のカフェイン分子の周りでの観察点の移動を示す一連の図である。
【図25】 別の実施例に記載の、ORTを適用した場合の図23のカフェイン分子の周りの観察点の移動を示す一連の図である。
【図26】 別の実施例に記載の、円錐形ツリーディレクトリ構造の回転を示す一連の図である。
【図27】 別の実施例に記載の、2つのORT演算子を円錐形ツリーディレクトリ内の2つのリーフノードに適用することを示す一連の図である。
【図28】 別の実施例に記載の、円錐形ツリーディレクトリにおけるORT適用後の観察点のナビゲーションを示す一連の図である。
【図29】 別の実施例に記載の、3Dデスクトップ環境を示す図である。
【図30】 別の実施例に記載の、3Dデスクトップ環境でのウィンドウズの配置を示す一連の図である。
【図31】 別の実施例に記載の、3Dデスクトップ環境に適用されるORTの影響を示す一連の図である。
【図32】 別の実施例に記載の、人間の足の骨格モデルを示す図である。
【図33】 別の実施例に記載の、図32の骨格モデルに適用されるORTの影響を示す一連の図である。
【図34】 別の実施例に記載の、図33の骨格モデルの周囲での観察点の移動を示す一連の図である。
【図35】 別の実施例に記載の、骨格モデル内の注目すべきオブジェクトの縮尺の影響を示す一連の図である。
【図36】 別の実施例に記載の、骨格モデルに対するMPT演算子の演算を示す一連の図である。
【図37(a)】 別の実施例に記載の、ORTが適用されない足の骨格モデルを示す側面図である。
【図37(b)】 別の実施例に記載のORTが適用された足の骨格モデルを示す正面図である。
【図38(a)】 別の実施例に記載の、ゆがみが与えられていない足の骨格モデルを示す側面図である。
【図38(b)】 別の実施例に記載の、ゆがみが与えられた足の骨格モデルを示す正面図である。
【図39(a)】 別の実施例に記載の、ORTとMPTの両方が適用された足の骨格モデルを示す側面図である。
【図39(b)】 別の実施例に記載の、ORTとMPTの両方が適用された足の骨格モデルを示す正面図である。
【図40(a)】 別の実施例に記載の、ゆがみが与えられた足の骨格モデルを示す側面図である。
【図40(b)】 別の実施例に記載の、ゆがみが与えられた足の骨格モデルを示す正面図である。
【図41(a)】 別の実施例に記載の、足の骨格モデルの定位置縮尺を示す図である。
【図41(b)】 別の実施例に記載の、足の骨格モデルの透視縮尺を示す図である。
【図42】 別の実施例に記載の、MS患者の頭部に対するMRIのマーチングキューブによって生じる表面画像の形成における、陽子密度層と、T2層と、病変マスクソースの画像を示す一連の図である。
【図43】 別の実施例に記載の、図42のMRIソース画像から得られる表面を示す一連の図である。
【図44】 別の実施例に記載の、図43の陽子密度層表面、T2層表面、病変マスク表面を示す合成図である。
【図45】 別の実施例に記載の、病変層を明らかにし、脳と皮膚の外層を押し戻し、病変マスクの一部が遮蔽なく観察されるようORTを適用することを示す一連の図である。
【図46】 別の実施例に記載の、高速スプラット方法を受けた人間の頭部のデータセットを示す一連の図である。
【図47】 別の実施例に記載の、高速スプラットを受けた人間の頭部のCTデータに垂直平面ソースORTを適用することを示す一連の図である。
【図48】 別の実施例に記載の、UNC頭部データに水平平面ORTを適用することを示す一連の図である。
【図49】 別の実施例に記載の、平面を横切る関数の範囲が打ち切られ、また関数は深さを線形に縮尺されて曲率効果を生むようなUNC頭部データに水平平面ORTを適用することを示す一連の図である。
【図50】 別の実施例に記載の、ORTが注目領域の前方からではなく、データセットの前後の深さを線形に縮尺された可視人間の女性への平面相対ORTを適用することを示す一連の図である。
【図51】 別の実施例に記載の、ガウス関数を示す図である。
【図52】 別の実施例に記載の、図51のガウス関数のヘッシアンを示す図である。
【図53】 別の実施例に記載の、図52のヘッシアンと一直線に並ぶ異方性網目を示す図である。
【図54(a)】 別の実施例に記載の、データ空間軸と一直線に並ぶサンプリング平面を示す図である。
【図54(b)】 別の実施例に記載の、視線を中心とするサンプリング平面を示す図である。
【図55】 別の実施例に記載の、三角網密度の増加を示す図である。
【図56】 別の実施例に記載の、四分の一平面の反射を示す一連の図である。
【図57】 別の実施例に記載の、テクスチャサンプリング網目の半円変形の導入を示す一連の図である。
【図58】 別の実施例に記載の、モザイクテクスチャサンプリング平面のクリッピングと、観察者に垂直にその平面を回転させることを示す一連の図である。
【図59】 別の実施例に記載の、ORTの連続適用によって、ボリューム表示における単一平面に水平成形開口を形成することを示す一連の図である。
【図60】 別の実施例に記載の、ORTの連続適用によって、ボリューム表示における単一平面に垂直成形開口を形成することを示す一連の図である。
【図61】 別の実施例に記載の、成形関数の幅を広げることによってボリュームデータセットの単一のスライスでの水平ORTを拡大することを示す一連の図である。
【図62】 別の実施例に記載の、サンプリング平面の交点が表示空間を横方向に移動すると、テクスチャ空間が静止したままとなるようなテクスチャ変換行列の操作を示す一連の図である。
【図63】 別の実施例に記載の、3Dテクスチャスライシングを受けた可視可能な人間の男性についてのデータセットを示す図である。
【図64】 別の実施例に記載の、可視可能な人間の男性についてのデータセットに有界で、線形に打ち切られた、平面相対水平ORTを適用することを示す一連の図である。
【図65】 別の実施例に記載の、水平ORT関数によって目の後ろで目の間の領域への視覚アクセスを与え、定位置にある可視可能な人間の男性の頭部を前方から左側に回転させることを示す一連の図である。
【図66】 別の実施例に記載の、現在の観察点と一直線の切断面を明らかにするために垂直および水平に並ぶORT関数が適用されたUNC頭部CTデータセットを示す一連の図である。
【図67】 別の実施例に記載の、3D立方体としての空間/時間データの配列を示す一連の図である。
【図68】 別の実施例に記載の、風景の状態を明らかにするために適用される空間/時間風景データのブロックとORT演算子のブロックを示す一連の図である。
【図69】 別の実施例に記載の、データ立方体の分裂の位置決めと、ORT演算子を2つの内面を明らかにするために適用することと、観察点を再位置づけして右顔のより垂直な図を得ることを示す一連の図である。
【図70】 別の実施例に記載の、ハードカバーの外見の本モードORTの演算を示す一連の図である。

Claims (41)

  1. 3次元情報の提示に関するコンテキスト内の詳細の提示を形成するためのコンピュータによる実施方法であって
    a)注目領域のための観察点を選択するステップと、
    b)前記観察点と前記注目領域の間のソース経路を選択するステップと、
    c)情報表示内の領域を、所定の変換関数と所定の成形関数に基づいて前記ソース経路から離して、前記観察点から見るとすべての変位した領域が実質的に見える状態にあり、前記観察点から見ると前記注目領域を遮蔽しないような前記情報表示内の位置に変位させ、これによってコンテキスト内の詳細の提示を生成するステップとを含む、
    ことを特徴とする方法
  2. 前記領域の各々について、前記変位ステップは、
    a)ある領域と前記ソース経路上の最近点との間の方向ベクトルを算出するステップであって、前記方向ベクトルは方向と大きさを有してなるステップと、
    b)前記方向を有し、前記大きさと、前記変換関数と、前記成形関数によって与えられる変位ベクトルの大きさを有する変位ベクトルを算出するステップと、
    c)前記変位ベクトルの大きさによって与えられる方向だけ前記領域を前記方向に変位させるステップとを追加的に含む、
    請求項1記載の方法。
  3. 前記変換関数は、前記ソースに近接する領域を前記経路の末端の前記領域より遠方に変位させ、前記変位ベクトルの大きさは、前記近接領域から前記末端領域までなめらかに減少し、前記経路から最も離れた前記末端領域は変位されない、
    請求項2記載の方法。
  4. 前記変換関数はコンテキスト内の詳細ゆがみ関数を含む、
    請求項1記載の方法。
  5. 前記経路は直線である、
    請求項1記載の方法。
  6. 前記経路は平面である、
    請求項1記載の方法。
  7. 前記平面は前記観察点から前記注目領域までのベクトルを含む平面に平行である、
    請求項6記載の方法。
  8. 前記平面は、前記観察点から前記注目領域までのベクトルを含む平面に垂直である、
    請求項6記載の方法。
  9. 前記平面は、前記観察点から前記注目領域までのベクトルを含む平面に対して回転している、
    請求項6記載の方法。
  10. 前記観察点から前記注目領域までのベクトルに垂直な平面を横切る前記変換関数の分布は、成形関数によって変更される、
    請求項6記載の方法。
  11. 前記成形関数は前記変換関数を一部含むように機能する、
    請求項10記載の方法。
  12. 前記成形関数は一定である、
    請求項10記載の方法。
  13. 前記成形関数はガウス関数である、
    請求項10記載の方法。
  14. 前記成形関数は線形関数である、
    請求項10記載の方法。
  15. 前記成形関数はユーザ定義の曲線である、
    請求項10記載の方法。
  16. 前記注目領域は前記コンテキスト内の詳細のゆがみ関数の焦点である、
    請求項4記載の方法。
  17. 前記コンテキスト内の詳細のゆがみ関数は線形関数である、
    請求項4記載の方法。
  18. 前記コンテキスト内の詳細のゆがみ関数はガウス関数である、
    請求項4記載の方法。
  19. 前記コンテキスト内の詳細のゆがみ関数は半球形である、
    請求項4記載の方法。
  20. 前記コンテキスト内の詳細のゆがみ関数は反転した半球形である、
    請求項4記載の方法。
  21. 前記コンテキスト内の詳細のゆがみ関数は直角三角形である、
    請求項4記載の方法。
  22. 前記コンテキスト内の詳細のゆがみ関数はユーザ定義の関数である、
    請求項4記載の方法。
  23. 前記変換関数は、分布関数によって定義される前記経路に沿った分布を有する、
    請求項1記載の方法。
  24. 前記分布関数はz軸分布関数である、
    請求項23記載の方法。
  25. 前記分布関数は一定である、
    請求項23記載の方法。
  26. 前記分布関数は線形関数である、
    請求項23記載の方法。
  27. 前記分布関数は前記3次元データ表示全体にわたって続き、これによって前記注目領域を孤立させる、
    請求項26記載の方法。
  28. 前記分布関数は短線形関数である、
    請求項23記載の方法。
  29. 前記短線形分布関数の一端は前記注目領域で終了する、
    請求項28記載の方法。
  30. 前記分布関数は打ち切られた関数である、
    請求項23記載の方法。
  31. 前記分布関数は前記注目領域で打ち切られている、
    請求項30記載の方法。
  32. 前記打ち切られた分布関数は前記注目領域の周りにキャップを含む、
    請求項31記載の方法。
  33. 前記キャップは半球形である、
    請求項32記載の方法。
  34. 前記分布関数はユーザ定義の曲線である、
    請求項23記載の方法。
  35. 前記変位ベクトルの大きさは距離メトリクスで定義される、
    請求項2記載の方法。
  36. 前記距離メトリクスはユークリッドメトリクスである、
    請求項35記載の方法。
  37. 前記距離メトリクスはLpである、
    請求項35記載の方法。
  38. 前記距離メトリクスはスーパー二次距離メトリクスである、
    請求項35記載の方法。
  39. 前記距離メトリクスはユーザ定義のメトリクスである、
    請求項35記載の方法。
  40. 前記注目領域は複数の注目領域である、
    請求項1記載の方法。
  41. 前記分布関数は成形関数である、
    請求項23記載の方法。
JP2002525572A 2000-09-06 2001-09-06 3次元コンテキスト(context)内の詳細を観察するための遮蔽減少変換 Expired - Fee Related JP4774187B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CA2,317,336 2000-09-06
CA002317336A CA2317336A1 (en) 2000-09-06 2000-09-06 Occlusion resolution operators for three-dimensional detail-in-context
PCT/CA2001/001256 WO2002021437A2 (en) 2000-09-06 2001-09-06 3d occlusion reducing transformation

Publications (2)

Publication Number Publication Date
JP2004507854A JP2004507854A (ja) 2004-03-11
JP4774187B2 true JP4774187B2 (ja) 2011-09-14

Family

ID=4167024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002525572A Expired - Fee Related JP4774187B2 (ja) 2000-09-06 2001-09-06 3次元コンテキスト(context)内の詳細を観察するための遮蔽減少変換

Country Status (6)

Country Link
US (2) US6798412B2 (ja)
EP (1) EP1316071A2 (ja)
JP (1) JP4774187B2 (ja)
AU (1) AU2001289450A1 (ja)
CA (1) CA2317336A1 (ja)
WO (1) WO2002021437A2 (ja)

Families Citing this family (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6895126B2 (en) 2000-10-06 2005-05-17 Enrico Di Bernardo System and method for creating, storing, and utilizing composite images of a geographic location
CA2328795A1 (en) 2000-12-19 2002-06-19 Advanced Numerical Methods Ltd. Applications and performance enhancements for detail-in-context viewing technology
US8416266B2 (en) 2001-05-03 2013-04-09 Noregin Assetts N.V., L.L.C. Interacting with detail-in-context presentations
CA2345803A1 (en) 2001-05-03 2002-11-03 Idelix Software Inc. User interface elements for pliable display technology implementations
US7084886B2 (en) 2002-07-16 2006-08-01 Idelix Software Inc. Using detail-in-context lenses for accurate digital image cropping and measurement
US9760235B2 (en) 2001-06-12 2017-09-12 Callahan Cellular L.L.C. Lens-defined adjustment of displays
WO2002101534A1 (en) 2001-06-12 2002-12-19 Idelix Software Inc. Graphical user interface with zoom for detail-in-context presentations
US7123263B2 (en) 2001-08-14 2006-10-17 Pulse Entertainment, Inc. Automatic 3D modeling system and method
CA2361341A1 (en) 2001-11-07 2003-05-07 Idelix Software Inc. Use of detail-in-context presentation on stereoscopically paired images
AU2002343688A1 (en) * 2001-11-15 2003-06-10 Nintendo Software Technology Corporation System and method of simulating and imaging realistic water surface
US7251622B2 (en) * 2002-01-16 2007-07-31 Hong Fu Jin Precision Ind. (Shenzhen) Co., Ltd. System and method for searching for information on inventory with virtual warehouses
CA2370752A1 (en) 2002-02-05 2003-08-05 Idelix Software Inc. Fast rendering of pyramid lens distorted raster images
US7296239B2 (en) * 2002-03-04 2007-11-13 Siemens Corporate Research, Inc. System GUI for identification and synchronized display of object-correspondence in CT volume image sets
AU2003226357A1 (en) * 2002-04-10 2003-10-27 Imagine Xd, Inc. System and method for visualizing data
US7250951B1 (en) 2002-04-10 2007-07-31 Peter Hurley System and method for visualizing data
US8120624B2 (en) 2002-07-16 2012-02-21 Noregin Assets N.V. L.L.C. Detail-in-context lenses for digital image cropping, measurement and online maps
CA2393887A1 (en) 2002-07-17 2004-01-17 Idelix Software Inc. Enhancements to user interface for detail-in-context data presentation
CA2406131A1 (en) 2002-09-30 2004-03-30 Idelix Software Inc. A graphical user interface using detail-in-context folding
CA2449888A1 (en) 2003-11-17 2005-05-17 Idelix Software Inc. Navigating large images using detail-in-context fisheye rendering techniques
CA2411898A1 (en) 2002-11-15 2004-05-15 Idelix Software Inc. A method and system for controlling access to detail-in-context presentations
US7698665B2 (en) * 2003-04-06 2010-04-13 Luminescent Technologies, Inc. Systems, masks, and methods for manufacturable masks using a functional representation of polygon pattern
US7480889B2 (en) * 2003-04-06 2009-01-20 Luminescent Technologies, Inc. Optimized photomasks for photolithography
US7124394B1 (en) * 2003-04-06 2006-10-17 Luminescent Technologies, Inc. Method for time-evolving rectilinear contours representing photo masks
US7037231B2 (en) * 2004-03-08 2006-05-02 Borgwarner, Inc. Variable biasing differential
US7486302B2 (en) 2004-04-14 2009-02-03 Noregin Assets N.V., L.L.C. Fisheye lens graphical user interfaces
US20050237336A1 (en) * 2004-04-23 2005-10-27 Jens Guhring Method and system for multi-object volumetric data visualization
US8106927B2 (en) 2004-05-28 2012-01-31 Noregin Assets N.V., L.L.C. Graphical user interfaces and occlusion prevention for fisheye lenses with line segment foci
US9317945B2 (en) 2004-06-23 2016-04-19 Callahan Cellular L.L.C. Detail-in-context lenses for navigation
US7601121B2 (en) * 2004-07-12 2009-10-13 Siemens Medical Solutions Usa, Inc. Volume rendering quality adaptations for ultrasound imaging
US20060022979A1 (en) * 2004-07-27 2006-02-02 Jonathan Sevy Method and apparatus for presenting information with varying levels of detail
US7714859B2 (en) 2004-09-03 2010-05-11 Shoemaker Garth B D Occlusion reduction and magnification for multidimensional data presentations
US7995078B2 (en) 2004-09-29 2011-08-09 Noregin Assets, N.V., L.L.C. Compound lenses for multi-source data presentation
EP1851727A4 (en) * 2005-02-23 2008-12-03 Craig Summers AUTOMATIC SCENES MODELING FOR 3D CAMERA AND 3D VIDEO
WO2006099490A1 (en) * 2005-03-15 2006-09-21 The University Of North Carolina At Chapel Hill Methods, systems, and computer program products for processing three-dimensional image data to render an image from a viewpoint within or beyond an occluding region of the image data
US7580036B2 (en) 2005-04-13 2009-08-25 Catherine Montagnese Detail-in-context terrain displacement algorithm with optimizations
US20060271378A1 (en) * 2005-05-25 2006-11-30 Day Andrew P System and method for designing a medical care facility
US7532214B2 (en) * 2005-05-25 2009-05-12 Spectra Ab Automated medical image visualization using volume rendering with local histograms
JP2007066291A (ja) * 2005-08-02 2007-03-15 Seiko Epson Corp 画像表示方法および画像表示装置、画像表示システム、サーバ、プログラム、記録媒体
WO2007033362A2 (en) * 2005-09-13 2007-03-22 Luminescent Technologies, Inc. Systems, masks, and methods for photolithography
WO2007043293A1 (ja) * 2005-10-03 2007-04-19 Ssd Company Limited 画像生成装置、テクスチャマッピング装置、画像処理装置、及びテクスチャ格納方法
WO2007041600A2 (en) * 2005-10-03 2007-04-12 Luminescent Technologies, Inc. Mask-pattern determination using topology types
US7788627B2 (en) * 2005-10-03 2010-08-31 Luminescent Technologies, Inc. Lithography verification using guard bands
US7793253B2 (en) * 2005-10-04 2010-09-07 Luminescent Technologies, Inc. Mask-patterns including intentional breaks
US7840032B2 (en) * 2005-10-04 2010-11-23 Microsoft Corporation Street-side maps and paths
WO2007044557A2 (en) 2005-10-06 2007-04-19 Luminescent Technologies, Inc. System, masks, and methods for photomasks optimized with approximate and accurate merit functions
US8031206B2 (en) 2005-10-12 2011-10-04 Noregin Assets N.V., L.L.C. Method and system for generating pyramid fisheye lens detail-in-context presentations
JP4201207B2 (ja) * 2005-11-21 2008-12-24 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
JP4566120B2 (ja) * 2005-11-21 2010-10-20 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
WO2007112557A1 (en) * 2006-03-31 2007-10-11 Calgary Scientific Inc. Super resolution contextual close-up visualization of volumetric data
US7983473B2 (en) 2006-04-11 2011-07-19 Noregin Assets, N.V., L.L.C. Transparency adjustment of a presentation
US7693341B2 (en) 2006-04-21 2010-04-06 Apple Inc. Workflows for color correcting images
US8022964B2 (en) * 2006-04-21 2011-09-20 Apple Inc. 3D histogram and other user interface elements for color correcting images
US20070247647A1 (en) * 2006-04-21 2007-10-25 Daniel Pettigrew 3D lut techniques for color correcting images
US8041129B2 (en) * 2006-05-16 2011-10-18 Sectra Ab Image data set compression based on viewing parameters for storing medical image data from multidimensional data sets, related systems, methods and computer products
US7778445B2 (en) * 2006-06-07 2010-08-17 Honeywell International Inc. Method and system for the detection of removed objects in video images
US8560047B2 (en) 2006-06-16 2013-10-15 Board Of Regents Of The University Of Nebraska Method and apparatus for computer aided surgery
US8085990B2 (en) * 2006-07-28 2011-12-27 Microsoft Corporation Hybrid maps with embedded street-side images
GB2440562A (en) * 2006-08-03 2008-02-06 Sony Uk Ltd Apparatus and method of data organisation
US7675517B2 (en) * 2006-08-03 2010-03-09 Siemens Medical Solutions Usa, Inc. Systems and methods of gradient assisted volume rendering
US20080043020A1 (en) * 2006-08-18 2008-02-21 Microsoft Corporation User interface for viewing street side imagery
US7957601B2 (en) * 2006-08-30 2011-06-07 Siemens Medical Solutions Usa, Inc. Systems and methods of inter-frame compression
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
KR101257849B1 (ko) * 2006-09-29 2013-04-30 삼성전자주식회사 3차원 그래픽 객체 렌더링 방법 및 장치, 이를 위한 렌더링객체 최소화 방법 및 장치
US20080088621A1 (en) * 2006-10-11 2008-04-17 Jean-Jacques Grimaud Follower method for three dimensional images
US8483462B2 (en) * 2006-11-03 2013-07-09 Siemens Medical Solutions Usa, Inc. Object centric data reformation with application to rib visualization
US7830381B2 (en) * 2006-12-21 2010-11-09 Sectra Ab Systems for visualizing images using explicit quality prioritization of a feature(s) in multidimensional image data sets, related methods and computer products
US10795457B2 (en) 2006-12-28 2020-10-06 D3D Technologies, Inc. Interactive 3D cursor
US11275242B1 (en) 2006-12-28 2022-03-15 Tipping Point Medical Images, Llc Method and apparatus for performing stereoscopic rotation of a volume on a head display unit
US11228753B1 (en) 2006-12-28 2022-01-18 Robert Edwin Douglas Method and apparatus for performing stereoscopic zooming on a head display unit
US11315307B1 (en) 2006-12-28 2022-04-26 Tipping Point Medical Images, Llc Method and apparatus for performing rotating viewpoints using a head display unit
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8233008B2 (en) * 2007-01-19 2012-07-31 Honeywell International Inc. Method and system for distinctively displaying selected floor with sufficient details in a three-dimensional building model
US8253736B2 (en) * 2007-01-29 2012-08-28 Microsoft Corporation Reducing occlusions in oblique views
US7724254B1 (en) * 2007-03-12 2010-05-25 Nvidia Corporation ISO-surface tesselation of a volumetric description
US7961187B2 (en) * 2007-03-20 2011-06-14 The University Of North Carolina Methods, systems, and computer readable media for flexible occlusion rendering
DE102008012307A1 (de) * 2007-03-27 2008-10-02 Denso Corp., Kariya Anzeigevorrichtung
WO2008147999A1 (en) * 2007-05-25 2008-12-04 Pixar Shear displacement depth of field
US8375312B2 (en) * 2007-06-08 2013-02-12 Apple Inc. Classifying digital media based on content
US8432396B2 (en) * 2007-06-08 2013-04-30 Apple Inc. Reflections in a multidimensional user interface environment
US9026938B2 (en) 2007-07-26 2015-05-05 Noregin Assets N.V., L.L.C. Dynamic detail-in-context user interface for application access and content access on electronic displays
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US9754411B2 (en) * 2007-09-13 2017-09-05 Koninklijke Philips N.V. Path proximity rendering
GB2460411B (en) * 2008-05-27 2012-08-08 Simpleware Ltd Image processing method
US8508550B1 (en) * 2008-06-10 2013-08-13 Pixar Selective rendering of objects
JP4636141B2 (ja) * 2008-08-28 2011-02-23 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8669994B2 (en) * 2008-11-15 2014-03-11 New Bis Safe Luxco S.A R.L Data visualization methods
US8423916B2 (en) * 2008-11-20 2013-04-16 Canon Kabushiki Kaisha Information processing apparatus, processing method thereof, and computer-readable storage medium
JP5470861B2 (ja) * 2009-01-09 2014-04-16 ソニー株式会社 表示装置及び表示方法
FR2941319B1 (fr) * 2009-01-20 2011-05-27 Alcatel Lucent Procede d'affichage cartographique.
DE102009042326A1 (de) * 2009-09-21 2011-06-01 Siemens Aktiengesellschaft Interaktive Veränderung der Darstellung eines mittels Volume Rendering dargestellten Objekts
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US9232670B2 (en) 2010-02-02 2016-01-05 Apple Inc. Protection and assembly of outer glass surfaces of an electronic device housing
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US8881061B2 (en) 2010-04-07 2014-11-04 Apple Inc. Device, method, and graphical user interface for managing folders
US9124488B2 (en) * 2010-04-21 2015-09-01 Vmware, Inc. Method and apparatus for visualizing the health of datacenter objects
US8725476B1 (en) * 2010-05-04 2014-05-13 Lucasfilm Entertainment Company Ltd. Applying details in a simulation
JP5627498B2 (ja) * 2010-07-08 2014-11-19 株式会社東芝 立体画像生成装置及び方法
US8659598B1 (en) * 2010-10-28 2014-02-25 Lucasfilm Entertainment Company Ltd. Adjusting navigable areas of a virtual scene
US8928661B2 (en) 2011-02-23 2015-01-06 Adobe Systems Incorporated Representing a field over a triangular mesh
JP5628083B2 (ja) * 2011-04-13 2014-11-19 株式会社日立製作所 計算機システム、及び組立アニメーション生成方法
US8970592B1 (en) 2011-04-19 2015-03-03 Lucasfilm Entertainment Company LLC Simulating an arbitrary number of particles
EP2515137A1 (en) * 2011-04-19 2012-10-24 UMC Utrecht Holding B.V. Processing a dataset representing a plurality of pathways in a three-dimensional space
US11911117B2 (en) 2011-06-27 2024-02-27 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
CA2840397A1 (en) 2011-06-27 2013-04-11 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US9498231B2 (en) 2011-06-27 2016-11-22 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US8681181B2 (en) 2011-08-24 2014-03-25 Nokia Corporation Methods, apparatuses, and computer program products for compression of visual space for facilitating the display of content
US8913300B2 (en) * 2011-10-04 2014-12-16 Google Inc. Occlusion of vector image data
US8754885B1 (en) * 2012-03-15 2014-06-17 Google Inc. Street-level zooming with asymmetrical frustum
US20130257692A1 (en) 2012-04-02 2013-10-03 Atheer, Inc. Method and apparatus for ego-centric 3d human computer interface
RU2604674C2 (ru) 2012-06-27 2016-12-10 Лэндмарк Графикс Корпорейшн Системы и способы для создания трехмерного текстурного атласа
US9098516B2 (en) * 2012-07-18 2015-08-04 DS Zodiac, Inc. Multi-dimensional file system
US10241638B2 (en) 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
US10105149B2 (en) 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
WO2014185920A1 (en) 2013-05-16 2014-11-20 Empire Technology Development, Llc Three dimensional user interface in augmented reality
GB2515510B (en) 2013-06-25 2019-12-25 Synopsys Inc Image processing method
US10663609B2 (en) 2013-09-30 2020-05-26 Saudi Arabian Oil Company Combining multiple geophysical attributes using extended quantization
US10318100B2 (en) * 2013-10-16 2019-06-11 Atheer, Inc. Method and apparatus for addressing obstruction in an interface
KR102129594B1 (ko) 2013-10-30 2020-07-03 애플 인크. 관련 사용자 인터페이스 객체를 표시
KR102315351B1 (ko) * 2014-10-07 2021-10-20 삼성메디슨 주식회사 영상 장치 및 그 제어 방법
US9488481B2 (en) 2014-10-14 2016-11-08 General Electric Company Map presentation for multi-floor buildings
EP3018633A1 (de) * 2014-11-04 2016-05-11 Siemens Aktiengesellschaft Verfahren zum visuellen Hervorheben von räumlichen Strukturen
US20160267714A1 (en) * 2015-03-12 2016-09-15 LAFORGE Optical, Inc. Apparatus and Method for Mutli-Layered Graphical User Interface for Use in Mediated Reality
US10347052B2 (en) * 2015-11-18 2019-07-09 Adobe Inc. Color-based geometric feature enhancement for 3D models
US10466854B2 (en) * 2016-06-10 2019-11-05 Hexagon Technology Center Gmbh Systems and methods for accessing visually obscured elements of a three-dimensional model
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
WO2018074420A1 (ja) * 2016-10-21 2018-04-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
EP3389265A1 (en) * 2017-04-13 2018-10-17 Ultra-D Coöperatief U.A. Efficient implementation of joint bilateral filter
EP3404620A1 (en) * 2017-05-15 2018-11-21 Ecole Nationale de l'Aviation Civile Selective display in an environment defined by a data set
CN109766069B (zh) * 2019-01-15 2023-05-12 高创(苏州)电子有限公司 辅助显示方法、装置、电子设备及计算机可读存储介质
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
US10891766B1 (en) * 2019-09-04 2021-01-12 Google Llc Artistic representation of digital data
US11210865B2 (en) 2019-10-03 2021-12-28 International Business Machines Corporation Visually interacting with three dimensional data in augmented or virtual reality
US20230118522A1 (en) * 2021-10-20 2023-04-20 Nvidia Corporation Maintaining neighboring contextual awareness with zoom

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09292833A (ja) * 1996-04-26 1997-11-11 Pioneer Electron Corp ナビゲーション装置
US5689628A (en) * 1994-04-14 1997-11-18 Xerox Corporation Coupling a display object to a viewpoint in a navigable workspace

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5432895A (en) * 1992-10-01 1995-07-11 University Corporation For Atmospheric Research Virtual reality imaging system
US5751289A (en) * 1992-10-01 1998-05-12 University Corporation For Atmospheric Research Virtual reality imaging system with image replay
AU2424295A (en) * 1994-04-21 1995-11-16 Sandia Corporation Multi-dimensional user oriented synthetic environment
US6204850B1 (en) * 1997-05-30 2001-03-20 Daniel R. Green Scaleable camera model for the navigation and display of information structures using nested, bounded 3D coordinate spaces
US6160553A (en) 1998-09-14 2000-12-12 Microsoft Corporation Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects and in which object occlusion is avoided
US6842175B1 (en) * 1999-04-22 2005-01-11 Fraunhofer Usa, Inc. Tools for interacting with virtual environments
US6741730B2 (en) * 2001-08-10 2004-05-25 Visiongate, Inc. Method and apparatus for three-dimensional imaging in the fourier domain

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689628A (en) * 1994-04-14 1997-11-18 Xerox Corporation Coupling a display object to a viewpoint in a navigable workspace
JPH09292833A (ja) * 1996-04-26 1997-11-11 Pioneer Electron Corp ナビゲーション装置

Also Published As

Publication number Publication date
WO2002021437A2 (en) 2002-03-14
US6798412B2 (en) 2004-09-28
WO2002021437A3 (en) 2002-05-30
CA2317336A1 (en) 2002-03-06
EP1316071A2 (en) 2003-06-04
AU2001289450A1 (en) 2002-03-22
US20040257375A1 (en) 2004-12-23
US7280105B2 (en) 2007-10-09
JP2004507854A (ja) 2004-03-11
US20020122038A1 (en) 2002-09-05

Similar Documents

Publication Publication Date Title
JP4774187B2 (ja) 3次元コンテキスト(context)内の詳細を観察するための遮蔽減少変換
US8675955B2 (en) Method and system for transparency adjustment and occlusion resolution for urban landscape visualization
US8106927B2 (en) Graphical user interfaces and occlusion prevention for fisheye lenses with line segment foci
US9299186B2 (en) Occlusion reduction and magnification for multidimensional data presentations
US5689287A (en) Context-preserving display system using a perspective sheet
US7995078B2 (en) Compound lenses for multi-source data presentation
Fuhrmann et al. Real-time techniques for 3D flow visualization
US6222557B1 (en) Navigation system and method for viewing a 3D data landscape
Chen et al. Manipulation, display, and analysis of three-dimensional biological images
US9053574B2 (en) Calibrated natural size views for visualizations of volumetric data sets
Kouřil et al. Labels on levels: Labeling of multi-scale multi-instance and crowded 3D biological environments
Cowperthwaite Occlusion resolution operators for three-dimensional detail-in-context.
Spindler et al. Camera textures
Bruckner et al. Illustrative focus+ context approaches in interactive volume visualization
CA2421378A1 (en) 3d occlusion reducing transformation
KD et al. Recent Trends in Virtual Reality and Computer Graphics
Tory et al. Exovis: An overview and detail technique for volumes
CN114005513A (zh) 一种mip投影cpu算法
JPS61195468A (ja) 画像表示方法
Bitter Volume visualization of object interiors
Thumann Multi-resolution photo-realistic three-dimensional models
Chen et al. Software And Hardware For 3-D Gray Level Image Analysis And Quantization
JPS61195467A (ja) 画像表示方法
CA2242110A1 (en) Navigation system and method for viewing a 3d data landscape

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080901

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20101110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20101110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110627

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4774187

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees