JP6883177B2 - 解剖学的アイテムのコンピュータによる視覚化 - Google Patents

Description

本発明は、コンピュータ作業を改善するためのシステム及び技法であって、ヒト及び他の動物の器官などの身体部分のモデルを観察及び操作するためのシステム及び技法に関する。

医用画像工学は、医師及び研究者が被験動物の身体内部の体内アイテムを視覚化することを可能にする。そのような画像工学は一般に、特定の深さにおいて身体を通るスライスの二次元表現、又は二次元平面上への全身の投影（例えばＸ線を用いるもの）を提供する。典型的な現代のデジタル画像技法には、磁気共鳴画像法（ＭＲＩ）及びコンピュータ断層撮影（ＣＴ）の走査法が挙げられる。より敏速な解釈のために着色可能な画像を生じることに加えて、そのような走査法は、様々な方式で自動的に解析かつ操作することが可能なデータファイルを生成することもできる。例えば、画像データは、特定の患者のための歯科的及び整形外科的処置に使用される３Ｄ治具を構築するために使用されうる。

本発明は、コンピュータ作業を改善する。

概要
本文書は、コンピュータを用いる視覚化システムのユーザがヒト及び他の動物由来の器官（例えば心臓及び接続した血管系）のような解剖学的アイテムを操作及び視覚化することが可能であるシステム及び技術について述べる。そのような解剖学的アイテムのモデルは、磁気共鳴画像（ＭＲＩ）装置及びコンピュータ断層撮影（ＣＴ）装置により生成されたデジタルデータを得ることなどによって、実際の対象者の医用画像から得られうる。そのようなデータは、撮像機器がアイテムを一層ずつ走査したので、該アイテムの様々な層における多数の二次元画像によって表現されうる。ここで述べるシステムは、２つの異なる医用画像モダリティに由来する、解剖学的アイテムにおける画像又はモデルにおいて、共通の場所を同定することが可能であり、データの組合せを生成する場合もあり、また解剖学的アイテムの寸法をほぼ反映する線又は点の３Ｄメッシュを生成する場合もある。次いで該システムは、メッシュから３Ｄモデルを生成しうる。

加えて、画像データは、解剖学的アイテムの運動の様々な時点で、例えば解剖学的アイテムが心臓である場合は心拍１サイクルの間に１２回程度の時点で、取り込まれうる。様々な時点に由来するそれらのデータは、各時点についての三次元モデルを生成するために使用されてもよく、またそれらの三次元モデルは、四次元モデル（すなわち３つの空間的次元＋時間）を作出するために繋ぎ合わされてもよい。

そのようなモデルは、研究者又は臨床医が、利便性の良い、比較的低費用の、かつ直観的な方式で解剖学的アイテムを解析及び操作することを可能としうる。簡単な例として、医師は特定の患者についての画像を注文することが可能であり、かつ様々な角度から患者の心臓を観察するために立体視ゴーグルを着用してもよい。医師はさらに、患者の心臓を、例えば心房を水平に横切って切断し、次に心臓弁の動き及び密閉を見るため心臓を上部から見下ろして、内側から見るために、モデルに切断面を導入してもよい。いくつかの実施形態において、同じ解剖学的アイテムの多数のモデルが、ユーザが該アイテムをより良く理解するのを支援するために表示されてもよい。例えば、画像化は、手術又は他の医療手技、例えばステントのような医療用デバイスの移植若しくは電気除細動が、患者に対して実施される前及び後の両方において患者に対して実施されうる。その後、解剖学的アイテムの三次元又は四次元モデルは互いに隣接して３Ｄ空間に表示されてもよく、また該アイテムに関するユーザ（例えば治療を行う医師）による行為は両方のモデルに同時に反映されてもよい。例えば、ユーザが手術後のモデルにおいて心房の内側又はある特定の血管系の内側を見るために切断面を適用する場合、手術前のモデルは（それぞれのモデルが共通の基点に対して位置判定及び配向された状態で）同じ場所に適用された平面を有することができる。同様に、４Ｄモデルが、１以上の３Ｄモデルであって同じ画像データに基づくもの（又は該モデルのうちのいくつかが同じ器官又は他の身体部分についての異なる時間に由来する画像データを使用しうる場合のもの）と同時に表示されてもよい。３Ｄモデルは、全てのモデルについてユーザ入力に応じて互いに協調してパン、ズーム、回転、クリッピングがなされうるが、それらがアニメーション化されないという点では動かないとみなされうる。このようにして、例えば、医師が患者の心臓弁の働きを４Ｄ投影図で見て、かつ同時に弁が閉止している心臓を示す３Ｄ投影図を視認することが可能であり、これによって、医師が弁の閉止の程度を見ることが可能であるとともに、弁がどのような理由でその通り道を閉止しているかを機械的に判定する試みのために周期動作（繰り返されるＧＩＦファイルの表示に類似のもの）を観察することが可能であるように、時間と共に繰り返される４Ｄ表現に隣接して表示された特定の時点における３Ｄ表現を備えて見る、ということも考えられる。

さらに、医師又は他のユーザは、投影された３Ｄモデル上の空間の異なる地点を選択してもよく、システムは、それらの地点の間の距離をコンピュータ計算してもよいし、それらの地点付近の開口部の縁部をスナップ撮影して該開口部の直径、面積若しくは半径をコンピュータ計算してもよいし、及び／又は、他の同様の測定を実施して例えばモデルに測定値を表すアルファベット数字式の文字を注釈付けすることなどにより測定値をユーザに伝達してもよい。測定値は、動く４Ｄモデル用に、例えばユーザが選択した地点における動きの範囲にわたる最大及び最小寸法を表わす数値によって、表現されてもよい。

さらに、モデルと該モデルに導入される外部アイテムとの相互作用について概観及び研究がなされてもよい。例えば、医療用デバイスが、該デバイスを解剖学的アイテム内の通行可能な通路に挿入することなどにより、解剖学的アイテムに導入されてもよい。デバイスが移動せしめられるにつれて、医師又は研究者は該デバイスがモデル内の組織に干渉するかどうか、及びどの程度まで干渉するかを判断することが可能である。例えば、システムは、モデルにおいて、患者の心臓の中に入る血管系を通る通行可能な経路を同定するようにプログラムされてもよく、また該経路の中心線に沿ったモデル化表現としてスプライン曲線を挿入することが可能である。幾何学的構成物、例えば計画された移植式医療用デバイスの直径ほどであるように設計された二次元の円、又は屈曲可能なステント（可撓性の円筒状物）についてのそのような３Ｄモデルなどが、該曲線の長さに沿って走行せしめられてもよい。システムは、解剖学的モデル及びデバイスのモデルの場所を追跡し、それらがどの時点で接触するかを判定する場合もある。

接触が生じた場合、システムはそれを認め、かつ接触地点周辺の任意のものについて機械的解析及び材質解析の両方を実施することができる。例えば、機械的解析については、システムは、有限要素解析技法を使用してモデル中に組織の変形を生じさせることが可能であり、また、応力に応じて動いている（かつ恐らくは表示される組織の色を変えて新しい色が特定の地点における組織に対する応力又は歪みのレベルに相当している）組織を示すためにモデルの表示を変化させることも可能である。システムはさらに、コンピュータ計算された組織からの力に応じてデバイスを変形することも可能であり、かつ変形したデバイスをアニメーションにて図表式で表示すること並びに生成及びセーブすることのうち少なくともいずれかを行い、デバイス及び組織に対する力並びにそれぞれの変形に関するパラメータの英数字表現を表示することもできる。システムは、計算流体力学を使用してデバイスの周りの流体の流れを同時にコンピュータ計算することも可能であり、またその流れの視覚的表現（例えば流れの方向及び速度を示す流れ線の投影）が４Ｄ視覚モデルに補足されてもよい。材質解析については、システムは、解剖学的アイテムの通常の働きによって引き起こされる電気的及び化学的変化を同定することが可能であり、またそれらの変化を、組織に対する導入された医療用デバイスの影響を反映するように調整することができる。１例として、医療用デバイスは心臓を通る電荷の伝播を変化させる可能性があり、ＦＥＡ又は他の技法は電気的な伝播をモデル化するために使用されうる。同様に、薬物が例えば薬物溶出性の医療用デバイスなどによって組織に適用される場合、組織の材質特性に対する薬物の影響も計算されて、導入された医療用デバイスに対する組織の反応を示すためのモデルにおいて使用されてもよい。以下に議論されるもののようなプロセスにおいて、様々なシミュレーションは、材料、形状、及び寸法のうち少なくともいずれかを変えて（例えば直径及び長さのうち少なくともいずれかを常に増大させて）医療用デバイスを選択することと、個々のそのようなシミュレーションについての機械的（例えば応力）、電気的、又は化学的な値を判定することとによって実施されうる。プロセスはその後、シミュレーションのうちのいずれが、ユーザにとって興味深い機械的パラメータ、電気的パラメータ、及び化学的パラメータのうち少なくともいずれかについて最高又は最低の値を伴って実施されたかを作業者に示すことができる。又は、ユーザが任意のそのようなパラメータについて閾値を指定してもよく、かつシミュレーションが、いずれの与えられた入力が適格となるかを判定するために実施されてもよい。例えば、医師は、医療用デバイスが移植されることになっている場合に該デバイスが組織に対してかけうる最大応力を設定することが可能であり、シミュレーションは、所定の閾値が満たされるまで多様な大きさの次第に大型となるデバイスについて実施されうる。医師はその後、閾値を越えることなくシミュレーションを通った最後の大きさのデバイスを使用することができる。

視覚化及び操作は、医師、研究者、及びその他の者によって、手技についてより良く理解するために、また他者がそれをより良く理解するのを支援するために、使用されうる。例えば、医師は、練習の目的で手技をシミュレートするため、特定の医療用デバイスが患者において上手く収まるか又は上手く搭載されるかどうかを判断するため、かつ、患者と最も良く連動するデバイス（例えば心臓弁）の大きさを同定するために、そのようなモデルを使用してもよい。医師は、その手技に関して（例えばその手技が行われる前に）特定の患者を教育するために、シミュレートされた心臓又は他の解剖学的アイテムと該医師とのやりとりを見るように該患者に依頼してもよい。同様に、医療用デバイスの会社又は専門の医師は、他の医師に新しい手技を訓練するために、例えば、専門の医師が最初にモデルに対して手技を１回以上実施し、次に訓練生の医師がその手技を試みるように勧めることができる場合に、そのようなシミュレーションを使用してもよい。そのようなシミュレーションは、特定の患者についてのデータを背景にせずとも有用な場合もあり、かつモデルは、例えば政府の認可のための新しい医療用デバイスの試験の際などに、平均的患者又は理想化された患者（又は多数の理想化された患者、例えば５人の異なる患者が自身の器官について異なる代表的寸法及び他のパラメータを有しているなど）を表わす場合もある。例えば、典型的な心臓が、多数の異なる患者由来の数多くの心臓の画像化からのデータの平均を使用してモデル化されてもよく、かつそのような典型的な心臓は、政府の許認可機関に対して新しいデバイス又は技法の実現可能性を実証するために医療用デバイス会社によって使用されてもよい。

ある特定の実施形態において、そのようなシステム及び技法は１以上の利点を提供しうる。例えば、研究者及び臨床医は、身体と共同作業するための医療用デバイスをより上手く設計することも可能であるし、特定の患者の身体に関して特定の医療用デバイスをより上手く選択し、大きさを合わせ、又は操作することもできる。そのような視覚化は、複雑な手技のための「ドライラン」、並びに、その手技についての患者への説明及びその手技の実施における他者の訓練のうち少なくともいずれかの機会、のうち少なくともいずれかとして使用されうる。ＦＥＡがそのような手術において使用される場合、患者の組織の伸展性（compliance）がモデル化されて、その結果として該組織が、例えば身体内への仮想医療用デバイスの導入に応答して変形することなどにより、ユーザ（例えば医師）が該組織にかける力と相互作用するようにすること（例えばその結果として、研究者又は医師が、移植時にどれくらいしっかりとデバイスが固定されるかが分かるように、又は漏れを生じる恐れのある何らかの間隙がデバイスの周りに存在するかどうか確かめることができるようにすること）もできる。

１つの実施形態では、コンピュータで実施される医療用視覚化方法において、特定の哺乳動物の解剖学的アイテムの三次元モデルを同定するステップと；コンピュータで実施される視覚化システムを用いてかつ解剖学的アイテムの同定された境界に従って、解剖学的アイテムを通る三次元空間内の経路を自動的に同定するステップと；経路に対応する滑らかな曲線を同定するステップと；解剖学的アイテム、及び滑らかな曲線に沿って移動せしめられるアイテムの視覚的表現を、三次元視覚化システムを用いてユーザに表示するステップと、を含んでなる方法が開示される。該方法はさらに、経路に沿ってスプライン曲線を重ね合わされた解剖学的アイテムをユーザに表示するステップであって、スプライン曲線は解剖学的アイテムとは対照的な色で表示されるステップを含むことも可能である。加えて、該方法は、解剖学的アイテム内の通行可能な空間を通る経路に沿った複数の地点のうち個々の特定地点について、特定地点の周囲において共通の平面上に複数の視線を生成することと；複数の視線それぞれの、特定地点から解剖学的アイテムの境界までの長さを判定することと、を含んでなる作業を自動的に実施するステップを含んでなることもできる。複数の視線は、特定地点の周囲で平面において互いから等しくｎ度の間隔を置いて配置可能である。さらに、該方法は、滑らかな曲線を規定する地点を、解剖学的アイテムの内部空間の中心にあるとして複数の視線によって示された位置に配置するステップを含むことができる。

いくつかの態様では、解剖学的アイテムは心臓の部分を含んでなり、滑らかな曲線に沿って移動せしめられるアイテムは三次元の医療用デバイスを含んでなり、かつ滑らかな曲線は医療用デバイスが心臓の中へ導入される経路を表わす。さらに、滑らかな曲線に沿って移動せしめられるアイテムは、コンピュータシステム内の規定の機械的特性を有する規定の三次元物体であってよく、規定の機械的特性は、滑らかな曲線に沿った運動の間に該アイテムに関連した値をコンピュータ計算するために使用可能である。方法は、滑らかな曲線に沿って移動せしめられるアイテムが解剖学的アイテムの三次元モデル中の組織と接触するかどうかを自動的に判定するステップをさらに含みうる。いくつかの態様では、滑らかな曲線に沿って移動せしめられるアイテムが解剖学的アイテムの三次元モデル中の組織と接触すると判定し次第、該方法は、規定の形状を有するアイテムによって解剖学的アイテムに与えられる力に基づいた有限要素解析を実施し、かつ組織内における変化を表現することが可能である。

ある特定の態様では、滑らかな曲線に沿って移動せしめられるアイテムは、スプライン曲線に沿った長さを有する三次元アイテムである。さらに、解剖学的アイテムの三次元モデルは、１以上の医用画像システムによって取り込まれた解剖学的アイテムの画像化された二次元スライスを表わすデータを得ることと；二次元スライスにおいて同定された地点から中間的な三次元表現を生成することと；中間的な三次元表現から三次元モデルを生成することと、を含んでなる作業によって生成可能である。該方法はさらに、解剖学的アイテムの運動を示すために、解剖学的アイテムの三次元モデルのアニメーションであって現実の解剖学的アイテムを密接に関係した様々な時間に画像化することにより得られたフレームから成るアニメーションを、表示するステップを含むことも可能である。アニメーションは、解剖学的アイテムの運動と協調した、滑らかな曲線に沿って移動せしめられるアイテムの動きの表示を、該アイテムが滑らかな曲線に沿って移動せしめられていない時でも含むことが可能である。さらに、該方法は、解剖学的アイテムの三次元モデル内の場所を同定しているユーザからの入力を受信するステップと、同定された場所によって表わされるモデル内の距離をユーザに提示するステップとを含んでなることが可能である。

１以上の実施形態の詳細について、添付の図面及び以下の説明において述べる。その他の特徴及び利点は、この説明及び図面から、並びに特許請求の範囲から明白となろう。

視覚化システムと対話しているユーザを示す概念図。 例証となる視覚化システムのブロック図。 視覚化システムに表示された解剖学的特徴と対話するための実例のプロセスの流れ図。 視覚化システムに表示された解剖学的特徴と対話するための実例のプロセスの流れ図。 視覚化システムに表示された解剖学的特徴と対話するための実例のプロセスの流れ図。 視覚化システムに表示された解剖学的特徴と対話するための実例のプロセスの流れ図。 視覚化システムに表示された解剖学的特徴と対話するための実例のプロセスの流れ図。 視覚化システムに表示された解剖学的特徴と対話するための実例のプロセスの流れ図。 視覚化システムに表示された解剖学的特徴と対話するための実例のプロセスの流れ図。 視覚化システムに表示された解剖学的特徴と対話するための実例のプロセスの流れ図。 視覚化システムに表示された解剖学的特徴と対話するための実例のプロセスの流れ図。 視覚化システムに表示された解剖学的特徴と対話するための実例のプロセスの流れ図。 患者の身体の一部、例えば器官などとともに用いるための視覚化システム用のユーザインターフェースを表す図。 患者の身体の一部、例えば器官などとともに用いるための視覚化システム用のユーザインターフェースを表す図。 患者の身体の一部、例えば器官などとともに用いるための視覚化システム用のユーザインターフェースを表す図。 患者の身体の一部、例えば器官などとともに用いるための視覚化システム用のユーザインターフェースを表す図。 患者の身体の一部、例えば器官などとともに用いるための視覚化システム用のユーザインターフェースを表す図。 患者の身体の一部、例えば器官などとともに用いるための視覚化システム用のユーザインターフェースを表す図。 患者の身体の一部、例えば器官などとともに用いるための視覚化システム用のユーザインターフェースを表す図。 患者の身体の一部、例えば器官などとともに用いるための視覚化システム用のユーザインターフェースを表す図。 患者の身体の一部、例えば器官などとともに用いるための視覚化システム用のユーザインターフェースを表す図。 患者の身体の一部、例えば器官などとともに用いるための視覚化システム用のユーザインターフェースを表す図。 患者の身体の一部、例えば器官などとともに用いるための視覚化システム用のユーザインターフェースを表す図。 患者の身体の一部、例えば器官などとともに用いるための視覚化システム用のユーザインターフェースを表す図。 解剖学的アイテムのようなアイテムを操作及び視覚化するための仮想デスクトップを表現したものを示す図。 解剖学的アイテムのようなアイテムを操作及び視覚化するための仮想デスクトップを表現したものを示す図。 解剖学的アイテムの縁部から３Ｄスプライン曲線までの距離のコンピュータ計算を概略的に示す図。 解剖学的アイテムの縁部から３Ｄスプライン曲線までの距離のコンピュータ計算を概略的に示す図。 本明細書に記載された技法を実施するために使用可能なコンピュータデバイスの実例を示す図。

様々な図面における同様の参照記号は同様の要素を示す。
詳細な説明
本文書は、ヒトの心臓及び血管系並びにその他の器官のような、医療手技が施されることの多い動物の解剖学的特徴を視覚化するための、システム及び技法について述べる。視覚化とは、３Ｄレンダリング又はアニメーション化レンダリングを現実感とともに観察するための立体視ゴーグル又は他の機構を着用しているユーザが観察するための３Ｄ投影像、及び心臓の鼓動全体のような器官の周期動作を示す４Ｄアニメーションであって、該４Ｄアニメーションの各フレームは適切な解剖学的特徴が画像化される間の対応する適切な時点でのデータ収集から生成されうる４Ｄアニメーション、を生成することを含みうるものである。

ユーザは、様々な方式で解剖学的特徴のモデルと対話しうる。例えば、ユーザはモデルを拡大表示及び縮小表示並びに回転させて、様々な角度及び様々な距離からそれを観察するように見えるようにすることが可能である。ユーザは、複数かつ同時に存在する非平行面などの切断面をモデルに適用して、（例えば血管系の内部又は心臓若しくは肺の内側の働きを見るために）モデルの内部断面を見ることが可能であるようにすることもできる。ユーザは、例えばシステムがモデル内外に幾何学的構成物を付加するようにすることなどによってモデル上に「描画する」こともできる。例えば、システムは、モデル中で血管系を通り抜け、そして心臓の中へ入るスプライン曲線を構築することができる。そのような追加の幾何学的構成物及びモデルに関するその他のメタデータは、該モデルに関連してシステムによって格納され、その結果、モデルが閉じられてその次に続いてコンピュータシステム上で開かれたときに該メタデータが（例えばモデル上の図表式及び英数字式のうち少なくともいずれかの注釈として）直ちに表示されうるように、又は少なくともデータを再定義する必要なしにユーザが直ちに利用可能となるようになされてもよい（例えば、スプライン曲線に沿って移動せしめられるべき医療用デバイスに関するパラメータがそうであろうように、スプライン曲線の道筋がセーブされて、ユーザがその後のセッションのためにモデルを開いた時にそれらの特徴が先在しうるようになっていてもよい）。

他の実施例において、システムは、複数のデータセットを同期させる能力など、各データセット中に３つ以上のマーカーを備えて規定の座標系に対して最も良くフィットするレジストレーションを作出及び位置調整することができる場合もある。例えば、ユーザは、座標系を関連させるために心臓上の３つの基準点を選択し、別の心臓を用いて同じことを行い、そしてシステムが、この２つの心臓をともに共通の座標系において協調して表示して動かすためにそのような選択を使用してもよい。換言すれば、２つの心臓は、操作のために互いに固定されて、一方のモデルをパン又は回転することにより他方のモデルの同等のパン又は回転が引き起こされるようになっていてもよい。ある例では、モデルのうち一方は４Ｄであり、他方は３Ｄ、例えばその４Ｄアニメーションからの固定フレームなどであってよい。

別の例において、多数のアニメーション化されたモデルが表示されてユーザによる対話が同時になされてもよい。例えば、健康な器官のモデルが、特定の患者の器官（例えば心臓又は肺）のモデルに隣接してアニメーションで示されてもよい。この２つのモデルは、上記に議論されるような配置状態においても（例えば、一方がユーザにより回転せしめられると他方は自動的に同じように回転する）、かつさらにそれらの周期動作の場所及びタイミングにおいても互いに固定されて、例えば、その結果として２つの心臓のモデルが心収縮期及び心拡張期のうち少なくともいずれかを同時に開始するようになっていてもよい（アニメーションが１回の心拍又は設定回数の心拍の間中繰り返し周期動作し、次いで再び開始する場合）。医師は、患者の器官における異常をより十分に見るために、両モデルの動的活動のそのような表示を使用することも考えられる。

図１は、視覚化システム１００と対話しているユーザを示す概念図である。一般に、システム１００は、ユーザ１１０がヒトの心臓の形をしたヒト器官のような解剖学的アイテムのモデルの３Ｄ表現１１２を見ることのできる環境を提供する。３Ｄ表現は、コンピュータシステム１０４の制御下でスクリーン１０２上にコンピュータ生成された画像を投影することにより生成される。ユーザ１１０は、スクリーン１０２の前に水平に据え付け可能でありかつユーザ１１０が利用可能ないくつかのメニュー選択項目と一緒にアイテムの付加表示を備えうる、タッチタブレット１０６を通してコンピュータシステム１０４と対話しうる。例えば、タッチタブレット１０６に１以上の線が提示されてもよく、ユーザは、特定の線の端に触れてタッチタブレット１０６のスクリーンに接触してドラッグすることにより、タッチタブレット１０６を横切って線をスライドさせることができる。そのようなドラッグ操作により、線がモデルの３Ｄ又は３Ｄ表現と交差せしめられてもよく、かつコンピュータシステム１０４がモデルに切断面を適用するようにされて、ユーザ１１０がモデルの内側部分を見ることができるようになされてもよい。

ユーザ１１０及びユーザ１１０が着用した立体視メガネ１０８に向けられたカメラとして実施可能なセンサ１１４は、モデルの３Ｄ提示をユーザにとってより現実的にするようにユーザの頭の位置を追跡するために使用されうる。例えば、センサ１１４は、ユーザ１１０が自身の頭を傾けるか又はスクリーン１０２の前で横方向に移動するときに認識しうる。例えば、そのような感知された動きは、ユーザ１１０が左へ移動したと判定されたときに表示を右に回転させるなど、コンピュータ１０４がモデル１１２の表示を調整する結果をもたらして、ユーザが自分はモデルの周りで左にわずかに移動済みであり、かつモデルの一部分の中を一層よく見下ろすことが可能であるという視覚的印象を受け取るようになっていてもよい。

タッチタブレット１０６以外の様々な機構もユーザ１１０からの入力を得るために使用されうる。例えば、スタイラス１１６がユーザ１１０によって握られて、その位置がセンサ１１４又は他の感知機構によって感知されてもよい。例えばスタイラス１１６はその場所が識別されるようにして、システム１００が、ユーザ１１０の方に向いている仮想線をあたかもその線がスタイラス１１６の端部から外へと伸びているかのように投影してもよい。ユーザ１１０はその仮想線を動かしてモデルと接触させてもよく、また例えばスタイラス１１６の側面のボタンをクリックすることなどにより、モデル１１２をつかむように選択することができる。ボタンを押し下げている間のユーザによるその後のスタイラス１１６の動きにより、ユーザ１１０の前の空間でモデルを動かすこともできる。例えば、ユーザ１１０がボタンを押し下げている間に自身の顔に向けてスタイラス１１６を引けば、モデルは該モデルがユーザ１１０の顔に近づけられているように見えるように、より大きくなるようにもなされうる。別例として、ユーザがスタイラス１１６のボタンを押している間に自身の手首を回転させれば、モデルが同様の方向に回転せしめられて、その結果ユーザがそれ以前にはユーザに見えなかったモデル１１２の他のエリアを見るために該モデルを操作できるようになっていてもよい。その他の直観的な身振りもモデルを操作するためにユーザ１１０によって使用されうる。例えば、ユーザは、心臓を通り抜ける通路を規定するために心臓の通行可能なエリアを通る線を描くことなどによって、モデル１１２のエリア内に線、曲線、又はその他の幾何学的構成物を描くためにスタイラス１１６を使用してもよい。そのような線は、モデル１１２が提示されている色と対照をなす色で提示されて、ユーザ１１０がモデル全体に付加した線及びその他の幾何学的構成物をユーザ１１０が容易に見ることが可能であるようになっていてもよい。

さらに他の機構もシステム１００と対話するために使用されうる。例えば、ユーザ１１０は、スタイラス１１６の役割と同様の役割を果たすグローブを着用してもよい。例えば、ユーザはグローブを着用してモデル１１２をつかむために手を伸ばし、かつモデル１１２の表示は該表示をユーザ１１０が実際にモデルをつかんでいる場合のようにユーザ１１０に見えるようにして、その結果ユーザが、例えば、モデルを左若しくは右に回転させるか、又はモデルを自分から離れるように若しくは自分に向かうように押すことができるようになっていてもよい。そのような入力機構は、ユーザに触覚フィードバックを適用するための機構を備えることもできる。例えば、スタイラス１１６又はグローブは、ユーザがモデルをつかんだか又はモデル上の１つのエリアから別のエリアに移動したと判定されたとき、システムがユーザのそのような行為を記録したことをユーザ１１０に確認するように、エネルギーを与えられる触覚型クリック機構を有してもよい。特定の実施形態については、以下図５Ａ及び５Ｂにおいてより詳細に議論されるのを見ることもできる。

図２は例証の視覚化システム２００のブロック図である。システム２００は、図１のシステム１００の構成要素を実装してもよいが、多次元レンダリングを生じるために使用されるコンピュータシステムの特定の構造的構成要素が、説明をさらに明瞭にするためにここでより詳細に示されている。

システム２００は、本例において、３Ｄ表示能を有する標準的な投影型テレビシステムの形態の画像システム２０４を駆動するコンピュータシステム２０２を含んでなる。そのような駆動の結果は、臨床医若しくは医学研究者又は患者のようなユーザが、モデルを観察し、かつ上記及び下記に議論されるもののような様々な方式でモデルと対話しうる場であるエリア内の、３Ｄモデル２０６の表示である。そのような表示及び対話を可能にするために、コンピュータシステム２０２は互いに対話するいくつかの構造を備えている。

実時間モデル２０８は、ヒト又は他の動物の心臓又は他の器官のような解剖学的アイテムの１以上のモデルに関するデータにアクセスし、かつ該モデルについてコンピュータ計算を実施し、２つはモデルの正確な視覚的レンダリングを生じることが可能な生成データである、システム２００のモジュールである。例えば、実時間モデル２０８は、モデルの定義を受け取るための、並びにモデルに対する様々な作業、例えばモデルの歪曲、モデルのクリッピング、モデルと他のモデルとの混成、及び他の同様の作業などを実施するための機構を備えうる。

実時間モデル２０８からの情報はレンダーエンジン２１２に提供されてもよく、該レンダーエンジンは、ソフトウェア、ハードウェア、又はこの２つの組合せとして実施されうる。例えば、レンダーエンジン２１２は、１以上のグラフィック処理ユニット及び関連する回路構成、例えばパーソナルコンピュータ又はミニコンピュータに提供された市販のグラフィック処理カード上に搭載されたものなどを備えうる。レンダーエンジン２１２は、２Ｄ、３Ｄをモデル化するための標準的なプロトコール及び定義に従って作動し、かつ４Ｄ表示（４Ｄ表現）のために材料をアニメーション化することができる。例えば、レンダーエンジン２１２は、モデル２０６のフォトリアリスティックな表示を生成するためのシェーディング及びその他の既知技法を適用することができる。

有限要素解析・計算流体力学アナライザ２１０は、解剖学的アイテムが伸展性を伴って提供される必要がある場合に実時間モデル２０８によって参照されて、ユーザによってかけられた該アイテムへの応力が、コンピュータ計算上予測可能な方式でアイテムの変形をもたらすか、又は解剖学的アイテムについて組織の変形をもたらすようになっていてもよい。例えば、システム２００のユーザは、ステント又は類似のデバイスのような医療用デバイスの３Ｄモデルを呼び出して、該デバイスを動かしたりモデル２０６を通して移動させたり、又はモデル２０６の中の特定の場所に配置したりすることができる。そのような配置又は移動は、該デバイスとモデル２０６の中の組織との接触を引き起こしうるものであり、アナライザ２１０は、デバイスによって組織に加えられた力及びそのような力に対する組織の反応をコンピュータ計算するために使用されうる。例えば、メッシュ型ステントのモデルは患者の脈管構造のモデルの壁に対して拡張せしめられることがあり、システム２００によってなされた表示における脈管構造の色は、壁上の応力又はひずみが最も大きいか又は最も小さい場所を強調するために、例えばヒートマップであってその様々な色が応力又はひずみの特定の度合いを表しているヒートマップを生成することにより、変化してもよい。

有限要素解析・計算流体力学アナライザ２１０は、機械的、電気的、及び化学的すべての解析を実施してもよく、またそれらの解析を、それらが互いに影響を及ぼしうる形に関して相互に関係させることができる。例えば、組織の伸展性は、医療用デバイスの導入に由来する機械的な応力及びひずみを判定する際に使用されうる。組織の電気的活性は、それ自体を目的として、またさらには、組織（例えば心臓組織）の固有の動きが、医療用デバイスの導入に対して該組織がどのように変形又は他の方法で反応するかにどのように影響するかを判定するためにも、モデル化されうる。同様に、薬物の局所的又は全身性の投与のような化学物質の導入は、組織の活動に、例えば該組織の機械的な伸展性を変化させること又は電気の伝播が該組織を通る方法を変化させることによって、影響する場合がある。よって化学物質のそのような導入も、組織がどのように反応するかを判定するモデルに含まれうる。

システム２００は、本明細書で記載されるコンピュータ計算技法及びモデリング技法を使用して、１以上の解剖学的アイテムを通してシミュレートされる医療用デバイスを自動的に通過させることを伴う多数のシミュレーションを再帰的に実施するようにプログラムされてもよい。そのようなシミュレーションは、機械的、電気的、及び化学的活性によって表わされる結果など、そのようなシミュレートされた活動の結果を同定するために、有限要素解析・計算流体力学アナライザ２１０を使用することができる。例えば、ステントの大きさが漸増せしめられて１以上の解剖学的アイテムを通して移動せしめられて該アイテム内に配置され、該デバイスの動きが生じたときに応力及び他の要因がコンピュータ計算されてもよい。機械的、電気的、又は化学的パラメータについての閾値、例えば組織に対する機械的応力が高すぎるときに示す閾値又は電気的な伝播閾値が、許容可能な成績であるか許容しがたい成績であるかを規定するためにシステム２００のユーザ又は別の人（例えば解析ソフトウェアの開発者）によって設定されてもよく、例えばこれらのうちいずれかは、シミュレートされるデバイスが大きくなりすぎれば超過される。システム２００はその後、大きさを漸増させるごとにシミュレートされた一連のデバイスの中の最後のものとして、閾値を越えて許容不可能なエリアに入ることのなかった適切なデバイスを同定することができる。

既に議論された様々な構造物は、上記及び下記に記載された行為を実施する際に１種類以上のデータに応じて変化しうる。例えば、器官モデル２１４は対象者の１以上の器官に関するデータを表してもよく、ここで対象者とはその身体について１回以上の医用画像撮影が実施済みの患者であってよい。器官モデル２１４は、組織の伸展性に関する情報及び患者又は他の対象者についての他の類似情報に加えて、解剖学的アイテムの一部における空間的関係を表わすデータを備えてもよい。

対話メタデータ２１６は、医師又は他のユーザによる患者モデルとの対話に応じて生成されるデータを表わしうる。例えば、ユーザはモデルの様々な測定を行なってもよく、それらの測定の場所及び値が格納されて、それらが後にユーザによって容易に読み出されるようになっていてもよい。同様に、ユーザは、モデル２０６に関して空間に線、弧及び他の構成物のような様々な幾何学的構成物を形成してもよい。例えば、ユーザは器官又は他の解剖学的アイテムの中の通路を通る線又はスプラインを描いてもよい。システムはさらに、そのような構成物を自動的に、例えば、ユーザがスプラインを描きたい通路を指摘することと、次にシステムがその通路の境界を同定して通路の中央を概ね通るスプラインを構築すること（例えば複数の異なる場所において通路の中央をコンピュータ計算し、次にそのようにして同定された複数の中央点にスプライン曲線をフィッティングすること）とによって作出することもできる。同様に、ユーザは、器官又は他の構造物に、特定のＣＡＤブロック（ＣＡＤ表現であって、互いに結合されて複雑な実世界オブジェクトを表わす複数の幾何学的構成物を含むもの）、例えば解剖学的アイテムの中に実施されることになっている医療用デバイスを表わすブロックなど、を挿入してもよい。それらのブロックについての定義、並びに該ブロックのモデル２０６に対する場所及び配向は、同様に対話メタデータ２１６にセーブされて、ユーザがシステム２００を用いる後のセッションの際にモデル２０６の中の適所に該ブロックを容易に示すことができるようになっていてもよい。

物理的データ２１８には、ユーザがモデル２０６を用いて物理的相互作用を表現するために必要なデータが含まれうる。例えば、組織の伸展性の情報は、典型的な種類の組織、例えば様々な劣化状態又は患者年齢の血管系及び心臓組織などについて、物理的データ２１８に格納されうる。よって、有限要素解析がシステム２００について使用される場合、特定の患者に特異的であるかもしれない値ではなく、物理的データ２１８からの特定の組織の値が使用されうる。同様に、物理的データ２１８は、電気的活性及び化学的活性の効果をモデル化するためのデータを含みうる。

コンピュータシステム２０２はさらに、ネットワーク２２０（ローカルエリアネットワークを含みうる）及びインターネットの一部を介した外部情報源からデータを得ることもできる。例えば、コンピュータシステムは、クラウドを用いる記憶システム（画像化を行った会社がそのデータを、該データにアクセスするための適切な信用証明を提供可能なユーザによるアクセスのために格納する場）にアクセスすることにより、特定の患者についての画像データを得てもよい。

このようにして、次に、システム２００は、モデルを単独又は他のモデルと共に表示するための、また様々なユーザがモデルと対話するための、様々な機構を提供しうる。システム２００は、ユーザが比較的複雑な生理学的相互作用をより上手く視覚化し、その結果一層よく理解できること、並びに身体内及び通常人の視覚の外で生じる作用を評価することを可能にすることができる。

図３Ａ〜３Ｊは、視覚化システムに表示された解剖学的特徴と対話するためのプロセス例のフローチャートである。一般に、プロセスは、図１のシステム１００及び図２のシステム２００のうち少なくともいずれかのようなシステムの他に、図４Ａ〜４Ｌに表わされたシステム及びユーザインターフェースを使用して実施されうる。これらは、コンピュータを用いる多次元視覚化システムとのユーザの対話を伴うプロセス例である。概して、プロセスは医師による治療又は解析がなされている特定の人物のヒト心臓に対して行われているとして説明されることになるが、当然ながら、その他の生理学的アイテム、例えば非ヒト動物由来のもの（例えば医療用デバイスに関する技術開発研究の一部であるブタの心臓に関するもの）、並びに様々なユーザによる解析及び様々な目的（例えば医師の練習、特定の患者のための医療用デバイスのサイズ設定、教育、規制当局による承認など）のためのものが、モデル化及び提示されてもよい。

図３Ａは、解剖学的アイテムを通る経路を同定及び使用するプロセスのフローチャートである。概して、該プロセスはモデルの投影図を表示するシステムを要し、該システムはユーザと協力して様々な目的のためにモデルの一部を通り抜ける経路を規定する。

プロセスはボックス３００で始まり、ボックス３００では患者は画像化され、その患者についての画像データが生成される。そのような画像化は、例えば、ＭＲＩ及びＣＴスキャンの画像化を含む、多数の異なる画像モダリティを使用してなされうる。そのような画像化から生成されたデータはデジタル形式であってよく、患者の一部分を通る様々な高さでのスライスを表現することができる。そのような画像の中の線は、画像の中に取り込まれた解剖学的アイテム及び他のアイテムの境界を同定するために使用されうる。

３Ｄモデルの生成は、等値面抽出（iso-surface extraction）などの様々な機構によってなされうる。等値面抽出は視覚化システムのユーザによる対話式であってもよい。例えば、そのような抽出は、３Ｄディスプレイと連結されたタッチベースの２Ｄインターフェースを使用して３Ｄ表面を生成及び精緻化することを伴う多数のステップを含みうる。最初のステップでは、コンピュータシステムは、大量の画像化されたスライスであって各スライスが画像化モダリティ（例えばＣＴ、ＭＲＩなど）から獲得された医用画像を含んでなるスライスから、３Ｄ表面を生成しうる。次のステップでは、システムは、ユーザがスライスの視覚化物に仮想的に触れることを可能にするインターフェースを作出するために、コンピュータのグラフィックス・プロセシング・ユニット（ＧＰＵ）上で実行される等値面抽出を使用して、３Ｄディスプレイ上に３Ｄ表面をレンダリングすることができる。そのような例では、等値面抽出は大量のスライスに由来する等値（iso-value ）に基づくことが可能である。インターフェースを操作しているユーザからの、スライスと対話するユーザ入力の受信に応じて、システムは、該入力に基づく等値面のコンピュータ計算に使用される精緻化された等値を計算することができる。システムは次に、等値面について精緻化された等値に基づいて３Ｄ表面を精緻化することができる。そのようなプロセスは、ユーザがインターフェースを介して表示されたモデルと対話するにつれて連続的に繰り返されてもよい。ボックス３０２では、画像化において取り込まれた解剖学的アイテムの３Ｄ及び４Ｄモデルが生成される。モデルのそのような生成は、例えば、特定のスライスの画像の中に線を同定し、画像の強度又は色が変化する場であるそのような線に沿って間隔を置いた場所でメッシュのための点又は頂点を配置することによって、なされうる。頂点は次に、メッシュを形成するために接続されてもよく、またメッシュは解剖学的アイテムを表わすソリッドモデルへと変化せしめられてもよい。モデルのある一定のエリアは、埋まっている、換言すれば解剖学的アイテム由来の組織がある場所である、として同定されうる。他の場所は、心臓の中若しくは血管系を通る腔のような空隙、又は患者内の同様の通行可能な空間であると同定されうる。

ボックス３０４では、ユーザ入力は解剖学的アイテム内の通行可能な経路を同定するために受信される。そのような入力は、コンピュータシステムに表示された解剖学的アイテムの断面を通ってユーザが描く経路を含みうる。別例として、入力は、アイテムを通る最良の経路を自動的に見出すようにコンピュータシステムに指示するユーザによって、並びにモデル内の空隙を同定してそのような空隙を通る曲線を第１の定義された場所から第２の定義された場所へ、例えば大動脈を通って１以上の心腔へとフィッティングするコンピュータシステムによってなされてもよい。一部の実施形態においては、医師が使用することの多いいくつかの一般的道筋がリストに入ってユーザに提示されてもよく、ユーザは１つのそのような経路（例えばステント又は心臓用閉塞デバイスの送達のための経路）を選択してもよく、かつシステムは、特定のモデルについてのその経路に沿ったスプラインを、――例えば、その大きさ及び形状が解剖学的アイテムのそのような部分のテンプレート（例えば、大動脈及び心腔などについての特定の直径及び特定の曲率）におおむね合う、特定のモデルの中の通行可能な空間を同定することによって、――自動的に生成及び表示してもよい。

ボックス３０６では、システムはアイテムを通り抜ける経路を自動的に同定してその経路に曲線をフィッティングする。例えば、当初の経路が同定されて、該経路に沿った空隙の中央点における地点が、経路に沿って間隔を置いた複数の位置で同定されてもよい。その後、それらの地点に最もフィットする方式で曲線をフィッティングするために幾何学的ＣＡＤツールが使用されてもよい。システムはさらに、曲線が形成された後に、該曲線が解剖学的アイテムの中のいかなる組織も通過しないことを確認することもできる。その他の機構が、解剖学的アイテムの中の空隙内に十分にとどまる経路を通る曲線を同定するために同様に使用されうる。そのような判定をなすための詳細は、図５Ａ及び５Ｂに関して以下により詳細に議論され、かつ本明細書中に記載のプロセスに組み込まれうる。

ボックス３０８では、曲線が解剖学的アイテムと共に表示される。例えば、解剖学的アイテムは実際的に組織を表わすために様々な色合いの赤色で表示されて、曲線は組織の色と視覚的に対照をなす青色又は緑色の線として表現されうる。曲線はモデルと同じ３Ｄ空間において定義されて、モデルを操作して例えば自身をモデルの周りで回転させるユーザが、同様に自身を曲線の周りでも回転しうる（すなわち、曲線はモデルとともに移動し、モデルに関して同じ３Ｄ位置にとどまる）ようになっていてもよい。

ボックス３０９では、経路に沿って移動しているデバイスが表示される。デバイスは、曲線に沿って摺動している規定の直径を有する円（ユーザから提供される）と同じくらい簡単であってよい。より複雑なデバイス、例えばステント又は他の医療用デバイスの３Ｄモデルを表わすブロックなどが、曲線に沿って移動せしめられ、かつ移動せしめられるにつれて患者に導入されている実際のステントの形状に近似するように屈曲又はその他の変形を生じてもよい。デバイスのそのような表示は、例えば、ステント又は類似の移植式デバイスについて様々な直径を選択し、かつその様々な直径の患者への挿入を、モデルを用いて（例えば、特定の手技のためにどの大きさの医療用デバイスが選択されるべきかを判定するために）シミュレートする場合のある医師によって使用されうる。医師はこのように、どの大きさのデバイスが患者のために最も良く機能するかをより容易に調べることが可能であり、またそうしなければ患者について実際の手技を実施する際に必要とされたかもしれない試行錯誤を、回避することができる。

デバイスは、ある一定の機械的、電気的、及び化学的な特性を有するように規定されてもよい。例えば、デバイスはある一定の応力／ひずみ特性を有して、該デバイスをスプラインに沿って屈曲せしめるのに余分な力を必要とするようになっていてもよい。同様に、デバイスは薬物溶出性の材料でコーティングされてもよく、かつそのような材料の挙動がモデル化されて、解剖学的アイテムを通して該デバイスを移動させるシミュレーションがデバイスからアイテムへと渡される薬物のレベルをも示しうるようになっていてもよい。

加えて、スプラインを通り、かつスプラインに沿って移動せしめられるものは、単に、視覚化システムのユーザが上記及び下記に記載されたハードウェア及びソフトウェアを使用して操作しうる仮想カメラであってもよい。カメラは、例えばスプラインに沿って前後にカメラをパンするためにユーザの一方の手の動きを使用し、かつカメラの視野の回転を行うためにユーザの他方の手の動きを使用することなどにより、ユーザ入力を単純化するために、スプラインに固定されてもよい。

解剖学的アイテムのモデルが鼓動する心臓のように時間とともに動いている場合（四次元モデル）、デバイス及びスプラインは時間とともに解剖学的アイテムに対するそれらの位置を維持するために（例えば、その結果スプライン及びデバイスが心腔又は血管系のような空きエリア内に配置されたままであるように）動かされてもよい。さらに、そのような動きは、上記及び下記に記載されるように、モデルについてコンピュータ計算される機械的、電気的、及び化学的なパラメータを変化させうる。

図３Ｂは、解剖学的アイテムのモデルの周りの力及び作用を同定するプロセスのフローチャートである。概して、該プロセスは、解剖学的アイテムのモデルを同定すること、該モデルに対してかかる力を、例えば解剖学的アイテムの中に導入されて解剖学的アイテム内の表面と相互作用する医療用デバイスを同定することなどによって同定すること、及び有限要素解析技法を使用して解剖学的アイテム内の組織の反応をモデル化することを伴っている。そのような相互作用はその後、例えば着色されたヒートマップであって様々な色が解剖学的アイテムに対する応力又はひずみの程度の相対的な大小を表わすヒートマップを示すことなどによって、コンピュータ視覚化システムのユーザに対して表現されうる。

プロセスは、患者が医療機関で撮像されて該患者の画像データが生成される、ボックス３１０で始まる。画像データのそのような生成は、図３Ａについて議論されたような方法でなされうる。ボックス３１２では、患者の画像化された解剖学的アイテムの３Ｄ及び４Ｄモデルが生成される。例えば、３Ｄモデルは上述のように調製されうる一方、４Ｄモデルは同様の方式で調製されてもよいが、経時的に順番に提示される複数の異なるモデルとして存在してもよく、その複数の異なるモデルはそれぞれ、比較的短い期間であるその期間の患者の個別の画像化を表わし、及び単一の画像化セッションの取得している。例えば、その期間は、例えば１秒程度の、１回の心拍の期間であってもよい。

ボックス３１４では、ユーザ入力が受信され、解剖学的アイテムの組織にかかる力が同定される。標準的な有限要素解析技法は、例えば解剖学的アイテムの通路の中の医療用デバイスの移動するモデルと、移動しているデバイスが解剖学的アイテムの組織を押しのける距離との間の干渉を同定することなどにより、使用されうる。さらにデバイス自体も伸展性であって、該デバイスが解剖学的アイテムを通って移動せしめられるにつれて組織からの圧力に応じて曲がるようになっていてもよい。

ボックス３１６では、組織及びデバイスに対する応力及びひずみが有限要素解析を使用してコンピュータ計算されうる。そのようなコンピュータ計算は、組織及びデバイスの運動の程度を示しているモデルからの情報に適用されるような、組織及び医療用デバイスの伸展性に関するデータを使用して、従来の方式で実施可能である。

その性質が変化しない静的なアイテムとしての組織の基礎的な有限要素解析に加えて、電気的及び化学的解析を含むその他の解析も組み込まれうる。例えば、組織としての心臓を通る電気エネルギーの伝播が、（例えば、有限要素解析を使用して）モデル化されてもよく、また組織の伸展性に、並びにその組織にかかる力及び組織から与えられる力に、影響を与えるために使用されてもよい。例えば、心臓は筋肉であるので、医療用デバイスに対する心臓自身の力を生じる可能性があり、そのような力は刻々と周期的に変化する。そのような活動から、筋収縮を判定して次に心臓からの力及び心臓への力並びに医療用デバイスからの力及び医療用デバイスへの力をモデル化するために電気の伝播が使用されるシステムについて、動的モデルが生成されてもよい。

ボックス３１８では、解剖学的アイテムの中及び医療用デバイスの周囲の流体流量係数（fluid flow factor）が、計算流体力学を使用してコンピュータ計算されうる。例えば
、ヒト血管系の中の血流圧力の量及びタイミング（心臓は絶えず変化しているので）がモデル化されて、（例えば血圧測定及びその他の測定によって、特定の場所での流量及び患者の心臓血管系の強さを判定することにより）特定の患者について期待される流量と一致するように調整されてもよい。その後、モデル化された経路に沿った特定の地点における、例えばモデル化された血管系に挿入された医療用デバイスの外周の周りの、通行可能な面積が判定されうる。そのようなデータから、流量のコンピュータ計算が実施されうる。コンピュータ計算はその後、心拍サイクルの間など周期動作の間の複数の期間について更新されうる。

ボックス３１９では、１又は複数の解剖学的アイテムがコンピュータ計算された値の視覚的表現とともに表示される。例えば、解剖学的アイテムに対する応力又はひずみがより大きなエリアほど赤系統の色域に近い色で示される一方、応力又はひずみがより低レベルであるほど青系統の色域に近い色で示されてもよい。同様に、例えば心腔のように流体が流れている解剖学的アイテムの空隙においては、流線が３Ｄ表現又はアニメーション化された４Ｄ表現のいずれかで表示されて、ちょうど気象学者が特定の地理学的場所における風の方向及び大きさを示すために地図に流線を表示するように、特定の場所についての流れの方向及び大きさを示してもよい。

図３Ｃは、複数のモデルの表示を協調させるプロセスのフローチャートである。概して、該プロセスは、ユーザと対話しているモデルに伴って何が生じているかをユーザが視覚化する能力を高めるために、共通の解剖学的アイテムの２つの表現を同時に表示することを伴う。

ボックス３２０では、患者は撮像され、画像データが例えばマルチモダリティイメージング及び上述のモデル化などにおいて生成される。ボックス３２２では、画像化プロセスから作出されるデータから、３Ｄ及び４Ｄモデルが上記に議論された方式などで生成される。

ボックス３２４では、コンピュータを用いる視覚化システムは、１又は複数の解剖学的アイテムの動くアニメーションを表示する一方で同時に該アイテムの１以上の動かない投影図を表示する。動かない投影図は、アニメーション化されていない、特定の角度から見た、及び恐らくは適用された特定の切断面又は二次元で提示された画像データ由来のスライスを備えた、３Ｄモデルであってもよい。４Ｄ表現の表示と３Ｄ表現の同時表示とのこの組合せにより、ユーザが動的及び静的両方の視点を本質的に同時に達成することが可能となりうる。例えば、ユーザは、解剖学的アイテムが一般にどのように働いているかを理解するために、また解剖学的アイテムに伴う問題の手がかりを見つけるために、モデルのアニメーション表現を概観し、そして次に、モデルの一部分に注目して動いていない表現においてそれを容易に感知するために、モデルの動かないバージョン又は投影図のうちの１つに自身の注目点を素早く切り替えることができる。ユーザはさらに、大動脈弁が完全に閉じられるときなどの最も興味深い時点に３Ｄモデルが到達するように（４Ｄモデルは継続して周期動作しながら）３Ｄの複数のフレームを通って１段階ずつ進めることもできる。ユーザは同様に４Ｄ表現を休止させてもよく、その休止させた提示の一部である３Ｄ表現をシステムに複製させて、その複製された表現が、アニメーション化された４Ｄ表現の隣にそれまで表示されていた３Ｄ表現に取って替わるようになっていてもよい。

ボックス３２６では、システムは、例えばユーザが解剖学的アイテムのモデルに仮想の医療用デバイスを導入するなどの、ユーザによるモデルとの対話を受信する。ボックス３２８では、システムは、上記及び下記に記載された方式などで、解剖学的アイテムの組織に対する力をコンピュータ計算する。ボックス３２９では、解剖学的アイテムについての４Ｄ表現及び３Ｄ表現の両方に関して表示が変更される。例えば、生体弁又は機械弁のようなデバイスが心臓に挿入される場合、アニメーションは弁の開閉及び弁周辺の心臓組織の運動を示すために変化しうる。加えて、動かない表現は、適所に据え付けられた弁を示すために変化してもよく、また移植された状態で弁が存在することにより特定の場所で組織にかかるひずみを表現するために、組織への着色を示すこともできる。

図３Ｄは、複数のモデルの表示を協調させるプロセスのフローチャートである。概して、該プロセスは、解剖学的アイテムが患者について２回の異なるセッションで画像化された場合の、解剖学的アイテムのモデルを同時に表示することを伴う。１つの典型的実施例では、セッションのうちの１つは手術前であり、かつ別のセッションは手術後であって、比較により医師が、解剖学的アイテムがその手技にどのように反応したかを調べ、かつ患者に必要とされる可能性のある追跡調査を判定することを可能にするようになっていてもよい。

ボックス３３０では、患者は、異なる時点における（例えば、１日より長く時間をおいた）２回の異なるセッションで画像化されて、画像データは上記に議論された方式のような画像化プロセスから生成される。

ボックス３３２では、最初の画像化セッションのモデルがコンピュータを用いる視覚化システムに表示され、ボックス３３４では、第２のセッションからの画像化についてのモデルが同時に表示される。例えば、手術前のモデルはスクリーンの左側に表示されて、手術後のモデルは右側に表示されてもよい。

ボックス３３６では、一方又は両方のモデルを操作するユーザ入力が受信される。例えば、触覚型グローブを着用しているユーザがモデルのうちの一方を回転させるために該モデルをつかむため、手を伸ばしてもよい。そのようなユーザ入力に応じて、ボックス３３８では、システムは１つのユーザ入力から両方のモデルについての変化を判定する。例えば、ユーザがヒトの心臓の右側の表現をつかんでそれを右回りに９０度回転させた場合、システムは表示された両方の心臓モデルが右回りに９０°回転されるべきであると判定することができる。

ボックス３３９では、そのようなユーザ入力に応答した両方のモデルが表示される。このプロセスを使用して次に、医師又は他のユーザは、患者の器官又は他のアイテムを２回の異なる時点に存在していたとおりに容易に表示することが可能であり、また該アイテムが２つの時点の間に（例えば生理機能の悪化若しくは改善により、又は医療用デバイスの移植により）どのように変化したかを判定するために、該アイテムのこれらの表示されたモデルと容易に対話することができる。別例として、アイテムは体内に腫瘍を有する患者の身体の一部を含んでもよく、医師は、腫瘍がどのようにして成長又は縮小したかをよりよく認識するため、及び腫瘍に関してどの種類の処置を講じなければならないかをよりよく判定するために、例えば腫瘍の周りで視覚的にパンすることなどによって、腫瘍の周りのエリアを操作することもできる。

図３Ｅは、モデルの測定値を提供するためのプロセスのフローチャートである。概して、該プロセスは、解剖学的アイテムのモデルの３Ｄ表示又は４Ｄ表示における選択を行うユーザと、それらの選択に基づいて様々な測定を行うシステムとを伴う。

ボックス３４０では、患者は医用撮像を受け、画像データは、例えば上記に議論された方式のようなプロセスから生成される。ボックス３４２では、撮像において取り込まれた解剖学的アイテムの３Ｄ及び４Ｄモデルが作られる。ボックス３４４では、コンピュータを用いる視覚化システムにおいてユーザ入力が受信され、該ユーザ入力は表示されたモデルに近接した場所を定義する。例えば、ユーザは、スタイラスを使用して血管の１つの壁に、次いで血管の向かい側の壁に、仮想線をポイントすることができる。システムは、そのような向かい側の場所は選択された場所又は選択された場所の近くの通路の直径を判定したいというユーザの要求を示している、と理解するようにプログラムされうる。モデルはその後、ユーザにより選択された地点に隣接している地点を同定することにより通路を通る線に垂直な線を規定した後（その結果、直径の測定はユーザが直接向かいあった位置をポイントしなかったとしても２つの直接向かいあった地点を使用するようになっている）、選択された地点の間の二次元又は三次元の距離を同定するために問い合わせされうる。そのような距離は、例えば視覚化セッションの一部として観察者がモデルを拡大表示済みであるのでモデルが観察者には差渡し数フィートであるように見える場合でもおよそ２．５４センチ（１インチ）未満であるなど、現実世界における解剖学的アイテム内の実距離に相当しうる。他の同様の２Ｄ又は３Ｄ又は４Ｄの測定、例えば心腔の体積のコンピュータ計算、血管系の断面積のコンピュータ計算及び医師又は他のユーザによって所望されうるその他の測定も行われうる。

ボックス３４８では、モデルは、判定済みの寸法を示すデータとともに表示される。そのような表示は複数の異なる方式でなされうる。例えば、ユーザが選択済みの通路の直径を横切って矢印が描かれて、かつ該矢印に、例えばミリメートル、センチメートル、又はインチで通路の直径を表わしているデータが重ね合わされてもよい。別途、視覚化表現の中の他の場所に、モデル自体の表示からは離れて、注釈ボックスが表示されてもよい。例えば、ユーザ入力に応じてシステムによりコンピュータ計算された測定値（例えば、ユーザが定義した経路に沿ってｘミリメートルごとの直径測定値）を表わす小さなスプレッドシートが生成及び表示されてもよい。

ボックス３４９では、モデルがアニメーション化される場合の追加の表現が視覚化システム内で行われうる。例えば、ユーザが通路の直径を判定しようとする場合、直径はアニメーション化されたモデルにおいて絶えず変化している場合がある。そのため、システムは、アニメーションのフレームごとに直径を同定し、かつユーザにそのような判定と一致するフィードバックを提供するように、プログラムされうる。例えば、３Ｄモデルに寸法の注釈付けがなされている場合、４Ｄモデルにおいて選択がなされ、システムがその４Ｄモデルに隣接して３Ｄモデルを生成してもよい。そのような注釈には、そのような寸法それぞれについての２つの数字であって、１つの数字が例えば鼓動する心臓の１周期のようなアニメーションによって表わされる周期の間の最大値であり、別の数字が最小値であるものが挙げられる。

図３Ｆは、解剖学的アイテムのソリッドモデルを生成するプロセスのフローチャートである。概して、該プロセスは、複数の画像モダリティからデータを取り込むこと、該データの関連付け及び解析を行うこと、次いで複数の画像モダリティからのそのような協調せしめられたデータから多次元モデルを構築することを伴う。

該プロセスは、画像化のための独自の様式であるモダリティを複数使用して患者が撮像される、ボックス３５０から始まる。典型的なそのようなモダリティには、磁気共鳴画像（ＭＲＩ）及びコンピュータ断層撮影（ＣＴ）が挙げられる。ある種のモダリティには他の画像モダリティに比べて独自の強みがある場合があるので、複数のモダリティが使用されうる。

ボックス３５２では、複数のモダリティからのデータが協調せしめられる。例えば、データからの画像は、解剖学的アイテムの中の、２つの異なる画像モダリティの間で同一である場所を同定するために解析されうる。そのような解析は、解剖学的アイテムの輪郭を同定すること、及びそれを類似の輪郭を有する別のモダリティからの画像にマッチングすることを含みうる。そのようなマッチングは、特定の解剖学的アイテムが画像化された方向を画像データから知り、それを２つのモダリティの間でマッチングすれば、すなわちアイテムが両方のモダリティについて同じ方向から画像化されれば、単純化されうる。

ボックス３５４では、画像データを三次元に層化することにより点群のメッシュが作出される。例えば、スライスは実際の解剖学的アイテムについて積み重なっていた順序で解析されて、メッシュの節点がスライスそれぞれにおける境界に沿って同定されてもよい。その後、節点は垂直寸法に積み重ねられ、組み合わさって解剖学的アイテムをほぼ規定するメッシュを形成することができる。

ボックス３５６ではメッシュからソリッドモデルが作出され、またボックス３５８では、複数の画像モダリティから作出されたモデルが表示される。メッシュからの（form a mesh ）ソリッドモデルのそのような生成は、多くの既知の方式によってなされうる。

図３Ｇは、メタデータと解剖学的アイテムのモデルとを協調させるプロセスのフローチャートである。概して、該プロセスは３Ｄ又は４Ｄのモデルと共にメタデータをセーブすることを伴う。該プロセスはボックス３６０で始まり、ボックス３６０では患者が画像化され、その画像化から画像データが作られる。

ボックス３６２では、画像由来の解剖学的アイテムの３Ｄ及び４Ｄモデルが生成及び表示される。ボックス３６４では、該モデルとともに表示するべきアイテムを同定するためのユーザ入力が受信される。そのようなアイテムは、解剖学的アイテムとは別個であり、解剖学的アイテムのモデルに導入されるべき、またしたがってユーザのために視覚的に表現されたモデルに注釈付けをするための、幾何学的構成物及び医療用デバイスを含みうる。

ボックス３６６では、そのような追加アイテムに関するデータは、モデルに関連付けられて、かつ共通の空間的基準系を備えてセーブされうる。特に、モデルがセーブされているファイルは追加データがセーブされているファイルを参照して、モデルが後日再度開かれたときに追加のアイテムもモデルとともに開かれることが可能であるようになっていてもよい。共通の基準系により、アイテムがモデルに対して自身の同じ場所に位置付けられることが可能となる。例えば、器官内の通行可能な経路を通るスプラインは、その器官のモデルが開かれる次の時に、その適正な場所への再設定がなされうる。

ボックス３６８では、モデルを表示するためのユーザ選択が受信される。この実施例では、ユーザ選択は、恐らくユーザが視覚化システムをシャットダウンした後又は該視覚化システムで他のモデルを見た後の、後のセッションの際に行われる。追加データはボックス３６６に規定された方式でセーブされたので、モデルは、ボックス３６９に示されるように、後で開かれたときには追加のアイテムとともに表示されうる。

図３Ｈはモデルを切断するプロセスのフローチャートである。概して、該プロセスは、モデルの内側部分についての潜在的に複雑な投影図を提供するために、複数の面に沿って切断されているモデルを表示することを伴う。

プロセスはボックス３７０で始まり、ボックス３７０では患者が画像化され、画像データがその患者について作られる。ボックス３７２では、画像化によって取り込まれた１又は複数の解剖学的アイテムの３Ｄ及び４Ｄモデルが作られる。ボックス３７４では、該モデルについての１以上の投影図が表示されうる。例えば、アニメーション化された４Ｄ投影図が、該モデルのアニメーション化されていない３Ｄ投影図に隣接して表示されうる。この実施例においては、両方の投影図が単純に心臓の外側表面を示してもよいが、ユーザは心臓の内側部分をより良く見たいかもしれない。単一の切断面はそのような投影図を提供するには不十分な仕事しかしない場合がある、というのも、そのエリアの壁が、ユーザがモデルの内部で見たいものの全体像を遮るかもしれないからである。

その結果、ボックス３７６では、ユーザは多次元の切断面を規定する入力を提供する。例えば、患者の心臓が視覚化システムで表示されて、ユーザが、心臓から一角を切り出す３つの切断面を規定するために、表示された心臓のモデルの上で複数の表現をスライドさせることもできる。ボックス３７８では、モデルは切断面によって規定された部分が除かれて表示される。例えば、ユーザが心臓の心房の一角の上に切断面を移動させた場合、心臓のモデルのその後の表示は心房のその一角の部分を除いて示すことができる。（例えば患者について異なる時点で行われた画像化セッションから）心臓の複数の異なるモデルが示される場合、１組の切断面は、ユーザが第１の表現にそれらを適用するのに応じて第２の表現にも自動的に適用されることが可能である。

図３Ｉは、解剖学的アイテムの１以上のモデルを構築するプロセスのフローチャートである。概して、該プロセスは解剖学的アイテムを分解して下位部分にすることと、ユーザがそれらの下位部分と容易に対話することを可能にすることとを伴う。例えば、心腔のような器官の一部分は、心臓のモデルが構築されるときに同定されて、ユーザが容易に心腔の色を個々に変化させたり、それらの心腔のその他の観察可能な性質を変化させたりしうるようになっていてもよい。効果的には、心臓の一部分は、例えばそれらを視覚的にオンオフすること、それらに色をつけることなどのために、個々のグループとして操作可能な層として表わされる。

プロセスはボックス３８０で始まり、ボックス３８０では患者が画像化され、画像データが集められる。ボックス３８２では、画像データ由来の解剖学的アイテムの部分が同定される。例えば、システムは、データ中のスライスから心臓内の腔を囲んでいる壁を同定するようにプログラムされて、１以上の腔についてスライスから層へと生成されたメッシュ中に特定の節点を割り当てることができる。メッシュは三次元で定義されるので、メッシュ（mash）中の頂点のうち追加のものは、ボックス３８４に示されるように、それらが相当する腔によって規定されうる。

ボックス３８６では、３Ｄソリッドモデルはメッシュ中の頂点から生成され、かつ部分識別子であってソリッドモデルのその部分に相当する頂点に割り当てられた部分識別子を継承することができる。例えば、ソリッドモデル中のゾーンが同定されて層のうち特定の１つと関連付けられてもよい。

ボックス３８８では、ソリッドモデルが表示される。そのような表示は、初期の段階で同定された解剖学的アイテムの様々な部分を、例えば様々な心腔に異なる着色又はシェーディングを施すことなどにより、視覚的に同定することを含みうる。ボックス３８９では、モデル中の特定の層に関するユーザ入力、例えば心臓内の他のすべての層を除外して心臓細胞層だけを見たいというユーザの希望が、受信される。この実施例における層の概念は、ＣＡＤ及びＧＩＳアプリケーションにおいて使用される層の概念に似ており、ある一定の層は、オンオフされることが可能であってもよいし、又は、特定の層に存在するとして同定されるすべてのアイテムに従う性質、例えば層内の全アイテムを割り当てられた色に変化させる色特性などを、割り当てられてもよい。

図３Ｊは、解剖学的モデルの視覚化を提供するプロセスのフローチャートである。概して、該プロセスは、解剖学的アイテムのモデルの表示を、ユーザがその解剖学的アイテムの実際の現実世界の表現を観察するのと同時に提供することを伴う。１つの典型的な実施例では、外科医に対して、特定の患者の心臓又は他の器官のモデルが、該患者のその器官に手術が実施されている間に示されうる。ある実施例では、表示は、例えばＧＯＯＧＬＥ
ＧＬＡＳＳ（登録商標）ハードウェアによって代表されるものに類似のハードウェアであって、病院情報システムから画像データを取得するための、また表示されるモデルを操作するための医師音声コマンドに応答するためのアプリケーションが補足されたハードウェアを使用して、ユーザの正常な視覚の上に重ね合わされることができる。

該プロセスはボックス３９０で始まり、ボックス３９０では患者が画像化され、画像データは上記に議論された方式などの行為から作られる。ボックス３９２では、画像中の１以上の解剖学的アイテムの３Ｄ及び４Ｄモデルが作られる。ボックス３９４では、モデルを表示するために手技を観察しているユーザからの入力が受信される。例えば、垂直方向に半分に切断されたヒト心臓の３Ｄモデルが表示されて、外科医がそのモデルにおいて心臓の内部を見ることが可能であるようになっていてもよい。表示される心臓は、その時外科医の前にいる患者の画像から生成されたモデルであってよい。

ボックス３９６では、ユーザと患者との対話が同定されて、モデルの表示は適宜更新されることができる。例えば、患者の血管系及び心臓が画像化されて血管形成術又は何らかの同様の手技に備えてモデル化されてもよい。血管形成術用バルーンのような外科アイテムの挿入の深さが患者の外からモニタリングされてもよく、挿入のそのような深さは、モデルを表示している視覚化コンピュータシステムに供給されてもよい。デバイスの個別のモデルはその後、血管系及び心臓のモデルに関連してそのようなシステムによって表示されて、その結果医師が、横眼でかつヘッドアップ表示装置上に、医療用デバイスがその最終目的地に到着するにあたっての相対的な進渉を観察しうるようになっていてもよい。そのような位置情報は、手技の間に使用される他の標準的な画像化技法、例えば患者の身体外の画像技術を使用して医療用デバイスの機器搭載部分を追跡することなどを使用して、確認されてもよい。

ボックス３９８では、モデルの表示に実時間情報が注釈付けされる。例えば、システムは、患者への医療用デバイスの挿入の深さを（例えばインチ単位で）表わす数値を表示することができる。同様に、医師が医療用デバイスを導入して心臓の壁と相互作用するにつれて、同様の相互作用がモデルにおいてシミュレートされてもよく、また注釈は、その瞬間に組織にかかっている応力又はひずみのレベルを医師に示すために、ヘッドアップ表示装置上に提供されてもよい。他の注釈、例えば患者について現在測定されている心拍度数及び血圧なども、医師を支援するために提供されうる。加えて、支援スタッフからの注意が、ヘッドアップ表示装置のための操作システムが提供されている通知インターフェースを使用して医師に対して表示されてもよい。

ボックス３９９では、手技のビデオの記録が、重ね合わされたモデル投影図と共にセーブされて、医師が手技の間に見たものの表現が維持されるようになっている。そのような記録は、訓練のために他の医師に提供されてもよいし、医師本人によって自身の技術を改善するために研究されてもよいし、又は多数の他のかたちで使用されてもよい。ビデオは、医師によって着用されたＧＯＯＧＬＥ ＧＬＡＳＳのような１対の眼鏡の前面からカメラ視野を示してもよく、また記録されたビデオの１隅において、医師が手技を見ていたのと同時に視覚化システムによって医師に提示されていたもの（例えば器官のモデル並びに英数字及び図表式の注釈データのうち少なくともいずれか）を表わしている表示が示されてもよい。

このように様々なプロセスについて、心臓及び血管系のような解剖学的アイテムのモデルを３Ｄ及び４Ｄ表現で提示する画像システムについての用途を示すために説明してきた。そのようなプロセスは、手技の間に医師によって、手技の準備の際に医師によって（例えば特定の患者とともに使用されることになっている医療用デバイスの適切な大きさを同定するため）、患者に対する該患者の実施予定の手技についての説明の際に医師によって、別の医師を訓練するため又は特定のデバイス若しくは手技の有益性について医師に説明するために医師又は販売係によって、新しい手技について説明するために検討会において医療用デバイス製造業者によって、及び、様々な他の一般的な用途のために、使用されうる。

以下の議論は、医療用デバイス相互作用に使用される仮想プロトタイピングツール、例えば、人体の一部に関係している医療用デバイスの投影図を生成し、ユーザがそのような仮想デバイスを操作してそのような操作に関する画像及び英数字データの両方に基づいたフィードバックを、例えば表示される組織の色を仮想医療用デバイスによって仮想組織についてかけられる力の関数として変化させる「ヒートマップ」表示を見ること、加えてそれらの力の英数字式記述を提供する表を見ること（単に１例として）などによって、受け取ることを可能にする、コンピュータを用いる視覚化システムのためのユーザインターフェースなど、についてより一般的に扱うものである。

該システムには、上記及び下記に記載された作業を実行するために追加のプログラミングを備えることのできる、３ＤタッチテーブルＶＲホログラフィック画像システム又は市販のＶＲシステム、例えば米国カリフォルニア州サニーヴェールのズィー・スペース（zSpace）のシステムなどが挙げられる。そのようなシステムの特徴には、（ａ）イメージシーケンス及び三角形メッシュのための統合型ファイルローディング；（ｂ）ローディング及び複数のメッシュとの対話のためのサポート；（ｃ）単一のリンクされた座標フレーム内部の複数のメッシュのローディングのためのサポート；（ｄ）環境内部の複数のスプラインのためのサポート；（ｅ）スプラインをディスクにロード及びセーブするためのサポート；（ｆ）メッシュ／スプラインの色を変更するためのカスタム化ツール；（ｇ）スプラインに沿って観察ウィンドウを飛ばすためのカメラパスサポート；（ｈ）３Ｄテレビでの外部ステレオビューイングをサポートするビデオ録画機能；（ｉ）ロードしたイメージシーケンスからの実時間等値面抽出；（ｊ）プログラムの全状態をセーブするためのプロジェクトのロード／セーブ；（ｋ）メッシュが失われた場合の投影図のリセット；（ｌ）デバイスがジオメトリにどのように収まるかを理解するためのデバイス半径を設定するためのデバイスサイズ設定オプション；（ｍ）ノービスユーザにとってもインターフェースを直観的にする、対話型の視覚フィードバック及びウィジェット、が挙げられる。

そのようなプログラム及び実施がなされたシステムが含みうる追加機能は、（ａ）ＦＥＡデータの両システムへのローディング；（ｂ）メッシュの頂点ごとの着色；（ｃ）静止画であってユーザ制御式ズームでは拡大縮小しない、プロジェクタスクリーン左上角の３つの投影図（矢状、冠状、横断）；（ｄ）４Ｄの解剖学的データセットの観察及び制御／操作；（ｅ）切断面を回転させる能力；（ｆ）切断面のオンオフを切り替える能力；（ｇ）境界ボックスのオンオフを切り替える能力；（ｈ）測定機能、例えばスプラインの中心までの（例えばヒトの器官内におけるスプラインの表現においてはスプラインを囲む組織までの）及びメッシュに関する中心点までの平均距離など、である。

その目的のために、以降の図面は、没入型マルチタッチワークベンチセットアップの一例において使用されるソフトウェア及びハードウェアについて議論し、様々なシステム構成要素のための１つの構成及び実例のセッティングの概観を提供する。本説明は選択されたシステム構成要素について議論し、該システムを構成するための手法を提供する。第１節は、一般的なシステムセットアップについて、オペレーティングシステムのセッティングについて詳述しながら説明する。第２節は、ユーザ頭部の位置を追跡するためのカメラのハードウェア及びソフトウェアを詳述する。第３節は、システムにタッチ入力を提供するために使用されるマルチタッチオーバーレイについて説明する。第４節は、カスタムモデルビューワソフトの説明を含む。

［一般的なシステムセットアップ］：本発明の主題の様々な実施例は多様なタッチ式ハードウェアセットアップを備えうる。１例のセットアップはプロジェクタを備え、また多様なセットアップは２つのスクリーン又は第３のスクリーン（モニタ）を備えることができる。ここでの説明はガイドとしての役割を果たしうるものであり、個々の構成にはカスタム化されたチューニングが有効な場合がある。本節は、適切なＷｉｎｄｏｗｓ（登録商標）ＯＳ設定（システムは多種多様のオペレーティングシステムを使用して作動するかもしれないが）と共にコンピュータ及び周辺装置について説明する。実例のシステムには３つのビデオ出力すなわち（ａ）縦形スクリーンに表示するプロジェクタ；（ｂ）水平なタッチ表面上に表示する大規模フラットモニタ（例えばＬＣＤ）；及び（ｃ）他のディスプレイの側面に配置された、かつデスクトップ使用が意図されたコンピュータモニタ、がある。適切なビデオカードは、そのようなグラフィックスを協調せしめた方式で生成するために使用されうる。

［頭部を追跡するカメラ及びソフトウェア］：頭部追跡サブシステムの一例は、システム上方に取り付けられた４台のＩＲカメラ、各カメラに接続されたＵＳＢハブ、及びカメラを稼働させるソフトウェアを備えている。このシステムは、ユーザが着用するヘッドセット上などユーザの頭部に添付された反射マーカーを追跡することにより、ユーザの頭部の場所を同定する。一例において、該マーカーは眼鏡を使用して頭部に添付される。システムは、頭部位置の配置状態及び方向をモデルビューイングソフトウェアにストリーミング配信する。従って、ソフトウェアはモデルビューワソフトの起動の前に稼働していることができる。このソフトウェアのための起動プロシージャは較正がなされた後に実行される。加えて、カメラは安定な配置状態でなければならず、再調整を必要としてはならない。しかしながら時間とともに、セットアップが揺らされたり、主要な設定ファイルが失われたりすることが原因で、本システムが較正を必要とする場合もありうる。

［マルチタッチオーバーレイ］：タッチオーバーレイは大型水平ＴＶディスプレイの上面に位置し、タッチコンタクトを検出してこれを頭部追跡データがコンピュータにストリーミング配信されるのと同様の方法でコンピュータに再送する。これはＵＳＢケーブルを介してコンピュータに接続し、また動力を供給するための個別のケーブルを有する。モデルビューワソフトにタッチ入力情報を送ることに加えて、タッチオーバーレイはオペレーティングシステムとも対話するが、これが理由でアイコン及びカーソルはプログラムを実行していない時でも表面に触れるとポップアップする。このように、入力はシステムのマウスのように作用することも可能である。オーバーレイソフトウェアのオプションには、図４Ａに示されるような「十字マーク」アイコンとしてのスクリーン右下のツール・トレイ・メニューを通じてアクセス可能である。

［モデルビューワソフト］：一例において、モデルビューワソフトは、２つの異なる種類のデータ（典型的には互いにリンクされている）：（ａ）３Ｄ三角形メッシュ（典型的には標準テッセレーション言語｛ＳＴＬ｝ファイル形式）；及び（ｂ）ボリュームを規定する医用画像ファイルのシーケンス（ＤＩＣＯＭ／ｐｎｇ画像スタック）、のローディングをサポートする。システムは、任意数の画像スタック及び三角形メッシュのうち少なくともいずれかをソフトウェアにロードするのをサポートする。ソフトウェアが開くとき、データの初期設定がロードされる。新しいデータがロードされてこれらの既存の設定に置き換わることも可能である。システムは、複数の「フレーム」であって各フレームが複数の三角形メッシュ及び単一のリンクされた画像スタック（すなわちボリューム）を含有することが可能なフレームをサポートすることにより働く。これらは、そこにロードされたすべてのデータが単一の座標フレーム基点を共有するので「フレーム」と呼ばれる。したがって、このフレームを操作する場合、含まれるすべてのメッシュ及び画像スタックが一緒に操作される。これらのフレームはそれぞれ、その範囲を示す赤色の境界ボックスによって視覚描写される。図４Ｂはそのような複数のフレームの例を示しており、該フレームは各々が心臓の３Ｄジオメトリを包含している赤色の境界ボックスによって示されている。

モデルビューワソフトは、フレームが三角形メッシュ及び画像スタックの両方をともに包含している場合に有効である。しかしながらこれが働くためには、これら２つのデータソースが適正に整列するように登録されるべきである。該ソフトウェアはこれを、三角形メッシュの座標フレームに関してある一定の仮説を立てることと、画像スタックをどのように３Ｄへと写像するかにおける在来技法とにより、遂行する。以降の段落はこれらの仮説及び在来技法について概説する。これらの在来技法に合う多数の方法が存在する。例えば、ジオメトリをセグメント化するために使用されているソフトウェアのエクスポートプロセスにおいて、それらは矛盾のないように保たれることが可能である。しかしながら、その仮説に合わない既存データを用いて、データをロードするためには、座標フレームの変更に有用な１個のソフトウェアはＭｅｓｈＬａｂと呼ばれる無料の３Ｄ三角形メッシュソフトウェアである。

仮想環境全体のためのグローバル座標フレームは、正のＹ軸が上方向である一般的なデカルト座標系によって規定される。三角形メッシュがロードされる時、それらは図４Ｃに示されるようにデフォルトでこの配向に一致することになる（ただしそのローカルフレームは後で回転せしめることが可能である）。その図面は、一連のＤｉｃｏｍスライスがロードされる順序を、最初の画像（ここでは０００として示されている）がボリュームの一番下にロードされ、最後の画像（ここではＸＸＸとラベル付けされている）が一番上にロードされているとして示している。この順序はボリュームをメッシュとともに適正に配向するために維持されるべきである。画像スタックは正のＹ軸方向に積み重なると仮定される。したがって、ロードされるメッシュの正のＹ方向は、画像スタックにおける増加順に関連した方向と一致するべきである。

メッシュ及び画像スタックを登録するためには、ソフトウェアが使用可能な２つの別個の手法が存在する。メッシュ及び画像スタックの範囲（すなわち境界ボックス）が正確に同じである場合は第１の手法（ベーシック）が使用される。範囲が一致せず、データを適正に登録するために追加情報を入力しなければならない場合は第２の手法（アドバンスト）が使用される。これら２つの方法は、データがロードされる順序で識別される。三角形メッシュが最初にロードされ、次いでそれに対して画像スタックが処方される場合、ベーシックな方法が使用される。画像スタックが最初にロードされる場合、ボリュームを適正にセットアップするためにより高度な方法（アドバンスト）が使用され、その後登録された座標フレームにメッシュをロードすることが可能である。これら２つのプロセスは以下の図面において詳述される。

図４Ｄはベーシックなローディングプロセスを示している。メッシュは最初に（左画像において）規定されるが、その局所座標基点は本質的にどんな場所でもよく、その範囲は赤色の境界ボックスによって示されることになる。メッシュがロードされた後、画像スタックが適用可能であり（右画像に示されている）、かつ範囲を正確に一致させるためにフィッティングすることになる。この戦略はメッシュの範囲がロードされたボリュームの範囲と正確に一致する場合にのみ機能するであろう。

図４Ｅは高度な（アドバンスト）ローディングプロセスを示している。ボリュームがロードされ、その局所座標基点は境界ボックス（追加入力によって規定されなければならない）の背面左下の（最小の）角にあるように固定される。追加のメッシュがロード可能であり、該メッシュがこの共通座標フレームを共有すれば適正に登録されることになる。この技法は、画像スタックの部分集合のみがセグメント化された場合に有用である。

［プログラム制御（タッチハードウェア）］：モデルビューワソフトは、ミニチュア世界（World-ln-Miniature；ＷＩＭ）のメタファーを用いて該世界を航行して該世界と対話する。ＷＩＭは、以下の図面に見られるように、テーブル表面の上方に浮かぶ世界のより小さな地図としての役割を果たす。世界の内側の現在位置は「ビューウィンドウ」によってＷＩＭに関して示される。この投影図の大規模版はＷＩＭの後ろの「詳細世界（Detailed World）」に示される。最終的に、ユーザが対話するテーブル表面上に２つのウィジェットが投影される。第１に「シャドウ・ウィジェット（Shadow Widget ）」は、テーブル上へのＷＩＭの垂直投影である。第２に「スライス・ウィジェット（Slice Widget）」は、テーブル上へのビューウィンドウの垂直投影である。メタファーは図４Ｆにおいて図表で示されている。シャドウ・ウィジェットは、様々な場所若しくは大きさへとＷＩＭを位置決め及び拡大縮小するか、又は様々な向きから該世界を見るためにＷＩＭを回転及び配向するかのいずれかのためにＷＩＭ自体を直接制御するために使用される。以下の図面に見られるように、これらの行為各々を実施するために１組のジェスチャが使用される。これらのジェスチャは、テーブル表面上の（スライス・ウィジェット以外の）いかなる場所でも実行可能である。これらのジェスチャは、オブジェクトのシャドウの上又はスクリーン上の他所で対話することにより、個々のフレーム上又は全フレームにわたり使用可能である。

図４Ｇは、（ａ）テーブル表面の平面においてＷＩＭを並進移動、拡大縮小、回転運動させるためのジェスチャ、及び（ｂ）傾転及び転動のためのジェスチャ、を示す。スライス・ウィジェットは詳細世界の現在位置及び縮尺を直接制御するために使用可能である。テーブル上の緑色の線の投影は、浮動型のピクチャーウィンドウの端部をつかむための１組のハンドルを提供する。これらのハンドルは、以下に示されるように、スライス・ウィジェットの端部に青色の円で示されている。これらのハンドルはそれぞれ、ビューウィンドウの位置を変更するために独立につかんで操作することが可能である。ズームレベルを変更するために、ウィンドウをより大きく又はより小さく拡大縮小することが可能である。黄色の線は詳細世界を現在見ている方向を示す。ビューウィンドウの鉛直高さは、赤色で示された両矢印の近くで親指を移動させることにより調整可能である。スライス・ウィジェットの中心の回転矢印を押圧及び保持することにより、ＷＩＭは、別の方向から見るべく世界を反転させるために、テーブル表面上で別の指を移動させると同時にビューウィンドウをその場に固定することにより、回転させることが可能である。各ハンドルの近くのロックアイコンは、オプションを周期的に繰り返すために、ロックアイコンをタップすることによりＷＩＭの表示特性（viewing property）を変更するのに使用可能である。デフォルトモードであるオープンロックでは、ＷＩＭはユーザがこれと対話している時にのみ現われることになる。施錠によって示されるロックモードでは、ＷＩＭは常に視認可能となる。空の円によって示される非表示モードでは、ＷＩＭは対話している時でも常に視認可能できなくなる。第４のモードは拡大縮小物を常に非表示とし、ＷＩＭのみを示すことになる。

図４Ｈはスライス・ウィジェットを示す。ハンドル（線の両端部の円）はミニチュア世界の内部にビューウィンドウを配置するために使用される。水平方向のスライスの高さは、図の右下中の二重矢印の近くで親指をドラッグすることにより上下に調整可能である。

患者の解剖学的構造の内部における、すなわち特定の解剖学的アイテム内の、曲線及びボリュームを指定するための特徴的機能（feature ）を利用可能である。スライス・ウィジェットの中心に指を下ろしてそこから外にドラッグすると、３Ｄ地点が作出される。この地点は、テーブル周辺でドラッグすることによりテーブル表面と平行な面において移動せしめられる。３Ｄ地点の鉛直高さを変更するためには、（通常は反対の手の）別の指でテーブルが押されて、ユーザの指とテーブル上方に浮いている３Ｄ地点との間に「仮想糸」が接続される。２本の指を一緒にすると糸は緩み、３Ｄ地点がより高くなることが可能となる。同様に、２本の指を別々に動かすと３Ｄ地点が低下する。最後に、２本の指をこのように押したまま、第３の指（通常は親指）がテーブル上で鉛直方向に移動せしめられると、この地点で曲線が膨張又は収縮してボリュームを取り囲むことになる。そのようなジェスチャは図４Ｉに図表で示されている。そこでは、地点はミニチュア世界に関連する３Ｄ空間において指定されている。多数の地点が組み合わされて曲線を形成し、さらなるタッチジェスチャによって拡張せしめられて一般化円筒を規定してもよい。

本明細書中に記載されたソフトウェアはズィー・スペースのハードウェアプラットフォーム上で運用可能である。そこでの主要な入力デバイスは、２Ｄタッチ入力表面ではなく６自由度のワンドである。このワンドの並進運動及び回転運動はいずれも追跡され、タッチ式ハードウェアに記載された操作はすべて、ワンドとワンド上の３個のボタンとの組み合わせを使用することにより再現される。第２のディスプレイを用いずに「テーブル」の概念を保持するために、水平なテーブル表面は、角度のついたズィー・スペースのディスプレイの後方に移動せしめられて仮想空間にのみ存在する。加えて、タッチ対応のハードウェアセットアップで使用されたミニチュア世界の映像及び対話はズィー・スペース版では除去される。ミニチュアだけが示されてユーザによって操作され、ビューウィンドウは使用されない。

図４Ｊは、ズィー・スペースのハードウェア上でのモデルビューワソフトの構成要素の例証である。縦形スクリーンは、該スクリーンが載っているテーブルから６０度の角度をなして置かれている。仮想テーブルはウィンドウの後方に描かれ、そこにシャドウが投影される。座標フレーム及び黄色の線によって示されたスタイラスデバイスは、仮想環境と対話するために使用される。追跡を受けるスタイラス（又はワンド）は、モデルビューワソフトと対話するための仮想カーソルとして使用される。該スタイラスは、これを下方にポイントして視線をテーブルと交差することにより、テーブル表面へのタッチ事象をシミュレートするために使用可能である。押圧された時、スタイラスの動きと組み合わされたこのボタンは仮想テーブルへのタッチ事象をシミュレートすることになる。このように、タッチハードウェアで使用される全ての単一地点での対話が実施可能である。このベーシックな能力に加えて、その他のより高度な３Ｄ対話処理（他の方法では２以上のタッチポイントを必要とすることになろう）がサポートされる。スタイラス上の大きな主要ボタンは「グラブ（掴み）」ボタンとしての役割を果たす。各フレームの境界ボックスにスタイラスをポイントしてグラブボタンをクリックすることにより、メッシュを、スタイラスの位置及び配向に従って１対１写像で移動させることが可能である。グラブボタンで操作することが可能なその他の特徴的機能もあり；例えば、水平のスライスが掴まれて上下に移動せしめられ、仮想テーブル上のシャドウの中に描かれた投影図を変化させることが可能である。仮想テーブルの左側に、前後上下に移動せしめて鉛直のクリッピング面がどれくらい離れているか変更することの可能な鉛直の「ウィング」もある。グラブボタンは、制御装置の場所でスプラインの地点を掴んでそれらを３Ｄに配置するために使用することが可能である。

スタイラス上の右ボタンは「スケール」ボタンとしての役割を果たす。境界ボックスをポイントした後でクリック及びドラッグ操作を行うことによって、このボタンは、その境界ボックスのフレームに含まれたデータ（例えばメッシュ又はソリッドモデル）を、該ボックスの中心から離れるか又は近づくことにより拡大又は縮小するために使用可能である。このスケールボタンはさらに、この同じ方法で、スプラインによって作出された管の半径を変更するために使用可能である。このスケールボタンはさらに、ズィー・スペースのディスプレイの前方端部に中心点を備えて仮想テーブルを上方に転ずるために使用可能な追加の特徴的機能を有している。これはテーブル表面とより容易に対話するのに有用であり、このことは本文書において後に記載される２Ｄテーブルのウィジェットを使用するときに役立つ。これは、スタイラスをテーブルに対して下方にポイントし、スケールボタンを押し、かつスタイラスを上方へ移動させることにより実施可能である。このボタンの別の機能は先述した「ウィング」に関する。ウィングをクリックしてこのボタンを押すことにより、ウィングは回転せしめられて、クリッピング面の角度を変えて完全に鉛直ではないようにすることができる。

スタイラスの左側の第３のボタンは「カーソル」ボタンとしての役割を果たす。このボタンをクリックすると、最も近いフレーム内のスプラインについて新しい３Ｄカーソルを作出することになる。これは、タッチハードウェアにおける上述のドラッグ動作と同じ方法で機能する。クリックした後、カーソルを位置決めすることが可能であり、該カーソルはボタンが離された後は静止状態を維持することになる。

図４Ｋは、スクリーン右側にドッキングされたドラッグ式タッチウィジェットを備えた仮想テーブルのディスプレイを示す。上記ウィジェットはそれぞれ、テーブル上に移動させることが可能であり、かつ仮想環境のセッティングを変更するために使用可能である。モデルビューワソフトには、多くのさらなる特徴的機能、例えばファイルをロード及びセーブする能力又は仮想オブジェクトの視覚的セッティングを変更する能力が利用可能である。該ソフトウェアは、これらの特徴的機能を実施するためにタッチウィジェットメタファーを活用する。１組のウィジェットがスクリーン右側にドッキングされる。これらはそれぞれ仮想テーブル上に（タッチ又はスタイラス対話処理を介して）ドラッグアウトせしめることが可能である。これらのウィジェットはその後、様々な行為を実施するために対話処理されることが可能である。多くの場合、これらの行為は仮想テーブル上のウィジェットの場所に依存する。例えば、ウィジェットがメッシュの特定のシャドウ上にあれば、該ウィジェットはその特定のメッシュについてセッティングを変更することになる。以降の節はこれらのウィジェットそれぞれについてより詳細に討論し、それらが何を行うか、またそれらをどのように使用するかについて説明することになる。

タッチウィジェットを表現する視覚的なスクエア型アイコンに加えて、各ウィジェットはその機能性においてすべてのウィジェットにわたり一貫している４つの異なる特徴的機能を有することができる。これらの４つの特徴的機能は図４Ｌにおいて分類表示されている。それぞれの矢印はクリック可能であり、より多くの制御部を含むように展開されることになる。ウィジェットがフォーカス矢印（focus arrow ）を包含する場合、該矢印の先端によって示される場所は、どのデータ項目がセッティングを変更することにより修正されているかに対応するか、又はロード動作の終了時にロードされたファイルがどこにあるかに対応する。

プログラム終了（Program Exiter）ウィジェットはプログラムを閉じるために使用される。これをテーブルにドラッグアウトして、ソフトウェアを終了するためにダブルクリックするだけである。

ビューリセッタ（View Resetter ）ウィジェットは現在ロードされているフレームとビューウィンドウとをリセットして中心に置くために使用される。これは、典型的にはタッチ表面への外部的な入力が原因で仮想オブジェクトが失われたときに有用である。該ウィジェットは、オブジェクトのスケールをリセットしてオブジェクトをスクリーン上に十分に一致させ、かつこれらを仮想テーブルの中心軸に沿って水平方向に整列させる。カラーピッカー（Color Picker）ウィジェットはフレーム内部の個々のメッシュの色を設定するために使用される。該ウィジェットがテーブル上に設けられた後には、円形カラーパレットと組み合わされた絵筆アイコンを表示することになる。絵筆の先端近くにその中心を備えたメッシュが選択されることになる。選択後、カラーパレット内部のタッチポイントが、メッシュに適用される色をドラッグ及び変更するために使用可能である。

デリートツール（Delete Tool ）ウィジェットはソフトウェアから既存のフレーム（すなわちメッシュ及び画像スタック）を除去／アンロードするために使用される。削除されるべきフレームの上部にフォーカス矢印を移動させ、これを削除するためにウィジェットをダブルクリックするだけである。

スプラインツール（Spline Tool ）ウィジェットは、先述のスプライン生成対話処理を使用して作出済みの３Ｄスプライン（曲線）を修正、ロード、及びセーブするために使用される。スプライン情報を保持するために使用されるファイルタイプは、表計算ソフトウェアに容易に読み込むことが可能なカンマ・セパレイテッド・バリュー（ｃｓｖ）ファイルである。これには２つのセクションがある。第１のセクションは、スプラインを作出するために使用される正確な制御点の場所をリストする。第２のセクションは、スプライン曲線の数学的表現を均等にサンプリングすることから得られる地点をリストする。これらはそれぞれ４つのカラムを使用してリストされ、最初の３カラムは各地点のＸ、Ｙ及びＺ位置を規定する。第４のカラムは、その制御点におけるスプラインの管の半径を規定する。スプラインをセーブするために、ウィジェットがドラッグされてフォーカス矢印がテーブル上の曲線を選択するようにすることが可能である。その後、セーブウィンドウの展開及びディレクトリの選択によって、ｃｓｖファイルは、該ファイルが作出された時間が記された、自動生成されたファイル名を備えて作出されることになる。

ディスクからスプラインをロードするためには、スプラインがロードされるべきフレームにウィジェットをドラッグし、ウィジェットの左側のロードウィンドウを展開し、かつロードするべき.csvを選択する。スプラインはこのフレーム内で再作出され、次いで修正可能である。スプラインの挙動、及び各スプラインに関連した情報を変更するために使用可能な１組のウィジェット設定もあり、これはウィジェット底部の矢印を展開することにより見ることが可能である。

これらの要素の説明は以下のとおりである：（ａ）総スプライン長（total Spline Length ） 現在選択されているスプラインの全長を報告する；（ｂ）現在のセグメント長（current Segment Length） 最後の制御点と前の制御点との間の距離の長さを報告する；（ｃ）壁までの平均距離（Avg Distance to Wall） スプラインの中心から、スプラインより径方向に外側に見出される最も近い境界への平均距離を報告する。この値は後述のボタンが押された時にオンデマンドでコンピュータ計算される；（ｄ）フローズン（Frozen）（チェックボックス） チェックされたとき、スプラインは適所に固定され、制御点はもはや操作不可能である；（ｅ）後続バッファ（Trailing Buffer ）（チェックボックス） チェックされたとき、スプラインの最後の３つの制御点だけが変更可能であって後続バッファとして作用することになる。これは、スプラインが多数の地点を包含する結果としてクラッタが原因で個々に選択するのが難しくなる場合に有用である。（ｆ）スプラインの中心配置（Center Spline ）（ボタン） クリックされた時、スプライン全体が該スプラインを囲む表面に関して中心に配置されることになる；（ｇ）平均距離のコンピュータ計算（Compute Average Dist）（ボタン） クリックされた時、スプラインから最も近い壁までの平均距離が、スプラインに沿って径方向に探索することにより見出されることになる。この値は上述のテキストボックスにおいて報告される；（ｈ）放射状スプラインの生成（Generate Radial Spline）（ボタン） このボタンは表面の正確な形状に沿った新しいスプラインを生成するために使用される。新しいスプラインの生成のシードを行うためには既存のスプラインを使用する。シードスプラインは、鉛直な壁表面の面と交差しなければならない。このスプラインが交差する地点は鉛直表面の面において視線を放つために使用され、制御点はこれらの視線の交差点に配置される。例えば、動脈の中心線に沿ったスプラインが設けられた場合、かつこのスプラインが鉛直面でクリッピングされるように投影図が回転された場合、このボタンが選ばれた後で、動脈の内部の輪郭に沿った、鉛直面にある新しいスプラインが作出されることになる。

アニメーションツール（Animation Tool）ウィジェットはソフトウェアにロード済みの一時的データセットのためのセッティングを制御するために使用される。これは４Ｄメッシュ及び４Ｄ画像スタックの両方を含んでいる。フレームにこれらの種類のデータのどちらかがロードされた後、本ツールはそのシャドウ上にドラッグされることが可能であり、また次の情報／セッティングが利用可能である：（ａ）総アニメーション時間（Total Animation Time） ロードされたアニメーションの全シーケンスを完了するための現在時間（秒）であり、所望のアニメーション速度に一致させるためにはこのセッティングを変更する；（ｂ）ボリュームの数（Number of Volumes ） 現時点でロードされた選択されたフレームのボリュームシーケンスにおけるボリュームの数を報告する；（ｃ）アニメーション間隔時間（Animation Interval Time ） シーケンス中の連続するボリュームの間の時間ステップ。（総アニメーション時間）＝（ボリュームの数）×（アニメーション間隔時間）；（ｄ）メッシュアニメーション時間（Mesh Animation Time ） フレーム内部の個々のメッシュシーケンスは時に他のメッシュ（又はロードされたボリュームシーケンス）とは異なるタイミングを有することがある。このセッティングは、フォーカス矢印に最も近い個々のメッシュシーケンスのタイミングを制御する。デフォルトでは全てのロードされたメッシュシーケンスは総アニメーション時間と一致するが、これはこの値を修正することにより変更可能である；（ｅ）メッシュの数（Number of Meshes） フォーカス矢印に最も近いメッシュシーケンスにおけるメッシュの数を報告する；（ｆ）メッシュアニメーション間隔時間（Mesh Animation Interval Time） 上記の「アニメーション間隔時間」と類似しているが個々のメッシュシーケンスに関するものである；（ｇ）再生速度（Playback Speed） アニメーションが再生される速度であり、デフォルトでは実時間再生についてのものになるが、アニメーションの速度を上下させるために調整可能である。加えて、このウィジェットは移動させることが可能な追加のタイムラインウィンドウを有する。このタイムラインには、現在選択されているフレームのアニメーションを開始又は停止するための再生／一時停止ボタンが取り付けられている。タイムラインは、現在の表示がアニメーションのどこまでであるかの指標を示す。タイムラインは対話型であり、これに沿ってドラッグすることにより現在のステップを変更することが可能である。

ボリューム・ツール（Volume Tool ）ウィジェットは、ロードされた画像スタックの次元、及び視覚化セッティングを変更するためのいくつかの制御部を構成するために使用される。本ツールは（５．３節に記載されるように）画像スタック３Ｄ境界ボックスの最小の角にある座標フレームを適正にセットアップするために使用される。ユーザが入力を変更するにつれて、ボリュームの境界ボックスは更新することになる。それは絶えずサイズ変更して、それ以上見ることができないほど大きくも小さくもならないようにすることになる。上記にもかかわらず、ボックスの境界は変化している（かつ拡大縮小率はこれを説明するために変更されている）。境界ボックスは、その後のロードされるメッシュが正確な位置及び縮尺であるように、正確にセットアップされなければならない。本セクションにおけるセッティングは、ロードされるべきその後のメッシュが規定される単位系／座標フレームと一致するように構成されるべきである。利用可能なセッティングは次のとおりである。

ボリューム・スケール・トゥ・メートル（Volume Scale to Meters）ウィジェットは、メッシュ／ボリュームが使用している単位を設定するために使用され、このスケール係数を掛けられた時、単位はメートルになるはずである。例えば、仮にメッシュ及びボリュームがその単位としてｍｍを使用してエクスポートされた場合、このスケール係数は「０．００１」にセットされるはずである。この係数は、ひいては表示出力がその正確な単位（この係数なしでは未知であろう）で報告されることを確実にするために使用される。様々なチェックボックスが以下のように作動する：（ａ）テクスチャ・フロム・ボリューム（Texture from Volume ）は、メッシュ上で３Ｄテクスチャリングのオン／オフを切り替える。オンの場合、画像スタックは「大理石のブロック（block of marble ）」として処理されることになり、該スタックによって規定されたボリュームに含まれる色はメッシュ表面上に写像されることになる；（ｂ）ショウ・ソリッド・スライス（Show Solid Slice）は、選択されたメッシュについてのソリッド・モデリングのオン／オフを切り替える。オンの場合、メッシュは規定された内部及び外部を有するソリッドオブジェクトとして処理されることになり、クリッピングされた時、内部はクリッピング面に平らにレンダリングされて、内部がクリッピングから隠れる（すなわち、背面は目に見えない）ようになされることになる。これは、前面及び背面がすべて一貫している水密な十分に規定されたメッシュ上でのみ使用されるべきである；（ｃ）ショウ・シャドウ・スライス（Show Shadow Slice ）は、メッシュを通る現在の水平スライスのシャドウ表現のオン／オフを切り替える；並びに（ｄ）テクスチャ・ＷＩＭ（Texture WIM ）は、ＷＩＭ上の３Ｄテクスチャリングのオン／オフを切り替えるが、３Ｄテクスチャは設定済みである。

デバイス・サイジング・ツール（Device Sizing Tool）ウィジェットは、仮想環境において直径を測るのに利用可能なデバイスサイズ判定ツールを構成するために使用される。ビューウィンドウのシャドウ上の赤色の線を移動せしめて、この仮想デバイス径を直接制御することが可能である。この基本制御に加えて、本ウィジェットは大きさの正確なセッティングを可能にする。次のセッティングが利用可能である：（ａ）フリーズ・デバイス・ウィドゥス（Freeze Device Width ）（チェックボックス） チェックされた時、デバイスはその幅でフリーズせしめられ、それ以上修正できない；（ｂ）オールウェイズ・ショウ・デバイス（Always Show Device）（チェックボックス） チェックされた時、円形のデバイスインジケータは、対話される場合にのみ示されるデフォルト動作の代わりに常に示されることになる；（Ｃ）ネバー・ショウ・デバイス（Never Show Device ）（チェックボックス） チェックされた時、円形のデバイスインジケータは表示されない；（ｄ）デバイス・ウィドゥス（Device Width）（ｍｍ） ユーザがデバイス幅（直径）をｍｍ単位で正確に設定することを可能にする。

カメラ・パス・ツール（Camera Path Tool）ウィジェットは、スプラインの経路に沿ってカメラ（すなわちビューウィンドウ）をアニメーション化するために使用される。最初に、スプラインは所望の環境で作出されなければならない。次に、このウィジェットがスプラインのシャドウ上にドラッグされることが可能である。スプライン上に配置された後、カメラは追加のボタン一式を使用して制御可能である。左端のボタン（直角）は、ビューウィンドウを直角にしてスプラインの方向に垂直になるようにするために使用される。直角にした後、「プレイ（play）」及び「リバース（reverse ）」ボタンはカメラを経路に沿っていずれかの方向に始動させるために押すことが可能である。アニメーション化しているときに反対のボタンが押されれば、カメラは休止することになる。加えて、右端のボタンはカメラの動きを加速させるか又は減速させるかいずれかのために押すことが可能である。

等値面エクストラクタ（Iso Surface Extractor ）ウィジェットは、画像スタックからの等値面の実時間抽出を実施するために使用される。これは新しい画像スタックがインポートされる場合に有用となりうるが、そこからメッシュをセグメント化するためには他のソフトウェアは未だ使用されていない。このウィジェットは、特定の値における表面を抽出するために単純なマーチングキューブ法の等値セグメント化ルーチンを実施することになる。これが使用する値は、テーブル上の表示画像スライスにフォーカス矢印をポイントすることにより設定される。矢印先端のすぐ下にあるその値は等値として使用され、その値における境界を表している表面が抽出されることになる。次の追加制御が利用可能である：（ａ）アクティブ抽出（Active Extract）（チェックボックス） チェックされた時、等値面はウィジェットが移動せしめられるごとに絶えず抽出されることになる。コンピュータ計算は非常に解像度の高い画像スタックについて徹底的となりうるという事実に因る；（ｂ）インバート（Invert）（チェックボックス） 抽出後に、メッシュ上の法線が不正確である（すなわち、背面が正面のはずであるか又はライティングが不正確である）場合、このチェックボックスは、次回の抽出が正確であるように法線の向きを切り替えるために使用可能である；（ｃ）選択（Select）（ボタン） 押された時、等値面が上述のようにして抽出される。フレーム当たり１つの等値面しか存在できず、既存の等値面がフレームにある場合は置き換えられることになる。

スクリーンレコーダ（Screen Recorder ）ウィジェットは、対話セッション後に外部再生するためにスクリーンからビデオを取り込むために使用される。ファイル名はタイムスタンプに応じて自動生成され、加えて、ファイル名はその中に、該ファイル名がステレオスクリーンの左眼であるか、右眼であるか、又はテーブル表面の取込であるかを示すためのモディファイア（左、右又はテーブル）を有することになろう。対話処理を取り込むために、レンダリングされたフレームはビデオへとエンコードされる。このエンコードは、ビデオが再生される関連フレームレートを有する。ビデオを適正な実時間速度で再生するためには、エンコードのフレームレートは理想的にはレンダーグラフィックスのフレームレートと一致するべきである。近いデフォルト値が使用されるが、何が記録されているかに応じ、またその他のシステム負荷に応じて、この値は変化しうる。よって、理想的にはビデオのフレームレートは適切な値に手動で設定されるべきである。このフレームレート制御及びその他の関連するセッティングは該ウィジェットを介して利用可能である、すなわち：（ａ）平均ＦＰＳ（Average FPS ） このフィールドは現在のレンダリングフレームレートの移動平均を報告し、これは理想的にはエンコードしているＦＰＳフィールドに入力されるべき値である。しかしながらこの値は、レンダリング時間がかなりの追加の負荷をシステムに加えて減速を引き起こすので、記録開始後に低下することになる；（ｂ）レコード・イン・ステレオ（Record in Stereo）（チェックボックス） チェックされた時、左眼像及び右眼像の両方が２つの別個のビデオファイルにセーブされる。次いで第三者ソフトウェア（例えばＢｉｎｏ）が、これらの２つのビデオファイルを構成し、かつこれをステレオ再生するために使用可能である。チェックされない場合、左眼だけがセーブされる；（ｂ）レコード・テーブル（Record Table）（チェックボックス） チェックされた時、テーブル表面上でレンダリングされたグラフィックスを取り込むビデオファイルが作出される；（ｃ）エンコーディングＦＰＳ（Encoding FPS） どのフレームレートでエンコードするかをビデオエンコーダに伝える変更可能なフィールド、理想的にはこれは平均ＦＰＳフィールドで報告された値と一致するべきである（ただしこの値は記録が開始された後で低下するということに注目されたい）；（ｄ）スタート／ストップ・レコーディング（Start / Stop Recording）（ボタン） クリックされた時、録画が開始される。クリック解除された時、録画は停止してビデオはディスクにセーブされる。

メッシュ・ローダ（Mesh Loader ）ウィジェットは、ソフトウェアに新しい三角形メッシュをロードするために使用される。これらの三角形メッシュは既存のフレームに加えることも可能であるし、新しいフレームが自身の個別のメッシュを含有するように作出されることも可能である。展開されたロードウィンドウを使用すると、ファイルがブラウズ及び選択されることが可能であり、選択されるとファイルは読み取られてメッシュが表示される。多数のメッシュをロードし、各々を連続的にロードするために、単一ファイルだけが一度にロードされることも可能である。主な支援ファイル形式はＳＴＬであり、これはほとんどのＣＡＤパッケージがエクスポートをサポートしている。加えて、他の多数の三角形メッシュ形式、例えばＷａｖｅｆｒｏｎｔ ＯＢＪファイルも同様に働く。

テンポラル・メッシュ・ローダ（Temporal Mesh Loader）ウィジェットは、一時的に連続している三角形メッシュのシーケンスをロードするために使用される。シーケンスは、ロードするべき三角形メッシュファイルのリストを単に指定することによりロードされる（ファイル名の順序が一時的に一致している場合）。このウィジェットは「メッシュ・ローダ」とほとんど同じ働きをするが、ロードウィンドウでは、１つだけでなく、シーケンスを規定する複数のファイルが選択されるはずである。

ボリューム・ローダ（Volume Loader ）ウィジェットは、画像スタック（すなわちボリューム）をフレーム内にロードするために使用される。正確に１つの画像スタック（又は画像スタックのシーケンス）が１フレームにつきロード可能である。スタックが既存のフレームにロードされる場合は任意の既存の画像スタックと置き換わるか、そうでなければ新しいフレームが作出されることになる。ロードウィンドウが展開されることが可能であり、またロードするべき画像スタックを含んでいるファイルのリストが選択されることが可能である。Ｄｉｃｏｍ画像はサポートされているが、他のほとんどの画像形式もサポートされており、ｐｎｇファイル（色もサポートしている）が典型的には一層頑健である。画像は、ファイルブラウザ（アルファベット順にソートされる）に列挙されている順序でロードされることになる。ファイルブラウザウィンドウの一番上の矢印はファイル名の順序を逆にするために使用可能である。加えて、開始ファイル及び終了ファイルが選択可能な「ブックエンド」の特徴的機能もあり、この「ブックエンド」ボタンを一番上で押した後、間にある全てのファイルが選択されることになる。最後に、画像スタックの一時的シーケンスを、同様に本ウィジェットを用いてロードすることが可能である。これを行うためには、各スタックが全く同数の画像を含まなければならず、連続画像スタックの全てを構成する画像は単一のフォルダ内に位置して、後のスタック中の最初の画像が前のスタック中の最後の画像の直後に続くようになっていなければならない。その後、追加のセッティングを使用して、ファイルのこの大規模なリストを細分化する方法のインターバルを指定することが可能である。具体的な追加のセッティングは以下のとおりである：（ａ）ロード・エンプティ（Load Empty）（ボタン） 押されたとき、空のボリュームを備えた新しいフレームが作出される；（ｂ）テンポラル・ボリューム（Temporal Volume ）（チェックボックス） チェックされた時、ファイルのリストは上述のように一時的なシーケンスとしてロードされる；（ｃ）スライス・パー・タイムステップ（Slice per Timestep）
連続画像スタックを互いに識別するインターバル、例えば２００個の画像がロードされ、かつその中に１０個の連続するボリュームがあった場合、ここには２０が入力されるべきである。

プロジェクト・ローダ（Project Loader）ウィジェットは、システムの全状態を現時点のまま完全にセーブするために使用される。これは、複数のメッシュ及びボリュームがロード済みである場合、及び異なるセッティングが適用済みである場合、及び後に別の時に表示するためにセーブしておきたい場合に、有用である。セーブウィンドウの展開及びディレクトリの選択により、セーブされたのと全く同じ状態のソフトウェアをリロードするために必要な全ての情報を含有している .projファイルがセーブされることになる。この .projファイルはプレーンテキストであり、いくつかの個々のセッティングを手動で変更したい場合にテキストエディタにおいて調べることが可能である。セーブされたプロジェクトファイルをリロードするためには、ロードウィンドウを展開し、そこにブラウズし、それを選択する。このプロジェクトでリンクされたファイルをすべてロードするには数分を要する場合がある。プロジェクトのロードが成功するためには、 .projがセーブされた時に使用されたファイルは全く同じ場所に存在しなければならない。加えて、時にはある種のファイル名が、このファイルをロードするために使用される構文解析系を壊すことがある。プロジェクトファイルをリロードすることが不可能な場合、それは、ファイル名がその経路中に構文解析を乱しているいくつかの異常な文字（又はスペース）を有していたという事実による可能性が最も高い。この理由により、単純なファイル名及びディレクトリが推奨される。

オルソゴナル・スライス・ビューワ（Orthogonal Slice Viewer ）ウィジェットは、３つの、直交する、座標で整列された（three, orthogonal, coordinate aligned ）現在のボリュームの２Ｄスライスを見るために使用される。アクティブにされた時、これら３つの投影図はテーブル表面の左側に表示されることになる。これらの３つの投影図の配向は仮想オブジェクトのローカルフレームにロックされる、すなわち該オブジェクトが広域世界に対して回転せしめられるとき、２Ｄスライスは同じままである。ビューウィンドウの現在の中央点はこれら３つのスライスそれぞれの３Ｄ位置を判定する。この単一の地点は、３つのスライス全てと常に交差することになる。ユーザがビューウィンドウを介してナビゲートするにつれて、直交するスライスはこの地点の変更に応じてダイナミックに更新する。アクティブであるとき、これらのスライスの正確な３Ｄ位置は３つの別個のフレームとしてミニチュア世界において示されることになる。次のセッティングが本ウィジェットに利用可能である：（ａ）ショウ・スライス（Show Slices ）（チェックボックス） チェックされた時、スライスはアクティブであって表示されることになる；（ｂ）ミラー・オン・ウォール（Mirror on Wall）（チェックボックス） チェックされた時、かつスライスビューワがアクティブである時、２Ｄスライスの投影図は鉛直面に映し出されることになる（will be mirror）。

テンポラルＦＥＡローダ（Temporal FEA Loader ）ウィジェットは、ＰＬＴ形式をとるＦＥＡデータをロードする（load in FEA data）ために使用される。この形式は、要素及びそれらの接続性、続いて全要素の頂点の配置状態及びこれらの頂点に関連したいくつかのデータフィールドを包含する一連の時間ステップをリストする。ファイルロードウィンドウはＰＬＴファイルの場所をブラウズするために使用され、選択された後に一組の時間で変動するメッシュ（time varying mesh ）がファイルからロードされる。ロードされた後、これらのメッシュの視覚表示は次のセッティングを変更することにより修正可能である：（ａ）ローカル・カラー・マップ（Local Color Map ）（チェックボックス） チェックされた時、メッシュは値の範囲が現在時間ステップの最大及び最小のフィールド値にマップされるように着色される。オフの場合、フィールドによって規定される範囲が全ての時間ステップにわたって判定される（where the range is defined by the field is determined across all time steps ）グローバルカラーマップが使用される；（ｂ）フラットシェーディング（Flat Shading）（チェックボックス） チェックされた場合、ＰＬＴファイルがロードされた時に、メッシュが鋭角を含有する場合に有用なスムースシェーディングの代わりに各三角形に固有なフラットシェーディングを使用して、法線がコンピュータ計算される；（ｃ）メッシュ・ライティング・オン（Mesh Lighting On）（チェックボックス） チェックされない場合、現在表示されているＦＥＡメッシュについての照明は無効になる；（ｄ）ワイヤーフレーム・オン（Wireframe On）（チェックボックス）
チェックされた時、現在表示されているＦＥＡメッシュについてのワイヤーフレームレンダリングが作動する；（ｅ）表示フィールド（Displayed Field ）（ドロップダウン）
ＰＬＴファイルからロードされたすべてのフィールドのリストを含んでいる。選択された後、表示されたフィールドはこのフィールドを反映するために更新される；（ｆ）カラーマップ（Color Map ）（ドロップダウン） 表示されたフィールドをレンダリングする場合に使用する可能なカラーマッピングのリストを含んでいる。選択された後、メッシュ上のフィールドの色が更新される；（ｇ）スキップインターバル（Skip Interval ） ＰＬＴファイルに含まれたすべてのＦＥＡメッシュ一式はＰＣのメモリに全て一緒にロードするには大きすぎる、ということは起こり得る。データセット全体の表現をなおもロードすることができるように、スキップインターバルは設定可能であり（can set ）、かつ時間ステップはロードされるデータの量を縮小するためにスキップされることになる。

次節は、１実施例による、プログラムの選択された態様について述べる。
［ウィジェットのための低水準の戦略／３Ｄタッチシステムの制御］：ある実施例は複数のデータセットをロードして同時に表示することを可能にする。複数のデータセット（例えば３Ｄの表面、ボリュメトリックＦＥＡデータ）のロード及び同時表示をサポートする特徴的機能を実現するために、多くのウィジェットが一度に１つのデータセットにしか作用しないことに着目されたい。これは、ウィジェットが活性化されている場合は常に、該ウィジェットが作用するべき特定のデータセットに関連づけられている必要があることを意味している。複数のデータセットをロードして同時表示する機能には新しいインターフェースが含まれる。ウィジェットとデータセットとの間を関連付けるために、ユーザはツールトレイから適切なデータセットのシャドウ上へとウィジェットをドラッグする。するとウィジェットは、データセットのシャドウのまさにその上の位置で活性化する。１例において、すべてのデータセットに適用される（例えば、プロジェクト全体をロード及びセーブし、スクリーンを動画ファイルへと記録する）ウィジェットは、該ウィジェットをテーブル表面上のどこかに（かつ必ずしもデータセットの上ではなく）ドラッグ及びドロップすることにより活性化される。１例において、新しいデータセットをロードするためのウィジェットは、該ウィジェットをテーブル上の新しい位置へドラッグし、リリースすることにより活性化され、次いで新しいデータセットはテーブル上のこの場所でロードされることになる。同様に、カメラ・パス・ツールでは、カメラは、特定の３Ｄ曲線のシャドウ上にカメラウィジェットをドラッグすることにより、該３Ｄ曲線に関連付けられて該曲線沿いに進む。

［解剖学的構造に対する３Ｄ曲線の中心配置］；一例において、スプラインは選択された解剖学的構造に対して中心に配置されることが可能である。３Ｄ解剖学的構造の空洞内部でプロット済みのスプライン（３Ｄ曲線）を中心に配置する特徴的機能をサポートするために、アルゴリズムは、スプラインの各制御点に繰り返し適用され、この点からスプラインに垂直なすべての方向に最も近い表面までの距離を判定し、次にこれらのコンピュータ計算された距離に基づいて制御点を中心に配置する。一例において、アルゴリズムは、スプラインの長さに沿ってスプラインから解剖学的構造までの平均距離をコンピュータ計算するように構成される。

［実時間対話型等値面抽出］：新しいデータセットをツールに取り込む際には相当な時間が必要である。この時間の一部は、医用画像スタックから等値面を抽出するために外部ツールを使用することに関連している。本発明の主題の一例は、外部ツールへのアクセスに費やされる時間を省く等値面抽出ウィジェットを含む。該ウィジェットは、特定の値における表面を抽出するために単純なマーチングキューブ法の等値セグメント化を実施するように構成される。これが使用する値は、テーブル上の表示画像スライスにフォーカス矢印をポイントすることにより設定される。矢印先端のすぐ下にあるその値は等値として使用され、その値における境界を表している表面が抽出される。「アクティブ・エクストラクト（Actice Extract）」モードでは、等値面はウィジェットが移動せしめられるごとに絶えず抽出され、これをデータ探索のための実時間インターフェースとしている。

［解剖学的構造の輪郭に従う３Ｄ曲線の生成］：１つの実施例は、解剖学的データセットにおける３Ｄ表面の空洞及び輪郭をマッピングするツールを含む。該ツールは、鉛直表面との交差地点を選択するために、ユーザが作出した既存のスプラインを使用するアルゴリズムを実行する。三次元の視線は、解剖学的構造との交差を見出すために、この交差地点を起点として外側に径方向に投影される。新しいスプラインは、これらの交差地点を一連の制御点として作出される。

［ボリュームデータの３軸位置合わせがなされた直交する２Ｄ投影面］：１つの実施例は、従来の３軸位置合わせがなされた（矢状、冠状、横断）投影図の視覚化をサポートするツールを備えている。このツールはテーブル表面の左側に３つのスライスを表示するように構成されている。これらのスライスそれぞれの３Ｄ場所は、３つ全てと交差する単一の地点によって判定される。この地点は、スライスＷＩＭメタファー（Slice WIM metaphor）を使用して航行しながらユーザにより設定され、（テーブル上部のウィジェットに示されるように）ビューウィンドウの下部中央の３Ｄ場所によって判定される。

［デバイス半径サイジング（Device Radius Sizing）を用いた解剖学的フライスルー］：１つの実施例は、設定されたデバイスサイズに関するカメラのフライスルーをサポートするように構成される。本ツールは、ユーザが作出したスプラインへのカメラウィジェットの添付を可能にする。カメラウィジェットが添付された後、ユーザはアニメーションの休止、方向転換、及び加減速によってフライスルーの再生を制御することができる。投影図は、スプラインの動きに従ってＷＩＭを通過させて進める（moving the WIM "through"）ことによるフライスルーの際に設定され、このようにしてビューウィンドウは固定されたままで、ジオメトリはそれを通って移動し、視点の動きの効果が得られる。加えて、スクリーン上の円としてデバイスの大きさを示す、ユーザ定義の半径を設定することが可能である。ユーザは、該ジオメトリをこのデバイスの大きさに対して解釈し、交差点を判定してフィッティングすることができる。

図４Ｍ及び４Ｎは、解剖学的アイテムのようなアイテムの操作及び視覚化のための仮想デスクトップの表現を示す。概して、この表現は、ユーザが高い位置に置かれたデスクトップで視覚表現を操作することが可能である一方、アイコンのような他のアイテムは仮想のサブデスクトップへと下方に投影され、その後、サブデスクトップから該アイテムを視覚的に移行せしめてより便利に対話可能であるようになされる特徴的機能を示す。

図４Ｍに示されるように、コンピュータ視覚化システムのヒトユーザ４０２は該システムに向かって座り、スタイラス４０４を使用して高い位置に置かれたデスクトップ４０６と対話している。高い位置に置かれたデスクトップ４０６は、解剖学的アイテムのモデル化及び視覚化のための上述及び後述のもののようなハードウェアに接続されうる、ＬＣＤディスプレイのようなコンピュータディスプレイとして実施される。「仮想テーブル」４０８は３Ｄグラフィックスで描かれ、水平の実際のテーブルトップ４１０に対して角度をなして位置している高い位置に置かれたデスクトップの下にある、実際のテーブルトップ４１０の面にあるように見えるようになっている。仮想テーブル４０８がこの水平位置にあるとき、該テーブルは、仮想テーブル４０８における３Ｄ視覚化のために接地している視覚背景を提供する。さらに、ユーザ４０２が有用な対話ウィジェット（ボタン、カラーピッカなど）を見ることが可能な３Ｄ表面も提供する。そのようなアイテムは、操作されているアイテム（例えば、ユーザ４０２にはあたかもそれが高い位置に置かれたデスクトップ４０６の平面又は該平面辺りで空間に浮かんでいるかのように見える、ヒト心臓の３Ｄモデル）よりも視覚的に後方にあってよい。したがって、該ウィジェットは視覚化データのいずれをも閉じることなく提示されることが可能である。

図４Ｎに示されるように、仮想テーブルは、３Ｄ表現の視覚的操作によって上向きに自動的に回転せしめられて、ここでは実際のテーブルトップ４１０の面ではなく高い位置に置かれたデスクトップの面にあるように見えるようになっている。そのような操作は、実際のテーブルトップ４１０の上に視覚的に位置するウィジェットが、物理的なディスプレイ表面から数インチ離れているように見えるのでユーザ４０２にとって選択が難しくなる場合、好ましい場合がある。ユーザ４０２が手を伸ばしてこれらのウィジェットに直接触れることはできないので、「仮想レーザポインタ」技法が通常は使用されてそのような手の届かないオブジェクトを選択するが、そのようなポインタの制御はユーザによっては難易度が高い可能性がある。ユーザ４０２がユーザ選択可能な表示されたアイテムを選択できるようにすること、またそれに応じて、ウィジェット及び他のメニューアイテムの表示を、より低い表示場所からユーザ４０２が触れている場所により直接関係しているより高い場所へと上に視覚的に回転せしめることにより、インターフェースはユーザ４０２にとってより使用し易くなりうる。

使用中のそのようなデスクトップシステムの１つの実施形態において、方法は：非鉛直かつ非水平の配向に配置された傾斜した物理デバイス上に、ユーザには該物理デバイスに位置するか又は該物理デバイスの前に位置するように見える三次元モデルを表示するステップと；該物理デバイスよりも視覚的に後方の第１の仮想表面上に、アイコン、メニュー、又は両方を含む複数のユーザ選択アイテムを表示するステップと；ユーザ選択可能なアイテムの表示場所を変更するためにユーザ入力を受信するステップと；ユーザ入力の受信に応答して、ユーザ選択可能なアイテムを、第１の仮想表面から傾斜した物理デバイスの表面上にあるように見えるものとして表示されるように移行するステップと、を含んでなる。第１の仮想表面は、傾斜した物理デバイスが載っている物理的ワークトップのような、水平な表面であってよい。第１の仮想表面は、三次元モデルの後方に表示されて、三次元モデルが視覚的に第１の仮想表面と部分的に重なる場合に三次元モデルが第１の仮想表面の表示を少なくとも部分的に阻止するようになっていてもよい。第１の仮想表面は平らな表面として表示されてもよいし湾曲した表面として表示されてもよい。表示されるアイテムは、三次元モデルの表示を変更する方法においてユーザ選択可能であってもよい。モデルは、上述及び後述の三次元及び四次元モデルの形式をとることが可能であり、またユーザとの対話並びに上述及び後述のプロセスは、ここで記載されるもののようなデスクトップシステムとともに使用されうる。

図５Ａ及び５Ｂは、解剖学的アイテムの縁部から３Ｄスプライン曲線への距離のコンピュータ計算を概略的に示している。図面に反映されているそのようなステップは、スプラインを最も好都合な物理的位置に自動的に配置するため、例えばステントのような医療用デバイスが解剖学的アイテムを通って誘導されうる経路の中心地点を表わすために、上記及び下記に議論されるもののような視覚化システムによって自動的に実行されてもよい。ここに記載された技法は、血管系のような解剖学的アイテムの内壁からの既存のスプラインの距離を判定するために、又はある長さの血管系において中心に置かれることになっているスプラインのような、内部壁に対して規定の配置状態になされる予定のスプラインを位置付けるために、使用可能である。

図５Ａは、血管の壁５０２又はヒト心臓の内部壁までの距離を判定するために測定がなされることになっているスプライン上の地点５０６Ａを示している。本例におけるコンピュータ計算方法は、地点５０６Ａをスプライン曲線に沿った地点であるとして同定し、スプラインのその地点においてスプラインに直交する角度でスプラインの周りに複数の視線を生成する。（解剖学的アイテムの第２の壁は示されていないが、スプラインの左側に位置することになろうということに注意されたい。）視線はスプラインの周りでｎ度ごとに生成されうるが、ｎは典型的には均等に３６０分割することが可能であり、例えば１０、３０、６０、又は１２０度ごとである。視線間の間隔は不均等であってもよい。地点５０６Ａから解剖学的アイテムの壁までの距離は、そのような視線それぞれについてコンピュータ計算されて格納されうる。図５Ｂによって示されるように、測定プロセスは、スプラインの長さに沿った次の地点である地点５０６Ｂについて繰り返されうる。それぞれの事例において、視線は、その地点における解剖学的アイテムの形状の内部輪郭線を、５０８Ａ及び５０８Ｂとして、描き出すことができる。該プロセスはその後、スプライン沿いの同定された地点それぞれについて繰り返されることが可能であり、その地点は、スプラインに沿って均等間隔又は不均等間隔で配置されたｎ個の地点であってよい。

このようにして、様々なコンピュータ計算及び判定がなされうる。例えば、アイテムの断面の形状及び面積を判定することが可能であり、ここで断面は、その地点において通路に対し概ね垂直であって、アイテムのジオメトリを十分に表現しない場合のあるアイテムを通る水平方向のスライスではない。そのようなジオメトリは、解剖学的アイテムを通る医療用デバイスの運動をモデル化するためにスプラインに沿った個々の関連地点にその後位置しうる医療用デバイスと、その関連場所における医療用デバイスの周りの組織との間の、相互作用を判定するために使用されてもよい。

スプラインは、同様の方式で通路に自動的にフィッティングされてもよい。まさに１例として、ユーザは、通路であって自分が例えば該通路の中心を精密にたどるスプラインのようなスプラインを生成させたい通路を、同定することができる。システムはその後、アイテムのモデルの至る所で層ごとにステップを進め、標準的な技法で、その層における開口部（血管系については概ね円形となりうる）の中心をコンピュータ計算することができる。そのようなステップにより、通路の長さに沿った複数の地点が作出されて、それらの地点に対して予備的スプラインがフィッティングされうる。しかしながら、そのようなスプラインは、アイテムがその長さに沿って湾曲する場合はアイテムの中心線を最適には追跡しない場合がある。その結果、まさに記載した技法が、スプラインの周りで視線の長さがほぼ等しくなるまで配置が調整されたスプラインを規定する地点と共に、予備的スプラインに適用されてもよい。その後、それらの地点から、水平面においてアイテムの壁から単に等距離であるのではなく、スプラインに沿った個々の関連地点においてスプラインの軸に対して垂直な平面上でスプラインから等距離である、最終的なスプラインが生成されうる。

図６は、本明細書中に記載された技法を実施するために使用可能なコンピュータシステムの例を示す。システム６００は、１つの実施形態によれば、先述のコンピュータに実施された方法のうちいずれかに関連して記載された作業に使用可能である。システム６００は、様々な形式のデジタルコンピュータ、例えばラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、及びその他の適切なコンピュータなどを含むように意図されている。システム６００はさらに、モバイルデバイス、例えば携帯情報端末、セル式電話、スマートフォン、及びその他の同様のコンピュータデバイスなども含むことができる。加えて、システムは、携帯型記憶媒体、例えばユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブなどを含みうる。例えば、ＵＳＢフラッシュドライブはオペレーティングシステム及びその他のアプリケーションを格納してもよい。ＵＳＢフラッシュドライブは、ワイヤレス送信機又は別のコンピュータデバイスのＵＳＢポートに挿入可能なＵＳＢコネクタのような、入出力コンポーネントを含むことができる。

システム６００は、プロセッサ６１０、メモリ６２０、記憶デバイス６３０、及び入出力デバイス６４０を備えている。コンポーネント６１０、６２０、６３０、及び６４０はそれぞれシステムバス６５０を使用して相互に連結されている。プロセッサ６１０はシステム６００の内部での実行のための命令を処理することができる。該プロセッサはいくつかのアーキテクチャのうち任意のものを使用して設計されうる。例えば、プロセッサ６１０は、ＣＩＳＣ（複雑命令セットコンピュータ（Complex Instruction Set Computer））プロセッサ、ＲＩＳＣ（縮小命令セットコンピュータ（Reduced Instruction Set Computer））プロセッサ、又はＭＩＳＣ（最小命令セットコンピュータ（Minimal Instruction Set Computer））プロセッサであってよい。

１つの実施形態において、プロセッサ６１０はシングルスレッドプロセッサである。別の実施形態では、プロセッサ６１０はマルチスレッドプロセッサである。プロセッサ６１０は、入出力デバイス６４０にユーザインターフェースのための図表式の情報を表示するために、メモリ６２０又は記憶デバイス６３０に格納された命令を処理することができる。

メモリ６２０は、システム６００内部において情報を格納する。１つの実施形態において、メモリ６２０はコンピュータ可読媒体である。１つの実施形態において、メモリ６２０は揮発性メモリユニットである。別の実施形態では、メモリ６２０は不揮発性メモリユニットである。

記憶デバイス６３０はシステム６００に大量記憶を提供することができる。１つの実施形態において、記憶デバイス６３０はコンピュータ可読媒体である。様々な異なる実施形態において、記憶デバイス６３０は、フロッピーディスクデバイス、ハードディスクデバイス、光学ディスクデバイス、又はテープデバイスであってよい。

入出力デバイス６４０はシステム６００に入出力動作を提供する。１つの実施形態において、入出力デバイス６４０はキーボード及びポインティングデバイスのうち少なくともいずれかを含む。別の実施形態では、入出力デバイス６４０はグラフィカルユーザインターフェースを表示するための表示装置を備えている。

記載された特徴的機能は、デジタル電子回路において、又はコンピュータハードウェア、ファームウェア、ソフトウェア、若しくはそれらの組合せにおいて実施可能である。装置は、情報担体に（例えばプログラマブルプロセッサにより実行するための機械可読型記憶デバイスに）実体として具体化されたコンピュータプログラム製品において実施可能であり；また方法ステップは、入力データにより作業して出力を生成することにより、記載された実施形態の機能を実施する命令のプログラムを実行するプログラマブルプロセッサによって、実施可能である。記載された特徴的機能は、データ及び命令を受信し、かつデータ及び命令を送信するために、データ記憶システム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスと接続された、少なくとも１つのプログラマブルプロセッサを備えたプログラマブルシステム上で実行可能な１以上のコンピュータプログラム中に、好都合に実施可能である。コンピュータプログラムとは、ある活動を実施するか又はある結果を引き起こすためにコンピュータにおいて直接的又は間接的に使用可能な１組の命令である。コンピュータプログラムは、コンパイラ型又はインタープリタ型言語を含む任意の形式のプログラミング言語で記述可能であり、かつ任意の形式で、例えばスタンドアロンプログラムとして、又はモジュール、コンポーネント、サブルーチン、若しくはコンピュータ環境で使用するに適している他のユニットとして、デプロイされることが可能である。

命令のプログラムの実行のための適切なプロセッサには、例を挙げると、汎用及び専用の両マイクロプロセッサ、並びに単独プロセッサ又は任意の種類のコンピュータの多重プロセッサのうちの１つ、が挙げられる。一般に、プロセッサは命令及びデータを読み取り専用メモリ若しくはランダムアクセスメモリ又は両方から受信することになる。コンピュータの必須要素は、命令を実行するためのプロセッサ並びに命令及びデータを格納するための１以上のメモリである。一般に、コンピュータはさらに、データファイルを格納するための１以上の大容量記憶デバイスを備えるか、又は該デバイスと通信するために作動可能な状態に連結されることになり；そのようなデバイスには、内蔵ハードディスク及び取外し可能ディスクのような磁気ディスク；光磁気ディスク；並びに光ディスクが挙げられる。コンピュータプログラムの命令及びデータを実体として具体化するのに適した記憶デバイスには、あらゆる形式の不揮発性メモリ、例を挙げると半導体メモリデバイス、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスなど；内蔵ハードディスク及び取外し可能ディスクのような磁気ディスク；光磁気ディスク；並びにＣＤ‐ＲＯＭ及びＤＶＤ‐ＲＯＭディスクが挙げられる。プロセッサ及びメモリは、ＡＳＩＣ（特定用途向け集積回路）によって補完されてもよいし、ＡＳＩＣに組み込まれてもよい。

ユーザとの対話に備えるためには、ユーザに情報を表示するためのＣＲＴ（陰極線管）若しくはＬＣＤ（液晶ディスプレイ）モニタのような表示デバイス、並びにユーザがコンピュータに入力を提供することのできるキーボード及びマウス又はトラックボールのようなポインティングデバイスを有している特徴的機能をコンピュータに実施することが可能である。加えて、そのような活動はタッチスクリーン式フラットパネルディスプレイ及びその他の適切な機構によって実施可能である。

この特徴的機能は、データサーバのようなバックエンドコンポーネントを備えているか、又はアプリケーションサーバ若しくはインターネットサーバのようなミドルウェアコンポーネントを備えているか、又はグラフィカルユーザインターフェース若しくはインターネットブラウザを有しているクライアントコンピュータのようなフロントエンドコンポーネントを備えている、コンピュータシステム又はこれらの任意の組み合わせにおいて実施可能である。システムのコンポーネントは、通信ネットワークのようなデジタルデータ通信の任意の形式又は媒体によって接続可能である。通信ネットワークの例には、ローカルエリアネットワーク（「ＬＡＮ」）、広域ネットワーク（「ＷＡＮ」）、ピアツーピアネットワーク（アドホックメンバ又は静止メンバを有する）、グリッドコンピューティング・インフラストラクチャ、及びインターネットが挙げられる。

該コンピュータシステムはクライアント及びサーバを備えることができる。クライアント及びサーバは一般に互いに遠隔しており、典型的には記載したもののようなネットワークを通じて対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で稼働し、かつ互いにクライアントサーバ関係を有しているコンピュータプログラムによって発生する。

本明細書には多数の具体的実施形態の詳細が包含されているが、これらはいかなる発明の範囲又は特許請求の範囲において主張されうるものの範囲に対する限定と解釈されるべきではなく、特定の発明の特定の実施形態に特有の特徴についての説明として解釈されるべきである。別々の実施形態に関して本明細書に記載されているある一定の特徴は、単一の実施形態において組み合せて実施されることも可能である。反対に、単一の実施形態に関して記載されている様々な特徴は、複数の実施形態において別々に、又は任意の適切な部分的組み合わせ（サブコンビネーション）として、実施されることも可能である。さらに、特徴は、ある一定の組合せで作用するものとして上記に記載されている場合もあり、またまさに当初はそういうものとして特許請求の範囲に記載される場合もあるが、特許請求の範囲に記載された組合せに由来する１以上の特徴は場合によっては組合せから削除されることが可能であり、かつ特許請求の範囲に記載された組合せは、部分的組み合わせ又は部分的組み合わせの変形形態に関している場合もある。

同様に、図面においては作業が特定の順序で示されているが、このことは、望ましい結果を達成するために、そのような作業が示された特定の順序若しくは連続順で実施されることや、全ての図示された作業が実施されることを必要としているものとして理解されるべきではない。ある種の状況においては、多重タスキング及び並行処理が有利となりうる。さらに、上記に記載された実施形態における様々なシステムコンポーネントの分離は、すべての実施形態においてそのような分離を必要としていると理解されるべきではなく、また、記載されたプログラムコンポーネント及びシステムは一般に、単一のソフトウェア製品中に共に統合されてもよいし、又は複数のソフトウェア製品にパッケージされてもよい、と理解されるべきである。

その他の特徴は、当初提出された特許請求の範囲の一部ではないかもしれないとしても、上記に議論された特徴を使用して実施されうる。例えば、コンピュータに実施された医療用視覚化方法において、特定の哺乳動物の解剖学的アイテムの三次元モデルを同定するステップと；解剖学的アイテムの組織にかかる力を同定するステップと；三次元モデルの有限要素解析を使用して解剖学的アイテムの組織に対する応力及びひずみを判定するステップと；解剖学的アイテム、並びに同定された力の結果として解剖学的アイテムの組織について判定されたひずみの視覚的表現を、表示するステップと、を含んでなる方法が開示される。解剖学的アイテムは心臓の一部を含んでなることが可能であり、解剖学的アイテムにかかる力は心臓を通る仮想医療用デバイスの運動に基づいて同定される。仮想医療用デバイスは、少なくとも一次元において可撓性を有するようにモデル化された三次元モデルを含んでなることができる。該方法はさらに、仮想医療用デバイスが心臓の三次元モデルに対して移動せしめられるにつれて、仮想医療用デバイスが解剖学的アイテムの三次元モデルにおいて組織と接触するかどうかを自動的に判定するステップを含むこともできる。該方法は、追加として、又は別例として、心臓の三次元モデルの中の医療用デバイスの周りを流れる流体についての計算流体力学的解析を実施するステップを含むことも可能である。

いくつかの態様では、解剖学的アイテムの三次元モデルは、１以上の医用画像システムによって取り込まれた解剖学的アイテムの画像化された二次元スライスを表わすデータを得ることと；二次元スライスにおいて同定された地点から三次元メッシュを生成することと；三次元グリッドから三次元モデルを生成することと、を含んでなる作業によって生成される。初期の方法は、解剖学的アイテムの運動を示すために、解剖学的アイテムの三次元モデルのアニメーションであって、密接に関係した様々な時点で現実版の解剖学的アイテムを画像化することにより得られたフレームで構成されたアニメーションを、表示することをさらに含んでなることができる。該方法はさらに、有限要素解析によってコンピュータ計算されたフレームのうち特定のものどうしの間の解剖学的アイテムの差異を示すステップと、別例又は追加として、解剖学的アイテムの三次元モデルの中の場所を同定しているユーザからの入力を受信するステップと、同定された場所によって表わされるモデル内の距離をユーザに表示するステップとを含むこともできる。同定された力の結果として解剖学的アイテムの組織について判定されたひずみの視覚的表現を表示するステップは、それぞれが特定のレベルのひずみを表わす様々な色で解剖学的アイテムを表示することを含んでなることができる。

さらに別の実施形態では、コンピュータに実施された医療用視覚化方法が実施可能であり、かつ該方法は、特定の哺乳動物の解剖学的アイテムの三次元モデルを同定するステップと；三次元モデルの動くアニメーションであって、解剖学的アイテムの運動を取り込むためのソート時間にわたる（over a sort time period）解剖学的アイテムの画像化に由
来する複数のフレームから作出された動くアニメーションを、表示するステップと；動くアニメーションが表示されている一方で、三次元モデルの１以上の動かない投影図を表示するステップと；ユーザからの入力に応じて、表示された動くアニメーション及び無以上の（non or more）動かない投影図を互いに協調して変化させるステップと、を含んでな
ることができる。該方法はさらに、動くアニメーションと１以上の動かない投影図との間を協調させて、解剖学的アイテムを通って移動せしめられているデバイスを表示するステップを含むこともできる。該デバイスは、解剖学的アイテムの中の通行可能な通路を通って移動せしめられている、三次元モデルによって表わされた医療用デバイスを含んでなることが可能であり、解剖学的アイテムは心臓を含んでなることが可能である。該方法はさらに、解剖学的アイテムを通るデバイスの運動に基づいて解剖学的アイテムにかかる力を表示するステップを含んでなる場合もある。表示される力は、解剖学的アイテムについての組織モデルに有限要素解析を適用することにより判定可能である。さらに、初期のプロセスは、医療用デバイスが解剖学的アイテムの三次元モデルに対して移動せしめられるにつれて医療用デバイスが解剖学的アイテムの中で組織と接触するかどうかを、自動的に判定するステップを含んでなることができる。該方法はさらに、解剖学的アイテムの中の医療用デバイスの周りを流れる流体についての計算流体力学的解析を実施するステップと、計算流体力学的解析の結果を表わす情報をユーザに表示するステップとを含むこともできる。

ある態様では、解剖学的アイテムの三次元モデルは、１以上の医用画像システムによって取り込まれた解剖学的アイテムの画像化された二次元スライスを表わすデータを得ることと；二次元スライスにおいて同定された地点から三次元メッシュを生成することと；三次元グリッドから三次元モデルを生成することと、を含んでなる作業によって生成される。さらに、動くアニメーションは、解剖学的アイテムの運動を示すために、密接に関係した様々な時点で現実版の解剖学的アイテムを画像化することにより得られたフレームで構成されることが可能である。加えて、第１の動かない投影図は第１の画像化セッションの際の解剖学的アイテムを示し、第２の動かない投影図は第２の画像化セッションの際の解剖学的アイテムを示す。さらに、第１の画像化セッションは手術前の画像化セッションであってよく、第２の画像化セッションは手術後の画像化セッションであってよい。

別の実施形態では、コンピュータに実施された医療用視覚化方法において、特定の哺乳動物の解剖学的アイテムの第１及び第２の三次元モデルを同定するステップであって、第１のモデルは第１の画像化セッションで得られた画像データから形成され、第２のモデルは別個の第２の画像化セッションで得られた画像データから形成される、ステップと；コンピュータで生成された視覚表示に第１のモデルを表示するステップと；第１のモデルを表示すると同時に、コンピュータで生成された視覚表示に第２のモデルを表示するステップと、を含んでなる方法が開示される。該方法はさらに、第１又は第２のモデルのうちの一方又は両方を操作するためのユーザ入力を受信するステップと、受信したユーザ入力に応答して第１のモデルの投影図及び第２のモデルの投影図を互いに協調して変化させるステップとを含んでなることも可能である、第１の三次元モデルは手術前の解剖学的アイテムを表現し、かつ第２の三次元モデルは手術後の解剖学的アイテムを表現することが可能である。解剖学的アイテムは心臓又は他の器官を含んでなることが可能である。

いくつかの態様では、該方法は、第１及び第２の三次元モデルを、解剖学的アイテムの動きを示すアニメーションであって時間に関して互いに協調して表示されるアニメーションとして表示するステップをさらに含んでなる。アニメーションは、反復するループアニメーションとして表示可能であり、表示されるモデルの投影図はユーザ入力に応答して変化する。該方法はさらに、解剖学的アイテムのモデルのうち１以上を通る仮想デバイスの運動に基づいて解剖学的アイテムにかかる力を表示するステップを含むことも可能である。いくつかの態様では、解剖学的アイテムの三次元モデルは、１以上の医用画像システムによって取り込まれた解剖学的アイテムの画像化された二次元スライスを表わすデータを得ることと；二次元スライスにおいて同定された地点から三次元メッシュを生成することと；三次元グリッドから三次元モデルを生成することと、を含んでなる作業によって生成される。

さらに別の実施形態では、コンピュータに実施された医療用視覚化方法において、特定の哺乳動物の解剖学的アイテムの三次元モデルを同定するステップと；コンピュータを用いる視覚化システムにおいて三次元モデルの投影図を表示するステップと；表示された三次元モデルの投影図上に少なくとも２つの地点を同定するユーザからの入力を受信するステップと；同定された少なくとも２つの地点に基づいた、解剖学的アイテムの縮尺を表わす測定値を示すデータをユーザに提供するステップと、を含んでなる方法が開示される。該方法はさらに、測定値に従って大きさを合わせたデバイスを選択するステップと、解剖学的アイテムの中に該デバイスを表示するステップとを含んでなることも可能である。解剖学的アイテムの中にデバイスを表示するステップは、三次元モデルの通行可能な通路の中に規定された経路に沿ってデバイスを移動させることを含んでなることができる。さらに、該デバイスは、三次元モデルによって表現され、解剖学的アイテムの中の通行可能な通路を通って移動せしめられている医療用デバイスを含んでなることが可能であり、かつ解剖学的アイテムは、心臓又はその他の動物（例えばヒト）の器官を含んでなることが可能である。該方法はさらに、解剖学的アイテムを通るデバイスの運動に基づいて解剖学的アイテムにかかる力を表示するステップを含んでなることも可能であり、表示される力は、解剖学的アイテムについての組織モデルに有限要素解析を適用することにより判定可能である。さらに、該方法は三次元モデルの動くアニメーションを表示するステップと、アニメーションが動くにつれて変化している測定値をユーザに提示するステップとを含むことができる。

いくつかの態様では、測定値は解剖学的アイテムの中の通行可能な空間の半径、直径、面積、又は体積を表わす。さらに、解剖学的アイテムの三次元モデルは、１以上の医用画像システムによって取り込まれた解剖学的アイテムの画像化された二次元スライスを表わすデータを得ることと；二次元スライスにおいて同定された地点から三次元メッシュを生成することと；三次元グリッドから三次元モデルを生成することと、を含んでなる作業によって生成可能である。

別の実施形態では、コンピュータに実施された医療用視覚化方法において、特定の哺乳動物の解剖学的アイテムを表現している第１のデータであって、第１の種類の医用画像によって得られる第１のデータを同定するステップと；該解剖学的アイテムを表現している第２のデータであって、第１の種類の医用画像とは異なる第２の種類の医用画像によって得られた第２のデータを同定するステップと；第１のデータ及び第２のデータの組み合わせを使用して解剖学的アイテムの三次元ソリッドモデルを構築するステップと、を含んでなる方法が開示される。第１のデータは複数の異なる高さにおける解剖学的アイテムのスライスを表現し、第２のデータは複数の異なる高さにおける解剖学的アイテムのスライドを表現することが可能である。さらに、第１のデータ及び第２のデータは、互いに本質的に平行であると判定されるスライスを表現することが可能である。第１の種類の医用画像は磁気共鳴画像を含んでなり、かつ第２の種類の医用画像はコンピュータ断層撮影画像を含んでなることが可能である。該方法はさらに、三次元ソリッドモデルから生成された解剖学的アイテムの動くアニメーション及び三次元ソリッドモデルから生成された解剖学的アイテムの動かない投影図を協調して表示するステップを含むこと、並びにコンピュータ視覚化システムによって受信されたユーザ入力に基づいてアニメーションの投影図及び動かない投影図を変化させることも可能である。解剖学的アイテムは心臓又は他の器官を含んでなることが可能である。該方法はさらに、三次元モデルを通るデバイスの運動に基づいて解剖学的アイテムにかかる力を表示するステップを含んでなることも可能である。さらに、表示される力は、解剖学的アイテムについての組織モデルに有限要素解析を適用することにより判定可能である。

いくつかの態様では、解剖学的アイテムの三次元モデルは、第１及び第２の種類の医用画像撮影によって取り込まれた解剖学的アイテムの画像化された二次元スライスを表わすデータを得ることと；二次元スライスにおいて同定された地点から三次元メッシュを生成することと；三次元グリッドから三次元モデルを生成することと、を含んでなる作業によって生成される。該方法はさらに、第１の種類の医用画像撮影および第２の種類の医用画像撮影の別のセッションであって、最初の三次元モデルのためのデータを生成するために使用されたセッションとは異なるセッションにおいて取り込まれたデータを使用して、解剖学的アイテムの第２の三次元モデルを構築することを含むことも可能である。

別の実施形態では、コンピュータに実施された医療用視覚化方法において、特定の哺乳動物の解剖学的アイテムの三次元モデルを同定するステップと；コンピュータを用いる視覚化システムにおいて三次元モデルを表示するステップと；三次元モデルとの位置的な関係を有するアイテムを追加するためにユーザから入力を受信するステップと；今後三次元モデルにアクセスがなされた時に追加アイテムが自動的に三次元モデルとともに表示されることが可能であるように、追加アイテムを規定するメタデータを三次元モデルに関連させて格納するステップと、を含んでなる方法が開示される。解剖学的アイテムの三次元モデルは、１以上の医用画像システムによって取り込まれた解剖学的アイテムの画像化された二次元スライスを表わすデータを得ることと；二次元スライスにおいて同定された地点から三次元メッシュを生成することと；三次元グリッドから三次元モデルを生成することと、を含んでなることのできる作業によって生成される。

別の実施形態では、コンピュータに実施された医療用視覚化方法は、特定の哺乳動物の解剖学的アイテムの三次元モデルを同定するステップと；コンピュータを用いる視覚化システムにおいて三次元モデルを表示するステップと；複数の平行ではない切断面を規定するユーザからの入力を受信するステップと；複数の平行ではない切断面によって規定されるように三次元モデルの一部が除去されている三次元モデルを表示するステップと、を含んでなる。複数の平行ではない切断面は、三次元モデルに角を視覚的に切断する切り込みを入れるように、三次元モデルの一部が重なり合うボックスの角を規定することが可能である。解剖学的アイテムは心臓を含んでなることが可能であり、解剖学的アイテムの三次元モデルは、１以上の医用画像システムによって取り込まれた解剖学的アイテムの画像化された二次元スライスを表わすデータを得ることと；二次元スライスにおいて同定された地点から三次元メッシュを生成することと；三次元グリッドから三次元モデルを生成することと、を含んでなる作業によって生成可能である。

さらに別の実施形態では、コンピュータに実施された医療用視覚化方法において、特定の哺乳動物の解剖学的アイテムの三次元モデルを同定するステップと；様々な下位部分によって果たされる生理的な役割に基づいて三次元モデルの様々な下位部分を同定するステップと；コンピュータを用いる視覚化システムにおいて三次元モデルを表示するステップと；同定された様々な下位部分に基づいて三次元モデルを操作するためにユーザ選択可能な制御部を提示するステップと、を含んでなる方法が開示される。様々な下位部分には、別々に活性化されること、規定の色で着色されること、又はこれら両方が可能な、三次元モデルの規定された層が割り当てられる。解剖学的アイテムは心臓を含んでなることが可能であり、解剖学的アイテムの三次元モデルは、１以上の医用画像システムによって取り込まれた解剖学的アイテムの画像化された二次元スライスを表わすデータを得ることと；二次元スライスにおいて同定された地点から三次元メッシュを生成することと；三次元グリッドから三次元モデルを生成することと、を含んでなる作業によって生成可能である。

別の実施形態では、コンピュータに実施された医療用視覚化方法において、特定の哺乳動物の解剖学的アイテムの三次元モデルを同定するステップと；実際の解剖学的アイテムを観察しているユーザのコンピュータを用いる視覚化システムに三次元モデルを表示するステップと；ユーザによる実際の解剖学的アイテムとの対話に応じて三次元モデルの表示を自動的に変更するステップと、を含んでなる方法が開示される。コンピュータを用いる視覚化システムはユーザによって着用された電子眼鏡を含んでなることが可能であり、またユーザによる対話は、特定の哺乳動物に医療用デバイスを挿入することを含んでなることが可能であり、また表示の変更は、解剖学的アイテムの内部を前進しているデバイスの進捗の表現を示すことを含んでなる。解剖学的アイテムは循環系の一部を含んでなることが可能であり、デバイスの進捗は、循環系内の場所に移植式心臓デバイスを前進させることの進捗を含んでなることが可能である。解剖学的アイテムは心臓若しくは他の器官、又は脈管構造の一部を含んでなることが可能である。

このように、主題の特定の実施形態について説明してきた。他の実施形態は添付の特許請求の範囲の範囲内にある。場合によっては、特許請求の範囲に詳述された行為は、異なる順序で実施されてかつなおも望ましい結果を達成することが可能である。加えて、添付の図面に示されたプロセスは、望ましい結果を達成するために必ずしも示された特定の順序又は連続順を必要とするものではない。ある実施形態では、多重タスキング及び並行処理が有利な場合もある。

Claims (9)

1. 医療用視覚化を行う装置の作動方法において、
   コンピュータによって特定の哺乳動物の解剖学的アイテムの３次元モデルを同定するステップと、
   コンピュータによってディスプレイ上に前記解剖学的アイテムの３次元モデルの動くアニメーションを表示するステップであって、前記解剖学的アイテムの３次元モデルの動くアニメーションは前記解剖学的アイテムの動きを撮像するために１秒間にわたる前記解剖学的アイテムの画像からの複数のフレームから生成される、前記解剖学的アイテムの３次元モデルの動くアニメーションを表示するステップと、
   前記解剖学的アイテムの３次元モデルの動くアニメーションを表示している間に、コンピュータによって前記ディスプレイ上に前記解剖学的アイテムの３次元モデルの１つ以上の動かない表示を表示するステップであって、前記解剖学的アイテムの３次元モデルの動くアニメーションと、前記解剖学的アイテムの３次元モデルの１つ以上の動かない表示とは、１つのモデルの動きが他のモデルに等しい動きを生じるように、互いに固定されている、前記解剖学的アイテムの３次元モデルの動くアニメーションを表示している間に、前記ディスプレイ上に前記解剖学的アイテムの３次元モデルの１つ以上の動かない表示を表示するステップと、
   前記解剖学的アイテムの３次元モデルを通って移動する仮想の医療用デバイスのアニメーションを、コンピュータによって前記ディスプレイに表示するステップと、
   ユーザからの入力の受信に応答して、前記解剖学的アイテムの３次元モデルの動くアニメーションの表示と、前記解剖学的アイテムの３次元モデルの１つ以上の動かない表示とをコンピュータによって自動的に変更するステップとを備える、方法。
2. 前記解剖学的アイテムは心臓を含んでなる、請求項１に記載の方法。
3. 前記解剖学的アイテムを通じた前記デバイスの移動に基づき、前記解剖学的アイテムに加えられた力をコンピュータによって表示するステップをさらに備える、請求項１に記載の方法。
4. 表示された前記力は前記解剖学的アイテムの組織モデルに有限要素解析を適用することにより判定される、請求項３に記載の方法。
5. コンピュータによって前記医療用デバイスが前記解剖学的アイテムの３次元モデルに相対して移動したことに伴い前記医療用デバイスが前記解剖学的アイテムの組織と接触したか否かを自動的に判定するステップをさらに備える、請求項１に記載の方法。
6. コンピュータによって前記解剖学的アイテム内の前記仮想の医療用デバイスの周りに流れる流体についての計算流体力学解析を実施するステップと、コンピュータによって前記ユーザに前記計算流体力学解析の結果を示す情報を表示するステップとをさらに備える、請求項１に記載の方法。
7. 前記動くアニメーションは密接に関係した様々な時点で現実版の解剖学的アイテムを画像化することにより得られたフレームを含んでなることによって、前記解剖学的アイテムの移動を示す、請求項１に記載の方法。
8. 第１の動かない表示は第１の画像化セッションの間の前記解剖学的アイテムを示し、第２の動かない表示は第２の画像化セッションの間の前記解剖学的アイテムを示す、請求項１に記載の方法。
9. 前記第１の画像化セッションは手術前の画像化セッションであり、前記第２の画像化セッションは手術後の画像化セッションである、請求項８に記載の方法。

Images