JP6133881B2 - ３次元オブジェクト・データセットとの相互作用 - Google Patents

Description

本発明は、３次元オブジェクト・データセットとの相互作用に関する。

多くの診断タスクにおいて、及び、診察計画及び結果制御の場合、医師は３次元画像と相互作用することが可能である。例えば、心臓病学では、医師は、心イメージ及び関連情報をレビューし、心イメージ及び関連情報と相互作用することが可能である。レビュー・ワークステーションによって提供され得る考えられる相互作用機能の例には、再配向（特定の構造を示すための画像の回転）、ランドマーク、器官の部位、又は病変の注釈、測定点の表示、自動生成された注釈及び／又はセグメント化結果の補正、診察の結果を示すための解剖学的構造の操作、及び報告のための特定の構造の表示が含まれる。

前述の相互作用は通常、例えば、ユーザが、測定のための点を選択し、又は、特定の視点からの三次元形状の特定の表示を生成することを可能にするために、コンピュータ画面上に表示された医用画像の自動セグメント化によって生じる電子形状モデルを使用することによって容易にされる。心臓モデルとの前述の相互作用は通常、キーボード、タッチ画面、又はコンピュータ・マウスなどの装置によって行われ、ユーザには、所望の相互作用タスクの実行が困難であり得る。

代替的な相互作用装置も存在している。例えば、シミュレータ装置であって、教授及び訓練の範囲で使用することが可能であり、ロボット手術で使用することも可能な装置（すなわち、シミュレーション環境を予め用意し、特定の外科用器械の使用又は特定の手順を行っている間に認識された触覚反応及び視覚反応を再生することができるシミュレータ装置が知られている。

国際公開第２０１０／０９７７７１号には、外科訓練の方法であって、適切な医療機器によって検出された臨床データを処理装置に投入する工程と、解剖学的環境の３次元解剖学的構造モデルをセグメント化プロセスによって取得するようなやり方で臨床データを処理する工程と、解剖学的環境の解剖学的構造の物理モデルを取得するようなやり方でそれぞれの生体力学特性を解剖学的構造の３次元モデルに割り当てる工程と、仮想の外科用器械と解剖学的構造の物理モデルとの間の物理的相互作用をグラフィカル・インタフェースによってシミュレートし、相互作用の触覚をレンダリングすることに適した個別のフォースフィードバック手段及び仮想の外科用器械を予め用意する工程と、仮想の外科用器械により、解剖学的構造の物理モデルに対する検査手順及び／又は外科手術手順を、制御手段の動作によってシミュレートする工程とを含む、外科訓練の方法が開示されている。

国際公開第０２／１３１６４号には、コンピュータ・システムへの入力装置としての役目を担うための、人体の一部の物理モデルとともに使用される、触覚センシング・システムなどのソリッドステート・センシング・システムが開示されている。解剖学的構造の一部又はモデルの理学的検査中にユーザにより、圧力をかけると、センシング・システムは圧力のレベル及び位置を検出し、コンピュータ・システムに送出する。コンピュータ・システムは、前述の入力を受け入れ、理学的検査の評価のために、関連した講師及び訓練中の個人に向けて表示するために解釈するようプログラムされる。その例には、検査結果（例えば、指配置及び触診レベル）に関するデータを収集するためのデータ獲得モジュール及びソリッドステート・センシング・システム、並びにシリコーン胸モデルがある。ユーザの結果に対するフィードバックは、容易に読み取り可能なグラフィカル・フォーマットでユーザに提示される。

Ｓ． Ｓｕｂｒａｍａｎｉａｎ （Ｅｉｎｄｈｏｖｅｎ： Ｔｅｃｈｎｉｓｃｈｅ Ｕｎｉｖｅｒｓｉｔｅｉｔ Ｅｉｎｄｈｏｖｅｎ）による「Ｔａｎｇｉｂｌｅ ｉｎｔｅｒｆａｃｅｓ ｆｏｒ ｖｏｌｕｍｅ ｎａｖｉｇａｔｉｏｎ， ２００４， ＰｈＤ ｔｈｅｓｉｓ，」には、「Ｐａｓｓｉｖｅ Ｉｎｔｅｒｆａｃｅ Ｐｒｏｐｓ」と呼ばれる有形のインタフェースが開示されている。ＰａｓｓＰｒｏｐｓには、ヘッド・プロップ及び切断面プロップが含まれる。個々のプロップそれぞれの位置を規定する６つの自由度は、フロックバード・ワイヤトラッカを使用して追跡される。ユーザの動作の視覚フィードバックは、ユーザの手前に配置されたコンピュータ・ディスプレイ上に供給される。ヘッド・プロップは、患者の解剖学的データの向きを操作するために使用される。ユーザには、利き手に切断面プロップが供給される。前述のプロップは、３Ｄデータにより、交差平面の向き及び平行移動を規定するために使用することが可能である。ユーザは、スライスの位置及び向きを規定するために、ヘッド・プロップに対して切断面プロップを把持する。交差の生成画像はディスプレイ上に、３Ｄモデルの隣に提示される。

３次元オブジェクト・データセットとの改善された相互作用を提供することが効果的である。

前述の課題により好適に対処するために、本発明の第１の局面は、
３次元オブジェクト・データセットによって表されるオブジェクトの少なくとも一部の一般的な形状を有する表面を備えた相互作用装置から信号を受信する信号入力部であって、信号が、ユーザによって示される、表面上の位置を示す信号入力部と、
３次元オブジェクト・データセットによって表されるオブジェクトの対応する点に、示された位置をマッピングするマッピング装置と
を備えるシステムを提供する。

３次元オブジェクト・データセットにおける対応する位置を示すために、ユーザは同種のオブジェクトの形状を有する物理オブジェクトの表面上の位置を示すことが可能であるため、上記システムにより、ユーザが、より自然なやり方で３次元オブジェクト・データセットと相互作用にすることが可能になる。このようにして、相互作用は更に自然なものになる。オブジェクトの表面は、相互作用をよりフレンドリにする。接触された位置は、３次元オブジェクト・データセットにおける対応する位置とシステムによって関連付けられるからである。このようにして、マウス又は他の入力装置を使用した、より複雑な相互作用は、削減又は回避することが可能である。

表面は接触感応性表面を含み得る。信号は、接触された接触感応性表面上の位置を示し得る。表面に接触することは、ユーザが、表面上の位置を示すうえで自然なやり方である。よって、３次元オブジェクト・データセットによって表されるオブジェクトの少なくとも一部の一般的な形状を有する接触感応性表面は、３次元オブジェクト・データセットと相互作用するための好都合なツールである。

３次元オブジェクト・データセットは、スキャナから得られた信号に基づき得る。前述のスキャナは、特定の種類のオブジェクトを走査するよう構成し得る。３次元オブジェクト・データセットはよって、現実世界におけるオブジェクトの特定の形状情報を表し得る。相互作用装置の形状は一般に、同種のオブジェクトの形状に対応し得る。例えば、これは、前述のオブジェクト上に通常、存在している特徴を一般に有している平均的な形状、又はモデリングされた形状を有し得る。

オブジェクトは、解剖学的オブジェクトを含み得る。前述の場合には、３次元オブジェクト・データセット及び相互作用装置は前述の解剖学的オブジェクトの形状を有し得る。相互作用装置が解剖学的オブジェクトの一般的な例のより汎用の形状を有しているのに対して、３次元オブジェクト・データセットは患者特有であり得る。しかしこれは制限でない。スキャナは医用画像スキャナを含み得る。これは、患者特有の３次元オブジェクト・データセットを取得するための好都合な種類のスキャナである。

マッピング装置は、表面の形状の電子的表現との３次元オブジェクト・データセットの位置合わせに基づいて、３次元オブジェクト・デ―タセットによって表されるオブジェクトの対応する点に、示された位置をマッピングするよう構成し得る。これは、３次元オブジェクト・データセット内の位置と、表面上の位置をマッピングするうえで効率的なやり方である。

システムは、３次元オブジェクト・データセットの少なくとも一部を表示するグラフィカル装置を備え得る。これは、ユーザが、表示された３次元オブジェクト・データセットを見てオブジェクトの詳細及び／又は細部を視ることを可能にする一方、相互作用装置は、オブジェクトにおける位置を示すために使用し得る。前述の表示は、例えば、別個のモニタ画面上で行い得る。

グラフィカル装置は、相互作用装置が接触された、表面上の位置に対応する３次元オブジェクト・データセット内の位置の表示を表示するよう構成し得る。これにより、３次元オブジェクト・データセットにおける、示された位置と、相互作用装置の接触された位置との間の接続がユーザにとって明確に目に見えるようになり、よって、ユーザは、増大した確信度でシステムと相互作用し得る。

システムは、ユーザによって示された、表面（３５）上の位置に対応する３次元オブジェクト・データセット内の位置に対して実行される対象のコマンドを受信するよう構成されたユーザ入力受信器（２８）を備え得る。これは、ユーザが、それに対してコマンドを実行するその対象に対する位置を容易に規定することを可能にする。

コマンドは、相互作用装置が接触した表面上の位置に対応する３次元オブジェクト・データセット内の位置に注釈を付ける工程を含み得る。システムは、ユーザによって示される、表面上の位置に対応する３次元オブジェクト・データセット内の位置に注釈を、コマンドに応じて付ける注釈装置を含み得る。これは、３次元オブジェクト・データセットの注釈を用意にする。

システムは、オブジェクトの別々の部分を表す複数の用語を含むオントロジを含み得、マッピング装置は、示された位置に対応するオブジェクトの部分を表す用語に、示された位置をマッピングするよう構成される。これにより、接触された位置の意味論的知識を有するシステムを生成することが可能になる。

システムは、患者レコード情報システムとの接続を含み得る。接続は、接触された位置に対応するオブジェクトの部分を表す用語に基づいて患者データ・レコードからデータを取り出すよう構成し得る。これは、入力装置に関係付けられたオントロジの好都合な使用である。システムは、オブジェクトの接触された部分に関する患者特有の情報を自動的に取り出し、例えば、表示することが可能である。システムは更に、接触された部分に該当する汎用情報を取り出すための汎用知識ベースに関係付けられ得る。

相互作用装置は、相互作用装置の残りの部分に対して移動可能な可動部分を備え得、可動部分及び残りの部分はオブジェクトの別々の部分を表し、可動部分は、残りの部分と一体化し、残りの部分と分離するよう構成され得、可動部分が残りの部分と一体化された場合、接触感応性表面の少なくとも一部分は、可動部分によって覆われる。例えば、オブジェクトはいくつかの構成部分を含み得る。前述の部分は、別個の物理オブジェクトにより、相互作用装置において表し得る。前述のオブジェクトのうちの１つを覆う接触感応性表面の一部は、オブジェクト全部の表現を形成するために物理オブジェクトが結合された場合、物理オブジェクトの別の１つによって覆われ得る。前述の特徴は、ユーザが構成部分の境界上に、オブジェクト内の位置を示すことを可能にする。更に、前述の部分の代替的な交換可能な変形も提供し得る。前述の変形は代替的な形状を表し得る。例えば、一般に生じる解剖学的構造の変形は、変形毎に代替的な部分を提供することにより、対応し得る。表示手段は、ユーザがどの代替的な部分を使用することを示すかを可能にするために提供し得る。このようにして、考えられる解剖学的構造の変形毎に完全な相互作用装置を提供することは必要でない。その代わりに、変形部分のみを提供すればよい。相互作用装置は更に、それに、より多くの部分を追加することにより、拡張可能になる。

表面は、３次元オブジェクト・データセットに基づいて情報を表示するよう構成されたディスプレイを備え得る。前述のディスプレイは表面と一体化し、同じ形状を有し得る。接触感応性表面の場合、接触感応性表面は、３次元オブジェクト・データセットに基づいた情報を表示するよう構成された接触感応性ディスプレイを含むか、又は上記接触感応性ディスプレイであり得る。前述の接触感応性ディスプレイは更に、特定の種類のオブジェクトの表面の少なくとも一部の形状を有し得る。例えば、表面は、ディスプレイに１つと、接触感応性に１つの２つの層を含み得る。前述の接触感応性ディスプレイは、増加した現実感で３次元オブジェクトを表示することを可能にし得る。更に、３次元オブジェクト・データセットと相互作用する場合、ユーザの目と手の連動が改善される。更に、３次元オブジェクト・データセット内の特定の位置に関する更なる情報を表示することも可能である。接触感応性ディスプレイは例えば、表面上の位置に関連付けられたオントロジからのテキストによる注釈、瘢痕(scar)、シミュレーション結果を表示するために使用し得る。接触感応性表面上に表示された前述の情報は、３次元オブジェクト・データセットからの情報、又は３次元オブジェクト・データセットにおける位置に関係付けられた情報を含み得る。

システムはワークステーションに含まれ得る。前述のワークステーションは、３次元オブジェクト・データセット（例えば、その２次元レンダリング）を表示する主ディスプレイを備え得る。更に、キーボード及び／又はマウスは更なるユーザ入力手段として提供し得る。

別の局面では、本発明は、３次元オブジェクト・データセットと相互作用する相互作用装置であって、
３次元オブジェクト・データセットによって表されるオブジェクトの少なくとも一部の一般的な形状を有する表面と、
ユーザによって示された接触感応性表面上の位置を示す信号を生成する信号生成器と
を備える、３次元オブジェクト・データセットと相互作用する相互作用装置を提供する。

前述の相互作用装置は、３次元オブジェクト・データセットと相互作用するための上述のシステムとともに使用し得る。

別の局面では、本発明は、３次元オブジェクト・データセットと相互作用する方法であって、
３次元オブジェクト・データセットによって表されるオブジェクトの少なくとも一部の一般的な形状を有する接触感応性表面を備えた相互作用装置から信号を受信する工程であって、信号が、ユーザによって示される、接触感応性表面上の位置を示す工程と、
３次元オブジェクト・データセットによって表されるオブジェクトの対応する点に、示された位置をマッピングする工程と
を含む、３次元オブジェクト・データセットと相互作用する方法を提供する。

別の局面では、本発明は、記載された方法をプロセッサ・システムに行わせるための命令を備えたコンピュータ・プログラム・プロダクトを提供する。

本発明の上述の実施例、実現形態、及び／又は局面のうちの２つ以上を、有用と認められる何れかのやり方で組み合わせ得るということを当業者は認識するであろう。

システムの上記修正及び変形に対応する、画像獲得装置、ワークステーション、システム、方法、及び／又はコンピュータ・プログラムの修正及び変形は、本明細書に基づいて当業者によって行うことが可能である。

３次元オブジェクト・データセットと相互作用するシステムを示す概略図である。 相互作用装置を示す断面図である。 相互作用装置と３次元オブジェクト・データセットとの間の対応関係を示す図である。 相互作用装置を示す断面図である。 ３次元オブジェクト・データセットと相互作用するシステムを示す概略図である。 ３次元オブジェクト・データセットと相互作用する方法を示すフロー図である。

本発明の前述及び他の局面は、後述する実施例を参照することにより、明らかとなるであろう。

図１は、パーソナル・コンピュータ２、表示装置３、及び相互作用装置１を備えた装置を示す。表示装置３はケーブル５を介してパーソナル・コンピュータ２に接続され、相互作用装置１はケーブル４を介してパーソナル・コンピュータ２に接続される。キーボード及び／又はマウスなどの他の周辺装置は、パーソナル・コンピュータ２に接続し得るが、図示していない。接続はケーブル４、５によって実現されなくてよい。本来、当該技術分野において知られている、無線通信手段などの他の手段によって接続され得る。表示装置３を備えたパーソナル・コンピュータ２は、ワークステーションの例、又は、より一般に、相互作用装置１に関して使用し得る処理システム２０の例として示しているにすぎない。シン・クライアント端末又はラップトップなどの他の種類のワークステーションも使用し得る。更に、処理システムが、サーバなどの複数のコンピュータ装置を含むより大きな規模のネットワークの一部であるということも考えられる。コンピュータ２は、表示装置３上の３次元オブジェクト・データセットのレンダリング６を表示するよう構成される。

前述の図は更に、概略的に、スタイラス１８を把持している、ユーザの手１９を示す。スタイラスは、使用される接触感応性表面の種類に応じて、何れかの種類のスタイラス、又は何れかの他の適切なオブジェクトであり得る。ユーザは、スタイラス１８で、相互作用装置１の表面に接触する。前述の事象によって生じる情報はケーブル４を介してパーソナル・コンピュータ２に伝達される。スタイラスの使用は制限でない。他の種類の接触事象も検出し、パーソナル・コンピュータ２に通知し得る。特に、指の接触を検出することが可能である。これは、使用される特定の接触センシング技術に依存する。

相互作用装置１は、コンピュータ２に利用可能な心イメージ及び関連情報と相互作用するために使用することが可能な、心臓の解剖学的構造の、物理的に利用可能であり、接触可能な３次元モデルである。物理モデルの形状の電子表現は、例えば、形状モデルの形式で、コンピュータ２に利用可能であり得る。形状モデルの例には表面メッシュがある。前述及び他の種類の形状モデルも本質的に当該技術分野において知られている。電子表現は、物理モデルの形状及び／又は寸法の正確な情報を含み得る。更に、物理的な３次元モデルの個々の点を表すことができるように座標系、又は索引化システムを規定し得る。相互作用装置１は、相互作用装置１に接触される位置を示す信号を生成するよう構成される。前述の表示を提供するために、適切な座標値又は索引値を使用して位置を符号化し得る。

物理モデルの形状の電子表現はコンピュータ２上で利用可能であり得る。前述の電子表現は、ＣＴ、ＭＲ、ＵＳ、又は３Ｄローテーショナル・アンギオグラフィ画像などの画像に、例えば、モデルベースのセグメント化を介して、又は適応的メッシュ位置合わせによって関係付け得る。物理モデルの形状の電子表現は更に、電子モデルに関連付けられたオントロジにより、臨床情報に関係付け得る。物理モデル上で、ユーザは、指、ペン形状のオブジェクト、又は何れかの適切な装置（図１参照）により、肉体の一部である心臓に接触することにより、関連した構造を相互作用的に「指摘し」、「マーキングし」、又は「描く」ことが可能である（図１参照）。アプリケーションの実際のコンテキストに応じて、前述の事象によって生成される情報は、画像をフォーマッティングし直し、測定のための点を選択し、特定の構造に注釈をし、又は、通知するための情報を選択するために、システムによって使用し得る。

図１に示すように、相互作用装置及び３次元オブジェクト・データセットによって表されるオブジェクトは心臓であり得る。しかし、これは制限でない。考えられる他の種類のオブジェクトには、胸部、骨、肝臓、腎臓、及び脳が含まれる。その自然の空間関係における器官の組み合わせもこのようにしてモデリングすることが可能である。更に他の種類のオブジェクトは人体全体を含む。オブジェクトはアーチファクトも含み得る。前述のアーチファクトの例は、オブジェクトが建物、若しくは建物の一部、又は、何れかの他のオブジェクト（例えば、用具若しくは家具）を含み得る建設アプリケーションの分野において存在し得る。前述のアプリケーションでは、前述のアーチファクトの設計を支援するために相互作用装置を使用し得る。

相互作用装置が、特定の３次元オブジェクト・データセットに使用するために特に作られているということも考えられる。例えば、３次元オブジェクト・データセットは、モデル（例えば、ステレオリソグラフィ（ＳＴＬ）モデル（ＳＴＬプリンタにより、３次元物理オブジェクトを生成するために印刷することが可能なモデル））を生成するよう処理し得る。ステレオリソグラフィによって生成されたオブジェクトの表面は、接触感応性フォイルを施すことにより、接触感応性にし得る。

物理３Ｄモデルは、非導体材料を使用することによって製造し得る。モデルの表面は、相互作用のために接触感応性フォイルで物理モデルを覆うことを容易にするために「平滑化」し得る。例えば、相互作用装置が心臓モデルを表す場合、心臓モデルの表面は、通常のプラスチック心臓モデルと比較して平滑化して、モデルから穴及び／又はバンプの一部を除去し得る。物理３Ｄモデルの周りに収まる好適なフォイルは、物理３Ｄモデルと同じ形状に、予め形成し得る。あるいは、汎用のフレキシブル・フォイルは、物理モデルの周りに包み込み得る。

ユーザ相互作用の機能を実現するために、接触感応性表面は、適切なオブジェクトによる接触に対する感応性を有し得る。例えば、接触感応性表面は、一般に、人間の指又は人間の皮膚に対する感応性を有し得る。あるいは、又は更に、表面は、スタイラスによる接触に対する感応性を有し得る。使用することが可能なセンシング技術には、抵抗性接触センサ及び静電容量性接触センサが含まれる。指、ペン形状のオブジェクト、又は何れかの他の適切な装置によって接触される相互作用装置の位置は、３次元オブジェクト・データセット（例えば、電子形状モデル）に関係する。前述の関係を確立するために、対応するランドマークは、物理モデル上、及び電子モデル上に示し得る。例えば、コンピュータは、ディスプレイ上の電子モデルにおける点を示し、物理モデル上の対応する点へのユーザの接触を求めることが可能である。相互作用装置によって生成された信号は、コンピュータによって捕捉され、校正情報を取得するために使用される。あるいは、予め規定されたランドマークを電子心臓モデルにおいてコード化し、物理心臓モデル上に、予め規定された順序で示し得る。前述のランドマーク間の位置について内挿手法及び前述のランドマークを使用して、肉体の一部である心臓上に示す位置を電子心臓モデルにマッピングすることが可能である。

あるいは、又は更に、自動化された校正処理を使用し得る。自動化された校正処理には、物理モデルの形状の電子表現との３次元オブジェクト・データセットの自動位置合わせを行う工程が関係し得る。既存の手法は、前述の位置合わせを行うために使用し得る。例えば、３次元オブジェクト・データセットのセグメント化プロセスは、第１の形状モデルを取得するよう行い得る。物理モデルの形状の電子表現は、第２の形状モデルの形態を有し得る。前述の形状モデル手法を使用すれば、第１の形状モデルと第２の形状モデルとの間の対応関係を得るために、何れかのモデルを互いに適合させ得る。第１の形状モデルが３次元オブジェクト・データセットに密接に関係し、第２の形状モデルが物理モデルに密接に関係し、相互作用装置から受け取られた信号は第２の形状モデルの点に分解することが可能であるので、物理モデルと３次元オブジェクト・データセットとの間のポイントツーポイント・マッピングが得られる。前述のポイントツーポイントの対応関係は、３次元オブジェクト・データセット７のグラフィカル・ディスプレイ上の点、及び物理モデル／相互作用装置１上の点を結ぶ矢印によって図３に概略的に示す。

オブジェクトによる、又は指による接触に対する感応性を有する接触感応性表面の他に、他の種類の表示手法を相互作用装置１の表面とともに使用することが可能である。例えば、表面は光検出器を備えることが可能であり、ユーザには、集束された光束を生成することが可能なレーザ・ペン又は別の装置を与え得る。ユーザは次いで、所望の位置にレーザ・ビーム又は光束を指し示すことにより、表面上の位置を示すことが可能である。電磁波、又は超音波を含む音などの、他の種類の放射線送信器及び受信器を、表面上の位置を示すために使用し得る。あるいは、ユーザの手、又はユーザによって把持されたオブジェクトは１つ又は複数のカメラを使用して追跡することが可能である。画像処理手法を用いれば、表示された位置を解決することができる。更に、例えば、表面付近にある、人間の指などのオブジェクトの存在によって生じる電磁場の擾乱は、表面に埋め込まれた、ＲＦコイルなどのセンサによって検出し得る。

更なる機能を実現するために、オブジェクトの部分の名称を、電子心臓モデルの別々の部分に関連付けることが可能である。例えば、心臓などの器官の、右冠状動脈又は左冠状動脈などの部位の解剖学的名称を、規定し、３次元オブジェクト・データセット及び／又は物理モデルの対応する部位に関連付け得る。名称はオントロジによって表し得る。例えば、相互作用装置上の、弁などの特定の構造を指し示すことにより、関連した機能を起動し得、例えば、前述の弁に関する患者の利用可能な情報全てを（例えば、患者レコード及び先行する通知におけるテキスト・サーチによって）見つけ、取り出し、かつ／又は表示し得る。別の例として、前述の解剖学的部位に関連付けられた考えられる疾病を百科事典から選択し、表示し得る。更に、上述のモデルベースのセグメント化を使用してモデルを画像にマッチングさせることが可能である。前述のマッチング処理後、物理心臓モデルも使用して、特定のビュー（短軸、長軸）を選択し、又は、物理モデル上に示される点に対応する画像位置を示すことが可能である。物理モデル上の点を示すことにより、更に、手作業の注釈、測定等などの他の機能を起動させることが可能である。

例えば、図４は、相互作用装置の物理心臓モデルの種々の解剖学的部位を示す。例として示す部位は、右心房６０、大動脈６１、肺静脈６２、肺動脈６３、左心室６４及び６５、並びに右心室６６である。接触感応性表面の対応する部位は、オントロジの前述の用語と関連付け得る。

本発明は、画像並びに情報の相互作用及び操作が想定されるアプリケーション、及び／又は、介入システム、及び臨床ワークステーションと組み合わせて使用することも可能である。

例えば、相互作用装置の形状は、特定の種類のオブジェクトの平均的な形状を表し得る。このようにして、相互作用装置又は物理モデルは、通常の実践に使用し得る多数の３次元オブジェクト・データセットに再利用することが可能である。例えば、平均的な心臓の物理モデルは、患者の実際の心臓を表す何れかの３次元オブジェクト・データセットと相互作用するために使用することが可能である。ここでは、「平均」の語は、モデルが、特定のクラスのオブジェクトを表すということを意味するものと解すべきである。前述の平均モデルは、通常の実践において現れ得る大半の３次元オブジェクト・データセットにおいて存在する主要な特徴を含めるよう人間によって設計され得る。複数の物理オブジェクトを作成し、単一の相互作用装置におけるものを含めることが考えられる。あるいは、それぞれの相互作用装置が単一の物理モデルを備えた複数の相互作用装置を提供し得る。例えば、別々の器官の物理モデルを提供し得る。更に、別々の生物学的変形について別々の物理モデルを提供することによって生物学的変形に対応し得る。例えば、冠状動脈の通常遭遇する別々の構成について別々の物理心臓モデルを用意し得る。

図２は、相互作用装置１の断面を概略的に示す。図示した例示的な相互作用装置１は、平均的な心臓の形状を表す。他の種類のオブジェクトも相互作用装置によって表し得る。図示したような相互作用装置１は、相互作用装置１の支持部の例として垂直シャフト１１及び水平板１３を備える。相互作用装置１は更に、心臓の剛体モデル９（又は多少の可撓性を有するモデル）を更に備える。例えば、モデル９は、成形プラスチックでできていてもよい。モデル９の外表面は、接触感応性のフォイル８又はレイヤによって覆われている。前述のフォイルは、心臓の表面の形状を有するよう用意し得、モデル９の表面上に配置し得る。モデル９は中空であっても、中実であっても／充填されていてもよい。フォイル８は接触感応性表面を含む。モデル表面９の上に接触感応性表面を作成するための他のやり方は当該技術分野において利用可能であり得る。湾曲させることによって成形することが可能な接触感応性フォイルの例は本来、当該技術分野において知られている。前述の湾曲させた接触感応性フォイルは、オブジェクトの形状を有するモデル９の周りに巻き付け得る。モデル９は、例えば、円柱形状又は円錐形状を有するよう単純にし得る。前述の形状により、可撓性接触感応性ディスプレイを含む更に多くの種類の既知の接触感応性表面が可能になる。例えば、ディスプラックス・インタアクティブ・システムズ社（Ｄｉｓｐｌａｘ Ｉｎｔｅｒａｃｔｉｖｅ Ｓｙｓｔｅｍｓ， Ａｄａｕｆｅ−Ｂｒａｇａ， Ｐｏｒｔｕｇａｌ）によるマルチタッチ「Ｓｋｉｎ」製品は、非導体の平坦又は湾曲した表面をマルチタッチ画面に変換することができる。相互作用装置１は、電源及び／又はプロセッサなどの、概略的に数字１０で示す電子装置を更に備え得る。電源は、接触感応性表面８及び／又はプロセッサによって使用することが好適な電圧に入力電圧を変換するために使用し得る。プロセッサは、動作するよう、接触感応性表面８に接続され、接触感応性表面８によって生成された信号を処理し、かつ／又は接触感応性表面８を制御するために使用し得る。プロセッサは、相互作用装置１の外部の装置（例えば、ワークステーション２）にコネクタ１２を介して送信し得る出力信号を生成し得る。無線通信チップ及び／又はアンテナも、生成された信号の無線伝送のために、例えば、数字１０で示す電子回路の一部として提供し得る。

図５は、３次元オブジェクト・データセットと相互作用するシステムの局面を表す図である。システムは処理システム２０及び物理相互作用装置３４を備える。特定の更なる構成部分は以下に説明する。

通常、処理システム２０は、オブジェクトを表す３次元オブジェクト・データセットへのアクセスを有するよう構成される。その例示的な詳細は以下に記載する。

相互作用装置３４は、３次元オブジェクト・データセットによって表されるオブジェクトの少なくとも一部に一般的な形状を有する接触感応性表面３５を備え得る。表面の形状が、オブジェクトの少なくとも一部に「一般的な」形状であるということは、３次元オブジェクト・データセットによって表されるオブジェクトの形状と、表面の形状が必ずしも厳密に同じでなくてよいということを意味している。その代わりに、相互作用装置３４の容易な再使用を可能にするために、接触感応性表面３５の形状は、特定のクラスのオブジェクトにおいて通常遭遇する特徴を有する形状であり得る。例えば、心臓を表す３次元オブジェクト・データセットと相互作用するよう企図された相互作用装置３５は、心臓の解剖学的構造の形状を有する接触感応型表面３５を有し得る。例えば、前述の形状は、左心室及び右心室、並びに左心房及び右心房に対応する特徴を有し得、かつ／又は心房を接合する大血管の一部を表し得、かつ／又は主冠状動脈を表し得る。冠状動脈は更に、特徴的な色により、又は別のやり方で接触感応性表面３５上に示し得る。これは、冠状動脈との容易な相互作用を可能にする一方、接触感応性表面３５は比較的平滑であり得る。

接触感応性表面の一部が特定の種類のオブジェクトの切断面を表すということが考えられる。例えば、相互作用装置３４はオブジェクトの半分をモデリングし、切断面は更に、少なくとも部分的な接触感応性を有する。更に、相互作用装置３４が、オブジェクトの別の部分をそれぞれが表し、完全なオブジェクトを構築するために集約することが可能ないくつかの部分を備える。このようにして、切断面及び／又はサブオブジェクトの接触感応性表面は、接触されるようアクセス可能にし得る。別々の部分が、処理装置２０と、かつ／又は互いに、無線若しくは有線の通信技術によって通信し得る。

例えば、相互作用装置は、相互作用装置の残りの部分に対して移動可能な可動部分を含み得、可動部分及び残りの部分はオブジェクトの別々の部分を表し、可動部分は、残りの部分と一体化し、残りの部分と分離するよう構成され得、接触感応性表面の少なくとも一部は、可動部分が残りの部分と一体化された場合、可動部分によって覆われる。

接触感応性表面は、抵抗性接触画面又は静電容量性接触画面などの何れかの既知の接触感応性技術に基づき得る。例えばコンダクタンスに基づいた他の種類の技術も使用し得る。接触感応性表面は、支持体オブジェクトの周りに巻き付け得る可撓性フォイルの形態で行い得る。接触感応性表面は、適合させた形状を有するよう工場内で予め成形し得る。接触感応性表面３５は、スタイラスなどの人工的なオブジェクトとの接触事象に対して、かつ／又は人間の皮膚に対して感応性を有し得る。

相互作用装置は、処理システム２０に接触事象を伝えるための信号を生成する信号生成器３６を更に備え得る。信号は、接触感応性表面３５に接触する位置を示し得る。

処理システム２０は、信号生成器３６から信号を受信する信号入力部２１を備え得る。相互作用装置から処理システム２０への信号の伝送は、無線又は有線の接続、若しくは何れかの利用可能な信号伝送技術によるものであり得る。

処理システムは、３次元オブジェクト・データセットによって表されるオブジェクトの対応する点に、信号によって示されるような、接触された位置をマッピングするマッピング装置２２を備え得る。前述のマッピングは、３次元オブジェクト・デ―タセットにおけるオブジェクトの点に接触感応性表面の点をマッピングするテーブルによって実現し得る。前述のテーブルは例えば、点の系列が、３次元オブジェクト・データセットにおいて、かつ、接触感応性表面３５上でユーザによって示される校正手順によって生成し得る。校正手順中の３次元オブジェクト・データセットにおける表示は、マウス入力装置などの、当該技術分野において知られているような通常の相互作用装置を使用して行い得る。別の、更に自動化された校正手順を以下に説明する。

スキャナ２４は、例えば、対応する放射線検出器を備えた放射線源又はカメラを使用してオブジェクトを走査することにより、３次元オブジェクト・データセットを生成するために使用し得る。例には、ｘ線、コンピュータ断層撮影、磁気共鳴、エコー装置、及び写真装置が含まれる。写真撮影装置は、例えば、立体視により、３次元オブジェクト・データセットを取得するために使用し得る。スキャナ２４は、プロセッサ・システム２０の再構成装置２３に接続し得る。再構成装置２３は、プロセッサ・システム２０と別個のエンティティの一部であり得る。例えば、再構成装置２３はスキャナ２４に一体化し得る。前述の場合には、スキャナは、例えば、データベースを管理する分散サーバ・システムに記憶される体積データセット、又は表面モデル若しくは形状モデルなどの３次元オブジェクト・データセットを生成する。しかし、処理システム２０は、例えば、分散サーバ・システムを介して３次元オブジェクト・データセットへのアクセスを有し得る。前述のアーキテクチャの任意の詳細は図示していないが、当業者には明らかになるであろう。スキャナ２４は、生体の少なくとも一部を走査することができる医用画像スキャナを備え得る。

マッピング装置２２は、接触感応性表面３５の形状の電子表現との３次元オブジェクト・データセットの位置合わせに基づいて、３次元オブジェクト・データセットによって表されるオブジェクトの対応する点に、接触された位置をマッピングするよう構成し得る。この位置合わせは、分散サーバ・システムのサーバなどの別のサーバ、又はマッピング装置２２自体によって行い得る。前述の目的で、接触感応性表面３５の形状の電子表現が、位置合わせを行う役割を果たす装置に利用可能にされる。接触感応性表面３５の形状の電子表現は、相互作用装置３４から送信された信号において、表面３５が接触された位置を表すために使用し得る座標系の表現を含み得る。このようにして、位置合わせ後、受信された信号は、接触感応性表面３５の電子表現における位置のみならず、更に、３次元オブジェクト・データセットにおける位置に関係し得る。接触感応性表面３５の形状の電子表現は、例えば、表面モデル又は形状モデルの形態をとり得る。接触感応性表面の形状、及び３次元オブジェクト・データセットにおいて表されるオブジェクトの一方又は両方をモデリングするために適応的形状モデルを使用することにより、２つの形状を位置合わせすることが可能である。他の位置合わせ手法も当業者に利用可能である。

処理システム２０は、３次元オブジェクト・データセットの少なくとも一部を表示するよう構成されたグラフィカル装置２６を備え得る。これにより、ユーザにとって相互作用が、より関係することになる。ユーザが、接触感応性表面３５の対応する点に接触することにより、表示された３次元オブジェクト・データセットの点を示すことが可能であるからである。

グラフィカル装置２６は、相互作用装置が接触された、接触感応性表面３５上の位置に対応する３次元オブジェクト・データセット内の位置の表示を表示するよう構成し得る。これにより、どの位置が示されたかをユーザに確認するための即時のフィードバックが提供される。これにより、ユーザは、更なる確信度で相互作用装置３４を使用することが可能になる。

マウス、キ―ボード、又は接触感応性ディスプレイなどの更なるユーザ入力装置２９を提供し得る。処理システム２０は、前述の入力装置２９からユーザ・コマンドを受信するよう構成されたユーザ入力受信器２８を備え得る。ユーザ入力受信器２８に応じて、コマンドが、相互作用装置３４が接触された、接触感応性表面３５上の位置に対応する３次元オブジェクト・データセット内の位置に対して処理システム２０によって実行し得る。

例えば、コマンドは、示された位置に注釈を付ける旨のものであり得る。前述の注釈は、３次元オブジェクト・データセットによって表される前述の位置におけるサブオブジェクトの色若しくはその位置の色の変更、又は別のシンボル、又はテキスト・ラベルを含み得る。よって、システムは、ユーザ入力装置２９からユーザ入力受信器２８によって受信されたコマンドに応じて３次元オブジェクト・データセット内の適切な位置に注釈を付ける注釈装置３０を備え得る。前述の適切な位置は、相互作用装置３４が接触された接触感応性表面３５上の位置に対応する位置である。例えば、コマンドは、順次に接触された位置に対応する点を通る線を描く。コマンドは通常の入力手段を介して与え得るが、相互作用装置３４を介してユーザがコマンドの入力を可能にすることも考えられる。例えば、接触感応性表面３５の接触は注釈などのコマンドを示し得る。接触感応性表面３５に２回接触するか、又は、接触感応性表面にわたり、指などのオブジェクトをスワイプするなどの他のジェスチャを規定し得る。前述のジェスチャはコマンドと関連付け得る。

システムは、オブジェクトの別々の部分を表す複数の用語を含むオントロジ３１を含み得る。マッピング装置２２は、接触された位置に対応する、オブジェクトの一部を表す用語に、接触された位置をマッピングするよう構成し得る。前述の用語の表示は、ユーザを案内するよう表示し得る。前述の部分についての適切な情報を、例えば、分散サーバ・システムに、自動的に要求するなどの多くの他のアプリケーションが考えられる。前述の適切な情報は、前述の部分についての一般情報（例えば、左心房に接触した場合、左心房についての百科事典情報であり得る。前述の適切な情報は更に、３次元オブジェクト・データセットを取得するために実際に走査されたオブジェクト内のこの部分についての特定の情報であってもよい。この例に、撮像検査を受けた、病院内の患者がある。

患者レコード情報システム３３も提供し得る。例えば、前述の患者レコード情報システム３３は、上記分散サーバ・システムによってホスティングされる。

処理システム２０は、患者レコード情報システム３３にシステムを接続する接続装置３２を備え得る。より具体的には、接続装置３２は、接触された位置に対応するオブジェクトの部分を表す用語に基づいて、患者データ・レコードからデータを取り出すよう構成し得る。前述の患者データ・レコードは、スキャナ２４によって走査された患者のデータ・レコードであり得る。しかし、これは制限でない。例えば、同様なケースからのデータを取り出すことも考えられる。

接触感応性表面３５は、３次元オブジェクト・データセットに基づいて情報を表示するよう構成された接触可能性ディスプレイを備え得る。接触感応性表面と同様な前述のディスプレイは、３次元オブジェクト・データセットにおけるオブジェクトと同様に成形し得る。前述のように、接触感応性ディスプレイは、例えば、複数層のフォイルにより、接触感応性表面３５と一体化し得る。例えば、接触感応性ディスプレイは、接触感応性表面３５上の実際の３次元オブジェクト・データセットの更なる詳細を表示するために使用し得る。例えば、接触感応性ディスプレイを使用して、瘢痕を物理モデル上に表示することが可能である。あるいは、動脈及び／又は静脈を表示し得る。将来の診察中の計画された修正、起動時間、シミュレーション結果、又はディジタル・モデルに関連付けられた何れかの他の情報を相互作用装置上に表示し得る。

処理システム２０は、ワークステーション（例えば、放射線ワークステーション）として実現し得る。処理システム２０は更に、少なくとも部分的に、分散サーバ・システムの一部として実現し得る。例えば、ユーザ入力及び表示に直接関係する機能はワークステーションにおいて実現し得、例えば、マッピング装置、位置合わせ装置、注釈モジュール、オントロジの１つ又は複数を含む、残りの全部又は一部は分散サーバ・システムのサーバ上に実現し得る。

図６は、３次元オブジェクト・データセットと相互作用する方法の特定の局面を示す。方法は、３次元オブジェクト・データセットによって表されるオブジェクトの少なくとも一部の一般的な形状を有する接触感応性表面を備えた相互作用装置から信号を受信する工程５０を含み、信号は、接触された接触感応性表面上の位置を示す。方法は、３次元オブジェクト・データセットによって表されるオブジェクトの対応する点に、接触された位置をマッピングする更なる工程５１を含む。更なる処理工程は、システムの上記説明に基づいて実現し得る。方法は、コンピュータ・プログラム・プロダクトの形態で実現し得る。

本発明は、本発明を実施するよう適合されたコンピュータ・プログラム（特に、担体上又は担体内のコンピュータ・プログラム）に適用される。プログラムは、部分的にコンパイルされた形式のコード中間ソース及びオブジェクト・コード、オブジェクト・コード、若しくはソース・コードの形式、又は、本発明による方法の実現における使用に適した何れかの他の形式のものであり得る。前述のプログラムは、別々の多くのアーキテクチャ設計を有し得る。例えば、本発明による方法又はシステムの機能を実現するプログラム・コードは、１つ又は複数のサブルーチンに分割し得る。前述のサブルーチンに機能を分散する別々の多くのやり方は当業者に明らかになるであろう。サブルーチンは、自己内蔵型のプログラムを形成するために１つの実行可能なファイルに併せて記憶し得る。前述の実行可能なファイルは、コンピュータ実行可能な命令、例えば、プロセッサ命令及び／又はインタープリタ命令（ジャバ・インタープリタ命令）を含み得る。あるいは、サブルーチンの１つ若しくは複数、又は全部を少なくとも１つの外部ライブラリ・ファイルに記憶し、（例えば、ランタイムに）動的に、又は静的に主プログラムとリンクさせ得る。主プログラムは、サブルーチンの少なくとも１つへの少なくとも１つのコールを含む。サブルーチンは更に、互いへのコールも含み得る。コンピュータ・プログラム・プロダクトに関する実施例は、本明細書及び特許請求の範囲記載の方法のうちの少なくとも１つの処理工程それぞれに対応するコンピュータ実行可能な命令を含む。前述の命令は、静的又は動的にリンクし得る１つ又は複数のファイルに記憶し、かつ／又はサブルーチンに分割し得る。コンピュータ・プログラム・プロダクトに関する別の実施例は、本明細書及び特許請求の範囲記載のシステム及び／又はプロダクトのうちの少なくとも１つの手段それぞれに対応するコンピュータ実行可能な命令を含む。前述の命令は、静的又は動的にリンクし得る１つ又は複数のファイルに記憶し、かつ／又はサブルーチンに分割し得る。

コンピュータ・プログラムの担体は、プログラムを収容することができる何れかのエンティティ又は装置であり得る。例えば、担体は、磁気記録媒体（例えば、フラッシュ・ドライブ若しくはハード・ディスク）、ＲＯＭ（例えば、ＣＤ ＲＯＭ又は半導体ＲＯＭ）などの記憶媒体を含み得る。更に、担体は、電気ケーブル若しくは光ケーブルを介して、又は無線若しくは他の手段によって伝え得る電気信号又は光信号などの伝送可能な担体であり得る。プログラムが前述の信号において実現される場合、担体は、前述のケーブル又は他の装置若しくは手段によって構成し得る。あるいは、担体は、プログラムが組み込まれた集積回路であり得、集積回路は、関連した方法を実行し、又は、関連した方法の実行において使用するよう適合される。

上記実施例は、本発明を限定するのでなく例証し、当業者は、特許請求の範囲記載の範囲から逸脱しない限り、代替的な多くの実施例を設計することができる。特許請求の範囲では、括弧内に記載された参照符号は、請求項を限定するものとして解されるべきでない。本出願の原文における動詞「ｃｏｍｐｒｉｓｅ」及びその活用の使用は、請求項記載の構成要素又は工程の存在を排除するものでない。本出願の原文において、構成要素に先行する冠詞「ａ」又は「ａｎ」は、前述の複数の構成要素の存在を排除するものでない。本発明は、別個のいくつかの構成要素を備えたハードウェアにより、かつ、適切にプログラムされたコンピュータによって実現し得る。いくつかの手段を列挙した装置クレームでは、前述の手段のいくつかは、全く同一のハ―ドウェアによって実現し得る。特定の方策が互いに別々の従属請求項に記載されているということは単に、前述の方策の組み合わせを有利に使用することが可能でないということを示している訳ではない。

Claims (12)

1. ３次元オブジェクト・データセットと相互作用するシステムであって、
   前記３次元オブジェクト・データセットは、特定のオブジェクトを走査するよう構成されたスキャナから得られた信号に基づいて構成された前記オブジェクトのデータを含み、
   前記システムは、
   前記３次元オブジェクト・データセットを３次元的に表示するグラフィカル装置と、
   前記３次元オブジェクト・データセットによって表される前記オブジェクトの一般的な形状を有する表面を備えた相互作用装置と、
   前記相互作用装置から信号を受信する信号入力部であり、前記信号は、前記表面上においてユーザによって示された位置を示す、信号入力部と、
   ｉ）前記相互作用装置における前記表面の前記形状の電子的表現に対して、前記３次元オブジェクト・データセットを位置合わせし、かつ、ｉｉ）前記位置合わせに基づいて、前記ユーザによって示された位置を、前記３次元オブジェクト・データセットによって表される前記オブジェクトの対応する点に対してマッピングする、マッピング装置と、
   を備える、システム。
2. 請求項１記載のシステムであって、前記表面は接触感応性表面を備え、前記信号は、接触された前記接触感応性表面上の位置を示す、システム。
3. 請求項１記載のシステムであって、前記オブジェクトは解剖学的オブジェクトを備え、前記スキャナは医用画像スキャナを備える、システム。
4. 請求項１記載のシステムであって、前記グラフィカル装置は、前記ユーザによって示された、前記表面上の前記位置に対応する前記３次元オブジェクト・データセット内の前記位置の表示を表示するよう構成された、システム。
5. 請求項１記載のシステムであって、前記ユーザによって示された、前記表面上の前記位置に対応する前記３次元オブジェクト・データセット内の前記位置に対して実行される対象のコマンドを受信するよう構成された、ユーザ入力受信器、を更に備えるシステム。
6. 請求項５記載のシステムであって、前記ユーザによって示された、前記表面上の前記位置に対応する前記３次元オブジェクト・データセット内の前記位置に、前記コマンドに応じて注釈を付ける注釈装置、を更に備えるシステム。
7. 請求項１記載のシステムであって、前記オブジェクトの別々の部分を表す複数の用語を含むオントロジを更に備え、前記マッピング装置は、前記示された位置に対応する前記オブジェクトの一部を表す用語に、前記示された位置をマッピングするよう構成された、システム。
8. 請求項１記載のシステムであって、前記表面は、前記３次元オブジェクト・データセットに基づいて情報を表示するよう構成された、ディスプレイ、を備えるシステム。
9. 請求項１記載のシステムであって、前記相互作用装置の前記形状が、３次元オブジェクト・データセットによって表される前記オブジェクトのモデリングされた形状又は平均的な形状を表す、システム。
10. 請求項１記載のシステムを備えた、ワークステーション。
11. ３次元オブジェクト・データセットと相互作用する方法であって、
    特定のオブジェクトを走査するよう構成されたスキャナから信号を取得することにより、前記３次元オブジェクト・データセットを取得する工程であり、前記３次元オブジェクト・データセットは、前記オブジェクトの構成に関するデータを含む、工程と、
    前記３次元オブジェクト・データセットを３次元的に表示する工程と、
    前記３次元オブジェクト・データセットによって表される前記オブジェクトの一般的な形状を有する接触感応性表面を備えた相互作用装置から信号を受信する工程であり、前記信号は、前記接触感応性表面上においてユーザによって示された位置を示す、工程と、
    前記相互作用装置における前記表面の前記形状の電子的表現に対して、前記３次元オブジェクト・データセットを位置合わせする工程と、
    前記位置合わせに基づいて、前記ユーザによって示された位置を、前記３次元オブジェクト・データセットによって表される前記オブジェクトの対応する点に対してマッピングする、工程と
    を含む方法。
12. 請求項１１記載の方法をプロセッサ・システムに行わせる命令を備えた、コンピュータ・プログラム。

Images