JP6049788B2 - 仮想道具操作システム - Google Patents

Description

本開示は、包括的には仮想現実に関し、より詳細には、仮想環境内で操作することができる道具をシミュレートすることに関する。

実習生は、訓練中、特定の職業に関連する道具の使用方法を学ぶ。通常、訓練プロセスは、実習生が、対象物に対する特定の行為を行うために、監督の下、実際の道具を用いて練習することを含む。たとえば、この点において、対象物は、特に使用されている道具のタイプに依拠して生物又は無生物とすることができる。道具操作技能は、たとえば研修生がその職業において十分に習熟するまで育成することができる。たとえば医療分野であっても、医学生又は外科研修医は、様々なタイプの外科的処置又は介入処置を実施するために特化した道具を扱うための技能を学ぶ。

医学訓練では、外科研修医は通常、死体、動物、又は箱型訓練装置に対して、道具を扱うこつを学ぶ。しかしながら、近年、実体が必要とされない仮想環境において研修生が外科的処置を練習することを可能にするシステムが開発されてきた。幾つかの仮想現実システムでは、外科的道具の実際の柄が道具の残りの部分から取り除かれる。次に、３次元空間における道具の位置及び配向を検出するために、センサーが柄の表面に取り付けられる。インタフェースによって、センサーはコンピュータと通信することができ、柄がどのように操作されているかに関する情報が、さらなる処理のためにコンピュータに転送される。仮想領域内の道具のイメージが視覚表示デバイス上に表示され、実際の道具が現実の対象物にどのように影響を与え得るかを視覚においてシミュレートする。

センサーが道具の柄の表面に取り付けられる従来の仮想現実システムの１つの欠点は、道具毎に特定のシミュレーションハードウェアが必要とされることである。このため、多数の異なる道具のための適切な検知ハードウェア及び検知ソフトウェアを構成することは非常に高価になり得る。従来のシステムのこれらの欠陥及び他の欠陥を克服するために、並びに道具を扱う手順をより現実的にシミュレートするために、道具の操作を伴う仮想現実の分野には、依然としてさらなる改善を行い得る。システムの改善によって、より現実的な訓練を研修生に提供することができるのみでなく、道具設計方法の改善及び新たな器具の迅速な試作と同様に、さらなる利点を提供するための改善を行うこともできる。

本開示は、仮想道具をシミュレートするためのシステム、方法、及び関連ソフトウェアアプリケーション、並びに仮想道具を仮想的に扱うためのシステム、方法、及び関連ソフトウェアアプリケーションを説明する。本明細書において説明する多くの実施形態のうちの１つの実施形態によれば、仮想道具操作システムは、ユーザの身体の一部分の位置に関連する動き情報を生成するように構成される動き追跡システムを備える。仮想道具操作システムは、動き情報、仮想道具の位置、及び仮想道具の特性に基づいてユーザに触感を提供するように構成される触覚フィードバックシステムをさらに備える。

本明細書に明白に開示されない本開示の他の特徴、利点、及び実施形態は、以下の詳細な説明及び添付の図面を検討した当業者には明らかとなろう。本開示のそのような暗に含まれる実施態様が本明細書に含まれることが意図される。

以下の図面内の構成要素は、一定の縮尺で描かれているとは限らない。そうではなく、本開示の一般原理を明確に説明することに重点が置かれている。対応する構成要素を示す参照符号は、一貫性及び明白性のために図面全体を通じて必要であるものとして反復される。

一実施形態による仮想道具操作システムのブロック図である。 仮想道具を握るように位置決めされた人間の手のビューを示す図である。 一実施形態による、図１に示す処理システムのブロック図である。 一実施形態による、図３に示すメモリのブロック図である。 一実施形態による、図４に示すシミュレーションファイルを示すブロック図である。 一実施形態による、図４に示す相互作用モジュールを示すブロック図である。 一実施形態による、図４に示す出力処理モジュールを示すブロック図である。 図１に示す視覚フィードバックシステムによって表される仮想イメージを示す図である。

外科的処置のための仮想訓練は、手術が現実にどのように見え得るかのイメージを視覚的に表示するための手段を提供してきた。従来のシステムでは、実際の外科的道具の柄が道具から取り除かれ、仮想領域における外科的道具の位置及び配向を検出するために、柄に多数のセンサーが配置される。しかしながら、柄センサーデバイス、及びデバイスの運動を解釈するための関連ソフトウェアの作成に関わるコストは、特にセンサーデバイス並びに関連するハードウェア及びソフトウェアが道具毎に必要となる場合に非常に高価となり得る。

本開示は、任意の道具設定、さらには新たな道具設計のシミュレートを可能にすることによって、従来のシステムのコストを下げた代替形態を提供する。より詳細には、道具の設計は、既存の道具又は新たな道具の設計のいずれであっても、コンピュータ支援設計（ＣＡＤ）プログラムを使用してメモリ内に入力することができる。本システムは、道具の他の関連特性、たとえば、重さ、重さ配分、重心、自由度、鋭度、弾力性等に加えて道具の設計を使用して、ユーザに触覚フィードバック又は運動感覚フィードバックを提供し、あたかもユーザが実際に実物の道具を把持しているかのような道具の特性の感覚をユーザに与えることができる。触覚フィードバックは、仮想道具の位置、運動、張力等の感覚をユーザに与える。

仮想世界において道具をシミュレートすることによって、設計開発中に道具の試作品を実際に製造する必要がない。本開示の教示によれば、ユーザは仮想世界において、該ユーザの仮想道具の制御を確かめるフィードバックを受信しながら、道具がどのように機能し、道具をどのように扱うことができるのかを体験することができる。このように道具をシミュレートする能力を用いて、複数の異なるタイプ及び設計の道具をシミュレートすると共に記憶することができる。シミュレートされる仮想道具は、異なる柄、異なるサイズ、形状、形態、質感等を有することができる。また、シミュレートされている道具のタイプに依拠して、道具を特定の設計に従った任意の適切な方法で仮想的に「握る」ことができる。試作品を製造する必要をなくすこと、又はＲ＆Ｄフェーズ中の試作品数を劇的に低減することのいずれか、及び個々の道具毎の関連する検知デバイス及び検知ソフトウェアを作成する必要をなくすことの結果として、物理的道具毎に検知構造及び関連ソフトウェアを構成しなくてはならないシステムと比較して、訓練環境内に多数の道具を含むことのコストを大幅に低減することができる。

本開示による新たな道具設計に関して、道具の設計をコンピュータに入力し、仮想的に操作することができる。ユーザは、該ユーザに提供される触覚フィードバックを用いて、道具を実際に把持する感覚を体験することができる。そして、道具の設計は、道具の意図される目的を果たすための該道具の使用の容易さ及び感触に基づいて、始めから道具を製造する必要なく、必要に応じて変更することができる。この意味で、物理的材料が必要とされないため、本明細書において説明される実施形態例は、製造コスト及び材料コストの浪費を回避することができる。道具を設計する反復プロセス、すなわち、仮想領域において道具を利用すること、及び道具の設計を微調整することは、より良好な道具設計をもたらすことができ、より短い時間量で達成することができる。

図１は、仮想道具操作システム１０の一実施形態のブロック図である。この実施形態では、仮想道具操作システム１０は、動き追跡システム１２と、処理システム１４と、触覚フィードバックシステム１６と、視覚フィードバックシステム１８とを備える。幾つかの実施形態では、仮想道具操作システム１０は、必要であれば、音声をユーザに提供する音声フィードバックシステム（図示せず）も備えてもよい。たとえば、音声フィードバックは、特に、特定の音、たとえばモータ、関節運動、摩擦、振動、器具の起動等を生成する部分を有する道具の場合に、仮想体験を向上させるのに役立つことができる。

本明細書における教示によれば、仮想道具操作システム１０は、人間の運動、たとえばコンピュータゲーム、手術を含むと共に、任意の職業、たとえば外科医、航空機操縦士、宇宙飛行士、科学者、建設作業員、工員等を含む任意のタイプの動作をシミュレートするために構成することができる。仮想道具操作システム１０は、専門家が安全な訓練設定で手順を練習することを可能にするための訓練目的で使用することができる。

動き追跡システム１２は、３次元空間内の特定の点の運動学又は位置を時間にわたって追跡するための検知デバイスを備えることができる。また、検知デバイスは、これらの点の互いに対する位置若しくは角度を追跡するか、又は他の動き追跡技法を使用することができる。特に、動き追跡システム１２は毎秒幾つかの位置測定を行い、連続運動をシミュレートすることができる。幾つかの実施形態では、動き追跡システム１２は、ユーザが現実に把持するか又は触れることができる対応する物理要素を含まない。その代わり、この場合、仮想道具は仮想領域内にのみ存在し、完全に仮想のものである。他の実施形態では、動き追跡システム１２はユーザが触れることができる物理プロップを備える。この場合の物理プロップは、たとえば、仮想道具とほぼ同じサイズ及び形状を有する柄とすることができる。

動き追跡システム１２は、たとえば、ユーザの手に装着することができる、ＣｙｂｅｒＧｌｏｖｅ（商標）のようなデータグローブを備えることができる。データグローブは、ユーザの手、手首、及び指の幾つかの関節の曲げ角度を測定するためのセンサーを備えることができる。幾つかの実施形態では、動き追跡システム１２は、基準点に対する３次元空間内のｘ位置、ｙ位置、及びｚ位置を測定することが可能である場合があり、固定の基準フレームに対する空間内の配向を測定することがさらに可能である場合がある。他の実施形態では、動き追跡システム１２は、ユーザのイメージを追跡すると共に、必要に応じて、ユーザの１つ又は複数の手、手首、腕、肩、頭、脚、足等のような様々なユーザの身体部分の位置及び配向を計算するための光学動き捕捉デバイスを備えることができる。

処理システム１４は、動き追跡システム１２によって測定された動き情報を管理するための任意の適切な処理構成要素及びストレージ構成要素を備えることができる。図３は、下記でより詳細に説明される、一実施形態による処理システム１４を示している。処理システム１４は、特定のソフトウェアアプリケーションを使用し、動き情報を分析して、ユーザの動きが仮想世界における人間の操作者にどのように対応するかを確定することができる。処理システム１４内に記憶されている仮想道具に対する人間の操作者の運動を確定することができる。人間の操作者が仮想道具を操作すると、処理システム１４は、仮想道具と仮想対象物との間の相互作用の結果も確定することができる。処理システム１４は、操作者と仮想道具との間の相互作用の計算に基づいて、触覚フィードバックシステム１６に適用する触覚フィードバック信号を計算する。また、処理システム１４は、仮想操作者と、仮想道具と、仮想対象物との間の相互作用の仮想イメージをユーザに表示するために視覚フィードバックシステム１８に適用されるビデオ信号を計算する。

触覚フィードバックシステム１６は、任意のタイプの強制フィードバック、振動触覚フィードバック、及び／又は触知性フィードバックをユーザに提供する任意の適切なデバイスを備えることができる。このフィードバックは、ユーザに、シミュレートされた道具を実際に把持している感覚を提供することができる。触覚フィードバックシステム１６は、道具の物理的な質感、圧力、力、抵抗、振動等をシミュレートする。それらは幾つかの点で、空間内の道具の運動に関連し、道具と対象物との相互作用を含むことができる。触覚フィードバックシステム１６は、たとえば、ＣｙｂｅｒＧｒａｓｐ（商標）、ＣｙｂｅｒＦｏｒｃｅ（商標）、ＣｙｂｅｒＴｏｕｃｈ（商標）等のようなメカニズムを含む場合があり、それらは、少なくとも力、重さ、抵抗、及び振動の感覚をユーザに加えることができる。

視覚フィードバックシステム１８は、仮想ゴーグル、表示スクリーン等のような任意の適切な仮想現実表示デバイスを備えることができる。視覚フィードバックシステム１８は、道具の外観、及び道具が仮想操作者によって扱われるときにどのように動作するかを示すことができる。視覚フィードバックシステム１８は、道具に加えられる様々な力及び作用に道具がどのように反応するか、及び仮想道具の運動又は動作によって対象物がどのように影響されるかも示すことができる。

通例、仮想道具操作システム１０は以下のように動作する。動き追跡システム１２は、ユーザの身体の１つ又は複数の部分、たとえば手の動きを追跡する。動き情報が処理システム１４に送信され、処理システム１４は該動き情報を処理し、動きが仮想道具にどのように影響を及ぼすかを確定する。また、処理システム１４は、仮想道具が特定の対象物とどのように相互作用するかを確定する。処理システム１４は、これらの処理手順に応答して、ユーザの特定の動き及び仮想道具の特性に依拠する、ユーザと仮想道具との間の相互作用に基づいて、触覚フィードバック信号を触覚フィードバックシステム１６に提供する。また、処理システム１４は、仮想現実情報を視覚フィードバックシステム１８に提供し、ユーザの手、操作されている道具、及び対象物に対する道具の運動の効果のリアルタイムの視覚的シミュレーションを提供する。さらに、処理システム１４は、仮想操作者と、仮想道具と、仮想対象物との間の相互作用に関連する音声信号も作成することができる。

図２は、図１の仮想道具操作システム１０を使用しているユーザ２０の実物の人間の手のビューを示している。このビューでは、ユーザ２０は自身の手を、特定の道具、たとえば、メス、ランセット等を扱うのに使用することができる「掌」握り又は「ディナーナイフ」握りに位置決めしている。他の実施形態では、ユーザ２０の手は、扱われている仮想道具のタイプに依拠して、別の握り方、たとえば鉛筆握りに位置決めされ得る。ユーザ２０は、道具又は他の操作可能な物体を使用して練習又は訓練をしている任意の人間を表すことができる。ユーザ２０は、たとえば、外科医、医学生、訓練中の操縦士、科学者、訓練中の宇宙飛行士、建設作業員、機械操作員、工員等とすることができる。たとえば医学分野において、ユーザ２０が仮想的に握ることができる道具は、鉗子、締め具、メス、ランセット、トロカール、開創器、採皮刀、内視鏡、腹腔鏡器具等を含むことができる。個々の分野に依拠して、ユーザ２０は他のタイプの道具を仮想的に操作することができる。

幾つかの実施形態では、ユーザ２０は実際の道具も、又はさらには実際の道具の柄も、実際に掴まない。これは、センサーを備えるように変更された道具の柄の使用を一般的に必要とする従来のシステムとは異なる。他の実施形態では、ユーザ２０は、実際の道具の柄のサイズ及び／又は形状に似た物理プロップを掴んでもよい。この図面には詳細に図示されていないが、動き追跡システム１２（図１）は、ユーザ２０の動きを追跡して、手、指、親指、手首等の配置を確定する。幾つかの実施形態では、動き追跡システム１２は、ユーザ２０の手の位置特性及び／又は回転特性を検知するための、ＣｙｂｅｒＧｌｏｖｅ（商標）又はＣｙｂｅｒＦｏｒｃｅ（商標）のようなデータグローブを備えることができる。多くの実施形態では、道具操作は人間の１つの手を伴うが、他の実施形態では両手を使用してもよく、又はさらには、手首、腕、頭、脚、足等のような人間の他の部分を使用してもよい。たとえば、人間の頭の配置を追跡して、仮想シーンに対する人間の目の視覚及び視線を確定し、それによって、視覚フィードバックシステム１８による視覚信号の表示のされ方に影響を及ぼすことができる。

また、詳細に図示していないが、ユーザ２０、及び／又はユーザ２０の手に装着されるデータグローブは、触覚フィードバックシステム１６（図１）からの触覚フィードバックを受け取ることができる。たとえば、触覚フィードバックシステム１６は、ＣｙｂｅｒＧｒａｓｐ（商標）、ＣｙｂｅｒＦｏｒｃｅ（商標）、ＣｙｂｅｒＴｏｕｃｈ（商標）等のような任意の適切な力フィードバックメカニズムを備えることができる。これらは、データグローブと連携して動作することができる。特に、触覚フィードバックシステム１６は、仮想道具があたかも実際の道具であるかのように該仮想道具の感触をシミュレートするための様々なアクチュエータを備えることができる。また、触覚フィードバックシステム１６は、重さ、弾力性、自由度等のような仮想道具の他の特性に基づいて、仮想道具の操作感覚を提供すると共に、道具がどのように対象物と相互作用するかに基づいて、感覚フィードバックを提供することができる。したがって、触覚フィードバックシステム１６は、シミュレートされている道具のタイプに依拠して、圧力、力、運動抵抗傾向、重力、振動、慣性等の感覚を提供することができる。

図３は、図１に示す処理システム１４の一実施形態のブロック図である。この実施形態では、処理システム１４は、マイクロプロセッサ２２と、メモリ２４と、入力／出力デバイス２６と、動き追跡インタフェース２８と、触覚デバイスインタフェース３０と、仮想表示インタフェース３２とを備え、それぞれが、内部バス３４、又は情報を通信するための他の適切な通信メカニズムによって相互接続されている。処理システム１４は、デジタル又はアナログの電気信号を処理及び計算することに関連付けられる他の構成要素及び／又は回路も備えることができる。処理システム１４は、ユーザから検出される動き制御信号を処理すると共に、仮想の直面の体験をシミュレートするためのフィードバックをユーザに提供することが可能なコンピュータとして構成することができる。

マイクロプロセッサ２２は、汎用プロセッサ若しくは専用プロセッサ又はマイクロコントローラとすることができる。メモリ２４は、情報、データ、及び／又は命令を記憶するための、内部に固定されたストレージ媒体及び／又は取り外し可能なストレージ媒体を備えることができる。メモリ構成要素内のストレージは、ランダムアクセスメモリ（ＲＡＭ）のような揮発性メモリ、及び／又は読み出し専用メモリ（ＲＯＭ）のような不揮発性メモリの任意の組み合わせを含むことができる。メモリ２４は、マイクロプロセッサ２２が仮想道具操作プログラム又は仮想道具操作手順を実行することを可能にするソフトウェアプログラムも記憶することができる。ユーザの運動を分析し、仮想の人間の操作者と、仮想道具と、仮想対象物との間の仮想相互作用に基づいてユーザに対するフィードバックを調整するための様々な論理命令及び論理コマンドをソフトウェアプログラム内に含めることができる。本開示の仮想道具操作プログラムは、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせにおいて実装されることができる。仮想道具操作プログラムは、ソフトウェア又はファームウェアにおいて実装される場合、メモリ２４内に記憶され、マイクロプロセッサ２２によって実行されることができる。仮想道具操作プログラムは、ハードウェアにおいて実装される場合、たとえば、離散論理回路、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等、又はそれらの任意の組み合わせを使用して実装されることができる。

図３の実施形態では、メモリ２４は処理システム１４の部分として図示されている。他の実施形態では、処理システム１４に関連付けられるメモリ構成要素の部分又は全てを他の処理システム内に構成してもよく、又は取り外し可能なストレージデバイス上に組み込んでもよい。また、メモリ２４は、モデム又は他のネットワーク通信デバイスを介してアクセス可能な遠隔ストレージも含むことができる。

メモリ２４は、仮想道具環境の様々な部分をシミュレートするための情報を含むファイルを含む。たとえば、シミュレーションファイルは、道具自身のシミュレーションと、仮想道具の操作者のシミュレーションと、道具の動作によって影響を受ける対象物のシミュレーションとを含むことができる。メモリ２４は、仮想道具が他のものとどのように相互作用するかを定義するためのソフトウェアプログラム又はソフトウェアコードも含むことができる。たとえば、操作者と道具との間の相互作用を、道具と対象物との間の相互作用と同様に定義することができる。

入力／出力（Ｉ／Ｏ）デバイス２６は、キーボード、キーパッド、カーソル制御デバイス、たとえばコンピュータマウス、又は他のデータ入力デバイスのような入力メカニズムを含む。出力デバイスは、コンピュータモニタ、表示デバイス、プリンタ、又は他の周辺デバイスを含むことができる。Ｉ／Ｏデバイス２６は、インターネットのようなネットワークへのアクセスを可能にするための、モデムのような、ネットワークと通信するための装置も含むことができる。Ｉ／Ｏデバイス２６は、有線又は無線の伝送を介して内部バス３４と通信することができる。

動き追跡インタフェース２８は、動き追跡システム１２（図１）によって受信される情報を受信する。この情報は、一時的に又は長期にわたってメモリ２４内に記憶され、ユーザ２０の位置及び／又は配向を確定するために処理されることができる。マイクロプロセッサ２２は、ユーザ２０の動き検出情報を分析することによって仮想道具操作プログラムを実行し、仮想道具に対するこの運動の効果及び仮想対象物に対する該道具の効果を確定する。これらの運動及び相互作用に基づいて、マイクロプロセッサ２２は、ユーザ２０に適用されることが意図されるフィートバック信号を確定する。触覚デバイスインタフェース３０は、触覚フィードバック信号を触覚フィードバックシステム１６に転送し、ユーザ２０のために、仮想道具の扱い及び制御の触知感覚をシミュレートする。仮想表示インタフェース３２は、ビデオ信号を視覚フィードバックシステム１８に送信し、ユーザ２０のために、仮想対象物に対し仮想道具を使用している仮想操作者の仮想現実イメージをシミュレートする。

図４は、図３に示すメモリ２４の一実施形態のブロック図である。この実施形態ではメモリ２４は、中でも、仮想道具操作プログラム３８と、オペレーティングシステム（Ｏ／Ｓ）４０と、コンピュータ支援設計（ＣＡＤ）プログラム４２とを備える。仮想道具操作プログラム３８は、中でも、シミュレーションファイル４４と、相互作用モジュール４６と、出力処理モジュール４８とを備える。幾つかの実施形態では、メモリ２４は、インターネットブラウザ、文書処理プログラム等のような他のソフトウェアアプリケーションを含むことができる。ＣＡＤプログラム４２をメモリ２４内にインストールして、道具設計者が道具設計の特徴を入力することを可能にすることができる。道具設計の特徴はシミュレーションファイルとして記憶することができる。仮想道具操作者シミュレーション及び仮想対象物に関する情報も、ＣＡＤプログラム４２又は他の入力メカニズムを使用して入力することができる。道具設計に加えて、シミュレーションファイル４４は、道具の物理パラメータ及び動作パラメータも含むことができる。他の実施形態では、ＣＡＤプログラム４２を省いてもよく、既存の道具設計ファイルを外部ソースからメモリ２４内にロードすることができる。また、道具設計ファイルをインターネットからダウンロードしてメモリ２４内に記憶することができる。

仮想道具操作プログラム３８は、仮想道具のシミュレーションと、道具操作者のシミュレーションと、道具の動作の対象物のシミュレーションとを管理し、それらはそれぞれシミュレーションファイル４４として記憶される。仮想道具操作プログラム３８は、シミュレーションファイル４４内で定義される、操作者、道具、及び対象物の特性及びプロパティに依拠して、道具が操作者及び対象物とどのように相互作用するかも管理する。それらの相互作用の仕方を、ソフトウェアコードを使用してモデル化及び定義し、相互作用モジュール４６として記憶することができる。仮想道具操作プログラム３８の出力処理モジュール４８は、情報をどのようにユーザ２０にフィードバックするかに関するソフトウェアコードを含む。相互作用モジュール４６からの、操作者、道具、及び対象物の仮想相互作用に基づいて、出力処理モジュール４８は、仮想道具操作体験をシミュレートするために、少なくとも触覚フィードバック及び仮想フィードバックを提供する。仮想道具操作プログラム３８、及び本明細書において説明されるような実行可能な論理命令を含む任意の他のプログラム又はソフトウェアコードを、任意の適切な処理デバイスによる実行のために任意の適切なコンピュータ可読媒体内に具現化することができる。コンピュータ可読媒体は、測定可能な時間の長さにわたって、プログラム又はソフトウェアコードを記憶することができる任意の物理媒体を含むことができる。

図５は、図４に示すシミュレーションファイル４４の一実施形態のブロック図である。この実施形態では、シミュレーションファイル４４は、操作者シミュレーションファイル５０と、道具シミュレーションファイル５２と、対象物シミュレーションファイル５４とを含む。操作者シミュレーションファイル５０は、仮想の人間のオペレータを定義する情報を含む。特に、ほとんどの道具はユーザの手によって操作されるため、手、手首、及び前腕を、形状、運動、回転、屈曲、運動学等についてシミュレートすることができる。操作者シミュレーションファイル５０は、人間の手、指、手首、腕等に存在する関節及び骨の多岐にわたる動きを含む。指の異なる関節についての相対運動情報、及び１本の指の、別の指に対する相対運動も含まれる。操作者シミュレーションファイル５０は、人間の手及び手首をモデル化して、６以上の自由度の追跡情報によって、仮想空間内の任意の点で、任意の妥当な角度に配向された仮想の手（複数可）を位置決めすることを可能にすることができる。

他の実施形態では、操作者シミュレーションファイル５０は、人間の身体の他の部分を定義する他の情報を含むことができる。たとえば、シミュレートされる道具が、操作者が自身の足を用いてペダルを押すことを伴う場合、操作者シミュレーションファイル５０は、様々な足の位置及び配向に関する情報を含む。この点において、操作者シミュレーションファイル５０は、人間の身体の２つ以上の部分を定義するデータを含む場合がある。道具によっては、道具を適切に利用するために２つの手が必要となる場合がある。この場合、各手に１つずつ、２つのファイルをモデル化することができる。操作者シミュレーションファイル５０の他の実施形態は、ユーザのサイズの変動を計上することができる。たとえば、操作シミュレーションファイル５０は、たとえば手が大きな操作者のためにシミュレーション情報を変更することを可能にすることができる。

道具シミュレーションファイル５２は、パラメータ、特性、及びシミュレートされている特定の道具の機能に関する情報又はデータを記憶する。道具シミュレーションファイル５２内の情報を、外部ソースからダウンロードするか、ＣＡＤプログラム４０を使用してローカルで作成することができる。情報は、操作される部分、たとえば柄、ボタン、スイッチ、取っ手等、及び、道具の構造の他の部分、たとえば刃、挟持あご（clamping jaw）、道具ヘッド等を含む、仮想道具の全ての部分のシミュレーションデータを含む。道具シミュレーションファイル５２は、サイズ、形状、形態、鋭度、質感、力の衝撃（force impact）、振動、慣性、重心、重さ、重さ配分、自由度、動き角度等のような道具の特性に関する情報も含む。運動抵抗、可撓性、慣性等のような他の特性を使用して道具を定義することもできる。

シミュレートされる道具のタイプに依拠して、道具シミュレーションファイル５２はタイプ毎に大きく異なる場合がある。たとえば、仮想外科的道具はメス、ランセット、クランプ、鉗子、開創器、止血鉗子、採皮刀、内視鏡、腹腔鏡器具等を含むことができる。道具シミュレーションファイルにおいてシミュレートされる大工道具及び建設工具は、たとえば、ハンマー、鋸、ドリル、ピック、金梃子等を含むことができる。建設機器、車両、工場設備等を制御するための機械のような機械動作制御もシミュレートし、道具シミュレーションファイル５２として記憶することができる。道具シミュレーションファイル５２は、多数のシミュレートされた道具に関する任意の量の情報を含むことができることを理解されたい。たとえば、手術の訓練の場合、外科医は特定の処置のために特定のタイプの道具を必要とする場合がある。これらの道具を、必要に応じてアクセスするための関連道具シミュレーションファイル内に記憶することができる。既存の道具の特性を道具シミュレーションファイル５２内にロードすることができるか、又は上記で提言したように、ＣＡＤプログラム４２（図４）のような適切なソフトウェアを使用して新たな道具を設計することができる。道具のそれぞれの物理設計及び機能設計を、道具シミュレーションファイル５２内に記憶することができる。

対象物シミュレーションファイル５４は、仮想道具の作用を受ける仮想対象物を定義する情報又はデータを含む。対象物は、シミュレートされる道具のタイプに依拠して有生物又は無生物とすることができる。外科的道具の場合、対象物は一般に、人間、又は獣医学の場合は動物のような有生物である。人間又は動物の身体構造及び生物学をモデル化し、対象物シミュレーションファイル５４内に記憶することができる。身体構造は、身体、皮膚、細胞、臓器、骨、筋肉、靭帯、腱等を含むことができる。ユーザが実施している仮想処置のタイプに依拠して、必要に応じて身体構造の他の部分も対象物シミュレーションファイル５４内に組み込むことができる。対象物シミュレーションファイル５４は、可撓性、強度、運動抵抗、慣性、弾力性、切断又は穿刺が可能であるか等のような対象物の特性を含むことができる。また、対象物シミュレーションファイル５４は、必要に応じて広範な特性を有するように実装することができる。たとえば、患者のサイズ、体型、年齢、性別等の違いをモデル化し、外科的処置のタイプを適切な身体タイプと一致させることができる。

幾つかの実施形態では、モデルを適合させるか又は特定の患者のＣＡＴスキャン、ＣＴスキャン、Ｘ線等から導出して、手術される患者の仮想表現をシミュレートすることができる。この意味において、外科医は仮想患者に対する外科的処置を実行して、患者の実際の状態、及び併発し得る任意のリスク又は合併症をより良好に理解することができる。また、対象物シミュレーションファイル５４は、特定の外科的処置に適用可能である場合、男性患者と女性患者との生体構造の違いを含むことができる。

建造物建築及び機械操作の分野では、道具は一般的に、製材、乾式壁、梁、桁、釘、ねじ、鋲、又は他の建材のような無生物に対して使用される。他の対象物は、土、泥、岩、コンクリート等を含むことができる。対象物の特性は、対象物のサイズ、形状、重さ、可撓性等を定義するようにモデル化することができる。仮想道具を仮想世界においてシミュレート及び操作することができる他の分野では、該道具の作用を受ける他の特定の対象物を、現実の同様の対象物を反映するようにシミュレートすることができる。

図６は、図４に示す相互作用モジュール４６の一実施形態のブロック図である。この実施形態では、相互作用モジュール４６は、操作者／道具相互作用モジュール６０と、道具／対象物相互作用モジュール６２とを含む。幾つかの実施形態では、操作者が実際に対象物に接触する状況が当てはまり得る場合、相互作用モジュール４４は操作者／対象物相互作用モジュール６４も含むことができる。操作者／対象物相互作用モジュール６４は、操作者が対象物を直接検知して、道具を保持している場合がある別の手に対する対象物の位置の理解を知覚することができる現実環境をシミュレートするのに役立ち得る。

操作者／道具相互作用モジュール６０は、操作者及び道具がどのように互いに相互作用するかを定義するためのソフトウェアプログラム又はソフトウェアコードを含む。操作者／道具相互作用モジュール６０は、操作者シミュレータファイル５０及び道具シミュレーションファイル５２から情報を検索して、それぞれの特性を確定する。操作者の運動及び道具の特性に基づいて、操作者／道具相互作用モジュール６０は、道具が仮想領域内でどのように移動するか、及びどのタイプの触覚フィードバックを道具が操作者に提供し得るかを確定する。道具が不恰好に掴まれている場合、触覚フィードバックは、握り方を正す必要があるか否かを検知することができるという点で、ユーザに役立ち得る。また、ユーザは、触覚フィードバックから道具の感触をより良好に理解することが可能である場合がある。また、操作者の、道具に対する順応性に依拠して、道具を扱う実際の感覚をシミュレートするための特定の力又は圧力を確定することができる。道具の運動及び配向は、操作者によって適用される力に依拠し、重力及び慣性のような他の力にも反応する場合がある。

道具／対象物相互作用モジュール６２は、道具と対象物とがどのように互いに相互作用するかを定義するためのソフトウェアプログラム及び／又はコードを含む。道具／対象物相互作用モジュール６２は、道具シミュレーションファイル５２及び対象物シミュレーションファイル５４から情報を検索して、それぞれの特性を確定する。道具及び対象物の相互作用は、たとえば、道具の位置、配向、及び運動に基づき得る。また、対象物の強度及び他の特性に基づいて、道具は自身の運動において何らかの抵抗を受ける場合がある。幾つかの状況では、この抵抗を操作者／道具相互作用モジュール６０に適用し、この抵抗を操作者に移すことができる。この場合、操作者は、さらなる力を加えるか、又は自身の運動を必要に応じて変えることが必要とされる場合がある。特定の道具機能への対象物の反応も、道具／対象物相互作用モジュール６２によって確定することができる。たとえば、対象物が仮想手術患者である場合、対象物、及び道具の効果を受ける対象物の部分に対して実施された処置のタイプに依拠して、道具の使用の結果、出血又は他の反応が生じる場合がある。仮想建築設定では、対象物はたとえば仮想木材とすることができ、仮想道具は、道具と木材との相互作用の結果として仮想のおがくずを生成することができる。道具と対象物との間のこれらの相互作用及び他の相互作用を、道具／対象物相互作用モジュール６２内にプログラムして、道具に対する対象物の現実の反応、及び対象物が道具に課し得る任意のフィードバックをシミュレートすることができる。

図７は、図４に示す出力処理モジュール４６の一実施形態のブロック図である。この実施形態では、出力処理モジュール４６は、触覚フィードバック処理モジュール７０と、音声／ビデオ処理モジュール７２とを含む。仮想道具操作システム１０が、音声特徴を提供するためのオプションの音声フィードバックシステムを備える実施形態の場合、出力処理モジュール４６は音声処理モジュールを含むことができる。この点において、音声処理モジュールは操作者と、道具と、対象物との間の様々な相互作用に基づいてサウンド効果を生成することができる。

操作者と、道具と、対象物との間の相互作用を確定した結果、触覚フィードバック処理モジュール７０は、特定の力、圧力、振動等のフィードバックを操作者に提供することができる。触覚フィードバック処理モジュール７０は、操作者／道具相互作用モジュール６０及び操作者／対象物相互作用モジュール６４から触覚信号を導出するのみでなく、道具と対象物との間の相互作用から生じる場合がある、道具／対象物相互作用モジュール６２からの間接的な触覚信号を導出することができる。触覚フィードバック処理モジュール７０内で処理された触覚信号を、触覚デバイスインタフェース３０（図３）を介して触覚フィードバックシステム１６（図１）に送信することができる。使用されている触覚フィードバックシステム１６のタイプに基づいて、触覚フィードバック処理モジュール７０は触覚信号を変更して、触覚フィードバックシステム１６が適切なフィードバックをユーザに提供することを可能にすることができる。

出力処理モジュール４６は、仮想現実ビデオイメージ信号を生成するビデオ処理モジュール７２も含む。ビデオ処理モジュール７２は、３次元の仮想世界の物体を２次元の表示スクリーンにレンダリングするためのグラフィック処理デバイスを備えることができる。ビデオ処理モジュール７２によって生成されたビデオイメージ信号は、仮想表示インタフェース３２（図３）を介して、視覚フィードバックシステム１８（図１）に送信される。

図８は、一実施例によるリアルタイム仮想ビュー８０のスナップショットを示している。この仮想ビュー８０は、仮想操作者８２、仮想道具８４、及び仮想対象物８６のイメージを含む。特に、仮想操作者８２は、仮想外科医の人間の手である。また、仮想操作者８２は、仮想対象物８６に対し仮想道具８４を課すように仮想道具８４を扱っているのが示されている。この実施例において、仮想対象物８６は、仮想患者の生体構造である。道具と仮想対象物８６との相互作用に起因して、仮想道具８４の仮想患者に対する効果も同様に示され得る。この場合、仮想道具８４は、仮想患者の皮膚を切開するのに使用されるメスである。

本明細書において説明したステップ、プロセス、又は動作は、ソフトウェア又はファームウェア内に実装することができる任意のモジュール又はコードシーケンスを表すことができることを理解されたい。これに関して、これらのモジュール及びコードシーケンスは、物理構成要素内で特定の論理ステップ、プロセス、又は動作を実行するためのコマンド又は命令を含むことができる。当業者であれば理解するように、本明細書において説明したステップ、プロセス、及び／又は動作の１つ又は複数を、ほぼ同時に、又は明示的に説明したのとは異なる順序で実行することができることをさらに理解されたい。

本明細書において説明した実施形態は、単に実施形態の例を表すものであり、本開示をいかなる特定の実施形態にも不必要に限定するように意図されるものではない。そうではなく、当業者であれば理解するように、これらの実施形態に様々な変更を行うことができる。いかなるそのような変更も、本開示の精神及び範囲内に含まれると共に、以下の特許請求の範囲によって保護されるものと意図される。

Claims (22)

1. 仮想道具操作システムであって、
   動き補足システムを含み、物理空間におけるユーザの位置に関連する動き情報を生成する動き追跡システムであって、該動き情報は手の位置及び配向並びに頭の位置及び配向を含む、動き追跡システムと、
   前記物理空間における手の位置及び配向並びに頭の位置及び配向に基づいて、前記ユーザに仮想シーンを表示する視覚フィードバックシステムであって、該仮想シーンは仮想の手、仮想道具、及び仮想対象物を描写する、視覚フィードバックシステムと、
   前記物理空間における手の位置及び配向、前記仮想対象物の特性、並びに前記仮想道具の特性に基づいて、前記ユーザに触感を提供する触覚フィードバックシステムであって、該触感は前記ユーザの前記手を用いた前記仮想道具の操作及び前記仮想道具と前記仮想対象物との相互作用をシミュレートする、触覚フィードバックシステムと、
   を備える、仮想道具操作システム。
2. 前記動き情報を処理して触覚フィードバック信号を生成する処理システムであって、前記触覚フィードバック信号を前記触覚フィードバックシステムに送信する処理システムをさらに備え、前記触覚フィードバック信号は前記触感に関連する、請求項１に記載の仮想道具操作システム。
3. 前記処理システムは、マイクロプロセッサと、メモリと、第１のインタフェースデバイスと、第２のインタフェースデバイスとを備え、前記第１のインタフェースデバイスは前記動き追跡システムと通信し、前記第２のインタフェースデバイスは前記触覚フィードバックシステムと通信する、請求項２に記載の仮想道具操作システム。
4. 前記動き追跡システムは、１つまたは複数の触覚アクチュエータを含むデータグローブをさらに備える、請求項１に記載の仮想道具操作システム。
5. 前記動き追跡システムは訓練中の人間の動きを追跡し、触覚フィードバックシステムは前記訓練中の人間に触覚フィードバックを提供する、請求項１に記載の仮想道具操作システム。
6. 前記訓練中の人間は研修医であり、前記仮想道具は仮想外科的道具であり、該仮想外科的道具の作用を受けている前記仮想対象物は仮想患者である、請求項５に記載の仮想道具操作システム。
7. 処理デバイスであって、
   仮想道具操作プログラムを記憶するメモリデバイスと、
   前記仮想道具操作プログラムを実行するマイクロプロセッサと、
   動き補足システムから、物理空間におけるユーザの動きを表す動き情報を受信する動き追跡インタフェースであって、該動き情報は手の位置及び配向並びに頭の位置及び配向を含む、動き追跡インタフェースと、
   視覚フィードバックシステムのためのビデオ信号を生成する視覚表示インタフェースであって、該ビデオ信号は前記物理空間における手の位置及び配向並びに頭の位置及び配向に基づいて仮想シーンを描写し、該仮想シーンは仮想道具操作者、仮想道具、及び仮想対象物を描写し、該仮想道具操作者は仮想の手である、視覚表示インタフェースと、
   触覚フィードバックデバイスを制御するための触覚フィードバック信号を生成する触覚デバイスインタフェースと、
   を備え、
   前記仮想道具操作プログラムは外科的処置をシミュレートし、前記物理空間における手の位置及び配向、前記仮想対象物の特性、並びに前記仮想道具の特性に基づいて前記ユーザに触感を提供し、前記触感は前記ユーザの前記手での前記仮想道具の操作及び前記仮想道具と前記仮想対象物との相互作用をシミュレートする、処理デバイス。
8. 道具設計者が道具設計を前記メモリデバイスに入力することを可能にする入力／出力（Ｉ／Ｏ）デバイスをさらに備え、前記ユーザが前記触感を受け取った後に、前記仮想道具操作プログラムは、前記仮想道具の仮想的な操作に関連する前記ユーザからのフィードバックに基づいて、前記道具設計者によって前記仮想道具の前記道具設計が変更されることを可能にする、請求項７に記載の処理デバイス。
9. 前記仮想道具操作プログラムはコンピュータ可読媒体上で実施される、請求項７に記載の処理デバイス。
10. 前記仮想道具操作プログラムは、シミュレーションファイルと、相互作用モジュールと、出力処理モジュールとを備え、
    前記シミュレーションファイルは、仮想操作者、前記仮想道具、及び前記仮想対象物をシミュレートし、
    前記相互作用モジュールは、前記仮想操作者と前記仮想道具との間の第１の相互作用、及び前記仮想道具と前記仮想対象物との間の第２の相互作用をシミュレートし、
    前記出力処理モジュールは、前記ユーザの少なくとも１つの感覚を刺激する信号を生成する、請求項９に記載の処理デバイス。
11. 前記出力処理モジュールは触覚フィードバック信号及び仮想現実イメージ信号を生成する、請求項１０に記載の処理デバイス。
12. コンピュータ可読媒体上に記憶される仮想道具操作プログラムであって、
    仮想道具、仮想道具操作者、及び仮想対象物の特性を定義するシミュレーションデータと、
    前記仮想道具と、前記仮想道具操作者と、前記仮想対象物との間の１つ又は複数の相互作用を定義するロジックと、
    動き補足システムから、物理空間におけるユーザの動きを表す動き情報を受け取るロジックであって、該動き情報は手の位置及び配向並びに頭の位置及び配向を含む、動き情報を受け取るロジックと、
    視覚フィードバックシステムのためのビデオ信号を生成するロジックであって、該ビデオ信号は前記物理空間における手の位置及び配向並びに頭の位置及び配向に基づいて仮想シーンを描写し、該仮想シーンは前記仮想道具操作者、前記仮想道具、及び前記仮想対象物を描写し、前記仮想道具操作者は仮想の手である、ビデオ信号を生成するロジックと、
    触覚フィードバックシステムを制御して、前記物理空間における手の位置及び配向、前記仮想対象物の特性、並びに前記仮想道具の特性に基づいて前記ユーザに対して触感を引き起こすための出力情報を生成するロジックと、
    を備え、
    前記触感は前記ユーザの手での前記仮想道具の操作及び前記仮想道具と前記仮想対象物との相互作用をシミュレートする、仮想道具操作プログラム。
13. 前記仮想道具を定義する前記シミュレーションデータは、仮想外科的道具を定義し、
    前記仮想道具操作者を定義する前記シミュレーションデータは、仮想外科医を定義し、
    前記仮想対象物を定義する前記シミュレーションデータは、仮想患者を定義する、請求項１２に記載の仮想道具操作プログラム。
14. 相互作用を定義する前記ロジックは、
    前記仮想道具操作者と前記仮想道具との間の前記相互作用を分析するための操作者／道具相互作用モジュールと、
    前記仮想道具と前記仮想対象物との間の前記相互作用を分析するための道具／対象物相互作用モジュールと、
    を含む、請求項１２に記載の仮想道具操作プログラム。
15. 相互作用を定義する前記ロジックは、前記仮想道具操作者と前記仮想対象物との間の前記相互作用を分析するための操作者／対象物相互作用モジュールをさらに含む、請求項１４に記載の仮想道具操作プログラム。
16. 出力情報を生成する前記ロジックは、前記ユーザに音声出力を提供するための音声信号を生成する音声処理モジュールを含む、請求項１２に記載の仮想道具操作プログラム。
17. 前記仮想道具は専ら仮想領域内にのみ存在する、請求項１２に記載の仮想道具操作プログラム。
18. 相互作用を定義する前記ロジックは、外科的処置をシミュレートするロジックを含む、請求項１２に記載の仮想道具操作プログラム。
19. 前記動き情報は、第１の手の位置及び配向並びに第２の手の位置及び配向を含み、前記仮想シーンは第１の仮想の手及び第２の仮想の手を含み、前記触感は前記第１の手を用いた前記仮想道具の操作をシミュレートするとともに、前記第２の手と前記仮想対象物との相互作用をシミュレートする、請求項１に記載の仮想道具操作システム。
20. 前記動き情報は、第１の手の位置及び配向並びに第２の手の位置及び配向を含み、前記仮想シーンは第１の仮想の手及び第２の仮想の手を含み、前記触感は前記第１の手を用いた前記仮想道具の操作をシミュレートするとともに、前記第２の手と前記仮想対象物との相互作用をシミュレートする、請求項７に記載の処理デバイス。
21. 前記動き情報は、第１の手の位置及び配向並びに第２の手の位置及び配向を含み、前記仮想シーンは第１の仮想の手及び第２の仮想の手を含み、前記触感は前記第１の手を用いた前記仮想道具の操作をシミュレートするとともに、前記第２の手と前記仮想対象物との相互作用をシミュレートする、請求項１２に記載の仮想道具操作プログラム。
22. 前記頭の位置及び配向は前記仮想シーンにおける視界での視角及び視線を定義する、請求項１に記載の仮想道具操作システム。

Images