JP5548285B2 - ３次元ヒューマンコンピュータインタフェース - Google Patents

Description

本発明は、３次元（３Ｄ）ヒューマンコンピュータインタフェース（ＨＣＩ）、および３Ｄ ＨＣＩと相互作用する方法に関する。より詳細には、本発明は、イメージ、および３Ｄディスプレイシステム上に投影することができる他の任意のデータの容易な操作を可能にするように設計された制御機構、センサ、ツール、およびアクチュエータのシステムに関する。センサおよびアクチュエータは、手袋、ヘッドギアなどに組込むことができる身体着用制御機構、あるいは他の身体着用装置、およびオーディオシステムに範囲を拡張する。

手袋などの衣料品内にセンサを搭載したＨＣＩが存在する。ＨＣＩは通常、そのようなシステムのユーザがヘルメット搭載型ディスプレイを着用している場合に用いられる。手袋内のセンサがユーザの手の位置を伝えるために使用され、その結果「仮想」の手をユーザのディスプレイ上に表示することができる。このように、ユーザは、イメージの他の要素に対して自分の手がどのあたりにあるかを知ることができる。

これは、ユーザが自分の手を完全には見られないこと、および自分が行っているどんな微妙な動きも失われる、という欠点を有する。これは、手袋上の数の限定されたセンサの解像度が有限であること、それと共に手の位置をディスプレイ上にプロットするシステム内の誤りおよび遅延が回避できないことにより起こる。

本発明には、これらの問題がない。較正の後では「仮想」の手を表示する必要はない。これにより、手を動かすたびにユーザが見るイメージを更新する際の遅延により起こる従来技術の過剰修正の問題が回避される。本発明のユーザは、どんな手の動きがなされたかを見ることができるので、その動きをやり直す必要を感じることがなく、または表示が更新される際に、その動きを強調し過ぎることがない。

手の位置情報を提供する触覚（ｈａｐｔｉｃ）インタフェース、および従来型のコンピュータモニタなどの２次元イメージ投影システムで使用される触覚フィードバックからなるＨＣＩシステムが存在する。これらのシステムは、現実感を強めるが、自然な設計作業環境を提供する際に、イメージングシステムによって著しく制約される。これに対処するために、２４０８１ バージニア州、ブラックスバーグの、Ｖｉｒｇｉｎｉａ ＴｅｃｈのＶｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔ Ｌａｂによって供給されるＣＡＶＥシステムなどの３Ｄ視覚化システムがあり、これらシステムは、触覚フィードバックとともに真の３Ｄイメージをオペレータに提供する。これは、一部屋からなる完全に侵入できるシステムであり、その壁上には、適したヘッドセットを使用して３Ｄとして見られるイメージが投影される。これらのシステムは、視覚化には有用であるが、設計作業には現在適切でない。したがって、それらのシステムは実際には、より印象的な、またはより記憶に残るプレゼンテーションを提供するために、簡単な報告、デモなどのために使用されるだけである。

本発明によれば、１組のセンサ、アクチュエータおよびコンピュータ生成式制御機構を備えるヒューマンコンピュータインタフェースであって、前記制御機構が、３次元ディスプレイデバイスによって３次元空間に投影され、オペレータの身体の動きによって前記制御機構と相互作用するオペレータによって操作され、これらの動きは前記センサシステムを使用して検出され、表示されたターゲットボリューム（ｔａｒｇｅｔ ｖｏｌｕｍｅ）の特性が、なされた動きにしたがって変化し、身体がコンピュータ生成式制御機構とどのように相互作用するかにしたがって、身体上に着用したアクチュエータが反応することを特徴とするヒューマンコンピュータインタフェースが提供される。

本発明の利点は、コンピュータ支援設計（ＣＡＤ）システムを使用して製品を設計する処理を単純化する効果を有する自然で直感的なインタフェースが提供されることである。本明細書に述べるインタフェースは、イメージを非常に迅速かつ自然に操作することができるツールを提供する。本ＨＣＩは、コンピュータシステムに接続される３Ｄディスプレイシステム上で使用されるので、これは、リモートユーザが、自分自身の３Ｄディスプレイをネットワークシステムによって同じコンピュータシステムに接続することによってアクセスすることもまた可能にする。

本発明は、オペレータが、従来技術のシステムを使用するよりも自然にコンピュータを、したがって表示された設計品を操作し、設計品と相互作用することができる環境をオペレータに提供する。本発明は、設計の目的、または設計のデモのために容易に使用可能な実際的システムであり、非技術スタッフまたは顧客に簡単な報告およびプレゼンテーションを提供するために使用することにも適している。本発明によって表示または操作すべき設計品は、一般に３Ｄイメージからなり、本明細書ではターゲットボリュームとして知られている。

本発明は、ターゲットボリュームの様々なパラメータを調整することを可能にする自然で直感的な方法で操作される１組の制御機構をユーザまたはオペレータに提供する上述の従来技術などの３Ｄディスプレイおよび触覚インタフェースを組込む既存システムに合致させることができる。

ターゲットボリューム１およびいくつかの制御機構２、３、４とともに、２人のオペレータの手７を表示する３Ｄワークステーション６を示す図である。 本ＨＣＩを提供するコンピュータコードの機能を示すブロック図である。

手および腕は、制御機構を調整するために使用される最も一般的な身体部分であるが、センサシステムが身体のその一部の位置を検出することができれば、身体のどの部分を使用することもできることが理解されよう。本明細書内の「手」および「手袋」に対するどの参照も、この文脈で読み取られたい。

本発明は、任意の３次元空間において、中でもターゲットボリュームをリサイズする、回転する、または直線的に移動するために制御機構として作用する１組の相互作用する３Ｄアイコンを提供する。２次元（２Ｄ）形態で投影され、本明細書に関してはメニュー項目として知られているある特別なタイプの制御機構は、３Ｄ制御機構とともに表示することができ、コンピュータシステムの追加機能を制御するために使用することができる。

制御機構は、ターゲットボリュームと並べて投影することができ、制御機構を操作する目的は、ターゲットボリュームの見え方を変えることである。ターゲットボリューム自体は制御機構であってよく、または制御機構をその中に有することができ、ターゲットボリュームを、他の制御機構を参照することなく直接操作することができる。

使用に際して、オペレータは、自分が実行したいと考える動作のための適切な制御機構を選択し、それに向かって手を伸ばす。オペレータは、自分の手の位置を見ることができ、したがって選択された制御機構が自分の手の位置を基準にしてどこにあるかがわかる。コンピュータシステムは、それに付けられたセンサによってオペレータの手の位置を知ることができ、したがって投影されている制御機構を基準にして手がどこにあるかも同様にわかる。手が制御機構に「接触」したことをシステムが検出すると、システムは、この「接触」に応答して移動する手袋上のアクチュエータにフィードバック信号を送り返す。これは、触覚フィードバックとして知られている。一般に２つのタイプの触覚フィードバックがある。第１は、「フォースフィードバック」として知られ、手に作用して様々な程度の力でその動きを堅くし、異なるタイプの素材との接触をシミュレーションする。軽い剛性感は、ユーザがスポンジのようなものをつかんでいるように感じる傾向があり、または、剛性感は指がどれだけ移動したかにしたがって変化することができ、それはゴムの感触をシミュレーションする。もちろん、これに関して、「接触」は２つの物理的オブジェクトに実際に触れることを意味しないが、代わりに、手／手袋の組み合わせまたは他の身体部分が、投影システムによって投影されている制御機構の３Ｄイメージと触れるように見えることを指す。

制御機構と接触するとき、オペレータによって制御機構の何らかの操作が意図されていることをコンピュータシステムが理解する。オペレータの手が制御機構と接触している間、または制御機構が手の動きをその制御機構への被着と解釈する間の、オペレータの手のさらなる動きは、制御機構で調整することができる１つまたは複数のパラメータを変更する試みと解釈される。手によってなされたそのような動きは、互いを基準にした指の動き、手のひらを基準にした指の動き、手の回転などであるが、それらには限定されない。いくつかの制御機構は、特定のパラメータを修正するために２つの手が必要であることを要することがある。制御機構自体の外観は、その制御機構によって調整されるパラメータの値にしたがって変化することができる。例えば、ターゲットボリュームのサイズを調整する制御機構は、それ自体パラメータが現在設定されている値にしたがってより小さくまたはより大きくなることができる。または、イメージ内にイメージが見えるように制御機構を描くことができ、その結果小さい方のイメージが大きい方のイメージ内に包まれるように見える。パラメータが調整されるにつれて、２つのイメージの相対サイズまたは位置がそれに応じて変化する。他の実施例として、制御機構をシリンダとして描くことができ、そのシリンダの表面上には様々なパラメータオプションが描かれる。使用に際しては、希望するパラメータオプションが便利に選択されるまでは、シリンダを手または他の身体部分を使用して回転させることができる。

より従来型のＣＡＤソフトウエアで提供される通常のイメージ操作ツールは、本システムの下で機能するように有利に構成することができる。手に加えられるフィードバックのタイプは、接触された制御機構のタイプにしたがって変化する。いくつかの制御機構は、それらとの接触がなされたときに指の位置をロックする信号が手袋に送られるように反応する。これは、堅いオブジェクトに触れた印象をオペレータに与える。他の制御機構は、上述のスポンジのような感じを与えるために、より小さいフィードバック力で反応する。本明細書に関しては、これは、把持として知られている。他の制御機構は異なって動作する。オペレータは、この種の制御機構に自分の手を差し入れ、その制御機構内にある間に自分の手の動きによってパラメータに影響を与えることができる。これらはジェスチャ制御機構として知られている。特定のメニュー項目は、２次元で表示することができる。オペレータが、これらのメニュー項目の１つと指を接触するようにする場合、手袋は柔らかい圧力を指上に加えて接触の感じをシミュレーションする。３つの異なる触覚フィードバック機構をここに述べたが、それらは、互いに排他的ではない、すなわち使用されている制御機構のタイプに適切であれば、複数を同時に使用することができる。

ＨＣＩを使用することができる前に、そのＨＣＩは較正されるべきである。この処理は、空間内のオペレータの身体の位置を、コンピュータシステムによって見られる位置と同期するように使用される。オペレータとコンピュータシステムによって経験される、位置、または把持、ジェスチャなどのアクションにおけるどの相違もコンピュータシステムによって説明されるので、オペレータは誤りに気がつかない。

本明細書に述べるＨＣＩは、３Ｄディスプレイを有するコンピュータシステム上で使用することができる。もちろんコンピュータシステムは、ディスプレイと直接接近している必要はなく、相互接続コンピュータのネットワークを越えて接続することができる。既存ソフトウエアおよびハードウェアツールを使用してこのＨＣＩを実施することができる。

そのようなＨＣＩの一実施例を、付随する図面を参照しながら次に述べる。

使用される３Ｄワークステーションは、米国、９４０４３ カリフォルニア州、マウンテンビュー、ボラリスアベニュー２４１のＦａｋｅｓｐａｃｅ Ｌａｂｓ，Ｉｎｃ．によって製造され、その上に３Ｄイメージが提示されるデスクを提供する。触覚フィードバック手袋は、カリフォルニア州パルアルト、パークブールバード２１７５のＶｉｒｔｕａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｉｎｃ．によって製造される。空間内の手袋およびヘッドの位置を検出するためのセンサシステムは、０５４４６ バーモント州、コルチェスタ私書箱５６０、ハーキュリーズドライブ１のＰｏｌｈｅｍｕｓ Ｉｎｃ．によって提供される。

ＨＣＩを操作する者は、センサおよび／またはアクチュエータのアレイが取付けられた触覚フィードバック手袋９を着用する。現在用いられるシステムは、接触アクチュエータを組込む手袋とは別の力フィードバック機構を組込む手袋を有するが、これらは同じ手袋内に組込むこともできる。これらの手袋は手７の位置に関する情報をコンピュータシステムに提供し、オブジェクトに触れるか、つかむかするときに感じられるものをシミュレーションするフィードバックを提供するための力もまた指上に示す。

システムを正確に使用することができる前に、センサシステムは最初に較正されなければならない。較正は、オペレータの手がどこにあるかをコンピュータが検出するのに一致する位置に、コンピュータに「仮想」の手を表示させることによってなされる。次いでオペレータは、仮想の手にきちんと揃うように、必要であれば自分自身の手を動かし、次いでこの効果に対する指示をコンピュータに提供する。

本システムは、ジェスチャおよび把持のアクションが同様に較正されることもまた必要とする。これは、それぞれの手に対して交互に、それぞれの指の端に対して自分の親指を触れることでなされる。次いで、仮想の手の表示はオフにされる。次いでコンピュータは、元の位置内の任意の誤りを計算し、その後の計算を実行するときは、この誤りを減算する。

ターゲットボリューム１は、３つのループ２ａ、２ｂ、２ｃを含むロールケージ（ｒｏｌｌｃａｇｅ）２によって囲まれている。それぞれのループ２ｘは、ロールケージの他のループに対して直交する。ロールケージ２は、制御機構として動作し、ロールケージ２の中心の周りにターゲットボリューム１を回転させるために使用することができる。これは、オペレータがロールケージ２のループ２ｘの１つを自分の手でつかみ、必要な動きにしたがってループを操作することによって達成することができる。例えば、ターゲットボリュームを垂直軸に関して回転させるためには、オペレータは、主垂直次元を有するループ２ａ、２ｃの１つをつかみ、ターゲットボリュームが希望する見え方を示すまで、そのループを横に回転させる。または、オペレータは水平ループ２ｂをつかみ、これを回転させることができる。ロールケージ２の設計は、任意のループ２ｘによって任意の回転軸で回転させることもまたできるようなものである。ここで「回転する」とは、物理的リングを回転させるジェスチャを真似するジェスチャがなされることを意味すると解釈するべきである。

図１は、図の下部にいくつかの制御機構もまた示す。これらの制御機構のいくつかもまた、ターゲットボリューム１を回転させるために使用することができる。制御機構３ｘもまた、完全なサイズのロールケージ２と同様の方法でターゲットイメージを回転するために使用することができ、そのうち３ａは縮小形のロールケージを示し、３ｂ、３ｃおよび３ｄはロールケージ３ａのそれぞれの個々のループを示す。ループ３ｂ、３ｃおよび３ｄは、オペレータによってつかみ、回転することができ、それはその特定のループの軸に関してターゲットボリュームを回転させる効果を有する。オペレータの手７が制御機構３に充分近くなると、手袋９内のアクチュエータが指の動きに抵抗するように作用して固形のオブジェクトに触れることをシミュレーションする。

同様に図１には、ターゲットボリューム１をリサイズするために使用される４つの制御機構４ｘが示されている。これらはジェスチャアイコンである。これらのそれぞれは、４ｂ、４ｃ、４ｄの３つの場合では、１次元（全てが互いに直交）の影の延長部分を有する中央の立方体として、最後の４ａの場合では、小さい立方体を囲むより大きな影の立方体として描かれている。リサイズをもたらすためには、オペレータは、自分の手７を選択した制御機構と接触して置き、自分の指を、こぶしを作るように動かすか、または自分の指を開くかし、それがターゲットボリューム１をそれぞれより小さくまたはより大きくする効果を有する単一次元の影を有する制御機構を選択することは、ターゲットボリューム１をその次元でのみリサイズするが、３次元の影を有する制御機構４ａを選択することは、すべての次元で同時にリサイズする。

図１は、２Ｄフォーマットで表示される他のいくつかのメニュー項目８を示す。オペレータの指がこれらのメニュー項目の１つと接触するようになると、手袋９は指上に柔らかい圧力を加えて、接触の感じをシミュレーションする。２Ｄメニュー項目の１つのそのような実施例は、キーパッド５である。これは、このように制御することができる任意のパラメータのための数値データを入力するために使用される。

すべての制御機構２、３、４、５、８およびターゲットボリューム１は、それらをつかんで希望する位置に引き寄せることによって、ディスプレイシステム６の制限内で、オペレータが希望するように再位置指定することができる。

図２は、ターゲットボリュームおよび制御機構の振る舞い、ならびに３Ｄディスプレイによって投影されたメニュー項目の両方を制御するコンピュータプログラムの動作の単純化された略図を示す。ＨＣＩコンピュータコードが活動化されると、次のステップが実行される。

ａ．手袋および着用することができる任意のヘットギアなどの身体着用ハードウエアを初期化する。センサシステムを初期化する。ターゲットボリュームとして使用されるコンピュータモデルを予備処理して、３Ｄディスプレイシステム上の表示の準備をする。これは、手袋内の触覚センサでどのように反応するかについての情報をそのコンピュータモデルに提供するために必要である。

ｂ．３Ｄディスプレイユニットを初期化し、上述の較正目的のために仮想の手のイメージを作成する。較正を実行する。

ｃ．３Ｄターゲットボリュームおよび１組の制御機構およびメニュー項目を表示する。衝突検出をイネーブルにする、すなわち手袋が制御機構またはメニュー項目と接触したことを感知した場合、手袋に対する触覚フィードバックを活動化し、どの制御機構またはメニュー項目が接触されたかにしたがって適切なアクションを取る。衝突が発生すること、またはプログラムが終了するのを待つ。

ｄ．衝突が検出された場合、次の適切なアクションを取る。

ｅ．手と制御機構の衝突の場合、手がその制御機構と接触し続ける限り、手によって行われた動きを感知し続ける。行われた動きにしたがって制御機構によって制御されるパラメータを調整し、パラメータの新しい値にしたがってターゲットボリュームのディスプレイおよび制御機構アイコンを更新する。適切な触覚フィードバック信号を手袋に印加する。手が制御機構ともはや接触していないことが検出されるまでこの処理を続ける。

ｆ．手とメニュー項目の衝突の場合、そのメニュー項目によって管理されるアクションを取り、必要なターゲット値表示およびメニュー項目アイコンを調整する。適切な触覚フィードバック信号を手袋に印加する。

ｇ．他の衝突が発生すること、またはプログラムが終了するのを待つ。さらに他の衝突が検出される場合、上記ステップｄに戻る。

Claims (20)

1. コンピュータ生成の制御機構を表示し、３次元のターゲットボリューム内にターゲットイメージを表示する３次元ディスプレイデバイスと、
   オペレータに着用されるアクチュエータと、
   前記アクチュエータの動きを検出する１つ以上のセンサとを備え、
   前記コンピュータ生成の制御機構は、
   前記ターゲットイメージを囲い相互に直交する複数のループを備え、
   前記ターゲットボリューム内の前記アクチュエータの動きに対応して操作され、
   前記複数のループの操作は、前記ターゲットイメージの見え方を変更する
   ことを特徴とするシステム。
2. 請求項１に記載のシステムにおいて、前記アクチュエータがオペレータの手に着用されていることを特徴とするシステム。
3. 請求項１に記載のシステムにおいて、前記コンピュータ生成の制御機構が、当該コンピュータ生成の制御機構に前記アクチュエータを差し入れ、当該アクチュエータを動かすことによって操作されることを特徴とするシステム。
4. 請求項１に記載のシステムにおいて、前記アクチュエータの動きが、当該アクチュエータが前記コンピュータ生成の制御機構に接触した際に、触覚フィードバック反応を生成することを特徴とするシステム。
5. 請求項４に記載のシステムにおいて、前記触覚フィードバック反応が、前記アクチュエータのさらなる動きに対する抵抗を提供することによって、前記アクチュエータと前記コンピュータ生成の制御機構との接触をシミュレーションすることを特徴とするシステム。
6. 請求項１に記載のシステムにおいて、前記コンピュータ生成の制御機構の見え方が、前記ターゲットイメージの見え方が変化すると同時に変化することを特徴とするシステム。
7. ターゲットボリューム内に３次元イメージを表示するステップと、
   相互に直交する複数のループを備えるコンピュータ生成の制御機構を表示するステップと、
   前記ターゲットボリューム内に位置するアクチュエータの動きを検出するステップと、ここにおいて、前記コンピュータ生成の制御機構は当該アクチュエータの動きに応答し、
   前記コンピュータ生成の制御機構の応答にしたがって、前記３次元イメージの1つ以上の特性を変化させるステップと
   を含むことを特徴とする方法。
8. 請求項７に記載の方法において、さらに、前記コンピュータ生成の制御機構に対する前記アクチュエータの動きを検出するステップを含み、前記アクチュエータの動きに応答した前記複数のループの操作が、前記３次元イメージの１つ以上の特性を変化させることを特徴とする方法。
9. 請求項７に記載の方法において、前記アクチュエータがオペレータの手に着用されていることを特徴とする方法。
10. 請求項９に記載の方法において、前記アクチュエータが、前記オペレータの手がこぶしを作っているか指を開いているかを検出することを特徴とする方法。
11. 請求項７に記載の方法において、前記複数のループが前記３次元イメージを囲うことを特徴とする方法。
12. 請求項８に記載の方法において、前記複数のループの操作が前記３次元イメージの大きさを変化させることを特徴とする方法。
13. 請求項８に記載の方法において、前記複数のループの操作が前記３次元イメージの方向を変化させることを特徴とする方法。
14. 請求項７に記載の方法において、前記コンピュータ生成の制御機構における第１のイメージが第２のイメージに包まれるように見え、当該第１のイメージと当該第２のイメージとの相対的な大きさは、前記アクチュエータの動きに応答して変化することを特徴とする方法。
15. ターゲットボリューム内に３次元イメージを表示する手段と、
    前記３次元イメージを囲い相互に直交する３つのループを備えるコンピュータ生成の制御機構を表示する手段と、
    前記ターゲットボリューム内に位置するアクチュエータの動きを検出する手段と、ここにおいて、前記コンピュータ生成の制御機構は前記アクチュエータの動きに応答し、
    前記コンピュータ生成の制御機構の応答にしたがって、前記３次元イメージの１つ以上の次元を変化させる手段と
    を備えるヒューマンコンピュータインタフェース。
16. 請求項１５に記載のヒューマンコンピュータインタフェースにおいて、前記３つのループの各ループが、前記３次元イメージの１つの次元を変化させるように動作することを特徴とするヒューマンコンピュータインタフェース。
17. 請求項１５に記載のヒューマンコンピュータインタフェースにおいて、前記アクチュエータがオペレータの手に着用されていることを特徴とするヒューマンコンピュータインタフェース。
18. 請求項１７に記載のヒューマンコンピュータインタフェースにおいて、前記アクチュエータの動きが、前記ターゲットボリューム内における前記オペレータの手の同時の動きに対応することを特徴とするヒューマンコンピュータインタフェース。
19. 請求項７に記載の方法において、前記コンピュータ生成の制御機構が３つのループを備えることを特徴とする方法。
20. 請求項１に記載のシステムにおいて、前記複数のループが３つのループを備えることを特徴とするシステム。

Images