JP3619096B2 - 仮想空間操作方法、仮想空間システム、仮想空間操作入力装置及び仮想空間操作入力プログラムを記録した記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、三次元等の仮想空間システムにおいて、コンピュータで作成された三次元仮想空間等に対する操作技術に係り、詳しくは、足に装着することにより足のつま先、及び足首の曲げられた量を数値化し、その数値をコンピュータに入力することにより仮想空間を操作する方法及び装置に関する。
【０００２】
【従来の技術】
従来のコンピュータへの入力装置は、キーボード、マウスに加えてジョイスティック、タッチパネル、タブレットなどが一般的である。またデータグローブのように自由度の高い入力装置もいくつか提案されている。キーボード、マウスなどは、その機器に利用者が体の位置を合わせるものである。またデータグローブなど、その多くは手を利用するものであった。
【０００３】
一方、大画面ディスプレイを利用した没入型三次元仮想空間システムなどにおいては、手は細かい作業などに利用することに適しており、たとえば仮想空間の移動などは、足を利用したほうが適している。従来の足によるコンピュータへの入力装置としては、利用する位置が固定される大掛かりなものや（例えば、特開平７−１４１１００号公報）、マウスポインタの移動やクリックといった、従来のマウスと同じ機能を足で行うもの（例えば、特開平９−１９８１８８号公報）が、知られている程度である。
【０００４】
【発明が解決しようとする課題】
上述した従来の技術では、デスクトップ型のコンピュータへ机に向かって作業をする場合には適しているが、大画面ディスプレイや多面ディスプレイを利用した没入型三次元仮想空間システムなどでは利用者の動きの自由度が高いために入力装置として不適切である。また、自由度の高いデータグローブを利用する際でも、仮想空間の移動など通常足で行う作業を手で行うといった不自然さが生じてくる。
【０００５】
本発明の目的は、上記問題を解決し、利用者の利用位置や、姿勢が自由で、さまざまな情報を足によって入力できるインタフェースを提供することにある。
【０００６】
【課題を解決するための手段】
本発明は、図１に基本的機能ブロック図を示すように、コンピュータグラフィックスによって作成された三次元仮想空間等を操作するシステムにおいて、足の形状を測定するための曲げを検出するセンサを利用した足形状測定手段１０１、該足形状測定手段１０１で得られる足形状データから仮想空間操作の指示に変換する足形状データ変換手段１０２、該足形状データ変換手段１０２で変換された仮想空間操作の指示を用いて操作後の視野に基づく仮想空間を作成する仮想空間作成手段１０３、該仮想空間作成手段１０３で作成された仮想空間を表示する仮想空間表示手段１０４を具備することを主要な特徴とする。ここで、足形状測定手段１０１と足形状データ変換手段１０２を一緒にして仮想空間操作入力装置１００と称す。
【０００７】
【発明の実施の形態】
以下、本発明の一実施の形態について図面を参照して詳述する。なお、以下では三次元仮想空間システムを例に説明するが、本発明は基本的に二次元仮想空間システム等でもよいことは云うまでもない。
【０００８】
図２は本発明の一実施の形態の三次元仮想空間システムの全体的ブロック図を示す。本三次元仮想空間システムはキーボード２０１、マウス２０２、足形状測定装置２１０、足形状データ変換装置２２０、三次元仮想空間作成装置２３０及び三次元仮想空間表示装置２４０から構成される。足形状測定装置２１０はベンドセンサ２１２、ベンドセンサコントローラ２１４などからなり、ベンドセンサ２１２で利用者の左右の足の関節の曲げを測定し、ベンドセンサコントロール２１４を通して、足形状データの初期値および操作時の足形状データを足形状データ変換装置２２０へ送る。足形状データ変換装置２２０はＣＰＵ２２２、メモリ２２４、ハードディスク２２６などからなり、ＣＰＵ２２２がハードディスク２２６に格納されている三次元仮想空間動作種類データを参照し、メモリ２２４を作業用メモリとして、足形状測定装置２１０から送られた足形状データを三次元仮想空間操作の指示データに変換して三次元仮想空間作成装置２３０に送る。また、該足形状データ変換装置２２０は、利用者がキーボード２０１やマウス２０２を操作入力装置に使用する場合は、それらの操作入力を三次元仮想空間作成装置２３０に送る。三次元仮想空間作成装置２３０は同じくＣＰＵ２３２、メモリ２３４、ハードディスク２３６などからなり、足形状データ変換装置２２０からの三次元仮想空間操作の指示データを入力として、ＣＰＵ２３２がメモリ２３４を作業メモリに用いて、ハードディスク２３６に格納されている三次元仮想空間データについて、操作後の視野に基づく三次元仮想空間を再構築して三次元仮想空間表示装置２４０に送る。三次元仮想空間表示装置２４０は、三次元仮想空間作成装置２３０で再構築された仮想空間を表示する。
【０００９】
三次元仮想空間表示装置２４０は、例えば没入型ディスプレィである。この種のディスプレイは、利用者の前方、左右、上下などを取り囲むように配置されたスクリーン２４６に、プロジェクタ２４２から投影された映像を反射鏡２４４に反射させて、コンピュータグラフィックで作成した仮想空間を表示することで、利用者は、仮想空間内を移動したり、仮想空間上に仮想的に作成された物体を操作することが可能である。図２のシステムでは、利用者はベンドセンサ２１２を装着し、足を動かすことにより、仮想空間の移動や仮想空間状に有る物体の操作を行うことが可能である。
【００１０】
なお、図２において、三次元仮想空間作成装置２３０が三次元仮想空間動作種類データを格納して、足形状データ変換装置２２０の処理機能を受け持つことでもよい。また、足形状測定装置２１０のベンドセンサコントローラ２１４が足形状データ変換装置２２０の機能を兼ねてもよい。また、キーボード２０１やマウス２０２は、直接、三次元仮想空間作成装置２３０に接続することでもよい。
【００１１】
図３は、足形状測定装置２１０の具体的構成図である。図３において、２１１は利用者の足および、センサを、つま先と足の甲の間の関節、および足首と足の甲との間の関節、くるぶし部分の関節部に密着させることが出来るように、袋状のセンサ挿入ポケットをつけたソックスである。２１２は、関節の曲げ角を測定するセンサ（ベンドセンサ）である。２１３は接続コネクタである。２１４はセンサ２１２で測定された曲げ角をデジタル化し、足形状データとして足形状データ変換装置２２０へ送出するセンサコントローラである。
【００１２】
本足形状測定装置２１０は、足首を縦にどれだけ曲げているか、横にどれだけ曲げているか、そしてつま先をどれだけ曲げているかを、左右両方の足に対して計測し、その結果より複数の信号を足形状データ変換装置２２０のＣＰＵ２２２に対して送ることができる。両足のそれぞれの関節がどれぐらい曲げられているかの組み合わせとコンピュータへの命令を対応させることにより、さまざまな命令を送信可能である。
【００１３】
本発明による足形状測定装置は、足の関節の曲げ角を利用するものであり、立つ、座る、動くなどが自由でなおかつ手を他の作業に充てることができる。
【００１４】
図４は、足形状測定装置２１０の利用者の利用時（操作時）の姿勢の例を示している。４０１、４０２、４０３、４０４は、没入型ディスプレイ装置内で本装置を利用して三次元仮想空間内を移動したり、仮想空間上に仮想的に作成された物体を操作するシステム利用者をあらわしている。また、４０５、４０６、４０７、４０８は、それぞれの利用者の姿勢ごとの足の形をあらわしている。
【００１５】
図５は、図４で示した利用者の足の形の一例を示しており、５０２は足首の関節の曲げ角θ、５０３はつま先の関節の曲げ角φを示している。
【００１６】
図４において、４０１のシステム利用者は膝を曲げ、腰を低い位置に保っている。この時、足の形４０５は、図５の５０２の値が直立の姿勢に比べて両足とも小さくなる。５０３は直立の姿勢と同じ値となる。４０２のシステム利用者は、爪先立ちをしている。この時、４０６における５０２の値は直立の姿勢に比べて両足とも大きくなり、また５０３は直立の姿勢に比べて両足とも小さい値となる。４０３のシステム利用者は、脚を前後に広げ、両足のかかとを地面につけた状態である。この時、４０７における５０２の値は直立の姿勢に比べて、片足は小さい値となり、もう片足は同じ値を取る。また５０３は直立の姿勢と同じ値となる。４０４のシステム利用者は、脚を前後に広げ、後ろ足のかかとを地面から離れた状態である。この時、４０７における５０２の値は、直立の姿勢に比べて同じ値を取るが、５０３は片足は小さい値を取り、もう片足は同じ値を取る。このように利用者のさまざまな姿勢によって変化する両足それぞれの５０２、５０３の値の変化を、仮想空間の移動に対応する。
【００１７】
図６に、本実施例の全体的処理の流れを示す。ここで、ステップ６１０、６２０、６３０、６４０は、それぞれ図２の足形状測定装置２１０、足形状データ変換装置２２０、三次元仮想空間作成装置２３０、三次元仮想空間表示装置２４０の処理に対応する。
【００１８】
ステップ６００は初期設定であり、直立の姿勢での利用者の両足の５０２、５０３の値を計測し、それぞれを左足についてはθｌｉ、φｌｉ、右足についてはθｒｉ、φｒｉと設定する。以下、利用者の操作時、ステップ６１０〜６４０の処理が繰り返される。
【００１９】
ステップ６１０は利用者の左右の足の関節の曲げ角を測定する処理である。これは、ステップ６１２の左足の形状を測定する処理と、ステップ６１４の右足の形状を測定する処理からなり、これらの処理は同時に行われる。ステップ６１２によって得られたθｌ、φｌと、ステップ６１４で得られたθｒ、φｒは、次のステップ６２０に送られる。
【００２０】
ステップ６２０は、動作種類判断処理（ステップ６２２）と動作量判断処理（ステップ６２４）からなる。ステップ６２２では、あらかじめ足の形状と仮想空間移動の動作との対応が表として蓄積してある三次元仮想空間動作種類データにより、θｌｉ、φｌｉ、θｒｉ、φｒｉ、θｌ、φｌ、θｒ、φｒから仮想空間の操作指示を決定する。
【００２１】
例えば
(１)４０１の姿勢のとき、
θｌｉ＞θｌ，θｒｉ＞θｒ，φｌｉ＝φｌ，φｒｉ＝φｒ
(２)４０２の姿勢のとき、
θｌｉ＜θｌ，θｒｉ＜θｒ，φｌｉ＞φｌ，φｒｉ＞φｒ
(３)４０３の姿勢のとき、
θｌｉ＞θｌ，θｒｉ＝θｒ，φｌｉ＝φｌ，φｒｉ＝φｒ
または、
θｌｉ＝θｌ，θｒｉ＞θｒ，φｌｉ＝φｌ，φｒｉ＝φｒ
(４)４０４の姿勢のとき、
θｌｉ＝θｌ，θｒｉ＝θｒ，φｌｉ＞φｌ，φｒｉ＝φｒ
または、
θｌｉ＝θｌ，θｒｉ＝θｒ，φｌｉ＝φｌ，φｒｉ＞φｒ
が成り立つ。
【００２２】
そこで、それらの姿勢情報を仮想空間への操作指示に変換する。例えば、
(ａ) ４０１の姿勢（４０５の足の状態）のとき、仮想空間を「下降移動」
(ｂ) ４０２の姿勢（４０６の足の状態）のとき、仮想空間を「上昇移動」
(ｃ) ４０３の姿勢（４０７の足の状態）のとき、仮想空間を「前進移動」
(ｄ) ４０４の姿勢（４０８の足の状態）のとき、仮想空間を「左右回転動」
というデータに変換する。
【００２３】
ステップ６２４では、上記ステップ６２２で決定された仮想空間操作指示データと、θｌ、φｌ、θｒ、φｒの値から、ステップ６２２で指示された操作がどの程度の量（例えば、仮想空間内の移動の速さ）かを決定する。
【００２４】
ステップ６２０で処理された結果の仮想空間操作指示データは、ステップ６３０に送られる。ステップ６３０では、ステップ６２０からの操作指示データ、および、あらかじめ保持された三次元コンピュータグラフィックスのモデルデータを基に、三次元仮想空間を再構築する。この再構築された三次元仮想空間がステップ６４０にて表示され、利用者の視覚で認識される。
【００２５】
ここで、図６に示したような処理手順は、仮想空間操作プログラムとしてコンピュータで実行可能な言語で記述し、コンピュータで読み取り可能な記録媒体、例えばフロッピーディスク、ＣＤ−ＲＯＭ、メモリカード等に記録して提供することが可能である。
【００２６】
【発明の効果】
以上のように、本発明によれば、仮想空間の操作に手を利用する必要がなく、また装置に対して利用者の姿勢や位置が限定されないという効果があり、立つ、座る、動くなどが自由で、なおかつ手を他の作業に充てることが可能になる。
【図面の簡単な説明】
【図１】本発明の基本的機能ブロック図である。
【図２】本発明の一実施の形態の三次元仮想空間システムの全体的ブロック図である。
【図３】足形状測定装置の具体的構成例を示す図である。
【図４】利用者のシステム利用時の姿勢の一例を示す図である。
【図５】利用者の足の形の一例を示す図である。
【図６】本発明実施例の処理の流れを示す図である。
【符号の説明】
１００ 仮想空間操作入力装置
１０１ 足形状測定手段
１０２ 足形状データ変換手段
１０３ 仮想空間作成手段
１０４ 仮想空間表示手段

Claims (8)

1. コンピュータを利用して仮想空間を操作する方法であって、
   利用者の左右の足の関節の曲げを検出するセンサを利用して、足形状データの初期値として、利用者の初期の姿勢での左右の足首の関節の曲げ角と左右のつま先の関節の曲げ角とを測定する初期値測定過程と、
   前記センサを利用して、足形状データとして、操作時の利用者の左右の足首の関節の曲げ角と左右のつま先の関節の曲げ角とを測定する足形状測定過程と、
   前記初期値測定過程で得られる足形状データの初期値と前記足形状測定過程で得られる足形状データから、足形状データの初期値および操作時の足形状データと仮想空間移動の動作との対応があらかじめ表として蓄積してある三次元仮想空間動作種類データに基づき、仮想空間操作の指示に変換する足形状データ変換過程と、
   前記足形状データ変換過程で変換された仮想空間操作の指示を用いて仮想空間を作成する仮想空間作成過程と、
   前記仮想空間作成過程で作成された仮想空間を表示する仮想空間表示過程と、
   を有することを特徴とする仮想空間作成方法。
2. 前記足形状データの初期値として、利用者の初期の姿勢での左および右の足首の関節の曲げ角をそれぞれθｌｉおよびθｒｉ、また、左および右のつま先の関節の曲げ角をそれぞれφｌｉおよびφｒｉとし、
   前記足形状データとして、操作時の利用者の左および右の足首の関節の曲げ角をそれぞれθｌおよびθｒ、また、左および右のつま先の関節の曲げ角をそれぞれφｌおよびφｒとしたとき、
   前記足形状データ変換過程では、
   θｌｉ＞θｌ，θｒｉ＞θｒ，φｌｉ＝φｌ，φｒｉ＝φｒのとき、
   前記足形状データを、仮想空間を下降移動するというデータに変換し、
   θｌｉ＜θｌ，θｒｉ＜θｒ，φｌｉ＞φｌ，φｒｉ＞φｒのとき、
   前記足形状データを、仮想空間を上昇移動するというデータに変換し、
   θｌｉ＞θｌ，θｒｉ＝θｒ，φｌｉ＝φｌ，φｒｉ＝φｒまたは、
   θｌｉ＝θｌ，θｒｉ＞θｒ，φｌｉ＝φｌ，φｒｉ＝φｒのとき、
   前記足形状データを、仮想空間を前進移動するというデータに変換し、
   θｌｉ＝θｌ，θｒｉ＝θｒ，φｌｉ＞φｌ，φｒｉ＝φｒまたは、
   θｌｉ＝θｌ，θｒｉ＝θｒ，φｌｉ＝φｌ，φｒｉ＞φｒのとき、
   前記足形状データを、仮想空間を左右回転動するというデータに変換する、
   ことを特徴とする請求項１記載の仮想空間作成方法。
3. コンピュータを利用して仮想空間を操作する仮想空間システムにおいて、
   利用者の左右の足の関節の曲げを検出するセンサを利用して、足形状データの初期値として、利用者の初期の姿勢での左右の足首の関節の曲げ角と左右のつま先の関節の曲げ角とを測定するとともに、足形状データとして、操作時の利用者の左右の足首の関節の曲げ角と左右のつま先の関節の曲げ角とを測定する足形状測定手段と、
   前記足形状測定手段で得られる前記足形状データの初期値と前記足形状データから、足形状データの初期値および操作時の足形状データと仮想空間移動の動作との対応があらかじめ表として蓄積してある三次元仮想空間動作種類データに基づき、仮想空間操作の指示に変換する足形状データ変換手段と、
   前記足形状データ変換手段で変換された仮想空間操作の指示を用いて仮想空間を作成する仮想空間作成手段と、
   前記仮想空間作成手段で作成された仮想空間を表示する仮想空間表示手段と、
   を有することを特徴とする仮想空間システム。
4. 前記足形状データの初期値として、利用者の初期の姿勢での左および右の足首の関節の曲げ角をそれぞれθｌｉおよびθｒｉ、また、左および右のつま先の関節の曲げ角をそれぞれφｌｉおよびφｒｉとし、
   前記足形状データとして、操作時の利用者の左および右の足首の関節の曲げ角をそれぞれθｌおよびθｒ、また、左および右のつま先の関節の曲げ角をそれぞれφｌおよびφｒとしたとき、
   前記足形状データ変換手段は、
   θｌｉ＞θｌ，θｒｉ＞θｒ，φｌｉ＝φｌ，φｒｉ＝φｒのとき、
   前記足形状データを、仮想空間を下降移動するというデータに変換し、
   θｌｉ＜θｌ，θｒｉ＜θｒ，φｌｉ＞φｌ，φｒｉ＞φｒのとき、
   前記足形状データを、仮想空間を上昇移動するというデータに変換し、
   θｌｉ＞θｌ，θｒｉ＝θｒ，φｌｉ＝φｌ，φｒｉ＝φｒまたは、
   θｌｉ＝θｌ，θｒｉ＞θｒ，φｌｉ＝φｌ，φｒｉ＝φｒのとき、
   前記足形状データを、仮想空間を前進移動するというデータに変換し、
   θｌｉ＝θｌ，θｒｉ＝θｒ，φｌｉ＞φｌ，φｒｉ＝φｒまたは、
   θｌｉ＝θｌ，θｒｉ＝θｒ，φｌｉ＝φｌ，φｒｉ＞φｒのとき、
   前記足形状データを、仮想空間を左右回転動するというデータに変換する、
   ことを特徴とする請求項３記載の仮想空間システム。
5. コンピュータを利用して仮想空間を操作する仮想空間システムのための仮想空間操作入力装置であって、
   利用者の左右の足の関節の曲げを検出するセンサを利用して、足形状データの初期値として、利用者の初期の姿勢での左右の足首の関節の曲げ角と左右のつま先の関節の曲げ角とを測定するとともに、足形状データとして、操作時の利用者の左右の足首の関節の曲げ角と左右のつま先の関節の曲げ角とを測定する足形状測定手段と
   前記足形状測定手段で得られる前記足形状データの初期値と前記足形状データから、足形状データの初期値および操作時の足形状データと仮想空間移動の動作との対応があらかじめ表として蓄積してある三次元仮想空間動作種類データに基づき、仮想空間操作の指示に変換する足形状データ変換手段と、
   を有することを特徴とする仮想空間操作入力装置。
6. 前記足形状データの初期値として、利用者の初期の姿勢での左および右の足首の関節の曲げ角をそれぞれθｌｉおよびθｒｉ、また、左および右のつま先の関節の曲げ角をそれぞれφｌｉおよびφｒｉとし、
   前記足形状データとして、操作時の利用者の左および右の足首の関節の曲げ角をそれぞれθｌおよびθｒ、また、左および右のつま先の関節の曲げ角をそれぞれφｌおよびφｒとしたとき、
   前記足形状データ変換手段は、
   θｌｉ＞θｌ，θｒｉ＞θｒ，φｌｉ＝φｌ，φｒｉ＝φｒのとき、
   前記足形状データを、仮想空間を下降移動するというデータに変換し、
   θｌｉ＜θｌ，θｒｉ＜θｒ，φｌｉ＞φｌ，φｒｉ＞φｒのとき、
   前記足形状データを、仮想空間を上昇移動するというデータに変換し、
   θｌｉ＞θｌ，θｒｉ＝θｒ，φｌｉ＝φｌ，φｒｉ＝φｒまたは、
   θｌｉ＝θｌ，θｒｉ＞θｒ，φｌｉ＝φｌ，φｒｉ＝φｒのとき、
   前記足形状データを、仮想空間を前進移動するというデータに変換し、
   θｌｉ＝θｌ，θｒｉ＝θｒ，φｌｉ＞φｌ，φｒｉ＝φｒまたは、
   θｌｉ＝θｌ，θｒｉ＝θｒ，φｌｉ＝φｌ，φｒｉ＞φｒのとき、
   前記足形状データを、仮想空間を左右回転動するというデータに変換する、
   ことを特徴とする請求項５記載の仮想空間操作入力装置。
7. コンピュータを利用して、仮想空間を操作する仮想空間システムに操作入力を行うためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   利用者の左右の足の関節の曲げを検出するセンサを利用して、足形状データの初期値として、利用者の初期の姿勢での左右の足首の関節の曲げ角と左右のつま先の関節の曲げ角とを測定する初期測定処理と、
   前記センサを利用して、足形状データとして、操作時の利用者の左右の足首の関節の曲げ角と左右のつま先の関節の曲げ角とを測定する足形状測定処理と、
   前記初期値測定処理で得られる足形状データの初期値と前記足形状測定処理で得られる足形状データから、足形状データの初期値および操作時の足形状データと仮想空間移動の動作との対応があらかじめ表として蓄積してある三次元仮想空間動作種類データに基づき、仮想空間操作の指示に変換する足形状データ変換処理と、
   をコンピュータに実行させる仮想空間操作入力プログラムを記録してなることを特徴とする記録媒体。
8. 前記足形状データの初期値として、利用者の初期の姿勢での左および右の足首の関節の曲げ角をそれぞれθｌｉおよびθｒｉ、また、左および右のつま先の関節の曲げ角をそれぞれφｌｉおよびφｒｉとし、
   前記足形状データとして、操作時の利用者の左および右の足首の関節の曲げ角をそれぞれθｌおよびθｒ、また、左および右のつま先の関節の曲げ角をそれぞれφｌおよびφｒとしたとき、
   前記足形状データ変換処理では、
   θｌｉ＞θｌ，θｒｉ＞θｒ，φｌｉ＝φｌ，φｒｉ＝φｒのとき、
   前記足形状データを、仮想空間を下降移動するというデータに変換し、
   θｌｉ＜θｌ，θｒｉ＜θｒ，φｌｉ＞φｌ，φｒｉ＞φｒのとき、
   前記足形状データを、仮想空間を上昇移動するというデータに変換し、
   θｌｉ＞θｌ，θｒｉ＝θｒ，φｌｉ＝φｌ，φｒｉ＝φｒまたは、
   θｌｉ＝θｌ，θｒｉ＞θｒ，φｌｉ＝φｌ，φｒｉ＝φｒのとき、
   前記足形状データを、仮想空間を前進移動するというデータに変換し、
   θｌｉ＝θｌ，θｒｉ＝θｒ，φｌｉ＞φｌ，φｒｉ＝φｒまたは、
   θｌｉ＝θｌ，θｒｉ＝θｒ，φｌｉ＝φｌ，φｒｉ＞φｒのとき、
   前記足形状データを、仮想空間を左右回転動するというデータに変換する処理をコンピュータに実行させる、
   仮想空間操作入力プログラムを記録してなることを特徴とする請求項７に記載の記録媒体。

Images