JPH07281818A - ３次元仮想指示入力システム - Google Patents

Abstract

(57)【要約】 【目的】 ３次元仮想空間内の被操作物の移動に応じた
適当な反力を、簡単に利用者の手の動作に与えることが
できる３次元仮想指示入力システムを提供する。 【構成】 表示装置１３２に表示される３次元仮想空間
内の備品に対応して設けられ、利用者の手が接触した際
に適当な反力を与えるボードと、利用者の手に取り付け
られ、ボードに対する手の位置と傾きを３次元的に計測
する３次元手位置センサ１０１と、３次元手位置センサ
１０１の変位量を利用者の指示として解析しコンピュー
タシステムへフィードバックするオペレーション解析部
１０２からなる。３次元仮想空間内の備品はボードと一
致しており、この備品上に配置された被操作物を移動す
る場合、利用者はボードを備品に想定して被操作物をボ
ード上で操作する。利用者の指がボードに接触すると、
指示伝達物の被操作物への干渉が行なわれ、ボードから
適当な反力が利用者の指に返ってくる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、所定の形状の備品上に
複数の被操作物が配置された３次元仮想空間内に利用者
の指示を伝達する指示伝達物を表示し、その複数の被操
作物に該指示伝達物を干渉させて移動するコンピュータ
・システムのオペレーション入力システムに関する。

【０００２】

【従来の技術】従来、３次元仮想空間を提供するコンピ
ュータ・システムのオペレーションとして利用者の指示
を入力する装置が種々提案されている。それらは主に装
着型デバイスと非装着型デバイスとに分けられる。

【０００３】装着型デバイスは、利用者の手、腕等に種
々のセンサを直接装着し、手、腕等の動きに応じたセン
サの変形量を測定することで利用者の指示を認識するも
のである。その代表的なものとしては、光ファイバの光
透過率が指の曲げに応じて変化することを利用して変形
量を測定するデータグローブ等がある。非装着型デバイ
スは、利用者にはセンサ等を直接装着しない非装着型で
あって、テレビカメラ等を用いて利用者の動きを撮影
し、撮影した画像を画像処理して身体の変形量を測定す
ることで利用者の指示を認識するものである。

【０００４】コンピュータ・システムでは、上述の各デ
バイスから利用者の指、手などの実空間における位置が
フィードバックされ、このフィードバックされた実空間
における指等の位置が、利用者に提供される仮想空間に
おいて仮想の指示伝達物（カーソル、ポインタ等）とし
て表示される。

【０００５】コンピュータ・システムにおけるオペレー
ションは、利用者が仮想空間における指示伝達物の動き
を確認しながら指等を移動操作することによって指示伝
達物を任意に移動させ、この指示伝達物を被操作物に干
渉させることにより行なわれる。

【０００６】

【発明が解決しようとする課題】しかしながら、上述の
利用者の指示を入力する装着型デバイスおよび非装着型
デバイスのいずれの場合も、３次元仮想空間における被
操作物の移動に対する実空間における手の動作には、実
空間において物体を動かす際に当然得られるような反力
が与えられていないため、仮想世界のリアル感を損なう
という問題がある。特に、非装着型デバイスにおいて
は、身体に直接センサが装着されることがないために身
体が自由になり過ぎ、操作時に適当な反力を得るのが困
難である。

【０００７】また、上述の反力を得るために、適当な風
力の風を発生させその風を目的とする部分に当てること
により反力を得るものや、３次元仮想空間に存在する物
体との干渉が検知された際に、その干渉が検知された位
置に相当する利用者の身体の部分へ板片を移動するよう
な仕掛で反力を得るもの等が考案されている。しかし、
この提案されたいずれのものも装置が大がかりになって
しまうという問題がある。

【０００８】本発明の目的は、３次元仮想空間における
被操作物の移動に応じた適当な反力を簡単に実空間にお
ける手の動作に与えることができ、仮想世界のリアル感
を損なうことのない３次元仮想指示入力装置を提供する
ことにある。

【０００９】

【課題を解決するための手段】本発明の３次元仮想指示
入力システムは、所定の形状の備品上に複数の被操作物
が配置された３次元仮想空間内に利用者の指示を伝達す
る指示伝達物を表示し、上記複数の被操作物に上記指示
伝達物を干渉させて移動するコンピュータ・システムの
オペレーション入力システムであって、上記３次元仮想
空間内の備品に対応して設けられ、利用者の手が接触し
た際に適当な反力を与えるボードと、利用者の手に取り
付けられ、利用者の実空間における手の位置と傾きを３
次元的に計測する３次元手位置センサと、上記３次元手
位置センサの位置および傾きの初期状態を設定する初期
位置決め手段と、上記初期位置決め手段で設定された初
期状態に対する上記３次元手位置センサの現在の位置お
よび傾きを測定し、測定結果に応じて上記指示伝達物の
位置を変更する指示伝達物位置変更手段と、上記ボード
に利用者の手の一部が接触し、かつ、上記指示伝達物が
上記被操作物の所定領域に重ねられた場合にのみ該指示
伝達物と被操作物との干渉を行なう干渉検知手段と、上
記干渉検知手段から得られる指示伝達物と被操作物との
干渉状態と、上記指示伝達物位置変更手段から得られる
指示伝達物の位置の変化とから上記被操作物の状態を変
更する被操作物状態変更手段と、上記指示伝達物位置変
更手段、干渉検知手段および被操作物状態変更手段がそ
れぞれ接続され、該接続された各手段における指示伝達
物の位置および被操作物の状態の変更をオペレーション
として上記コンピュータ・システムへフィードバックす
るフィードバック手段とを有することを特徴とする。

【００１０】

【作用】上記の如く構成されている本発明の３次元仮想
指示入力装置では、指示伝達物の位置および被操作物の
状態の変化は、フィードバック手段によってコンピュー
タ・システムへフィードバックされるので、表示されて
いる指示伝達物の位置および被操作物の状態は、３次元
手位置センサが取り付けられた利用者の手の移動に連動
して変化する。

【００１１】また、本発明の３次元仮想指示入力装置で
は、３次元仮想空間に表示される備品は、実空間に設け
られるボードに一致するように表示されているので、備
品上に配置された被操作物を移動する場合、利用者はボ
ードを備品に想定して被操作物をボード上で操作するこ
とができる。

【００１２】さらに、本発明の３次元仮想指示入力装置
では、利用者が指をボードに接触することにより指示伝
達物の被操作物への干渉が行なわれるので、指示伝達物
を被操作物へ干渉せる場合にボードから適当な反力が利
用者の指に返ってくる。よって、従来のように、指を移
動させて被操作物を移動する際に、指が自由過ぎて拠り
どころなくなるということはない。

【００１３】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【００１４】図１は、本発明の一実施例の３次元仮想指
示入力システムの概略構成を示すブロック図である。

【００１５】本実施例の３次元仮想指示入力システム
は、３次元仮想空間を提供するコンピュータ・システム
の入力装置であって、利用者の手に取り付けられている
３次元手位置センサ１０１から得られる情報に基づい
て、表示装置１３２により表示されている３次元仮想空
間の被操作物の状態を変更するコンピュータ・システム
のオペレーション入力装置である。

【００１６】図１において、３次元仮想指示入力システ
ムは、利用者の手に取り付けられ、実空間における机や
ボード等の備品に対する利用者の手の位置を３次元的に
計測する３次元手位置センサ１０１と、該３次元手位置
センサ１０１と相互通信することにより利用者の指示を
解析するオペレーション解析部１０２とから構成されて
おり、記憶装置１３１および表示装置１３２がそれぞれ
接続された中央処理装置１３０に接続されることにより
コンピュータ・システムを構築している。

【００１７】上記コンピュータ・システムでは、記憶装
置１３１に、実空間における机やボード等の備品に関す
る備品形状情報、利用者に提供される仮想空間における
指示伝達物（カーソル、ポインタ等）の形状情報、およ
び被操作物形状情報等が予め記憶されている。中央処理
装置１３０は、上記３次元仮想指示入力システムやキー
ボード（不図示）等からの入力（利用者の指示）に応じ
て所定のプログラムを実行し、上記備品形状情報、指示
伝達物形状情報、被操作物形状情報、３次元座情報およ
び属性値等の３次元仮想空間に関するマッピング情報に
基づく３次元仮想空間を表示装置１３２に表示させる。
これにより、表示装置１３２には、記憶装置１３１に記
憶されているマッピング情報から得られる仮想物体群を
所定の視点位置から撮像した３次元画像が表示される。

【００１８】上記３次元仮想指示入力システムにおい
て、３次元手位置センサ１０１は、利用者の手の位置と
傾きを３次元的に計測するセンサであり、オペレーショ
ン解析部１０２との間で手の位置および傾きを特定する
のに必要な情報を送受信する機能を有し、オペレーショ
ン解析部１０２との間で情報を送受信することにより手
の位置および傾きが検知できる構造となっている。な
お、この３次元手位置センサ１０１の形状は、利用者の
手に楽に把持または接合できるものであれば特に限定さ
れるものではない。

【００１９】オペレーション解析部１０２は、上記３次
元手位置センサ１０１から送出される利用者の指示を中
央処理装置１３０に出力する（フィードバックする）も
ので、記憶装置１３１に記憶されている３次元仮想空間
に関するマッピング情報等を書き換えることにより、表
示装置１３２により表示されてる仮想空間における被操
作物の状態を変更する。その構成は、初期位置決め手段
１１１、指示伝達物位置変更手段１１２、干渉検知手段
１１３、被操作物状態変更手段１１４、およびフィード
バック手段１１５で構成されている。以下、オペレーシ
ョン解析部１０２の各構成部について詳しく説明する。

【００２０】初期位置決め手段１１１は、電源投入時
に、実空間における備品（ここでは、机）の所定の位置
に配置された３次元手位置センサ１０１の位置および傾
きを、表示装置１３２により表示されてる仮想空間の指
示伝達物の初期値として設定し、その初期値を指示伝達
物位置変更手段１１２へ出力する。

【００２１】指示伝達物位置変更手段１１２は、初期位
置決め手段１１１によって設定された初期値に対する３
次元手位置センサ１０１の現在の位置および傾きの変化
を計測し、計測したその量に応じて仮想空間における指
示伝達物の位置を変更する。

【００２２】干渉検知手段１１３は、実空間の机と利用
者の指との接触を、初期位置決め手段１１１および指示
伝達物位置変更手段１１２から得られる指の位置情報と
記憶装置１３１に予め記憶されている備品形状情報の座
標情報とから検知し、指と机とが接触するとその接触位
置に配置されている被操作物と指示伝達物とを干渉さ
せ、指が机から離れるとその被操作物と指示伝達物との
干渉状態を解除する。

【００２３】被操作物状態変更手段１１４は、干渉検知
手段１１３から得られる指示伝達物と被操作物との干渉
状態と、上述の指示伝達物位置変更手段１１２から得ら
れる指示伝達物の位置の情報とから被操作物の位置、形
状、オン／オフおよび数値等の状態を変更する。

【００２４】フィードバック手段１１５は、指示伝達物
位置変更手段１１２、干渉検知手段１１３および被操作
物状態変更手段１１４がそれぞれ接続されており、該接
続された各手段における指示伝達物の位置および被操作
物の状態の変更を中央処理装置１３０へ出力し、記憶装
置１３１に記憶されているマッピング情報を上記変更さ
れた指示伝達物の位置および被操作物の状態に書き換え
る。すなわち、指示伝達物の位置および被操作物の状態
の変更を３次元手位置センサ１０１による指示に連動す
るようにコンピュータ・システムにフィードバックす
る。

【００２５】次に、上記３次元仮想指示入力システムの
動作について説明する。

【００２６】図２は、図１に示す３次元仮想指示入力シ
ステムの使用状態を表す状態図で、表示装置１３２には
実空間における机に対応する備品が表示され、利用者の
手には３次元手位置センサ１０１が取り付けられてい
る。また、表示された備品上には複数の被操作物（例え
ば、ボタンやスライダーなど）が配置されており、備品
が表示された３次元仮想空間にはカーソル等の役割をす
る指示伝達物が表示されている。この表示された指示伝
達物は、３次元手位置センサ１０１の位置、傾きに応じ
てその位置、傾きが変わる。

【００２７】本実施例の３次元仮想指示入力システムを
用いてコンピュータ・システムのオペレーションを行な
う場合、例えば図２に示すように、利用者は、実空間に
おける机を表示装置１３２に表示されている備品に想定
して、３次元仮想空間を見ながらその備品上に配置され
ている被操作物を所望する位置に移動したり、オン／オ
フを行なったりする。なお、本実施例では、実空間にお
ける机は、その形状および大きさが表示装置１３２に表
示される備品の大きさおよび形状と相対的に一致するも
のとなっている。

【００２８】３次元手位置センサ１０１が机の所定の位
置に配置されて上記コンピュータ・システムの電源が投
入されると、まず、初期位置決め手段１０１によって、
机の所定の位置に配置された３次元手位置センサ１０１
の位置を表示装置１３１の所定の位置に表示される指示
伝達物の位置とする初期設定が行なわれる。すなわち、
電源投入時の３次元手位置センサ１０１の状態が、３次
元仮想空間の所定位置に所定の形状で表示された指示伝
達物の基準情報となる。

【００２９】利用者が手を動かすと、手に取り付けられ
た３次元手位置センサ１０１から移動した手の位置およ
び傾きに関する情報がオペレーション解析部１０２へ送
信される。

【００３０】オペレーション解析部１０２では、受信し
た情報は指示伝達物位置変更手段１１２へ渡たされる。
指示伝達物位置変更手段１１２は、渡された移動後の３
次元手位置センサ１０１の位置および傾きと、上記初期
位置決め手段１１１によって設定された基準情報とか
ら、指示伝達物の基準情報に対する移動位置および傾き
を求め、求めた結果をフィードバック手段１１５へ出力
する。

【００３１】フィードバック手段１１５は、中央処理装
置１３０を介して、記憶装置１３１における指示伝達物
の位置および傾きに関する情報を上記指示伝達物位置変
更手段１１２によって求められた情報に書き換える。こ
の結果、表示装置１３２に表示されている指示伝達物の
位置および傾きが利用者の手に連動して変化することと
なり、これによって、利用者は表示装置１３２の画面を
見ながら指示伝達物を目的とする被操作物の位置まで任
意に移動させことができる。

【００３２】次に、利用者が机の表面に指を接触させる
と、干渉検知手段１１５がその接触を検知しその旨をフ
ィードバック手段１１５へ出力する。干渉検知手段１１
３から机の表面に指が接触した旨がフィードバック手段
１１５へ出力されると、フィードバック手段１１５は中
央処理装置１３０を介して表示装置１３２に表示されて
いる指示伝達物と被操作物との干渉を行なう。ただし、
利用者の指と机との接触位置、すなわち表示装置１３２
に表示されている指示伝達物と備品との接触位置に被操
作物がない場合には、指示伝達物と被操作物との干渉は
行なわないものとする。

【００３３】上記のように指示伝達物と被操作物とを干
渉させた状態のまま、すなわち手を机に接触させた状態
のまま動かすことにより、干渉されている被操作物を所
望する位置に移動させることができる。このようにして
干渉されている被操作物が移動されると、被操作物状態
変更手段１１４が干渉された被操作物の位置の変更を検
知し、その旨をフィードバック手段１１５へ出力する。

【００３４】被操作物状態変更手段１１４から被操作物
の位置が変更された旨がフィードバック手段１１５へ出
力されると、フィードバック手段１１５は中央処理装置
１３０を介して記憶装置１３１のマッピング情報を書き
換え、表示装置１３２に表示されている被操作物の位置
を利用者の指の移動に応じて変更する。

【００３５】次いで利用者が指を机から離すと、干渉検
知手段１１３がその旨を検知してフィードバック手段１
１５へ通知する。干渉検知手段１１３から利用者の指が
机の表面から離れた旨がフィードバック手段１１５へ出
力されると、フィードバック手段１１５は中央処理装置
１３０を介して表示装置１３２に表示されている指示伝
達物と被操作物との干渉状態を解く。

【００３６】以上のようにして指示伝達物の位置および
被操作物の状態が変更されると、フィードバック手段１
１５は、指示伝達物形状変更手段１１２および被操作物
状態変更手段１１４で得られた指示伝達物の位置および
被操作物の状態の変更の情報を、中央処理装置１３０を
介して記憶装置１３１へフィードバックする。この結
果、利用者の指の動きに連動して指示伝達物および被操
作物の位置が移動することとなる。

【００３７】上述の３次元仮想指示入力システムでは、
利用者が指を机に接触させることにより指示伝達物と被
操作物との干渉が行なわれので、利用者は指を机に接触
させたときに机から適当な反力を得ることになる。

【００３８】次に、上述した表示装置１３２として利用
者の頭部に接合されるゴーグル型表示装置１３２’が用
いられた場合の３次元仮想指示入力システムの使用状態
について説明する。

【００３９】図３は、図２に示した表示装置１３２の代
わりにゴーグル型表示装置１３２’が使用された場合
の、３次元仮想指示入力システムの使用状態を表す状態
図である。

【００４０】図３において、ゴーグル型表示装置１３
２’には実空間における机に対応する備品が表示され、
利用者の手には図２のものと同様の３次元手位置センサ
１０１が取り付けられている。ゴーグル型表示装置１３
２’に表示された備品上には図２のものと同様に複数の
被操作物（例えば、ボタンやスライダーなど）が配置さ
れており、さらに、備品が表示された３次元仮想空間に
はカーソル等の役割をする指示伝達物が表示されてい
る。

【００４１】上記ゴーグル型表示装置１３２’には、利
用者の視点位置を計測する３次元視点位置検出センサ
（不図示）が設けられている。ゴーグル型表示装置１３
２’は、この３次元視点位置検出センサによって検出さ
れた利用者の視点位置に基づいて利用者の左右の眼に対
応する２つの撮像視点を求め、その求めた２つの撮像視
点に基づく２次元画像を、記憶装置１３１に記憶されて
いる備品形状情報、被操作物形状情報および指示伝達物
形状情報等のマッピング情報からそれぞれ生成する。各
生成された２次元画像はそれぞれ利用者の左右の眼に提
示される。このようにして提供される仮想空間は、実空
間とぴったり重なるようなものとなっている。

【００４２】図３に示すようにゴーグル型表示装置１３
２’を用いた場合、利用者の視界は全てゴーグル型表示
装置１３２’の表示画面によって覆われるため、利用者
の視界に実空間が見えることはない。すなわち、利用者
はゴーグル型表示装置１３２’に表示された実空間とぴ
ったり重なる仮想空間を見ながらコンピュータ・システ
ムのオペレーションを行なう。

【００４３】上記オペレーションも図１に示したものと
同様に利用者の指示がオペレーション解析部１０２によ
ってコンピュータ・システムにフィードバックされるこ
とにより行なわれ、利用者の指の移動に連動してゴーグ
ル型表示装置１３２’に表示されている指示伝達物の位
置および被操作物の状態が変更される。

【００４４】以上のように、ゴーグル型表示装置１３
２’を用いたコンピュータ・システムにおいても本発明
の３次元仮想指示入力システムを適用することができ、
この場合、図２に示したものに比べて一層仮想世界のリ
アル感が増した３次元仮想指示入力システムを提供する
ことができる。

【００４５】

【発明の効果】本発明の３次元仮想指示入力システム
は、ボードと指とを接触させることにより被操作物と指
示伝達物との干渉が行なわれるので、簡単にオペレーシ
ョンの際の反力をボードから得ることができ、仮想世界
のリアル感を一層向上させた３次元仮想指示入力システ
ムを簡単に実現できるという効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例の３次元仮想指示入力システ
ムの概略構成を示すブロック図。

【図２】図１に示す３次元仮想指示入力システムの使用
状態を表す状態図。

【図３】図２に示した表示装置１３２の代わりにゴーグ
ル型表示装置１３２’が使用された場合の、３次元仮想
指示入力システムの使用状態を表す状態図。

【符号の説明】

１０１ ３次元手位置センサ １０２ オペレーション解析部 １１１ 初期位置決め手段 １１２ 指示伝達物位置変更手段 １１３ 干渉検知手段 １１４ 被操作物状態変更手段 １１５ フィードバック手段 １３０ 中央処理装置 １３１ 記憶装置 １３２ 表示装置 １３２’ ゴーグル型表示装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 野田 智之 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (1)

【特許請求の範囲】
1. 【請求項１】 所定の形状の備品上に複数の被操作物が
   配置された３次元仮想空間内に利用者の指示を伝達する
   指示伝達物を表示し、前記複数の被操作物に前記指示伝
   達物を干渉させて移動するコンピュータ・システムのオ
   ペレーション入力システムであって、 前記３次元仮想空間内の備品に対応して設けられ、利用
   者の手が接触した際に適当な反力を与えるボードと、 利用者の手に取り付けられ、利用者の実空間における手
   の位置と傾きを３次元的に計測する３次元手位置センサ
   と、 前記３次元手位置センサの位置および傾きの初期状態を
   設定する初期位置決め手段と、 前記初期位置決め手段で設定された初期状態に対する前
   記３次元手位置センサの現在の位置および傾きを測定
   し、測定結果に応じて前記指示伝達物の位置を変更する
   指示伝達物位置変更手段と、 前記ボードに利用者の手の一部が接触し、かつ、前記指
   示伝達物が前記被操作物の所定領域に重ねられた場合に
   のみ該指示伝達物と被操作物との干渉を行なう干渉検知
   手段と、 前記干渉検知手段から得られる指示伝達物と被操作物と
   の干渉状態と、前記指示伝達物位置変更手段から得られ
   る指示伝達物の位置の変更とから前記被操作物の状態を
   変更する被操作物状態変更手段と、 前記指示伝達物位置変更手段、干渉検知手段および被操
   作物状態変更手段がそれぞれ接続され、該接続された各
   手段における指示伝達物の位置および被操作物の状態の
   変更をオペレーションとして前記コンピュータ・システ
   ムへフィードバックするフィードバック手段とを有する
   ことを特徴とする３次元仮想指示入力システム。