JP4678428B2 - 仮想空間内位置指示装置 - Google Patents

Description

本発明は、コンピュータにより規定された仮想三次元空間内に位置および向きを示す指標を生成するとともに、実空間における指示デバイスの操作により仮想三次元空間内における指標の位置や向きを変更する仮想空間内位置指示装置に関するものである。

従来から、仮想三次元空間および仮想三次元空間内に存在する仮想物体をコンピュータにより規定し、仮想物体を含む仮想三次元空間を適宜の表示装置に表示するように構成した仮想空間提示システムが提供されている。この種の仮想空間提示システムは、たとえば、三次元空間でのシミュレーションを行う装置に用いられている。この種の仮想空間提示システムでは、仮想三次元空間内の位置や方向を指示したり仮想物体を選択したりするために、仮想三次元空間内に位置および向きを示すポインタを生成して仮想三次元空間とともに表示装置に表示するとともに、仮想三次元空間内におけるポインタの位置や方向を実空間における指示デバイスの操作によって変化させる機能を要求されることがある。ただし、三次元空間では視点の位置や方向によって視点に対するポインタの位置や方向が変化し、しかもポインタの位置や方向は三次元で変化するから、仮想三次元空間におけるポインタの位置および向きを実空間での指示デバイスの操作に結び付けるだけではなく、表示装置に表示されたポインタの位置および向きと指示デバイスの操作とが直感的に関連付けられるようにすることが必要である。

仮想三次元空間を表示する表示装置にポインタを表示し、指示デバイスによってポインタの位置および向きを変化させる技術としては、ＣＲＴディスプレイに表示した仮想三次元空間において、円錐の底面に円筒を接続した立体矢印型の主ポインタを表示するとともに、主ポインタのポイント方向に円錐形などの補助ポインタを表示することが考えられている（たとえば、特許文献１参照）。

特許文献１では、主ポインタの三次元的位置および向きを入力するためのポインタ位置入力装置が設けられ、主ポインタと補助ポインタとの間隔と、補助ポインタの大きさとを調節する補助ポインタ調節装置が設けられる。ポインタ位置入力装置は、指示デバイスとして腕にはめるグローブを備え、実空間でのグローブの位置と方向とを仮想三次元空間における主ポインタの位置および向きに対応付けている。また、補助ポインタは主ポインタに対して補助ポインタ調節装置により設定した距離だけ離れており、補助ポインタを仮想物体に埋没させて補助ポインタの先端が仮想物体の表面から露出する状態とすることで、主ポインタの位置に対応する実空間でのグローブの位置と仮想物体の表面である補助ポインタまでの距離を知ることができるようになっている。

また、二次元ディスプレイに表示した仮想三次元空間において、棒、網、フォーク、ナイフのような仮想的な道具をポインタとして表示し、指示デバイスとしての棒状位置センサ（ペン）の位置および傾きに応じて、棒状位置センサ（ペン）の先端を延長した方向の画面に表示された道具を動かす技術も提案されている（たとえば、特許文献２参照）。
特許第３２６３１４０号公報（第００２０−００２１段落、第００２４段落、第００３１段落、第００４２段落、図１、図４） 特開２００３−８５５９０号公報（第００２７−００３１段落、図１）

ところで、特許文献１、２に記載された技術は、二次元ディスプレイに表示された三次元画像を対象とするものであって、利用者は仮想三次元空間の外側の実空間に存在しており、利用者の存在する実空間と三次元画像が提示されている仮想三次元空間との境界を把握できる場合に利用することができるものである。

一方、近年では立体視が可能な三次元画像を提示する技術が知られており、この種の三次元画像では、利用者はあたかも仮想三次元空間の中に没入しているかのような感覚を持つことになる。この種の三次元画像では、実空間と仮想三次元空間とに境界がないから、上述した特許文献１、２に記載の技術のように指示デバイスとポインタ（指標）とが離れて位置している場合には、指示デバイスの位置とポインタ（指標）の位置との距離を把握することができないものであるから、実空間における指示デバイスと仮想三次元空間におけるポインタ（指標）との位置関係を直感的に把握することが困難になるという問題が生じる。また、立体視を行う三次元画像ではなくとも利用者が没入感を持つような広視野の三次元画像においても同様の問題が生じる可能性がある。このように、実空間における指示デバイスと仮想三次元空間における指標との位置関係を把握するのが困難であると、利用者は三次元画像の中で指標を見失う可能性が生じ、結果的に三次元空間の中で位置や方向を指示したり、三次元空間に表示される仮想物体を選択したりすることが困難になる。

なお、特許文献１には、従来技術として、腕や手指に指示デバイスを装着し、腕や手指と指標とを三次元画像内で重ねて表現する技術が記載されており、この技術を用いると指標を見失う可能性が低減されるが、三次元画像内において腕や手指が届く領域を越えて位置や方向を指示したり、正確な距離を指示したりすることは困難である。

本発明は上記事由に鑑みて為されたものであり、その目的は、没入感を持つような三次元画像内であっても指標を見失うことなく、三次元画像の全領域に指標を移動させることが可能であり、しかも指示デバイスと指標との位置関係を直感的に把握することができるようにした仮想空間内位置指示装置を提供することにある。

請求項１の発明は、コンピュータにより規定された仮想三次元空間に関して仮想空間表示手段に設けたスクリーンに投影された三次元画像に向かって実空間内で所望の向きに向けることができる指示デバイスと、前記指示デバイスの実空間での位置および向きを検出する指示デバイス位置・方向検出部と、前記指示デバイスを向けた向きに長さを有する指標を前記三次元画像の中に表示するための指標データを生成する指標データ生成部と、前記指示デバイス位置・方向検出部により検出された前記指示デバイスの実空間での位置および向きとともに指標の長さを指標データ生成部に与える指示デバイス長さ数値設定部とを備え、前記指示デバイス位置・方向検出部は、前記指示デバイスに設けられ前記スクリーンに所要のパターンを投影する投光素子と、前記指示デバイスに設けられ前記投光素子から前記スクリーンに投影されたパターンを撮像する撮像素子とを備え、前記指標データ生成部は撮像素子により撮像されたパターンの形状を用いて前記指示デバイスの位置および向きを計算することを特徴とする。

この構成によれば、指示デバイスを所望の向きに向けることによって三次元画像における目的位置が指示デバイスを向けた線上に位置することになり、指示デバイスに連動する指標が指示デバイスを向けた向きに長さを有するから、指標の長さを変化させることによって目的位置に指標を触れさせることが可能になる。つまり、三次元画像の任意の位置を指示デバイスの位置および向きと長さとで指定することができるのであって、指示デバイスは仮想三次元空間内の位置を言わば指示デバイスに設定した球座標で指定することになる。つまり、指示デバイスと指標との位置関係を直感的に把握することができる上に三次元画像の全領域に指標を移動させることが可能になる。また、指標が指示デバイスを向けた向きの長さを有しているから、あたかも差し棒で指し示すかのような感覚で三次元画像の目的位置を指定することができ、指示デバイスと指標との関係が認識された後には、急激に視点位置を変更しない限り指標を見失うことがないから、没入感を持つような三次元画像内であっても指標を見失うことがなく、しかも仮想三次元空間における指標や利用者の位置とは別に視点のみを変更して適正な視野を任意に設定することも可能になる。その上、指示デバイスの位置および向きを指示デバイスに設けた投光素子および撮像素子によって検出するから、指示デバイスの位置および向きを精度よく検出することができる。また、投光素子が指示デバイスに設けられていることによってスクリーン上でパターンが形成される部位は狭い範囲に制限されるから、撮像素子はスクリーンの全体を撮像する必要がなく、撮像素子の視野のうちパターンの締める面積を大きくとることができるから、パターンに基づく位置および向きの検出を精度よく行うことができる。

請求項２の発明は、請求項１の発明において、前記指示デバイスと前記指示デバイス位置・方向検出部と前記指示デバイス長さ数値設定部と前記指標データ生成部とが複数個ずつ設けられ、前記仮想空間表示手段は前記三次元画像内に各指示デバイスごとの指標を重ねて表示することを特徴とする。

この構成によれば、複数個の指示デバイスによって１つの三次元画像内に複数の指標を表示することができ、各指標を独立して移動させることが可能になる。つまり、三次元画像内の複数の位置を同時に指定することが可能になる。また、三次元画像内の仮想物体に対して、位置、向き、長さの変更が可能なプログラムを用いることによって、各指示デバイスにより指定した仮想物体の相対的な位置関係や大小関係の変更が容易になる。たとえば、２個の指示デバイスを用いることにより、２個の仮想物体を互いに引き離すような操作が簡単に行えることになる。

請求項３の発明は、請求項１または請求項２の発明において、実空間内における前記指示デバイスの位置および向きの変化の自由度を制限する移動制御手段が付加されることを特徴とする。

この構成によれば、指示デバイスの位置および向きの変化の自由度を制限することによって、指示デバイスの実空間での位置および向きの検出が容易になる。ここに、方位角と仰角・伏角のみが変更可能となるように指示デバイスの移動を規制しても仮想三次元空間の任意の位置を球座標で指定することができる。また、仮想三次元空間のすべての位置を指定する必要がない場合には、指示デバイスの位置を固定して指標の長さのみ変更可能としたり、机上面のような１つの平面内での移動のみを許容するように移動を制限することも可能である。

請求項４の発明は、請求項１ないし請求項３の発明において、前記指示デバイスが、指標により指定した前記三次元画像内の場所に応じた触覚を提示する触覚提示手段を備えることを特徴とする。

この構成によれば、利用者に対して視覚的な情報だけではなく三次元画像内の場所に応じた情報を触覚として提示することが可能になる。ここに、触覚は振動などのほか温度によって皮膚感覚を提示する手段も含む。

請求項５の発明は、請求項１ないし請求項４の発明において、前記三次元画像内の仮想物体と前記指示デバイスに連動する指標との衝突の有無を判定する仮想空間衝突判定部と、前記仮想空間衝突判定部により衝突が検出されたことを通知する衝突通知手段とが付加されていることを特徴とする。

この構成によれば、仮想三次元空間内の仮想物体と指標との衝突の有無を判定し、衝突があれば利用者に通知するから、仮想物体に指標が接触したか否かを容易に知ることができる。なお、仮想物体は不可視であってもよく、仮想三次元空間に不可視ではあるが何らかの意味付けがなされた領域が存在するときに、当該領域に指標が接触したことを知ることが可能になる。たとえば、磁場や有毒ガスの存在する空間を仮想三次元空間で模擬するような場合に、それらの存在領域を指標との衝突によって通知することが可能になる。

本発明の構成によれば、指示デバイスと指標との位置関係を直感的に把握することができる上に三次元画像の全領域に指標を移動させることが可能になり、また、指標が指示デバイスを向けた向きの長さを有しているから、あたかも差し棒で指し示すかのような感覚で三次元画像の目的位置を指定することができ、指示デバイスと指標との関係が認識された後には、急激に視点位置を変更しない限り指標を見失うことがないから、没入感を持つような三次元画像内であっても指標を見失うことがなく、しかも仮想三次元空間における指標や利用者の位置とは別に視点のみを変更して適正な視野を任意に設定することも可能になるという利点がある。

以下に説明する実施形態では、図２に示すように、立体視が可能な仮想空間表示手段としてディスプレイ装置２を用い、ディスプレイ装置２に表示される三次元画像に対してコンピュータ２を用いて三次元の座標系を規定しているものとする。ディスプレイ装置２により表示される三次元画像の少なくとも一部は、コンピュータ２に格納された三次元画像データにより表示される画像であって、三次元画像データは前記座標系を用いて規定された仮想三次元空間を構成する。つまり、三次元画像データは三次元空間における位置情報を含んでいる。

ディスプレイ装置２は、プロジェクタ２１とスクリーン２２と立体視用眼鏡２３とを用いて構成される。すなわち、プロジェクタ２１は視差分だけ視点位置の異なる２種類の画像をスクリーン２２に投影し、立体視用眼鏡２３では利用者Ｍの左右の目で各一方の画像のみが見えるようにスクリーン２２に投影された画像を分離する。この種の技術としては、たとえば偏光を利用して画像を分離する技術が知られている。ここに、プロジェクタ２１は２種類の画像をスクリーン２２に同時に投影するものと、２種類の画像をスクリーン２２に交互に投影するものとのいずれを用いてもよい。２種類の画像をスクリーン２２に交互に投影する場合には、画像の切換が人に認識されない程度の短い時間で両画像の切換を行うことが必要である。スクリーン２２には利用者Ｍが向き合う面を凹面としたものを用いるのが望ましく、このようなスクリーン２２を用いることによって、利用者Ｍには実際に仮想三次元空間内に存在するかのような感覚（いわゆる、没入感）を与えることが可能になる。図２には、三次元画像データによる三次元画像によって、利用者Ｍが認識する仮想物体Ｏｂ１，Ｏｂ２を示してあり、利用者Ｍには仮想物体Ｏｂ１，Ｏｂ２がスクリーン２２から飛び出しているかのように認識されることになる。また、図示例では利用者Ｍが三次元空間として認識する領域を破線で囲んで示している。なお、スクリーン２２の形状にはとくに制限はなく、平面型のスクリーン２２を用いたり、利用者Ｍの全周囲を囲むようなスクリーン２２を用いることも可能である。

ディスプレイ装置２ではコンピュータ３から出力された画像が表示されるから、ディスプレイ装置２はコンピュータ３の出力装置として用いられることになる。コンピュータ３には出力装置としてスピーカ４も設けられ、また入力装置としてはキーボード５のほか、仮想三次元空間における所望の位置および向きを指示する指示デバイス１と、ディスプレイ装置２に表示する三次元画像の視点位置の変更を指示する視点位置操作部４３としての視点入力装置６とが設けられる。視点入力装置６は図示例ではトラックボールを用いており、トラックボールを回転させるとスクリーン２２に表示される画像の視点が変更される。つまり、図示例のスクリーン２２は利用者Ｍの前方にのみ画像を表示するものであるから、利用者Ｍの周囲の他の方向の画像は視点入力装置６の操作によってスクリーン２２に表示されることになる。また、視点入力装置６を操作して利用者Ｍが視点を変更することにより、仮想物体Ｏｂ１，Ｏｂ２あるいは指標Ｐを仮想三次元空間内の所望の向きから見ることが可能になる。

指示デバイス１は、二次元画像に対してポインティングデバイスとして用いるマウスやトラックパッドと同様に画像内の位置を指示し、さらに、三次元画像が対象であるから位置だけではなく方向も指示できるように構成される。指示デバイス１は、利用者Ｍが手で把持することができる棒状の把持部１１（図４参照）を有した可搬型のケース１０を備える。

指示デバイス１は、把持部１１の長手方向を前後方向としており、コンピュータ３では指示デバイス１の前端から把持部１１の長手方向に延長した棒状の指標Ｐを三次元画像内に生成する。指標Ｐの長さは指示デバイス長さ数値設定部４２（図１参照）により設定可能になっている。指標Ｐは、指示デバイス１の先端に連続した形が望ましく、指標Ｐの長さは、指示デバイス１において把持部１１の近傍に設定した基点から指標Ｐの前端（先端）までの距離とする。指標Ｐの長さを数値で入力する指示デバイス長さ数値設定部４２は、キーボード５を用いてもよいが、後述するように指示デバイス１に一体に設けるのが望ましい。指示デバイス１は利用者Ｍが把持するものであるから、コンピュータ３において指標Ｐを生成するには、指示デバイス１の実空間における位置および向きをコンピュータ３で認識する必要がある。そこで、指示デバイス１の位置および向きを検出する指示デバイス位置・方向検出部４１（図１参照）がコンピュータ３への入力装置として設けられる。また、キーボード５は、利用者Ｍの視点位置と視線方向と視野角とを入力する利用者初期位置設定部４４として用いられる。

指示デバイス位置・方向検出部４１は、指示デバイス１に一体に設ける場合と、指示デバイス１とは別体に設ける場合とがある。指示デバイス１に一体に設ける指示デバイス位置・方向検出部４１としては、地磁気（あるいは、指示デバイス１を用いる環境に生成した磁場）を検出して指示デバイス１の向きを検出する磁気センサ、指示デバイス１に作用する加速度を検出して指示デバイス１の位置および向きを検出する加速度センサ、指示デバイス１を用いる環境において複数の規定位置との距離を光学的に計測する位置センサなどを用いることができる。また、指示デバイス１とは別体に設ける指示デバイス位置・方向検出部４１としては、指示デバイス１に設けた磁石の位置を検出する磁気センサ、複数の規定位置から指示デバイス１までの距離を光学的に計測する位置センサなどを用いることができる。指示デバイス位置・方向検出部４１の検出値はコンピュータ３に常時入力され、コンピュータ３では指示デバイス位置・方向検出部４１の検出値に基づいて指示デバイス１の位置および向きを求める。

コンピュータ３での処理について、図１および図３を用いて説明する。コンピュータ３は、指示デバイス１の実空間での位置および向きに関する情報に基づいて仮想三次元空間に指標Ｐを生成する機能と、利用者Ｍが指示した視点によってディスプレイ装置２に表示すべき視野を決定する機能と、指標Ｐを含む仮想三次元空間のうち視野内の三次元画像を表示する機能とをプログラムを実行することによって実現する。

仮想三次元空間に指標Ｐを生成するために、コンピュータ３は、仮想三次元空間における指標Ｐの位置および向きに関する指標データを生成する指標データ生成部３１と、指標Ｐを除く三次元画像の画像データを出力する仮想空間データ生成部３２と、指標データ生成部３１で生成した指標データを仮想空間データ生成部３２から出力される画像データに重ね合わせる画像データ生成部３３とを備える。

指標データ生成部３１は、指示デバイス１の実空間での位置および向きに関する情報に基づいて指標Ｐを生成する。つまり、指標データ生成部３１には、利用者の初期位置が利用者初期位置設定部１３から入力されるとともに、指示デバイス１の位置および向きに関する情報が指示デバイス位置・方向検出部４１から入力され、さらに指示デバイス１の長さを指定する数値が指示デバイス長さ数値設定部４２から入力される。したがって、指標データ生成部３１では、これらの情報に基づいて、指標Ｐの位置と向きと長さとを含む指標データを生成することができ、指標Ｐの位置および向きは指示デバイス１の実空間での位置および向きに一対一に対応することになる。

コンピュータ３には、視野を規定するための視野データを生成する視野判定部３４が設けられ、視野判定部３４からの視野データも画像データ生成部３３に与えられる。視野判定部３４には、利用者初期位置設定部１３から利用者の初期位置が入力され、利用者Ｍの初期位置が決まると初期位置に対してスクリーン２２に表示可能な視野が算出される。また、視野判定部３４には視点位置操作部１４から視点位置も与えられ、視点位置が変化すると当該視点位置からの視野を算出し、視野データとして画像データ生成部３３に与える。視野判定部３４から画像データ生成部３３に視野データが与えられると、画像データ生成部３３では、画像データに指標データを重ねた三次元画像から視野データにより規定される視野内を抽出し、表示用の画像データとして出力する。つまり、画像データ生成部３３から出力された表示用の画像データは、画像出力部３５により映像信号に変換されプロジェクタ２１によりスクリーン２２に投影される。なお、スクリーン２２に投影され利用者Ｍの左右の各目で見る画像は、それぞれ１秒間に３０フレームとすることによって動きを滑らかにするのが望ましい。

ところで、上述した指標データ生成部３１から出力された指標データと、仮想空間データ生成部３２から出力された画像データとは、仮想空間衝突判定部３６にも入力される。仮想空間衝突判定部３６は、仮想三次元空間に存在する仮想物体Ｏｂ１，Ｏｂ２に指標Ｐが衝突しているか否かを判定するものであり、指標Ｐのいずれかの部位が仮想物体Ｏｂ１，Ｏｂ２に重複していると衝突と判断するようになっている。つまり、仮想三次元空間は仮想空間データ生成部３２の画像データにより規定されているから、仮想物体Ｏｂ１，Ｏｂ２の位置情報は仮想空間データ生成部３２から出力される画像データにより知ることができ、また指標データは指標Ｐの位置と向きと長さとを含むから、仮想物体Ｏｂ１，Ｏｂ２の占める空間領域と指標Ｐの占める空間領域とを知ることができ、仮想空間衝突判定部３６では、両者の空間領域に重複部分があれば衝突と判断する。仮想空間衝突判定部３６６において衝突と判定したときには、衝突表示部３７により利用者Ｍに対して衝突を通知する。衝突表示部３７としては、衝突を表す図形をスクリーン２２に投影するものか、スクリーン２２とは別の場所に配置した表示灯を用いる。いずれにしても、衝突を表示することによって指標Ｐと仮想物体Ｏｂ１，Ｏｂ２との衝突を知ることが可能になる。ここに、仮想空間衝突判定部３６において衝突を判断したときに、スピーカ４から衝突を通知する音を発生させてもよい。なお、仮想物体Ｏｂ１，Ｏｂ２と指標Ｐとの衝突を通知する必要がなければ、仮想空間衝突判定部３６および衝突表示部３７は省略可能である。

なお、指標Ｐの先端が仮想三次元空間内の特定位置に達したとき（衝突時）に、衝突を利用者に通知する衝突通知手段としては、スピーカ４や衝突表示部３７のほかに、指示デバイス１の把持部１１に触覚で衝突を通知する触覚提示手段を設けておき、衝突時に指示デバイス１を通して触覚を与えるようにしてもよい。つまり、指示デバイス１の把持部１１にバイブレータやヒータを設け、振動あるいは温度変化によって衝突を通知してもよい。このように指示デバイス１ごとに衝突通知手段を設けることにより、後述するように複数の指示デバイス１を同時に用いるときに、各指示デバイス１ごとに衝突を知ることが可能になる。また、触覚提示手段は衝突を通知する目的だけではなく、三次元画像内の場所に応じた情報を提示する目的に用いてもよい。つまり、三次元画像として表示されている仮想物体の温度などを提示する手段として用いてもよい。

コンピュータ３による上述の機能を実現するプログラムの処理手順を図３に示す。図では上述した衝突の判断を行う例を示しているが、衝突の判断が不要であれば衝突判定（Ｓ６）を省略することが可能である。指示デバイス１を操作して三次元画像内で指標Ｐを移動させるにあたっては、まず利用者初期位置設定部１３を用いて利用者Ｍの初期位置が入力される（Ｓ１）。したがって、視野判定部３４では視野の初期値が得られる。以下の処理は動作中において繰り返される処理であって、まず指標データ生成部３１において、指示デバイス１の位置および向きを指示デバイス位置・方向検出部４１から読み込み（Ｓ２）、さらに指標デバイス長さ数値設定部４２から指標Ｐの長さを指定する数値を読み込む（Ｓ３）。この時点で、指標データ生成部３１に必要な情報が揃うから、指標データ生成部３１では指標データを生成する（Ｓ４）。ここに、ステップＳ２とステップＳ３とは逆でもよいのはもちろんのことである。

生成された指標データは画像データ生成部３３に入力され、さらに画像データ生成部３３では仮想空間データ生成部３２から仮想三次元空間の画像データを読み込む（Ｓ５）。また、仮想空間衝突判定部３６においても指標データと画像データとを用いて衝突の有無を判定し、衝突があれば通知する（Ｓ６）。一方、視野判定部３４では視点位置操作部１４の操作を監視しており（Ｓ７）、視点位置操作部１４が操作されたときには利用者Ｍの初期位置に対する視点位置の変更を行い視野を決定して視野データを出力する（Ｓ８）。ここに、指標データや視野データは変更がなければ読み込みを省略してもよい。また、読み込みを省略したデータは処理も不要になる。

指標データと画像データと視野データとが揃うと、画像データ生成部３３では表示用の画像データを生成し（Ｓ９）、画像出力部３５から出力する画像内容を更新する（Ｓ１０）。ステップＳ２〜Ｓ１０の処理は動作中に繰り返され、１回の繰り返しの時間を１／３０秒以下にすることによって、利用者Ｍに対して滑らかに変化する画像を提供することができる。

上述したように、仮想三次元空間においては、指示デバイス１の前端から棒状の指標Ｐが延長された形で表示されるから、仮想三次元空間内の仮想物体Ｏｂ１，Ｏｂ２に指標Ｐの先端を接触させる際に、あたかも実空間において手に持った棒を対象物に接触させる感覚と同様の感覚で操作することができ、仮想物体Ｏｂ１，Ｏｂ２を指標Ｐで指定ないし選択する操作を直感的かつ容易に行うことが可能になる。

ところで、指示デバイス１は、図４のような形状に形成することができる。すなわち、手で握ることができる棒状の把持部１１を有したケース１０を備え、把持部１１の長手方向の一端（前端）には液晶表示器などからなる数値表示部１２が設けられる。把持部１１と数値表示部１２との間には数値を選択するためのダイアル１３と、指標Ｐで触れた仮想三次元空間の所望の部位（たとえば、仮想物体Ｏｂ１，Ｏｂ２）の選択を決定する際に押操作される押釦スイッチ１４とが設けられる。図４（ａ）の構成と図４（ｂ）の構成とはダイアル１３の回転方向が相違するものであって、図４（ａ）の構成ではダイアル１３が把持部１１の長手方向に沿った中心線の回りに回転するのに対して、図４（ｂ）の構成ではダイアル１３が把持部１１の長手方向に直交する１つの軸回りに回転するように構成してある。数値表示部１２とダイアル１３とを用いることによって指標Ｐの長さを入力することができ、この構成を採用することにより、図２に示した実施形態のように指標Ｐの長さをキーボード５から入力する必要がなくなる。また、指示デバイス１において指標Ｐの長さを調節することが可能であるから、利用者Ｍが三次元画像内の指標Ｐの長さを確認しながら、指標Ｐの長さを適正に調節することが可能になる。押釦スイッチ１４はモメンタリ型（押操作中のみオンになる）であって、マウスにおけるクリックボタンと同様に、指標Ｐが触れた部位を選択する際に押操作される。押釦スイッチ１４の押操作の有無は、図示しないインタフェースを介してコンピュータ３に認識される。なお、数値表示部１２を省略し、ダイアル１３で選択した数値をスクリーン２２に投影してもよい。

上述した指示デバイス１では、単純な棒状の指標Ｐを三次元画像に表示する例を示したが、図５に示すように、棒状の指標Ｐに付加情報を示す補助指標Ｑを三次元画像に表示してもよい（図示例ではダイヤル１３および押釦スイッチ１４を省略している）。図に示す補助指標Ｑはコンパスの針状の図形であって、視野内の三次元画像の中心が示す方位（つまり、利用者Ｍが見ている視野の方位）を示したり、指標Ｐの長手方向が三次元画像の正面に対してなす方向を示したりすることができる。図示例では補助指標Ｑによって指標Ｐの長手方向が示す仮想三次元空間内の方位を示しており、指標Ｐの長手方向が東西方向であることを示している。

補助指標Ｑはコンパスの針状の図形以外にも所望の図形を用いることが可能であって、分度器状として角度の基準を示したり、定規ないし巻き尺状として尺度を示したりすることができる。また、指標Ｐあるいは補助指標Ｑに着色することによって（色相、明度、彩度）の基準値を示すことも可能である。また、補助指標Ｑの位置は適宜に設定すればよく、図示例では指標Ｐの先端側に補助指標Ｑを設けているが、指標Ｐの基端側に設けてもよい。

ところで、指標Ｐは通常は指示デバイス１の位置および向きに連動して仮想三次元空間内で移動するが、指示デバイス１から指標Ｐを切り離して三次元画像に表示することも可能になっている。つまり、三次元画像に表示された指標Ｐを指示デバイス１から切り離してその位置に留めることが可能になっている。指示デバイス１から指標Ｐを切り離す分離操作手段は、押釦スイッチ１４を続けて２回押す操作などにより対応付けられ、コンピュータ３において実行されるプログラムでは、この種の操作により指標Ｐを指示デバイス１から切り離す処理が行われる。指標Ｐの長さは数値によって規定されているから、指示デバイス１から指標Ｐを切り離すことによって、三次元画像内に尺度を与えることができ、また指標Ｐの向きによって三次元画像に基準の方向を与えることが可能になる。このようにして複数の指標Ｐ，Ｐ１〜Ｐ４を三次元画像内に配置した例を図６に示す。つまり、指示デバイス１から切り離された指標Ｐは三次元画像内に留まるが、三次元画像内には指示デバイス１と連動する指標Ｐが新たに生成されるのであって、図６では指標Ｐ１〜Ｐ４が三次元画像内に留まった指標を表している。このように三次元画像内に留まっている指標Ｐ１〜Ｐ４は、三次元画像内の仮想物体として扱うことができ、指示デバイス１に連動する指標Ｐの先端で触れるとともに押釦スイッチ１４を押しながら指標Ｐを移動させることによって、指標Ｐ１〜Ｐ４の位置を変更することが可能になっている。この操作はマウスによるドラッグアンドドロップと同様の操作であって、指示デバイス１から切り離された指標Ｐ１〜Ｐ４は仮想物体として扱うことができるのである。

上述のように、三次元画像内の仮想物体は指標Ｐで触れることにより移動させることが可能であって、図７に示すように、三次元画像内に複数個（図示例では２個）の仮想物体Ｏｂ１，Ｏｂ２が存在するときには、複数個（図示例では２個）の指示デバイス１ａ，１ｂを用い、各指示デバイス１ａ，１ｂに連動する指標Ｐで所望の仮想物体Ｏｂ１，Ｏｂ２を指定し（先端を接触させる）、仮想物体Ｏｂ１，Ｏｂ２をそれぞれ移動させるようにしてもよい。このように複数個の指示デバイス１ａ，１ｂを用いる場合には、指示デバイス位置・方向検出部４１、指示デバイス長さ数値設定部４２、指標データ生成部３１を各指示デバイス１ａ，１ｂごとに設け、各指標データ生成部３１からそれぞれ出力される指標データを画像データ生成部３３において合成すればよい。上述のように、各指示デバイス１ａ，１ｂに対応する指標Ｐで異なる仮想物体Ｏｂ１，Ｏｂ２をそれぞれ移動させることが可能になっているから、たとえば仮想物体Ｏｂ１をボルトとし、仮想物体Ｏｂ２をナットとして、各指示デバイス１ａ，１ｂを左右の手でそれぞれ持つことにより、仮想三次元空間に配置したボルト（仮想物体Ｏｂ１）とナット（仮想物体Ｏｂ２）との緩め締めが可能になる。なお、図では１人の利用者Ｍが左右の手で指示デバイス１ａ，１ｂを操作する状態を示しているが、複数の利用者Ｍがそれぞれ指示デバイス１ａ，１ｂを操作することも可能である。

上述の例では、指示デバイス１を利用者Ｍが手で持つことによって、利用者Ｍの手の動く範囲内では任意の位置および向きに指示デバイス１を移動させることができるようにした例を示したが、図８に示すように、指示デバイス１を移動制限手段としてのスタンド７に取り付けることによって、指示デバイス１の移動範囲を制限することが可能である。図示例では、指示デバイス１の方位角（水平面に平行な面内での回転角）と仰角・伏角（垂直面に平行な面内での回転角）とが変更可能になっている。また、指標Ｐの長さも可変になっている。このように指標Ｐの自由度を６自由度から３自由度に制限することによって、操作が簡単になる上にコンピュータ３での指標Ｐに関する処理が簡単になる。指示デバイス１の動きの自由度のうちのどれを制限するかは目的に応じて適宜に選択することが可能である。

指示デバイス１の位置および向きを検出する指示デバイス位置・方向検出部４１の構成例として、磁気センサ、加速度センサ、光学的センサを挙げたが、図９に示す構成によっても指示デバイス１の位置および向きを検出してもよい。図示例は、指示デバイス１に、スクリーン２２を撮像することができる撮像素子（図示せず）と、撮像素子の視野ＶＦ内に光スポットＳＰを投影する投光素子（図示せず）とを設け、撮像素子により得られる光スポットＳＰの画像を用いて指示デバイス１の位置および向きを検出している。すなわち、撮像素子により撮像される光スポットＳＰの形状や面積は指示デバイス１とスクリーン２２との相対位置によって変化するから、スクリーン２２の位置および形状と撮像素子の視野ＶＦとを考慮し、光スポットＳＰの形状などを用いて幾何学的に計算すれば、スクリーン２２に対する指示デバイス１の位置および向きを知ることができる。たとえば、投光素子から平面であるスクリーン２２に対して円形パターンを投影したときに、スクリーン２２に楕円形の光スポットＳＰが形成されたとすると、楕円の寸法および傾きによってスクリーン２２と指示デバイス１との相対位置を知ることができるから、スクリーン２２の位置が既知であれば指示デバイス１の位置を知ることができる。すなわち、指示デバイス位置・方向検出部４１として撮像素子および投光素子を設け、指標データ生成部３１において上述した幾何学的な計算を行うのである。なお、スクリーン２２上の画像に形成される光スポットＳＰが利用者Ｍに認識されないように、投光素子は赤外線のような不可視光を用いる。また、投光素子からスクリーン２２に投影するパターンは円形パターンに限らず、適宜の形状のパターンを用いることができる。

上述したように、複数の指示デバイス１を用いることによって１つのスクリーン２２に複数本の独立した指標Ｐを表示することが可能であるから、異なる複数台のコンピュータ３にそれぞれ指示デバイス１を接続し、コンピュータ３間でデータ通信を行うことによって１つの三次元画像の中に各コンピュータ３に対応する指示デバイス１に対応して生成した指標Ｐを表示することが可能である。つまり、各コンピュータ３に通信手段（図示せず）を設け、図１０（ａ）のように各コンピュータ３をインターネットやローカルエリアネットワークのようなネットワークＮＴに接続することによって、ネットワークＮＴを介してコンピュータ３間でデータ通信が可能になるようにしてあり、いずれか１台のコンピュータ３に設けた仮想空間データ生成部３２から与えられる画像データと、各コンピュータ３でそれぞれ生成された指標データとを各コンピュータ３で共用する構成としている。この構成によって、図１０（ｂ）のように１つの三次元画像について、複数の利用者Ｍ１，Ｍ２がそれぞれ指示デバイス１を用いて複数の指標Ｐを表示することが可能になる。したがって、互いに遠方に存在する利用者Ｍ１，Ｍ２が、１つの三次元画像について討議を行ったり、三次元画像を用いるゲームで対戦したりするような利用が可能になる。なお、上述した各技術は適宜に組み合わせて用いることができる。

本発明の実施形態を示すブロック図である。 同上の概略構成図である。 同上の処理手順を示す動作説明図である。 （ａ）（ｂ）はそれぞれ同上に用いる指示デバイスの外観を示す斜視図である。 同上における指標の一例を示す図である。 同上の動作説明図である。 同上の使用例を示す図である。 同上の使用例を示す図である。 同上の動作説明図である。 （ａ）は同上の使用例を示す概略構成図、（ｂ）は同上の使用例を示す図である。

符号の説明

１ 指示デバイス
２ 仮想空間表示手段
３ コンピュータ
４ スピーカ
７ スタンド
１４ 押釦スイッチ
２２ スクリーン
３１ 指標データ生成部
３６ 仮想空間衝突判定部
３７ 衝突表示部
４１ 指示デバイス位置・方向検出部
４２ 指示デバイス長さ数値設定部
Ｏｂ１，Ｏｂ２ 仮想物体
Ｐ 指標

Claims (5)

1. コンピュータにより規定された仮想三次元空間に関して仮想空間表示手段に設けたスクリーンに投影された三次元画像に向かって実空間内で所望の向きに向けることができる指示デバイスと、前記指示デバイスの実空間での位置および向きを検出する指示デバイス位置・方向検出部と、前記指示デバイスを向けた向きに長さを有する指標を前記三次元画像の中に表示するための指標データを生成する指標データ生成部と、前記指示デバイス位置・方向検出部により検出された前記指示デバイスの実空間での位置および向きとともに指標の長さを指標データ生成部に与える指示デバイス長さ数値設定部とを備え、前記指示デバイス位置・方向検出部は、前記指示デバイスに設けられ前記スクリーンに所要のパターンを投影する投光素子と、前記指示デバイスに設けられ前記投光素子から前記スクリーンに投影されたパターンを撮像する撮像素子とを備え、前記指標データ生成部は撮像素子により撮像されたパターンの形状を用いて前記指示デバイスの位置および向きを計算することを特徴とする仮想空間内位置指示装置。
2. 前記指示デバイスと前記指示デバイス位置・方向検出部と前記指示デバイス長さ数値設定部と前記指標データ生成部とが複数個ずつ設けられ、前記仮想空間表示手段は前記三次元画像内に各指示デバイスごとの指標を重ねて表示することを特徴とする請求項１記載の仮想空間内位置指示装置。
3. 実空間内における前記指示デバイスの位置および向きの変化の自由度を制限する移動制御手段が付加されることを特徴とする請求項１または請求項２記載の仮想空間内位置指示装置。
4. 前記指示デバイスは、指標により指定した前記三次元画像内の場所に応じた触覚を提示する触覚提示手段を備えることを特徴とする請求項１ないし請求項３のいずれか１項に記載の仮想空間内位置指示装置。
5. 前記三次元画像内の仮想物体と前記指示デバイスに連動する指標との衝突の有無を判定する仮想空間衝突判定部と、前記仮想空間衝突判定部により衝突が検出されたことを通知する衝突通知手段とが付加されていることを特徴とする請求項１ないし請求項４のいずれか１項に記載の仮想空間内位置指示装置。

Images