JP3770965B2

JP3770965B2 - 3D virtual space experience device

Info

Publication number: JP3770965B2
Application number: JP18554696A
Authority: JP
Inventors: 和廣岡田
Original assignee: Wacoh Corp
Current assignee: Wacoh Corp
Priority date: 1996-06-26
Filing date: 1996-06-26
Publication date: 2006-04-26
Anticipated expiration: 2016-06-26
Also published as: JPH1011608A

Description

【０００１】
【発明の属する技術分野】
本発明は三次元仮想空間の体験装置に関し、特に、三次元仮想空間内を移動しながら種々の対象物を自由自在に観察することが可能な三次元仮想空間の体験装置に関する。
【０００２】
【従来の技術】
近年、パーソナルコンピュータの普及により、ディスプレイ画面上に三次元仮想空間を投影し、この仮想空間内を自由に移動する体験を提供することができるようになってきた。たとえば、ゲームソフトウエアの分野では、コンピュータによって構築された三次元仮想空間内をプレーヤが探検してゆくようなジャンルのものが広く普及している。また、パソコン通信の普及により、いわゆるオンラインショッピングという販売方法が一般に定着しつつあり、特に、インターネットにより商品情報を提供する場合には、三次元仮想空間を体験させながら商品を紹介する方法が注目されている。たとえば、インターネットを利用して、顧客に対して、三次元仮想空間内に構築された疑似デパート内を歩きまわる体験を提供することにより、種々の商品を紹介するような提案もなされている。顧客は自宅に居ながらにして、あたかもデパート内を歩きまわるようにして種々の商品を見てまわることができ、しかも、興味のある商品については、これを所望の角度から十分に観察することも可能になる。
【０００３】
仮想空間内を自由に移動するためには、自分が望む移動方向をコンピュータに対して指示する必要がある。パーソナルコンピュータに対する入力デバイスとしては、キーボード、マウス、トラックボール、トラックパッド、ジョイスティック、グラフィックタブレットなどが一般に利用されているが、三次元仮想空間内における移動方向を指示するための入力デバイスとしては、通常、直観的に方向を指示する入力を行うことが便利なマウスやジョイスティックなどが利用されている。たとえば、ジョイスティックを用いれば、ステックを前方へ傾斜させることにより前進を指示し、後方へ傾斜させることにより後退を指示し、右方へ傾斜させることにより右転を指示し、左方へ傾斜させることにより左転を指示するといった入力形態を採ることができる。ユーザはこれらの指示を組み合わせることにより、三次元空間内を自由に移動することが可能になる。
【０００４】
【発明が解決しようとする課題】
コンピュータに搭載されるＣＰＵの性能やメモリの容量は年々著しく向上してきており、今後は、より現実に近い繊細な画像を非常にスムーズな動きをもってディスプレイ画面上に提示することが可能になるものと思われる。しかしながら、コンピュータ内部の画像データ処理機能が格段に向上したとしても、ユーザの意思をコンピュータへ伝達するインターフェイスが不十分であると、三次元仮想空間の体験装置全体の機能向上は望めない。すなわち、より現実に近い体験を提供するためには、ユーザがその意思どおりに自由自在に三次元空間内を移動することができ、見たい物を見たい態様で観察することができるような環境を整える必要がある。ところが、上述したように、パーソナルコンピュータにおける一般的な入力デバイスとしてのマウスやジョイスティックを用いたこれまでの指示入力の方法では、前後左右への移動を指示する程度の環境しか与えることができず、きわめて自由度が制限されていた。もちろん、キーボードを利用してコマンドの形式で指示入力を与えるようにすれば、原理的には無限種類の指示入力が可能であるが、直感的な操作にはならないため、人間にとって自然な指示入力にはならないという弊害が生じることになる。
【０００５】
そこで本発明は、直感的な自然な操作によって、できるだけ現実に近い自由度をもった体験を提示することができる三次元仮想空間の体験装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
(1) 本発明の第１の態様は、ＵＶＷ三次元直交座標系内において、ＵＶ平面を水平面とし、Ｗ軸を鉛直軸として定義された三次元仮想空間を構成する個々の要素についての三次元画像データを記憶する三次元画像データ記憶手段と、
ＵＶＷ座標系内におけるＵＶ平面上の位置Ｐを示す座標値（ｕ，ｖ）と、この位置Ｐもしくはその鉛直上方位置Ｐ′を始点として定義された視線ベクトルＥのＵＶ平面に対する角度θおよびＵＷ平面に対する角度φと、視線ベクトルＥが示す方向にある三次元仮想空間構成要素の投影倍率を示す倍率値Ｍと、からなる姿勢状態データを記憶する姿勢状態データ記憶手段と、
上述した三次元画像データと姿勢状態データとに基づいて、位置Ｐもしくはその鉛直上方位置Ｐ′から視線ベクトルＥの方向を眺めたときの状態を倍率値Ｍに基づいて投影した二次元視界画像を示す視界画像データを生成する視界画像データ生成手段と、
この視界画像データに基づいて二次元視界画像を表示する表示手段と、
ＸＹＺ三次元直交座標系におけるＸ軸方向の操作量と、Ｙ軸方向の操作量と、Ｚ軸方向の操作量と、を検出し、検出した各操作量を出力する三次元操作量センサと、
第１の状態および第２の状態のいずれか一方を選択的に設定できる設定スイッチと、
三次元操作量センサの出力および設定スイッチの設定に基づいて、姿勢状態データ記憶手段内の姿勢状態データを更新する姿勢状態データ更新手段と、
により三次元仮想空間の体験装置を構成し、姿勢状態データ更新手段が、
設定スイッチが第１の状態にあるときには、視線ベクトルＥをＵＶ平面上に投影することにより得られる投影ベクトルＦを考慮して、Ｘ軸方向の操作量に基づいてＵＶ平面上の位置Ｐを投影ベクトルＦに直交する方向に移動するように座標値（ｕ，ｖ）を更新し、Ｙ軸方向の操作量に基づいてＵＶ平面上の位置Ｐを投影ベクトルＦの示す方向あるいはその逆方向に移動するように座標値（ｕ，ｖ）を更新し、
設定スイッチが第２の状態にあるときには、Ｘ軸方向の操作量に基づいて角度φを増減し、Ｙ軸方向の操作量に基づいて角度θを増減し、
設定スイッチの設定にかかわらず、もしくは、設定スイッチがいずれか一方の状態にあるときに、Ｚ軸方向の操作量に基づいて倍率値Ｍを増減する機能を有するようにしたものである。
【０００７】
(2) 本発明の第２の態様は、上述の第１の態様に係る体験装置において、
２つの状態のいずれか一方を選択的に設定できる補助設定スイッチを更に設け、
三次元操作量センサとして、Ｚ軸方向の操作量に関しては、正の操作量＋Ｚおよび負の操作量−Ｚのうちの少なくとも一方の操作量を検出できるセンサを用い、
姿勢状態データ更新手段が、補助設定スイッチの状態に基づいて、Ｚ軸方向の操作量の符号を反転した取り扱いを行うように構成したものである。
【０００８】
(3) 本発明の第３の態様は、上述の第１または第２の態様に係る体験装置において、
三次元操作量センサをキーボード上に設け、キーの間隙に立設した操作棹を操作することによって操作量の入力が可能になるような構成とし、キーボード主面にほぼ沿った横方向をＸ軸、縦方向をＹ軸、キーボード主面にほぼ垂直な方向をＺ軸と定義し、操作棹を各座標軸方向に操作することにより各操作量の入力を行えるようにしたものである。
【０００９】
(4) 本発明の第４の態様は、上述の第３の態様に係る体験装置において、
キーボード上の特定のキーを、設定スイッチもしくは補助設定スイッチとして用いるようにしたものである。
【００１０】
【発明の実施の形態】
以下、本発明を図示する実施形態に基づいて説明する。図１は本発明に係る三次元仮想空間の体験装置の基本構成を示すブロック図である。ここで、三次元画像データ記憶手段１０は、ＵＶＷ三次元直交座標系内において、ＵＶ平面を水平面とし、Ｗ軸を鉛直軸として定義された三次元仮想空間を構成する個々の要素についての三次元画像データａを記憶する機能を有する。すなわち、図２に示すようなＵＶＷ三次元直交座標系を定義し、ＵＶ平面を床面とした仮想空間が形成される。たとえば、仮想デパートの空間を構成するのであれば、この三次元座標空間内に配置された陳列棚やショーウインドウなどの要素や、その中に置かれた種々の商品についての三次元画像データが用意されることになる。
【００１１】
姿勢状態データ記憶手段２０は、上述の三次元仮想空間内を移動するユーザの位置および姿勢を示す姿勢状態データｂを記憶する機能を有する。この姿勢状態データｂは、ＵＶＷ座標空間内でのユーザの現在地を示す座標値（ｕ，ｖ）と、このユーザの視線方向を示す視線ベクトルＥの向きを定義する角度（θ，φ）と、ユーザの注視対象物の表示倍率を示す倍率値Ｍと、から構成されている。座標値（ｕ，ｖ）は、図２に示すように、ＵＶＷ座標系内におけるＵＶ平面上の位置Ｐを示すパラメータであり、ユーザが仮想空間内の位置Ｐに立っているとの仮定の下で、以下の処理は行われる。
【００１２】
視線ベクトルＥは、この位置Ｐにいるユーザがどこを見ているかを示すパラメータである。ユーザの身長を無視すれば（すなわち、ユーザ自身を１点Ｐで表せば）、この視線ベクトルＥは位置Ｐを始点とするベクトルになる。ただ、この実施形態では図２に示すように、ユーザの身長（厳密には眼球までの高さ）をｈとして位置Ｐ（ｕ，ｖ）の鉛直上方に位置Ｐ′（ｕ，ｖ，ｈ）を定義し、この位置Ｐ′を始点とした視線ベクトルＥを定義している。また、後述する処理を行う上で、この視線ベクトルＥをＵＶ平面（床面）に投影することにより投影ベクトルＦを定義している。
【００１３】
本発明では、視線ベクトルＥは視線の方向を示すパラメータとして用いられているので、その方向成分は重要であるが、ベクトルの大きさ（長さ）に関する情報は必要としない。そこで、視線ベクトルＥを一対の角度（θ，φ）によって、その方向のみを定義している。すなわち、視線ベクトルＥのＵＶ平面に対する角度を角度θと定義し（この実施形態では、ＵＶ平面より上方を正、下方を負にとって、−９０°≦θ≦＋９０°なる範囲で角度θを定義）、視線ベクトルＥのＵＷ平面に対する角度を角度φと定義（この実施形態では、Ｕの値が正であるＵＷ平面を基準として、上方から見たときに反時計まわりの方向に角度が増加するようにφを定義しており、０°≦φ＜３６０°なる範囲をとる）している。図３は、図２に示す視線ベクトルＥの始点をＵＶＷ座標系の原点Ｏにまで平行移動した状態を示す図であり、角度θおよびφの定義方法が視覚的に示されている。結局、角度θは、視線ベクトルＥ（ベクトルＯＱ）と、これをＵＶ平面上に投影して得られる投影ベクトルＦ（ベクトルＯＱ′）とのなす角として定義され、角度φはＵ軸と投影ベクトルＦとのなす角として定義される。
【００１４】
一方、倍率値Ｍは、視線ベクトルＥが示す方向にある三次元仮想空間構成要素の投影倍率を示すものであり、いわば視線ベクトルＥの方向にある対象物についてのズーム倍率を示すパラメータである。位置Ｐが全く同じであっても、この倍率値Ｍが大きくなれば対象物により接近したような画像表示がなされ、この倍率値Ｍが小さくなれば対象物から遠ざかったような画像表示がなされることになる。
【００１５】
視界画像データ生成手段３０は、三次元画像データａと姿勢状態データｂとに基づいて、位置Ｐ′（ユーザの身長を無視する取り扱いを行う場合には位置Ｐ）から視線ベクトルＥの方向を眺めたときの状態を倍率値Ｍに基づいて投影した二次元視界画像を示す視界画像データｃを生成する機能を有する。別言すれば、視線ベクトルＥに対する直交面に所定の大きさをもった投影領域を定義し、三次元画像データａによって定義された三次元画像をこの投影領域上に二次元投影する処理が行われることになる。投影領域上に得られた二次元画像が視界画像に相当し、この視界画像を示す視界画像データｃが生成される。表示手段４０は、いわゆるディスプレイ装置であり、この視界画像データｃに基づいて二次元視界画像を表示する機能を有する。倍率値Ｍは、投影領域のサイズを決定するパラメータとなり、倍率値Ｍが大きいほど、小さな投影領域が定義され、投影領域内に投影された二次元の視界画像が表示手段の画面に大きく拡大されて表示されることになる。
【００１６】
以上のように、三次元画像データ記憶手段１０内に予め用意された三次元画像データａは同じであっても、姿勢状態データ記憶手段２０内の姿勢状態データｂによって表示手段４０の画面上に表示される内容は異なることになる。このように、同一の三次元空間内を観察していても、観察位置や視線方向によって異なった視界画像を体験することができる。
【００１７】
本発明に係る装置には、更に、三次元操作量センサ５０、設定スイッチ６０、姿勢状態データ更新手段７０が設けられている。ユーザは、三次元操作量センサ５０および設定スイッチ６０を用いて、姿勢状態データｂの内容を更新するための指示入力を与えることができる。姿勢状態データ更新手段７０は、この指示入力に基づいて、姿勢状態データｂの内容を更新する処理を実行する。こうして、姿勢状態データ記憶手段２０内の姿勢状態データｂが更新されると、その都度、視界画像データ生成手段３０によって新しい視界画像データｃが生成され、表示装置４０上に表示される視界画像はリアルタイムで更新されてゆく。
【００１８】
本発明の特徴は、ユーザによる直感的な自然な操作によって、比較的高い自由度をもった指示入力を実現できる点にあり、本発明に係る装置を用いれば、現実に近い自由度をもった体験を提示することができるようになる。このような指示入力は、三次元操作量センサ５０および設定スイッチ６０によって行われる。三次元操作量センサ５０は、ＸＹＺ三次元直交座標系（ここでは、説明の便宜上、三次元画像データａが定義されている三次元空間とは区別するために、ＵＶＷ三次元直交座標系とは別な座標系を用いることにする）におけるＸ軸方向の正および負の操作量＋Ｘ，−Ｘと、Ｙ軸方向の正および負の操作量＋Ｙ，−Ｙと、Ｚ軸方向の正および負の操作量＋Ｚ，−Ｚと、を検出し、検出した各操作量を出力する機能を有する。一方、設定スイッチ６０は、▲１▼移動モードか、▲２▼回転モードか、のいずれのモードにあるかを設定する機能を有する。
【００１９】
三次元操作量センサ５０としては、三次元座標系のいずれの座標軸について、いずれの方向（正方向か負方向か）に向かっての操作が行われたか、という情報を入力することができれば、どのようなセンサを用いてもかまわないが、ここで述べる実施形態では、静電容量式の三次元力センサを三次元操作量センサ５０として用いている。図４に、この静電容量式三次元力センサ５０の側断面図を示す。このような静電容量式センサについての詳細は、たとえば、特開平８−６７１１号公報などに開示されているので、ここでは簡単な構造説明および動作説明だけを行う。
【００２０】
この図４に示すセンサは、基板５１と蓋部材５２と操作棹５３とによって構成されており、基板５１の上面には５枚の電極Ｅ１〜Ｅ５が形成されている。図５は、このセンサから蓋部材５２および操作棹５３を除去した状態を示す上面図であり、基板５１上に形成された５枚の電極Ｅ１〜Ｅ５の形状および配置が明瞭に示されている（破線は、蓋部材５２の取り付け位置を示す）。
【００２１】
いま、この基板５１の上面がＸＹ平面に含まれるように、ＸＹＺ三次元直交座標系を定義する。操作棹５３は、Ｚ軸方向に伸びた円柱状の部材であり、蓋部材５２の上面中央部に固着されている。蓋部材５２は、基板５１上に形成された５枚の電極Ｅ１〜Ｅ５全体を覆うカバーとして機能するとともに、全体として１つの共通電極として機能する。すなわち、このセンサにおいて、基板５１および操作棹５３は絶縁材料によって構成されているが、５枚の電極Ｅ１〜Ｅ５および蓋部材５２は導電材料から構成されており、蓋部材５２の上面を構成する部分は、５枚の電極Ｅ１〜Ｅ５のすべてに対向する共通の電極としての役割を果たす。したがって、５枚の電極Ｅ１〜Ｅ５とこれに対向した共通電極とにより、５組の容量素子Ｃ１〜Ｃ５が形成されることになる。
【００２２】
また、蓋部材５２は、可撓性をもった導電材料（この例では、金属）から構成されており、操作棹５３に力が加えられると、その力に基づいて撓みを生じる性質を有する。たとえば、操作棹５３の上部に図のＸ軸正方向に向かう力が加えられると、電極Ｅ１に対向する蓋部材５２の一部は下がり、電極Ｅ３に対向する蓋部材５２の一部は上がるように、蓋部材５２全体に撓みが生じることになる。その結果、容量素子Ｃ１の電極間隔は短くなり静電容量値が増加し、容量素子Ｃ３の電極間隔は長くなり静電容量値が減少する。Ｘ軸負方向に向かう力が加わった場合には、これと逆の現象が起こる。したがって、Ｘ軸上に配置された容量素子Ｃ１，Ｃ３の静電容量値を電気的に測定すれば、操作棹５３の上部に対してＸ軸方向に加えられた力の向き（Ｘ軸正方向か負方向か）と、その大きさとを検出することが可能になる。同様に、Ｙ軸上に配置された容量素子Ｃ２，Ｃ４の静電容量値を測定すれば、操作棹５３の上部に対してＹ軸方向に加えられた力の向き（Ｙ軸正方向か負方向か）と、その大きさとを検出することが可能になる。
【００２３】
一方、操作棹５３に対して、図４の上方へと引っ張りあげる力（Ｚ軸正方向の力）が加えられた場合、電極Ｅ５に対向する中央部分が上がるように蓋部材５２全体に撓みが生じ、容量素子Ｃ５の電極間隔が長くなり静電容量値は減少する。逆に、操作棹５３に対して、図４の下方へと押し込む力（Ｚ軸負方向の力）が加えられた場合、電極Ｅ５に対向する中央部分が下がるように蓋部材５２全体に撓みが生じ、容量素子Ｃ５の電極間隔が短くなり静電容量値は増加する。したがって、容量素子Ｃ５の静電容量値を電気的に測定すれば、操作棹５３の上部に対してＺ軸方向に加えられた力の向き（Ｚ軸正方向か負方向か）と、その大きさとを検出することが可能になる。
【００２４】
こうして、図４および図５に示す静電容量式力センサは、本発明における三次元操作量センサ５０として機能し、ＸＹＺ各座標軸に沿った操作量±Ｘ，±Ｙ，±Ｚを検出し、検出した操作量を姿勢状態データ更新手段７０に与える機能を果たすことができる。なお、この図４および図５に示すセンサによれば、三次元座標系のいずれの座標軸について、いずれの方向（正方向か負方向か）に向かって、どの程度の量の操作が行われたか（すなわち、操作棹５３の上部にどの程度の力が加えられたか）という情報を入力することができるが、本発明に適用する上では、操作棹５３に加えられた力の量までを検出する機能はなくてもかまわない。たとえば、Ｘ軸に沿った操作量±Ｘに関しては、上述のセンサを用いれば、容量素子の静電容量値の測定値に基づき、＋３．２とか、−８．４といった具体的なスカラー値までを特定することが可能であるが、本発明では、必ずしもこのようなスカラー値まで特定する機能は必要なく、たとえば、Ｘ軸に沿った操作量に関しては、＋Ｘ方向の力が検出された（たとえば操作量＋１）、−Ｘ方向の力が検出された（たとえば操作量−１）、Ｘ軸方向には有意なレベルでの力検出はない（たとえば操作量０）、という３つの状態だけを認識する機能が備わっていれば十分である。
【００２５】
一方、設定スイッチ６０は、第１の状態（▲１▼移動モード）および第２の状態（▲２▼回転モード）のいずれか一方を選択的に設定できるスイッチであれば、どのようなスイッチを用いてもかまわない。２つの状態設定を切り替えることができるいわゆる「切り替えスイッチ」を用いてもよいし、通常は第１の状態を維持しつつ、指で押し続けている間だけは第２の状態になるようないわゆる「押しボタン式スイッチ」を用いてもよい。あるいは、１回押すごとに、２つの状態が交互に入れ替わるようないわゆる「トグルスイッチ」を用いてもよい。
【００２６】
本発明の特徴は、三次元操作量センサ５０と設定スイッチ６０との組み合わせによって、姿勢状態データ更新手段７０に対する指示入力を行うようにした点にある。設定スイッチ６０により「▲１▼移動モード」の設定がなされていた場合には、三次元操作量センサ５０により移動に関する指示を入力することができ、設定スイッチ６０により「▲２▼回転モード」の設定がなされていた場合には、三次元操作量センサ５０により回転（視線変更）に関する指示を入力することができる。これらの指示入力は、三次元操作量センサ５０における操作量±Ｘ，±Ｙとして与えられることになるが、その他に本発明では、三次元操作量センサ５０における操作量±Ｚを利用して、表示対象物に関する倍率値Ｍを更新する指示入力を行うようにしている。いずれの指示入力も、三次元操作量センサ５０を用いているため、非常に直観的な入力が可能になる。
【００２７】
姿勢状態データ更新手段７０は、三次元操作量センサ５０から与えられる操作量±Ｘ，±Ｙ，±Ｚを示す信号と、設定スイッチ６０から与えられる状態▲１▼／▲２▼を示す信号とに基づいて、姿勢状態データ記憶手段２０内の姿勢状態データｂに対して、次のような更新処理を実行する。
【００２８】
まず、設定スイッチ６０が「▲１▼移動モード」に設定されていた場合は、視線ベクトルＥをＵＶ平面上に投影することにより得られる投影ベクトルＦを考慮して、操作量＋Ｘおよび−Ｘに基づいてＵＶ平面上の位置Ｐを投影ベクトルＦに直交する方向に移動するように座標値（ｕ，ｖ）を更新し、操作量＋Ｙおよび−Ｙに基づいてＵＶ平面上の位置Ｐを投影ベクトルＦの示す方向あるいはその逆方向に移動するように座標値（ｕ，ｖ）を更新する処理を行う。このような更新処理により、「▲１▼移動モード」では、三次元操作量センサ５０上で定義されたＸＹ平面と、三次元画像データａ上で定義されたＵＶ平面とが対応することになり、ユーザは三次元操作量センサ５０によって直感的に指示した方向へ、三次元仮想空間内を移動することができる。
【００２９】
より具体的には、操作量＋Ｘが与えられた場合には、ＵＶ平面上において投影ベクトルＦに直交する線に沿って右方向に位置Ｐが移動するように、座標値（ｕ，ｖ）が更新され、操作量−Ｘが与えられた場合には、ＵＶ平面上において投影ベクトルＦに直交する線に沿って左方向に位置Ｐが移動するように、座標値（ｕ，ｖ）が更新される。したがって、ユーザとしては、視線の向きを固定したまま、右方向あるいは左方向へ移動する状態が体験できる。
【００３０】
また、操作量＋Ｙが与えられた場合には、投影ベクトルＦが示す方向に沿って位置Ｐが移動するように、座標値（ｕ，ｖ）が更新され、操作量−Ｙが与えられた場合には、投影ベクトルＦが示す方向とは逆方向に沿って位置Ｐが移動するように、座標値（ｕ，ｖ）が更新される。したがって、ユーザとしては、視線の向きを固定したまま、前方あるいは後方へ移動する状態が体験できる。
【００３１】
これに対して、設定スイッチ６０が「▲２▼回転モード」に設定されていた場合は、操作量＋Ｘおよび−Ｘに基づいて角度φを増減し、操作量＋Ｙおよび−Ｙに基づいて角度θを増減する更新処理を行う。このような更新処理により、「▲２▼回転モード」では、三次元操作量センサ５０上で定義されたＸＹ平面と、三次元画像データａ上で定義されたＵＷ平面とが対応することになり、ユーザは三次元操作量センサ５０によって直感的に指示した方向へ、視線ベクトルＥを向けることができる。別言すれば、角度φを増減する操作は、直観的には、位置Ｐにおいて、身体の向きを左右に変える操作に相当し、角度θを増減する操作は、直観的には、位置Ｐにおいて、顔の上下方向の向きを変える操作（たとえば、視線を床から天井へ向けて移動させる操作）に相当することになる。
【００３２】
より具体的には、操作量＋Ｘが与えられた場合には、角度φを減少させて視線ベクトルＥを上方から見たときに時計まわり（右まわり）に回転させる操作が行われ、操作量−Ｘが与えられた場合には、角度φを増加させて視線ベクトルＥを上方から見たときに反時計まわり（左まわり）に回転させる操作が行われる。なお、角度φは、０°≦φ＜３６０°なる範囲で定義されているので、この増減処理により０°＜φとなった場合には、３６０°を加算した値を新たなφの値とし、３６０°≦φとなった場合には、３６０°を減算した値を新たなφの値とする補正が行われる。
【００３３】
また、操作量＋Ｙが与えられた場合には、角度θを減少させて視線ベクトルＥを下方へ回転させる操作が行われ、操作量−Ｙが与えられた場合には、角度θを増加させて視線ベクトルＥを上方へ回転させる操作が行われる。なお、角度θは、−９０°≦θ≦９０°なる範囲で定義されているので、この増減処理によりθ＞９０°となるような場合にはθ＝９０°に維持し、θ＜−９０°となるような場合にはθ＝−９０°に維持する飽和処理が行われる。
【００３４】
更に、操作量＋Ｚおよび−Ｚに基づいて倍率値Ｍを増減する処理が行われる。すなわち、操作量＋Ｚが与えられた場合には、倍率値Ｍを減少させる処理が行われ、操作量−Ｚが与えられた場合には、倍率値Ｍを増加させる処理が行われる。このような更新処理により、三次元操作量センサ５０上で定義されたＺ軸と、三次元仮想空間内で注視する対象物の表示倍率とが対応することになり、ユーザは三次元操作量センサ５０によって、あたかもカメラのズームレバーを操作するように、表示倍率を変えることができる。
【００３５】
なお、この操作量±Ｚによる倍率値Ｍの更新処理は、設定スイッチ６０の設定状態にかかわらず常に実行されるようにしてもよいし、設定スイッチ６０がいずれか一方の設定状態にあるときにのみ実行されるようにしてもよい。ここに示す実施形態では、ユーザの操作上の混乱を避けるため、設定スイッチ６０が「▲１▼移動モード」の設定状態になっているときにのみ、この倍率値Ｍの更新処理が行われるようにしている。
【００３６】
図６は、設定スイッチ６０の設定状態と三次元操作量センサ５０から与えられた操作量との組み合わせについて、姿勢状態データ更新手段７０で行われる更新処理の内容を示す図表である。上述したように、「▲１▼移動モード」においては、操作量±Ｘ，±Ｙに基づいて位置Ｐの座標値（ｕ，ｖ）を更新する処理が行われるとともに、操作量±Ｚに基づいて倍率値Ｍを更新する処理が行われ、「▲２▼回転モード」においては、操作量±Ｘ，±Ｙに基づいて視線ベクトルＥの向きを示す角度値（θ，φ）を更新する処理が行われる。
【００３７】
なお、各操作量として、そのスカラー値までも特定可能な三次元操作量センサ５０を用いた場合には、そのスカラー値に応じた更新幅で更新処理を行うことができる。たとえば、「▲１▼移動モード」において、操作量＋Ｙが入力された場合であっても、Ｙ＝＋５なる操作量が入力された場合に対し、Ｙ＝＋１０なる操作量が入力された場合は、位置Ｐの移動量が２倍になるように設定すると、より直観的な移動処理が可能になる。もっとも、本発明に適用する三次元操作量センサ５０としては、必ずしもこのようなスカラー値までも特定できる必要はなく、たとえば、Ｙ軸方向に関しては、＋Ｙ方向の力が検出された、−Ｙ方向の力が検出された、Ｙ軸方向には有意なレベルでの力検出はない、という３つの状態だけを認識する機能が備わっていれば十分であり、この場合は、同じ検出状態が継続する時間によって、更新幅が決定されることになる。たとえば、「＋Ｙ方向の力が検出された」という検出状態が１秒間継続した場合に対し、２秒間継続した場合は位置Ｐの移動量が２倍になればよい。
【００３８】
ところで、図４および図５に示すような三次元操作量センサ５０を操作する場合、±Ｘ，±Ｙ，−Ｚという５種類の操作量を入力する操作は比較的容易であり、自然な操作として実行できるが、＋Ｚという操作量の入力操作はやや不自然な操作で扱いにくい。すなわち、操作量±Ｘ，±Ｙを入力する操作は、操作棹５３の上部に指を当てて、所定方向に操作棹５３を倒すように傾ける操作になり、操作量−Ｚを入力する操作は、操作棹５３の上面に指を当てて下方へと押し込む操作になり、いずれも自然な操作になる。ところが、操作量＋Ｚを入力する操作は、操作棹５３を指でつまんで、これを上方へと引っ張り上げる操作になるため、不自然で扱いにくい操作になる。
【００３９】
このような弊害を避けるためには、図１に示す構成の代わりに、図７に示す構成を採ればよい。この図７に示す構成では、三次元操作量センサ５０としては、±Ｘ，±Ｙ，−Ｚ（座標系の定義のしかたによっては＋Ｚ）という５種類の操作量を入力する機能が備わっていれば足り、操作量＋Ｚ（座標系の定義のしかたによっては−Ｚ）を入力する機能は必ずしも必要とはされない。その代わり、新たに補助設定スイッチ８０を設ける必要がある。この補助設定スイッチ８０は、設定スイッチ６０と同様に、２つの状態のいずれか一方を選択的に設定できるスイッチであれば、どのようなスイッチでもかまわない。
【００４０】
このような構成の体験装置では、姿勢状態データ更新手段７０は、補助設定スイッチ８０の設定状態に基づいて操作量Ｚの符号を決定する。この実施形態では、補助設定スイッチ８０によって、「▲１▼正常モード」か、「▲２▼反転モード」か、の設定が可能であり、「▲１▼正常モード」の設定がなされている場合には、姿勢状態データ更新手段７０は、三次元操作量センサ５０から与えられる操作量−Ｚをそのままの状態で取り扱うが、「▲２▼反転モード」の設定がなされている場合には、符号を反転させて、操作量−Ｚが与えられているにもかかわらず操作量＋Ｚが与えられたものとしての取り扱いを行う。
【００４１】
このような補助設定スイッチ８０を設けた体験装置では、図４および図５に示すような三次元操作量センサ５０に対する入力操作は、±Ｘ，±Ｙ，−Ｚという５種類の操作量の入力操作だけで足り、操作量＋Ｚを入力するための不自然な入力操作は不要になる。すなわち、ユーザは対象物の表示倍率を増加させたい場合には、補助設定スイッチ８０を「▲１▼正常モード」に維持した状態で、操作棹５３の上面を指で押さえるような操作を行えばよいし、逆に表示倍率を減少させたい場合には、補助設定スイッチ８０を「▲２▼反転モード」に維持した状態で、同じように操作棹５３の上面を指で押さえるような操作を行えばよい。補助設定スイッチ８０を切り替える操作が加わるものの、この補助設定スイッチ８０をたとえば単純な押しボタンスイッチ（通常は「▲１▼正常モード」で、押している間だけ「▲２▼反転モード」に切り替わるようなスイッチ）で構成しておけば、操作は非常に自然になる。
【００４２】
【実施例】
続いて、本発明に係る三次元仮想空間の体験装置のより具体的な実施態様を、実施例に即して説明する。ここでは、三次元仮想空間として、模擬的なデパートの店内を想定し、ユーザがこの模擬的なデパート店内を歩きまわりながら、展示されている商品を観察できるようにした実施例、別言すれば、いわゆるオンラインショッピングを実現するための体験装置に本発明を適用した実施例を述べる。
【００４３】
図８は、模擬的なデパートの店内を示す三次元画像データａの概念を示す平面図であり、ＵＶ平面を垂直上方から眺めた状態が示されている。ここに示す例では、ショーウインドウＳ１，Ｓ２が配置されており、各ショーウインドウ内には商品Ｇが並べられている。ショーウインドウや商品は、それぞれ三次元の画像データ（たとえば、表面に定義された多数の画素の画素値を示すデータ）として定義されている。
【００４４】
既に述べたように、この三次元仮想空間内には、ユーザの位置を示すＵＶ平面上の位置Ｐ（ｕ，ｖ）と、このユーザの視線方向を示す視線ベクトルＥ（θ，φ）が定義されている。図示の例では、視線ベクトルＥは、ショーウインドウＳ１内に展示されている商品Ｇの方向を向いている。ユーザの身長を考慮した場合は、図９の側面図に示すように、視線ベクトルＥは、点Ｐ（ｕ，ｖ）の鉛直上方の点Ｐ′（ｕ，ｖ，ｈ）を始点とするベクトルになる。
【００４５】
設定スイッチ６０を「▲１▼移動モード」に設定した状態で、操作量±Ｘを入力すると、図８に「▲１▼＋Ｘ」あるいは「▲１▼−Ｘ」と記した矢印で示すように、ユーザの位置Ｐは左右に移動することになる。また、同じく「▲１▼移動モード」に設定した状態で、操作量±Ｙを入力すると、図８に「▲１▼＋Ｙ」あるいは「▲１▼−Ｙ」と記した矢印で示すように、ユーザの位置Ｐは前後に移動することになる。こうして、「▲１▼移動モード」において、ユーザはＵＶ平面上を自由に移動することができる。
【００４６】
一方、設定スイッチ６０を「▲２▼回転モード」に設定した状態で、操作量±Ｘを入力すると、図８に「▲２▼＋Ｘ」あるいは「▲２▼−Ｘ」と記した矢印で示すように、ユーザは位置Ｐにおいて左右に回転することになり、視線ベクトルＥの向きが変化することになる。すなわち、ユーザは位置Ｐにおいて左右に向きを変えたことになる。また、同じく「▲２▼回転モード」に設定した状態で、操作量±Ｙを入力すると、図９に「▲２▼＋Ｙ」あるいは「▲２▼−Ｙ」と記した矢印で示すように、視線ベクトルＥは下方あるいは上方へと傾斜することになる。すなわち、ユーザは顔の向きを上下に変えたことになる。こうして、「▲２▼回転モード」において、ユーザは任意の方向を見ることが可能になる。
【００４７】
また、この実施例では、設定スイッチ６０の設定状態にかかわりなく、操作量±Ｚを入力することにより、視線ベクトルＥの方向にある対象物を表示する倍率値Ｍを増減できるようにしている。図１０は、実際に表示装置４０のディスプレイ画面上に表示された視界画像の一例を示す図である。設定スイッチ６０が「▲１▼移動モード」にある場合も、「▲２▼回転モード」にある場合も、操作量−Ｚの入力により倍率値Ｍは増加し、図１０の左に示すように視界画像は拡大され、操作量＋Ｚの入力により倍率値Ｍは減少し、図１０の右に示すように視界画像は縮小される。なお、この実施例では、図４および図５に示す静電容量式力センサを三次元操作量センサ５０として用い、図７に示すように、補助設定スイッチ８０によって操作量Ｚの符号を決定する構成を採っているため、補助設定スイッチ８０を「▲１▼正常モード」にして操作棹５３を押し込むと視界画像は拡大表示（ズームアップ）され、補助設定スイッチ８０を「▲２▼反転モード」にして操作棹５３を押し込むと視界画像は縮小表示（ズームダウン）される。
【００４８】
図１１は、上述した実施例に係る体験装置において、各スイッチの設定状態と操作量との組み合わせについて、姿勢状態データ更新手段７０で行われる更新処理の内容を示す図表である。この図表からもわかるとおり、この実施例の場合、補助設定スイッチ８０の設定状態は操作量±Ｘ，±Ｙには無関係であり、設定スイッチ６０の設定状態は操作量−Ｚには無関係であるので、設定スイッチ６０と補助設定スイッチ８０とを兼用するような実施形態も可能である。図１２は、このような実施形態における更新処理の内容を示す図表である。ただ、ユーザによる操作の混乱を防ぐためには、設定スイッチ６０と補助設定スイッチ８０とを別個に設けるのが好ましい。
【００４９】
図１３は、図４および図５に示した静電容量式力センサ５０を、キーボード９０上に設け、キー９１の間隙に操作棹５３を立設するようにした実施例の斜視図である。ここで、センサ５０は、キーボード９０の主面にほぼ沿った横方向（キーボードの長手方向）がＸ軸、縦方向（キーボードの短手方向）がＹ軸、キーボード主面にほぼ垂直な方向がＺ軸となるように、キーボード９０内に埋設されている。ユーザは、キー５３の隙間に配設された操作棹５３を操作することにより、各操作量の入力を行うことができる。なお、このように、センサ５０を内蔵したキーボードの構造は、たとえば、特開平８−６７１１号公報に開示されている。
【００５０】
このように、キーボード９０にセンサ５０を内蔵した構成を採る場合には、このキーボード上に、設定スイッチ６０および補助設定スイッチ８０を独立して設けることもできるが、特定のキー（たとえば、スペースバー、コントロールキーなど）に、設定スイッチ６０および補助設定スイッチ８０としての機能を割り当てることもできる。この場合は、別個独立した設定スイッチを設ける必要はなくなる。たとえば、スペースバーを設定スイッチ６０として利用するのであれば、単に操作棹５３のみを操作すると、「▲１▼移動モード」における操作量入力となり、スペースバーを押しながら操作棹５３を操作すると、「▲２▼回転モード」における操作量入力となるような実施形態が可能である。
【００５１】
【発明の効果】
以上のとおり、本発明に係る三次元仮想空間の体験装置によれば、三次元操作量センサと設定スイッチとを組み合わせた操作量入力を行うようにしたため、直感的な自然な操作によって、できるだけ現実に近い自由度をもった体験を提示することが可能になる。
【図面の簡単な説明】
【図１】本発明に係る三次元仮想空間の体験装置の基本構成を示すブロック図である。
【図２】図１に示す装置における三次元画像データａおよび姿勢状態データｂの内容を説明するための座標図である。
【図３】図２に示した視線ベクトルＥの向きを角度（θ，φ）によって定義する一方法を示す座標図である。
【図４】従来提案されている静電容量式の三次元力センサの側断面図である。
【図５】図４に示すセンサの基板５１上の電極Ｅ１〜Ｅ５の配置を示す上面図である。
【図６】図１に示す三次元仮想空間の体験装置において、設定スイッチ６０の設定状態と三次元操作量センサ５０から与えられた操作量との組み合わせについて、姿勢状態データ更新手段７０で行われる更新処理の内容を示す図表である。
【図７】本発明に係る三次元仮想空間の体験装置の別な基本構成を示すブロック図である。
【図８】模擬的なデパートの店内を示す三次元画像データａの概念を示す平面図である。
【図９】図８に示すデパート店内の側面図である。
【図１０】実際に表示装置４０のディスプレイ画面上に表示された視界画像の一例を示す図である。
【図１１】図７に示す体験装置において、各スイッチの設定状態と操作量との組み合わせについて、姿勢状態データ更新手段７０で行われる更新処理の内容を示す図表である。
【図１２】図７に示す体験装置において、設定スイッチ６０と補助設定スイッチ８０との兼用設定スイッチを用いた実施形態における更新処理の内容を示す図表である。
【図１３】図４および図５に示した静電容量式力センサ５０を、キーボード９０上に設け、キー９１の間隙に操作棹５３を立設するようにした実施例の斜視図である。
【符号の説明】
１０…三次元画像データ記憶手段
２０…姿勢状態データ記憶手段
３０…視界画像データ生成手段
４０…表示手段（ディスプレイ）
５０…三次元操作量センサ
５１…基板
５２…蓋部材
５３…操作棹
６０…設定スイッチ
７０…姿勢状態データ更新手段
８０…補助設定スイッチ
９０…キーボード
９１…キー
ａ…三次元画像データ
ｂ…姿勢状態データ
ｃ…視界画像データ
Ｅ…視線ベクトル
Ｅ１〜Ｅ５…電極
Ｆ…投影ベクトル
Ｇ…商品
Ｍ…対象物の表示倍率値
Ｐ…ＵＶ平面上でのユーザの位置
Ｐ′…ＵＶＷ三次元空間内でのユーザの眼球位置
Ｑ…視線ベクトルＥの先端点
Ｑ′…投影ベクトルＥの先端点
Ｓ１，Ｓ２…ショーウインドウ
θ，φ…視線ベクトルの方向を示す角度[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a three-dimensional virtual space experience device, and more particularly to a three-dimensional virtual space experience device capable of freely observing various objects while moving in a three-dimensional virtual space.
[0002]
[Prior art]
In recent years, with the spread of personal computers, it has become possible to project a three-dimensional virtual space on a display screen and provide an experience of moving freely within this virtual space. For example, in the field of game software, genres in which a player explores a three-dimensional virtual space constructed by a computer are widely used. Also, with the spread of personal computer communication, so-called online shopping is becoming popular, and in particular, when providing product information via the Internet, a method of introducing products while experiencing a three-dimensional virtual space is attracting attention. ing. For example, proposals have been made to introduce various products by using the Internet to provide customers with an experience of walking in a pseudo department store built in a three-dimensional virtual space. Customers can visit various products as if they are walking in a department store while staying at home, and for products that are of interest they can also observe this from a desired angle. It becomes possible.
[0003]
In order to move freely in the virtual space, it is necessary to instruct the computer on the desired moving direction. As input devices for personal computers, keyboards, mice, trackballs, trackpads, joysticks, graphic tablets, etc. are generally used, but as input devices for instructing the moving direction in the three-dimensional virtual space, A mouse, joystick, etc., which are convenient for intuitive input of directions, are used. For example, if you use a joystick, instruct to move forward by tilting the stick forward, instruct to reverse by tilting backward, instruct to turn right by tilting right, and tilt left. It is possible to take an input form such as instructing to turn left. The user can freely move in the three-dimensional space by combining these instructions.
[0004]
[Problems to be solved by the invention]
The performance and memory capacity of CPUs installed in computers have been remarkably improving year by year, and in the future, it will be possible to present more realistic images on display screens with very smooth movement. Seem. However, even if the image data processing function inside the computer is greatly improved, if the interface for transmitting the user's intention to the computer is insufficient, it is not possible to improve the function of the entire experience apparatus in the three-dimensional virtual space. In other words, in order to provide a more realistic experience, the environment allows the user to freely move in the three-dimensional space according to his / her intention, and to observe what he wants to see. It is necessary to arrange. However, as described above, the conventional instruction input method using a mouse or a joystick as a general input device in a personal computer can only provide an environment for instructing movement to the front, back, left, and right. The degree of freedom was extremely limited. Of course, if instruction input is given in the form of a command using a keyboard, in principle, infinite types of instruction input are possible, but since it is not an intuitive operation, instruction input natural to humans is possible. The evil that it will not become will arise.
[0005]
Therefore, an object of the present invention is to provide a three-dimensional virtual space experience device capable of presenting an experience having a degree of freedom as close as possible to reality by an intuitive natural operation.
[0006]
[Means for Solving the Problems]
(1) In the first aspect of the present invention, in the UVW three-dimensional orthogonal coordinate system, the three-dimensional for individual elements constituting a three-dimensional virtual space defined with the UV plane as a horizontal plane and the W axis as a vertical axis. Three-dimensional image data storage means for storing image data;
The coordinate value (u, v) indicating the position P on the UV plane in the UVW coordinate system, and the angle θ and the UW plane with respect to the UV plane of the line-of-sight vector E defined starting from this position P or its vertical upper position P ′ Posture state data storage means for storing posture state data consisting of an angle φ with respect to and a magnification value M indicating the projection magnification of the three-dimensional virtual space component in the direction indicated by the line-of-sight vector E;
Based on the above-described three-dimensional image data and posture state data, a two-dimensional field-of-view image obtained by projecting a state when viewing the direction of the line-of-sight vector E from the position P or its vertically upper position P ′ based on the magnification value M is obtained. View image data generating means for generating view image data to be shown;
Display means for displaying a two-dimensional view image based on the view image data;
In XYZ 3D Cartesian coordinate system An operation amount in the X-axis direction, an operation amount in the Y-axis direction, an operation amount in the Z-axis direction, A three-dimensional manipulated variable sensor for detecting each detected manipulated variable,
A setting switch capable of selectively setting one of the first state and the second state;
Posture state data updating means for updating posture state data in the posture state data storage means based on the output of the three-dimensional manipulated variable sensor and the setting of the setting switch;
Constitutes a 3D virtual space experience device, and posture state data update means
When the setting switch is in the first state, considering the projection vector F obtained by projecting the line-of-sight vector E onto the UV plane, Amount of operation in the X-axis direction The coordinate values (u, v) are updated so that the position P on the UV plane is moved in the direction orthogonal to the projection vector F based on Amount of operation in the Y-axis direction The coordinate values (u, v) are updated so that the position P on the UV plane is moved in the direction indicated by the projection vector F or the opposite direction based on
When the setting switch is in the second state, Amount of operation in the X-axis direction Increase or decrease the angle φ based on Amount of operation in the Y-axis direction Increase or decrease the angle θ based on
Regardless of the setting switch setting, or when the setting switch is in either state, Operation amount in the Z-axis direction Based on the above, the function of increasing or decreasing the magnification value M is provided.
[0007]
(2) According to a second aspect of the present invention, in the experience device according to the first aspect described above,
An auxiliary setting switch that can selectively set one of two states is further provided.
As a three-dimensional operation amount sensor, with respect to the operation amount in the Z-axis direction, a sensor that can detect at least one of the positive operation amount + Z and the negative operation amount −Z is used.
The posture state data update means is configured to perform the handling by inverting the sign of the operation amount in the Z-axis direction based on the state of the auxiliary setting switch.
[0008]
(3) According to a third aspect of the present invention, in the experience device according to the first or second aspect described above,
A three-dimensional operation amount sensor is provided on the keyboard, and the operation amount can be input by operating an operation rod standing in the gap between the keys. The horizontal direction along the main surface of the keyboard is the X axis. The vertical direction is defined as the Y axis, and the direction substantially perpendicular to the keyboard main surface is defined as the Z axis, and each operation amount can be input by operating the operation rod in each coordinate axis direction.
[0009]
(4) According to a fourth aspect of the present invention, in the experience device according to the third aspect described above,
A specific key on the keyboard is used as a setting switch or an auxiliary setting switch.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described based on the illustrated embodiments. FIG. 1 is a block diagram showing the basic configuration of a three-dimensional virtual space experience device according to the present invention. Here, the three-dimensional image data storage means 10 is a three-dimensional image for each element constituting a three-dimensional virtual space defined with the UV plane as a horizontal plane and the W axis as a vertical axis in the UVW three-dimensional orthogonal coordinate system. It has a function of storing image data a. That is, a UVW three-dimensional orthogonal coordinate system as shown in FIG. 2 is defined, and a virtual space with the UV plane as the floor surface is formed. For example, if a virtual department store space is to be configured, elements such as display shelves and show windows arranged in this three-dimensional coordinate space, and three-dimensional image data for various products placed therein are prepared. Will be.
[0011]
The posture state data storage unit 20 has a function of storing posture state data b indicating the position and posture of the user moving in the above-described three-dimensional virtual space. The posture state data b includes coordinate values (u, v) indicating the user's current location in the UVW coordinate space, angles (θ, φ) defining the direction of the line-of-sight vector E indicating the user's line-of-sight direction, And a magnification value M indicating the display magnification of the user's gaze target. As shown in FIG. 2, the coordinate value (u, v) is a parameter indicating the position P on the UV plane in the UVW coordinate system, and is based on the assumption that the user is standing at the position P in the virtual space. Thus, the following processing is performed.
[0012]
The line-of-sight vector E is a parameter indicating where the user at the position P is looking. If the user's height is ignored (that is, the user himself / herself is represented by one point P), the line-of-sight vector E becomes a vector starting from the position P. However, in this embodiment, as shown in FIG. 2, the height of the user (strictly, the height to the eyeball) is set to h, and a position P ′ (u, v, h) vertically above the position P (u, v). And a line-of-sight vector E starting from this position P ′ is defined. Further, when performing the processing described later, the projection vector F is defined by projecting the line-of-sight vector E onto the UV plane (floor surface).
[0013]
In the present invention, since the line-of-sight vector E is used as a parameter indicating the direction of the line of sight, the direction component is important, but information on the size (length) of the vector is not necessary. Therefore, only the direction of the line-of-sight vector E is defined by a pair of angles (θ, φ). In other words, the angle of the line-of-sight vector E with respect to the UV plane is defined as an angle θ (in this embodiment, the angle θ is defined in a range of −90 ° ≦ θ ≦ + 90 °, with the upper side being positive and the lower side being negative) The angle of the line-of-sight vector E with respect to the UW plane is defined as an angle φ (in this embodiment, the angle increases in a counterclockwise direction when viewed from above with reference to a UW plane having a positive U value) Φ is defined in the range of 0 ° ≦ φ <360 °). FIG. 3 is a diagram showing a state in which the starting point of the line-of-sight vector E shown in FIG. 2 is translated to the origin O of the UVW coordinate system, and visually shows a method for defining the angles θ and φ. After all, the angle θ is defined as an angle formed by the line-of-sight vector E (vector OQ) and a projection vector F (vector OQ ′) obtained by projecting this onto the UV plane, and the angle φ is the U axis and the projection vector. Defined as the angle with F.
[0014]
On the other hand, the magnification value M indicates the projection magnification of the three-dimensional virtual space component in the direction indicated by the line-of-sight vector E, and is a parameter indicating the zoom magnification for the object in the direction of the line-of-sight vector E. Even if the position P is exactly the same, if the magnification value M is increased, an image is displayed as if it is closer to the object, and if the magnification value M is decreased, an image is displayed as if it is far from the object. It will be.
[0015]
The field-of-view image data generation means 30 looks at the direction of the line-of-sight vector E from the position P ′ (position P when handling the user's height is ignored) based on the three-dimensional image data a and the posture state data b. A visual field image data c indicating a two-dimensional visual field image obtained by projecting the state at the time based on the magnification value M. In other words, a process is performed in which a projection area having a predetermined size is defined on a plane orthogonal to the line-of-sight vector E, and a three-dimensional image defined by the three-dimensional image data a is two-dimensionally projected onto the projection area. It will be. The two-dimensional image obtained on the projection area corresponds to a view image, and view image data c indicating this view image is generated. The display means 40 is a so-called display device, and has a function of displaying a two-dimensional view image based on the view image data c. The magnification value M is a parameter for determining the size of the projection area. The larger the magnification value M, the smaller the projection area is defined, and the two-dimensional view image projected in the projection area is greatly enlarged on the screen of the display means. Will be displayed.
[0016]
As described above, even if the 3D image data a prepared in advance in the 3D image data storage unit 10 is the same, the posture state data b in the posture state data storage unit 20 is displayed on the screen of the display unit 40. The displayed content will be different. Thus, even when observing the same three-dimensional space, it is possible to experience different field-of-view images depending on the observation position and the line-of-sight direction.
[0017]
The apparatus according to the present invention is further provided with a three-dimensional operation amount sensor 50, a setting switch 60, and posture state data updating means 70. The user can give an instruction input for updating the contents of the posture state data b using the three-dimensional operation amount sensor 50 and the setting switch 60. The posture state data update unit 70 executes a process of updating the contents of the posture state data b based on this instruction input. Thus, each time the posture state data b in the posture state data storage unit 20 is updated, new view field image data c is generated by the view field image data generating unit 30, and the view field image displayed on the display device 40 is It will be updated in real time.
[0018]
A feature of the present invention is that an instruction input having a relatively high degree of freedom can be realized by an intuitive natural operation by a user. With the apparatus according to the present invention, the degree of freedom is close to reality. The experience can be presented. Such an instruction input is performed by the three-dimensional operation amount sensor 50 and the setting switch 60. The three-dimensional manipulated variable sensor 50 is an XYZ three-dimensional orthogonal coordinate system (here, for the sake of convenience, in order to distinguish from the three-dimensional space in which the three-dimensional image data a is defined, the UVW three-dimensional orthogonal coordinate system is Positive and negative manipulated variables in the X-axis direction + X, -X, positive and negative manipulated variables in the Y-axis direction + Y, -Y, and positive and negative in the Z-axis direction) The operation amount + Z, -Z is detected, and each detected operation amount is output. On the other hand, the setting switch 60 has a function of setting which mode is (1) moving mode or (2) rotating mode.
[0019]
As the three-dimensional operation amount sensor 50, which information about which direction (positive direction or negative direction) an operation is performed on which coordinate axis of the three-dimensional coordinate system can be input. Such a sensor may be used, but in the embodiment described here, a capacitive three-dimensional force sensor is used as the three-dimensional manipulated variable sensor 50. FIG. 4 is a side sectional view of the capacitance type three-dimensional force sensor 50. Details of such a capacitive sensor are disclosed in, for example, Japanese Patent Application Laid-Open No. 8-6711. Therefore, only a simple structure description and operation description will be given here.
[0020]
The sensor shown in FIG. 4 includes a substrate 51, a lid member 52, and an operating rod 53. On the upper surface of the substrate 51, five electrodes E1 to E5 are formed. FIG. 5 is a top view showing a state in which the lid member 52 and the operating rod 53 are removed from the sensor, and the shapes and arrangements of the five electrodes E1 to E5 formed on the substrate 51 are clearly shown. (A broken line shows the attachment position of the cover member 52).
[0021]
Now, an XYZ three-dimensional orthogonal coordinate system is defined so that the upper surface of the substrate 51 is included in the XY plane. The operation rod 53 is a columnar member extending in the Z-axis direction, and is fixed to the center of the upper surface of the lid member 52. The lid member 52 functions as a cover that covers the entire five electrodes E1 to E5 formed on the substrate 51, and also functions as one common electrode as a whole. That is, in this sensor, the substrate 51 and the operation rod 53 are made of an insulating material, but the five electrodes E1 to E5 and the lid member 52 are made of a conductive material and constitute the upper surface of the lid member 52. The portion serves as a common electrode facing all of the five electrodes E1 to E5. Therefore, five sets of capacitive elements C1 to C5 are formed by the five electrodes E1 to E5 and the common electrode opposed thereto.
[0022]
The lid member 52 is made of a flexible conductive material (in this example, metal), and has a property that when a force is applied to the operation rod 53, the lid 52 is bent based on the force. For example, when a force in the positive direction of the X-axis in the figure is applied to the upper portion of the operation rod 53, a part of the lid member 52 facing the electrode E1 is lowered and a part of the lid member 52 facing the electrode E3 is raised. In addition, the entire lid member 52 is bent. As a result, the electrode interval of the capacitive element C1 becomes shorter and the capacitance value increases, and the electrode interval of the capacitive element C3 becomes longer and the capacitance value decreases. When a force directed in the negative direction of the X axis is applied, the opposite phenomenon occurs. Therefore, if the capacitance values of the capacitive elements C1 and C3 arranged on the X axis are electrically measured, the direction of the force applied in the X axis direction with respect to the upper part of the operation rod 53 (X axis positive direction) Or the negative direction) and its size can be detected. Similarly, if the capacitance values of the capacitive elements C2 and C4 arranged on the Y axis are measured, the direction of the force applied to the upper portion of the operation rod 53 in the Y axis direction (Y axis positive direction or negative direction). Direction) and its size can be detected.
[0023]
On the other hand, when a force pulling upward in FIG. 4 (force in the positive direction of the Z axis) is applied to the operating rod 53, the entire lid member 52 is bent so that the central portion facing the electrode E5 is raised. As a result, the electrode interval of the capacitive element C5 becomes longer and the capacitance value decreases. On the other hand, when a force for pushing downward in FIG. 4 (force in the negative Z-axis direction) is applied to the operating rod 53, the entire lid member 52 is bent so that the central portion facing the electrode E5 is lowered. As a result, the electrode interval of the capacitive element C5 is shortened and the capacitance value is increased. Therefore, if the capacitance value of the capacitive element C5 is electrically measured, the direction of the force applied in the Z-axis direction with respect to the upper part of the operation rod 53 (whether the Z-axis positive direction or the negative direction) and its magnitude Can be detected.
[0024]
4 and 5 functions as the three-dimensional operation amount sensor 50 in the present invention, and detects the operation amounts ± X, ± Y, ± Z along the XYZ coordinate axes, A function of giving the detected operation amount to the posture state data update unit 70 can be achieved. In addition, according to the sensor shown in FIGS. 4 and 5, how much operation is performed in which direction (positive direction or negative direction) with respect to which coordinate axis of the three-dimensional coordinate system. Information (that is, how much force has been applied to the upper portion of the operation rod 53) can be input, but for application to the present invention, even the amount of force applied to the operation rod 53 is detected. It doesn't matter if there is no function. For example, regarding the operation amount ± X along the X axis, if the above-described sensor is used, a specific scalar value such as +3.2 or -8.4 is obtained based on the measured value of the capacitance value of the capacitive element. However, in the present invention, a function for specifying such a scalar value is not necessarily required. For example, a force in the + X direction is detected with respect to an operation amount along the X axis (for example, Only three states are recognized: operation amount +1), -X direction force detected (for example, operation amount -1), and no significant level force detection in the X axis direction (for example, operation amount 0). It is enough to have the function to do.
[0025]
On the other hand, the setting switch 60 can be any switch as long as it can selectively set one of the first state (1) movement mode and the second state (2) rotation mode. You can use it. A so-called “changeover switch” that can switch between two state settings may be used, or a so-called “switching switch” that normally maintains the first state and remains in the second state only while being pressed with a finger. A “push button switch” may be used. Alternatively, a so-called “toggle switch” in which two states are alternately switched each time the button is pressed may be used.
[0026]
A feature of the present invention is that an instruction is input to the posture state data update unit 70 by a combination of the three-dimensional operation amount sensor 50 and the setting switch 60. If the setting switch 60 has been set to “▲ 1 ▼ movement mode”, an instruction relating to movement can be input by the three-dimensional manipulated variable sensor 50, and “▲ 2 ▼ rotation mode” can be input by the setting switch 60. If the setting has been made, an instruction regarding rotation (line-of-sight change) can be input by the three-dimensional operation amount sensor 50. These instruction inputs are given as operation amounts ± X, ± Y in the three-dimensional operation amount sensor 50. In addition, in the present invention, the operation amounts ± Z in the three-dimensional operation amount sensor 50 are used, An instruction to update the magnification value M related to the display object is input. Since any of the instruction inputs uses the three-dimensional operation amount sensor 50, a very intuitive input is possible.
[0027]
The posture state data update means 70 is a signal indicating the operation amount ± X, ± Y, ± Z given from the three-dimensional operation amount sensor 50, and a signal showing the state (1) / (2) given from the setting switch 60. Based on the above, the following update process is executed on the posture state data b in the posture state data storage means 20.
[0028]
First, when the setting switch 60 is set to “(1) movement mode”, the operation amount + X and −X are set in consideration of the projection vector F obtained by projecting the line-of-sight vector E onto the UV plane. Based on this, the coordinate value (u, v) is updated so that the position P on the UV plane moves in a direction orthogonal to the projection vector F, and the position P on the UV plane is projected based on the operation amounts + Y and -Y. A process of updating the coordinate value (u, v) so as to move in the direction indicated by F or in the opposite direction is performed. By such update processing, in the “(1) movement mode”, the XY plane defined on the three-dimensional manipulated variable sensor 50 corresponds to the UV plane defined on the three-dimensional image data a. The user can move in the three-dimensional virtual space in a direction intuitively instructed by the three-dimensional operation amount sensor 50.
[0029]
More specifically, when the operation amount + X is given, the coordinate values (u, v) are such that the position P moves rightward along a line orthogonal to the projection vector F on the UV plane. When updated and the operation amount −X is given, the coordinate values (u, v) are updated so that the position P moves to the left along the line orthogonal to the projection vector F on the UV plane. The Therefore, the user can experience a state of moving rightward or leftward with the direction of the line of sight fixed.
[0030]
When the operation amount + Y is given, the coordinate value (u, v) is updated so that the position P moves along the direction indicated by the projection vector F, and the operation amount -Y is given. The coordinate value (u, v) is updated so that the position P moves in the direction opposite to the direction indicated by the projection vector F. Therefore, the user can experience a state of moving forward or backward while fixing the direction of the line of sight.
[0031]
On the other hand, when the setting switch 60 is set to “{circle around (2)} rotation mode”, the angle φ is increased or decreased based on the operation amount + X and −X, and the angle θ based on the operation amount + Y and −Y. Update processing to increase or decrease the. By such an update process, in the “(2) rotation mode”, the XY plane defined on the three-dimensional manipulated variable sensor 50 corresponds to the UW plane defined on the three-dimensional image data a. The user can turn the line-of-sight vector E in the direction intuitively designated by the three-dimensional operation amount sensor 50. In other words, the operation to increase or decrease the angle φ is intuitively equivalent to the operation of changing the body direction to the left or right at the position P, and the operation to increase or decrease the angle θ is intuitively at the position P. This corresponds to an operation of changing the vertical direction of the face (for example, an operation of moving the line of sight from the floor to the ceiling).
[0032]
More specifically, when the operation amount + X is given, an operation of rotating the line-of-sight vector E clockwise (clockwise) when the line-of-sight vector E is viewed from above is performed by reducing the angle φ, and the operation amount − When X is given, an operation of increasing the angle φ and rotating the line-of-sight vector E counterclockwise (counterclockwise) when viewed from above is performed. Note that the angle φ is defined in a range of 0 ° ≦ φ <360 °, and therefore, when 0 ° <φ is obtained by this increase / decrease processing, a value obtained by adding 360 ° is set as a new value of φ. When 360 ° ≦ φ, correction is performed with a value obtained by subtracting 360 ° as a new value of φ.
[0033]
Further, when the operation amount + Y is given, an operation of rotating the line-of-sight vector E downward by decreasing the angle θ is performed, and when the operation amount −Y is given, the angle θ is increased. An operation of rotating the line-of-sight vector E upward is performed. Since the angle θ is defined in a range of −90 ° ≦ θ ≦ 90 °, when θ> 90 ° is obtained by this increase / decrease processing, θ is maintained at 90 °, and θ <−90. In such a case, a saturation process is performed to maintain θ = −90 °.
[0034]
Further, processing for increasing / decreasing the magnification value M based on the operation amounts + Z and −Z is performed. That is, when the operation amount + Z is given, a process for decreasing the magnification value M is performed, and when the operation amount -Z is given, a process for increasing the magnification value M is performed. By such an update process, the Z axis defined on the three-dimensional operation amount sensor 50 corresponds to the display magnification of the object to be watched in the three-dimensional virtual space. 50, the display magnification can be changed as if the zoom lever of the camera is operated.
[0035]
The update processing of the magnification value M by the operation amount ± Z may be always executed regardless of the setting state of the setting switch 60, or when the setting switch 60 is in one of the setting states. May be executed only. In the embodiment shown here, this magnification value M is updated only when the setting switch 60 is in the “(1) movement mode” setting state in order to avoid confusion in the operation of the user. I have to.
[0036]
FIG. 6 is a chart showing the contents of the update process performed by the posture state data update unit 70 for the combination of the setting state of the setting switch 60 and the operation amount given from the three-dimensional operation amount sensor 50. As described above, in the “(1) movement mode”, the process of updating the coordinate value (u, v) of the position P based on the operation amounts ± X, ± Y is performed, and based on the operation amount ± Z. In the “(2) rotation mode”, the angle value (θ, φ) indicating the direction of the line-of-sight vector E is updated based on the operation amounts ± X, ± Y. Is done.
[0037]
In addition, when the three-dimensional operation amount sensor 50 that can specify even the scalar value is used as each operation amount, the update process can be performed with an update width corresponding to the scalar value. For example, in “(1) movement mode”, even when an operation amount + Y is input, when an operation amount Y = + 5 is input, an operation amount Y = + 10 is input. If the movement amount of the position P is set to be doubled, a more intuitive movement process can be performed. However, it is not always necessary to specify such a scalar value as the three-dimensional manipulated variable sensor 50 applied to the present invention. For example, in the Y-axis direction, a force in the + Y direction is detected. It is sufficient to have a function for recognizing only the three states that no force is detected at a significant level in the Y-axis direction. In this case, the same detection state continues. The update width is determined by time. For example, when the detection state “+ Y direction force detected” continues for 1 second, when the detection state continues for 2 seconds, the movement amount of the position P may be doubled.
[0038]
By the way, when the three-dimensional operation amount sensor 50 as shown in FIGS. 4 and 5 is operated, the operation of inputting five types of operation amounts ± X, ± Y, and −Z is relatively easy and is a natural operation. However, an input operation with an operation amount of + Z is somewhat unnatural and difficult to handle. That is, the operation of inputting the operation amounts ± X and ± Y is an operation of placing the finger on the upper portion of the operation rod 53 and tilting the operation rod 53 in a predetermined direction, and the operation of inputting the operation amount −Z is performed. In this case, the finger is placed on the upper surface of the operation rod 53 and pushed downward, and both are natural operations. However, the operation of inputting the operation amount + Z is an operation that is unnatural and difficult to handle because it is an operation of picking up the operation rod 53 with a finger and pulling it up.
[0039]
In order to avoid such an adverse effect, the configuration shown in FIG. 7 may be adopted instead of the configuration shown in FIG. In the configuration shown in FIG. 7, the three-dimensional operation amount sensor 50 has a function of inputting five types of operation amounts ± X, ± Y, and −Z (+ Z depending on how the coordinate system is defined). In other words, the function of inputting the operation amount + Z (−Z depending on the definition of the coordinate system) is not necessarily required. Instead, a new auxiliary setting switch 80 needs to be provided. As with the setting switch 60, the auxiliary setting switch 80 may be any switch as long as it can selectively set one of two states.
[0040]
In the experience device configured as described above, the posture state data update unit 70 determines the sign of the operation amount Z based on the setting state of the auxiliary setting switch 80. In this embodiment, the auxiliary setting switch 80 can be used to set "1) normal mode" or "2) reverse mode", and "1) normal mode" is set. In this case, the posture state data update unit 70 handles the operation amount −Z given from the three-dimensional operation amount sensor 50 as it is. However, when “(2) inversion mode” is set, Is handled as if the operation amount + Z was given even though the operation amount -Z was given.
[0041]
In the experience device provided with such an auxiliary setting switch 80, the input operation to the three-dimensional operation amount sensor 50 as shown in FIGS. 4 and 5 is performed by inputting five kinds of operation amounts of ± X, ± Y, and −Z. Only an operation is sufficient, and an unnatural input operation for inputting the operation amount + Z is not necessary. That is, when the user wants to increase the display magnification of the object, the user can perform an operation of pressing the upper surface of the operation rod 53 with a finger while the auxiliary setting switch 80 is maintained in the “(1) normal mode”. On the other hand, if you want to decrease the display magnification, perform the same operation as pressing the upper surface of the operation rod 53 with your finger in the same way while keeping the auxiliary setting switch 80 in the “▲ 2 ▼ inversion mode”. Just do it. Although an operation for switching the auxiliary setting switch 80 is added, the auxiliary setting switch 80 is, for example, a simple push button switch (usually “▲ 1 normal mode”, and is switched to “▲ 2 ▼ reverse mode” only while it is pressed. If it is configured with a switch), the operation becomes very natural.
[0042]
【Example】
Next, a more specific embodiment of the experience device of the three-dimensional virtual space according to the present invention will be described in accordance with an embodiment. Here, as an example of a three-dimensional virtual space assuming a store in a simulated department store, the user can observe the displayed products while walking around the simulated department store store, in other words, An embodiment in which the present invention is applied to an experience apparatus for realizing so-called online shopping will be described.
[0043]
FIG. 8 is a plan view showing the concept of the three-dimensional image data a indicating the interior of a simulated department store, and shows a state in which the UV plane is viewed from vertically above. In the example shown here, show windows S1 and S2 are arranged, and products G are arranged in each show window. A show window and a product are each defined as three-dimensional image data (for example, data indicating pixel values of a large number of pixels defined on the surface).
[0044]
As already described, in this three-dimensional virtual space, a position P (u, v) on the UV plane indicating the user's position and a line-of-sight vector E (θ, φ) indicating the user's line-of-sight direction are defined. Has been. In the illustrated example, the line-of-sight vector E faces the direction of the product G displayed in the show window S1. When the user's height is taken into consideration, as shown in the side view of FIG. 9, the line-of-sight vector E is a vector starting from a point P ′ (u, v, h) vertically above the point P (u, v). become.
[0045]
When the operation amount ± X is input in a state where the setting switch 60 is set to “▲ 1 ▼ movement mode”, as indicated by an arrow “▲ 1 ▼ + X” or “▲ 1 ▼ −X” in FIG. The user's position P moves to the left and right. Similarly, when the operation amount ± Y is input in the state set to “▲ 1 ▼ movement mode”, as indicated by the arrows “▲ 1 ▼ + Y” or “▲ 1 ▼ −Y” in FIG. The user's position P moves back and forth. Thus, in the “(1) movement mode”, the user can freely move on the UV plane.
[0046]
On the other hand, when an operation amount ± X is input in a state where the setting switch 60 is set to “▲ 2 ▼ rotation mode”, an arrow marked “▲ 2 ▼ + X” or “▲ 2 ▼ −X” is shown in FIG. Thus, the user rotates left and right at the position P, and the direction of the line-of-sight vector E changes. That is, the user changes the direction to the left and right at the position P. Similarly, when the operation amount ± Y is input in the state of “▲ 2 ▼ rotation mode”, as indicated by the arrows “▲ 2 ▼ + Y” or “▲ 2 ▼ −Y” in FIG. The line-of-sight vector E is inclined downward or upward. That is, the user changes the face direction up and down. Thus, the user can view an arbitrary direction in the “(2) rotation mode”.
[0047]
In this embodiment, regardless of the setting state of the setting switch 60, the magnification value M for displaying the object in the direction of the line-of-sight vector E can be increased or decreased by inputting the operation amount ± Z. FIG. 10 is a diagram illustrating an example of a field-of-view image actually displayed on the display screen of the display device 40. Whether the setting switch 60 is in “1” movement mode or “2” rotation mode, the magnification value M is increased by the input of the operation amount −Z, as shown on the left in FIG. The view field image is enlarged, the magnification value M is decreased by inputting the operation amount + Z, and the view field image is reduced as shown on the right side of FIG. In this embodiment, the capacitive force sensor shown in FIGS. 4 and 5 is used as the three-dimensional operation amount sensor 50, and the sign of the operation amount Z is determined by the auxiliary setting switch 80 as shown in FIG. Since the configuration is adopted, when the auxiliary setting switch 80 is set to “▲ 1 normal mode” and the operation key 53 is pushed, the view field image is enlarged (zoomed up), and the auxiliary setting switch 80 is set to “▲ 2 reverse mode”. When the operation rod 53 is pushed in, the view image is reduced (zoomed down).
[0048]
FIG. 11 is a chart showing the contents of the update process performed by the posture state data update unit 70 for the combination of the setting state of each switch and the operation amount in the experience device according to the embodiment described above. As can be seen from this chart, in this embodiment, the setting state of the auxiliary setting switch 80 is irrelevant to the operation amounts ± X and ± Y, and the setting state of the setting switch 60 is irrelevant to the operation amount −Z. Therefore, an embodiment in which the setting switch 60 and the auxiliary setting switch 80 are also used is possible. FIG. 12 is a chart showing the contents of the update process in such an embodiment. However, in order to prevent confusion in operation by the user, it is preferable to provide the setting switch 60 and the auxiliary setting switch 80 separately.
[0049]
FIG. 13 is a perspective view of an embodiment in which the capacitive force sensor 50 shown in FIGS. 4 and 5 is provided on the keyboard 90 and the operation rod 53 is erected in the gap of the key 91. Here, the sensor 50 has an X axis in the horizontal direction (longitudinal direction of the keyboard) substantially along the main surface of the keyboard 90, a Y axis in the vertical direction (short direction of the keyboard), and a direction substantially perpendicular to the main surface of the keyboard. It is embedded in the keyboard 90 so as to be the Z axis. The user can input each operation amount by operating the operation rod 53 provided in the gap of the key 53. In addition, the structure of the keyboard with the built-in sensor 50 is disclosed in, for example, Japanese Patent Application Laid-Open No. 8-6711.
[0050]
As described above, when the keyboard 90 has the built-in sensor 50, the setting switch 60 and the auxiliary setting switch 80 can be independently provided on the keyboard, but a specific key (for example, a space bar) can be provided. , Control keys, etc.) can also be assigned functions as the setting switch 60 and the auxiliary setting switch 80. In this case, there is no need to provide a separate and independent setting switch. For example, if the space bar is used as the setting switch 60, if only the operation rod 53 is operated, the operation amount is input in “▲ 1 ▼ movement mode”. If the operation rod 53 is operated while pressing the space bar, “ An embodiment in which an operation amount input in “(2) Rotation mode” is possible.
[0051]
【The invention's effect】
As described above, according to the experience device in the three-dimensional virtual space according to the present invention, since the operation amount input combining the three-dimensional operation amount sensor and the setting switch is performed, it is as realistic as possible by an intuitive natural operation. It is possible to present an experience with a degree of freedom close to.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a basic configuration of a three-dimensional virtual space experience device according to the present invention.
2 is a coordinate diagram for explaining the contents of three-dimensional image data a and posture state data b in the apparatus shown in FIG. 1; FIG.
FIG. 3 is a coordinate diagram showing one method for defining the direction of the line-of-sight vector E shown in FIG. 2 by angles (θ, φ).
FIG. 4 is a side sectional view of a conventionally proposed electrostatic capacitance type three-dimensional force sensor.
5 is a top view showing an arrangement of electrodes E1 to E5 on a substrate 51 of the sensor shown in FIG.
6 is a diagram illustrating a combination of the setting state of the setting switch 60 and the operation amount given from the three-dimensional operation amount sensor 50 in the experience apparatus in the three-dimensional virtual space shown in FIG. It is a chart which shows the contents of update processing.
FIG. 7 is a block diagram showing another basic configuration of the experience apparatus in the three-dimensional virtual space according to the present invention.
FIG. 8 is a plan view showing the concept of three-dimensional image data a indicating the inside of a simulated department store.
FIG. 9 is a side view of the inside of the department store shown in FIG.
10 is a diagram showing an example of a field-of-view image actually displayed on the display screen of the display device 40. FIG.
11 is a table showing the contents of the update process performed by the posture state data update unit 70 for the combination of the setting state of each switch and the operation amount in the experience apparatus shown in FIG. 7;
12 is a table showing the contents of update processing in the embodiment using the combined setting switch of setting switch 60 and auxiliary setting switch 80 in the experience apparatus shown in FIG. 7; FIG.
13 is a perspective view of an embodiment in which the capacitive force sensor 50 shown in FIGS. 4 and 5 is provided on a keyboard 90, and an operating rod 53 is erected in a gap between keys 91. FIG.
[Explanation of symbols]
10: Three-dimensional image data storage means
20 ... Attitude state data storage means
30. Visibility image data generation means
40: Display means (display)
50. Three-dimensional manipulated variable sensor
51 ... Board
52. Lid member
53 ... Operation
60: Setting switch
70: Posture state data update means
80 ... Auxiliary setting switch
90 ... Keyboard
91 ... Key
a ... 3D image data
b ... Attitude state data
c ... Visibility image data
E ... Gaze vector
E1-E5 ... Electrodes
F ... Projection vector
G ... Product
M: Display magnification value of the object
P: User position on the UV plane
P ': User's eyeball position in UVW 3D space
Q ... Point of eye vector E
Q '... the tip of projection vector E
S1, S2 ... show window
θ, φ ... An angle indicating the direction of the line-of-sight vector

Claims

3D image data storage means for storing 3D image data for individual elements constituting a 3D virtual space defined with the UV plane as a horizontal plane and the W axis as a vertical axis in the UVW 3D orthogonal coordinate system; ,
The coordinate values (u, v) indicating the position P on the UV plane in the UVW coordinate system, and the angles θ and UW of the line-of-sight vector E defined with the position P or its vertical upper position P ′ as the starting point. Posture state data storage means for storing posture state data including an angle φ with respect to a plane and a magnification value M indicating a projection magnification of a three-dimensional virtual space component in the direction indicated by the line-of-sight vector E;
Based on the three-dimensional image data and the posture state data, a two-dimensional field-of-view image obtained by projecting a state when viewing the direction of the line-of-sight vector E from the position P or the vertically upper position P ′ based on the magnification value M is obtained. View image data generating means for generating view image data to be shown;
Display means for displaying a two-dimensional view image based on the view image data;
A three-dimensional operation amount sensor that detects an operation amount in the X-axis direction, an operation amount in the Y-axis direction, and an operation amount in the Z-axis direction in an XYZ three-dimensional orthogonal coordinate system, and outputs each detected operation amount;
A setting switch capable of selectively setting one of the first state and the second state;
Posture state data update means for updating posture state data in the posture state data storage means based on the output of the three-dimensional manipulated variable sensor and the setting of the setting switch;
The posture state data update means includes:
When the setting switch is in the first state, the position P on the UV plane is set based on the operation amount in the X-axis direction in consideration of the projection vector F obtained by projecting the line-of-sight vector E onto the UV plane. The coordinate value (u, v) is updated so as to move in the direction orthogonal to the projection vector F, and the position P on the UV plane is changed to the direction indicated by the projection vector F or vice versa based on the operation amount in the Y-axis direction. Update the coordinate values (u, v) to move in the direction,
When the setting switch is in the second state, the angle φ is increased or decreased based on the operation amount in the X-axis direction, and the angle θ is increased or decreased based on the operation amount in the Y-axis direction .
Regardless of the setting switch setting, or when the setting switch is in one of the states, it has a function of increasing or decreasing the magnification value M based on the operation amount in the Z-axis direction. Virtual space experience device.

The experience device according to claim 1,
An auxiliary setting switch that can selectively set one of two states is further provided.
As a three-dimensional operation amount sensor, with respect to the operation amount in the Z-axis direction, a sensor that can detect at least one of the positive operation amount + Z and the negative operation amount −Z is used.
An apparatus for experiencing a three-dimensional virtual space, wherein the posture state data updating means is configured to perform handling by reversing the sign of the operation amount in the Z-axis direction based on the state of the auxiliary setting switch.

In the experience device according to claim 1 or 2,
A three-dimensional operation amount sensor is provided on the keyboard, and the operation amount can be input by operating an operation rod standing in the gap between the keys. The horizontal direction along the main surface of the keyboard is the X axis. The vertical direction is defined as the Y-axis, the direction substantially perpendicular to the keyboard main surface is defined as the Z-axis, and each operation amount can be input by operating the operation rod in each coordinate axis direction. Former virtual space experience device.

The experience device according to claim 3,
A device for experiencing a three-dimensional virtual space, wherein a specific key on a keyboard is used as a setting switch or an auxiliary setting switch.