JP3971407B2 - 情報提示方法 - Google Patents

情報提示方法 Download PDF

Info

Publication number
JP3971407B2
JP3971407B2 JP2004111110A JP2004111110A JP3971407B2 JP 3971407 B2 JP3971407 B2 JP 3971407B2 JP 2004111110 A JP2004111110 A JP 2004111110A JP 2004111110 A JP2004111110 A JP 2004111110A JP 3971407 B2 JP3971407 B2 JP 3971407B2
Authority
JP
Japan
Prior art keywords
virtual environment
unit
information presentation
information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004111110A
Other languages
English (en)
Other versions
JP2004303253A (ja
Inventor
美和子 土井
健一 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2004111110A priority Critical patent/JP3971407B2/ja
Publication of JP2004303253A publication Critical patent/JP2004303253A/ja
Application granted granted Critical
Publication of JP3971407B2 publication Critical patent/JP3971407B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Digital Computer Display Output (AREA)

Description

本発明は、例えば、博物館や美術館等で、展示対象物について仮想環境を用いて臨場感のある情報提示を行う情報提示方法に関する。
博物館や美術館では展示対象物とその説明を物理的に近傍に配置して情報提示を行っている。たとえば、アンモナイトの化石であれば、化石をガラスのショーケースにいれ、その上方などにアンモナイトの説明のパネル(たとえば、「アンモナイトは古生代から中生代まで生存していた頭足類に属する化石動物」)などを提示するような形態をとっている。
しかしこのような形態では、アンモナイトが中生代の海の中を泳ぐ巨大な巻き貝の一種であったというイメージを把握することは難しい。また、従来の展示形式では、観覧者の見方は受け身的であるために、すぐあきてしまうなどの問題点もあった。
このような問題点を解決するために、最近では、コンピュータグラフィックスなどを用い、アンモナイトの生存していたときの環境状態を再現して、VTRなどで展示するような情報提示方法もでてきている。VTRによる情報提示方法は従来のパネルによる静的な展示方法に比較すると、アンモナイトが生存していたときの状態を容易に類推できる。しかし、VTRによる情報提示方法では、観覧者への一方的な情報提示になるため、観覧者は受け身的にならざるをえない。また、VTRでは、情報の提示が一過性になってしまうために、書誌情報は従来とおり、パネルを使用して提示する必要があった。
これを是正するために、VTRに録画するかわりに、CD−ROMに記録する情報提示方法も採用されるようになってきている。
CD−ROMを用いた情報提示方法は、たとえば、海の中を泳いでいるアンモナイトをマウスなどの入力デバイスを用いて選択すると、選択されたアンモナイトに対する書誌情報が画面上に表示されたり、あるいは音声ナレーションにより説明されるようなハイパーテキスト的提示方法をとることができる。このような方法によれば、VTRによる情報提示方法に比べると、観覧者は自分の興味のある対象を選ぶことができるぶん、参加意識が高まり、能動的な見方をできる。
ただし、CD−ROMによる情報提示方法では、各場面でのカメラ位置や、場面展開はあらかじめ決まっているので、観覧者は好きな位置からみたり、あるいは対象の位置を変えたり、あるいは、異なる場面展開にするようなことはできなかった。
このような問題点を改善し、自由な位置からみたり、配置を変更したりできるようにするために、最近では、3次元コンピュータグラフィックス(CG)を用いて、3次元で環境を仮想的に構築する方法も採用されるようになってきている。3次元CGを用いた仮想環境では、どのような位置からみるか、どのように仮想環境の中を移動するかなどを2次元あるいは3次元の指示装置を用いて指定することができる。
実際には、移動は指示装置を用いて指示を行い、どの位置から見るかは、たとえば、観覧者の頭部に磁気センサを別につけ、その磁気センサから得られた座標値をもとに制御する方法がとられている。しかし、この方法では、磁気センサが高価であること、あまり大きく頭の位置が変化すると画面から大きく頭がすれてしまい、仮想環境における自分の相対的な位置をしることが難しいという問題がある。
このため、単一の指示装置から、移動および視点位置を操作する方法も検討されている。しかし、移動先を指定するモードと視点位置を指定するモードの切り替えを行う方法の場合、仮想環境内を単一の指示装置を使って移動し、さらに視点位置を変更する場合、操作が煩雑になるという問題点がある。さらに、モード切り返しなしで操作をする場合には、移動をのみを指定したのに、視点位置まで変えてしまうなど、移動と視点位置の変更が影響を与えあい、容易な指示操作ができないという問題もある。また、視点位置を固定すると、対象物に近づいても、視点を対象に向けることができないなどの問題点があった。
このように、従来の3次元CGを用いた仮想環境による情報提示方法においては、仮想環境内を移動する際の移動方向を視点位置との関連性を考慮して制御することが容易に行えなかった。
仮想環境の描画速度が十分に高速で、例えば、自然な対話を実現するために応答時間の制限が0.1秒である場合には、自由に移動できるようになっていても、目的の対象物に近づくように指示装置を使って操作をすることは、比較的容易である。しかし、たとえば、遠隔地から所定の通信システムを介して仮想環境内の移動を指示する場合は、伝送遅延により応答時間の制限が守れず、描画遅れが生じることとなる。従って、応答が悪く、自由に移動できるようになっていると、かえって、自分の思うとおりの移動をすることが難しく、目的の場所に行き着けないという問題点があった。
このような場合には、目的の対象物に容易に近づけるように移動を制限する必要があるが、その制限がきついと、観覧者は自由に移動できないという不満を抱くほど、利用者側の利便性が悪くなる。
また、大きなスクリーンに仮想環境を提示し、観覧者に対し、まるで仮想の環境内に入り込んだような情報の提示方法も試みられているが、このような方法では、複数の観覧者が同一の仮想環境を体験する場合、選択された対象の書誌情報を大スクリーン上に提示すると、他の観覧者のじゃまになるという問題も発生している。
また、仮想環境により、対象が生存していたときの状況などは知ることができるが、対象の重さや触覚に働きかけるような情報の提示などはできないという問題点があった。
そこで、本発明は以上のような問題点に鑑みてなされたものであり、複数のユーザが同一の仮想環境を体験する際に各ユーザの操作の影響を排除した利便性のよい情報提示方法を提供することを目的とする。
本発明は、情報提示の対象となる資料の形状および詳細情報、その資料が提示される仮想環境の形状、前記仮想環境内の前記資料の配置位置を基に仮想環境を構成して、その仮想環境の描画結果を表示する第1の情報提示手段に対し、前記第1の情報提示手段に表示された描画結果を基に所望の資料の選択と、その資料の詳細情報の提示要求を行い、それに対応して前記第1の情報提示手段から送信された前記描画結果と前記資料の詳細情報を第2の提示手段で提示することにより、複数のユーザが同一の仮想環境を体験するような場合でも、各ユーザは、他のユーザの操作の影響を受けずに、仮想環境内で、自分の注目している部分を拡大してみたり、あるいは対象の説明情報をみることができるので、現実にその世界のなかに入り込んで、図鑑を広げて、対象に関する知識をえるような感じで操作ができる。
本発明によれば、複数のユーザが同一の仮想環境を体験する際に各ユーザの操作の影響を排除した利便性のよい情報提示方法およびそれを用いた情報提示装置を提供できる。
以下、本発明の実施形態について図面を参照して説明する。
まず、第1の実施形態について説明する。
図1は、第1の実施形態に係る情報提示装置の構成を概略的に示したもので、資料記憶部1、背景記憶部2、配置記憶部3、仮想環境構成部4、歩行指示部5、視線方向決定部6、描画部7から構成される。
資料記憶部1には、情報提示の対象となる資料の物理的な形状データが、たとえば、図2に示すようなデータ構造で記憶されている。さらに、各資料についての詳細な情報も記憶されている。
背景記憶部2には、資料記憶部1に記憶されている資料の提示の背景となる仮想環境の形状データを、例えば、ラスタ形式で記憶されている。
配置記憶部3には、背景記憶部2に記憶された仮想環境における資料記憶部1に記憶された資料の配置位置と向き等を、例えば、x座標、y座標、z座標にて表現して記憶されている。
仮想環境構成部4は、背景記憶部2に記憶された仮想環境に対し、配置記憶部3に記憶された配置に沿って、資料記憶部1に記憶された資料を配置することにより3次元の仮想環境を構成するようになっている。
歩行指示部5は、例えば、マウス等のポインティングデバイスで、仮想環境構成部4により構成された3次元の仮想環境内における現在位置と進行方向を前進、後進、右回り、左回りのように指示するものである。言い換えれば、仮想環境構成部4により構成された3次元の仮想環境内に仮想的な人物が存在する位置と、その人物が歩行して移動する場合の進行方向を指示するものである。
視野方向決定部6では、歩行指示部5に指示された現在位置における仮想環境の例えば地形の傾斜等の形状と、同じく歩行指示部5で指示された進行方向を基に、表示範囲を設定するための(仮想的な人物の)視線方向を決定するようになっている。
描画部7は、歩行指示部5により指示された現在位置と視線方向決定部6により決定された視線方向に基づき、仮想環境構成部4により構成された仮想環境を描画するものである。すなわち、ここで言う描画とは、仮想環境構成部4により構成された3次元の仮想環境内を人が歩いて移動したときに人の視野に入る世界を2次元に投影することである。
表示部8は、描画部7で仮想環境を描画した結果を表示するためのディスプレイ装置である。
図2は、資料記憶部1の資料の形状データの記憶例を示したもので、資料(以下、オブジェクトと呼ぶこともある)ごとにその形状データが記憶されている。例えば、「アンモナイト化石」のように、複雑な形状の場合には、その表面をおおう多角形(ポリゴン)の頂点座標の系列を記憶する。一方、「柱」の場合には、単純な図形の円柱で構成できるが、その場合には、あらかじめ基本となる円柱の形状を記憶しておき、図2にあるように、例えば、形状属性として「円柱」(円柱shape)と、基本となる円柱に対する縮尺率(lx、ly、lz)を記憶する。
なお、図2では、資料の形状データをテーブル形式にて記憶するようになっているが、この場合に限らず、各資料の形状データをリスト等にて管理することも可能である。
仮想環境構成部4は、資料記憶部1に記憶されたオブジェクトを背景記憶部2に記憶された環境の上に、配置記憶部3に記憶された配置座標に基づいた配置をおこなう。これにより、仮想環境が設定される。その結果は、描画部7により、レンダリングされ、たとえば、スクリーン上などに表示される。仮想環境構成部4が構成した仮想環境は3次元世界である。これに対し、描画部7で描画される結果は2次元世界である。3次元世界から2次元世界への投影は、歩行指示部5により指示された仮想環境内での現在位置と視線方向決定部6により決定された視線方向により行われる。つまり、現在位置にカメラが設定され、視線方向のむきにカメラのレンズがむいた状態が2次元世界として描画されるのである。
この現在位置を自由に変えることで丁度、カメラから3次元世界をのぞき込んでいるような状態で、3次元世界である仮想環境の中を自由に歩き回ること(ウオークスルー)ができる。このとき、現在位置が変わっても、カメラの向きが変わらないと、とんでもないところをみながらウオークスルーすることになってしまう。この問題を解決する手段が視線方向決定部6である。
次に、視線方向決定部6の処理動作を図3に示すフローチャートを参照して説明する。
まず、初期設定の一つとしてステップS1でウオークスルーにより仮想環境内を歩く速さを設定する。ここでは、仮にフレーム更新あたりの速度をvとする。次に、ステップS2で現在地の座標を設定する。これは、フレームの更新ごとに更新されたり、歩行指示部5で指示された位置となるが、仮に(tx、ty、tz)とする。次に歩行指示部5を用いて指示された進行方向を得る。たとえば、ポインティングデバイス(位置指示装置)としてマウスを用いた指示であれば、マウスを前方に進めれば前進、後方に進めれば後進として左右のずれを、それまでの進行方向からのずれの角度θとするように設定できる。3次元ポインタやジョイスティックなど他の位置指示装置を用いた場合にも同様に設定できる。なお、歩行の進行方向の指示は、水平面(例えば3次元世界の地表面に平行なxz平面)に対してのみ有効である。垂直方向に対する指示は、この場合は無視する。ここでは、仮想環境における歩行を前提としているので、あくまでも地表(あるいは歩行面)を歩いている。従って、単純な歩行移動において、垂直方向に移動するということはありえないので、無視している。ただし、異なる視点からみるための仮想的な移動をおこなう場合もあるが、ここでは、そのような場合は、歩行移動とは異なる指示方向をとると仮定している。
次に速さvと指示された進行方向から、一定時間(ここでは1フレーム)後の地点の座標値を計算する(ステップS4)。進行方向から得られるのはx座標とz座標のみである。
その結果、x座標値は、(tx±vcosθ)、z座標値は(tz±vsinθ)をとなる。前進の場合は「+」であり、後進の場合は「−」である。
ステップS4で得られた座標値をもとに、仮想環境構成部4にて、仮想環境内で、このx座標とz座標値に対応するy座標ty′を得る(ステップS5)。
ここまでのステップで現在位置と次の地点の座標値が求まったので、ステップS6では、この現在位置と次の地点の座標値から仮想環境の地表の傾きδを(1)式から算出する。
δ=arctan(|ty−ty′|/v) …(1)
視線方向に関しては、歩行指示部5で指示された進行方向θがxz平面での角度を表現し、傾きδが、垂直方向の角度を表しているので、これをあわせて視線方向(θ、δ)として設定する。
以降、次の地点を現地点に更新して、ステップS1からステップS7を繰り返す。このことにより、仮想環境内における現在位置から指示された進行方向での地表面の傾きにあわせた視線方向を設定できる。
次に、図4を参照して、図3に示した視線方向の決定処理動作を具体的に説明する。
図4(a)は、xz平面での新旧の進行方向の関係を示している。点線が旧い方向で、実線が歩行指示部5により指示された新しい進行方向である。新しい進行方向にあわせるために、視線方向とθを変更する必要がある。
そこで、図4(b)に示すように、xy平面での仮想環境の地表面の傾きにあわせて視線方向が設定される。つまり、現地点(tx、ty、tz)から地表面の傾きを考慮しないときの視線方向は、図4(b)の点線で示す方向で、単純に水平方向をみるだけである。これでは、地表の傾きが急な場合は、眼前にある地表面しか見えないが、実線で示す方向のように、地表面の傾きδ分だけ傾けることで、地表面に対して平行な視線方向になるので、進んでいく方向を無理なく見えるようになる。
視線方向に進路の地表にあわせた修正がない場合、すなわち、図4(a)および(b)における点線で示された視線方向の場合に視野にはいる仮想環境は、例えば、図5(a)に示すように、足下ばかり見るようなものとなっているので、ほとんど地面しか視野にはいっていない。
これに対し、視線方向が進路の地表にあわせて修正された場合、図5(b)に示すように、地表面に対して平行な視線方向が維持できるので、ユーザからすれば仮想環境内をまるで歩行しているように、何ら違和感なく視点の移動が行われたことになる。そして、例えば、仮想環境内を飛ぶ昆虫類の化石を見ながら進めるようになることがわかる。
また、この状態で、歩行指示部5から説明提示の指示が与えられると、仮想環境構成部4は、ほぼ視野の中央にあるオブジェクト(例えば、図5(b)の場合、昆虫の化石)に対応して資料記憶部1に記憶されている詳細情報を読み出して、それを表示部8に表示する。
以上、説明したように、上記第1の実施形態によれば、ユーザは、現在位置から所望の進行方向を歩行指示部5から指示するだけで、視線方向は視線方向決定部6において、進行方向の地表の傾きに平行に、すなわち、地表が上り坂であれば上方を、下り坂であれば下方をみるように自動的に決定されるので、ユーザからすれば何ら違和感なく視点の移動が行われたことになり、ちょうど、実際に地表を歩いているときのように、足下は傾いていても、視線は地表に対して水平にしている状態を、仮想環境においても容易に再現できる。また、仮想環境内の地形に合わせて、視線方向の修正をおこなうことで、歩行指示部5からは基本的に進行方向を指定するだけになるのでユーザの操作負担を軽減できる。
なお、上記第1の実施形態では、歩行指示部5は、水平面での角度θと進行方向のみを与えるようにしているが、かならずしもこれに限定されるものではない。たとえば、図3の処理動作により求められた視線方向に対して、若干上向き、あるいは下向きの視線方向の垂直面での角度の微調整ができるようにすることも可能である。この場合の処理動作の具体例を図6に示す。
図6に示すフローチャートは、図3に示したフローチャートのステップS7がステップS8、ステップS9に置き換えられ、その他の部分は、図3と同一である。すなわち、図6のステップS8では、歩行指示部5で指示された垂直平面での傾きδ´を例えば、背景記憶部2から読み出して、ステップS6で求められた傾きδにδ´を加算して、視線方向(θ、δ+δ´)と決定する(ステップS9)。
これにより、背景記憶部2に記憶された背景は、季節に応じて変形することも可能である。たとえば、冬であれば、雪が降ったり情景を、秋であれば、落ち葉が地面につもった情景に応じた垂直面の微調整用の角度δ´を記憶しておき、これを切り替えることで、季節感を表現することができる。
さらに、どのような仮想環境を提示するか、例えば、地形などはユーザが選択できるようにすることも可能である。
次に、第2の実施形態について説明する。
ここでは、仮想環境内でユーザが所望の資料(展示対象物)に容易に近づけるようにするための経路制御を行う情報提示装置について説明する。
図7は、第2の実施形態に係る情報提示装置の構成を概略的に示したもので、資料記憶部1、背景記憶部2、配置記憶部3、仮想環境構成部4、歩行指示部5、経路制御決定部9、描画部7、表示部8から構成される。なお、図7において、図1と同一部分には同一符号を付し、異なる部分についてのみ説明する。
すなわち、新たに追加された経路制御決定部9には、仮想環境構成部4で構成される仮想環境内のあらかじめ定められた進行可能な経路を記憶されていて、仮想環境内の展示対象物に容易に近づけるように、歩行指示部5から指示された進行方向に基づく進行経路が、そのあらかじめ定められた進行経路からはずれないよう制御を行うものである。
また、歩行指示部5から指示される仮想環境内の位置、進行方向等情報は、所定の通信システムを介して本体である情報提示装置に送信することも可能である。
次に、図8に示すフローチャートを参照して、経路制御決定部9の処理動作について説明する。
まず、あらかじめ定められた進行可能な経路のxz平面における一方の経路境界R(x、z)=0と他方の経路境界L(x、z)=0を設定する(ステップS10)。図9に、あらかじめ定められた進行経路の具体例を示す。なお図9では簡単のため経路境界は直線で表している。
次に、歩行指示部5の指示に応じて(ステップS11)、図9に示すように、ウオークスルーを開始する地点ST(sx、sy、sz)を設定し(ステップS12)、歩行指示部5より指示されたxz平面内での進行方向(図9の実線の矢印)をあらかじめ定められた歩行速度vに基づき変化分dx、dzとして得る(ステップS13)。
次に、開始地点からこのdx、dz分進んだ地点が、図9の一方の経路境界R(x、z)と他方の経路境界L(x、z)の間の経路領域内に含まれているのかを判定する(ステップS14)。すなわち、経路内であれば、
R(sx+dx、sz+dz)L(sx+dx、sz+dz)<0
…(2)
を満たすので、この(2)式を条件式として判定を行えばよい。
(2)式を満足しない場合(例えば、移動先の地点が図9の点P2の地点)は、ステップS15に進み、変化分dx、dzを減少させるように制御する。例えば、変化分dx、dzのそれぞれに1より小さい定数kを乗じたものを新たに変化分dx、dzとすることにより変化分を減少する((3)式)。
dx←kdx、dz←kdz(0<k<1) …(3)
なお、変化分の制御方法は一定数を減じるような方法でもよい。このステップS15の操作により、図9の移動先の地点P2がP2′に変更になる。
さらに、この減少した変化分進んだ地点が経路内に含まれているかどうかをステップS14に戻って再び判定を行う。もし、含まれていなければ、再度ステップS15で変化分を減じ、変化分が経路内に含まれるまでステップS14〜ステップS15を繰り返す。なお、一定回数減じる操作を繰り返したにもかかわらず、経路内に含まれない場合には、強制的にdx、dzを0にすることも可能である。
図9の点P2′に関しては、ステップS14に戻った時点で、経路内に含まれているので、次に、ステップS16に進む。また点P1の場合は、dx、dzの変化分が大きくなく、最初から経路内に含まれているので、ステップS15に進まずに直にステップS16に進む。
最終的に経路内に含まれるようになると、移動先のxz平面上の座標(sx+dx、sz+dz)を決定して、ステップS16で、仮想環境構成部4にて、そその移動先である次の地点のy座標sy′を得る。すなわち、図9の地点P1あるいはP2′に対応するy座標を得る。
さらに、ステップS17に進み、この値を新たな地点とし、ステップS12に戻り、ステップS12〜ステップS17の処理を繰り返す。すなわち、図9のP1あるいはP2′を開始点として、ステップS11以降の処理を繰り返す。
以上説明したように、上記第2の実施形態によれば、歩行指示部5から進行方向を指示する際に、たとえば、所定の通信システムを介して伝送に時間がかかる遠距離にある本体の情報提示装置の仮想環境にアクセスしていて、応答時間が遅くて、歩行の指示をしすぎる可能性が高く、目的の対象物への接近が非常に困難な場合でも、経路制御決定部9において、歩行指示部5から指示された進行方向に基づく進行経路をあらかじめ定められた仮想環境内の進行経路からはずれないよう制御することにより、ユーザは、意識せずに、あらかじめ定められた一定の進行経路からはみ出すことがないので、容易に目的の対象物に接近できる。
また、経路制御決定部9で進行経路の制御を行うことにより、ユーザは、情報提示装置にてあらかじめ定められた進行経路から大幅にはずれることがないので、経路付近以外の仮想環境部分は、形状を簡易化でき、従って、データ量の軽減とデータ作りの軽減もはかることができる。
なお、上記第2の実施形態において、経路をはずれた場合の修正係数kは、固定であったが、必ずしもこれに限定されるものではない。たとえば、前述の第1の実施形態の場合のように、季節に応じて背景が変化し、たとえば、冬で雪が降っている状況では、経路とその周囲も白く表示されることになるので、経路境界がわかりにくく、経路がみえにくい状況が発生するが、このような場合には、修正係数kを小さめにすることで、あらかじめ定められた進行経路から一層はずれにくくするようにすることも可能である。
次に、第3の実施形態について説明する。
上記第1、第2の実施形態では、ともに、仮想環境が表示されているディスプレイ装置の表示画面(表示部8)に向かって指示をするような設定である。この方法では、画面に表示されているのは、仮想環境構成部4で構成される3次元の仮想環境内のある視点から見える範囲の視野である。このため、仮想環境内でどこにいるか不明になりやすいことが問題になっている。また、博物館などでの使用を仮定したときに、一度にある一人の視野しか表示できないため、他の観覧者は、自分以外の視野で見るという不自然な状態が発生する。そこで、第3の実施態として、このような問題点を解決する情報提示方法およびこの情報提示方法を用いた情報提示装置について説明する。
図10は、第3の実施形態に係る情報提示装置の構成を概略的に示したもので、
資料記憶部1、背景記憶部2、配置記憶部3、仮想環境構成部4、歩行指示部5、経路制御決定部9、描画部7、表示部8、手元操作部10から構成される。なお、図10において、図1と同一部分には同一符号を付し、異なる部分についてのみ説明する。すなわち、新たに手元操作部10が追加され、表示部8は、例えば、部屋の周囲を大スクリーンで取り囲むような形態のものであってもよい。
次に、図11を参照して手元操作部10について説明する。
手元操作部10は、各ユーザMが所持するもので、表示部8にてユーザMの周囲に仮想環境が表示されると、ユーザMの位置を仮想環境内の3次元的な位置として検知し、ユーザMの指示に応じて、そのユーザMの視野内の資料等の情報提示を行うものである。
図11において、手元操作部10は、ディスプレイ100と、説明の表示指示等を行う指示ボタン101と、仮想環境内でのユーザMの3次元的な位置を検知するための磁気などによる位置センサ102と、仮想環境構成部4と例えば無線によりデータの送受信をするための送受信部103とから構成されている。ユーザは、ひとり1台手元操作部10を持ち、表示部8で周囲に表示された仮想環境内を歩き回る。仮想環境は、例えば、図11のように、3次元の仮想環境が描画されて、その描画結果が周囲の大スクリーンに表示された古代の海中の様子である。
ユーザMがどこに位置するかは、手元操作部10の位置センサ102がセンスし、それを送受信部103が仮想環境構成部4にx、y、zの座標値の組として伝える。
次に、図12に示すフローチャートを参照して手元操作部10を用いるときの処理動作で、特に、仮想環境構成部4を中心とした処理動作について説明する。
まずステップS20で、位置センサ102の位置を初期化する。次に位置センサ102で得られたユーザMの仮想環境内における現在の座標値(rx、ry、rz)が送受信部104から仮想環境構成部4に送信される(ステップS21)。
次に、ステップS22では得られた座標値(rx、ry、rz)を中心とする視野(たとえば、有効視野である上下左右20度)を設定し、その視野にどのオブジェクトが含まれるかを判定する。
そして、ステップS23では、描画部7において、判定したオブジェクトを描画し、その描画結果としての画像データを手元操作部10に送り、ディスプレイ100に描画する。
なお、手元操作部10の送受信の能力が低い場合には、仮想環境構成部4では、画像データを圧縮してから伝送することも可能である。この場合には、手元操作部10には、元の画像に復号するための画像復号化部が別途必要である。
ユーザが手元操作部10のディスプレイ100に表示されているオブジェクトの説明を知りたい場合には、その旨を指示ボタン101を押下することにより指示する(ステップS24)。
この説明表示の指示があったときは、ステップS25に進み、仮想環境構成部4は手元操作部10のディスプレイ100の中央に表示されているオブジェクトの説明が求められたと解釈し、まず、中央値(rx、ry、rz)にもっとも近いオブジェクトを探索する。そして、探索されたオブジェクトの説明(通常はテキスト)を資料記憶部1から読み出して手元操作部10に送信する。手元操作部10は受信したテキストをたとえば、図11に示したようにディスプレイ100にすでに描画しているオブジェクトに重なるように別のウインドウを用いて、描画する(ステップS26)。このとき、テキストだけでなく、音声によるナレーションを送ることも可能である。この場合には、手元操作部10にスピーカが必要である。
説明の指示を始めた時刻から計測し、一定時間がすぎると、説明の表示を終えるようにする(ステップS27)。あるいは、ユーザが指示ボタン102を押すことにより、説明の提示を終えるようにすることも可能である。
説明の提示を終了すると、再び、ステップS21にもどり、ユーザの位置を得て、以下、ステップS22〜ステップS27までの処理を繰り返す。
以上説明したように、上記第3の実施形態によれば、各ユーザが手元操作部10を用いることにより、複数のユーザが表示部8表示された1つの仮想環境を共有して、なおかつ個々のユーザが自分の得たいオブジェクトの説明を随時得ることができる。このとき、説明は説明表示の要求をしたユーザの手元操作部10にのみ表示されるので、他のユーザのじゃまをすることがない。
なお、手元操作部10に表示される説明は概要と詳細のようにレベル分けしておき、最初の説明表示指示に対しては概要のみ、さらに説明指示ボタン102が押されたときには、詳細(たとえば、動画による生態の説明など)を表示するようにすることも可能である。
また、単に、文字や動画、音声だけでなく、図13に示すように、力フィードバック部11と手元操作部10を組み合わせた構成により、オブジェクトにさわったと想定したときの重量を力として帰すことも可能である。具体的には、図14に示すように、力フィードバック部11のアーム11bに手元操作部10を接続する構成になる。
このような構成において、たとえば、手元操作部10の指示ボタン101から説明表示の指示があったときには、仮想環境構成部4は、そのオブジェクトの説明と重さの情報を資料記憶部1から読み出して手元操作部10に送る。手元操作部10は、さらに重さの情報を力フィードバック部11に送り、制御部11aの制御のもと、トルク発生部11cで重さに応じたトルクを発生して、そのトルクをアーム11bを介して手元操作部10にかけることにより、ユーザは実際にそのオブジェクトを持ち上げたような体験ができるようになっている。
さらに、図13に示すように、触覚フィードバック部12を付加することにより、オブジェクトの表面の荒さなどを体験できるようにすることもできる。具体的には、図15に示すように、触覚フィードバック部12は手元操作部10に組み込まれて構成される。このような構成により、たとえば、指示ボタン102から説明表示の指示があったときには、仮想環境構成部4は、そのオブジェクトの説明と表面の荒さ等の触覚情報を資料記憶部1から読み出して手元操作部10に送る。手元操作部10は、さらに触覚情報を触覚フィードバック部12に送り、荒さに応じて振動部12aを振動させる。ユーザは、振動部12aをさわることで、実際にそのオブジェクトにさわったような体験をできる。
本発明の第1の実施形態に係る情報提示装置の構成を概略的に示した図。 資料記憶部の形状データの記憶例を示した図。 図1の情報提示装置の処理動作を説明するためのフローチャートで、特に、視線方向決定部の処理動作の具体例を説明するためのものである。 視線方向の決定処理動作を具体的に説明するための図。 ウオークスルーを行うときの視線方向の重要性を説明するための図。 図1の情報提示装置の処理動作を説明するためのフローチャートで、特に、視線方向決定部の処理動作の他の具体例を説明するためのものである。 本発明の第2の実施形態に係る情報提示装置の構成を概略的に示した図。 図7の情報提示装置の処理動作を説明するためのフローチャートで、特に、経路制御決定部の処理動作を説明するためのものである。 経路制御決定部の処理動作を具体的に説明するための図。 本発明の第3の実施形態に係る情報提示装置の構成を概略的に示した図。 手元操作部の機能について説明するための図。 図10の情報提示装置の処理動作を説明するためのフローチャートで、特に、手元操作部を用いたときの仮想環境構成部の処理動作について説明するためのものである。 第3の実施形態に係る情報提示装置の他の構成例を具体的に示した図。 力フィードバック部について説明するための図。 触覚フィードバック部について説明するための図。
符号の説明
1…資料記憶部、2…背景記憶部、3…配置記憶部、4…仮想環境構成部、5…歩行指示部、6…視野方向決定部、7…描画部、8…表示部、9…経路制御決定部、10…手元操作部、11…力フィードバック部、12…触覚フィードバック部。

Claims (3)

  1. 情報提示の対象となる各資料の形状および詳細情報、各資料が提示される仮想環境の形状、前記仮想環境内の各資料の配置位置を基に各資料を含む仮想環境を構成して、該仮想環境を描画する第1の描画手段と、
    前記仮想環境のうち、前記仮想環境内のユーザの位置情報を基に決定される該ユーザの視野内の資料を描画する第2の描画手段と、
    を含む情報提示装置と、
    前記第1の描画手段による前記仮想環境の描画結果を表示する表示装置と、
    前記表示装置が設置されている部屋内のユーザに所持されて、該部屋内の該ユーザの位置を前記仮想環境内のユーザの位置として検知するとともに、前記情報提示装置から送信された前記第2の描画手段による前記資料の描画結果及び詳細情報を表示する操作装置と、
    を備えた情報提示システムにおける情報提示方法であって、
    前記表示装置が前記第1の描画手段による前記仮想環境の描画結果を表示する第1の表示ステップと、
    前記操作装置が前記部屋内のユーザの位置を前記仮想環境内のユーザの位置として検知する検知ステップと、
    前記操作装置前記検知ステップで検知された前記ユーザの位置情報を前記情報提示装置へ送信する第1の送信ステップと、
    前記情報提示装置の前記第2の描画手段が、前記第1の送信ステップで送信された前記位置情報を基に決定される前記仮想環境内での前記ユーザの視野内の資料を描画する描画ステップと、
    前記情報提示装置が前記視野内の資料の描画結果を前記操作装置へ送信する第2の送信ステップと、
    前記操作装置が前記第2の送信ステップで送信された前記描画結果を表示する第2の表示ステップと、
    前記第2の表示ステップで前記操作装置で表示された描画結果を基に選択された資料の詳細情報の提示要求を、前記操作装置が前記情報提示装置へ送信する第3の送信ステップと、
    前記情報提示装置が前記提示要求に応じて、前記資料の詳細情報を前記操作装置へ送信する第4の送信ステップと、
    前記情報提示装置から送信された前記詳細情報を前記操作装置が表示する第3の表示ステップと、
    を有することを特徴とする情報提示方法。
  2. 前記操作装置が前記選択された資料の重さを提示することを特徴とする請求項1記載の情報提示方法。
  3. 前記操作装置が前記選択された資料の触覚を提示することを特徴とする請求項1記載の情報提示方法。
JP2004111110A 2004-04-05 2004-04-05 情報提示方法 Expired - Fee Related JP3971407B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004111110A JP3971407B2 (ja) 2004-04-05 2004-04-05 情報提示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004111110A JP3971407B2 (ja) 2004-04-05 2004-04-05 情報提示方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP7312142A Division JPH09152954A (ja) 1995-11-30 1995-11-30 情報提示方法及び情報提示装置

Publications (2)

Publication Number Publication Date
JP2004303253A JP2004303253A (ja) 2004-10-28
JP3971407B2 true JP3971407B2 (ja) 2007-09-05

Family

ID=33411204

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004111110A Expired - Fee Related JP3971407B2 (ja) 2004-04-05 2004-04-05 情報提示方法

Country Status (1)

Country Link
JP (1) JP3971407B2 (ja)

Also Published As

Publication number Publication date
JP2004303253A (ja) 2004-10-28

Similar Documents

Publication Publication Date Title
JPH09152954A (ja) 情報提示方法及び情報提示装置
EP3516480B1 (en) Compositing an image for display
US11030771B2 (en) Information processing apparatus and image generating method
US9782684B2 (en) Remote controlled vehicle with a handheld display device
EP3379525B1 (en) Image processing device and image generation method
CN107003512B (zh) 用于虚拟现实的头戴式显示器中的扫描显示系统
US10627628B2 (en) Information processing apparatus and image generating method
US11266919B2 (en) Head-mounted display for navigating virtual and augmented reality
US9779702B2 (en) Method of controlling head-mounted display system
KR20160124479A (ko) 서버, 사용자 단말 장치 및 그 제어 방법
JP5745497B2 (ja) 表示システム、表示制御装置、情報処理プログラム及び表示方法
JPWO2016031358A1 (ja) 表示制御装置、表示制御方法およびプログラム
CN102016929A (zh) 产生显示图像
CN109478342B (zh) 图像显示装置及图像显示系统
US20140152562A1 (en) Display controller, display system, storage medium and method
JP2008070705A (ja) 画像提供システムおよび画像提供サーバ装置
WO2021200494A1 (ja) 仮想空間における視点変更方法
JP4282640B2 (ja) 情報提示方法及び情報提示装置
JP3971407B2 (ja) 情報提示方法
KR102192153B1 (ko) 가상현실 영상 제공 방법 및 이를 이용한 프로그램
WO2021220407A1 (ja) ヘッドマウントディスプレイ装置および表示制御方法
JP6623362B2 (ja) 表示制御装置及びプログラム
JP7027753B2 (ja) 情報処理装置及びプログラム
JP6047197B2 (ja) 表示システム、表示制御装置、情報処理プログラム及び表示方法
JP5063230B2 (ja) ナビゲーションシステム及びナビゲーション方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070607

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100615

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees