JPH11316853A

JPH11316853A - 仮想現実感生成装置及び方法

Info

Publication number: JPH11316853A
Application number: JP10137595A
Authority: JP
Inventors: Takeshi Minagawa; 剛皆川; Haruo Takeda; 晴夫武田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1998-05-01
Filing date: 1998-05-01
Publication date: 1999-11-16
Anticipated expiration: 2018-05-01
Also published as: JP4098882B2

Abstract

(57)【要約】【課題】ユーザが体感している仮想世界を考慮して生
成した、ユーザに関連する影を、画像表示手段上に表示
することで、仮想現実感を向上させる。【解決手段】ユーザのシルエットを画像撮影手段を用
いて撮影し、光源情報等を用いて、ユーザが仮想世界内
にいる場合と同じような影を生成するためにユーザのシ
ルエットに対して遮光板を生成し、該遮光板を仮想世界
内に配置することで仮想世界におけるユーザの影を求
め、画像表示手段によって表示される画像に変更を加え
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像表示手段を用
いて仮想現実感を生成する装置および方法に関する。

【０００２】

【従来の技術】画像表示手段を用いた仮想現実感生成装
置および方法に関する従来技術には、次のようなものが
ある。まず、視野の大部分を覆うことにより仮想現実感
を向上させることを目的とした画像表示装置としては、
ヘッドマウントディスプレイや、文献 C. C.Neira, D.
J. Sandin, T. A. DeFanti: "Surround-Screen Project
ion-BasedVirtual Reality: The Design and Implement
ation of the CAVE", ACMProc. ofSIGGRAPH 93, Anahei
m, CA, 1993, pp. 135--142 で挙げられている装置など
がある。これらの装置は、ユーザの視野の大部分を仮想
世界の映像で覆い実世界の情報を遮断することでユーザ
に自分が仮想世界内に存在するという感覚を与えるとい
うものである。

【０００３】また、表示される画像内にユーザ自身の姿
が埋め込まれることにより仮想現実感を向上させること
を目的とした技術としては、渋谷,田村他「自己映像パ
フォーマンス」,monthly 画像ラボ,vol. 7, No. 4, 199
6, pp. 51--54.において解説されているクロマキー合成
等の手法がある。これは、撮影した映像から色を手掛か
りにしてユーザの姿を切り出し、仮想環境の映像に重ね
て表示するもので、ユーザの分身を実際に仮想世界内に
埋め込むことで仮想現実感を向上させるというものであ
る。

【０００４】さらに、影を用いて仮想世界のリアリティ
を向上させることを目的とした装置としては、特開平７
−１２９７９６号公報に記載の臨場感生成装置がある。
この装置は、３次元モデルの各種情報を基にユーザとの
対話的処理により仮想世界（明細書中では「仮想環境」
という言葉が用いられている）に付ける影のリアリティ
の向上を図ることで、仮想世界自体のリアリティをも向
上させるというものである。

【０００５】

【発明が解決しようとする課題】従来の装置・技術にお
いては、画像表示手段を用いてユーザの視覚に訴える仮
想世界の表現がどんなに緻密なものであっても、ユーザ
の影がないために、ユーザが「仮想世界における自分の
存在感」を十分に体感することができず、どこか違和感
のある仮想現実感しか得ることができなかった。

【０００６】本発明の目的は、仮想現実感を向上させる
ために、ユーザの影を、画像表示手段上に表示すること
にある。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、画像表示手段を備える仮想現実感生成装
置であり、ユーザ情報入力手段と、画像処理手段と、記
憶手段に格納された仮想世界を表現するデータとを備
え、前記ユーザ情報入力手段は仮想現実感生成装置内に
おけるユーザを含む像を画像情報として前記画像処理手
段に供給し、該画像処理手段は前記ユーザ情報入力手段
から供給される画像情報と前記仮想世界を表現するデー
タを用いて仮想世界におけるユーザに関連する影の情報
を生成し、該生成した情報に基づいて前記画像表示手段
が表示に用いる画像を生成し、前記画像表示手段は前記
画像処理手段によって生成された画像を表示するように
している。

【０００８】また、画像表示手段を備える仮想現実感生
成装置であり、画像撮影手段と、画像処理手段と、記憶
手段に格納された仮想世界を表現するデータとを備え、
前記画像撮影手段は装置内においてユーザが存在し得る
空間の一部または全部を撮影した画像情報を前記画像処
理手段に供給し、前記画像処理手段は前記画像撮影手段
から供給される画像と前記仮想世界を表現するデータを
用いて仮想世界におけるユーザに関連する影の情報を生
成し、該生成した情報に基づいて前記画像表示手段が表
示に用いる画像を生成し、前記画像表示手段は前記画像
処理手段によって生成された画像を表示するようにして
いる。

【０００９】また、画像を用いて仮想現実感を生成する
仮想現実感生成方法であり、仮想世界の情報と、ユーザ
の位置・姿勢・動きの情報の一部または全部を用いて、
仮想世界における、ユーザの影、あるいはユーザに関連
する物体の影、あるいはその両方の影を生成し、生成し
た影を付加した仮想世界を元にして、ユーザに提示する
画像を生成するようにしている。

【００１０】また、仮想世界内でのユーザの影と略一致
する影を生成する２次元の遮光板を作成し仮想世界内に
埋め込むことにより、ユーザの３次元形状が未知のまま
仮想世界内でのユーザの影のシミュレートを行うように
している。

【００１１】

【発明の実施の形態】以下、図１〜図９を用いて、本発
明の第１の実施の形態による仮想現実感生成装置につい
て詳細に説明する。まず、図１を用いて本発明の第１の
実施形態による仮想現実感生成装置の全体構成について
説明する。図１は、本発明の第１の実施形態による仮想
現実感生成装置の全体構成を示す概念図である。正面ス
クリーン１１１１、右側面スクリーン１１１２、左側面
スクリーン１１１３、床面スクリーン１１１４はすべて
背面投射型スクリーンであり、それぞれ対応する画像投
影手段から投影された画像を表示するものである。ユー
ザ６０１１は、前記４枚のスクリーンによって囲まれる
空間（以下では「仮想体験空間」とする）内において仮
想世界を体感することができる。一例を挙げると、図１
の例においては、ユーザ６０１１は例えば「街路樹７１
２の立ち並んだ『階段のある道』７０２を右端から左端
に向かって渡る」という仮想体験をすることができる。

【００１２】ビデオカメラ１２１１、ビデオカメラ１２
２１、ビデオカメラ１２３１、ビデオカメラ１２４１の
それぞれは、ユーザ６０１１の視界を遮らないように設
置され、ユーザ６０１１を含む仮想体験空間内の映像を
撮影する。撮影した画像および仮想世界表現データ（物
体の３次元形状や光源情報など）をもとに、仮想世界に
おけるユーザ６０１１の影を計算し、表示したものが影
６１３である。影６１３の計算の方法については、図２
以下で説明する。

【００１３】次に、図２を用いて本発明の第１の実施形
態による仮想現実感生成装置のシステム構成について説
明する。図２は本発明の第１の実施形態による仮想現実
感生成装置のシステムブロック図である。画像処理装置
２０は、中央演算処理装置２１と、外部記憶装置２２
と、主記憶装置２３と、画像入力手段１３１１〜１３４
１とから構成されている。画像入力手段１３１１〜１３
４１は、例えば、画像キャプチャボードである。

【００１４】主記憶装置２３には、必要に応じて、外部
記憶装置２２からユーザ切り出しプログラム２３１１、
遮光板配置プログラム２３１２、付影処理プログラム２
３１３、仮想空間表現プログラム２３１４、画像入力手
段制御プログラム２３１５、画像表示手段制御プログラ
ム２３１６、仮想世界表現データ２３２１および画像撮
影手段の内部・外部パラメータ２３２２が読み込まれ
る。画像撮影手段１２１１、１２２１、１２３１および
１２４１によって撮影された画像は、それぞれ画像入力
手段１３１１、１３２１、１３３１および１３４１を介
して画像処理装置２０に入力され、主記憶装置２３内に
入力画像２３２３として記憶される。画像撮影手段とし
ては、例えば、ビデオカメラを用いる。画像撮影手段お
よびその他の手段（例えば、床面に埋め込んだ圧力セン
サ等）はユーザ情報入力手段を構成するが、ユーザ情報
入力手段は画像撮影手段に限られるものではなく、ユー
ザ情報を入力できるものであればよい。

【００１５】仮想空間表現プログラム２３１４は、仮想
世界全体あるいは仮想世界の一部の情報を、画像表示手
段１１の入力となるべき画像データに変換し、画像表示
手段１１に出力するものである。画像表示手段１１とし
ては、例えば、図１においてはスクリーン１１１１〜１
１１４と、そのそれぞれに映像を投影する複数台のプロ
ジェクタ、およびそれらのプロジェクタに画像信号を供
給するグラフィックボードを用いる。ここで、画像表示
手段１１に表示する画像データへの変換は、スクリーン
の配置を考慮した上で、例えばユーザの視点あるいはユ
ーザの視点に近い視点からの透視変換、あるいは仮想体
験空間内のある一点を「ユーザの視点」と仮定した透視
変換を行うことで実現できる。ここで、前者の「ユーザ
の視点位置」の推定は、例えばヘッドトラッキング技術
を用いることにより実現することができる。

【００１６】画像入力手段制御プログラム２３１５およ
び画像表示手段制御プログラム２３１６は、それぞれ画
像キャプチャボードやグラフィックボード・プロジェク
タの制御を行うためのドライバソフトである。

【００１７】付影処理プログラム２３１３は、仮想世界
表現データ２３２１が与えられた時に、仮想世界に影を
付加するプログラムである。これは、通常の３次元レン
ダリングツールに用いられている技術を用いることで実
現することができる。そのような技術としては、例えば
レイトレーシング技術（光線追跡法）がある。レイトレ
ーシングについては文献「レンダリングの種類」（日経
ＣＧ、１９９７年１月号、ｐｐ。１５６−１６０）など
に記述がある。また、レイトレーシングは非常に時間が
かかるため、厳密さを犠牲にした簡便な方法がいくつか
知られており、本発明は影の厳密な正確さを要求するも
のではないので、そのいずれかを用いることもできる。

【００１８】仮想世界表現データ２３２１は仮想世界の
３次元形状データ２３２１１、光源データ２３２１２お
よびユーザの（仮想世界における）視点位置のデータ２
３２１３を備えるものである。ここで、仮想世界の３次
元形状データ２３２１１は、例えば、多角形（ポリゴ
ン）データ（例えば座標値の分かっている頂点のシリア
ル番号の組）の形で与えられるものとする。また、光源
データ２３２１２には、例えば光源の強さや光源の位置
・向きなどがある。また、ユーザの視点位置２３２１３
のデータは、仮想世界におけるユーザの視点位置だけで
はなく、画像投影面の配置などの透視変換を行うために
必要なデータをすべて含むものとする。これらのデータ
は時々刻々変化する可能性があるが、個々の間の相対関
係を外部記憶装置から読み込んでおけば、具体的な位置
データ等はユーザにどのような仮想体験をさせるかに依
存してその都度簡単な計算により求めてやることができ
る。

【００１９】ユーザ切り出しプログラム２３１１につい
ては図４で、遮光板配置プログラム２３１２については
図６で詳しく説明する。また、各種データ２３２２〜２
３２８は、図３以降の処理で使用されるデータであり、
使用される部分で詳細を説明する。

【００２０】図３は、本実施形態において、ユーザの影
付き画像が表示されるまでのフローチャートである。図
３〜図８では、現実世界のビデオカメラ１２１１の位置
に対応する仮想世界での位置に光源があると仮定し、単
一のビデオカメラ１２１１からの入力画像を用いてユー
ザの影付き画像を表示する方法について説明する。ま
ず、ステップ３００１で、入力画像２３２３を読み込
む。次に、ステップ３００２において、入力画像からユ
ーザの姿のシルエットを切り出す。この処理は、ユーザ
切り出しプログラム２３１１によって行われるものであ
り、図４で説明する。次に、ステップ３００３におい
て、ステップ３００２において切り出されたユーザのシ
ルエットから遮光板を生成し、それを３次元の仮想世界
内に配置する。この処理は、遮光板配置プログラム２３
１２によって行われるものであり、図６で説明する。そ
の後、ステップ３００４にて遮光板が配置された仮想世
界に対して付影処理プログラム２３１３により付影処理
を行い、ステップ３００５にて仮想空間表現プログラム
２３１４によって影の付加された仮想世界の表示を行
う。「影の付加された仮想世界」を表すデータが表示用
仮想世界表現データ２３２８であり、このデータが、実
際に仮想空間表示プログラム２３１４を用いて画像に変
換される元となるデータとなる。

【００２１】図４は本実施形態におけるユーザ切り出し
プログラム２３１１の動作を示すフローチャートであ
り、図５はユーザ切り出しプログラム２３１１の動作の
一例を示す図である。ユーザ切り出し処理が始まると、
まず、ステップ３１０１において画像撮影手段の内部・
外部パラメータ２３２２の読み込みを行う。画像撮影手
段の内部・外部パラメータ２３２２としては、例えば、
ビデオカメラの焦点距離や画角、装置内でのビデオカメ
ラの位置・向きの情報などがある。この情報は、各パラ
メータが固定であれば外部記憶装置２２から読み込んで
もよいし、固定とは限らないのであれば、画像撮影手段
（制御装置を含む）から逐次パラメータを受け取る。

【００２２】次に、ステップ３１０２において、表示用
仮想世界表現データ２３２８を読み込む。次にステップ
３１０３において、理想入力画像２３２４を計算する。
理想入力画像２３２４とは、「ユーザがいない状態でス
クリーンに投影されている映像を撮影した場合に得られ
る画像」であり、これは、画像撮影手段の内部・外部パ
ラメータ２３２２と前のフレームの表示用仮想世界表現
データ２３２８（後述する遮光板自体を取り除いたも
の）とから求めることができる。その後、ステップ３１
０４およびステップ３１０５において、入力画像２３２
３（理想入力画像のデータに基づき投影した投影像上に
いるユーザを撮影した画像である。）と理想入力画像２
３２４を比較することにより、ユーザが写っている部分
（あるいはユーザに関連する物体の部分、あるいはその
両方）であるユーザシルエット画像２３２５と、ユーザ
が写っておらず背景がそのまま撮影されている部分であ
る背景残留画像２３２６（ハッチ付けしたユーザ画像
は、この位置にユーザ画像があったことを示すものであ
る）を求めて、ユーザ切り出し処理を完了する。ここ
で、「ユーザに関連する物体」は、「現実世界にはない
が、仮想世界に存在し、ユーザの位置等により位置等が
変化するもの」である。例えば、仮想世界でユーザのは
いているスキー板がある。なお、図５において入力画像
２３２３は、図１のビデオカメラ１２１１によって撮影
されたものであり、ユーザと、背景とが写っている。な
お、図５の画像２３２３の左端に斜めに描かれている長
い線は道路の端の線を、図５の画像２３２３の左下に描
かれている短い線は街路樹の幹を表している。図６は
本実施形態における遮光板配置プログラム２３１２の動
作を示すフローチャートであり、図７および図８は遮光
板配置プログラム２３１２の動作の一例を示す図であ
る。遮光板配置処理が始まると、まず、ステップ３２０
１においてユーザ切り出し処理において計算したユーザ
シルエット画像２３２５を読み込む。次にステップ３２
０２において、遮光板の形状を決定する。この動作の例
が図７であり、ユーザシルエット画像２３２５からユー
ザが写っている部分を覆うような矩形領域２３２７１を
切り取り、その領域内でユーザが写っている部分の透明
度が０(不透明)に、ユーザが写っていない部分の透明度
が１(透明)になるような遮光板形状データ２３２７２を
生成する。遮光板形状データ２３２７２は、実際には複
数のポリゴン(多角形)から構成されるポリゴン群のデー
タである。

【００２３】次に、ステップ３２０３において、遮光板
形状データ２３２７２と仮想世界におけるユーザの位置
および大きさとから、仮想世界における遮光板の大きさ
を決定する。遮光板形状データ２３２７２と仮想世界に
おける遮光板の大きさとを合わせて遮光板基礎データ２
３２７３と呼ぶ。次に、ステップ３２０４において背景
残留画像２３２６を読み込み、軸位置２３２６２を決定
する。これは、背景残留画像２３２６の底辺２３２６３
に平行で、かつ、ユーザが写っていた場所を横切るよう
な直線のうち、背景残留画像２３２６の底辺２３２６３
に最も近い直線２３２６１と、ユーザが写っていた場所
との交点として求めることができる。このような点が複
数存在する場合には、例えば「一番左側の点」などとい
う基準により選べばよい。

【００２４】次に、ステップ３２０５において仮想世界
の３次元形状データを読み込み、ステップ３２０６にお
いてユーザの視点位置データを読み込み、ステップ３２
０７において画像撮影手段の内部・外部パラメータ２３
２２を読み込む。これらのデータから、仮想空間表現プ
ログラム２３１４との整合性を考えると、軸位置２３２
６２の仮想世界内での位置２３２１４を算出することが
できる。これは、例えば、仮想空間表現プログラム２３
１４が表示する画像データを透視変換により生成してい
れば、その逆変換を施してやればよい。これらの処理を
行った後、ステップ３２０８において仮想世界における
遮光板の配置を決定する。これは、これまでの処理によ
り、遮光板基礎データ２３２７３と軸位置２３２６２の
仮想世界内での位置２３２１４とが分かっているので、
遮光板をどの位置にどの角度で配置するかを決定してや
ればよい。ここで、位置に関しては、遮光板基礎データ
２３２７３において軸位置２３２６２に対応する点を求
め(これは、ユーザの輪郭がユーザシルエット画像２３
２５と背景残留画像２３２６で共通なので容易に求めら
れる)、その点が位置２３２１４に一致するようにすれ
ばよい。角度については、フィルム面に平行に配置する
のが望ましい(フィルム面の向きについては、画像撮影
手段の内部・外部パラメータ２３２２から得られる)
が、本発明は影の形の厳密さを要求するものではないの
で、例えば、ビデオカメラの光軸方向ベクトルを水平面
に射影したベクトルを作り、そのベクトルに垂直な鉛直
面に平行に配置するようにしてもよい。遮光板の配置に
関するデータと遮光板基礎データ２３２７３を合わせ
て、遮光板データ２３２７とする。

【００２５】以上の処理の後、付影処理プログラム２３
１３によりユーザの影を付けた表示用仮想世界表現デー
タ２３２８を作成し、それを仮想空間表現プログラム２
３１４により変換して画像表示手段１１に出力すること
で、求めたい映像を得ることができる。なお、付影処理
プログラム２３１３によりユーザの影を付けた表示用仮
想世界表現データ２３２８を作成する際、影付け処理後
に遮光板自体は取り除く（遮光板自体が仮想空間表現プ
ログラム２３１４により変換されて画像表示手段１１か
ら投影されないようにするため）点に注意する。

【００２６】図９は、本実施形態においてビデオカメラ
の位置と光源位置との整合性が取れていない場合の処理
の一例を示す図である。ビデオカメラを必要なだけ多数
配置したり、モーションコントロールカメラを用いて必
要な画像が撮影できるようにビデオカメラの撮影位置を
コントロールするといった工夫により、そもそもこのよ
うな場合が起こらないようにしてやることもできるが、
ここでは、ソフトウェアによる処理によりこのような場
合にも本発明が使用できることを示す。まず、ビデオカ
メラ１２１１およびビデオカメラ１２２１の中点に対応
する仮想世界内の位置に光源が存在すると仮定する。こ
の場合、まず、ビデオカメラ１２１１、ビデオカメラ１
２２１のそれぞれによって撮影された入力画像から、こ
れまでの説明と同様の手順により、それぞれ遮光板形状
データ２３２７２１、遮光板形状データ２３２７２２を
生成する。

【００２７】次に、これらの遮光板形状データから、モ
ルフォロジー演算や多角形ボロノイ図などを利用してユ
ーザのシルエットの骨格線を求めたものがそれぞれ画像
２３２８１、画像２３２８２である。これらの骨格線の
端点や交差点を用いて、画像２３２８１と画像２３２８
２の対応を求め、その対応と２枚の遮光板形状データ２
３２７２１、２３２７２２からモーフィング処理によっ
て求めた新たな遮光板形状データが遮光板形状データ２
３２７２３である。仮想世界における軸位置を例えばビ
デオカメラ１２１１によって撮影された入力画像を元に
決めてやり、「遮光板形状データ２３２７２１において
軸位置に対応する点」に対応する遮光板形状データ２３
２７２３の点がその仮想世界における軸位置に一致する
ようにすることで、遮光板の配置位置を決めることがで
きる。また、フィルム面の向きあるいは光軸方向ベクト
ルをビデオカメラ１２１１・ビデオカメラ１２２１の該
当するパラメータの平均値としてやることにより、説明
した方法と同様の方法によって配置角度を決めることが
できる。

【００２８】なお、モーフィング処理は、例えば、T. B
eier, S. Neely: "Feature Based Image Metamorphosi
s", ACM Proc. ofSIGGRAPH 92, Chicago, IL, 1992, p
p. 35--42；S. M. Seitz, C. R. Dyer: "View Morphin
g", ACM Proc. of SIGGRAPH 96, New Orleans, LA, 199
6, pp. 21--30；などの文献に見られるように、よく知
られた技術である。なお、特徴点の抽出は、従来のモー
ションキャプチャ技術で用いられているように、ユーザ
の指先などの特徴となる点にマーカーを付けて、それを
用いて認識を行うような処理とすることもできる。さら
に、骨格線抽出には、文献S. Iwasawa, et al. : "Real
-Time Estimationof Human Body Posture from Monocul
ar Thermal Images", Proc. of ComputerVision and Pa
ttern Recognition, Puerto Rico, 1997, pp. 15--20.
に述べられているような熱センサを用いたシステムを補
助的に用いてもよい。なお、上記実施形態においては、
光源位置を２台のビデオカメラの中間点に対応する仮想
世界内の位置としたが、モーフィング処理を複数枚の画
像から行ったり、補間のパラメータを適宜変更すること
により、ユーザの姿を捕らえている複数台のビデオカメ
ラが作る３次元凸包内の任意の点に対応する仮想世界内
の位置に光源がある場合のすべてに対して、本実施例を
適用することができる。

【００２９】また、光源が前記３次元凸包内のどの点に
も対応しない仮想世界内の位置にある場合にも、例え
ば、前記３次元凸包内の点に対応する仮想世界内の位置
のうち、今の光源位置に最も近い点を光源位置とした時
の遮光板データをそのまま用いるようにすることによ
り、影の近似精度は低下するものの、本実施例を適用す
ることが可能である。さらに、本実施例ではユーザシル
エット画像２３２５から矩形領域２３２７１を切り取っ
てから遮光板形状データ２３２７２を生成したが、仮想
世界においてユーザの大きさが変化したり、遮光板の生
成時にモーフィングを行ったりといったことがない場合
には、ユーザシルエット画像２３２５全体を１つの矩形
領域として扱って遮光板データを生成することができ
る。この場合、遮光板の配置は、仮想世界表現データ２
３２１および画像撮影手段の内部・外部パラメータとか
ら決定することができるため、処理を簡単にすることが
できる。

【００３０】また、上記実施形態においては、ユーザの
影を付加するために遮光板を作成し仮想世界内に配置し
たが、本発明による装置では、ユーザの影と同じような
影を生成することのできる遮光物を仮想世界内に配置す
ることができればよく、影の生成方法としては遮光板を
用いた方法に限るものではない。例えば、複数のビデオ
カメラを用いて撮った複数枚の画像からステレオ視など
の手法によりユーザの３次元形状を求め、それを仮想世
界内に配置することで影を生成するようにすることもで
きる。また、上記実施形態においては、影を付加するの
に、厳密にユーザの姿に基づいたものを考えたが、本発
明による装置では、たとえばユーザの動きだけを認識
し、仮想世界内で、あらかじめ用意した３次元人間モデ
ルにユーザと同じ動きをさせて影を生成するということ
もできる。この方法を取った場合、厳密にユーザの姿に
基づいて生成する場合に比べ、計算量を減少させること
ができる。また、この場合には、ユーザの動きを検出す
る方法としては、画像によるものに限る必要はない。例
えば、ユーザが仮想世界においてスキーのジャンプを体
感する場合に、前からの風圧を背中につけたワイヤを引
っ張ることでシミュレートするのであれば、仮想世界内
でのユーザの前傾姿勢の様子を張力センサを用いて推測
し、それに基づいて遮光板の配置角度を調節すること
で、前傾姿勢の場合の影のシミュレートを行うことがで
きる。

【００３１】また、上記実施形態においては、現実世界
のユーザの動作・姿勢と仮想世界でのユーザの動作・姿
勢が一致する場合にユーザの影を付加する処理について
のみ説明したが、仮想世界に対して行う補正はこれに限
るものではない。例えば、ユーザが仮想世界においてス
キーのジャンプを体験する場合には、スキー板の３次元
モデルを用意し、ユーザそのものではなく「スキー板を
履いたユーザ」の影を計算し、付加することになる。こ
のように、本発明の本質は、「ユーザが実際に仮想世界
である体験をしているとして、その時のユーザに関連す
る影を付加した」仮想世界をユーザに体感させることに
あり、現実世界におけるユーザの姿勢や動作は影を付加
する情報として有用ではあるものの、仮想世界に付加す
る影とは独立なものである。

【００３２】なお、上記実施形態のように複数の画像表
示手段を備えている場合、各画像表示手段に表示する画
像は、画像表示手段毎に独立に計算することができるこ
とに注意する。

【００３３】なお、上記実施形態においては、画像表示
手段として直方体の面のうち４面を背面投射型スクリー
ンとするようなものに２次元の画像を投影するものを用
いたが、本発明における画像表示手段としてはこれに限
るものではない。スクリーンを前面投射型に変えたもの
はもちろん、例えば、液晶シャッタ眼鏡や偏光眼鏡等と
の組合せによりユーザに立体映像を見せるものであって
もよいし、ヘッドマウントディスプレイのようにプロジ
ェクタとスクリーンの組合せで構成されるシステムでは
ないようなものであってもよい。後者の場合には、理想
入力画像は実世界の背景となるため、実世界ではユーザ
以外は動かないという条件の元では、理想入力画像を毎
回計算しなおす必要がなくなり、実現が容易になる。ま
た、本発明における手法は、ユーザの影を写すことさえ
できればよいので、視野の大部分を覆うような画像表示
システムに限る必要もなく、例えば、図１と同じ仮想現
実感を生成するために、街路樹の模型を並べ、床面だけ
を画像表示手段としたような構成も考えられる。以上説
明したように、本実施形態によれば、ユーザは、自分の
仮想世界における体験に即した影を体感することがで
き、仮想現実感を向上させることができる。それによ
り、例えば、陽光の強弱など仮想世界における光の状態
の変化をより現実的に体感することができる。

【００３４】

【発明の効果】以上に述べたように、本発明によれば、
ユーザが体感している仮想世界を考慮して生成した、ユ
ーザに関連する影を、画像表示手段上に表示すること
で、仮想現実感を向上させることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態による仮想現実感生成
装置の全体構成を示す概念図である。

【図２】本発明の第１の実施形態による仮想現実感生成
装置のシステムブロック図である。

【図３】本発明の第１の実施形態による仮想現実感生成
装置における影付き画像表示処理の処理内容を示すフロ
ーチャートである。

【図４】本発明の第１の実施形態による仮想現実感生成
装置におけるユーザ切り出しプログラムの処理内容を示
すフローチャートである。

【図５】本発明の第１の実施形態による仮想現実感生成
装置におけるユーザ切り出しプログラムの処理内容を説
明するための図である。

【図６】本発明の第１の実施形態による仮想現実感生成
装置における遮光板配置プログラムの処理内容を示すフ
ローチャートである。

【図７】本発明の第１の実施形態による仮想現実感生成
装置において遮光板の作成方法を説明するための図であ
る。

【図８】本発明の第１の実施形態による仮想現実感生成
装置において遮光板を配置する際の基準の取り方を説明
するための図である。

【図９】本発明の第１の実施形態による仮想現実感生成
装置において複数のビデオカメラの画像から適切な遮光
板を作成する方法を説明するための図である。

【符号の説明】

１１画像表示手段２１中央演算処理装置２２外部記憶装置２３主記憶装置１２１１〜１２４１画像撮影手段１３１１〜１３４１画像入力手段

Claims

【特許請求の範囲】

【請求項１】画像表示手段を備える仮想現実感生成装
置であって、ユーザ情報入力手段と、画像処理手段と、記憶手段に格
納された仮想世界を表現するデータとを備え、前記ユーザ情報入力手段は仮想現実感生成装置内におけ
るユーザを含む像を画像情報として前記画像処理手段に
供給し、該画像処理手段は前記ユーザ情報入力手段から供給され
る画像情報と前記仮想世界を表現するデータを用いて仮
想世界におけるユーザに関連する影の情報を生成し、該
生成した情報に基づいて前記画像表示手段が表示に用い
る画像を生成し、前記画像表示手段は前記画像処理手段によって生成され
た画像を表示することを特徴とする仮想現実感生成装
置。
【請求項２】画像表示手段を備える仮想現実感生成装
置であって、画像撮影手段と、画像処理手段と、記憶手段に格納され
た仮想世界を表現するデータとを備え、前記画像撮影手段は装置内においてユーザが存在し得る
空間の一部または全部を撮影した画像情報を前記画像処
理手段に供給し、前記画像処理手段は前記画像撮影手段から供給される画
像と前記仮想世界を表現するデータを用いて仮想世界に
おけるユーザに関連する影の情報を生成し、該生成した
情報に基づいて前記画像表示手段が表示に用いる画像を
生成し、前記画像表示手段は前記画像処理手段によって生成され
た画像を表示することを特徴とする仮想現実感生成装
置。
【請求項３】画像を用いて仮想現実感を生成する仮想
現実感生成方法であって、仮想世界の情報と、ユーザの位置・姿勢・動きの情報の
一部または全部を用いて、仮想世界における、ユーザの
影、あるいはユーザに関連する物体の影、あるいはその
両方の影を生成し、生成した影を付加した仮想世界を元
にして、ユーザに提示する画像を生成することを特徴と
する仮想現実感生成方法。
【請求項４】請求項３に記載の仮想現実感生成方法で
あって、仮想世界内でのユーザの影と略一致する影を生
成する２次元の遮光板を作成し仮想世界内に埋め込むこ
とにより、ユーザの３次元形状が未知のまま仮想世界内
でのユーザの影のシミュレートを行うことを特徴とする
仮想現実感生成方法。