JP4098882B2 - 仮想現実感生成装置及び方法 - Google Patents
仮想現実感生成装置及び方法 Download PDFInfo
- Publication number
- JP4098882B2 JP4098882B2 JP13759598A JP13759598A JP4098882B2 JP 4098882 B2 JP4098882 B2 JP 4098882B2 JP 13759598 A JP13759598 A JP 13759598A JP 13759598 A JP13759598 A JP 13759598A JP 4098882 B2 JP4098882 B2 JP 4098882B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- shadow
- virtual reality
- virtual
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像表示手段を用いて仮想現実感を生成する装置および方法に関する。
【０００２】
【従来の技術】
画像表示手段を用いた仮想現実感生成装置および方法に関する従来技術には、次のようなものがある。
まず、視野の大部分を覆うことにより仮想現実感を向上させることを目的とした画像表示装置としては、ヘッドマウントディスプレイや、文献 C. C.Neira, D. J. Sandin, T. A. DeFanti: "Surround-Screen Projection-BasedVirtual Reality: The Design and Implementation of the CAVE", ACMProc. of SIGGRAPH 93, Anaheim, CA, 1993, pp. 135--142 で挙げられている装置などがある。これらの装置は、ユーザの視野の大部分を仮想世界の映像で覆い実世界の情報を遮断することでユーザに自分が仮想世界内に存在するという感覚を与えるというものである。
【０００３】
また、表示される画像内にユーザ自身の姿が埋め込まれることにより仮想現実感を向上させることを目的とした技術としては、渋谷,田村他「自己映像パフォーマンス」,monthly 画像ラボ,vol. 7, No. 4, 1996, pp. 51--54.において解説されているクロマキー合成等の手法がある。
これは、撮影した映像から色を手掛かりにしてユーザの姿を切り出し、仮想環境の映像に重ねて表示するもので、ユーザの分身を実際に仮想世界内に埋め込むことで仮想現実感を向上させるというものである。
【０００４】
さらに、影を用いて仮想世界のリアリティを向上させることを目的とした装置としては、特開平７−１２９７９６号公報に記載の臨場感生成装置がある。
この装置は、３次元モデルの各種情報を基にユーザとの対話的処理により仮想世界（明細書中では「仮想環境」という言葉が用いられている）に付ける影のリアリティの向上を図ることで、仮想世界自体のリアリティをも向上させるというものである。
【０００５】
【発明が解決しようとする課題】
従来の装置・技術においては、画像表示手段を用いてユーザの視覚に訴える仮想世界の表現がどんなに緻密なものであっても、ユーザの影がないために、ユーザが「仮想世界における自分の存在感」を十分に体感することができず、どこか違和感のある仮想現実感しか得ることができなかった。
【０００６】
本発明の目的は、仮想現実感を向上させるために、ユーザの影を、画像表示手段上に表示することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明は、
画像表示手段を備える仮想現実感生成装置であり、
ユーザ情報入力手段と、画像処理手段と、記憶手段に格納された仮想世界を表現するデータとを備え、
前記ユーザ情報入力手段は仮想現実感生成装置内におけるユーザを含む像を画像情報として前記画像処理手段に供給し、
該画像処理手段は前記ユーザ情報入力手段から供給される画像情報と前記仮想世界を表現するデータを用いて仮想世界におけるユーザに関連する影の情報を生成し、該生成した情報に基づいて前記画像表示手段が表示に用いる画像を生成し、
前記画像表示手段は前記画像処理手段によって生成された画像を表示するようにしている。
【０００８】
また、画像表示手段を備える仮想現実感生成装置であり、
画像撮影手段と、画像処理手段と、記憶手段に格納された仮想世界を表現するデータとを備え、
前記画像撮影手段は装置内においてユーザが存在し得る空間の一部または全部を撮影した画像情報を前記画像処理手段に供給し、
前記画像処理手段は前記画像撮影手段から供給される画像と前記仮想世界を表現するデータを用いて仮想世界におけるユーザに関連する影の情報を生成し、該生成した情報に基づいて前記画像表示手段が表示に用いる画像を生成し、
前記画像表示手段は前記画像処理手段によって生成された画像を表示するようにしている。
【０００９】
また、画像を用いて仮想現実感を生成する仮想現実感生成方法であり、
仮想世界の情報と、ユーザの位置・姿勢・動きの情報の一部または全部を用いて、仮想世界における、ユーザの影、あるいはユーザに関連する物体の影、あるいはその両方の影を生成し、生成した影を付加した仮想世界を元にして、ユーザに提示する画像を生成するようにしている。
【００１０】
また、仮想世界内でのユーザの影と略一致する影を生成する２次元の遮光板を作成し仮想世界内に埋め込むことにより、ユーザの３次元形状が未知のまま仮想世界内でのユーザの影のシミュレートを行うようにしている。
【００１１】
【発明の実施の形態】
以下、図１〜図９を用いて、本発明の第１の実施の形態による仮想現実感生成装置について詳細に説明する。
まず、図１を用いて本発明の第１の実施形態による仮想現実感生成装置の全体構成について説明する。図１は、本発明の第１の実施形態による仮想現実感生成装置の全体構成を示す概念図である。
正面スクリーン１１１１、右側面スクリーン１１１２、左側面スクリーン１１１３、床面スクリーン１１１４はすべて背面投射型スクリーンであり、それぞれ対応する画像投影手段から投影された画像を表示するものである。
ユーザ６０１１は、前記４枚のスクリーンによって囲まれる空間（以下では「仮想体験空間」とする）内において仮想世界を体感することができる。
一例を挙げると、図１の例においては、ユーザ６０１１は例えば「街路樹７１２の立ち並んだ『階段のある道』７０２を右端から左端に向かって渡る」という仮想体験をすることができる。
【００１２】
ビデオカメラ１２１１、ビデオカメラ１２２１、ビデオカメラ１２３１、ビデオカメラ１２４１のそれぞれは、ユーザ６０１１の視界を遮らないように設置され、ユーザ６０１１を含む仮想体験空間内の映像を撮影する。
撮影した画像および仮想世界表現データ（物体の３次元形状や光源情報など）をもとに、仮想世界におけるユーザ６０１１の影を計算し、表示したものが影６１３である。
影６１３の計算の方法については、図２以下で説明する。
【００１３】
次に、図２を用いて本発明の第１の実施形態による仮想現実感生成装置のシステム構成について説明する。
図２は本発明の第１の実施形態による仮想現実感生成装置のシステムブロック図である。
画像処理装置２０は、中央演算処理装置２１と、外部記憶装置２２と、主記憶装置２３と、画像入力手段１３１１〜１３４１とから構成されている。画像入力手段１３１１〜１３４１は、例えば、画像キャプチャボードである。
【００１４】
主記憶装置２３には、必要に応じて、外部記憶装置２２からユーザ切り出しプログラム２３１１、遮光板配置プログラム２３１２、付影処理プログラム２３１３、仮想空間表現プログラム２３１４、画像入力手段制御プログラム２３１５、画像表示手段制御プログラム２３１６、仮想世界表現データ２３２１および画像撮影手段の内部・外部パラメータ２３２２が読み込まれる。
画像撮影手段１２１１、１２２１、１２３１および１２４１によって撮影された画像は、それぞれ画像入力手段１３１１、１３２１、１３３１および１３４１を介して画像処理装置２０に入力され、主記憶装置２３内に入力画像２３２３として記憶される。画像撮影手段としては、例えば、ビデオカメラを用いる。
画像撮影手段およびその他の手段（例えば、床面に埋め込んだ圧力センサ等）はユーザ情報入力手段を構成するが、ユーザ情報入力手段は画像撮影手段に限られるものではなく、ユーザ情報を入力できるものであればよい。
【００１５】
仮想空間表現プログラム２３１４は、仮想世界全体あるいは仮想世界の一部の情報を、画像表示手段１１の入力となるべき画像データに変換し、画像表示手段１１に出力するものである。
画像表示手段１１としては、例えば、図１においてはスクリーン１１１１〜１１１４と、そのそれぞれに映像を投影する複数台のプロジェクタ、およびそれらのプロジェクタに画像信号を供給するグラフィックボードを用いる。
ここで、画像表示手段１１に表示する画像データへの変換は、スクリーンの配置を考慮した上で、例えばユーザの視点あるいはユーザの視点に近い視点からの透視変換、あるいは仮想体験空間内のある一点を「ユーザの視点」と仮定した透視変換を行うことで実現できる。
ここで、前者の「ユーザの視点位置」の推定は、例えばヘッドトラッキング技術を用いることにより実現することができる。
【００１６】
画像入力手段制御プログラム２３１５および画像表示手段制御プログラム２３１６は、それぞれ画像キャプチャボードやグラフィックボード・プロジェクタの制御を行うためのドライバソフトである。
【００１７】
付影処理プログラム２３１３は、仮想世界表現データ２３２１が与えられた時に、仮想世界に影を付加するプログラムである。これは、通常の３次元レンダリングツールに用いられている技術を用いることで実現することができる。
そのような技術としては、例えばレイトレーシング技術（光線追跡法）がある。
レイトレーシングについては文献「レンダリングの種類」（日経ＣＧ、１９９７年１月号、ｐｐ。１５６−１６０）などに記述がある。また、レイトレーシングは非常に時間がかかるため、厳密さを犠牲にした簡便な方法がいくつか知られており、本発明は影の厳密な正確さを要求するものではないので、そのいずれかを用いることもできる。
【００１８】
仮想世界表現データ２３２１は仮想世界の３次元形状データ２３２１１、光源データ２３２１２およびユーザの（仮想世界における）視点位置のデータ２３２１３を備えるものである。
ここで、仮想世界の３次元形状データ２３２１１は、例えば、多角形（ポリゴン）データ（例えば座標値の分かっている頂点のシリアル番号の組）の形で与えられるものとする。
また、光源データ２３２１２には、例えば光源の強さや光源の位置・向きなどがある。
また、ユーザの視点位置２３２１３のデータは、仮想世界におけるユーザの視点位置だけではなく、画像投影面の配置などの透視変換を行うために必要なデータをすべて含むものとする。これらのデータは時々刻々変化する可能性があるが、個々の間の相対関係を外部記憶装置から読み込んでおけば、具体的な位置データ等はユーザにどのような仮想体験をさせるかに依存してその都度簡単な計算により求めてやることができる。
【００１９】
ユーザ切り出しプログラム２３１１については図４で、遮光板配置プログラム２３１２については図６で詳しく説明する。また、各種データ２３２２〜２３２８は、図３以降の処理で使用されるデータであり、使用される部分で詳細を説明する。
【００２０】
図３は、本実施形態において、ユーザの影付き画像が表示されるまでのフローチャートである。
図３〜図８では、現実世界のビデオカメラ１２１１の位置に対応する仮想世界での位置に光源があると仮定し、単一のビデオカメラ１２１１からの入力画像を用いてユーザの影付き画像を表示する方法について説明する。
まず、ステップ３００１で、入力画像２３２３を読み込む。次に、ステップ３００２において、入力画像からユーザの姿のシルエットを切り出す。この処理は、ユーザ切り出しプログラム２３１１によって行われるものであり、図４で説明する。
次に、ステップ３００３において、ステップ３００２において切り出されたユーザのシルエットから遮光板を生成し、それを３次元の仮想世界内に配置する。この処理は、遮光板配置プログラム２３１２によって行われるものであり、図６で説明する。
その後、ステップ３００４にて遮光板が配置された仮想世界に対して付影処理プログラム２３１３により付影処理を行い、ステップ３００５にて仮想空間表現プログラム２３１４によって影の付加された仮想世界の表示を行う。
「影の付加された仮想世界」を表すデータが表示用仮想世界表現データ２３２８であり、このデータが、実際に仮想空間表現プログラム２３１４を用いて画像に変換される元となるデータとなる。
【００２１】
図４は本実施形態におけるユーザ切り出しプログラム２３１１の動作を示すフローチャートであり、図５はユーザ切り出しプログラム２３１１の動作の一例を示す図である。
ユーザ切り出し処理が始まると、まず、ステップ３１０１において画像撮影手段の内部・外部パラメータ２３２２の読み込みを行う。
画像撮影手段の内部・外部パラメータ２３２２としては、例えば、ビデオカメラの焦点距離や画角、装置内でのビデオカメラの位置・向きの情報などがある。
この情報は、各パラメータが固定であれば外部記憶装置２２から読み込んでもよいし、固定とは限らないのであれば、画像撮影手段（制御装置を含む）から逐次パラメータを受け取る。
【００２２】
次に、ステップ３１０２において、表示用仮想世界表現データ２３２８を読み込む。
次にステップ３１０３において、理想入力画像２３２４を計算する。
理想入力画像２３２４とは、「ユーザがいない状態でスクリーンに投影されている映像を撮影した場合に得られる画像」であり、これは、画像撮影手段の内部・外部パラメータ２３２２と前のフレームの表示用仮想世界表現データ２３２８（後述する遮光板自体を取り除いたもの）とから求めることができる。
その後、ステップ３１０４およびステップ３１０５において、入力画像２３２３（理想入力画像のデータに基づき投影した投影像上にいるユーザを撮影した画像である。）と理想入力画像２３２４を比較することにより、ユーザが写っている部分（あるいはユーザに関連する物体の部分、あるいはその両方）であるユーザシルエット画像２３２５と、ユーザが写っておらず背景がそのまま撮影されている部分である背景残留画像２３２６（ハッチ付けしたユーザ画像は、この位置にユーザ画像があったことを示すものである）を求めて、ユーザ切り出し処理を完了する。
ここで、「ユーザに関連する物体」は、「現実世界にはないが、仮想世界に存在し、ユーザの位置等により位置等が変化するもの」である。例えば、仮想世界でユーザのはいているスキー板がある。
なお、図５において入力画像２３２３は、図１のビデオカメラ１２１１によって撮影されたものであり、ユーザと、背景とが写っている。
なお、図５の画像２３２３の左端に斜めに描かれている長い線は道路の端の線を、図５の画像２３２３の左下に描かれている短い線は街路樹の幹を表している。 図６は本実施形態における遮光板配置プログラム２３１２の動作を示すフローチャートであり、図７および図８は遮光板配置プログラム２３１２の動作の一例を示す図である。
遮光板配置処理が始まると、まず、ステップ３２０１においてユーザ切り出し処理において計算したユーザシルエット画像２３２５を読み込む。
次にステップ３２０２において、遮光板の形状を決定する。
この動作の例が図７であり、ユーザシルエット画像２３２５からユーザが写っている部分を覆うような矩形領域２３２７１を切り取り、その領域内でユーザが写っている部分の透明度が０(不透明)に、ユーザが写っていない部分の透明度が１(透明)になるような遮光板形状データ２３２７２を生成する。
遮光板形状データ２３２７２は、実際には複数のポリゴン(多角形)から構成されるポリゴン群のデータである。
【００２３】
次に、ステップ３２０３において、遮光板形状データ２３２７２と仮想世界におけるユーザの位置および大きさとから、仮想世界における遮光板の大きさを決定する。
遮光板形状データ２３２７２と仮想世界における遮光板の大きさとを合わせて遮光板基礎データ２３２７３と呼ぶ。
次に、ステップ３２０４において背景残留画像２３２６を読み込み、軸位置２３２６２を決定する。
これは、背景残留画像２３２６の底辺２３２６３に平行で、かつ、ユーザが写っていた場所を横切るような直線のうち、背景残留画像２３２６の底辺２３２６３に最も近い直線２３２６１と、ユーザが写っていた場所との交点として求めることができる。
このような点が複数存在する場合には、例えば「一番左側の点」などという基準により選べばよい。
【００２４】
次に、ステップ３２０５において仮想世界の３次元形状データを読み込み、ステップ３２０６においてユーザの視点位置データを読み込み、ステップ３２０７において画像撮影手段の内部・外部パラメータ２３２２を読み込む。
これらのデータから、仮想空間表現プログラム２３１４との整合性を考えると、軸位置２３２６２の仮想世界内での位置２３２１４を算出することができる。
これは、例えば、仮想空間表現プログラム２３１４が表示する画像データを透視変換により生成していれば、その逆変換を施してやればよい。
これらの処理を行った後、ステップ３２０８において仮想世界における遮光板の配置を決定する。
これは、これまでの処理により、遮光板基礎データ２３２７３と軸位置２３２６２の仮想世界内での位置２３２１４とが分かっているので、遮光板をどの位置にどの角度で配置するかを決定してやればよい。
ここで、位置に関しては、遮光板基礎データ２３２７３において軸位置２３２６２に対応する点を求め(これは、ユーザの輪郭がユーザシルエット画像２３２５と背景残留画像２３２６で共通なので容易に求められる)、その点が位置２３２１４に一致するようにすればよい。
角度については、撮像面に平行に配置するのが望ましい(撮像面の向きについては、画像撮影手段の内部・外部パラメータ２３２２から得られる)が、本発明は影の形の厳密さを要求するものではないので、例えば、ビデオカメラの光軸方向ベクトルを水平面に射影したベクトルを作り、そのベクトルに垂直な鉛直面に平行に配置するようにしてもよい。
遮光板の配置に関するデータと遮光板基礎データ２３２７３を合わせて、遮光板データ２３２７とする。
【００２５】
以上の処理の後、付影処理プログラム２３１３によりユーザの影を付けた表示用仮想世界表現データ２３２８を作成し、それを仮想空間表現プログラム２３１４により変換して画像表示手段１１に出力することで、求めたい映像を得ることができる。
なお、付影処理プログラム２３１３によりユーザの影を付けた表示用仮想世界表現データ２３２８を作成する際、影付け処理後に遮光板自体は取り除く（遮光板自体が仮想空間表現プログラム２３１４により変換されて画像表示手段１１から投影されないようにするため）点に注意する。
【００２６】
図９は、本実施形態においてビデオカメラの位置と光源位置との整合性が取れていない場合の処理の一例を示す図である。
ビデオカメラを必要なだけ多数配置したり、モーションコントロールカメラを用いて必要な画像が撮影できるようにビデオカメラの撮影位置をコントロールするといった工夫により、そもそもこのような場合が起こらないようにしてやることもできるが、ここでは、ソフトウェアによる処理によりこのような場合にも本発明が使用できることを示す。
まず、ビデオカメラ１２１１およびビデオカメラ１２２１の中点に対応する仮想世界内の位置に光源が存在すると仮定する。
この場合、まず、ビデオカメラ１２１１、ビデオカメラ１２２１のそれぞれによって撮影された入力画像から、これまでの説明と同様の手順により、それぞれ遮光板形状データ２３２７２１、遮光板形状データ２３２７２２を生成する。
【００２７】
次に、これらの遮光板形状データから、モルフォロジー演算や多角形ボロノイ図などを利用してユーザのシルエットの骨格線を求めたものがそれぞれ画像２３２８１、画像２３２８２である。
これらの骨格線の端点や交差点を用いて、画像２３２８１と画像２３２８２の対応を求め、その対応と２枚の遮光板形状データ２３２７２１、２３２７２２からモーフィング処理によって求めた新たな遮光板形状データが遮光板形状データ２３２７２３である。
仮想世界における軸位置を例えばビデオカメラ１２１１によって撮影された入力画像を元に決めてやり、「遮光板形状データ２３２７２１において軸位置に対応する点」に対応する遮光板形状データ２３２７２３の点がその仮想世界における軸位置に一致するようにすることで、遮光板の配置位置を決めることができる。
また、撮像面の向きあるいは光軸方向ベクトルをビデオカメラ１２１１・ビデオカメラ１２２１の該当するパラメータの平均値としてやることにより、説明した方法と同様の方法によって配置角度を決めることができる。
【００２８】
なお、モーフィング処理は、例えば、
T. Beier, S. Neely: "Feature Based Image Metamorphosis", ACM Proc. ofSIGGRAPH 92, Chicago, IL, 1992, pp. 35--42；
S. M. Seitz, C. R. Dyer: "View Morphing", ACM Proc. of SIGGRAPH 96, New Orleans, LA, 1996, pp. 21--30；などの文献に見られるように、よく知られた技術である。
なお、特徴点の抽出は、従来のモーションキャプチャ技術で用いられているように、ユーザの指先などの特徴となる点にマーカーを付けて、それを用いて認識を行うような処理とすることもできる。
さらに、骨格線抽出には、文献S. Iwasawa, et al. : "Real-Time Estimation of Human Body Posture from Monocular Thermal Images", Proc. of Computer Vision and Pattern Recognition, Puerto Rico, 1997, pp. 15--20.に述べられているような熱センサを用いたシステムを補助的に用いてもよい。
なお、上記実施形態においては、光源位置を２台のビデオカメラの中間点に対応する仮想世界内の位置としたが、モーフィング処理を複数枚の画像から行ったり、補間のパラメータを適宜変更することにより、ユーザの姿を捕らえている複数台のビデオカメラが作る３次元凸包内の任意の点に対応する仮想世界内の位置に光源がある場合のすべてに対して、本実施例を適用することができる。
【００２９】
また、光源が前記３次元凸包内のどの点にも対応しない仮想世界内の位置にある場合にも、例えば、前記３次元凸包内の点に対応する仮想世界内の位置のうち、今の光源位置に最も近い点を光源位置とした時の遮光板データをそのまま用いるようにすることにより、影の近似精度は低下するものの、本実施例を適用することが可能である。
さらに、本実施例ではユーザシルエット画像２３２５から矩形領域２３２７１を切り取ってから遮光板形状データ２３２７２を生成したが、仮想世界においてユーザの大きさが変化したり、遮光板の生成時にモーフィングを行ったりといったことがない場合には、ユーザシルエット画像２３２５全体を１つの矩形領域として扱って遮光板データを生成することができる。この場合、遮光板の配置は、仮想世界表現データ２３２１および画像撮影手段の内部・外部パラメータとから決定することができるため、処理を簡単にすることができる。
【００３０】
また、上記実施形態においては、ユーザの影を付加するために遮光板を作成し仮想世界内に配置したが、本発明による装置では、ユーザの影と同じような影を生成することのできる遮光物を仮想世界内に配置することができればよく、影の生成方法としては遮光板を用いた方法に限るものではない。
例えば、複数のビデオカメラを用いて撮った複数枚の画像からステレオ視などの手法によりユーザの３次元形状を求め、それを仮想世界内に配置することで影を生成するようにすることもできる。
また、上記実施形態においては、影を付加するのに、厳密にユーザの姿に基づいたものを考えたが、本発明による装置では、たとえばユーザの動きだけを認識し、仮想世界内で、あらかじめ用意した３次元人間モデルにユーザと同じ動きをさせて影を生成するということもできる。
この方法を取った場合、厳密にユーザの姿に基づいて生成する場合に比べ、計算量を減少させることができる。
また、この場合には、ユーザの動きを検出する方法としては、画像によるものに限る必要はない。
例えば、ユーザが仮想世界においてスキーのジャンプを体感する場合に、前からの風圧を背中につけたワイヤを引っ張ることでシミュレートするのであれば、仮想世界内でのユーザの前傾姿勢の様子を張力センサを用いて推測し、それに基づいて遮光板の配置角度を調節することで、前傾姿勢の場合の影のシミュレートを行うことができる。
【００３１】
また、上記実施形態においては、現実世界のユーザの動作・姿勢と仮想世界でのユーザの動作・姿勢が一致する場合にユーザの影を付加する処理についてのみ説明したが、仮想世界に対して行う補正はこれに限るものではない。
例えば、ユーザが仮想世界においてスキーのジャンプを体験する場合には、スキー板の３次元モデルを用意し、ユーザそのものではなく「スキー板を履いたユーザ」の影を計算し、付加することになる。
このように、本発明の本質は、「ユーザが実際に仮想世界である体験をしているとして、その時のユーザに関連する影を付加した」仮想世界をユーザに体感させることにあり、現実世界におけるユーザの姿勢や動作は影を付加する情報として有用ではあるものの、仮想世界に付加する影とは独立なものである。
【００３２】
なお、上記実施形態のように複数の画像表示手段を備えている場合、各画像表示手段に表示する画像は、画像表示手段毎に独立に計算することができることに注意する。
【００３３】
なお、上記実施形態においては、画像表示手段として直方体の面のうち４面を背面投射型スクリーンとするようなものに２次元の画像を投影するものを用いたが、本発明における画像表示手段としてはこれに限るものではない。
スクリーンを前面投射型に変えたものはもちろん、例えば、液晶シャッタ眼鏡や偏光眼鏡等との組合せによりユーザに立体映像を見せるものであってもよいし、ヘッドマウントディスプレイのようにプロジェクタとスクリーンの組合せで構成されるシステムではないようなものであってもよい。
後者の場合には、理想入力画像は実世界の背景となるため、実世界ではユーザ以外は動かないという条件の元では、理想入力画像を毎回計算しなおす必要がなくなり、実現が容易になる。
また、本発明における手法は、ユーザの影を写すことさえできればよいので、視野の大部分を覆うような画像表示システムに限る必要もなく、例えば、図１と同じ仮想現実感を生成するために、街路樹の模型を並べ、床面だけを画像表示手段としたような構成も考えられる。
以上説明したように、本実施形態によれば、ユーザは、自分の仮想世界における体験に即した影を体感することができ、仮想現実感を向上させることができる。
それにより、例えば、陽光の強弱など仮想世界における光の状態の変化をより現実的に体感することができる。
【００３４】
【発明の効果】
以上に述べたように、本発明によれば、ユーザが体感している仮想世界を考慮して生成した、ユーザに関連する影を、画像表示手段上に表示することで、仮想現実感を向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による仮想現実感生成装置の全体構成を示す概念図である。
【図２】本発明の第１の実施形態による仮想現実感生成装置のシステムブロック図である。
【図３】本発明の第１の実施形態による仮想現実感生成装置における影付き画像表示処理の処理内容を示すフローチャートである。
【図４】本発明の第１の実施形態による仮想現実感生成装置におけるユーザ切り出しプログラムの処理内容を示すフローチャートである。
【図５】本発明の第１の実施形態による仮想現実感生成装置におけるユーザ切り出しプログラムの処理内容を説明するための図である。
【図６】本発明の第１の実施形態による仮想現実感生成装置における遮光板配置プログラムの処理内容を示すフローチャートである。
【図７】本発明の第１の実施形態による仮想現実感生成装置において遮光板の作成方法を説明するための図である。
【図８】本発明の第１の実施形態による仮想現実感生成装置において遮光板を配置する際の基準の取り方を説明するための図である。
【図９】本発明の第１の実施形態による仮想現実感生成装置において複数のビデオカメラの画像から適切な遮光板を作成する方法を説明するための図である。
【符号の説明】
１１ 画像表示手段
２１ 中央演算処理装置
２２ 外部記憶装置
２３ 主記憶装置
１２１１〜１２４１ 画像撮影手段
１３１１〜１３４１ 画像入力手段
【発明の属する技術分野】
本発明は、画像表示手段を用いて仮想現実感を生成する装置および方法に関する。
【０００２】
【従来の技術】
画像表示手段を用いた仮想現実感生成装置および方法に関する従来技術には、次のようなものがある。
まず、視野の大部分を覆うことにより仮想現実感を向上させることを目的とした画像表示装置としては、ヘッドマウントディスプレイや、文献 C. C.Neira, D. J. Sandin, T. A. DeFanti: "Surround-Screen Projection-BasedVirtual Reality: The Design and Implementation of the CAVE", ACMProc. of SIGGRAPH 93, Anaheim, CA, 1993, pp. 135--142 で挙げられている装置などがある。これらの装置は、ユーザの視野の大部分を仮想世界の映像で覆い実世界の情報を遮断することでユーザに自分が仮想世界内に存在するという感覚を与えるというものである。
【０００３】
また、表示される画像内にユーザ自身の姿が埋め込まれることにより仮想現実感を向上させることを目的とした技術としては、渋谷,田村他「自己映像パフォーマンス」,monthly 画像ラボ,vol. 7, No. 4, 1996, pp. 51--54.において解説されているクロマキー合成等の手法がある。
これは、撮影した映像から色を手掛かりにしてユーザの姿を切り出し、仮想環境の映像に重ねて表示するもので、ユーザの分身を実際に仮想世界内に埋め込むことで仮想現実感を向上させるというものである。
【０００４】
さらに、影を用いて仮想世界のリアリティを向上させることを目的とした装置としては、特開平７−１２９７９６号公報に記載の臨場感生成装置がある。
この装置は、３次元モデルの各種情報を基にユーザとの対話的処理により仮想世界（明細書中では「仮想環境」という言葉が用いられている）に付ける影のリアリティの向上を図ることで、仮想世界自体のリアリティをも向上させるというものである。
【０００５】
【発明が解決しようとする課題】
従来の装置・技術においては、画像表示手段を用いてユーザの視覚に訴える仮想世界の表現がどんなに緻密なものであっても、ユーザの影がないために、ユーザが「仮想世界における自分の存在感」を十分に体感することができず、どこか違和感のある仮想現実感しか得ることができなかった。
【０００６】
本発明の目的は、仮想現実感を向上させるために、ユーザの影を、画像表示手段上に表示することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明は、
画像表示手段を備える仮想現実感生成装置であり、
ユーザ情報入力手段と、画像処理手段と、記憶手段に格納された仮想世界を表現するデータとを備え、
前記ユーザ情報入力手段は仮想現実感生成装置内におけるユーザを含む像を画像情報として前記画像処理手段に供給し、
該画像処理手段は前記ユーザ情報入力手段から供給される画像情報と前記仮想世界を表現するデータを用いて仮想世界におけるユーザに関連する影の情報を生成し、該生成した情報に基づいて前記画像表示手段が表示に用いる画像を生成し、
前記画像表示手段は前記画像処理手段によって生成された画像を表示するようにしている。
【０００８】
また、画像表示手段を備える仮想現実感生成装置であり、
画像撮影手段と、画像処理手段と、記憶手段に格納された仮想世界を表現するデータとを備え、
前記画像撮影手段は装置内においてユーザが存在し得る空間の一部または全部を撮影した画像情報を前記画像処理手段に供給し、
前記画像処理手段は前記画像撮影手段から供給される画像と前記仮想世界を表現するデータを用いて仮想世界におけるユーザに関連する影の情報を生成し、該生成した情報に基づいて前記画像表示手段が表示に用いる画像を生成し、
前記画像表示手段は前記画像処理手段によって生成された画像を表示するようにしている。
【０００９】
また、画像を用いて仮想現実感を生成する仮想現実感生成方法であり、
仮想世界の情報と、ユーザの位置・姿勢・動きの情報の一部または全部を用いて、仮想世界における、ユーザの影、あるいはユーザに関連する物体の影、あるいはその両方の影を生成し、生成した影を付加した仮想世界を元にして、ユーザに提示する画像を生成するようにしている。
【００１０】
また、仮想世界内でのユーザの影と略一致する影を生成する２次元の遮光板を作成し仮想世界内に埋め込むことにより、ユーザの３次元形状が未知のまま仮想世界内でのユーザの影のシミュレートを行うようにしている。
【００１１】
【発明の実施の形態】
以下、図１〜図９を用いて、本発明の第１の実施の形態による仮想現実感生成装置について詳細に説明する。
まず、図１を用いて本発明の第１の実施形態による仮想現実感生成装置の全体構成について説明する。図１は、本発明の第１の実施形態による仮想現実感生成装置の全体構成を示す概念図である。
正面スクリーン１１１１、右側面スクリーン１１１２、左側面スクリーン１１１３、床面スクリーン１１１４はすべて背面投射型スクリーンであり、それぞれ対応する画像投影手段から投影された画像を表示するものである。
ユーザ６０１１は、前記４枚のスクリーンによって囲まれる空間（以下では「仮想体験空間」とする）内において仮想世界を体感することができる。
一例を挙げると、図１の例においては、ユーザ６０１１は例えば「街路樹７１２の立ち並んだ『階段のある道』７０２を右端から左端に向かって渡る」という仮想体験をすることができる。
【００１２】
ビデオカメラ１２１１、ビデオカメラ１２２１、ビデオカメラ１２３１、ビデオカメラ１２４１のそれぞれは、ユーザ６０１１の視界を遮らないように設置され、ユーザ６０１１を含む仮想体験空間内の映像を撮影する。
撮影した画像および仮想世界表現データ（物体の３次元形状や光源情報など）をもとに、仮想世界におけるユーザ６０１１の影を計算し、表示したものが影６１３である。
影６１３の計算の方法については、図２以下で説明する。
【００１３】
次に、図２を用いて本発明の第１の実施形態による仮想現実感生成装置のシステム構成について説明する。
図２は本発明の第１の実施形態による仮想現実感生成装置のシステムブロック図である。
画像処理装置２０は、中央演算処理装置２１と、外部記憶装置２２と、主記憶装置２３と、画像入力手段１３１１〜１３４１とから構成されている。画像入力手段１３１１〜１３４１は、例えば、画像キャプチャボードである。
【００１４】
主記憶装置２３には、必要に応じて、外部記憶装置２２からユーザ切り出しプログラム２３１１、遮光板配置プログラム２３１２、付影処理プログラム２３１３、仮想空間表現プログラム２３１４、画像入力手段制御プログラム２３１５、画像表示手段制御プログラム２３１６、仮想世界表現データ２３２１および画像撮影手段の内部・外部パラメータ２３２２が読み込まれる。
画像撮影手段１２１１、１２２１、１２３１および１２４１によって撮影された画像は、それぞれ画像入力手段１３１１、１３２１、１３３１および１３４１を介して画像処理装置２０に入力され、主記憶装置２３内に入力画像２３２３として記憶される。画像撮影手段としては、例えば、ビデオカメラを用いる。
画像撮影手段およびその他の手段（例えば、床面に埋め込んだ圧力センサ等）はユーザ情報入力手段を構成するが、ユーザ情報入力手段は画像撮影手段に限られるものではなく、ユーザ情報を入力できるものであればよい。
【００１５】
仮想空間表現プログラム２３１４は、仮想世界全体あるいは仮想世界の一部の情報を、画像表示手段１１の入力となるべき画像データに変換し、画像表示手段１１に出力するものである。
画像表示手段１１としては、例えば、図１においてはスクリーン１１１１〜１１１４と、そのそれぞれに映像を投影する複数台のプロジェクタ、およびそれらのプロジェクタに画像信号を供給するグラフィックボードを用いる。
ここで、画像表示手段１１に表示する画像データへの変換は、スクリーンの配置を考慮した上で、例えばユーザの視点あるいはユーザの視点に近い視点からの透視変換、あるいは仮想体験空間内のある一点を「ユーザの視点」と仮定した透視変換を行うことで実現できる。
ここで、前者の「ユーザの視点位置」の推定は、例えばヘッドトラッキング技術を用いることにより実現することができる。
【００１６】
画像入力手段制御プログラム２３１５および画像表示手段制御プログラム２３１６は、それぞれ画像キャプチャボードやグラフィックボード・プロジェクタの制御を行うためのドライバソフトである。
【００１７】
付影処理プログラム２３１３は、仮想世界表現データ２３２１が与えられた時に、仮想世界に影を付加するプログラムである。これは、通常の３次元レンダリングツールに用いられている技術を用いることで実現することができる。
そのような技術としては、例えばレイトレーシング技術（光線追跡法）がある。
レイトレーシングについては文献「レンダリングの種類」（日経ＣＧ、１９９７年１月号、ｐｐ。１５６−１６０）などに記述がある。また、レイトレーシングは非常に時間がかかるため、厳密さを犠牲にした簡便な方法がいくつか知られており、本発明は影の厳密な正確さを要求するものではないので、そのいずれかを用いることもできる。
【００１８】
仮想世界表現データ２３２１は仮想世界の３次元形状データ２３２１１、光源データ２３２１２およびユーザの（仮想世界における）視点位置のデータ２３２１３を備えるものである。
ここで、仮想世界の３次元形状データ２３２１１は、例えば、多角形（ポリゴン）データ（例えば座標値の分かっている頂点のシリアル番号の組）の形で与えられるものとする。
また、光源データ２３２１２には、例えば光源の強さや光源の位置・向きなどがある。
また、ユーザの視点位置２３２１３のデータは、仮想世界におけるユーザの視点位置だけではなく、画像投影面の配置などの透視変換を行うために必要なデータをすべて含むものとする。これらのデータは時々刻々変化する可能性があるが、個々の間の相対関係を外部記憶装置から読み込んでおけば、具体的な位置データ等はユーザにどのような仮想体験をさせるかに依存してその都度簡単な計算により求めてやることができる。
【００１９】
ユーザ切り出しプログラム２３１１については図４で、遮光板配置プログラム２３１２については図６で詳しく説明する。また、各種データ２３２２〜２３２８は、図３以降の処理で使用されるデータであり、使用される部分で詳細を説明する。
【００２０】
図３は、本実施形態において、ユーザの影付き画像が表示されるまでのフローチャートである。
図３〜図８では、現実世界のビデオカメラ１２１１の位置に対応する仮想世界での位置に光源があると仮定し、単一のビデオカメラ１２１１からの入力画像を用いてユーザの影付き画像を表示する方法について説明する。
まず、ステップ３００１で、入力画像２３２３を読み込む。次に、ステップ３００２において、入力画像からユーザの姿のシルエットを切り出す。この処理は、ユーザ切り出しプログラム２３１１によって行われるものであり、図４で説明する。
次に、ステップ３００３において、ステップ３００２において切り出されたユーザのシルエットから遮光板を生成し、それを３次元の仮想世界内に配置する。この処理は、遮光板配置プログラム２３１２によって行われるものであり、図６で説明する。
その後、ステップ３００４にて遮光板が配置された仮想世界に対して付影処理プログラム２３１３により付影処理を行い、ステップ３００５にて仮想空間表現プログラム２３１４によって影の付加された仮想世界の表示を行う。
「影の付加された仮想世界」を表すデータが表示用仮想世界表現データ２３２８であり、このデータが、実際に仮想空間表現プログラム２３１４を用いて画像に変換される元となるデータとなる。
【００２１】
図４は本実施形態におけるユーザ切り出しプログラム２３１１の動作を示すフローチャートであり、図５はユーザ切り出しプログラム２３１１の動作の一例を示す図である。
ユーザ切り出し処理が始まると、まず、ステップ３１０１において画像撮影手段の内部・外部パラメータ２３２２の読み込みを行う。
画像撮影手段の内部・外部パラメータ２３２２としては、例えば、ビデオカメラの焦点距離や画角、装置内でのビデオカメラの位置・向きの情報などがある。
この情報は、各パラメータが固定であれば外部記憶装置２２から読み込んでもよいし、固定とは限らないのであれば、画像撮影手段（制御装置を含む）から逐次パラメータを受け取る。
【００２２】
次に、ステップ３１０２において、表示用仮想世界表現データ２３２８を読み込む。
次にステップ３１０３において、理想入力画像２３２４を計算する。
理想入力画像２３２４とは、「ユーザがいない状態でスクリーンに投影されている映像を撮影した場合に得られる画像」であり、これは、画像撮影手段の内部・外部パラメータ２３２２と前のフレームの表示用仮想世界表現データ２３２８（後述する遮光板自体を取り除いたもの）とから求めることができる。
その後、ステップ３１０４およびステップ３１０５において、入力画像２３２３（理想入力画像のデータに基づき投影した投影像上にいるユーザを撮影した画像である。）と理想入力画像２３２４を比較することにより、ユーザが写っている部分（あるいはユーザに関連する物体の部分、あるいはその両方）であるユーザシルエット画像２３２５と、ユーザが写っておらず背景がそのまま撮影されている部分である背景残留画像２３２６（ハッチ付けしたユーザ画像は、この位置にユーザ画像があったことを示すものである）を求めて、ユーザ切り出し処理を完了する。
ここで、「ユーザに関連する物体」は、「現実世界にはないが、仮想世界に存在し、ユーザの位置等により位置等が変化するもの」である。例えば、仮想世界でユーザのはいているスキー板がある。
なお、図５において入力画像２３２３は、図１のビデオカメラ１２１１によって撮影されたものであり、ユーザと、背景とが写っている。
なお、図５の画像２３２３の左端に斜めに描かれている長い線は道路の端の線を、図５の画像２３２３の左下に描かれている短い線は街路樹の幹を表している。 図６は本実施形態における遮光板配置プログラム２３１２の動作を示すフローチャートであり、図７および図８は遮光板配置プログラム２３１２の動作の一例を示す図である。
遮光板配置処理が始まると、まず、ステップ３２０１においてユーザ切り出し処理において計算したユーザシルエット画像２３２５を読み込む。
次にステップ３２０２において、遮光板の形状を決定する。
この動作の例が図７であり、ユーザシルエット画像２３２５からユーザが写っている部分を覆うような矩形領域２３２７１を切り取り、その領域内でユーザが写っている部分の透明度が０(不透明)に、ユーザが写っていない部分の透明度が１(透明)になるような遮光板形状データ２３２７２を生成する。
遮光板形状データ２３２７２は、実際には複数のポリゴン(多角形)から構成されるポリゴン群のデータである。
【００２３】
次に、ステップ３２０３において、遮光板形状データ２３２７２と仮想世界におけるユーザの位置および大きさとから、仮想世界における遮光板の大きさを決定する。
遮光板形状データ２３２７２と仮想世界における遮光板の大きさとを合わせて遮光板基礎データ２３２７３と呼ぶ。
次に、ステップ３２０４において背景残留画像２３２６を読み込み、軸位置２３２６２を決定する。
これは、背景残留画像２３２６の底辺２３２６３に平行で、かつ、ユーザが写っていた場所を横切るような直線のうち、背景残留画像２３２６の底辺２３２６３に最も近い直線２３２６１と、ユーザが写っていた場所との交点として求めることができる。
このような点が複数存在する場合には、例えば「一番左側の点」などという基準により選べばよい。
【００２４】
次に、ステップ３２０５において仮想世界の３次元形状データを読み込み、ステップ３２０６においてユーザの視点位置データを読み込み、ステップ３２０７において画像撮影手段の内部・外部パラメータ２３２２を読み込む。
これらのデータから、仮想空間表現プログラム２３１４との整合性を考えると、軸位置２３２６２の仮想世界内での位置２３２１４を算出することができる。
これは、例えば、仮想空間表現プログラム２３１４が表示する画像データを透視変換により生成していれば、その逆変換を施してやればよい。
これらの処理を行った後、ステップ３２０８において仮想世界における遮光板の配置を決定する。
これは、これまでの処理により、遮光板基礎データ２３２７３と軸位置２３２６２の仮想世界内での位置２３２１４とが分かっているので、遮光板をどの位置にどの角度で配置するかを決定してやればよい。
ここで、位置に関しては、遮光板基礎データ２３２７３において軸位置２３２６２に対応する点を求め(これは、ユーザの輪郭がユーザシルエット画像２３２５と背景残留画像２３２６で共通なので容易に求められる)、その点が位置２３２１４に一致するようにすればよい。
角度については、撮像面に平行に配置するのが望ましい(撮像面の向きについては、画像撮影手段の内部・外部パラメータ２３２２から得られる)が、本発明は影の形の厳密さを要求するものではないので、例えば、ビデオカメラの光軸方向ベクトルを水平面に射影したベクトルを作り、そのベクトルに垂直な鉛直面に平行に配置するようにしてもよい。
遮光板の配置に関するデータと遮光板基礎データ２３２７３を合わせて、遮光板データ２３２７とする。
【００２５】
以上の処理の後、付影処理プログラム２３１３によりユーザの影を付けた表示用仮想世界表現データ２３２８を作成し、それを仮想空間表現プログラム２３１４により変換して画像表示手段１１に出力することで、求めたい映像を得ることができる。
なお、付影処理プログラム２３１３によりユーザの影を付けた表示用仮想世界表現データ２３２８を作成する際、影付け処理後に遮光板自体は取り除く（遮光板自体が仮想空間表現プログラム２３１４により変換されて画像表示手段１１から投影されないようにするため）点に注意する。
【００２６】
図９は、本実施形態においてビデオカメラの位置と光源位置との整合性が取れていない場合の処理の一例を示す図である。
ビデオカメラを必要なだけ多数配置したり、モーションコントロールカメラを用いて必要な画像が撮影できるようにビデオカメラの撮影位置をコントロールするといった工夫により、そもそもこのような場合が起こらないようにしてやることもできるが、ここでは、ソフトウェアによる処理によりこのような場合にも本発明が使用できることを示す。
まず、ビデオカメラ１２１１およびビデオカメラ１２２１の中点に対応する仮想世界内の位置に光源が存在すると仮定する。
この場合、まず、ビデオカメラ１２１１、ビデオカメラ１２２１のそれぞれによって撮影された入力画像から、これまでの説明と同様の手順により、それぞれ遮光板形状データ２３２７２１、遮光板形状データ２３２７２２を生成する。
【００２７】
次に、これらの遮光板形状データから、モルフォロジー演算や多角形ボロノイ図などを利用してユーザのシルエットの骨格線を求めたものがそれぞれ画像２３２８１、画像２３２８２である。
これらの骨格線の端点や交差点を用いて、画像２３２８１と画像２３２８２の対応を求め、その対応と２枚の遮光板形状データ２３２７２１、２３２７２２からモーフィング処理によって求めた新たな遮光板形状データが遮光板形状データ２３２７２３である。
仮想世界における軸位置を例えばビデオカメラ１２１１によって撮影された入力画像を元に決めてやり、「遮光板形状データ２３２７２１において軸位置に対応する点」に対応する遮光板形状データ２３２７２３の点がその仮想世界における軸位置に一致するようにすることで、遮光板の配置位置を決めることができる。
また、撮像面の向きあるいは光軸方向ベクトルをビデオカメラ１２１１・ビデオカメラ１２２１の該当するパラメータの平均値としてやることにより、説明した方法と同様の方法によって配置角度を決めることができる。
【００２８】
なお、モーフィング処理は、例えば、
T. Beier, S. Neely: "Feature Based Image Metamorphosis", ACM Proc. ofSIGGRAPH 92, Chicago, IL, 1992, pp. 35--42；
S. M. Seitz, C. R. Dyer: "View Morphing", ACM Proc. of SIGGRAPH 96, New Orleans, LA, 1996, pp. 21--30；などの文献に見られるように、よく知られた技術である。
なお、特徴点の抽出は、従来のモーションキャプチャ技術で用いられているように、ユーザの指先などの特徴となる点にマーカーを付けて、それを用いて認識を行うような処理とすることもできる。
さらに、骨格線抽出には、文献S. Iwasawa, et al. : "Real-Time Estimation of Human Body Posture from Monocular Thermal Images", Proc. of Computer Vision and Pattern Recognition, Puerto Rico, 1997, pp. 15--20.に述べられているような熱センサを用いたシステムを補助的に用いてもよい。
なお、上記実施形態においては、光源位置を２台のビデオカメラの中間点に対応する仮想世界内の位置としたが、モーフィング処理を複数枚の画像から行ったり、補間のパラメータを適宜変更することにより、ユーザの姿を捕らえている複数台のビデオカメラが作る３次元凸包内の任意の点に対応する仮想世界内の位置に光源がある場合のすべてに対して、本実施例を適用することができる。
【００２９】
また、光源が前記３次元凸包内のどの点にも対応しない仮想世界内の位置にある場合にも、例えば、前記３次元凸包内の点に対応する仮想世界内の位置のうち、今の光源位置に最も近い点を光源位置とした時の遮光板データをそのまま用いるようにすることにより、影の近似精度は低下するものの、本実施例を適用することが可能である。
さらに、本実施例ではユーザシルエット画像２３２５から矩形領域２３２７１を切り取ってから遮光板形状データ２３２７２を生成したが、仮想世界においてユーザの大きさが変化したり、遮光板の生成時にモーフィングを行ったりといったことがない場合には、ユーザシルエット画像２３２５全体を１つの矩形領域として扱って遮光板データを生成することができる。この場合、遮光板の配置は、仮想世界表現データ２３２１および画像撮影手段の内部・外部パラメータとから決定することができるため、処理を簡単にすることができる。
【００３０】
また、上記実施形態においては、ユーザの影を付加するために遮光板を作成し仮想世界内に配置したが、本発明による装置では、ユーザの影と同じような影を生成することのできる遮光物を仮想世界内に配置することができればよく、影の生成方法としては遮光板を用いた方法に限るものではない。
例えば、複数のビデオカメラを用いて撮った複数枚の画像からステレオ視などの手法によりユーザの３次元形状を求め、それを仮想世界内に配置することで影を生成するようにすることもできる。
また、上記実施形態においては、影を付加するのに、厳密にユーザの姿に基づいたものを考えたが、本発明による装置では、たとえばユーザの動きだけを認識し、仮想世界内で、あらかじめ用意した３次元人間モデルにユーザと同じ動きをさせて影を生成するということもできる。
この方法を取った場合、厳密にユーザの姿に基づいて生成する場合に比べ、計算量を減少させることができる。
また、この場合には、ユーザの動きを検出する方法としては、画像によるものに限る必要はない。
例えば、ユーザが仮想世界においてスキーのジャンプを体感する場合に、前からの風圧を背中につけたワイヤを引っ張ることでシミュレートするのであれば、仮想世界内でのユーザの前傾姿勢の様子を張力センサを用いて推測し、それに基づいて遮光板の配置角度を調節することで、前傾姿勢の場合の影のシミュレートを行うことができる。
【００３１】
また、上記実施形態においては、現実世界のユーザの動作・姿勢と仮想世界でのユーザの動作・姿勢が一致する場合にユーザの影を付加する処理についてのみ説明したが、仮想世界に対して行う補正はこれに限るものではない。
例えば、ユーザが仮想世界においてスキーのジャンプを体験する場合には、スキー板の３次元モデルを用意し、ユーザそのものではなく「スキー板を履いたユーザ」の影を計算し、付加することになる。
このように、本発明の本質は、「ユーザが実際に仮想世界である体験をしているとして、その時のユーザに関連する影を付加した」仮想世界をユーザに体感させることにあり、現実世界におけるユーザの姿勢や動作は影を付加する情報として有用ではあるものの、仮想世界に付加する影とは独立なものである。
【００３２】
なお、上記実施形態のように複数の画像表示手段を備えている場合、各画像表示手段に表示する画像は、画像表示手段毎に独立に計算することができることに注意する。
【００３３】
なお、上記実施形態においては、画像表示手段として直方体の面のうち４面を背面投射型スクリーンとするようなものに２次元の画像を投影するものを用いたが、本発明における画像表示手段としてはこれに限るものではない。
スクリーンを前面投射型に変えたものはもちろん、例えば、液晶シャッタ眼鏡や偏光眼鏡等との組合せによりユーザに立体映像を見せるものであってもよいし、ヘッドマウントディスプレイのようにプロジェクタとスクリーンの組合せで構成されるシステムではないようなものであってもよい。
後者の場合には、理想入力画像は実世界の背景となるため、実世界ではユーザ以外は動かないという条件の元では、理想入力画像を毎回計算しなおす必要がなくなり、実現が容易になる。
また、本発明における手法は、ユーザの影を写すことさえできればよいので、視野の大部分を覆うような画像表示システムに限る必要もなく、例えば、図１と同じ仮想現実感を生成するために、街路樹の模型を並べ、床面だけを画像表示手段としたような構成も考えられる。
以上説明したように、本実施形態によれば、ユーザは、自分の仮想世界における体験に即した影を体感することができ、仮想現実感を向上させることができる。
それにより、例えば、陽光の強弱など仮想世界における光の状態の変化をより現実的に体感することができる。
【００３４】
【発明の効果】
以上に述べたように、本発明によれば、ユーザが体感している仮想世界を考慮して生成した、ユーザに関連する影を、画像表示手段上に表示することで、仮想現実感を向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による仮想現実感生成装置の全体構成を示す概念図である。
【図２】本発明の第１の実施形態による仮想現実感生成装置のシステムブロック図である。
【図３】本発明の第１の実施形態による仮想現実感生成装置における影付き画像表示処理の処理内容を示すフローチャートである。
【図４】本発明の第１の実施形態による仮想現実感生成装置におけるユーザ切り出しプログラムの処理内容を示すフローチャートである。
【図５】本発明の第１の実施形態による仮想現実感生成装置におけるユーザ切り出しプログラムの処理内容を説明するための図である。
【図６】本発明の第１の実施形態による仮想現実感生成装置における遮光板配置プログラムの処理内容を示すフローチャートである。
【図７】本発明の第１の実施形態による仮想現実感生成装置において遮光板の作成方法を説明するための図である。
【図８】本発明の第１の実施形態による仮想現実感生成装置において遮光板を配置する際の基準の取り方を説明するための図である。
【図９】本発明の第１の実施形態による仮想現実感生成装置において複数のビデオカメラの画像から適切な遮光板を作成する方法を説明するための図である。
【符号の説明】
１１ 画像表示手段
２１ 中央演算処理装置
２２ 外部記憶装置
２３ 主記憶装置
１２１１〜１２４１ 画像撮影手段
１３１１〜１３４１ 画像入力手段
Claims (8)
- 仮想世界の情報を記憶する記憶部と、
画像を生成する生成部と、
前記生成部の生成した画像を表示面に表示する表示部と、
前記表示面の一部または全部を含む領域を撮像する撮像部と、
を備え、
前記生成部は、前記仮想世界の情報及び前記撮像部の撮影した画像に基づいて前記撮像部の撮像範囲内に存在する物体の影を付加した仮想世界の画像を生成することで、前記物体の影が、仮想世界における前記物体と該物体の影との位置関係に対応する現実世界での位置に知覚されるべく表示されるようにすることを特徴とする仮想現実感生成装置。 - 請求項１記載の仮想現実感生成装置であって、
前記撮像部は１つの撮像装置であり、
前記物体の影は仮想世界における光源の位置が現実世界における前記撮像装置の位置に対応する場合の影であることを特徴とする仮想現実感生成装置。 - 請求項２記載の仮想現実感生成装置であって、
さらに、前記撮像装置の位置を仮想世界における光源の位置に対応するように制御する撮像位置制御部を備えたことを特徴とする仮想現実感生成装置。 - 請求項１記載の仮想現実感生成装置であって、
前記撮像部は複数の撮像装置を備え、
前記物体の影は仮想世界における光源の位置が現実世界における前記複数の撮像装置のうちの一つの位置に対応する場合の影であることを特徴とする仮想現実感生成装置。 - 請求項１記載の仮想現実感生成装置であって、
前記撮像部は複数の撮像装置を備え、
前記生成部は、前記複数の撮像装置の撮影した画像からモーフィング処理によって生成した物体のシルエット形状に基づいて前記物体の影の形状を決定することを特徴とする仮想現実感生成装置。 - 請求項１記載の仮想現実感生成装置であって、
前記撮像部は複数の撮像装置を備え、
前記生成部は、前記複数の撮像装置の撮影した画像から生成した物体の三次元形状に基づいて前記物体の影の形状を決定することを特徴とする仮想現実感生成装置。 - 請求項１記載の仮想現実感生成装置であって、
物体の三次元形状を表現するためのモデルを記憶する記憶部と、
物体の動きに関する情報を検出して前記モデルのパラメタを取得する取得部を備え、
前記生成部は、前記モデルと前記パラメタから生成した物体の三次元形状に基づいて前記物体の影の形状を決定することを特徴とする仮想現実感生成装置。 - 生成部の生成した画像を表示する表示部を備え、所定の空間範囲内に対して仮想現実感を生成する仮想現実感生成装置であって、
仮想世界の情報を記憶する記憶部と、
前記所定の空間範囲内に存在する物体のシルエット形状を抽出する抽出部と、
前記物体の現実世界における位置に関する情報から、仮想世界において前記物体の影を合成すべき基準位置を決定する決定部と、
を備え、
前記生成部は、前記仮想世界の情報と前記シルエット形状と前記基準位置とに基づいて前記物体の影を付加した仮想世界の画像を生成することを特徴とする仮想現実感生成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13759598A JP4098882B2 (ja) | 1998-05-01 | 1998-05-01 | 仮想現実感生成装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13759598A JP4098882B2 (ja) | 1998-05-01 | 1998-05-01 | 仮想現実感生成装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11316853A JPH11316853A (ja) | 1999-11-16 |
| JP4098882B2 true JP4098882B2 (ja) | 2008-06-11 |
Family
ID=15202383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13759598A Expired - Fee Related JP4098882B2 (ja) | 1998-05-01 | 1998-05-01 | 仮想現実感生成装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4098882B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4512240B2 (ja) * | 2000-07-27 | 2010-07-28 | 株式会社バンダイナムコゲームス | ゲームシステム及び情報記憶媒体 |
| JP2006318015A (ja) * | 2005-05-10 | 2006-11-24 | Sony Corp | 画像処理装置および画像処理方法、画像表示システム、並びに、プログラム |
| KR101419044B1 (ko) | 2013-06-21 | 2014-07-11 | 재단법인 실감교류인체감응솔루션연구단 | 3d 가상 객체의 그림자를 표시하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 |
| KR20150097291A (ko) * | 2014-02-18 | 2015-08-26 | 엘지전자 주식회사 | 영상표시장치 및 그것의 제어방법 |
| CN106327454B (zh) * | 2015-07-03 | 2019-06-07 | 株式会社理光 | 合成图像的方法和装置 |
| JP6400550B2 (ja) * | 2015-09-18 | 2018-10-03 | 日本電信電話株式会社 | 空間像演出装置、空間像演出装置の制御方法および映像システム |
| US10679404B2 (en) * | 2017-10-04 | 2020-06-09 | Google Llc | Shadows for inserted content |
| JP7073702B2 (ja) * | 2017-12-11 | 2022-05-24 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及び情報処理プログラム |
-
1998
- 1998-05-01 JP JP13759598A patent/JP4098882B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11316853A (ja) | 1999-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5694533A (en) | 3-Dimensional model composed against textured midground image and perspective enhancing hemispherically mapped backdrop image for visual realism | |
| US11010958B2 (en) | Method and system for generating an image of a subject in a scene | |
| US10096157B2 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
| JP6340017B2 (ja) | 被写体と３次元仮想空間をリアルタイムに合成する撮影システム | |
| JP4764305B2 (ja) | 立体画像生成装置、方法およびプログラム | |
| EP1883052A2 (en) | Generating images combining real and virtual images | |
| CN110431599A (zh) | 具有虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法 | |
| KR101096617B1 (ko) | 공간 멀티 인터랙션 기반 3차원 입체 인터랙티브 비전 시스템 및 그 방법 | |
| CN110419061A (zh) | 具有多源虚拟内容合成的混合现实系统及使用该系统生成虚拟内容的方法 | |
| US20220398705A1 (en) | Neural blending for novel view synthesis | |
| KR20190062102A (ko) | 비디오 영상기반 2d/3d ar 실감체험 방법 및 장치 | |
| JPH09319896A (ja) | ３次元画像作成装置 | |
| JP4098882B2 (ja) | 仮想現実感生成装置及び方法 | |
| JP3538263B2 (ja) | 画像生成方法 | |
| US11212502B2 (en) | Method of modifying an image on a computational device | |
| JP4892405B2 (ja) | 画像処理装置および方法 | |
| JP3850080B2 (ja) | 画像生成表示装置 | |
| JP3309841B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
| JP2000030080A (ja) | Ｖｒシステム | |
| WO2022055368A1 (en) | Method for applying a vignette effect to rendered images | |
| JP2005107968A (ja) | 画像表示装置及び方法並びに情報処理方法 | |
| JPH1188910A (ja) | ３次元モデル生成装置、３次元モデル生成方法、３次元モデル生成プログラムを記録した媒体、３次元モデル再生装置、３次元モデル再生方法及び３次元モデル再生プログラムを記録した媒体 | |
| US6633291B1 (en) | Method and apparatus for displaying an image | |
| JP2021047468A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| JP2000067265A (ja) | 画像処理装置およびその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040317 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041020 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070410 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070508 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070925 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080314 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |