JP3500027B2 - 映像統合装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実写ビデオ映像に
よるウォークスルー映像とバーチャルリアリティ映像に
よるウォークスルー映像とを選択的に表示する映像統合
装置に関するものである。

【０００２】

【従来の技術】街路や建物内の複数の経路について、人
間が歩行して観察してみた場合や自動車により移動した
場合と同じように連続的に移動経路を実写ビデオ映像に
記録し、再生にあたっては、例えば交差点において左折
や右折を指示すると、その指示に従って左折ないしは右
折した実写ビデオ映像が再生され、あたかも人間が歩行
して観察してみた場合や自動車により移動した場合と同
じような映像を提供する方法が知られている。このよう
な映像を実写ビデオ映像によるウォークスルー映像と呼
ぶ。

【０００３】またコンピュータグラフィックス（以下Ｃ
Ｇと略す）画像データをリアルタイムで生成するバーチ
ャルリアリティ（以下ＶＲと略す）の映像生成装置があ
る。これは、ＶＲＭＬ（ＶＲＭＬ Ｓｐｅｃｉｆｉｃａ
ｔｉｏｎ Ｖｅｒｓｉｏｎ２．０、ＩＳＯ／ＩＥＣ Ｗ
Ｄ １４７７２）で知られているように、現実世界の建
物等の物体を３次元物体の集合として表現したＶＲモデ
ルの情報を予め蓄積しておき、このＶＲモデル情報を読
み出しながら逐次的にＣＧ画像を生成し、あたかも人間
が歩行して観察してみたような映像として提供する方法
である。このような映像をＶＲ映像によるウォークスル
ー映像と呼ぶ。

【０００４】一方で、ノンリニア型ＶＴＲ編集装置に見
られるように、実写ビデオ情報を予め小断片であるカッ
トに分割してハードディスク等の記憶装置に蓄積してお
き、そのカットの任意の所望のフレーム番号から遅延な
く再生を開始する実写ビデオ蓄積技術も知られている。

【０００５】また一方で、実写ビデオ映像と３次元ＣＧ
による映像との違和感のない合成画像を得るための技術
が提案されている（例えば、特開昭６１−２６７１８２
号や特開平６−３０３５１１号）。これらの画像合成方
式や画像生成装置を利用すると、実写ビデオ映像と３次
元ＣＧによる映像との合成画像が逐次得られるが、予め
実写ビデオ映像を撮影するときに撮影位置やレンズの方
向などのカメラ情報を連続的に記録しておき、合成時に
これを読み出して利用する必要があった。

【０００６】

【発明が解決しようとする課題】ＶＲ空間におけるＶＲ
映像によるウォークスルー映像は、自由に観察位置と観
察方向を変更できるが、実写ビデオ映像によるウォーク
スルー映像は、撮影時の移動経路で観察された映像しか
表示することができない。また、実写ビデオ映像には特
有の情報量の多さがある。これらの映像のそれぞれの特
質を生かすには、実写ビデオ映像とＶＲ映像の自在さを
組み合わせて映像提供することが必要である。

【０００７】しかしながら、上記のような従来の画像合
成方式や画像生成装置では、ある現実空間を模擬してバ
ーチャルリアリティとして表現したＶＲ映像によるウォ
ークスルー映像を表示させているときに、同一ディスプ
レイ画面上にビデオ映像を切り替えて表示しようとする
と、予めカメラ情報を連続的に記録したビデオ映像を利
用しなければならないという問題点があり、より簡単な
方法が必要とされている。

【０００８】また、実写ビデオ情報を予め小断片である
カットに分割して蓄積しておき、そのカットの任意の所
望のフレーム番号から遅延なく再生を開始する実写ビデ
オ蓄積技術を用いて、実写ビデオ映像を経路ごとに小断
片化した複数のビデオカットをウォークスルー映像とし
て再生しようとした場合、ウォークスルー映像として連
続的に再生するために相互の連結関係を空間座標を利用
して簡易に管理する方法は、これまでには知られていな
かった。

【０００９】本発明の目的は、上記構成の問題点を解決
し、予め撮影されカットに小断片化され蓄積された実写
ビデオ映像によるウォークスルー映像を指示入力の選択
によって次々と連続的に再生することによってあたかも
街頭を歩き回っている感覚を提供するウォークスルー映
像を提供するとともに、予め撮影されカットに小断片化
され蓄積された実写ビデオ映像によるウォークスルー映
像とＶＲ映像によるウォークスルー映像とを同一ディス
プレイ上に選択的に切り替えながらその現在位置と観察
方向を一致させて表示することができる映像統合装置を
提供することにある。

【００１０】また、本発明の目的は、実写ビデオ映像に
よるウォークスルー映像とＶＲ映像によるウォークスル
ー映像とを選択的に切り替える時、あるいはＶＲ映像か
ら実写ビデオ映像によるウォークスルー映像に切り替え
る時に違和感なく表示することができ、あるいは複数の
ビデオカットにまたがるウォークスルー映像を表示する
時に途中停止することなく連続的に表示できる映像統合
装置を提供することにある。

【００１１】

【課題を解決するための手段】上記目的を達するため、
本発明の映像統合装置は、予めカットに分割された実写
ビデオ映像によるウォークスルー映像を蓄積するビデオ
映像蓄積手段と、前記蓄積された実写ビデオ映像を再生
するビデオ映像再生手段と、前記再生される実写ビデオ
映像の再生フレーム番号や速度を制御するビデオ再生フ
レーム管理手段と、前記ビデオ再生フレーム管理手段に
前記制御の内容の指示を入力するビデオ映像制御指示手
段と、バーチャルリアリティモデルを蓄積するバーチャ
ルリアリティモデル蓄積手段と、前記蓄積されたバーチ
ャルリアリティモデルからバーチャルリアリティ映像に
よるウォークスルー映像を連続的に生成するバーチャル
リアリティ映像生成手段と、前記生成すべきバーチャル
リアリティ映像のビューを制御するバーチャルリアリテ
ィ空間ビュー管理手段と、前記バーチャルリアリティ空
間ビュー管理手段に前記制御の内容を指示するバーチャ
ルリアリティ空間移動指示手段と、前記蓄積された複数
の実写ビデオ映像を前記バーチャルリアリティモデルに
おけるバーチャルリアリティ空間の座標値と関連づけて
管理するビデオ経路情報蓄積手段と、前記ビデオ経路情
報蓄積手段に蓄積されたビデオ経路情報を検索するビデ
オ経路情報管理手段と、前記ビデオ映像再生手段と前記
バーチャルリアリティ映像生成手段の映像を選択的に表
示する映像表示手段と、前記表示の選択切替指示手段
と、前記表示の選択切替指示手段の指示と前記検索され
たビデオ経路情報とから前記ビデオ再生フレーム管理手
段の制御の内容と前記バーチャルリアリティ空間ビュー
管理手段の制御の内容を関連づけて決定するビデオとバ
ーチャルリアリティの選択切替手段と、を備えることを
特徴とする。

【００１２】また、前記映像統合装置において、前記ビ
デオとバーチャルリアリティの選択切替手段は、前記表
示の選択切替指示手段によってバーチャルリアリティ空
間からビデオ映像に切り替えるように指示が出される
と、前記バーチャルリアリティ空間ビュー管理手段の制
御の内容と前記ビデオ経路情報管理手段で検索されたビ
デオ経路情報とからビデオ経路に対する進入角θを算出
し、この進入角θによって前記ビデオ経路における往き
と帰りのどちらの実写ビデオ映像のビデオカットを再生
するかを制御の内容として決定するものであることを特
徴とする。

【００１３】また、以上の映像統合装置において、前記
ビデオとバーチャルリアリティの選択切替手段は、前記
表示の選択切替指示手段によるビデオ切替指示位置から
ビデオ経路に進入するまでの経路について前記ビデオ経
路の進行方向になめらかに接するように曲線を適用した
ウォークスルー経路を算出し、このウォークスルー経路
に従いバーチャルリアリティ空間を移動することによっ
て前記ビデオ経路に進入するように制御の内容を決定し
て実写ビデオ映像への切り替えを行うものであることを
特徴とする。

【００１４】また、以上の映像統合装置において、前記
ビデオとバーチャルリアリティの選択切替手段は、バー
チャルリアリティ空間を映像ウォークスルー中にビデオ
切替指示がされたときに近傍に複数のビデオ経路があっ
た場合、バーチャルリアリティ空間ビュー管理手段のバ
ーチャルリアリティ空間ビュー情報と前記ビデオ経路情
報管理手段で検索されたビデオ経路情報に基づき前記バ
ーチャルリアリティ空間における現在位置から距離が近
い方のビデオ経路に進入するように制御の内容を決定し
て実写ビデオ映像への切り替えを行うものであることを
特徴とする。

【００１５】さらに、以上の映像統合装置において、前
記ビデオとバーチャルリアリティの選択切替手段は、実
写ビデオ映像の再生中にビデオ経路においてノードに接
近しつつあるとき、前記表示の選択切替指示手段に対し
前記接近しつつあるノードにおいて連結しているパスを
模式的に提示し該ノードに至る前に分岐方向を指示する
ように指示し、前記分岐方向をの指示された場合には、
該ノードにおいてビデオ映像を停止することなく、複数
のビデオカットにまたがるウォークスルー映像を連続的
に表示するように制御の内容を決定するものであること
を特徴とする。

【００１６】本発明は、実写ビデオ映像を撮影した現実
世界に対応するＶＲ空間を予め用意し、このＶＲ空間に
おいて実写ビデオ映像が撮影されたビデオ経路の両端点
の座標情報を含むビデオ経路情報を管理することによっ
て、実写ビデオ映像によるウォークスルー映像とＶＲ映
像によるウォークスルー映像とを同一ディスプレイ上に
選択的に切り替えながらその現在位置と観察方向を一致
させて表示させることを最も主要な特徴とする。

【００１７】本発明は、上記した構成によって、経路と
して隣接関係を持つ複数の連結するビデオ経路をビデオ
経路情報から検索し指示された経路に対応するビデオ映
像を得ることができ、また、ビデオ再生フレーム情報と
ＶＲ空間ビュー管理情報とを相互に関連づけてビデオと
ＶＲの選択切替を行うことにより、その現在位置と観察
方向を一致させるものである。

【００１８】従って、本発明の目的である、予め撮影さ
れカットに小断片化され蓄積された実写ビデオ映像によ
るウォークスルー映像を指示入力の選択によって次々と
連続的に再生することによって、あたかも街頭を歩き回
っている感覚を提供するウォークスルー映像を提供する
とともに、予め撮影されカットに小断片化され蓄積され
た実写ビデオ映像によるウォークスルー映像とＶＲ映像
によるウォークスルー映像とを同一ディスプレイ上に選
択的に切り替えながらその現在位置と観察方向を一致さ
せて表示するという映像表現が可能となる。

【００１９】また、本発明では、実写ビデオ映像による
ウォークスルー映像からＶＲ映像によるウォークスルー
映像に切り替える時、複数の異なった観察方向のビデオ
映像からなるべく違和感を生じないビデオ映像を選択す
ることにより、また、ＶＲ映像から実写ビデオ映像によ
るウォークスルー映像に切り替える時、進入角によって
ビデオ経路の往き帰りを決めたり、ビデオ経路の進行方
向になめらかに接するように進入させたり、距離の近い
ビデオ経路に進入させるようにしたりして、なるべく違
和感を生じない進入経路を設定することにより違和感の
ない表示の切り替えを可能にし、また、複数のビデオカ
ットにまたがるウォークスルー映像を表示する時、前も
って方向を指示するように誘導することにより、途中停
止することなく連続的に表示できるようにする。

【００２０】

【発明の実施の形態】以下、本発明による映像統合装置
の実施形態例について、図面を参照しながら説明する。

【００２１】図１は、本発明による映像統合装置の一実
施形態例を説明するブロック図である。

【００２２】１０１はビデオ映像蓄積手段であって予め
カットに分割された実写ビデオ映像によるウォークスル
ー映像を蓄積する。１０４はその蓄積された実写ビデオ
映像を再生するビデオ映像再生手段である。１０７はそ
の再生されるビデオ映像の再生位置や速度を制御するビ
デオ再生フレーム管理手段である。１１０はビデオ再生
フレーム管理手段１０７に制御内容の指示を入力するビ
デオ映像制御指示手段である。

【００２３】１０３はＶＲモデル蓄積手段であり、ＶＲ
モデルを蓄積する。１０６はその蓄積されたＶＲモデル
からＶＲ映像によるウォークスルー映像を連続的に生成
するＶＲ映像生成手段である。１０９は生成すべきＶＲ
映像のビューを制御するＶＲ空間ビュー管理手段であ
る。１１２はＶＲ空間ビュー管理手段１０９に制御内容
を指示するＶＲ空間移動指示手段である。

【００２４】１０２は複数の実写ビデオ映像をＶＲモデ
ルにおけるＶＲ空間の座標値と関連づけて管理するビデ
オ経路情報を蓄積しているビデオ経路情報蓄積手段であ
る。１０５はそのビデオ経路情報を検索するビデオ経路
情報管理手段である。１１３は映像表示手段であってビ
デオ映像再生手段１０４とＶＲ映像生成手段１０６の映
像を選択的に表示する。１１１はこの表示の選択切替指
示手段である。１０８はこの表示の選択切替指示と検索
されたビデオ経路情報とからビデオ再生フレームの制御
内容とＶＲ空間ビューの制御内容を相互に関連づけて決
定するビデオとＶＲの選択切替手段である。

【００２５】以上のように構成された映像統合装置につ
いて、以下、図２，図３，図４，図５，図６，図７を用
いてその動作例を説明する。以下、特に断りのない限
り、実写ビデオ映像によるウォークスルー映像であるビ
デオカットを再生することにより得られる映像を単にビ
デオ映像と呼ぶ。

【００２６】まず、図２はＶＲ空間内にノードとパスを
配置したビデオ経路情報を示す図である。ＶＲ空間にお
いては現実世界を模擬したバーチャルリアリティの映像
ウォークスルーができる。ＶＲ空間内のＶＲモデルは、
例えばＯｐｅｎＩｎｖｅｎｔｏｒ形式（Ｔｈｅ Ｉｎｖ
ｅｎｔｏｒ Ｍｅｎｔｏｒ，Ｊｏｓｉｅ Ｗｅｒｎｅｃ
ｋｅ，Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ）で記述され、そ
のファイルはＶＲモデル蓄積手段１０３に蓄積される。
ＶＲ空間ビュー管理手段１０９によって得られるＶＲ空
間における現在位置座標と観察方向からなる空間ビュー
の情報と、ＶＲモデル蓄積手段１０３から得られるＶＲ
モデル情報とからＶＲ映像生成手段１０６によってＶＲ
映像は生成される。ビデオとＶＲの選択切替指示手段１
１１によってＶＲ映像が選択された場合、映像表示手段
１１３によってＶＲ映像が表示される。ＶＲ空間内の現
在位置は、ＶＲ空間移動指示手段１１２によって自在に
連続的に移動することができる。ＶＲ空間ビュー管理手
段１０９は移動した位置におけるＶＲ映像を生成させる
ようビュー情報を算出する。ノードは例えば現実世界で
は交差点にあたり、実写映像によるウォークスルー映像
が分岐する地点を表す。パスは例えば現実世界では交差
点から交差点の間の道にあたり、実写映像によるウォー
クスルー映像を撮影した経路である。ノードはＶＲ空間
における点もしくは大きさを持つ小円であり、パスはＶ
Ｒ空間においてノードとノードを結ぶ線分である。

【００２７】図３は、ノード間のパスにパス内ビデオカ
ットを関連づけた図である。パス内ビデオカットは、現
実世界を実写撮影したウォークスルーのビデオ映像をパ
スの両端点であるノードを開始フレームと終了フレーム
としたカットに小断片化したものであり、そのファイル
はビデオ映像蓄積手段１０１により蓄積される。例えば
ウォークスルーの映像は道に沿って概ね人間の目の高さ
にビデオカメラを保持し歩くような速さで等速移動して
撮影した映像である。通常ノード間のパスには往きと帰
りの２種類のビデオカットを関連づける。ビデオカット
は、図３（ａ）のようにパスの移動経路に沿っての正面
方向に撮影したビデオでも良いし、図３（ｂ）のように
パスの移動経路の正面方向に対して横向きに撮影したビ
デオを関連づけても良いし、これらの両方でも良い。ビ
デオカットが関連づけられたパスはビデオ経路と呼ぶ。
ノードの位置座標は現実世界に対応するＶＲ空間におけ
る座標値をビデオ経路情報として与える必要がある。図
３ではパスを直線としたが、曲線でも良い。またＶＲ空
間は３次元であるので、ノードとパスは平面上にのみ配
置する必要はない。

【００２８】図４はノード内にノード内ビデオカットを
関連づけた図である。ノード内ビデオカットはそのノー
ドに進入してくるパス内ビデオカットと次に連結するパ
ス内ビデオカットとを違和感なくなめらかに連続させる
ものであり、そのファイルはビデオ映像蓄積手段１０１
により蓄積される。例えば、図４は四叉路の交差点にお
けるノードであり、ある方向のパスから他の３つのパス
へ連続させるために右折，直進，左折，振り返りの４種
類のビデオカットをそれぞれの方向から関連づけてい
る。これらのビデオカットは、例えば交差点に進入した
ところから徐々に方向を転換して違うパスへ進入するま
での短い実写ビデオ映像である。ノード内ビデオカット
は必須ではないが違和感の少ない映像を提供するために
は必要である。

【００２９】ビデオ経路情報はノード情報とパス情報の
集合であり、ビデオ経路情報蓄積手段１０２によりファ
イルとして蓄積される。ノード情報はＶＲ空間における
座標値とノードの一意識別名からなる。パス情報はその
一意識別名と関連づけられたビデオカットの一意識別名
とそのパスの両端点のノードの一意識別名の組からな
る。ビデオ経路情報管理手段１０５は、これらの情報か
らノードにおいてどのパスが連結しているか検索するこ
とができ、また関連づけられたビデオカットの一意識別
名を得ることができるので、ノードにおいて複数のパス
に連結していても、ある方向のビデオ経路を選択するこ
とにより選択された方向の実写ビデオウォークスルー映
像が引き続き映像表示手段１１３により表示され、あた
かも自分がそちらの方向に進んでいるような効果が得ら
れる。

【００３０】図５は、パス内ビデオカット再生中にＶＲ
空間に進出した図である。ビデオとＶＲの選択切替指示
手段１１１によってビデオ経路からＶＲ空間に進出させ
ると、映像はビデオカットの映像からＶＲ映像に切り替
わる。このときビデオとＶＲの選択切替手段１１１によ
ってビデオ映像のビューとＶＲ映像のビューとを違和感
なく一致させることができる。ビューは位置情報と観察
方向で決まる空間のその位置からの観察映像の見え方で
ある。ノードはＶＲ空間内において座標値を持つ。ビデ
オとＶＲの選択切替手段１０８は、ビデオ再生フレーム
管理手段１０７が管理しているビデオカットの再生フレ
ーム番号Ｎを参照し全フレーム数Ｍにおける比率を算出
し、この比率に対応するビデオ経路の位置において進行
方向を向いてＶＲ空間に進出する。このビュー情報はＶ
Ｒ空間ビュー管理手段１０９に伝わりＶＲ映像が生成さ
れる。ビデオカットを再生終了した時にＶＲ空間へ進出
すれば、ちょうどノードの座標値の位置がＶＲ空間にお
ける現在位置となる。ビデオ映像がほぼ等速度で撮影さ
れている場合は、ＶＲ映像とビデオ映像のビューは違和
感無く一致する。

【００３１】図６はＶＲ空間からビデオ経路に進入した
図である。ビデオとＶＲの選択切替指示手段１１１によ
ってＶＲ空間からビデオ経路に進入させると、映像はＶ
Ｒ映像からビデオカットの映像に切り替わる。このとき
ビデオとＶＲの選択切替手段１０８によってビデオ映像
のビューとＶＲ映像のビューとを違和感なく一致させる
ことができる。ビデオとＶＲの選択切替手段１０８は、
ＶＲ空間ビュー管理手段１０９が管理しているビュー情
報からビデオ経路の長さＭにおける進入位置Ｎを参照し
この比率に対応するビデオカットの再生フレーム番号を
算出する。この算出された再生フレーム番号は、ビデオ
再生フレーム管理手段１０７に伝わり、ビデオ映像再生
手段１０４によりビデオ映像が再生される。

【００３２】図７は、映像ウォークスルーにより実写ビ
デオ映像とＶＲ映像とを時間経過に従って切替表示させ
ている図であり、（ａ）は時間経過にしたがって表示さ
れる表示画面を表し、（ｂ）はその時間経過での現在位
置の移動の様子を表している。時間Ｔ１では現在位置は
ＶＲ空間内であり、ＶＲ空間移動指示手段１１２によっ
て現在位置が移動されるとＶＲ空間ビューが変化し、そ
れに従ったＶＲ映像が連続的に生成され映像表示され
る。時間Ｔ２では、ＶＲ映像から進入位置の比率に従っ
たビデオカットの再生が始まる。このとき、ＶＲ映像と
ビデオ映像のビューは違和感無く一致している。時間Ｔ
３では、交差点内に関連づけられたノード内ビデオカッ
トが再生され、交差点内を斜め右方向に徐々に曲がって
いくビデオ映像が表示されている。時間Ｔ４では、次の
ビデオ経路のビデオカットが再生開始され、時間Ｔ５で
はＶＲ空間に進出し表示画面のビデオ映像がＶＲ映像に
切り替わる。このとき、ＶＲ映像の生成はビデオ映像の
再生フレーム位置から決定したＶＲ空間の座標をビュー
情報として開始されるので、ＶＲ映像とビデオ映像のビ
ューは違和感無く一致している。またこのとき、ＶＲ映
像とビデオ映像とを同一ディスプレイ上の表示画面で切
り替える際に、２つのビデオ映像を連続的になめらかに
切り替える手法として知られているオーバーラップ効果
を適用するのも、違和感のない表示切り替えの実現する
上で効果的である。

【００３３】これによって、ＶＲ空間においては現在位
置を自在に連続的に移動するビューのＶＲ映像が得ら
れ、設定されたビデオ経路においてはビデオ映像が得ら
れ、かつＶＲ空間内の任意の位置においてとビデオ映像
再生中の任意の時点においてそれらの映像を切り替える
ことができる。

【００３４】またその際の実写ビデオ映像の再生速度
は、ビデオ再生フレーム管理手段１０７により自由に変
速可能であり、ビデオ映像制御指示手段１１０により指
示できる。またこのビデオ映像制御指示手段１１０によ
り、立ち止まる一時停止の指示も可能である。

【００３５】図８は、ＶＲ空間を映像ウォークスルー中
にビデオ切替指示が行われた場合の図である。ビデオと
ＶＲの選択切替指示手段１１１によってＶＲ空間からビ
デオ映像に切り替えるように指示が出されると、ＶＲ空
間ビュー情報とビデオ経路情報とからビデオとＶＲの選
択切替手段１０８によってビデオ経路に対する進入角θ
が算出される。この進入角θによって、ビデオ経路にお
ける往きと帰りのどちらのビデオカットを再生するか決
定する。進入角θが正のときには、ノード８０２からノ
ード８０１へ至る方向のビデオカットの映像に切り替わ
る。進入角θが負のときには、ノード８０１からノード
８０２へ至る方向のビデオカットの映像に切り替わる。

【００３６】また、ビデオ切替指示位置からビデオ経路
に進入するまでの経路はビデオとＶＲの選択切替手段１
０８によってビデオ経路の進行方向になめらかに接する
ように例えばベジェ曲線を適用した自動ウォークスルー
経路を算出し、自動的にＶＲ空間を移動することによっ
てビデオ経路に進入し違和感のないビデオ映像の切り替
えが行われる。

【００３７】図９は、ＶＲ空間を映像ウォークスルー中
にビデオ切替指示が行われた場合に、近傍に複数のビデ
オ経路があった場合の図である。ＶＲ空間ビュー情報と
ビデオ経路情報とからビデオとＶＲの選択切替手段１０
８によって、ＶＲ空間における現在位置から近傍に存在
するビデオ経路が検索される。例えば距離Ｌ１と距離Ｌ
２を比較した場合Ｌ２の方が短いとき、Ｌ２側のビデオ
経路に図８に示した方法で進入すれば、より自然な映像
の切替となる。

【００３８】図１０は、パス内ビデオカットを再生中に
ノードに接近しつつあるときの図である。図１１は、パ
ス内ビデオカットを再生中にノードに接近しつつあると
きの指示入力手段（例えば、ビデオとＶＲの選択切替指
示手段１１１）に提示する情報の図である。進行方向の
ノードにおいてビデオ経路が分岐している場合、現在位
置がそのノードに至る距離Ｌの時点で、そのノードに連
結しているパスを図１１のように模式的に表示する。そ
の模式図形を指示することによって右折するか左折する
かＵターンするかを指示することができる。ノードに至
る前に分岐方向を指示することにより、ノードにおいて
ビデオ映像を停止することなく、複数のビデオカットに
またがるウォークスルー映像を連続的に表示することが
できる。以上での図１１の表示およびビデオとＶＲの選
択切替指示手段１１１からの分岐方向の指示を受けてビ
デオ映像を切り替えるように制御を決定する処理は、ビ
デオとＶＲの選択切替手段１０８が行う。

【００３９】

【発明の効果】以上のように本発明による請求項１の発
明によれば、予め撮影されカットに小断片化され蓄積さ
れた実写ビデオ映像によるウォークスルー映像を指示入
力の選択によって次々と連続的に再生することにより、
あたかも街頭を歩き回っている感覚を提供するウォーク
スルー映像が得られるとともに、予め撮影されカットに
小断片化され蓄積された実写ビデオ映像のビデオ経路を
ＶＲ映像のＶＲ空間に対応づけて管理し、そのビデオ経
路情報をもとに実写ビデオ映像によるウォークスルー映
像の再生とＶＲ映像によるウォークスルー映像の生成と
を関連づけるようにしたので、同一ディスプレイ上に選
択的に切り替えながらその現在位置と観察方向を一致さ
せて表示することができる。

【００４０】また、本発明による請求項２の発明によれ
ば、ＶＲ空間から実写ビデオ映像に切り替えるとき、ビ
デオ経路に対する進入角によってビデオ経路における往
きと帰りのどちらのビデオカットを再生するか決定する
ようにしたので、違和感のない表示の切り替えを行うこ
とができる。

【００４１】また、本発明による請求項３の発明によれ
ば、ビデオ切替指示位置からビデオ経路に進入するまで
の経路についてビデオ経路の進行方向になめらかに接す
るように曲線を適用したウォークスルー経路を算出し、
連続的にＶＲ空間を移動することによってビデオ経路に
進入するようにしたので、違和感のないビデオ映像への
切り替えを行うことができる。

【００４２】また、本発明による請求項４の発明によれ
ば、ＶＲ空間を映像ウォークスルー中にビデオ切替指示
が行われた場合に、ＶＲ空間における現在位置から距離
が近い方のビデオ経路に進入するようにしたので、違和
感のないビデオ映像への切り替えを行うことができる。

【００４３】さらに、本発明による請求項５の発明によ
れば、ビデオ経路においてノードに接近しつつあると
き、進行方向のノードにおいて連結しているパスを模式
的に表示しノードに至る前に分岐方向を指示させるよう
にしたので、ノードにおいてビデオ映像を停止すること
なく、複数のビデオカットにまたがるウォークスルー映
像を連続的に違和感なく表示することができる。

【図面の簡単な説明】

【図１】本発明の映像統合装置の一実施形態例を示すブ
ロック図である。

【図２】上記実施形態例の動作例を説明する図であっ
て、ＶＲ空間内にノードとパスを配置したビデオ経路情
報を示す図である。

【図３】（ａ），（ｂ）は、上記実施形態例の動作例を
説明する図であって、ノード間のパスにパス内ビデオカ
ットを関連づけた図である。

【図４】上記実施形態例の動作例を説明する図であっ
て、ノード内にノード内ビデオカットを関連づけた図で
ある。

【図５】上記実施形態例の動作例を説明する図であっ
て、パス内ビデオカット再生中にＶＲ空間に進出した図
である。

【図６】上記実施形態例の動作例を説明する図であっ
て、ＶＲ空間からビデオ経路に進入した図である。

【図７】（ａ），（ｂ）は、上記実施形態例の動作例を
説明する図であって、映像ウォークスルーにより実写ビ
デオ映像とＶＲ映像とを時間経過に従って切替表示させ
ている図である。

【図８】上記実施形態例の動作例を説明する図であっ
て、ＶＲ空間を映像ウォークスルー中にビデオ切替指示
が行われた場合の図である。

【図９】上記実施形態例の動作例を説明する図であっ
て、ＶＲ空間を映像ウォークスルー中にビデオ切替指示
が行われた場合に近傍に複数のビデオ経路があった場合
の図である。

【図１０】上記実施形態例の動作例を説明する図であっ
て、パス内ビデオカットを再生中にノードに接近しつつ
あるときの図である。

【図１１】上記実施形態例の動作例を説明する図であっ
て、パス内ビデオカットを再生中にノードに接近しつつ
あるときの指示入力手段に提示する情報の図である。

【符号の説明】

１０１…ビデオ映像蓄積手段 １０２…ビデオ経路情報蓄積手段 １０３…ＶＲモデル蓄積手段 １０４…ビデオ映像再生手段 １０５…ビデオ経路情報管理手段 １０６…ＶＲ映像生成手段 １０７…ビデオ再生フレーム管理手段 １０８…ビデオとＶＲの選択切替手段 １０９…ＶＲ空間ビュー管理手段 １１０…ビデオ映像制御指示手段 １１１…ビデオとＶＲの選択切替指示手段 １１２…ＶＲ空間移動指示手段 １１３…映像表示手段 ８０１…パス端点のノード ８０２…パス端点のノード

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平６−303511（ＪＰ，Ａ) 特開 昭61−267182（ＪＰ，Ａ) 特開 平10−123929（ＪＰ，Ａ) 特開 平９−212685（ＪＰ，Ａ) 特開 平６−176131（ＪＰ，Ａ) 特開 平10−154052（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/222 - 5/28 G06T 1/00 G06T 15/00 - 15/60

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 予めカットに分割された実写ビデオ映像
   によるウォークスルー映像を蓄積するビデオ映像蓄積手
   段と、 前記蓄積された実写ビデオ映像を再生するビデオ映像再
   生手段と、 前記再生される実写ビデオ映像の再生フレーム番号や速
   度を制御するビデオ再生フレーム管理手段と、 前記ビデオ再生フレーム管理手段に前記制御の内容の指
   示を入力するビデオ映像制御指示手段と、 バーチャルリアリティモデルを蓄積するバーチャルリア
   リティモデル蓄積手段と、 前記蓄積されたバーチャルリアリティモデルからバーチ
   ャルリアリティ映像によるウォークスルー映像を連続的
   に生成するバーチャルリアリティ映像生成手段と、 前記生成すべきバーチャルリアリティ映像のビューを制
   御するバーチャルリアリティ空間ビュー管理手段と、 前記バーチャルリアリティ空間ビュー管理手段に前記制
   御の内容を指示するバーチャルリアリティ空間移動指示
   手段と、 前記蓄積された複数の実写ビデオ映像を前記バーチャル
   リアリティモデルにおけるバーチャルリアリティ空間の
   座標値と関連づけて管理するビデオ経路情報蓄積手段
   と、 前記ビデオ経路情報蓄積手段に蓄積されたビデオ経路情
   報を検索するビデオ経路情報管理手段と、 前記ビデオ映像再生手段と前記バーチャルリアリティ映
   像生成手段の映像を選択的に表示する映像表示手段と、 前記表示の選択切替指示手段と、 前記表示の選択切替指示手段の指示と前記検索されたビ
   デオ経路情報とから前記ビデオ再生フレーム管理手段の
   制御の内容と前記バーチャルリアリティ空間ビュー管理
   手段の制御の内容を関連づけて決定するビデオとバーチ
   ャルリアリティの選択切替手段と、 を備えることを特徴とする映像統合装置。
2. 【請求項２】 前記ビデオとバーチャルリアリティの選
   択切替手段は、前記表示の選択切替指示手段によってバ
   ーチャルリアリティ空間からビデオ映像に切り替えるよ
   うに指示が出されると、前記バーチャルリアリティ空間
   ビュー管理手段の制御の内容と前記ビデオ経路情報管理
   手段で検索されたビデオ経路情報とからビデオ経路に対
   する進入角θを算出し、この進入角θによって前記ビデ
   オ経路における往きと帰りのどちらの実写ビデオ映像の
   ビデオカットを再生するかを制御の内容として決定する
   ものである、 ことを特徴とする請求項１記載の映像統合装置。
3. 【請求項３】 前記ビデオとバーチャルリアリティの選
   択切替手段は、前記表示の選択切替指示手段によるビデ
   オ切替指示位置からビデオ経路に進入するまでの経路に
   ついて前記ビデオ経路の進行方向になめらかに接するよ
   うに曲線を適用したウォークスルー経路を算出し、この
   ウォークスルー経路に従いバーチャルリアリティ空間を
   移動することによって前記ビデオ経路に進入するように
   制御の内容を決定して実写ビデオ映像への切り替えを行
   うものである、 ことを特徴とする請求項１または請求項２に記載の映像
   統合装置。
4. 【請求項４】 前記ビデオとバーチャルリアリティの選
   択切替手段は、バーチャルリアリティ空間を映像ウォー
   クスルー中にビデオ切替指示がされたときに近傍に複数
   のビデオ経路があった場合、バーチャルリアリティ空間
   ビュー管理手段のバーチャルリアリティ空間ビュー情報
   と前記ビデオ経路情報管理手段で検索されたビデオ経路
   情報に基づき前記バーチャルリアリティ空間における現
   在位置から距離が近い方のビデオ経路に進入するように
   制御の内容を決定して実写ビデオ映像への切り替えを行
   うものである、 ことを特徴とする請求項１または請求項２または請求項
   ３に記載の映像統合装置。
5. 【請求項５】 前記ビデオとバーチャルリアリティの選
   択切替手段は、実写ビデオ映像の再生中にビデオ経路に
   おいてノードに接近しつつあるとき、前記表示の選択切
   替指示手段に対し前記接近しつつあるノードにおいて連
   結しているパスを模式的に提示し該ノードに至る前に分
   岐方向を指示するように指示し、前記分岐方向をの指示
   された場合には、該ノードにおいてビデオ映像を停止す
   ることなく、複数のビデオカットにまたがるウォークス
   ルー映像を連続的に表示するように制御の内容を決定す
   るものである、 ことを特徴とする請求項１または請求項２または請求項
   ３または請求項４記載の映像統合装置。