JP3255270B2

JP3255270B2 - 映像表示装置

Info

Publication number: JP3255270B2
Application number: JP5331996A
Authority: JP
Inventors: 倫太今井; 昌平菅原
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1996-03-11
Filing date: 1996-03-11
Publication date: 2002-02-12
Anticipated expiration: 2016-03-11
Also published as: JPH09245193A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数のビデオ映像
を同時に３次元ＣＧ（コンピュータ・グラフィクス）上
に表示し、ビデオ映像を再生し、選択する装置に関する
ものである。

【０００２】

【従来の技術】従来、各種の映像情報をユーザ（利用
者）に対して提示する方法として、例えば、ビデオデ
ッキによってシーケンシャルにビデオ映像を再生し表示
する方法、ビデオデッキジョグシャトルを用いた任意
の速度による再生法、ビデオ映像の代表的場面を紙な
どにプリントアウトして一覧を可能にする方法、表示
装置の画面を分割し、複数のビデオ映像を同時に画面上
に表示する方法、などがある。

【０００３】

【発明が解決しようとする課題】しかしながら、上述し
た従来の方法には、以下に述べるような問題点がある。
すなわち、ビデオデッキによるシーケンシャルな再生で
は、２時間分の映像であれば再生にも２時間かかり、ビ
デオ映像の内容の把握に時間がかかる。ビデオデッキジ
ョグシャトルを用いた場合には、複数のビデオ映像を一
度に取り扱うことができない。紙などに代表的画面をプ
リントアウトする方法では、実際の映像での時間的変化
を把握しづらい。画面分割して複数のビデオ映像を表示
する方法では、同時に見ることができる映像が限られる
とともに、任意の映像の任意のフレームを見ることが難
しい。

【０００４】本発明の目的は、一度に複数の映像を表示
でき、任意の映像の任意のフレームを任意のフレームレ
ートで視聴することを可能にする映像表示装置を提供す
ることにある。

【０００５】

【課題を解決するための手段】本発明の映像表示装置
は、３次元コンピュータ・グラフィクスで作成された３
次元仮想空間を表示する映像表示装置であって、３次元
仮想空間内に立体図形の複数個のコンピュータ・グラフ
ィクス・オブジェクトを生成するオブジェクト生成手段
と、複数のビデオ映像を蓄積するビデオデータ蓄積手段
と、３次元仮想空間内でのユーザの視点と前記コンピュ
ータ・グラフィクス・オブジェクトとの距離が予め定め
た値以下となった場合に、視点から遠ざかるように３次
元仮想空間内でそのコンピュータ・グラフィクス・オブ
ジェクトを移動させるオブジェクト移動手段と、複数個
のコンピュータ・グラフィクス・オブジェクトの表面
に、それぞれ、異なるビデオ映像の静止画を貼り付け、
コンピュータ・グラフィクス・オブジェクトの移動に連
動して、移動したコンピュータ・グラフィクス・オブジ
ェクトの表面に貼られた静止画をビデオ映像における次
のフレームの静止画に更新するビデオ映像貼り付け手段
と、静止画が貼り付けられた複数個のコンピュータ・グ
ラフィクス・オブジェクトを３次元仮想空間内に表示す
るための仮想空間表示手段と、を有する。

【０００６】

【０００７】本発明では、３次元コンピュータ・グラフ
ィクス・オブジェクトの表面に映像を表示し、このオブ
ジェクトを３次元コンピュータ・グラフィクスの仮想空
間内に複数個配置することにより、複数の映像を同時に
把握することが可能になる。また、オブジェクト移動手
段を設けてユーザの視点の移動に伴ってオブジェクトを
動かし、ビデオ映像貼り付け手段によってオブジェクト
の移動に応じてオブジェクト表面の静止画を更新するこ
とにより、オブジェクトの速度に応じて映像の再生速度
を変わり、任意のフレームレートで任意の映像フレーム
を見ることが可能になる。視点位置の設定によって複数
のオブジェクトに対して操作が可能なため、複数の映像
から任意の映像を選んでシームレスに再生することがで
きる。

【０００８】

【発明の実施の形態】次に、本発明の実施の形態につい
て、図面を参照して説明する。

【０００９】図１は、本発明の実施の一形態の映像表示
装置の基本的構成の一例を示すブロック図である。図１
において、映像表示装置は、仮想空間表示手段１１、オ
ブジェクト生成手段１２、オブジェクト移動手段１３、
ビデオデータ蓄積手段１４、ビデオ映像貼り付け手段１
５及び視点入力手段１６から構成されている。

【００１０】仮想空間表示手段１１は、３次元ＣＧの仮
想空間を生成し、オブジェクト生成手段１２が生成した
３次元ＣＧオブジェクトを、オブジェクト移動手段１３
により決められる位置に配置し、表示するとともに、視
点入力手段１６により入力された仮想空間内の位置に、
ユーザの視点を移動する。表示される３次元ＣＧオブジ
ェクトには、ビデオ映像貼り付け手段１５によってビデ
オ映像の静止画（１フレーム分の映像）が貼り付けられ
る。ビデオデータ蓄積手段１４には、表示対象となる各
種のビデオ情報が蓄積されている。

【００１１】図２は、本発明における基本ハードウェア
構成の一例を示している。映像表示装置は、ＣＰＵ１と
ハードディスク３とメモリ４からなる計算機と、ユーザ
の視点Ｏの位置を入力するために使用されるジョイステ
ィック２と、仮想空間を表示するためのディスプレイ５
によって構成されている。仮想空間表示手段１１、オブ
ジェクト生成手段１２、オブジェクト移動手段１３、ビ
デオ映像貼り付け手段１５及び視点入力手段１６は、Ｃ
ＰＵ１によって実現され、ビデオデータ蓄積手段１４は
ハードディスク３によって構成されている。視点入力手
段１６は、ジョイスティック２を介したユーザの入力に
よって動作する。また、仮想空間表示手段１１によって
生成しオブジェクトが配置された３次元仮想空間は、表
示画面として、ディスプレイ５によってユーザに対し表
示される。図４は、ディスプレイ５の表示画面２０の一
例を示しており、この表示画面２０上に映し出される仮
想空間２２の基本的な表示例を示している。仮想空間２
２内に、ビデオ映像の１フレームを表示したオブジェク
ト２１が複数配置されている。各オブジェクトは、それ
ぞれ異なったビデオ映像の静止画（１フレームの画像）
を表示している。

【００１２】次に、この映像表示装置におけるビデオ映
像の動画表示について説明する。上述の図３に示すよう
に、３次元ＣＧの仮想空間内に複数のオブジェクトが配
置され、各オブジェクトの表面に、それぞれ異なるビデ
オ映像の１フレームの映像が（静止画として）貼り付け
られているが、これだけでは、動画表示、言い替えれ
ば、各ビデオ映像の次のフレームの映像を見ることはで
きない。そこでこの映像表示装置では、仮想空間内でオ
ブジェクトを移動させ、オブジェクト表面のビデオ映像
は、オブジェクトが移動するごとに１フレームずつ次の
映像となるようにしている。オブジェクトの移動をユー
ザが制御できるようにするため、図４に示すように、仮
想空間内でユーザの視点Ｏの位置座標とオブジェクト２
１の位置座標との距離が予め定めた一定値、例えば３０
ｃｍ以下になったときに、視点Ｏから遠ざかるようにオ
ブジェクトが移動するようにしている。図４に示した例
では、視点Ｏの接近に伴い、オブジェクト２１が仮想空
間内を(A)〜(C)に示すように移動し、それに伴って、オ
ブジェクト２１の表面に貼り付けられたビデオ映像が、
順次、次のフレームのビデオデータに更新されている。

【００１３】以下、本実施の形態の映像表示装置の動作
について、詳細に説明する。

【００１４】この映像表示装置において、上述したよう
な仮想空間の生成とオブジェクトの表示は仮想空間表示
手段１１によって行われる。図５は仮想空間表示手段１
１での処理の流れを示すことにより、この映像表示装置
における３次元ＣＧの表示過程を説明するフローチャー
トである。

【００１５】まず、仮想空間のユニバース（地形）を表
わすモデルをハードディスク３内のデータベースから読
み込んでメモリ４上に置く（ステップ１０１）。次に、
仮想空間表示手段１１は、オブジェクト生成手段１２を
起動してＣＧオブジェクトをメモリ４上に生成させ（ス
テップ１０２）、オブジェクト移動手段１３を起動して
オブジェクトの初期座標を決定させる（ステップ１０
３）。そして、仮想空間表示手段１１は、ユーザから終
了の入力があったかどうかを判断し（ステップ１０
４）、終了の入力があった場合には処理を終了させ、終
了の入力がなかった場合には、終了の入力があるまで以
下の処理を繰り返す。すなわち、仮想空間におけるユー
ザの視点座標を基に、メモリ４上のユニバース（地形）
をディスプレイ５上に表示し（ステップ１０５）、オブ
ジェクトの位置座標を基に、メモリ４上のＣＧオブジェ
クトをディスプレイ５上に表示し（ステップ１０６）、
オブジェクト移動手段１３を起動して次のオブジェクト
の位置座標を決定し（ステップ１０７）、視点入力手段
１６を起動してジョイスティック２からの入力を受け付
けられるようにし、ユーザからの視点移動の命令を獲得
し、視点座標を変更する（ステップ１０８）。このステ
ップ１０５〜１０８の処理が、ユーザからの終了の入力
があるまで繰り返される。

【００１６】図６は、上述のステップ１０２において起
動されたときのオブジェクト生成手段１２での処理を説
明するフローチャートである。オブジェクト生成手段１
２は、まず、仮想空間内にまだ表示していないビデオ映
像がハードディスク３内のビデオデータ蓄積手段１４内
にあるかどうかを判断し（ステップ１１１）、ない場合
にはそのまま処理を終了し、ある場合には、立体図形Ｃ
Ｇオブジェクトをメモリ４上に生成し（ステップ１１
２）、生成したオブジェクトの持つ属性にこのビデオ映
像のファイル名を登録し（ステップ１１３）、ステップ
１１１に戻ることにより、未表示のビデオ映像がなくな
るまでステップ１１２と１１３とを繰り返す。

【００１７】ここで、オブジェクトの持つ属性について
説明する。オブジェクトの持つ属性は、オブジェクト移
動手段１３及びビデオデータ貼り付け手段１５で使用さ
れる。図７はオブジェクトの持つ属性の基本的なものを
例示している。図７に示されるように、オブジェクトの
持つ属性には、オブジェクトの位置座標(Ｘ,Ｙ,Ｚ)と、
オブジェクトの向きベクトル(Ｕ,Ｖ,Ｗ)と、このオブジ
ェクトに貼り付けられているビデオ映像のビデオファイ
ル名と、表示中のビデオ映像のフレーム番号などが登録
される。

【００１８】図８は、オブジェクト移動手段１３による
オブジェクトの初期配置の決定の過程（図５のステップ
１０３）を示すフローチャートである。オブジェクト移
動手段１３は、まず、ユーザの地点の位置座標及び向き
ベクトルを取り出し（ステップ１２１）、仮想空間内で
視点の位置座標から視点の向きベクトルの方向に１００
ｃｍだけ離れた位置を、メモリ４上に生成されている最
初のオブジェクトの持つ属性の位置座標として保存し、
さらに、視点の向きベクトルと同じベクトルをこの最初
のオブジェクトの向きベクトルとして保存する（ステッ
プ１２２）。次に、オブジェクト移動手段１３は、メモ
リ４上に次のオブジェクトがあるかどうかを判断し（ス
テップ１２３）、ない場合にはそのまま処理を終了し、
ある場合には、１つ前に処理したオブジェクトの位置座
標と向きベクトルとを取り出し（ステップ１２４）、１
つ前のオブジェクトの位置座標から視点の向きベクトル
の方向に１００ｃｍだけ離れた位置を、メモリ４上の次
のオブジェクトの持つ属性の位置座標に保存し、１つ前
のオブジェクトの向きベクトルと同じものを次のオブジ
ェクトの向きベクトルとして保存し（ステップ１２
５）、ステップ１２３に戻る。つまり、メモリ４上に未
処理のオブジェクトがなくなるまで、ステップ１２４と
１２５の処理を繰り返す。

【００１９】図９は、オブジェクト移動手段１３による
オブジェクトの移動過程（図５のステップ１０７）を説
明するフローチャートである。オブジェクト移動手段１
３は、まず、ユーザの地点の位置座標及び向きベクトル
を取り出し（ステップ１３１）、メモリ４上の最初のオ
ブジェクトの位置座標を属性から取り出す。

【００２０】次に、オブジェクト移動手段１３は、ユー
ザの視点の位置座標とオブジェクトの位置座標との間の
距離が３０ｃｍ以下であるかを判断し（ステップ１３
３）、３０ｃｍを越えている場合にはステップ１３７に
移行する。ステップ１３３で３０ｃｍ以下であれば、オ
ブジェクトの位置座標をユーザの視点からオブジェクト
の方向へ１０ｃｍ動かし（ステップ１３４）、オブジェ
クトの持つ属性のフレーム番号を１進め、最後のフレー
ム番号を越えたときにはフレーム番号を１にし（ステッ
プ１３５）、ビデオ映像貼り付け手段１５を起動し（ス
テップ１３６）、ステップ１３７に移行する。ステップ
１３７では、メモリ４上に次のオブジェクトがあるかど
うかを判断し、ない場合には処理を終了し、ある場合に
は、次のオブジェクトの位置座標を属性から取り出して
（ステップ１３８）、ステップ１３３に戻る。

【００２１】つまり、メモリ４上に未処理のオブジェク
トがなくなるまで、ステップ１３３〜１３６の処理が繰
り返される。特に、仮想空間内におけるユーザの視点の
位置座標とオブジェクトの位置座標との距離が３０ｃｍ
以下である場合には、視点から遠ざかる方向にこのオブ
ジェクトを１０ｃｍ移動し、オブジェクトの持つ属性の
ビデオのフレーム番号を１進めてビデオ映像貼り付け手
段を起動する。これにより、ユーザが視点をオブジェク
トに近付けるとオブジェクトが遠ざかるように移動し、
かつ、このオブジェクトに次のフレームが貼り付けられ
ることになる。

【００２２】図１０は、ビデオデータ蓄積手段１４内で
の各ビデオデータのデータ構造を示している。図示され
るように、ビデオデータは、フレームごとにアクセス可
能なファイルとして保存されており、各ファイルに対し
ては、図１０に示すように、ビデオ映像ごとに統一した
ファイル名が付与されている。すなわち、各フレーム
は、ファイル名とフレーム番号の組、すなわち、「ファ
イル名．フレーム番号」でアクセスされることになる。
図１０に示した例では、ビデオ映像「ビデオ１」には１
から８０までの８０フレームが存在し、ビデオ映像「ビ
デオ２」には１から６８までの６８フレームが存在す
る。

【００２３】図１１は、図９のステップ１３６で起動さ
れたビデオ映像貼り付け手段１５での処理を示すフロー
チャートである。ビデオ映像貼り付け手段１５は、オブ
ジェクトの属性から、ビデオファイル名とフレーム番号
を取り出し（ステップ１４１）、立体形状ＣＧオブジェ
クトの表面に、ファイル名が「ビデオファイル名．フレ
ーム番号」であるオブジェクトを貼り付ける。

【００２４】図１２は、図５のステップ１０８で起動さ
れた視点入力手段１６の処理を示すフローチャートであ
る。視点入力手段１６は、ジョイスティック２からの入
力が"前進","後退","左","右"のいずれであるかに応じ
て、視点の位置座標を視点の向きベクトルの方向や逆方
向に移動させたり、あるいは、視点の向きベクトルを左
右に回す。具体的には、ジョイスティック２からの入力
が前進かどうかを調べ（ステップ１５１）、前進であれ
ば、視点の位置座標を視点の向きベクトルの方向に５０
ｃｍ動かしてから（ステップ１５２）、処理を終了し、
前進でなければ、ジョイスティック２からの入力が右で
あるかどうかを調べる（ステップ１５３）。ステップ１
５３で入力が右であれば、視点の向きベクトルの方向を
現在の方向から右に１０°回転させてから（ステップ１
５４）、処理を終了し、右でなければ、ジョイスティッ
ク２からの入力が左であるかどうかを調べる（ステップ
１５５）。ステップ１５５で左の入力であれば、視点の
向きベクトルの方向を現在の方向から左に１０°回転さ
せてから（ステップ１５６）、処理を終了し、左でなけ
れば、ジョイスティック２からの入力が後退であるかど
うかを調べる（ステップ１５７）。ステップ１５７で後
退でなければそのまま処理を終了し、後退であれば、視
点の位置座標を視点の向きベクトルの方向に−５０ｃｍ
動かしてからすなわち後退させてから（ステップ１５
８）、処理を終了する。

【００２５】以上のようにして本実施の形態の映像表示
装置では、３次元ＣＧによる仮想空間内に配置された複
数のオブジェクトのそれぞれに異なるビデオ映像のフレ
ームを貼り付け、ユーザが視点を移動することによっ
て、所望のビデオ映像のフレームを次に進めることが可
能となり、ユーザは一度に複数のビデオ映像を把握で
き、かつ、それぞれのビデオ映像において所望のフレー
ムを任意のフレームレートで視聴できることになる。

【００２６】

【発明の効果】以上説明したように本発明は、仮想空間
内に立体図形のオブジェクトを複数個生成し、各オブジ
ェクトの表面にビデオ映像の静止画（１フレームの画像
データ）を貼り付けることにより、ユーザが一度に複数
のビデオ映像を把握できるようになるという効果があ
る。

【００２７】また、仮想空間内でユーザの視点がオブジ
ェクトに近付けることによってオブジェクトが動き、そ
れと連動してそのオブジェクト上のビデオ映像を次のフ
レームに更新することにより、ユーザの視点とオブジェ
クトとの距離をほぼ一定に保ちながら、オブジェクトの
動きの速さに応じてビデオ映像の再生速度を変えること
が可能になって、データベース中の任意の映像の任意の
フレームを任意のフレームレートで再生できることにな
る。さらにこの場合、複数のオブジェクトが近接して配
置して集合を構成していると、ユーザの視点をオブジェ
クトの集合に近付けることによって、集合を構成するこ
れら複数のオブジェクトが一度に動くことになって、複
数の映像を同時にブラウジング(browsing)することが可
能になる。また、システムの使用法を変えることなく、
選択後の再生操作への移行を行うことができる。

【図面の簡単な説明】

【図１】本発明の実施の一形態の映像表示装置の構成を
示すブロック図である。

【図２】図１の映像表示装置の基本ハードウェア構成を
示すブロック図である。

【図３】ディスプレイ上に表示される表示画面の一例を
示す図である。

【図４】図１の映像表示装置における映像の動画表示を
説明する図である。

【図５】図１の映像表示装置における３次元ＣＧの表示
過程を説明するフローチャートである。

【図６】オブジェクト生成手段によるオブジェクト生成
の過程を説明するフローチャートである。

【図７】オブジェクトの持つ属性の基本的例を示す図で
ある。

【図８】オブジェクト移動手段によるオブジェクトの初
期配置の過程を説明するフローチャートである。

【図９】オブジェクト移動手段によるオブジェクトの移
動過程を説明するフローチャートである。

【図１０】ビデオデータ蓄積手段で扱われるビデオデー
タの基本的なデータ構造を説明する図である。

【図１１】ビデオ映像貼り付け手段によるオブジェクト
へのビデオ映像の貼り付け過程を説明するフローチャー
トである。

【図１２】視点入力手段による視点位置の入力過程を説
明するフローチャートである。

【符号の説明】

１ＣＰＵ２ジョイスティック３ハードディスク４メモリ５ディスプレイ１１仮想空間表示手段１２オブジェクト作成手段１３オブジェクト移動手段１４ビデオデータ蓄積手段１５ビデオ映像貼り付け手段１６視点入力手段２０表示画面２１オブジェクト２２仮想空間Ｏ視点

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 15/00 100 G06T 17/40

Claims

(57)【特許請求の範囲】

【請求項１】３次元コンピュータ・グラフィクスで作
成された３次元仮想空間を表示する映像表示装置であっ
て、前記３次元仮想空間内に立体図形の複数個のコンピュー
タ・グラフィクス・オブジェクトを生成するオブジェク
ト生成手段と、複数のビデオ映像を蓄積するビデオデータ蓄積手段と、前記３次元仮想空間内でのユーザの視点と前記コンピュ
ータ・グラフィクス・オブジェクトとの距離が予め定め
た値以下となった場合に、前記視点から遠ざかるように
前記３次元仮想空間内でそのコンピュータ・グラフィク
ス・オブジェクトを移動させるオブジェクト移動手段
と、前記複数個のコンピュータ・グラフィクス・オブジェク
トの表面に、それぞれ、異なる前記ビデオ映像の静止画
を貼り付け、前記コンピュータ・グラフィクス・オブジ
ェクトの移動に連動して、移動したコンピュータ・グラ
フィクス・オブジェクトの表面に貼られた前記静止画を
ビデオ映像における次のフレームの静止画に更新するビ
デオ映像貼り付け手段と、前記静止画が貼り付けられた前記複数個のコンピュータ
・グラフィクス・オブジェクトを前記３次元仮想空間内
に表示するための仮想空間表示手段と、を有する映像表
示装置。
【請求項２】入力に応じて前記３次元仮想空間内での
前記ユーザの視点の位置を変更する視点入力手段をさら
に有する請求項１に記載の映像表示装置。
【請求項３】３次元コンピュータ・グラフィクスで作
成された３次元仮想空間を表示する映像表示装置であっ
て、前記３次元仮想空間内に立体図形のコンピュータ・グラ
フィクス・オブジェクトを生成するオブジェクト生成手
段と、ビデオ映像を蓄積するビデオデータ蓄積手段と、前記３次元仮想空間内でのユーザの視点と前記コンピュ
ータ・グラフィクス・オブジェクトとの距離が予め定め
た値以下となった場合に、前記視点から遠ざかるように
前記３次元仮想空間内で前記コンピュータ・グラフィク
ス・オブジェクトを移動させるオブジェクト移動手段
と、前記コンピュータ・グラフィクス・オブジェクトの表面
に前記ビデオ映像の静止画を貼り付け、前記コンピュー
タ・グラフィクス・オブジェクトの移動に連動して、貼
り付けた前記静止画を前記ビデオ映像における次のフレ
ームの静止画に更新するビデオ映像貼り付け手段と、前記静止画が貼り付けらた前記コンピュータ・グラフィ
クス・オブジェクトを前記３次元仮想空間内に表示する
ための仮想空間表示手段と、を有する映像表示装置。