JP3449939B2 - 映像表示方法及びそのプログラムを記録した記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、遠隔地にいる複数
の利用者がコンピュータグラフィックスで表現された自
分の分身を操作することによって、ネットワークを介し
て接続されたコンピュータ上に構築された３次元仮想空
間を共有するシステムにおいて、ビデオカメラで撮影し
ている映像、およびその映像に関する情報を複数の利用
者でリアルタイムに共有する映像表示技術に関するもの
である。

【０００２】

【従来の技術】現実世界において実際にビデオカメラで
撮影した映像を、３次元協調仮想空間内の固定された壁
にリアルタイムで表示することによって複数の利用者が
遠隔地にある物体の映像を共有することができるシステ
ムがある。

【０００３】このようなシステムに加えて、ビデオカメ
ラで撮影された顔画像を利用者の分身の頭部に表示する
によって、相手の表情を伝えるといったシステムもあ
る。

【０００４】また、現実世界の遠隔地にある物体をビデ
オカメラで実際に撮影した映像をもとに３次元モデルを
生成し、利用者の好きな方向からその物体を眺めること
ができるといったシステムもある。

【０００５】

【発明が解決しようとする課題】従来の３次元仮想空間
における実写映像の表示は、３次元仮想空間中の固定さ
れたスクリーンに映像を貼りつけるといった方法をとっ
ており、利用者は自分の分身をそのスクリーンの前に移
動させることにより、映像を鑑賞するといった手段をと
っていた。そのため、同じ映像を見ている利用者が複数
存在する場合、それぞれの利用者が自分の好きな位置、
角度から撮影した映像を同時に見るといったことは困難
であった。そしてその映像が物体に対して、どの方向、
どの位置から見たものかといったことは、映像から類推
するのみで、ビデオカメラと物体の位置関係が非常に把
握しづらいことがあった。また、実際に撮影した映像を
もとに、３次元モデルを生成し、仮想空間中に配置する
といった方法もあったが、映像を撮影した後、３次元モ
デルを生成するのに時間がかかるため、リアルタイムで
随時変化するような物体を観察するには不向きであっ
た。

【０００６】本発明の課題は、前記の問題を解決するた
めに、３次元協調仮想空間において、複数の利用者がそ
れぞれ好きな方向、位置から遠隔地にある現実の物体の
リアルタイムな映像を同時に眺めることができ、映像が
物体に対してどの位置、方向から撮影したものかという
ことを利用者によりわかりやすくする映像表示方法を提
供することにある。

【０００７】

【０００８】

【課題を解決するための手段】本発明における、上記の
課題を解決するための一手段は、複数の利用者がコンピ
ュータグラフィックスで表現された自分の分身を操作す
ることによって、ネットワークを介して接続された計算
機端末上に構築された３次元協調仮想空間を共有するシ
ステムにおいて、ビデオカメラによって撮影される映像
と、前記映像の撮影時間、前記映像を撮影したビデオカ
メラと撮影対象物体との相対位置、および前記ビデオカ
メラの光軸方向を含む前記映像に関する情報とを関連付
けて前記システムに記憶し、前記３次元協調仮想空間内
にビデオカメラを模擬した仮想カメラを、前記３次元協
調仮想空間内の前記撮影対象となる物体を模擬した３次
元仮想撮影対象物体に対して、現実空間におけるビデオ
カメラと撮影対象物体との相対位置と同様の相対位置に
表示し、前記３次元協調仮想空間内に前記ビデオカメラ
の今まで通過した軌跡を視覚的に表示し、前記ビデオカ
メラの軌跡の表現を時間の経過により変更し、前記３次
元協調仮想空間における利用者の分身を前記ビデオカメ
ラの軌跡と重ねることにより、利用者側の計算機端末に
その重なった位置に対応する前記相対位置から撮影され
た映像を表示することを特徴とする映像表示方法であ
る。

【０００９】あるいは、複数の利用者がコンピュータグ
ラフィックスで表現された自分の分身を操作することに
よって、ネットワークを介して接続された計算機端末上
に構築された３次元協調仮想空間を共有するシステムに
おいて、ビデオカメラによって撮影される映像と、前記
映像の撮影時間、前記映像を撮影したビデオカメラと撮
影対象物体との相対位置、および前記ビデオカメラの光
軸方向を含む前記映像に関する情報とを関連付けて前記
システムに記憶し、現実空間において所定時間ビデオカ
メラにより撮影が行われる度に、前記３次元協調仮想空
間内において映像が存在することを視覚的に表現する仮
想物体を表示し、前記映像が存在することを視覚的に表
現する仮想物体の表現を時間の経過により変更し、前記
３次元協調仮想空間における利用者の分身が前記映像の
存在を表現する仮想物体と重なることにより、利用者側
の計算機端末にその重なった位置に対応する前記相対位
置から撮影された所定時間の映像を表示することを特徴
とする映像表示方法である。

【００１０】あるいは、前記所定時間の映像を表示する
過程では、前記映像の表示に伴い前記ビデオカメラの相
対位置が移動する場合には、前記３次元協調仮想空間に
おける利用者の分身を前記ビデオカメラの相対位置の移
動に対応させて自動的に移動させることを特徴とする映
像表示方法である。

【００１１】

【００１２】あるいは、複数の利用者がコンピュータグ
ラフィックスで表現された自分の分身を操作することに
よって、ネットワークを介して接続された計算機端末上
に構築された３次元協調仮想空間を共有するシステムに
おける、撮影者側もしくは利用者側の前記計算機端末で
読み取られ動作するプログラムを記録した記録媒体であ
って、前記計算機端末上で、前記３次元協調仮想空間、
および前記利用者の分身を描画する仮想空間・分身描画
プログラムと、ビデオカメラによって撮影された映像、
前記映像の撮影時間、前記映像を撮影したビデオカメラ
と撮影対象物体との相対位置、および前記ビデオカメラ
の光軸方向が互いに関連付けて保存された映像に関する
情報を前記３次元協調仮想空間に視覚的、かつ時系列に
表現する映像オブジェクト、前記映像に関する情報に基
づいた撮影対象物体を模擬した３次元仮想撮影対象物
体、ならびに前記利用者の分身を、前記３次元協調仮想
空間に再描画する仮想空間・分身再描画プログラムと、
前記再描画された３次元協調仮想空間において、前記利
用者の操作で移動された前記利用者の分身と前記３次元
仮想撮影対象物体との相対位置に基づいて、前記撮影さ
れた映像の中から選択された前記相対位置関係が一致す
る映像を表示する実写映像表示プログラムとを、計算機
が読み取り可能な記録媒体に記録し、前記映像オブジェ
クトは、前記ビデオカメラの今まで通過した軌跡とし、
前記仮想空間・分身再描画プログラムは、前記利用者の
分身を描画するとともに、前記映像に関する情報に基づ
いて、前記３次元協調仮想空間内にビデオカメラを模擬
した仮想カメラを、前記３次元仮想撮影対象物体に対し
て、現実空間におけるビデオカメラと撮影対象物体との
相対位置と同様の相対位置に描画し、前記ビデオカメラ
の軌跡を視覚的に描画し、前記ビデオカメラの軌跡の表
現を時間の経過により更新するものとし、前記実写映像
表示プログラムは、前記３次元協調仮想空間における前
記利用者の分身を前記ビデオカメラの軌跡と重ねる利用
者の操作により選択された、その重ねた位置に対応する
相対位置から撮影された映像を表示するものとすること
を特徴とする映像表示プログラムを記録した記録媒体で
ある。

【００１３】あるいは、複数の利用者がコンピュータグ
ラフィックスで表現された自分の分身を操作することに
よって、ネットワークを介して接続された計算機端末上
に構築された３次元協調仮想空間を共有するシステムに
おける、撮影者側もしくは利用者側の前記計算機端末で
読み取られ動作するプログラムを記録した記録媒体であ
って、前記計算機端末上で、前記３次元協調仮想空間、
および前記利用者の分身を描画する仮想空間・分身描画
プログラムと、ビデオカメラによって撮影された映像、
前記映像の撮影時間、前記映像を撮影したビデオカメラ
と撮影対象物体との相対位置、および前記ビデオカメラ
の光軸方向が互いに関連付けて保存された映像に関する
情報を前記３次元協調仮想空間に視覚的、かつ時系列に
表現する映像オブジェクト、前記映像に関する情報に基
づいた撮影対象物体を模擬した３次元仮想撮影対象物
体、ならびに前記利用者の分身を、前記３次元協調仮想
空間に再描画する仮想空間・分身再描画プログラムと、
前記再描画された３次元協調仮想空間において、前記利
用者の操作で移動された前記利用者の分身と前記３次元
仮想撮影対象物体との相対位置に基づいて、前記撮影さ
れた映像の中から選択された前記相対位置関係が一致す
る映像を表示する実写映像表示プログラムとを、計算機
が読み取り可能な記録媒体に記録し、前記映像オブジェ
クトは、現実空間において所定時間ビデオカメラにより
撮影が行われる度に生成される、前記３次元協調仮想空
間内において映像が存在することを視覚的に表現する仮
想物体とし、前記仮想空間・分身再描画プログラムは、
前記利用者の分身を描画するとともに、前記映像が存在
することを視覚的に表現する仮想物体を描画し、前記仮
想物体の表現を時間の経過により更新するものとし、前
記実写映像表示プログラムは、前記３次元協調仮想空間
における前記利用者の分身を前記仮想物体と重ねる利用
者の操作により選択された、その重ねた位置に対応する
相対位置から撮影された所定時間の映像を表示するもの
とすることを特徴とする映像表示プログラムを記録した
記録媒体である。

【００１４】あるいは、前記実写映像表示プログラム
は、前記所定時間の映像の表示に伴い前記ビデオカメラ
の相対位置が移動する場合には、前記３次元協調仮想空
間における前記利用者の分身を前記ビデオカメラの相対
位置の移動に対応させて移動させることを特徴とする映
像表示プログラムを記録した記録媒体である。

【００１５】本発明では、映像を撮影した時間、および
ビデオカメラの位置や向きといった映像に関する情報を
３次元協調仮想空間上に視覚的に、かつ時系列に表示す
ることによって、利用者は現在、および過去に撮影され
た映像におけるビデオカメラと現実の撮影対象物体の位
置関係を簡単に把握することができることを最も主要な
特徴とする。

【００１６】さらに、ビデオカメラと現実の撮影対象物
体の両方に取り付けられた位置センサの出力信号を用い
ることにより、カメラの位置、方向といった映像に関す
る情報をリアルタイムで３次元仮想空間に反映すること
ができ、利用者はどの位置、方向から撮影した映像が存
在するのかといったことをすぐに簡単に把握できること
を主要な特徴とする。

【００１７】また、仮想撮影対象物体と利用者の分身の
相対位置を見ることによって、他の利用者がどのような
映像を見ているかといったことが簡単に把握できること
を主要な特徴とする。

【００１８】

【発明の実施の形態】以下に本発明の実施形態例につい
て図面を用いて詳細に説明する。

【００１９】＜装置構成＞本発明を実施するための装
置、およびシステムの構成について説明する。まず、本
発明の実施形態例に適用される３次元協調仮想空間シス
テムの構成を図１に示す。

【００２０】本構成では、ネットワーク１に仮想空間中
央管理装置２と、複数の利用者端末装置３、および撮影
者端末装置４が接続されている。仮想空間中央管理装置
２は、複数の利用者端末装置３から送信されてくる様々
な情報を受信、処理し、その処理した情報をそれぞれの
利用者端末装置３に配信する。

【００２１】各利用者端末装置３には、画像出力装置で
あるディスプレイ１１、音声入出力装置であるマイク１
０、スピーカ９、利用者が３次元協調仮想空間に存在す
る自分の分身を操作するための移動入力装置８が接続さ
れている。ここで、現実空間にある撮影対象となる物体
を撮影する撮影者側の撮影者端末装置４には、利用者端
末装置３の構成に加えて、カメラ５、およびカメラ５と
撮影対象物体の相対的な位置、およびカメラ５の光軸方
向を検知するための位置センサ７が接続されている。

【００２２】利用者側では、利用者端末装置３に接続さ
れたマイク１０から入力された音声情報、移動入力装置
８から入力された分身の仮想空間における位置、および
分身の方向の情報を、利用者端末装置３はネットワーク
１を通して、仮想空間中央管理装置２へ送信する。

【００２３】撮影者端末装置４は、上記の情報に加えて
ビデオカメラ５から撮影された映像と、ビデオカメラ５
と現実の撮影対象物体の相対位置、およびビデオカメラ
５の方向の情報を仮想空間中央管理装置２へ送信する。

【００２４】仮想空間中央管理装置２では、各利用者端
末装置３、および撮影者端末装置４から送信されてきた
各種情報を受信し、処理を行った後、処理した情報を再
び各利用者端末装置３、および撮影者端末装置４へネッ
トワーク１を通して配信する。

【００２５】各利用者端末装置３および撮影者端末４に
は、あらかじめＣＤ−ＲＯＭなどの記憶媒体を利用し
て、３次元仮想空間の情報が保存されており、端末装置
３および４は仮想空間中央管理装置２から送られてきた
各利用者の分身の位置、方向の情報に基づいて、３次元
協調仮想空間がディスプレイ１１に表示される。

【００２６】各利用者は、利用者端末装置３に接続され
ている移動入力装置８により、３次元協調仮想空間内の
自分の分身を移動させることができ、利用者は自由な視
点から３次元仮想空間内の仮想撮影対象物体を観察する
ことができる。

【００２７】図２は、仮想空間中央管理装置２の構成ブ
ロック図である。

【００２８】仮想空間情報処理部２３は、各利用者端末
装置３から送信されてきた分身の位置、方向の情報をも
とに、それぞれの利用者に必要な分身の位置、方向の情
報を決定し、各利用者端末装置３に送信する。さらに、
映像処理部２２の要求により、映像に関する情報を視覚
的に表現する。

【００２９】音声処理部２１は、仮想空間情報処理部２
３の各分身の位置情報をもとに、各利用者端末装置３か
ら送信されてきた音声情報から必要なものを決定、ミキ
シングし、各利用者端末装置３へ送信する。

【００３０】映像処理部２２は、撮影者端末装置４から
送られてきたカメラで撮影した映像、およびカメラの位
置、方向を保存する。そして、仮想空間情報処理部２３
の決定した利用者の分身の位置に基づいて、各利用者に
必要な映像を決定し、各利用者端末装置３ヘカメラの軌
跡の情報と共に映像を送信する。

【００３１】情報送受信部２４は、ネットワーク１を通
して、各端末装置３、４と各処理部２１、２２、２３と
の情報の送受信を行う。

【００３２】図３は、各利用者端末装置３の構成ブロッ
ク図である。

【００３３】音声出力部３４は、仮想空間中央管理装置
２からネットワーク１を介して送信されてきた情報か
ら、情報送受信部３６で分離された音声情報をスピーカ
９に出力する。

【００３４】音声入力部３５は、マイク１０から入力さ
れた音声情報をデジタル情報化し、情報送受信部３６、
ネットワーク１を介して仮想空間中央管理装置２へ送信
する。

【００３５】移動方向入力部３３は、移動入力装置８か
ら入力された情報を仮想空間生成部３２や仮想空間中央
管理装置２へ送信する。また、例えば画面に表示されて
いる情報の選択といった移動以外の操作についての情報
も仮想空間生成部３２や仮想空間中央管理装置２へ送信
する。

【００３６】仮想空間生成部３２は、あらかじめ記憶し
ている３次元空間情報、仮想空間中央管理装置２から送
られてきた各利用者の分身の位置・方向、自分の分身の
位置・方向の情報をもとに、３次元協調仮想空間の生成
を行い、ディスプレイ１１上に表示する。

【００３７】実写映像処理部３１は、利用者自身の分身
の位置・方向により、実写映像を表示する要求がある場
合、仮想空間中央管理装置２からネットワーク１を介し
て送信されてきた映像をディスプレイ１１上に表示す
る。

【００３８】撮影者側の端末装置４には、上記に加えて
実写映像入力部４１と実写映像情報入力部４２がある。
実写映像入力部４１は、ビデオカメラ５によって撮影し
た現実世界の撮影対象物体６の映像を仮想空間中央管理
装置２へ送信する。実写映像情報処理部４２は、ビデオ
カメラ５と現実世界の撮影対象物体６に付いている位置
センサ７、７’によって計測されたビデオカメラと撮影
対象物体の相対的な位置、方向を仮想空間中央管理装置
２へ送信する。

【００３９】図４、図５は本発明における具体的な実施
の形態を説明する図である。

【００４０】図４は現実世界における撮影に利用する現
実のビデオカメラ５と、撮影される現実の撮影対象物体
６の関係を表している。現実世界では、撮影者が位置セ
ンサ７の付いているビデオカメラ５を持ち、様々な位
置、方向から現実世界の撮影対象物体６を撮影する。撮
影される現実世界の撮影対象物体６にも位置センサ７’
がついており、ここを原点としてビデオカメラ５の３次
元座標を検出する。さらに、位置センサ７からカメラの
光軸方向、回転角度も検出する。これらの検出された情
報は、撮影者の撮影者端末装置４を介して、中央仮想空
間管理装置２へ送信され、ビデオカメラ５から撮影した
映像と共に保存され、他の複数の利用者端末装置３へ送
信される。

【００４１】図５は、仮想空間における仮想カメラ１２
と仮想撮影対象物体１４、および仮想空間において仮想
撮影対象物体１４を観察している利用者の分身１３との
関係を表している。３人の利用者の分身１３Ａ、１３
Ｂ、１３Ｃが仮想撮影対象物体１４の周りに集まってい
る。このように、利用者の分身１３の位置を示すことに
よって、他の利用者が現在観察している位置、方向を簡
単に把握することができる。

【００４２】仮想カメラ１２は、現実のビデオカメラ５
についている位置センサ７から検出された３次元座標を
もとに、撮影しているビデオカメラ５の位置、方向を３
次元空間において視覚的に表現している。この仮想カメ
ラ１２の位置、方向はリアルタイムで更新されているた
め、仮想空間に参加している複数の利用者は遠隔地にあ
るビデオカメラ５の仮想物体に対する位置、方向を簡単
に把握することができる。

【００４３】なお、仮想空間中央管理装置２の機能を各
端末装置にそれぞれ持たせて上記のシステムを実現する
ことも可能であり、その場合には仮想空間中央管理装置
２のサーバは無くても良い。

【００４４】＜第１の実施形態例＞図６は、本発明の第
１の実施形態例を説明する図である。

【００４５】図４のように、現実の世界で撮影している
カメラ５の位置、方向は、位置センサ７で検出され、撮
影者端末装置４から仮想空間中央管理装置２へネットワ
ーク１を介して送信され、映像とともに保存された後、
各利用者端末装置３へ送信される。

【００４６】各利用者端末装置３では図５のように、送
信されてきたビデオカメラ５の位置、方向の情報をもと
にして仮想空間中に仮想カメラ１２がリアルタイムで表
示される。更に、仮想カメラ１２の今まで通過した軌跡
を図６のように映像が存在する事を視覚的に利用者に知
らせるための仮想物体１５Ａ（以下「映像オブジェク
ト」と呼ぶ）として仮想空間中に表示する。利用者の分
身１３は、始めは仮想撮影対象物体１４のみ観察するこ
とができるが、仮想カメラ１２の軌跡を表す映像オブジ
ェクト１５Ａに利用者自身の分身を重ねることによっ
て、現実の世界で撮影された映像を鑑賞することができ
る。ここで鑑賞することのできる映像としては、分身１
３を重ねた位置付近から一定時間撮影した映像や、１枚
以上の静止映像等である。

【００４７】仮想空間中央管理装置２へ利用者自身の分
身１３の位置を送信し、利用者自身の分身１３の位置と
仮想カメラの映像オブジェクト１５Ａの位置が重なった
ことを仮想空間中央管理装置２の仮想空間情報処理部２
３が認識すると、仮想空間中央管理装置２の映像処理部
２２から分身の位置に基づいた一定時間の映像等が送信
されてくる。

【００４８】この映像が送信されてくると、利用者端末
装置３の仮想空間生成部３２が３次元仮想空間における
自分の分身１３の前に仮想スクリーン１６を生成し、実
写映像処理部３１がその仮想スクリーン１６上に実写映
像を表示する。仮想スクリーン１６の周りには、３次元
協調仮想空間の様子が表示されており、他の利用者の分
身の様子が把握できる。生成された仮想スクリーン１６
は３次元協調仮想空間内に表示されるため、仮想スクリ
ーン１６を持っている利用者はその分身１３の位置から
の映像を見ているということが簡単に把握できるように
なっている。

【００４９】３次元協調仮想空間内のカメラの軌跡を示
す映像オブジェクト１５Ａは、新しいものほど色が濃
く、時間がたつにつれて次第に色が薄くなる。このよう
に表示することによって、各利用者は映像が撮影された
時間を大まかに知ることができる。

【００５０】なお、本発明の各実施形態例では、撮影者
端末装置４にて撮影対象物体６について撮影した映像と
それについて取得したカメラ５の位置と方向の情報の他
に、その撮影対象物体６に対応して仮想空間に表示させ
る仮想撮影対象物体１４の情報（仮想空間においての位
置・向き、物体表示の形など）を、一緒にして撮影者端
末装置４から仮想空間中央管理装置２に送信する。すな
わち、各利用者端末装置３において、仮想空間中央管理
装置２から映像オブジェクトと仮想カメラ１２の位置・
方向を得て、映像オブジェクト、仮想カメラ１２の位置
を描画する際に、どの仮想撮影対象物体１４に対して描
画するとか、どのような仮想撮影対象物体１４を表示す
るとかのために、仮想撮影対象物体の情報も得るものと
する。

【００５１】また、本発明の各実施形態例において、撮
影者端末装置４で撮影対象物体について撮影した映像と
位置と方向の情報と仮想撮影対象物体の情報等は、時事
刻々とリアルタイムに、仮想空間中央管理装置２に送ら
れ、また、同じくリアルタイムに、仮想空間中央管理装
置２から各端末装置３、４に送られるので、各端末装置
３、４の仮想空間の表示では、仮想カメラ１２が時事刻
々とリアルタイムに動くことになる。また、撮影の終了
後に映像と位置と方向の情報と仮想撮影対象物体の情報
を一括して送ることも可能である。この場合の各端末装
置３、４の仮想空間の表示では、撮影の開始から終了ま
での映像オブジェクト１５が表示され、終了時点におけ
る仮想空間の位置に仮想カメラ１２が表示されて動かな
いようになる。

【００５２】＜第２の実施形態例＞図７は、本発明の第
２の実施形態例を説明する図である。

【００５３】仮想空間において、仮想カメラ１２の通過
した軌跡上に半透明の長方形の映像オブジェクト１５Ｂ
を一定時間毎に配置する。映像オブジェクト１５Ｂは、
対応つけられている映像を撮影した一定の時間内に描い
た軌跡の中央の位置に配置されるため、映像オブジェク
ト１５Ｂの位置によって、その映像オブジェクト１５Ｂ
が対応つけられている映像の撮影された位置を大まかに
把握することができる。

【００５４】利用者は、映像オブジェクト１５Ｂの位置
に利用者自身の分身を移動させ、映像オブジェクト１５
Ｂと分身１３を重ねることによって、その映像オブジェ
クト１５Ｂに対応つけられている一定時間の映像を鑑賞
することができる。

【００５５】映像オブジェクト１５Ｂは、時間がたつに
つれて次第に色が薄くなる。そのため、各利用者はその
映像オブジェクト１５Ｂに対応つけられている映像が撮
影された時間を大まかに把握することができる。

【００５６】なお、図７には、映像オブジェクト（板）
１５Ｂが時間の経過に従ってどの様に表示されるかを理
解し易くするために、映像オブジェクト（軌跡）のよう
な矢印の点線が書かれているが、時間の経過は映像オブ
ジェクト（板）１５Ｂの濃淡で把握できるため、仮想空
間では表示しないでも良い。

【００５７】＜第３の実施形態例＞図８は、本発明の第
３の実施形態例を説明する図である。

【００５８】上記の各実施形態例において、利用者があ
る位置からの一定時間の映像を鑑賞している場合の例を
示す。実施形態例１、２のように、ビデオカメラの撮影
位置は時間の経過に伴って移動している。そこで、利用
者がある位置からの一定時間の映像を鑑賞している場
合、その鑑賞している映像を撮影していた時の仮想カメ
ラ１２の軌跡に沿って、その利用者自身の分身１３を自
動的に移動する。このように利用者自身の分身１３を自
動的に移動させることによって、自分の分身１３と仮想
撮影対象物体１４の相対位置を把握し、現在鑑賞してい
る映像が撮影された位置を簡単に把握することができ
る。また、他の利用者にとってこの利用者の分身の動き
を認識することによって、この利用者がどの方向からど
のような映像を見ているかということを大まかに知るこ
とが可能となる。

【００５９】＜撮影時動作フロー＞図９は、撮影された
映像情報を処理する時のフロー図である。

【００６０】図４のように、撮影者が位置センサ７の付
いたビデオカメラ５を利用して撮影対象物体６を撮影す
ると、撮影者端末装置４から撮影した映像と共に、撮影
した時間、仮想撮影対象物体の情報、および撮影した際
に位置センサ７によって検出されたビデオカメラ５の位
置・方向の情報を、仮想空間中央管理装置２へ伝達す
る。

【００６１】仮想空間中央管理装置２では、撮影したこ
とが伝えられると映像処理部２２が撮影された映像と時
間、仮想撮影対象物体の情報、およびビデオカメラ５の
位置を関連付けて保存する。更に、仮想空間中央管理装
置２の仮想空間生成部２３が撮影された時間、仮想撮影
対象物体の情報、およびビデオカメラ５の位置を基に映
像オブジェクト１５を生成し、仮想カメラ１２の位置・
方向を決定し、仮想空間情報を更新する。その後、生成
された映像オブジェクト１５の位置、仮想カメラ１２の
位置・方向の情報、および仮想撮影対象物体の情報を各
利用者端末装置３および各撮影者端末装置４の一方もし
くは双方へ送信する。

【００６２】各利用者端末装置３あるいは各撮影者端末
装置４では、仮想空間生成部３２、および実写映像処理
部３１によって、送られてきた情報を元に仮想空間内の
仮想撮影対象物体、仮想カメラ１２の位置・方向、およ
び映像オブジェクト１５を更新し、ディスプレイ１１に
表示する。

【００６３】＜鑑賞時動作フロー＞図１０は、撮影され
た映像を利用者が鑑賞する際のフロー図である。

【００６４】図５のように、各利用者の分身が仮想空間
内を移動すると、各利用者端末装置３は分身の位置・方
向の情報を仮想空間中央管理装置２へ伝達する。

【００６５】仮想空間中央管理装置２の映像処理部２２
では、送られてきた分身の位置情報と映像オブジェクト
の位置情報を参照し、重なっているという決定をする
と、その映像オブジェクトと対応付けられている映像を
保存されている全実写映像の中から選択する。そして選
択された実写映像と共に、関連付けられたカメラの軌跡
情報を利用者端末装置３へ送信する。

【００６６】その後、利用者端末装置３の仮想空間生成
部３２で仮想空間内の分身の前に仮想スクリーン１６を
作成し、その上に送られてきた映像を表示する。それと
共に、第３の実施形態例の場合では、利用者の分身を送
られてきたカメラの軌跡に基づいて仮想空間内を自動的
に移動させる。

【００６７】＜撮影時のプログラムの動作フロー＞図１
１は、撮影された映像情報を処理する時のプログラムの
動作状況を説明するフロー図である。

【００６８】図４のように、撮影者が位置センサ７の付
いたビデオカメラ５を利用して撮影対象物体６を撮影す
ると、撮影者端末装置４のカメラの位置・方向検出プロ
グラムが撮影の際に位置センサ７からの信号によってビ
デオカメラ５の位置・方向を検出する。次に、カメラの
位置・方向、および実写映像データ送信プログラムが動
作し、ビデオカメラ５で撮影した実写映像と共に、撮影
した時間、仮想撮影対象物体の情報、および前記で検出
されたビデオカメラ５の位置・方向の情報を仮想空間中
央管理装置２へ送信する。

【００６９】仮想空間中央管理装置２では、撮影したこ
とが伝えられるとカメラの位置・方向、および実写映像
データ受信プログラムが、送られてきた実写映像、撮影
した時間、仮想撮影対象物体の情報、およびビデオカメ
ラ５の位置・方向の情報のデータを受信する。次に、実
写映像の保存、および管理プログラムが動作し、撮影さ
れた映像と時間、仮想撮影対象物体の情報、およびビデ
オカメラ５の位置を関連付けて保存する。次いで、映像
オブジェクト生成プログラムが、撮影された時間、仮想
撮影対象物体の情報、およびビデオカメラ５の位置を基
に映像オブジェクト１５を生成し、仮想カメラ１２の位
置・方向を決定し、仮想空間情報を更新する。その後、
映像オブジェクト、および仮想カメラの位置・方向デー
タ送信プログラムが、生成された映像オブジェクト１５
の位置、および仮想カメラ１２の位置・方向の情報、仮
想撮影対象物体の情報を各利用者端末装置３および各撮
影者端末装置４の一方もしくは双方へ送る。

【００７０】各利用者端末装置３あるいは各撮影者端末
装置４では、カメラの位置・方向、および実写映像デー
タ受信プログラムが、送信されてきた映像オブジェク
ト、仮想カメラの位置・方向の情報、仮想撮影対象物体
の情報のデータを受信する。次いで、仮想撮影対象物
体、映像オブジェクト、および仮想カメラ再描画プログ
ラムが動作して、送られてきた情報を元に仮想空間内の
仮想カメラ１２の位置・方向、仮想撮影対象物体、およ
び映像オブジェクト１５を更新し、ディスプレイ１１に
表示する。

【００７１】＜鑑賞時のプログラムの動作フロー＞図１
２は、撮影された映像を利用者が鑑賞する際のプログラ
ムの動作状況を説明するフロー図である。

【００７２】図５のように、仮想空間、および分身表示
プログラムによって表示されている各利用者の分身を仮
想空間内で移動させると、分身位置データ送信プログラ
ムが動作し、分身の位置・方向の情報を仮想空間中央管
理装置２へ伝達する。

【００７３】仮想空間中央管理装置２では、分身の位置
・方向の情報が送られてくると、分身位置データ受信プ
ログラムが動作し、送られてきた分身の位置情報を受信
する。次いで、分身の位置に対応する実写映像選択プロ
グラムが動作し、受信した分身の位置と映像オブジェク
トの位置情報を参照し、重なっているという決定をする
と、その映像オブジェクトと対応付けられている映像を
保存されている全実写映像の中から選択する。そして、
実写映像、およびカメラの軌跡、方向データ送信プログ
ラムが、前記の選択された実写映像と共に、関連付けら
れたカメラの軌跡・方向の情報を利用者端末装置３へ送
信する。

【００７４】利用者端末装置３では、送信された実写映
像、および関連付けられたカメラの軌跡・方向情報を、
実写映像、およびカメラの軌跡・方向データ受信プログ
ラムが動作して受信する。次いで、映像表示、および分
身自動移動プログラムが動作し、仮想空間内の分身の前
に仮想スクリーン１６を作成し、その上に送られてきた
映像を表示する。それと共に、第３の実施形態例では、
利用者の分身を送られてきたカメラの軌跡に基づいて仮
想空間内を自動的に移動させる。自動的に移動された分
身の位置、方向データは、分身位置データ送信プログラ
ムにより仮想空間中央管理装置２に送信される。

【００７５】仮想空間中央管理装置２では、この分身の
位置、方向データを分身位置データ受信プログラムで受
信し、分身位置データ管理プログラムによって、管理し
ている分身の位置、方向データを更新する。

【００７６】＜プログラムの記録媒体＞上記で説明した
撮影時の動作プログラム、および観賞時の動作プログラ
ムは、コンピュータで実行できるものであり、それらの
プログラムを、仮想空間中央管理装置２、利用者端末装
置３、および撮影者端末装置４のそれぞれのコンピュー
タが読み取り可能な記録媒体、例えば、ＦＤ（フロッピ
ーディスク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、
ＤＶＤ、リムーバブルディスクなどに記録して提供し、
配布することが可能である。なお、仮想空間中央管理装
置２、利用者端末装置３、および撮影者端末装置４から
なるシステムにおいては、各装置のプログラムを各装置
共通の記録媒体に記録し、各装置それぞれが必要とする
プログラムを起動するようにしてもよいし、それぞれが
必要とするプログラムを分離して記録するようにしても
よい。

【００７７】

【発明の効果】以上説明したように本発明では、３次元
協調仮想空間中の多数の利用者が、それぞれ自分の好き
な位置、角度からの映像を鑑賞することが可能である。
また、撮影者が撮影した映像のカメラの位置、方向とい
った情報をリアルタイムで３次元協調仮想空間中に視覚
的、かつ時系列に表示することによって、どの位置・方
向から撮影された映像が用意されているのか、他の利用
者はどのような映像を観察しているのか、といったこと
が簡単に把握でき、より効率の良い協調作業を行うこと
ができるといった効果がある。

【図面の簡単な説明】

【図１】本発明の実施形態例に適用される３次元協調仮
想空間システムの構成を示すブロック図である。

【図２】本発明の実施形態例に適用される仮想空間中央
管理装置の構成を示すブロック図である。

【図３】本発明の実施形態例に適用される利用者端末装
置の構成を示すブロック図である。

【図４】本発明の実施形態例での現実世界における撮影
の形態を説明する図である。

【図５】本発明の実施形態例での仮想空間における利用
者の分身と仮想カメラの形態を説明する図である。

【図６】本発明の第１の実施形態例を説明する図であ
る。

【図７】本発明の第２の実施形態例を説明する図であ
る。

【図８】本発明の第３の実施形態例を説明する図であ
る。

【図９】本発明の実施形態例における撮影時の動作状況
を説明するフロー図である。

【図１０】本発明の実施形態例での鑑賞時の動作状況を
説明するフロー図である。

【図１１】本発明の実施形態例での撮影時におけるプロ
グラムの動作状況を説明するフロー図である。

【図１２】本発明の実施形態例での観賞時におけるプロ
グラムの動作状況を説明するフロー図である。

【符号の説明】

１…ネットワーク ２…仮想空間中央管理装置 ３…利用者端末装置 ４…撮影者端末装置 ５…ビデオカメラ ６…撮影対象物体 ７…位置センサ ８…移動方向入力装置 ９…スピーカ １０…マイク １１…ディスプレイ １２…仮想カメラ １３…分身 １４…仮想撮影対象物体 １５…映像オブジェクト １６…仮想スクリーン

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平８−329282（ＪＰ，Ａ) 特表2001−525967（ＪＰ，Ａ) 国際公開98／053428（ＷＯ，Ａ１) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 複数の利用者がコンピュータグラフィッ
   クスで表現された自分の分身を操作することによって、
   ネットワークを介して接続された計算機端末上に構築さ
   れた３次元協調仮想空間を共有するシステムにおいて、 ビ デオカメラによって撮影される映像と、前記映像の撮
   影時間、前記映像を撮影したビデオカメラと撮影対象物
   体との相対位置、および前記ビデオカメラの光軸方向を
   含む前記映像に関する情報とを関連付けて前記システム
   に記憶し、 前記３次元協調仮想空間内にビデオカメラを模擬した仮
   想カメラを、前記３次元協調仮想空間内の前記撮影対象
   となる物体を模擬した３次元仮想撮影対象物体に対し
   て、現実空間におけるビデオカメラと撮影対象物体との
   相対位置と同様の相対位置に表示し、 前記３次元協調仮想空間内に前記ビデオカメラの今まで
   通過した軌跡を視覚的に表示し、 前記ビデオカメラの軌跡の表現を時間の経過により変更
   し、 前記３次元協調仮想空間における利用者の分身を前記ビ
   デオカメラの軌跡と重ねることにより、利用者側の計算
   機端末にその重なった位置に対応する前記相対位置から
   撮影された映像を表示することを特徴とする映像表示方
   法。
2. 【請求項２】 複数の利用者がコンピュータグラフィッ
   クスで表現された自分の分身を操作することによって、
   ネットワークを介して接続された計算機端末上に構築さ
   れた３次元協調仮想空間を共有するシステムにおいて、 ビ デオカメラによって撮影される映像と、前記映像の撮
   影時間、前記映像を撮影したビデオカメラと撮影対象物
   体との相対位置、および前記ビデオカメラの光軸方向を
   含む前記映像に関する情報とを関連付けて前記システム
   に記憶し、 現実空間において所定時間ビデオカメラにより撮影が行
   われる度に、前記３次元協調仮想空間内において映像が
   存在することを視覚的に表現する仮想物体を表示し、 前記映像が存在することを視覚的に表現する仮想物体の
   表現を時間の経過により変更し、 前記３次元協調仮想空間における利用者の分身が前記映
   像の存在を表現する仮想物体と重なることにより、利用
   者側の計算機端末にその重なった位置に対応する前記相
   対位置から撮影された所定時間の映像を表示することを
   特徴とする映像表示方法。
3. 【請求項３】 前記所定時間の映像を表示する過程で
   は、 前記映像の表示に伴い前記ビデオカメラの相対位置が移
   動する場合には、前記３次元協調仮想空間における利用
   者の分身を前記ビデオカメラの相対位置の移動に対応さ
   せて自動的に移動させることを特徴とする請求項２記載
   の映像表示方法。
4. 【請求項４】 複数の利用者がコンピュータグラフィッ
   クスで表現された自分の分身を操作することによって、
   ネットワークを介して接続された計算機端末上に構築さ
   れた３次元協調仮想空間を共有するシステムにおける、
   撮影者側もしくは利用者側の前記計算機端末で読み取ら
   れ動作するプログラムを記録した記録媒体であって、 前記計算機端末上で、前記３次元協調仮想空間、および
   前記利用者の分身を描画する仮想空間・分身描画プログ
   ラムと、 ビデオカメラによって撮影された映像、前記映像の撮影
   時間、前記映像を撮影したビデオカメラと撮影対象物体
   との相対位置、および前記ビデオカメラの光軸方向が互
   いに関連付けて保存された映像に関する情報を前記３次
   元協調仮想空間に視覚的、かつ時系列に表現する映像オ
   ブジェクト、前記映像に関する情報に基づいた撮影対象
   物体を模擬した３次元仮想撮影対象物体、ならびに前記
   利用者の分身を、前記３次元協調仮想空間に再描画する
   仮想空間・分身再描画プログラムと、 前記再描画された３次元協調仮想空間において、前記利
   用者の操作で移動された前記利用者の分身と前記３次元
   仮想撮影対象物体との相対位置に基づいて、前記撮影さ
   れた映像の中から選択された前記相対位置関係が一致す
   る映像を表示する実写映像表示プログラムとを、計算機
   が読み取り可能な記録媒体に記録し、 前記映像オブジェクトは、前記ビデオカメラの今まで通
   過した軌跡とし、 前記仮想空間・分身再描画プログラムは、前記利用者の
   分身を描画するとともに、前記映像に関する情報に基づ
   いて、前記３次元協調仮想空間内にビデオカメラを模擬
   した仮想カメラを、前記３次元仮想撮影対象物体に対し
   て、現実空間におけるビデオカメラと撮影対象物体との
   相対位置と同様の相対位置に描画し、前記ビデオカメラ
   の軌跡を視覚的に描画し、前記ビデオカメラの軌跡の表
   現を時間の経過により更新するものとし、 前記実写映像表示プログラムは、前記３次元協調仮想空
   間における前記利用者の分身を前記ビデオカメラの軌跡
   と重ねる利用者の操作により選択された、その重ねた位
   置に対応する相対位置から撮影された映像を表示するも
   のとすることを特徴とする映像表示プログラムを記録し
   た記録媒体。
5. 【請求項５】 複数の利用者がコンピュータグラフィッ
   クスで表現された自分の分身を操作することによって、
   ネットワークを介して接続された計算機端末上に構築さ
   れた３次元協調仮想空間を共有するシステムにおける、
   撮影者側もしくは利用者側の前記計算機端末で読み取ら
   れ動作するプログラムを記録した記録媒体であって、 前記計算機端末上で、前記３次元協調仮想空間、および
   前記利用者の分身を描画する仮想空間・分身描画プログ
   ラムと、 ビデオカメラによって撮影された映像、前記映像の撮影
   時間、前記映像を撮影したビデオカメラと撮影対象物体
   との相対位置、および前記ビデオカメラの光軸方向が互
   いに関連付けて保存された映像に関する情報を前記３次
   元協調仮想空間に視覚的、かつ時系列に表現する映像オ
   ブジェクト、前記映像に関する情報に基づいた撮影対象
   物体を模擬した３次元仮想撮影対象物体、ならびに前記
   利用者の分身を、前記３次元協調仮想空間に再描画する
   仮想空間・分身再描画プログラムと、 前記再描画された３次元協調仮想空間において、前記利
   用者の操作で移動された前記利用者の分身と前記３次元
   仮想撮影対象物体との相対位置に基づいて、前記撮影さ
   れた映像の中から選択された前記相対位置関係が一致す
   る映像を表示する実写映像表示プログラムとを、計算機
   が読み取り可能な記録媒体に記録し、 前記映像オブジェクトは、現実空間において所定時間ビ
   デオカメラにより撮影が行われる度に生成される、前記
   ３次元協調仮想空間内において映像が存在することを視
   覚的に表現する仮想物体とし、 前記仮想空間・分身再描画プログラムは、前記利用者の
   分身を描画するとともに、前記映像が存在することを視
   覚的に表現する仮想物体を描画し、前記仮想物体の表現
   を時間の経過により更新するものとし、 前記実写映像表示プログラムは、前記３次元協調仮想空
   間における前記利用者の分身を前記仮想物体と重ねる利
   用者の操作により選択された、その重ねた位置に対応す
   る相対位置から撮影された所定時間の映像を表示するも
   のとすることを特徴とする映像表示プログラムを記録し
   た記録媒体。
6. 【請求項６】 前記実写映像表示プログラムは、 前記所定時間の映像の表示に伴い前記ビデオカメラの相
   対位置が移動する場合には、前記３次元協調仮想空間に
   おける前記利用者の分身を前記ビデオカメラの相対位置
   の移動に対応させて移動させることを特徴とする請求項
   ５記載の映像表示プログラムを記録した記録媒体。