JP3485459B2 - 被写体映像統合方法及び装置及び記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像の再生装置に
関し、特に、あらかじめ撮影された複数の被写体に関す
る複数の映像を、背景となる任意の映像に合成し、時間
的に連続した一つの映像として統合した後に表示する映
像統合方法及び装置に関する。

【０００２】

【従来の技術】街路や建物内の複数の経路について、人
間が歩行して観察してみた場合や自動車により移動した
場合と同じように連続的に移動経路を実写ビデオ映像に
記録し、再生にあたっては、例えば交差点において左折
や右折を指示すると、その指示に従って左折ないしは右
折した実写ビデオ映像が再生され、あたかも人間が歩行
して観察してみた場合や自動車により移動した場合と同
じような映像を提供する方法が知られている。このよう
な映像を実写ビデオ映像によるウォークスルー映像と呼
ぶ。

【０００３】一方で、ノンリニア型ＶＴＲ編集装置にみ
られるように、実写ビデオ情報を予め小断片であるカッ
トに分割してハードディスク等の記憶装置に蓄積してお
き、そのカットの任意の所望のフレーム番号から遅延な
く再生を開始する実写ビデオ蓄積技術も知られている。

【０００４】また、実写ビデオ映像を予め小断片である
カットに分割して蓄積しておき、そのカットの任意の所
望のフレーム番号から遅延なく再生を開始する実写ビデ
オ蓄積技術を用いて、実写ビデオ映像を経路ごとに小断
片化した複数のビデオカットをウォークスルー映像とし
て再生する場合に、相互の連結関係を空間座標を利用し
て簡易に管理し統合する方法が知られている。例えば、
特願平９−１４８６６号の映像統合装置では、実写ビデ
オ映像の現実世界に対応するバーチャルリアリティ（以
下ＶＲと略す）空間を予め用意し、このＶＲ空間と実写
ビデオ映像が撮影されたビデオ経路の両端点のＶＲ空間
における座標情報を含むビデオ経路情報を蓄積して管理
し、このビデオ経路情報から隣接関係を持つ複数の連結
するビデオ経路を検索する手段を用いている。

【０００５】またコンピュータグラフィック（以下ＣＧ
と略す）画像データをリアルタイムで生成するＶＲの映
像生成装置がある。これは、ＶＲＭＬ（ＶＲＭＬ Ｓｐ
ｅｃｉｆｉｃａｔｉｏｎ Ｖｅｒｓｉｏｎ２．０，ＩＳ
Ｏ／ＩＥＣ ＷＤ １４７７２）で知られているよう
に、現実世界の建物等の物体を３次元物体の集合として
表現したＶＲモデルの情報を予め蓄積しておき、このＶ
Ｒモデル情報を読み出しながら逐次的にＣＧ画像を生成
し、あたかも人間がその地点において観察してみたよう
な映像として提供する方法である。また一方で、実写ビ
デオ映像と３次元ＣＧによる映像との違和感のない合成
画像を得るための技術が提案されている（例えば、特開
昭６１−２６７１８２号や特開平６−３０３５１１
号）。これらの画像合成方式や画像生成装置を利用する
と、実写ビデオ映像の中に３次元ＣＧによる映像を合成
した画像を逐次得ることができる。

【０００６】また被写体を同時に複数のアングルから撮
影し、ユーザの指示に従ってリアルタイムに任意のアン
グルから撮影した映像に切り替える映像再生装置があ
る。例えば、特開平７−１０７４３７号の映像再生装置
では、予め複数のアングルから撮影したビデオカットを
用意し、再生時に視聴者の要求に応じてビデオカットを
連結し時間的に連続した一連の映像として画面に表示す
ることが可能である。

【０００７】しかしながら、上記技術は、あらかじめ撮
影されたビデオカットの切り替えを行う技術であり、再
生時に複数の映像を一つの画面に合成し、一連のビデオ
カットとして画面に表示する、といった多様性のある再
生を行うことはできない。

【０００８】一方デジタルビデオ編集装置のクロマキー
合成機能にみられるように、予め蓄積してある被写体を
撮影したビデオ映像と同じく予め蓄積してある背景とな
るビデオ映像に対して、被写体を撮影したビデオ映像の
中から被写体部分だけを切り抜き、背景となるビデオ映
像に重ね合わせ一枚のビデオ映像として合成する映像合
成の手法が知られている。

【０００９】しかしながら、上述の映像合成の手法で
は、映像の重ね合わせを行うにあたって、映像作成者
は、背景となるビデオ映像を撮影した時と同じアングル
で被写体を撮影したビデオ映像を用意し、背景となるビ
デオ映像のどの位置に被写体を撮影した映像を重ねるか
を映像合成時に意識する必要があった。

【００１０】

【発明が解決しようとする課題】実写ビデオを用いたビ
デオウォークスルーは、視聴者にあたかも自分がその地
点にいて観察しているかのような感覚を与える映像を提
供することが可能である。しかし、従来の実写ビデオを
用いたビデオウォークスルーは、予め蓄積された実写ビ
デオをビデオカット単位で再生しているため、予め用意
された映像をそのまま表示することしかできない。視聴
者により自分がその地点において観察しているかのよう
な感覚を与える映像を提供し、視聴者に対して何度もあ
るいは長時間その映像を観察したい、といった欲求を抱
かせるためには、あらかじめ蓄積されたビデオカットを
カット単位でそのまま再生するだけではなく、例えば同
じ道を歩く度に異なる通行人に出会う、あるいは、時間
の経過に従って沿道の様子が変化する等、再生するごと
に映像に変化を加える必要がある。こうした映像を表示
するためには、予め背景となる映像を用意し、さらに変
化の生じる部分、例えば通行人や、沿道の車といった被
写体に関する映像を別に用意し、再生時に背景となる映
像に合成する必要がある。

【００１１】上記のような従来の画像合成方式や画像生
成装置では、複数の被写体を撮影した実写ビデオ映像を
背景となる映像に合成するにあたって、適切な位置に違
和感なく合成するためには、合成するにあたって人間が
直感的に適切な被写体のビデオカットを選択、背景とな
るウォークスルー映像のどの位置にどの被写体映像を合
成するか、という位置合わせを行う必要があった。

【００１２】また上記方法で合成するにあたっては、あ
らかじめどの位置にどのカットを合成するかを決定して
おく必要があり、再生時に視聴者の操作に応じた映像統
合を行うことは困難であった。

【００１３】また背景となる映像と被写体映像の双方が
蓄積されたビデオ映像である場合に、相互の連結関係を
空間座標を利用して簡易に管理し、違和感なく合成する
方法は、これまで知られていなかった。

【００１４】本発明の課題は、上記の問題点を解決し、
背景となる任意の映像内の、適切な位置に、適切な構図
で、予め蓄積された被写体の実写ビデオ映像を１以上合
成して、あたかも人間がその地点において観察してみた
ような映像として統合したビデオ映像を提示できる映像
統合方法及び装置を提供することにある。

【００１５】また、本発明の課題は、上記のような映像
統合を、視聴者の要求に応じてその都度表示すべき画像
を生成し表示することによって行えるようにする映像統
合方法及び装置を提供することにある。これにより、例
えば、ＶＲのように視聴者が自由に視点を変更しながら
実写による被写体映像を観察できるようにする。またこ
れにより、例えば、実写ビデオによるウォークスルー映
像を背景となる映像に使用した場合でも、背景が停止し
たまま、実写ビデオによる被写体映像が移動する、とい
った映像統合を実現できるようにする。

【００１６】また、本発明の課題は、上記のような背景
となる映像内の適切な位置に適切な角度から撮影した実
写ビデオによる被写体映像の合成を行うにあたって必要
となる位置合わせや組み合わせ等の指示、指定を、自動
で行うことができる映像統合方法及び装置を提供するこ
とにある。

【００１７】

【課題を解決するための手段】本発明は、下記の第１〜
第５の発明により上記の課題を解決する。

【００１８】〈第１の発明〉 予め同一の被写体毎に１以上のアングルから同時に撮影
した実写ビデオ映像より被写体部分のみを抽出した被写
体映像のカットを被写体映像蓄積手段により蓄積する過
程と、前記蓄積された被写体映像のカットを、カットに
関する情報および被写体の仮想的に用意したビデオ空間
における情報と関連づけてオブジェクト化して被写体オ
ブジクト情報蓄積手段により蓄積する過程と、前記蓄積
された複数の被写体オブジェクトを前記仮想的に用意し
たビデオ空間上の座標値と関連づけて経路情報として被
写体オブジェクト経路情報蓄積手段により蓄積する過程
と、前記仮想的に用意したビデオ空間上における経路情
報をもとにビデオ空間上の視聴者の視点および被写体オ
ブジェクトの位置および向きを管理するとともに、視聴
者から視点の移動を指示された場合には該指示に基づい
て前記視聴者の視点の位置および向きを管理する過程
と、前記管理されたビデオ空間上の視聴者の視点および
被写体オブジェクトの位置および向きをもとに視聴者ビ
ューを生成する過程と、前記視聴者ビューに含まれる１
以上の被写体オブジェクトについて、該被写体オブジェ
クトの位置および向きをもとに前記蓄積された被写体オ
ブジェクト情報を検索して選択する過程と、前記選択さ
れた被写体オブジェクト情報をもとに、前記蓄積された
被写体映像のカットの中から被写体映像のカットを再生
する過程と、前記生成された視聴者ビューをもとに前記
再生された１以上の被写体映像のカットと背景映像を重
畳合成してビデオ映像を合成する過程と、前記合成され
たビデオ映像を映像表示手段により表示する過程と、を
コンピュータもしくはそれに準ずる装置で行うことを特
徴とする被写体映像統合方法。

【００１９】あるいは、予め同一の被写体毎に１以上の
アングルから同時に撮影した実写ビデオ映像より被写体
部分のみを抽出した被写体映像のカットを蓄積する被写
体映像蓄積手段と、前記蓄積された同一の被写体に対す
る複数のアングルから同時に撮影した被写体映像を、カ
ットに関する情報および被写体の仮想的に用意したビデ
オ空間における情報と関連づけオブジェクト化する被写
体映像オブジェクト化手段と、前記オブジェクト化され
た被写体オブジェクトを蓄積する被写体オブジェクト情
報蓄積手段と、前記蓄積された複数の被写体オブジェク
トを前記仮想的に用意したビデオ空間上の座標値と関連
づけて経路情報として蓄積する被写体オブジェクト経路
情報蓄積手段と、前記仮想的に用意したビデオ空間上に
おける、視聴者の視点および複数の被写体オブジェクト
の位置および向きを管理するビデオ空間管理手段と、前
記ビデオ空間管理手段に、視聴者の視点の移動を指示す
るビデオ空間移動指示手段と、前記ビデオ空間管理手段
の管理するビデオ空間上の視点および被写体オブジェク
トの位置および向きから視聴者ビューを生成する視聴者
ビュー生成手段と、前記生成された視聴者ビューに含ま
れる１以上の被写体オブジェクトについて、前記被写体
オブジェクト情報蓄積手段に蓄積された被写体オブジェ
クト情報を検索、選択する被写体オブジェクト選択手段
と、前記選択された被写体オブジェクト情報をもとに、
再生すべき被写体映像の再生フレーム番号や速度を制御
する被写体映像再生フレーム管理手段と、前記被写体映
像再生フレーム管理手段の制御にしたがって前記蓄積さ
れた被写体映像のカットを再生する被写体映像再生手段
と、前記視聴者ビュー生成手段が生成した視聴者ビュー
をもとに、前記再生された１以上の被写体映像のカット
と背景映像を重畳合成する映像合成手段と、前記映像合
成手段によって合成したビデオ映像を表示する映像表示
手段と、を備えることを特徴とする被写体映像統合装
置。

【００２０】〈第２の発明〉前記ビデオ映像を合成する
過程では、前記視聴者ビューをもとに１以上の被写体映
像のカットを重畳合成する際に、任意の映像またはコン
ピュータグラフィック画像を該視聴者ビューの背景映像
に用いることを特徴とする被写体映像統合方法。

【００２１】あるいは、前記映像合成手段は、前記視聴
者ビュー生成手段が生成した視聴者ビューをもとに１以
上の被写体映像のカットと背景映像を重畳合成する際
に、任意の映像またはコンピュータグラフィック画像を
前記視聴者ビューの背景映像に用いるものであることを
特徴とする被写体映像統合装置。

【００２２】〈第３の発明〉前記ビデオ映像を合成する
過程では、前記視聴者ビューをもとに１以上の被写体映
像のカットを重畳合成する際に、前記ビデオ空間上の視
点および被写体オブジェクトの位置および向きを管理す
る過程で管理されている仮想的に用意したビデオ空間上
における視聴者の視点および視線の向きをもとに生成し
た、バーチャルリアリティモデルを用いたコンピュータ
グラフィック画像あるいは実写映像を用いたウォークス
ルー映像等の映像を視聴者ビューの背景映像に用いるこ
とを特徴とする被写体映像統合方法。

【００２３】あるいは、前記ビデオ空間管理手段は、前
記仮想的に用意したビデオ空間上における視聴者の視点
の位置および視線の向きを前記映像合成手段に逐次送信
する機能を有するものであり、前記映像合成手段は、前
記逐次送信された視聴者の視点の位置および視線の向き
をもとにバーチャルリアリティモデルを用いたコンピュ
ータグラフィック画像あるいは実写映像を用いたウォー
クスルー映像等の映像生成手段を有し該映像生成手段で
生成した映像を前記背景映像とするものであることを特
徴とする被写体映像統合装置。

【００２４】〈第４の発明〉前記被写体映像のカットを
オブジェクト化する過程では、被写体のビデオ空間にお
けるサイズを予め一意に定義し、前記ビデオ空間上の被
写体オブジェクトの位置および向きを管理する過程で
は、一定の大きさをもった被写体オブジェクトとして管
理し、前記ビデオ映像を合成する過程では、各アングル
から撮影した被写体のみかけ上の大きさが撮影したアン
グル毎に異なっていても、前記視聴者ビュー内の被写体
オブジェクトについての被写体オブジェクト情報をもと
に適切なサイズに拡大または縮小してビデオ映像の合成
を行うことを特徴とする被写体映像統合方法。

【００２５】あるいは、前記被写体映像オブジェクト化
手段は、被写体のビデオ空間におけるサイズを予め一意
に定義するものであり、ビデオ空間管理手段は、一定の
大きさをもった被写体オブジェクトとして管理を行うも
のであり、前記映像合成手段は、各アングルから撮影し
た被写体のみかけ上の大きさが撮影したアングル毎に異
なっていても、前記視聴者ビュー生成手段において生成
した視聴者ビューをもとに適切なサイズに拡大または縮
小して映像の重畳合成を行うものであることを特徴とす
る被写体映像統合装置。

【００２６】〈第５の発明〉前記被写体オブジェクトを
選択する過程では、被写体オブジェクトの正面方向と、
視点と被写体オブジェクトを結ぶ線のなす角度θを算出
し、この角度θによって前記蓄積した被写体オブジェク
ト情報を検索、選択し、同一の被写体に対する複数のア
ングルから同時に撮影した被写体映像のカットのうちの
どのアングルから撮影した被写体映像のカットを再生す
るかの制御の内容として決定することを特徴とする被写
体映像統合方法。

【００２７】あるいは、前記被写体オブジェクト選択手
段は、被写体オブジェクトの正面方向と、視点と被写体
オブジェクトを結ぶ線のなす角度θを算出し、この角度
θによって前記被写体オブジェクト情報蓄積手段に蓄積
された被写体オブジェクト情報を検索、選択し、同一の
被写体に対する複数のアングルから同時に撮影した被写
体映像のうちのどのアングルから撮影した被写体映像の
カットを再生するかを制御の内容として決定するもので
あることを特徴とする被写体映像統合装置。

【００２８】本発明による第１の発明では、予め撮影さ
れカットに小断片化され蓄積された実写ビデオ映像によ
る１以上の被写体映像の動きをビデオ空間上で視聴者の
視点の操作と独立して管理し、再生時に視聴者の操作に
対応して、組み合わせ合成し表示することにより、視聴
者の動きに合わせ多様性のある実写ビデオ映像を提示可
能とする。

【００２９】本発明による第２の発明では、別に用意し
た任意の映像を背景に合成することにより、例えばビデ
オ空間をモデルにした実写ウォークスルー映像やバーチ
ャルリアリティ映像を背景に用意することを可能とし、
表現力の高い映像統合を可能とする。

【００３０】本発明による第３の発明では、背景用に用
意する映像を、ビデオ空間上の視聴者の視点の位置や視
線の向きに対応して生成することにより、背景映像とビ
デオ空間の対応をとることで、違和感の少ない映像統合
を可能とする。

【００３１】本発明による第４の発明では、視聴者ビュ
ー生成時に予め定義された被写体のサイズに基づいた視
聴者ビューの生成を行い、映像合成時に被写体映像を拡
大もしくは縮小して適切なサイズに合わせることによ
り、予め被写体映像の大きさを揃えなくとも、違和感の
少ない映像統合を可能とする。

【００３２】また、本発明による第５の発明では、映像
再生時にビデオ空間における視聴者の視点と各被写体オ
ブジェクトの相互位置関係より、最適な構図の被写体映
像を選択することにより、あらかじめどのアングルから
撮影した被写体映像を合成するかを定義しなくとも、違
和感の少ない映像統合を可能とする。

【００３３】

【発明の実施の形態】以下、本発明の実施の形態を図面
を用いて説明する。

【００３４】図１は、本発明による映像統合装置の一実
施形態例を説明するブロック図である。

【００３５】１０２は予め被写体をｎ（ｎ＞＝１）通り
の角度から同時に撮影した実写ビデオ映像による被写体
映像をカットに分割し、被写体部分のみを切り出したｎ
個のカットを蓄積する被写体映像蓄積手段である。１０
３はその蓄積された被写体映像のカットを再生する被写
体映像再生手段である。１０４はビデオ空間における視
聴者の視点位置をもとに再生される被写体映像の再生位
置を制御する被写体映像再生フレーム管理手段である。

【００３６】１０１は蓄積された被写体映像のカット
を、同一の被写体毎に、例えばどの向きから撮影したか
等のカットに関する情報および被写体のビデオ空間上で
のサイズに関する情報とともに、被写体オブジェクトと
してオブジェクト化する被写体映像オブジェクト化手段
である。１０６はその被写体オブジェクト情報を蓄積す
る被写体オブジェクト情報蓄積手段である。１０５はそ
の被写体オブジェクトからビデオ空間における視聴者の
視点と被写体オブジェクトとの相互位置関係をもとに特
定の角度から撮影した特定の被写体映像のカットを検
索、選択する被写体オブジェクト選択手段である。

【００３７】１１１は被写体オブジェクトをビデオ空間
の座標値と関連づけて管理する被写体オブジェクト経路
情報を蓄積する被写体オブジェクト経路情報蓄積手段で
ある。１１０は被写体オブジェクトおよびビデオ空間に
おける視聴者の視点のそれぞれの位置を管理するビデオ
空間管理手段である。１１２はそのビデオ空間において
視聴者の視点移動の指示を入力するビデオ空間移動指示
手段である。

【００３８】１０９はビデオ空間における視聴者の視点
および被写体オブジェクトの相互位置関係をもとに、視
聴者ビューを決定する視聴者ビュー生成手段である。１
０８はその視聴者ビューをもとに背景となる映像に被写
体映像を重畳合成する映像合成手段である。１０７はそ
の重畳合成によって得られた映像を画面に表示する映像
表示手段である。

【００３９】以上のように構成された映像統合装置につ
いて、以下、図２、図３、図４、図５を用いてその動作
例を説明する。

【００４０】以下、特に断りのない限り、被写体を撮影
した実写ビデオ映像のビデオカットを単に被写体映像と
呼ぶ。また被写体映像を同一の被写体毎に、例えばどの
向きから撮影したか等のビデオカットに関する情報とも
にオブジェクト化したものを被写体オブジェクトと呼
ぶ。また被写体オブジェクトを定位する為に仮想的に用
意した３次元空間および被写体オブジェクトの定位され
た３次元空間を、ビデオ空間と呼ぶ。

【００４１】予め同一の被写体をｎ（ｎ＞＝１）通りの
アングルから同時に撮影したｎ個の実写ビデオ映像より
被写体部分のみを抽出した被写体映像のビデオカット
は、被写体映像蓄積手段１０２によって、ＩＤ番号が付
けられ蓄積される。このときＩＤ番号は一意に定める。
被写体映像オブジェクト化手段１０１は、被写体映像蓄
積手段１０２に蓄積された被写体映像のビデオカットを
被写体毎にまとめ、被写体オブジェクトとしてオブジェ
クト化し、被写体オブジェクト情報を生成する。被写体
オブジェクト情報は、被写体映像のＩＤ番号、被写体の
正面と、視点と被写体オブジェクトを結ぶ線のなす角度
で示されるカメラアングルθｎの組および被写体のビデ
オ空間における高さ、ビデオカットのフレーム数、再生
速度で構成される。被写体オブジェクト情報は、被写体
オブジェクト情報蓄積手段１０６によりファイルとして
蓄積される。

【００４２】図２はノードとパスにより被写体オブジェ
クトの移動経路を表す例の図である。被写体オブジェク
ト経路情報は、複数の被写体オブジェクトに関して、各
被写体オブジェクトのビデオ空間上の経路を表すノード
情報とパス情報の集合および例えば経路が周回であるか
同じ経路の往復であるか等の経路の形態を表す移動形態
情報およびどのような条件でビデオ空間上に出現するの
か、例えば１分おきに移動を開始する等の出現条件情報
で構成し、被写体オブジェクト経路情報蓄積手段１１１
によりファイルとして蓄積される。ノード情報はビデオ
空間における座標値と被写体オブジェクトの向きおよび
一意に決定されるＩＤ番号で構成する。パス情報はパス
の始点および終点となる両端のノードのＩＤ番号の組お
よび例えば一秒間に何センチ移動するか等のノード間の
移動速度で構成する。移動経路は、ある経路を一方に移
動する形（図２（ａ））だけでなく、同じ経路を行き来
する形（図２（ｂ））であってもよいし、終点まで進ん
だら始点に戻る形（図２（ｃ））であっても良い。

【００４３】図３は複数の被写体オブジェクトを定位し
たビデオ空間の図である。前記ノードとパスにより表さ
れた被写体オブジェクトの移動経路は、予め用意された
ビデオ空間の座標値と関連づけ定位される。複数の被写
体オブジェクトＡ〜Ｄを一つのビデオ空間に定位するこ
とで、それぞれの位置関係を容易に管理することができ
る。定位された被写体オブジェクトＡ〜Ｄは、ビデオ空
間管理手段１１０によって、映像統合中、上記被写体経
路情報を参照して常時ビデオ空間における現在位置およ
び向きの更新が行われる。

【００４４】視聴者のビデオ空間上における位置および
向きは、ビデオ空間管理手段１１０によって、常時管理
される。ビデオ空間管理手段１１０はビデオ空間移動指
示手段１１２で入力される視聴者からの移動の指示を受
け取り、その都度ビデオ空間内における視聴者の視点お
よび向きを算出し、視聴者のビデオ空間における現在位
置を更新する。移動指示の情報は、例えば、（前進もし
くは後退、右旋回もしくは左旋回）の組で表され、１０
前進、５度右旋回の場合には、（１０，５）と表され
る。

【００４５】ビデオ空間移動指示手段１１２は、ビデオ
空間内における視点位置および視線方向の移動指示を視
聴者から受けるインタフェースを有している。移動指示
を視聴者から受けるインタフェースは、例えば前進、後
退、右旋回、左旋回、のボタンをもつグラフィカルイン
ターフェースである。また、例えばボタンを一回押すご
とに、ビデオ空間上をどれくらいの距離移動するか、あ
るいは旋回するか、の値は予め与えられる。ビデオ空間
移動指示手段１１２は、視聴者のボタンを押す動作に応
じ、定められた値をビデオ空間管理手段１１０に送信す
る。

【００４６】図４は、視聴者ビュー生成手段１０９がビ
デオ空間管理手段１１０から送信される視聴者の視点お
よび被写体オブジェクトの位置および向きをもとに視聴
者ビューを生成する様子を説明する図である。視聴者ビ
ューの生成および被写体映像の合成は、例えばＯｐｅｎ
ＧＬ（ＯｐｅｎＧＬ，Ｓｉｌｉｃｏｎ Ｇｒａｐｈｉｃ
ｓ ｃｏ．）を用いて行われる。視聴者ビュー生成手段
１０９は、ビデオ空間管理手段１１０で管理されている
視聴者のビデオ空間上の視点および各被写体オブジェク
トＡ〜Ｄの位置（図４（ａ））をもとに、視聴者の視野
に相当する３次元のビューを生成する（図４（ｂ））。
このとき背景となる映像は無限遠にあるものとみなし
て、映像合成手段１０８によってバックグラウンドに描
画する。視聴者ビュー生成手段１０９は、生成された視
聴者ビューに含まれるすべての被写体オブジェクトＡ〜
ＣのＩＤ番号をビデオ空間管理手段１１０に戻す。被写
体オブジェクト選択手段１０５は、その視聴者ビューに
含まれるすべての被写体オブジェクトＡ〜ＣのＩＤ番号
と、視点と各被写体オブジェクトＡ〜Ｃの相互位置関係
をもとに適切な被写体映像を被写体オブジェクト情報蓄
積手段１０６から検索した情報をもとに選択する。各被
写体映像は、被写体映像再生フレーム管理手段１０４お
よび被写体映像再生手段１０３の各処理を経て最終的に
視聴者ビュー生成手段１０９の生成した視聴者ビューの
それぞれの被写体に対応する位置にマッピングする。映
像合成手段１０８は、３次元のビューを２次元に射影
し、一連の映像を生成する。

【００４７】図５は、被写体オブジェクト選択手段１０
５の処理の流れを表す図である。被写体オブジェクト選
択手段１０５は、ビデオ空間管理手段１１０から視点の
位置および視聴者ビュー内の各オブジェクトのＩＤ番
号、位置、向きを参照して、それぞれの被写体オブジェ
クトに関して、最適な被写体映像を選択する。仮に視聴
者のビデオ空間上の視点がＳ（Ｘｓ，Ｙｓ）に、ある被
写体オブジェクトＴの位置がＴ（Ｘｔ，Ｙｔ）に、被写
体オブジェクトがθｔの方向を向いていた場合、被写体
オブジェクトＴの正面方向と、視聴者と被写体オブジェ
クトを結ぶ線のなす角度θｓは、逆正接で求めることが
できる。この場合、θｓは、ａｒｃｔａｎ（（Ｙｓ−Ｙ
ｔ）／（Ｘｓ−Ｘｔ））−θｔによって算出される。被
写体オブジェクト選択手段１０５は、被写体オブジェク
ト情報蓄積手段１０６に蓄積されている被写体オブジェ
クトの中から、被写体オブジェクトＴの正面と、視聴者
と被写体オブジェクトを結ぶ線のなす角θｓが、もっと
も撮影角度（アングル）に近い被写体映像のオブジェク
ト情報を検索、選択し、そのＩＤ番号を被写体映像再生
フレーム管理手段１０４に伝える。視聴者ビュー内に存
在するすべての被写体オブジェクトに対して、上記処理
は行われる。

【００４８】被写体映像再生フレーム管理手段１０４
は、再生すべきＩＤ番号を被写体映像再生手段１０３に
送り、被写体映像再生手段１０３は、指定されたＩＤ番
号をもとに被写体映像蓄積手段１０２に蓄積されている
被写体映像を再生して、映像合成手段１０８に送る。映
像合成手段１０８は、再生された１以上の被写体映像と
背景映像を視聴者ビューをもとに重畳合成する。映像合
成手段１０８によって生成された映像は、映像表示手段
１０７によって画面に表示される。

【００４９】視聴者は、画面に表示された映像を観察し
ながらビデオ空間移動指示手段１１２によって、視点移
動の指示を行う。ビデオ空間管理手段１１０は、視聴者
のビデオ空間移動指示に、即時応答し、移動した視点か
らみた視聴者ビューを生成し映像を表示する。視聴者が
ビデオ空間移動指示をせずに観察している場合も、被写
体オブジェクトの位置を逐次更新し、視聴者ビューを生
成し直し新しい映像を表示する。本映像統合装置の実施
形態例では、以上の繰り返しによって、視聴者にあたか
もビデオ空間内において映像を観察しているかのような
感覚を与え、視聴者の要求に応じた映像を再生すること
ができる。

【００５０】また、本実施形態例では、背景となる映像
が、視聴者の現在位置に依存しない場合を示したが、あ
らかじめビデオ空間に応じたウォークスルー映像を用意
し、ビデオ空間管理手段１１０の管理する視聴者の現在
位置および向きに対応して再生を制御することによっ
て、実写によるビデオウォークスルー映像と被写体映像
を統合することが可能である。

【００５１】また同様に、予めビデオ空間に応じたＶＲ
モデルを用意しておくことで、ビデオ空間管理手段１１
０の管理する視聴者の現在位置および向きに対応してＶ
ＲモデルからＣＧ画像を生成し、生成したＣＧ画像と被
写体映像を統合することも可能である。

【００５２】なお、被写体映像オブジェクト化手段１０
１で、被写体のビデオ空間におけるサイズを予め一意に
定義し、ビデオ空間管理手段１１０では、一定の大きさ
をもった被写体オブジェクトとして管理を行い、視聴者
ビュー生成手段１０９では、視聴者ビューの生成時に予
め定義された被写体のサイズに基づいた視聴者ビューを
生成し、映像合成手段１０８では、各アングルから撮影
した被写体のみかけ上の大きさが撮影したアングル毎に
異なっていても、視聴者ビュー生成手段１０９において
生成した視聴者ビューをもとに適切なサイズに表示拡大
または縮小して適切なサイズに併せて映像の重畳合成を
行うようにすれば、予め被写体映像の大きさを揃えなく
とも、違和感の少ない映像統合が可能となる。

【００５３】図６は、上記の映像統合装置の動作例でも
明らかとなった本発明による映像統合方法の一実施形態
例を示したフローチャートである。

【００５４】（１）まず、予め同一の被写体をｎ（ｎ＞
＝１）通りのアングルから同時に撮影したｎ個の実写ビ
デオ映像より被写体部分のみを抽出した被写体映像のカ
ットを蓄積しておく。

【００５５】（２）また、蓄積された被写体映像のカッ
トを、ビデオカットに関する情報および被写体のビデオ
空間における情報と関連づけてオブジェクト化して蓄積
しておく。

【００５６】（３）また、蓄積された複数の被写体オブ
ジェクトを仮想的に用意したビデオ空間上の座標値と関
連づけて経路情報として蓄積しておく。

【００５７】（４）次に、視聴者から指示された視点の
移動に基づいて、前記仮想的に用意したビデオ空間上に
おける経路情報をもとに、ビデオ空間上の視聴者の視点
および被写体オブジェクトの位置および向きを逐次管理
する。

【００５８】（５）次に、前記管理されたビデオ空間上
の視聴者の視点および被写体オブジェクトの位置および
向きをもとに視聴者ビューを生成する。

【００５９】（６）次に、視聴者ビューに含まれる１以
上の被写体オブジェクトについて、該被写体オブジェク
トの位置および向きをもとに前記蓄積された被写体オブ
ジェクト情報を検索して選択する。

【００６０】（７）次に、選択された被写体オブジェク
ト情報をもとに、前記蓄積された被写体映像のカットの
中から被写体映像のカットを再生する。

【００６１】（８）次に、生成された視聴者ビューをも
とに前記再生された１以上の被写体映像のカットと背景
となる映像を重畳合成してビデオ映像を生成する。

【００６２】（９）次に、前記生成されたビデオ映像を
表示する。

【００６３】（１０）以上の（４）〜（９）の過程を繰
り返し行う。

【００６４】なお、本発明は、被写体映像や被写体オブ
ジェクト情報、被写体オブジェクト経路情報等のデータ
を保存し、それらを自由に読み出し可能なハードディス
クやそれに準ずる装置と、被写体映像のオブジェクト化
やビデオ空間の管理、被写体オブジェクトの選択、視聴
者ビューの作成、映像の再生、映像の合成等の処理を行
う際にデータの保持等に必要なバッファやそれに準ずる
装置と、合成した映像を表示するディスプレイなどの表
示装置と、キーボードやマウスなどの指示入力装置を備
え、それらハードディスク、バッファ、表示装置及び指
示入力装置などをあらかじめ定められた手順に基いて制
御するコンピュータやそれに準ずる装置により、図１、
図５の本発明の装置の実施形態例で示した各部の機能あ
るいは図６のフローチャートで示した本発明の方法の実
施形態例での処理の手順ないしアルゴリズムを適宜、実
行することが可能であり、その手順ないしアルゴリズム
をコンピュータ等に実行させるためのプログラムを該コ
ンピュータが読み取り可能な媒体、例えばフロッピーデ
ィスクや各種のメモリカード、ＭＯ、ＣＤ−ＲＯＭなど
の記録媒体に記録して配布することが可能である。

【００６５】

【発明の効果】以上のように本発明による第１の発明に
よれば、予め撮影されカットに小断片化され蓄積された
実写ビデオ映像による複数の被写体映像の動きを視聴者
の操作と独立して管理し、再生時に視聴者の操作に対応
して、組み合わせ合成し表示するようにしたので、視聴
者の動きに合わせ多様性のある実写ビデオ映像を提示す
ることができる。

【００６６】また、本発明による第２の発明によれば、
別に用意した任意の映像を背景に合成することが可能な
ので、例えばビデオ空間をモデルにした実写ウォークス
ルー映像やバーチャルリアリティ映像を背景に用意する
ことで、表現力の高い映像を再生することができる。

【００６７】また、本発明による第３の発明によれば、
背景用に用意する映像を、ビデオ空間上の視聴者の視点
や向きに対応して生成することを可能にしたので、背景
映像とビデオ空間の対応をとることで、違和感の少ない
映像統合を行うことができる。

【００６８】また、本発明による第４の発明によれば、
視聴者ビュー生成時に予め定義された被写体のサイズに
基づいたビュー生成を行い、映像合成時に被写体映像を
拡大もしくは縮小し適切なサイズに合わせるようにした
ので、予め被写体映像の大きさを揃えなくとも、違和感
の少ない映像統合を行うことができる。

【００６９】また、本発明による第５の発明によれば、
映像再生時にビデオ空間における視聴者の視点と各被写
体オブジェクトの相互位置関係より、最適な構図の被写
体映像を選択するようにしたので、あらかじめどのアン
グルから撮影した被写体映像を合成するかを定義しなく
とも、違和感の少ない映像統合を行うことができる。

【図面の簡単な説明】

【図１】本発明による映像統合装置の一実施形態例を説
明するブロック図である。

【図２】（ａ），（ｂ），（ｃ）は、上記実施形態例で
のノードとパスにより被写体オブジェクトの移動経路の
例を表す図である。

【図３】上記実施形態例での複数の被写体オブジェクト
を定位したビデオ空間の例を示す図である。

【図４】（ａ），（ｂ）は、上記実施形態例での視聴者
ビューの生成例を示す図である。

【図５】上記実施形態例での被写体オブジェクト選択手
段の処理の流れを表す図である。

【図６】本発明の映像統合方法の一実施形態例を示すフ
ローチャートである。

【符号の説明】 １０１…被写体映像オブジェクト化手段 １０２…被写体映像蓄積手段 １０３…被写体映像再生手段 １０４…被写体映像再生フレーム管理手段 １０５…被写体オブジェクト選択手段 １０６…被写体オブジェクト情報蓄積手段 １０７…映像表示手段 １０８…映像合成手段 １０９…視聴者ビュー生成手段 １１０…ビデオ空間管理手段 １１１…被写体オブジェクト経路情報蓄積手段 １１２…ビデオ空間移動指示手段

フロントページの続き (56)参考文献 特開 平11−88910（ＪＰ，Ａ) 特開 平10−222692（ＪＰ，Ａ) 特開 平10−188029（ＪＰ，Ａ) 特開 平８−329282（ＪＰ，Ａ) 特開 平６−124328（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 - 17/50 H04N 5/91 - 5/95 H04N 7/18 H04N 13/00 - 17/06

Claims (15)

(57)【特許請求の範囲】
1. 【請求項１】 予め同一の被写体毎に１以上のアングル
   から同時に撮影した実写ビデオ映像より被写体部分のみ
   を抽出した被写体映像のカットを被写体映像蓄積手段に
   より蓄積する過程と、 前記蓄積された被写体映像のカットを、カットに関する
   情報および被写体の仮想的に用意したビデオ空間におけ
   る情報と関連づけてオブジェクト化して被写体オブジク
   ト情報蓄積手段により蓄積する過程と、 前記蓄積された複数の被写体オブジェクトを前記仮想的
   に用意したビデオ空間上の座標値と関連づけて経路情報
   として被写体オブジェクト経路情報蓄積手段により蓄積
   する過程と、 前記仮想的に用意したビデオ空間上における経路情報を
   もとにビデオ空間上の視聴者の視点および被写体オブジ
   ェクトの位置および向きを管理するとともに、視聴者か
   ら視点の移動を指示された場合には該指示に基づいて前
   記視聴者の視点の位置および向きを管理する過程と、 前記管理されたビデオ空間上の視聴者の視点および被写
   体オブジェクトの位置および向きをもとに視聴者ビュー
   を生成する過程と、 前記視聴者ビューに含まれる１以上の被写体オブジェク
   トについて、該被写体オブジェクトの位置および向きを
   もとに前記蓄積された被写体オブジェクト情報を検索し
   て選択する過程と、 前記選択された被写体オブジェクト情報をもとに、前記
   蓄積された被写体映像のカットの中から被写体映像のカ
   ットを再生する過程と、 前記生成された視聴者ビューをもとに前記再生された１
   以上の被写体映像のカットと背景映像を重畳合成してビ
   デオ映像を合成する過程と、 前記合成されたビデオ映像を映像表示手段により表示す
   る過程と、 をコンピュータもしくはそれに準ずる装置で行うことを
   特徴とする被写体映像統合方法。
2. 【請求項２】 前記ビデオ映像を合成する過程では、 前記視聴者ビューをもとに１以上の被写体映像のカット
   を重畳合成する際に、任意の映像またはコンピュータグ
   ラフィック画像を該視聴者ビューの背景映像に用いる、 ことを特徴とする請求項１記載の被写体映像統合方法。
3. 【請求項３】 前記ビデオ映像を合成する過程では、 前記視聴者ビューをもとに１以上の被写体映像のカット
   を重畳合成する際に、前記ビデオ空間上の視点および被
   写体オブジェクトの位置および向きを管理する過程で管
   理されている仮想的に用意したビデオ空間上における視
   聴者の視点および視線の向きをもとに生成した、バーチ
   ャルリアリティモデルを用いたコンピュータグラフィッ
   ク画像あるいは実写映像を用いたウォークスルー映像等
   の映像を視聴者ビューの背景映像に用いる、 ことを特徴とする請求項１記載または請求項２記載の被
   写体映像統合方法。
4. 【請求項４】 前記被写体映像のカットをオブジェクト
   化する過程では、被写体のビデオ空間におけるサイズを
   予め一意に定義し、 前記ビデオ空間上の被写体オブジェクトの位置および向
   きを管理する過程では、一定の大きさをもった被写体オ
   ブジェクトとして管理し、 前記ビデオ映像を合成する過程では、各アングルから撮
   影した被写体のみかけ上の大きさが撮影したアングル毎
   に異なっていても、前記視聴者ビュー内の被写体オブジ
   ェクトについての被写体オブジェクト情報をもとに適切
   なサイズに拡大または縮小してビデオ映像の合成を行
   う、 ことを特徴とする請求項１記載または請求項２記載また
   は請求項３記載の被写体映像統合方法。
5. 【請求項５】 前記被写体オブジェクトを選択する過程
   では、 被写体オブジェクトの正面方向と、視点と被写体オブジ
   ェクトを結ぶ線のなす角度θを算出し、この角度θによ
   って前記蓄積した被写体オブジェクト情報を検索、選択
   し、同一の被写体に対する複数のアングルから同時に撮
   影した被写体映像のカットのうちのどのアングルから撮
   影した被写体映像のカットを再生するかの制御の内容と
   して決定する、 ことを特徴とする請求項１または請求項２記載または請
   求項３記載または請求項４の被写体映像統合方法。
6. 【請求項６】 予め同一の被写体毎に１以上のアングル
   から同時に撮影した実写ビデオ映像より被写体部分のみ
   を抽出した被写体映像のカットを蓄積する被写体映像蓄
   積手段と、 前記蓄積された同一の被写体に対する複数のアングルか
   ら同時に撮影した被写体映像を、カットに関する情報お
   よび被写体の仮想的に用意したビデオ空間における情報
   と関連づけオブジェクト化する被写体映像オブジェクト
   化手段と、 前記オブジェクト化された被写体オブジェクトを蓄積す
   る被写体オブジェクト情報蓄積手段と、 前記蓄積された複数の被写体オブジェクトを前記仮想的
   に用意したビデオ空間上の座標値と関連づけて経路情報
   として蓄積する被写体オブジェクト経路情報蓄積手段
   と、 前記仮想的に用意したビデオ空間上における、視聴者の
   視点および複数の被写体オブジェクトの位置および向き
   を管理するビデオ空間管理手段と、 前記ビデオ空間管理手段に、視聴者の視点の移動を指示
   するビデオ空間移動指示手段と、 前記ビデオ空間管理手段の管理するビデオ空間上の視点
   および被写体オブジェクトの位置および向きから視聴者
   ビューを生成する視聴者ビュー生成手段と、 前記生成された視聴者ビューに含まれる１以上の被写体
   オブジェクトについて、前記被写体オブジェクト情報蓄
   積手段に蓄積された被写体オブジェクト情報を検索、選
   択する被写体オブジェクト選択手段と、 前記選択された被写体オブジェクト情報をもとに、再生
   すべき被写体映像の再生フレーム番号や速度を制御する
   被写体映像再生フレーム管理手段と、 前記被写体映像再生フレーム管理手段の制御にしたがっ
   て前記蓄積された被写体映像のカットを再生する被写体
   映像再生手段と、 前記視聴者ビュー生成手段が生成した視聴者ビューをも
   とに、前記再生された１以上の被写体映像のカットと背
   景映像を重畳合成する映像合成手段と、 前記映像合成手段によって合成したビデオ映像を表示す
   る映像表示手段と、 を備えることを特徴とする被写体映像統合装置。
7. 【請求項７】 前記映像合成手段は、前記視聴者ビュー
   生成手段が生成した視聴者ビューをもとに１以上の被写
   体映像のカットと背景映像を重畳合成する際に、任意の
   映像またはコンピュータグラフィック画像を前記視聴者
   ビューの背景映像に用いるものである、 ことを特徴とする請求項６記載の被写体映像統合装置。
8. 【請求項８】 前記ビデオ空間管理手段は、前記仮想的
   に用意したビデオ空間上における視聴者の視点の位置お
   よび視線の向きを前記映像合成手段に逐次送信する機能
   を有するものであり、 前記映像合成手段は、前記逐次送信された視聴者の視点
   の位置および視線の向きをもとにバーチャルリアリティ
   モデルを用いたコンピュータグラフィック画像あるいは
   実写映像を用いたウォークスルー映像等の映像生成手段
   を有し該映像生成手段で生成した映像を前記背景映像と
   するものである、 ことを特徴とする請求項６記載または請求項７記載の被
   写体映像統合装置。
9. 【請求項９】 前記被写体映像オブジェクト化手段は、
   被写体のビデオ空間におけるサイズを予め一意に定義す
   るものであり、 ビデオ空間管理手段は、一定の大きさをもった被写体オ
   ブジェクトとして管理を行うものであり、 前記映像合成手段は、各アングルから撮影した被写体の
   みかけ上の大きさが撮影したアングル毎に異なっていて
   も、前記視聴者ビュー生成手段において生成した視聴者
   ビューをもとに適切なサイズに拡大または縮小して映像
   の重畳合成を行うものである、 ことを特徴とする請求項６記載または請求項７記載また
   は請求項８記載の被写体映像統合装置。
10. 【請求項１０】 前記被写体オブジェクト選択手段は、
    被写体オブジェクトの正面方向と、視点と被写体オブジ
    ェクトを結ぶ線のなす角度θを算出し、この角度θによ
    って前記被写体オブジェクト情報蓄積手段に蓄積された
    被写体オブジェクト情報を検索、選択し、同一の被写体
    に対する複数のアングルから同時に撮影した被写体映像
    のうちのどのアングルから撮影した被写体映像のカット
    を再生するかを制御の内容として決定するものである、 ことを特徴とする請求項６または請求項７記載または請
    求項８記載または請求項９の被写体映像統合装置。
11. 【請求項１１】 予め同一の被写体毎に１以上のアング
    ルから同時に撮影した実写ビデオ映像より被写体部分の
    みを抽出した被写体映像のカットを被写体映像蓄積手段
    により蓄積する手順と、 前記蓄積された被写体映像のカットを、カットに関する
    情報および被写体の仮想的に用意したビデオ空間におけ
    る情報と関連づけてオブジェクト化して被写体オブジク
    ト情報蓄積手段により蓄積する手順と、 前記蓄積された複数の被写体オブジェクトを前記仮想的
    に用意したビデオ空間上の座標値と関連づけて経路情報
    として被写体オブジェクト経路情報蓄積手段により蓄積
    する手順と、 前記仮想的に用意したビデオ空間上における経路情報を
    もとにビデオ空間上の視聴者の視点および被写体オブジ
    ェクトの位置および向きを管理するとともに、視聴者か
    ら視点の移動を指示された場合には該指示に基づいて前
    記視聴者の視点の位置および向きを管理する手順と、 前記管理されたビデオ空間上の視聴者の視点および被写
    体オブジェクトの位置および向きをもとに視聴者ビュー
    を生成する手順と、 前記視聴者ビューに含まれる１以上の被写体オブジェク
    トについて、該被写体オブジェクトの位置および向きを
    もとに前記蓄積された被写体オブジェクト情報を検索し
    て選択する手順と、 前記選択された被写体オブジェクト情報をもとに、前記
    蓄積された被写体映像のカットの中から被写体映像のカ
    ットを再生する手順と、 前記生成された視聴者ビューをもとに前記再生された１
    以上の被写体映像のカットと背景映像を重畳合成してビ
    デオ映像を合成する手順と、 前記合成されたビデオ映像を映像表示手段により表示す
    る手順と、をコ ンピュータで実行するためのプログラムを記録した
    該コンピュータが読み取り可能である記録媒体。
12. 【請求項１２】 前記ビデオ映像を合成する手順では、 前記視聴者ビューをもとに１以上の被写体映像のカット
    を重畳合成する際に、任意の映像またはコンピュータグ
    ラフィック画像を該視聴者ビューの背景映像に用いる、 ことを特徴とする請求項１１記載の記録媒体。
13. 【請求項１３】 前記ビデオ映像を合成する手順では、 前記視聴者ビューをもとに１以上の被写体映像のカット
    を重畳合成する際に、前記ビデオ空間上の視点および被
    写体オブジェクトの位置および向きを管理する手順で管
    理されている仮想的に用意したビデオ空間上における視
    聴者の視点および視線の向きをもとに生成した、バーチ
    ャルリアリティモデルを用いたコンピュータグラフィッ
    ク画像あるいは実写映像を用いたウォークスルー映像等
    の映像を視聴者ビューの背景映像に用いる、 ことを特徴とする請求項１１記載または請求項１２記載
    の記録媒体。
14. 【請求項１４】 前記被写体映像のカットをオブジェク
    ト化する手順では、被写体のビデオ空間におけるサイズ
    を予め一意に定義し、 前記ビデオ空間上の被写体オブジェクトの位置および向
    きを管理する手順では、一定の大きさをもった被写体オ
    ブジェクトとして管理し、 前記ビデオ映像を合成する手順では、各アングルから撮
    影した被写体のみかけ上の大きさが撮影したアングル毎
    に異なっていても、前記視聴者ビュー内の被写体オブジ
    ェクトについての被写体オブジェクト情報をもとに適切
    なサイズに拡大または縮小してビデオ映像の合成を行
    う、 ことを特徴とする請求項１１記載または請求項１２記載
    または請求項１３記載の記録媒体。
15. 【請求項１５】 前記被写体オブジェクトを選択する手
    順では、 被写体オブジェクトの正面方向と、視点と被写体オブジ
    ェクトを結ぶ線のなす角度θを算出し、この角度θによ
    って前記蓄積した被写体オブジェクト情報を検索、選択
    し、同一の被写体に対する複数のアングルから同時に撮
    影した被写体映像のカットのうちのどのアングルから撮
    影した被写体映像のカットを再生するかの制御の内容と
    して決定する、 ことを特徴とする請求項１１または請求項１２記載また
    は請求項１３記載または請求項１４記載の記録媒体。