JP4421863B2

JP4421863B2 - 動画切替システム、動画切替方法、及びプログラム

Info

Publication number: JP4421863B2
Application number: JP2003338705A
Authority: JP
Inventors: 俊彦加來
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2003-09-29
Filing date: 2003-09-29
Publication date: 2010-02-24
Anticipated expiration: 2023-09-29
Also published as: JP2005109758A

Description

本発明は、動画切替システム、動画切替方法、及びプログラムに関する。特に本発明は、出力する動画を、第１のカメラで撮影している被写体の動画から、第１のカメラと異なる位置に設置された第２のカメラで撮影している被写体の動画に切り替える動画切替システム、動画切替方法、及びプログラムに関する。

従来、動画において、被写体の撮影アングルを素早く切り替えるために、異なる位置に複数のカメラを配置し、当該複数のカメラで撮影する動画のうちで、所望のアングルで被写体を撮影している動画を随時選択して出力する編集技術が一般に用いられている。また、移動体を複数のカメラから撮影して座標と移動軌跡を算出し、異なるカメラ位置から撮影した場合の仮想画像を演算する技術がある（例えば、特許文献１参照。）。
特開平６−１０５２３１号公報

従来、あるカメラで撮影されている被写体の動画像を、異なる位置から被写体を撮影している別のカメラで撮影された動画像に切り替える場合、出力される動画中の被写体の向き及び大きさが急に変化してしまうという課題があった。

そこで本発明は、上記の課題を解決することができる動画切替システム、動画切替方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

本発明の第１の形態によると、出力する動画を、第１のカメラで撮影している被写体の動画から、第１のカメラと異なる位置に設置された第２のカメラで撮影している被写体の動画に切り替える動画切替システムは、第１及び第２のカメラがそれぞれ撮影した動画を取得し、取得した動画のいずれを出力するかを切り替える出力切替部と、出力切替部が、出力する動画を、第１のカメラによる被写体の動画から、第２のカメラによる被写体の動画に切り替える場合に、第１及び第２のカメラに対する被写体の位置及びアングルをそれぞれ算出する被写体位置・アングル算出部と、位置及びアングルの算出結果に基づいて、第１のカメラによる被写体の動画から第２のカメラによる被写体の動画へ、被写体の位置及びアングルが徐々に変化する仮想動画を生成する仮想動画生成部とを備え、出力切替部は、出力する動画を、第１のカメラによる被写体の動画、仮想動画、及び第２カメラによる被写体の動画の順に切り替えて出力する。

被写体の動きベクトルを判断する動きベクトル判断部と、出力切替部が、出力する画像を仮想動画から第２のカメラによる被写体の動画に切り替える時点における、第２カメラに対する被写体の位置及びアングルを、第２カメラに対する被写体の現在の位置、アングル、及び動きベクトルに基づいて予測する切替時位置・アングル予測部とを更に備え、仮想動画生成部は、出力切替部が、出力する動画を第１のカメラによる動画から仮想動画に切り替える時点での第１のカメラに対する被写体の位置及びアングルと、仮想動画から第２のカメラによる動画に切り替える時点での予測した位置及びアングルとのそれぞれの差分が、時間の経過に応じて徐々に小さくなるように、被写体の仮想の位置及びアングルの変化率を定義する位置・アングル変化率定義部と、位置及びアングルの変化率に基づいて、被写体の仮想動画を生成する仮想動画合成部とを有してもよい。

第１及び第２のカメラによる被写体の動画像から被写体の立体形状を算出する立体形状算出部を更に備え、被写体位置・アングル算出部は、カメラに対する被写体のアングルを立体形状に基づいて算出し、動画生成部は、立体形状を用いて仮想動画を生成してもよい。

切替時位置・アングル予測部は、出力切替部が仮想動画を出力している間に、第２カメラの動画への切り替え時点における、第２カメラに対する被写体の位置及びアングルを、少なくとも一回以上改めて予測し、仮想位置・アングル定義部は、改めて予測された第２カメラに対する位置及びアングルと、仮想動画における被写体の現在の位置及びアングルとに基づいて、仮想動画における被写体の位置及びアングルを改めて定義し、仮想動画合成部は、改めて定義された位置及びアングルに基づいて、被写体の仮想動画を生成してもよい。

本発明の第２の形態によれば、出力する動画を、第１のカメラで撮影している被写体の動画から、第１のカメラと異なる位置に設置された第２のカメラで撮影している被写体の動画に切り替える動画切替方法は、第１及び第２のカメラがそれぞれ撮影した動画を取得し、取得した動画のいずれを出力するかを切り替える出力切替ステップと、出力切替ステップで、出力する動画を、第１のカメラによる被写体の動画から、第２のカメラによる被写体の動画に切り替える場合に、第１及び第２のカメラに対する被写体の位置及びアングルをそれぞれ算出する被写体位置・アングル測定ステップと、位置及びアングルの算出結果に基づいて、第１のカメラによる被写体の動画から第２のカメラによる被写体の動画へ、被写体の位置及びアングルが徐々に変化する仮想動画を生成する仮想動画生成ステップとを備え、出力切替ステップでは、出力する動画を、第１のカメラによる被写体の動画、仮想動画、及び第２カメラによる被写体の動画の順に切り替えて出力する。

本発明の第３の形態によれば、出力する動画を、第１のカメラで撮影している被写体の動画から、第１のカメラと異なる位置に設置された第２のカメラで撮影している被写体の動画に切り替える動画切替システム用プログラムは、第１及び第２のカメラがそれぞれ撮影した動画を取得し、取得した動画のいずれを出力するかを切り替える出力切替機能と、出力切替機能が、出力する動画を、第１のカメラによる被写体の動画から、第２のカメラによる被写体の動画に切り替える場合に、第１及び第２のカメラに対する被写体の位置及びアングルをそれぞれ算出する被写体位置・アングル測定機能と、位置及びアングルの算出結果に基づいて、第１のカメラによる被写体の動画から第２のカメラによる被写体の動画へ、被写体の位置及びアングルが徐々に変化する仮想動画を生成する仮想動画生成機能とを動画切替システムに実現させ、出力切替機能は、出力する動画を、第１のカメラによる被写体の動画、仮想動画、及び第２カメラによる被写体の動画の順に切り替えて出力する。

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。

本発明によれば、被写体の動画像を、異なる位置から被写体を撮影している複数のカメラ間で切り替える場合に、動画中の被写体の向き及び大きさをスムーズに変化させることがことができる。

以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の一実施形態に係る動画切替システム１００の実施例を示す。本実施例は、被写体の一例である自動車１２の走行シーンを、第１のカメラ１０ａと第１のカメラ１０ａと異なる位置に設置された第２のカメラ１０ｂとでそれぞれ撮影し、出力する動画を、第１のカメラ１０ａによる動画から第２のカメラ１０ｂによる動画に切り替える場合を想定する。

動画切替システム１００は、出力する動画を切り替える場合に、あたかも第１のカメラ１０ａから第２のカメラ１０ｂに向かって、自動車１２を撮影するカメラが移動したかのような仮想画像を生成し、当該仮想画像で第１のカメラ１０ａによる動画と第２のカメラ１０ｂによる動画とをつなぐことを目的とする。

以下、本実施形態に於いて、出力する画像を第１のカメラによる動画から仮想動画に切り替えるタイミングを「切替開始時」と呼び、仮想動画から第２のカメラによる動画に切り替えるタイミングを「切替完了時」と呼ぶ。

図２は、動画切替システム１００の機能構成の一例を示すブロック図である。動画切替システム１００は、異なる位置に設置された複数のカメラ（１０ａ〜１０ｎ）と、複数のカメラ１０で撮影された動画を分析することによって、被写体の立体形状、現在の位置及び向き（アングル）を算出すると共に、切替完了時における第２のカメラに対する被写体の位置及び向きを予測する実画像分析部２０と、実画像分析部２０の予測結果に基づいて、切替開始時から切替完了時までの仮想動画を生成する仮想動画生成部５０と、動画切替システム１００が出力する動画を、複数のカメラ１０のそれぞれが撮影した動画、及び仮想動画生成部５０が生成した仮想動画の間で切り替える出力切替部３２と、切替開始時から切替完了時までの時間を設定する切替タイミング制御部３０とを備える。

実画像分析部２０は、複数のカメラ１０によって同時に撮影された画像から、ステレオ視法により被写体の立体形状を算出する立体形状算出部２２と、複数のカメラ１０の画像から、カメラに対する被写体の位置を三角法により算出する被写体位置・アングル算出部２４と、カメラに対する被写体の位置の変化率から被写体の動きベクトルを測定する動きベクトル測定部２８と、被写体の現在位置と動きベクトルから、「切替完了時」におけるカメラに対する被写体の位置及びアングルを予測する切替時位置・アングル予測部２６とを有する。

仮想動画生成部５０は、「切替完了時」における第２のカメラ（切替後のカメラ）に対する被写体の位置及びアングルの予測値と、「切替開始時」における第１のカメラ（切替前のカメラ）に対する被写体の位置及びアングルの測定値との差分を求め、当該差分が時間の経過に応じて徐々に小さくなるように、仮想動画における被写体の位置及びアングルの変化率を定義する位置・アングル変化率定義部５２と、立体形状算出部２２が算出した被写体の立体形状と、位置・アングル変化率定義部５２が定義した被写体の位置及びアングルの変化率とに基づいて被写体の仮想動画を合成する仮想動画合成部５４とを有する。

記録媒体６０は、カメラ１０、立体形状算出部２２、被写体位置・アングル算出部２４、切替時位置・アングル予測部２６、動きベクトル測定部２８、位置・アングル変化率定義部５２、仮想動画合成部５４、切替タイミング制御部３０、及び出力切替部３２の機能を動画切替システム１００に実現させるプログラムを格納している。動画切替システム１００は、そのようなプログラムをネットワーク経由で取得し、実行してもよい。

切替タイミング制御部３０は、切替開始時から切替完了時までの時間、すなわち仮想動画の時間の長さを設定する。切替タイミング制御部３０はさらに、切替開始時から切替完了時までの間に、切替完了時における第２のカメラに対する被写体の位置及びアングルを切替時位置・アングル予測部２６に予測させる回数を規定する。例えば、切替開始時から切替完了時までの時間、すなわち仮想動画の時間の長さを１．０秒と設定し、位置及びアングルを改めて予測させる回数を４回と設定する。この設定の場合、切替時位置・アングル予測部２６は、切替開始時と、以後０．２秒毎に４回、切替完了時における第２のカメラに対する被写体の位置及びアングルを予測する。

つまり、切替時位置・アングル予測部２６は、切替タイミング制御部３０で設定された頻度に応じて、被写体の位置及びアングルを複数回予測する。したがって、切替開始時から切替完了時までの間に被写体の動きベクトルが変化する場合に、切替完了時における第２のカメラによる実写画像と、仮想動画との間での被写体の位置及びアングルのずれを小さくすることができる。この場合、切替開始時から切替完了時までの間において、切替完了時の被写体の位置及びアングルの予測頻度が高いほど、仮想動画と第２のカメラによる動画との間での、切替完了時における被写体の位置、及びアングルのずれが小さくなり、動画の切替がスムーズになる。

図３は、三角法及びステレオ視法により、被写体の一例である自動車１２の位置並びに立体形状を測定する方法を示す。まず、カメラ１０ａとカメラ１０ｂとの距離Lは既知であり、カメラ１０ａ及び１０ｂのそれぞれは、設置された位置におけるカメラの向きを測定することができる。この場合、カメラ１０ａ及び１０ｂがそれぞれ自動車１２を向いていれば、被写体位置・アングル算出部２４は、図のθ_１、θ_２を測定することによって、ｌ_１、ｌ_２、、及び自動車１２の位置を算出することができる。そして、動きベクトル測定部２８は、自動車１２の位置の変化から動きベクトルＶを測定する。

立体形状算出部２２は、カメラ１０ａ及び１０ｂで同時に撮影した自動車１２の画像と、被写体位置・アングル算出部２４が算出したθ_１、θ_２、ｌ_１、及びｌ_２、とを用いて、公知のステレオ視法により、自動車１２及び背景の立体形状を算出する。

図４は、切替完了時における自動車１２の位置及び向きを予測し、予測結果に基づいて、仮想動画における被写体の位置及びアングルの変化率を定義する方法を示す。本実施例において、自動車１２は、図に示す軌跡に沿って移動する。また第１のカメラによる動画から仮想動画に切り替わるタイミングを切替開始時（ｔ_０）、仮想動画から第２のカメラによる動画に切り替わるタイミングを切替完了時（Ｔ）とする。

切替開始時（ｔ_０）に於いて、被写体位置・アングル算出部２４は、第１のカメラ１０ａに対する現在の自動車１２の距離（Ｄ_Ｓ）及び向き（Ａ_Ｓ）を測定する。一方、切替時位置・アングル予測部２６は、自動車１２の現在の位置、向き、及び動きベクトルから、切替完了時（Ｔ）における、第２のカメラ１０ｂに対する自動車１２の距離（Ｄ_Ｔ）及び向き（Ａ_Ｔ）を予測する。

次に、位置・アングル変化率定義部５２は、切替開始時（ｔ_０）における第１のカメラ１０ａに対する現在の自動車１２の距離（Ｄ_Ｓ）及び向き（Ａ_Ｓ）と、切替完了時（Ｔ）における、第２のカメラ１０ｂに対する自動車１２の距離（Ｄ_Ｔ）及び向き（Ａ_Ｔ）のそれぞれの差分が、時間の経過に応じて徐々に小さくなるように、仮想画像を撮影する仮想カメラ１０ｃに対する自動車１２の距離Ｄ_ＣＧ及び向きＡ_ＣＧの変化率を定義する。Ｄ_ＣＧ及びＡ_ＣＧは、例えば、以下のように定義される。

Ｄ_ＣＧ（t）＝Ｄｓ＋（Ｄ_Ｔ１−Ｄｓ）×ｔ／（Ｔ−ｔ_０）・・・・（式１）
Ａ_ＣＧ（t）＝Ａｓ＋（Ａ_Ｔ１−Ａｓ）×ｔ／（Ｔ−ｔ_０）・・・・（式２）

切替時位置・アングル予測部２６は、切替タイミング制御部３０で設定された頻度に従い、切替完了時（Ｔ）における、第２のカメラ１０ｂに対する自動車１２の距離（Ｄ_Ｔ）及び向き（Ａ_Ｔ）を複数回（ｎ回）改めて予測する。この場合、ｎ回目に改めて予測される距離（Ｄ_Ｔｎ）及び向き（Ａ_Ｔｎ）に基づいて、仮想カメラ１０ｃに対する自動車１２の距離Ｄ_ＣＧｎ及び向きＡ_ＣＧｎの変化率も改めて次式の様に定義される。

Ｄ_ＣＧｎ（t）＝Ｄ_{ＣＧ（ｎ−１）}＋（Ｄ_Ｔｎ−Ｄ_{ＣＧ（ｎ−１）}）×ｔ／（Ｔ−ｔ_ｎ）・・・・（式３）
Ａ_ＣＧｎ（t）＝Ａ_{ＣＧ（ｎ−１）}＋（Ａ_Ｔｎ−Ａ_{ＣＧ（ｎ−１）}）×ｔ／（Ｔ−ｔ_ｎ）・・・・（式４）

すなわち、（式３）及び（式４）は、ｎ回目に改めて予測した、第２のカメラに対する距離Ｄ_Ｔｎ及びアングルＡ_Ｔｎに向けて、仮想動画における自動車１２の距離Ｄ_{ＣＧ（ｎ−１）}及びアングルＡ_{ＣＧ（ｎ−１）}を徐々に変化させる定義式である。仮想動画合成部５４は、（式３）及び（式４）を用いて、仮想動画における自動車１２の大きさ及び向きを算出し、さらに、立体形状算出部２２から取得する自動車１２の立体形状を用いて、自動車１２の仮想動画を合成する。

図５は、図４で説明した処理の結果出力される動画の例を示す。動画切替システム１００は、出力する動画を、図５（Ａ）に示す第１のカメラによる動画から、図５（Ｃ）に示す第２のカメラによる動画に切り替える場合に、第１のカメラによる動画と、第２のカメラによる動画との間における、被写体の距離及びアングルの差分を徐々に小さくする仮想動画（図５（Ｂ））を生成して表示する。従って、被写体の距離及びアングルが滑らかに変化する動画切替を実現することができる。

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

本実施形態によれば、被写体の動画像を、異なる位置から被写体を撮影している複数のカメラ間で切り替える場合に、動画中の被写体の向き及び大きさをスムーズに変化させる動画切替システムを提供することができる。

動画切替システム１００の実施例を示す。動画切替システム１００の機能構成の一例を示すブロック図である。三角法及びステレオ視法により、自動車１２の位置並びに立体形状を測定する方法を示す。切替完了時における自動車１２の位置及び向きを予測し、予測結果に基づいて、仮想動画における被写体の位置及びアングルの変化率を定義する方法を示す図である。図４で説明した処理の結果出力される動画の例を示す。

符号の説明

１０カメラ
１２自動車
２０実画像分析部
２２立体形状算出部
２４被写体位置・アングル算出部
２６切替時位置・アングル予測部
２８動きベクトル測定部
３０切替タイミング制御部
３２出力切替部
５０仮想動画生成部
５２位置・アングル変化率定義部
５４仮想動画合成部
６０記録媒体
１００動画切替システム

Claims

出力する動画を、第１のカメラで撮影している被写体の動画から、前記第１のカメラと異なる位置に設置された第２のカメラで撮影している前記被写体の動画に切り替える動画切替システムであって、
前記第１及び第２のカメラがそれぞれ撮影した動画を取得し、取得した動画のいずれを出力するかを切り替える出力切替部と、
前記出力切替部が、出力する動画を、前記第１のカメラによる前記被写体の動画から、前記第２のカメラによる前記被写体の動画に切り替える場合に、前記第１及び第２のカメラに対する前記被写体の位置及びアングルをそれぞれ算出する被写体位置・アングル算出部と、
前記位置及びアングルの前記算出結果に基づいて、前記第１のカメラによる前記被写体の動画から前記第２のカメラによる前記被写体の動画へ、前記被写体の位置及びアングルが徐々に変化する仮想動画を生成する仮想動画生成部と
を備え、
前記出力切替部は、出力する動画を、前記第１のカメラによる前記被写体の動画、前記仮想動画、及び前記第２カメラによる前記被写体の動画の順に切り替えて出力する、動画切替システム。
前記被写体の動きベクトルを判断する動きベクトル判断部と、
前記出力切替部が、出力する画像を前記仮想動画から前記第２のカメラによる前記被写体の動画に切り替える時点における、前記第２カメラに対する前記被写体の位置及びアングルを、前記第２カメラに対する前記被写体の現在の位置、アングル、及び動きベクトルに基づいて予測する切替時位置・アングル予測部と
を更に備え、
前記仮想動画生成部は、
前記出力切替部が、出力する動画を前記第１のカメラによる動画から前記仮想動画に切り替える時点での前記第１のカメラに対する前記被写体の位置及びアングルと、前記仮想動画から前記第２のカメラによる動画に切り替える時点での前記予測した位置及びアングルとのそれぞれの差分が、時間の経過に応じて徐々に小さくなるように、前記被写体の仮想の位置及びアングルの変化率を定義する位置・アングル変化率定義部と、
前記位置及びアングルの前記変化率に基づいて、前記被写体の前記仮想動画を生成する仮想動画合成部と
を有する、請求項１に記載の動画切替システム。
前記第１及び第２のカメラによる前記被写体の動画像から前記被写体の立体形状を算出する立体形状算出部を更に備え、
前記被写体位置・アングル算出部は、前記カメラに対する前記被写体のアングルを前記立体形状に基づいて算出し、
前記動画生成部は、前記立体形状を用いて前記仮想動画を生成する、請求項１に記載の動画切替システム。
前記切替時位置・アングル予測部は、前記出力切替部が前記仮想動画を出力している間に、前記第２カメラの動画への切り替え時点における、前記第２カメラに対する前記被写体の位置及びアングルを、少なくとも一回以上改めて予測し、
前記仮想位置・アングル定義部は、前記改めて予測された前記第２カメラに対する位置及びアングルと、前記仮想動画における前記被写体の現在の位置及びアングルとに基づいて、前記仮想動画における前記被写体の位置及びアングルを改めて定義し、
前記仮想動画合成部は、前記改めて定義された前記位置及びアングルに基づいて、前記被写体の前記仮想動画を生成する、請求項２に記載の動画切替システム。
出力する動画を、第１のカメラで撮影している被写体の動画から、前記第１のカメラと異なる位置に設置された第２のカメラで撮影している前記被写体の動画に切り替える動画切替方法であって、
前記第１及び第２のカメラがそれぞれ撮影した動画を取得し、取得した動画のいずれを出力するかを切り替える出力切替ステップと、
前記出力切替ステップで、出力する動画を、前記第１のカメラによる前記被写体の動画から、前記第２のカメラによる前記被写体の動画に切り替える場合に、前記第１及び第２のカメラに対する前記被写体の位置及びアングルをそれぞれ算出する被写体位置・アングル算出ステップと、
前記位置及びアングルの前記算出結果に基づいて、前記第１のカメラによる前記被写体の動画から前記第２のカメラによる前記被写体の動画へ、前記被写体の位置及びアングルが徐々に変化する仮想動画を生成する仮想動画生成ステップと
を備え、
前記出力切替ステップでは、出力する動画を、前記第１のカメラによる前記被写体の動画、前記仮想動画、及び前記第２カメラによる前記被写体の動画の順に切り替えて出力する、動画切替方法。
出力する動画を、第１のカメラで撮影している被写体の動画から、前記第１のカメラと異なる位置に設置された第２のカメラで撮影している前記被写体の動画に切り替える動画切替システム用プログラムであって、
前記第１及び第２のカメラがそれぞれ撮影した動画を取得し、取得した動画のいずれを出力するかを切り替える出力切替機能と、
前記出力切替機能が、出力する動画を、前記第１のカメラによる前記被写体の動画から、前記第２のカメラによる前記被写体の動画に切り替える場合に、前記第１及び第２のカメラに対する前記被写体の位置及びアングルをそれぞれ算出する被写体位置・アングル測定機能と、
前記位置及びアングルの前記算出結果に基づいて、前記第１のカメラによる前記被写体の動画から前記第２のカメラによる前記被写体の動画へ、前記被写体の位置及びアングルが徐々に変化する仮想動画を生成する仮想動画生成機能と
を前記動画切替システムに実現させ、
前記出力切替機能は、出力する動画を、前記第１のカメラによる前記被写体の動画、前記仮想動画、及び前記第２カメラによる前記被写体の動画の順に切り替えて出力するプログラム。