JPWO2008126371A1

JPWO2008126371A1 - 映像合成方法、映像合成システム

Info

Publication number: JPWO2008126371A1
Application number: JP2009508894A
Authority: JP
Inventors: 片岡　宏仁; 宏仁片岡
Original assignee: M Soft Co Ltd
Current assignee: M Soft Co Ltd
Priority date: 2007-04-02
Filing date: 2008-03-28
Publication date: 2010-07-22
Anticipated expiration: 2028-03-28
Also published as: JP5313127B2; US20100066910A1; WO2008126371A1; EP2134082A1; US8294824B2; CN101543058A

Abstract

任意の背景を撮影した背景側映像と、それと同じ背景で合成用素材を含めて撮影した素材側映像を用い、二つの映像を比較して、合成用の映像素材を抽出する。これにより、ブルーバック等の特定の背景を使用せず、あらゆる風景の中で撮影された映像を利用し、その映像の一部である合成用素材を抽出することが可能になる。

Description

本発明は、背景にブルーバックなどの特別な背景を使用することなく撮影した映像から、合成用素材のみを切り出して合成用映像を生成する技術に関する。

映画などの映像作品の制作において、合成技術は欠かすことのできないものとなっている。合成用に用いる映像は、ブルーバック合成技術を用いて撮影されることが多い。

ブルーバック合成とは、合成に用いる映像を撮影する際に、青い布などの背景（以下、ブルーバックとする）を用いる技術である。撮影された映像に対して、ブルーバック部分を透明として扱う映像特殊処理を適用して合成用映像を生成し、そこに別の背景映像を合成する。たとえば人物と背景を合成する場合は、ブルーバックの前で、合成用素材となる人物を撮影し、撮影した映像のブルーバックの部分に対して、別に用意した背景映像を合成する。
特願平８−３００２１９号特開２００７−１４２７２６号

このブルーバック合成は、ブルーバックを使って撮影された合成用映像を用いる。そのためブルーバック合成には、仮背景となるブルーバックを用意する必要がある。しかし、ブルーバックは、一部の撮影スタジオにしか用意されていない上、撮影スタジオやブルーバックの使用、準備などに多くの費用と手間がかかるという問題があった。

また、撮影スタジオが限られているため、撮り直し等により、急遽、再撮影が必要となった場合、撮影スタジオの確保が難しいという問題もあった。更に、撮影できる映像の大きさは、撮影スタジオやブルーバックの大きさに限られてしまうという問題もあった。

更に、撮影スタジオという人工光の下で撮影された映像と、太陽光の下で撮影された背景映像と合成しようとすると、光の微妙な違いで合成処理後の映像が不自然になってしまうこともあった。

なお、ブルーバックを使わずに合成用映像を生成する方法としては、通常の方法で撮影した映像から、デジタルコンピューター上で動作する画像加工ソフトウェアを用いて、手動で合成用素材を切り出すことも考えられる。しかし手動では、時間と人件費がかかる上、細かい部分を精密に切り出すことができず、微細なニュアンスが失われた不自然な合成用映像になってしまうという問題があった。

また、合成用素材を含む映像から、自動的に合成用素材の輪郭等を検出して、合成用素材を切りだすソフトウエアも考えられるが、動的に変化していく輪郭を検出し、切り出していくという工程において、情報処理が複雑かつ膨大になってしまうという問題があった。

本発明は、上記の問題に鑑みてなされたものであり、合成に用いる合成用映像を生成する際において、ブルーバックで撮影された映像を用いることなく、任意の背景で撮影された映像から、合成用素材のみが抽出された合成用映像を得る映像合成システム、及び映像合成方法を提供することを目的とする。

ブルーバック合成とは、映像の合成などに用いる映像素材を撮影する際にブルーバックを用いて撮影し、その映像からブルーバック部分を透明であるとして扱い、透明とした部分に別の映像を合成する技術である。ブルーバックは、映像素材を透明にする部分（ブルーバック部分）としない部分（ブルーバック以外の部分）に区別するために使われる。つまり、ブルーバックを使うことなく透明にする部分としない部分の区別ができれば、従来のブルーバックと同様の合成が可能ということである。

そこで、上記目的は、以下の手段によって達成することができる。

上記目的を達成する本発明は、ブルーバック等の特定背景を用意することなく、任意の背景で撮影された映像から合成に用いる映像素材を抽出することを特徴とする映像合成方法である。

上記目的を達成する本発明は、任意の背景を撮影した背景側映像と、前記背景側映像と同じ背景の下で合成用素材が含まれるように撮影した素材側映像とを用意し、前記背景側映像と前記素材側映像を比較処理して、前記合成用素材が抽出された合成用映像を生成することを特徴とする映像合成方法である。

上記目的を達成する本映像合成方法は、上記発明において、前記比較処理は、前記背景側映像と前記素材側映像の同一タイミングのフレーム同士において、同一位置となる１画素数以上の対比領域で色の値を比較することを特徴とするものである。

上記目的を達成する本映像合成方法は、上記発明において、前記対比領域における前記背景側映像と前記素材側映像の色の値に差分があれば、前記合成用映像における前記対比領域の色の値として、前記素材側映像における前記対比領域の色の値を設定することを特徴とするものである。

上記目的を達成する本映像合成方法は、上記発明において、前記比較処理を、前記背景側映像と前記素材側映像の全フレーム及び全画素に対して行うことで、前記合成用映像を生成することを特徴とするものである。

上記目的を達成する本映像合成方法は、上記発明において、前記比較処理は、前記背景側映像の所定時間のフレーム群を対象に、特定の対比領域の色情報を時間軸に沿って収集して、背景側色情報セットを生成するとともに、前記素材側映像の所定時間のフレーム群を対象に、前記特定の対比領域の色情報を時間軸に沿って収集して、素材側色情報セットを生成し、前記背景側色情報セットと前記素材側色情報セットを、時間軸に沿って比較していくことで、前記合成用映像における前記特定の対比領域の合成用色情報を生成することを特徴とするものである。

上記目的を達成する本映像合成方法は、上記発明において、前記背景側色情報セットを時間軸に沿って規格化し、前記規格化された前記背景側色情報セットと前記素材側色情報セットを比較することを特徴とするものである。

上記目的を達成する本映像合成方法は、上記発明において、前記背景側色情報セットと前記素材側色情報セットの差分が所定閾値より小さくなる時間点を検出した場合、該時間点における前記色情報の周囲の色情報を、前記素材側映像における該時間点のフレームから取得し、前記周囲の色情報を参照して、前記素材側色情報セットの色を前記合成用色情報に設定するか否かを判定することを特徴とするものである。

上記目的を達成する本映像合成方法は、上記発明において、前記背景側映像及び前記素材側映像の双方を、モーションコントロールカメラで撮影することを特徴とするものである。

上記目的を達成する本発明は、任意の背景を撮影した背景側映像が保存される背景側映像保存手段と、前記背景側映像と同じ背景の下で合成用素材を含めて撮影した素材側映像が保存される素材側映像保存手段と、前記背景側映像と前記素材側映像を比較すると共に、比較結果に基づいて前記合成用素材が抽出された合成用映像を生成する比較処理手段と、前記合成用映像が保存される合成用映像保存手段と、を備えることを特徴とする映像合成システムである。

上記目的を達成する本映像合成方法は、上記発明において、前記比較処理手段は、前記背景側映像と前記素材側映像の同一タイミングのフレーム同士において、同一位置となる１画素数以上の対比領域で色の値を比較することを特徴とするものである。

上記目的を達成する本映像合成方法は、上記発明において、前記比較処理手段は、前記対比領域における前記背景側映像と前記素材側映像の色の値の差分を算出する差分算出部と、前記差分の大きさに基づいて、前記合成用映像における前記対比領域の色の値に、前記素材側映像における前記対比領域の色の値を設定するか否かを判定する色判定部と、を備えることを特徴とするものである。

上記目的を達成する本映像合成方法は、上記発明において、前記比較処理手段は、前記背景側映像と前記素材側映像の全フレーム及び全画素に対して差分を算出することで、前記合成用映像を生成することを特徴とするものである。

上記目的を達成する本映像合成方法は、上記発明において、前記比較処理手段は、前記背景側映像の所定時間のフレーム群を対象に、特定の対比領域の色情報を時間軸に沿って収集して、背景側色情報セットを生成する背景側色情報収集部と、前記素材側映像の所定時間のフレーム群を対象に、前記特定の対比領域の色情報を時間軸に沿って収集して、素材側色情報セットを生成する素材側色情報収集部と、を備え、前記背景側色情報セットと前記素材側色情報セットを、時間軸に沿って比較していくことで、前記合成用映像における前記特定の対比領域の合成用色情報を生成することを特徴とするものである。

上記目的を達成する本映像合成方法は、上記発明において、前記比較処理手段は、前記背景側色情報セットを時間軸に沿って規格化する規格化処理部を備えることを特徴とするものである。

上記目的を達成する本映像合成方法は、上記発明において、前記比較処理手段は、前記背景側色情報セットと前記素材側色情報セットの差分が所定閾値より小さくなる時間点を検出した場合、該時間点における前記色情報の周囲の色情報を、前記素材側映像における該時間点のフレームから取得する補充色情報取得部を備え、前記周囲の色情報を参考にして、前記素材側色情報セットの色を前記合成用色情報に設定するか否かを判定することを特徴とするものである。

本発明の映像合成方法又は映像合成システムでは、合成用素材が映っているか否かにのみ相違点がある二つの映像（背景側映像と素材側映像）を用意する。つまりこの両者は、合成用素材以外の部分は原則としてほとんど一致している映像ということになる。この二つの映像を比較し、不一致となる部分の映像を抽出することによって、合成用映像を生成することができる。

なお、モーションコントロールカメラとは、カメラをコンピュータ制御し、何度も同じ設定、アングルでの撮影を可能とすることを目的とするカメラである。カメラの制御内容としては、レンズの焦点距離（ズーム）や、ピントを合わせる位置などの内部的な設定のほか、専用のセットを使うことで、カメラ自体をパンしたり、トラッキング、移動、回転といったものがある。そのため、何度でも、露出やアングルといった条件を合わせて撮影することができ、同じ映像を作り出すことができる。

本発明によれば、任意の背景を撮影した背景側映像と、その映像と同じ背景で合成用素材を含めて撮影した素材側映像を用意し、色が不一致となる部分の映像を抽出することで合成用映像を作り出す。従って、この背景側映像と素材側映像の二つの映像は、背景が一致していることが望ましい。上記に示した通り、モーションコントロールカメラはカメラの動きをコンピュータ制御することで、同じ設定でカメラを動かし、同じ背景を何度も撮影することができる。そのため、本発明に必要な二つの映像（背景側映像と素材側映像）をより望ましい状態で用意することができる。

また本発明によれば、背景側映像および素材側映像のそれぞれについて、同じ座標のある対比領域（これは１画素でもよく、又は隣接し合う複数画素の集合でもよい）の色の値を時間軸に沿って取得する。この結果、色の値が時間軸に沿って収集された背景側色情報セットと、素材側色情報セットを得ることができる。この背景側又は素材側色情報セットのフレーム上の座標は、全て共通していることから、各色情報に座標情報を保持させる必要がなく、この背景側又は素材側色情報セットの全体に、対比領域の座標情報を持たせるだけでよい。この結果、背景側又は素材側色情報セットは１次元的な情報量で済むので、情報量を大幅に低減させることが可能となる。

更にこの背景側色情報セットと素材側色情報セットを同一時間軸に沿って比較することで、合成用素材が抽出された合成用映像を極めて効率的に生成できる。具体的には、背景側色情報セットと素材側色情報セットに差が無い場合、その時間点におけるその合成用色情報セットの色を一律に設定し、背景側色情報セットと素材側色情報セットに差分があれば、素材側色情報セットの色情報を、合成用色情報セットの色に設定する。なお、差分が微小の場合は、差分がないと判定する場合も考えられる。この判定は当業者によって適宜微調整できるものである。この比較処理を、フレームの全体を満たすような全対比領域に対して行うことで、合成用映像が生成されることとなる。

本発明の映像合成方法又は映像合成システムによれば、ブルーバックを使うことなく、合成用映像を生成することができる。この結果、ブルーバック用の撮影スタジオの使用料の負担や、事前準備等の手間も軽減される。更に、いかなる背景環境であっても、合成用映像を効率的且つ高速に生成することができる。

本発明の映像合成方法の概念を示す図である。同映像合成方法を示すフローチャートである。本実施形態の映像合成システムの全体構成を示すブロック図である。同映像合成システムのコンピュータの構成を示すブロック図である。同映像合成システムにおける比較処理の一部手順を示す図である。同映像合成システムにおいて時間軸に沿った色の差分の一例を示すグラフ図である。同映像合成システムの処理手順を示すフロー図である。同映像合成システムの処理手順を示すフロー図である。

以下に、本発明の実施形態について図面を用いて説明する。なお、本発明はこれらの図面に限定されるものではないことは予め言及しておく。

まず、本実施形態の全般に亘る基本思想について説明する。本実施形態では、図１に示されるように、まず、任意背景となるチューリップ７を撮影した背景側映像１２と、この背景となるチューリップ７と同じ背景下で、合成用素材となる人物５が含まれるように撮影した素材側映像１１と、事後的に挿入する挿入背景となる梅２Ａとつくし２Ｂを撮影した挿入用背景映像６を準備する。

具体的にまず、人物５をチューリップ７の前で撮影することで素材側映像１１を得る。それから、人物５がいない状態で、この素材側映像１１を撮影したときと同じようにカメラを動かし、チューリップ７だけを含めて撮影して背景側映像１２を得る。これにより、人物５が映っているかいないかのみ異なる二つの映像１１、１２ができる。この素材側映像１１、背景側映像１２を比較して、異なっている部分を抽出することで、人物５だけが切り取られた合成用映像１３を得る。この合成用映像１３に対して挿入用背景映像６を既存の技術によって合成することで、梅２Ａとつくし２Ｂを背景とした人物５の最終映像３が完成する。

なお、これらの背景側映像１２と素材側映像１１の２つの映像は、好ましくはモーションコントロールカメラで撮影する。モーションコントロールカメラは、カメラの動きをコンピュータ制御できるため、カメラを同じ設定で動かすことで同じ映像を撮影することができるからである。なお、モーションコントロールカメラを用いなくても、フレーム同士の座標のずれを調整するソフトウエアによって、一般のカメラや異なる複数台のカメラで撮影された映像を用いて、モーションカメラで撮影したのと同等の背景側映像１２と素材側映像１１を生成することも可能である。つまり、本発明でいうフレーム同士を比較するための「同一位置」の基準は、各フレームが固有にローカル座標に限られない。フレーム同士の相対的なずれや、映像のズーム等を考慮した上で、被写体側のグローバル座標（被写体側の基準位置）に基づいて同一位置を決定する場合を含む。

図２には、本実施形態の全般に亘る基本思想を示すフローチャートである。

まず、合成に用いる素材を任意の背景の前で撮影する（Ｓ１）。撮影は、望ましくはモーションコントロールカメラで行う。次に、合成用素材を抜かして任意の背景だけを撮影する（Ｓ２）。この撮影もモーションコントロールカメラを使用することが好ましく、ステップＳ１で撮影した際と同じ設定でカメラを動かす。その後、ステップＳ１およびステップＳ２で撮影された映像を、映像合成システムを用いて比較し、一致しない部分のみを抽出するして合成用映像を得る（Ｓ３）。これにより、ブルーバックの前で合成用の映像素材を撮影した際と同じ映像が得られる。最後に、ステップＳ３で生成した合成用映像に、背景に使いたい挿入用背景映像を合成する（Ｓ４）。これで合成映像が完成する。

次に、本発明の実施形態に係る映像合成システムついて説明する。図３は、この映像合成システム１００の概略構成図である。

図３において、１０２はビデオカメラで撮影した素材側映像、１０３はビデオカメラで撮影した背景側映像、１０４は、素材側映像１０２が記憶されるハードディスク（素材側映像保存手段）、１０５は、背景側映像１０３が記憶されるハードディスク（背景側映像保存手段）、１０６は、素材側映像１０２の一部を構成するフレーム、１０７は、背景側映像１０３の一部を構成するフレーム、１０８は、ＣＰＵ（中央演算装置）やメモリ、通信バス、複数の入出力インターフェース等を備えたコンピュータ、１０９は、このコンピュータ１０８で処理した後に生成されたフレーム、１１０は、このフレーム１０９を記憶したハードディスク（合成用映像保存手段）、１１１は、このフレーム１０９によって構成される合成用映像、１１２はこのコンピュータ１０８で実行されるプログラムが保存されているハードディスク（プログラム保存手段）である。

図４は、コンピュータ１０８が備える内部構成を示した図である。なお、この内部構成は、コンピュータ１０８のメモリ１２１に上記プログラムが一旦格納され、このプログラムがＣＰＵ（中央演算処理装置）１２０で実行されることで得られる各種機能も含んでいる。

コンピュータ１０８は、ＣＰＵ１２０、メモリ１２１、上記各保存手段１０４、１０５、１１０、１１２にそれぞれ接続される入出力インターフェース１２２、１２３、１２４、１２５を備える。また、プログラムをＣＰＵ１２０で実行することで得られる機能構成として比較処理手段１７０を備えている。この比較処理手段１７０は、詳細に、差分算出部１７２、色判定部１７４、背景側色情報収集部１７６、素材側色情報収集部１７８、規格化処理部１８０、補充色情報取得部１８２を備える。

比較処理手段１７０は、背景側映像１０３と素材側映像１０２を色情報に基づいて比較し、更にこの比較結果に基づいて、合成用素材が抽出された合成用映像１１１を生成する。

具体的に差分算出部１７２は、背景側映像１０３と素材側映像１０２について、対比領域における色の値の差分を算出する。この対比領域は、背景側映像１０３の各フレーム１０７や、素材側映像１０２の各フレーム１０６において、同一位置（ここでは同一座標）である１画素以上の集まりである。なお、本実施形態では、対比領域を１画素で構成しているが、複数画素（例えば８×８ピクセル）で構成しても良い。なお、ここでは、各フレーム１０６のローカル座標が同一となる画素を対比領域としたが、被写体側（映像側）のグローバル座標（特定被写体側の基準位置）を基準とし、拡大・縮小度合いを考量して、同一位置となる画素を対比領域とすることもできる。

色判定部１７４は、差分算出部１７２で算出された差分の大きさに基づいて、合成用映像１１１における対比領域の色の値に、素材側映像１０２における対比領域の色の値を設定するか否かを判定する。詳細には、差分がない場合には、この対比領域に関しては、背景側映像１０３と素材側映像１０２に差が無いことから背景部分であると考えられるので、カットするために予め決定された特定色（例えば青色）情報を合成用映像１１１に設定する。一方、差分がある場合は、背景側映像１０３と素材側映像１０２に違いが認められ、合成用素材（人物）５が存在していることになるので、この素材側映像１０２の色情報を合成用映像１１１に設定する。

背景側色情報収集部１７６は、図５に示されるように、背景側映像１０３の所定時間のフレーム群１０７Ｇを対象に、特定の対比領域Ｔ１（ここでは特定の１画素）の色情報を時間軸に沿って収集して、背景側色情報セットＨＣ（Ｔ１）を生成する。一方、素材側色情報収集部１７８は、素材側映像１０２の所定時間のフレーム群１０６Ｇを対象に、背景側映像と同じ座標の対比領域Ｔ１の色情報を時間軸に沿って収集して、素材側色情報セットＳＣ（Ｔ１）を生成する。このように、具体的な比較処理を行う前に、背景側映像１０３と素材側映像１０２の同一座標にある対比領域Ｔ１について、時間軸方向に色情報を予め収集して色情報を１次元化し、この１次元化された色情報セット全体に、対比領域Ｔ１に関する座標情報を付加することで、情報量を大幅に低減させるようにしている。

色判定部１７４は、背景側映像１０３のフレーム１０７と、素材側映像１０２のフレーム１０６の色情報を、この時間軸方向に収集された背景側色情報セットＨＣ（Ｔ１）と素材側色情報セットＳＣ（Ｔ１）を用いて時間軸に沿って順番に比較していく。この色判定によって、図５に示されるように、合成用映像１１１のフレーム群１０９Ｇの対比領域Ｔ１に相当する合成用色情報セットＧＣ（Ｔ１）が生成されることになる。

色判定は、図６の差分グラフに示されるように、背景側色情報セットＨＣ（Ｔ１）の色変動のグラフと、素材側色情報セットＳＣ（Ｔ１）の色変動グラフを時間軸方向に比較（差分を算出）していくことを意味する。背景側色情報セットＨＣ（Ｔ１）の色と、素材側色情報セットＳＣ（Ｔ１）の色が異なる場合（差分が得られる部分：エリアＸ参照）は、合成用色情報セットＧＣ（Ｔ１）に対して、素材側色情報セットＳＣ（Ｔ１）の色情報を設定する。一方、背景側色情報セットＨＣ（Ｔ１）の色と、素材側色情報セットＳＣ（Ｔ１）の色が同じ場合（差分が得られない部分：エリアＹ参照）は、合成用色情報セットＧＣ（Ｔ１）に対して、予め決められた固定色情報（ここではブルーバックとしての青色）を設定する。この結果、合成用色情報セットＧＣ（Ｔ１）には、合成素材のみが抽出された色情報が用意されることになる。この比較処理を、全ての対比領域Ｔについて行い、全ての合成用色情報セットＧＣをまとめることで、合成用映像１１１を得ることができる。

なお、規格化処理部１８０は、背景側色情報セットＨＣと素材側色情報セットＳＣのデータを規格化する。これによって、双方の映像に含まれる光の揺らぎやノイズ等の影響を除去しながら、背景側色情報セットＨＣと素材側色情報セットＳＣを適切に比較することが可能となる。なお、ここでは特に図示しないが、色情報セットを規格化することに代えて又は規格化することに加えて、色判定部１７４において、合成用素材か否かを判定する閾値にノイズ成分も考慮しておくことも好ましい。例えば、差分があったとしても、その値が所定の閾値以下であれば、それは合成用素材とは無関係なノイズであると判断して、背景が存在していると判定する。また、後述する補充色情報取得部１８２のように、差分判定に複数の閾値を設定しておき、それぞれについてより詳細に個別判定を行うことも可能である。

補充色情報取得部１８２は、背景側色情報セットＨＣと素材側色情報セットＳＣの差分が、ある所定閾値より小さくなる時間点を検出した場合、その時間点における素材側映像１０２のフレーム１０６情報にアクセスして対比領域Ｔ１に隣接する周囲の色情報を取得し、色判定部１７４に提供する。色判定部１７４では、周囲の色情報が、対比領域Ｔ１の色情報と同じ又は略近似する場合は、単なるノイズではなく、合成素材の影響で対比領域Ｔ１を含む周囲のエリア全域の色が変化していると判断し、素材側色情報セットＳＣの色情報を、合成用色情報セットＧＣに設定する。一方、周囲の色情報が、その対比領域Ｔ１の色情報と異なる場合は、単なるノイズであると判断し、所定の青色情報を、合成用色情報セットＧＣに設定する。この結果、合成素材が素早く動いた軌跡などのように、背景色にきわめて近い色であるが、広範囲に色が変化する場所等を、効率的に切り出すことが可能になる。

また、このように、通常は時間軸方向に収集した色情報セットを用いて色判定を実行するようにし、判定が困難となる場所に限って、フレームの周囲の色情報を収集して詳細に判定を実行するので、情報処理量を格段に減らすことができる。

図７は、本映像合成システム１００による合成処理手順を示したフローチャートである。まず、カメラで撮影した背景側映像１０３が格納されているハードディスク１０５から、そのデータを入出力インタフェース１２３を介して読み込み（Ｓ１０１）、メモリ１２１に記憶させてから（Ｓ１０２）、ＣＰＵ１２０に伝送する（Ｓ１０３）。同じように、カメラで撮影した素材側映像１０２が格納されるハードディスク１０４から、そのデータを入出力インタフェース１２２で読み込み（Ｓ１０４）、メモリ１２１に記憶させて（Ｓ１０５）、ＣＰＵ１２０に送る（Ｓ１０６）。次に、ハードディスク１１２に格納してある映像合成システム用のプログラムを、入出力インタフェース１２４で読み込み（Ｓ１０７）、メモリ１２１に記憶させ（Ｓ１０８）、ＣＰＵ１２０に送る（Ｓ１０９）。このＣＰＵ１２０では、プログラムを実行して、背景側映像１０３および素材側映像１０２のデータを用いて映像合成処理を行う（Ｓ１１０）。この処理によって得られる合成用映像１１１は、メモリ１２１に送られ（Ｓ１１１）、入出力インタフェース１２５を介してハードディスク１１０に書き込まれる（Ｓ１１２）。

図８は、図７のフローチャートにおけるステップＳ１１０の映像合成処理の詳細手順を示したフローチャートである。

この映像合成処理では、背景側映像１０３および素材側映像１０２のそれぞれに対して、同じ座標となる対比領域毎、特に本実施形態では一画素毎に処理を行っていく。そこでステップＳ２０１では、背景側映像１０３又は素材側映像１０２に、まだ合成処理を行っていない画素（対比領域）が残っているか否かを確かめる。

合成処理を行っていない画素が存在する場合は、ステップＳ２０２に進んで、その新たな１画素（対比領域）について、素材側色情報収集部１７８が素材側映像１０２の色情報を収集して素材側色情報セットＳＣを生成し、背景側色情報収集部１７６が背景側映像１０３の色情報を時間軸に沿って収集して背景側色情報セットＨＣを生成する。その後さらに、ステップＳ２０３において、規格化処理部１８０が、この素材側色情報セットＳＣと背景側色情報セットＨＣを正規化する。

色情報の収集後、この素材側色情報セットＳＣと背景側色情報セットＨＣについて、時間軸に沿って（即ちフレーム順に）色の違いを比較する。具体的には先ずステップＳ２０４において、この特定の素材側色情報セットＳＣと背景側色情報セットＨＣに関して、色の値を判定していない時間（フレーム）があるか否かを確かめる。判定していない時間がある場合は、ステップＳ２０５に進んで、差分算出部１７２が、その時間における、素材側色情報セットＳＣと背景側色情報セットＨＣの色の値の差分を算出する。

次いで、色判定部１７４が、この差分値が第１閾値（これは後述する第２閾値よりも大きい）を超えているか否か判断し（ステップＳ２０６）、第１閾値を超えている場合には明らかに合成素材であると考えられるので、ステップＳ２０７に進んで、素材側色情報セットＳＣの色情報を、同時間の合成用色情報セットＧＣに設定する。一方、第１閾値を超えていない場合には、ステップＳ２０８に進んで、色判定部１７４が、この差分値が第２閾値（先述する第１閾値よりも小さい）を超えているか否か判断する。差分値が第２閾値以下の場合は、双方とも背景を映している部分であると考えられるので、ステップＳ２０９に進み、合成用色情報セットＧＣの同時間に対して固定の青色情報を設定する。一方、差分値が第２閾値（先述する第１閾値よりも小さい）を超えている場合、このままでは合成素材と背景の判断が難しいことから、ステップＳ２１０に進んで、補充色情報取得部１８２が、その時間点における素材側映像１０２のフレーム１０６にアクセスして対比領域に隣接する周囲の色情報を取得して色判定部１７４に提供する。その後、色判定部１７４は周囲の色情報を含めて再判定を行い（Ｓ２１１）、周囲の色情報と対比領域の色情報が同じ又は略近似する場合は、その画素は合成素材であると判断して、ステップＳ２０７に進み、素材側色情報セットＳＣの色情報を、同時間の合成用色情報セットＧＣに設定する。一方、周囲の色情報と対比領域の色情報が同じでない又は近似しない場合は、対比領域の画素のみに生じた何らかのノイズであると判断し、ステップＳ２０９に進んで、合成用色情報セットＧＣの同時間に対して固定の青色情報を設定する。

この色判定処理が完了したら、次の時間の合成処理に進むために（Ｓ２１２）、ステップＳ２０４に戻って、この素材側色情報セットＳＣと背景側色情報セットＨＣに関して、色の値を判定していない時間があるか否かを再度確かめる。

このような繰返しを経て、ステップＳ２０４にて、全ての時間軸において色判定が完了したら、次の画素（対比領域）における比較処理に進むために（Ｓ２１３）、ステップＳ２０１に戻り、背景側映像１０３又は素材側映像１０２に、まだ合成処理を行っていない画素（対比領域）が残っているか否かを確かめる。画素が残っていない場合は、全ての画素に対する合成処理が完了したとして、ステップＳ２１４に進み、全ての合成用色情報セットＧＣによって合成用映像１１１を生成し、この作成された合成用映像１１１の映像が不自然でないか否かを確認する。この確認は、映像表示装置を通じて作業者によって確認してもよく、また、所定のプログラムによって映像の動きに不自然性（不連続性）が残っていないか否かを確認してもよい。映像が不自然であれば、判定の閾値等の条件を変更し（Ｓ２１５）、再び、最初に戻って合成処理を行う。一方、映像が自然であれば、この合成処理を終了させる。

この映像合成システム１００によれば、ブルーバック等の特別の設備を用いることなく、任意の背景で撮影された映像から合成用映像を生成することが可能である。従って、特殊スタジオ等が不要になり、撮影コストや時間を大幅に低減させることができる。また、スタジオの大きさに限られず、広大な平原など、将来合成する画像と同じような背景環境で撮影することが可能となり、合成後の違和感を低減させる合成用映像を得ることが可能となる。

特に、映画等の撮影において、１カット（１シーン）等の比較的長い映像について、一括した自動合成処理を行うことが可能であるので、合成時間を飛躍的に短縮することが可能となっている。また、背景側映像と素材側映像の差分を利用し、背景のみをカットして合成素材のみを残すことができるので、高精度な合成用映像を効率的に生成することが可能となっている。

更に、本実施形態では、背景側映像と素材側映像のそれぞれについて、１画素以上の対比領域の色情報を、時間軸方向に全て収集して色情報セットを用意し、この色情報セット同士を比較するようにしている。これにより、各色情報自体は、個々に２次元座標を保持する必要がないため、情報量が大幅に削減されて、短時間で合成処理を行うことができる。特に、この時間軸方向の色の変化に基づいて、その撮影環境の光の揺らぎやノイズ等を考慮して色判定用の閾値を調整することも可能となる。

更に、本実施形態では、時間軸方向に収集された色情報セットを規格化している。このようにすることで、色判定部における判定基準が明確になり、合成用映像を適切に生成することが可能となる。また、不要なノイズ等も適切に除去することが可能となる。

なお、本実施形態では、合成用色情報セットＧＣと素材側色情報セットＳＣの差分値が、ゼロ以上であって第２閾値よりも小さくなる場合は、補充色情報取得部１８２が、その時間点における周囲の色情報を取得して、色判定部１７４に提供するので、合成用素材をより高精度に切りぬくことが可能となる。例えば、合成素材となる車や人物が高速で移動する場合、各フレーム画像では、背景とほとんど同じ色のまま、残像としてかすかに映し出される場合がある。このように、背景側映像との差分が小さいような合成素材であっても、一定の面積をもって微小差分が生じている場合は、合成用素材と判定して切り出すことも可能となる。特に、差分値が第２閾値よりも小さくなる際に初めて個々のフレームにアクセスし、周囲の色情報を収集するようになっているので、常にフレームの色情報を２次元的に利用する場合と比較して、メモリが保持しなければならない情報量を大幅に低減させることができる。

なお、本実施形態では、背景側映像及び素材側映像について、対比領域の色情報を時間軸方向に収集して色情報セットを生成し、その色情報セットを比較していく場合に限って示したが、本発明はそれに限定されない。例えば、背景側映像及び素材側映像のフレームの特定の対比領域について、色情報の抽出、差分判定、合成用色情報の設定を有する比較処理を一貫して実行し、この比較処理が完了したら次のフレーム移行して、同じ特定の対比領域について比較処理を実行していくことも可能である。また同様に、背景側映像及び素材側映像のフレームの単位で、全ての対比領域（全画素）の比較処理を行ってから、次のフレームに移行して、全ての対比領域について比較処理を行っていくことも可能である。

更に、本実施形態では、各対比領域の同一位置を定義する基準として、各フレームのローカル座標を用いる場合を示したが、本発明はそれに限定されない。例えば、手ぶれ等によって生じるフレーム間の相対的なずれや、映像のズーム状態を考慮して、対比領域の同一位置を決定することも可能である。具体的に本発明は、被写体側のグローバル座標（被写体側の基準位置）を基準として、各フレームの画素の配置を定義し、その配置が同一となる対比領域を比較する場合も含む。

また、本実施形態では、背景側映像と素材側映像を、同じモーションコントロールカメラで撮影する場合を示したが、本発明はそれに限定されず、異なるビデオカメラで撮影することも可能である。

更に、本実施形態では、生成した合成用映像に対して、別途撮影した挿入用背景映像を合成する場合を示したが、本発明はそれに限定されず、挿入用背景映像としてコンピュータグラフィクスを用いることも可能である。

また、本実施形態の映像合成システム１００では、複数のハードディスクや入出力インターフェースを用いて、素材側映像、背景側映像、合成用映像、プログラム等を別々に保存する場合を示したが、本発明はそれに限定されず、共通する記憶手段にまとめて格納することも勿論可能である。

Claims

ブルーバック等の特定背景を用意することなく、任意の背景で撮影された映像から合成に用いる映像素材を抽出することを特徴とする映像合成方法。
任意の背景を撮影した背景側映像と、前記背景側映像と同じ背景の下で合成用素材が含まれるように撮影した素材側映像とを用意し、前記背景側映像と前記素材側映像を比較処理して、前記合成用素材が抽出された合成用映像を生成することを特徴とする映像合成方法。
前記比較処理は、前記背景側映像と前記素材側映像の同一タイミングのフレーム同士において、同一位置となる１画素数以上の対比領域で色の値を比較することを特徴とする請求の範囲２に記載の映像合成方法。
前記対比領域における前記背景側映像と前記素材側映像の色の値に差分があれば、前記合成用映像における前記対比領域の色の値として、前記素材側映像における前記対比領域の色の値を設定することを特徴とする請求の範囲３に記載の映像合成方法。
前記比較処理を、前記背景側映像と前記素材側映像の全フレーム及び全画素に対して行うことで、前記合成用映像を生成することを特徴とする請求の範囲３又は４に記載の映像合成方法。
前記比較処理は、
前記背景側映像の所定時間のフレーム群を対象に、特定の対比領域の色情報を時間軸に沿って収集して、背景側色情報セットを生成するとともに、
前記素材側映像の所定時間のフレーム群を対象に、前記特定の対比領域の色情報を時間軸に沿って収集して、素材側色情報セットを生成し、
前記背景側色情報セットと前記素材側色情報セットを、時間軸に沿って比較していくことで、前記合成用映像における前記特定の対比領域の合成用色情報を生成することを特徴とする請求の範囲３、４または５に記載の映像合成方法。
前記背景側色情報セットを時間軸に沿って規格化し、
前記規格化された前記背景側色情報セットと前記素材側色情報セットを比較することを特徴とする請求の範囲６記載の映像合成方法。
前記背景側色情報セットと前記素材側色情報セットの差分が所定閾値より小さくなる時間点を検出した場合、該時間点における前記色情報の周囲の色情報を、前記素材側映像における該時間点のフレームから取得し、
前記周囲の色情報を参照して、前記素材側色情報セットの色を前記合成用色情報に設定するか否かを判定することを特徴とする請求の範囲６又は７に記載の映像合成方法。
前記背景側映像及び前記素材側映像の双方を、モーションコントロールカメラで撮影することを特徴とする請求の範囲１乃至８のいずれかに記載の映像合成方法。
任意の背景を撮影した背景側映像が保存される背景側映像保存手段と、
前記背景側映像と同じ背景の下で合成用素材を含めて撮影した素材側映像が保存される素材側映像保存手段と、
前記背景側映像と前記素材側映像を比較すると共に、比較結果に基づいて前記合成用素材が抽出された合成用映像を生成する比較処理手段と、
前記合成用映像が保存される合成用映像保存手段と、
を備えることを特徴とする映像合成システム。
前記比較処理手段は、
前記背景側映像と前記素材側映像の同一タイミングのフレーム同士において、同一位置となる１画素数以上の対比領域で色の値を比較することを特徴とする請求の範囲１０に記載の映像合成システム。
前記比較処理手段は、
前記対比領域における前記背景側映像と前記素材側映像の色の値の差分を算出する差分算出部と、
前記差分の大きさに基づいて、前記合成用映像における前記対比領域の色の値に、前記素材側映像における前記対比領域の色の値を設定するか否かを判定する色判定部と、
を備えることを特徴とする請求の範囲１０又は１１に記載の映像合成システム。
前記比較処理手段は、
前記背景側映像と前記素材側映像の全フレーム及び全画素に対して差分を算出することで、前記合成用映像を生成することを特徴とする請求の範囲１０、１１又は１２に記載の映像合成システム。
前記比較処理手段は、
前記背景側映像の所定時間のフレーム群を対象に、特定の対比領域の色情報を時間軸に沿って収集して、背景側色情報セットを生成する背景側色情報収集部と、
前記素材側映像の所定時間のフレーム群を対象に、前記特定の対比領域の色情報を時間軸に沿って収集して、素材側色情報セットを生成する素材側色情報収集部と、を備え、
前記背景側色情報セットと前記素材側色情報セットを、時間軸に沿って比較していくことで、前記合成用映像における前記特定の対比領域の合成用色情報を生成することを特徴とする請求の範囲１０乃至１３のいずれかに記載の映像合成システム。
前記比較処理手段は、
前記背景側色情報セットを時間軸に沿って規格化する規格化処理部を備えることを特徴とする請求の範囲１４に記載の映像合成システム。
前記比較処理手段は、
前記背景側色情報セットと前記素材側色情報セットの差分が所定閾値より小さくなる時間点を検出した場合、該時間点における前記色情報の周囲の色情報を、前記素材側映像における該時間点のフレームから取得する補充色情報取得部を備え、
前記周囲の色情報を参考にして、前記素材側色情報セットの色を前記合成用色情報に設定するか否かを判定することを特徴とする請求の範囲１４又は１５に記載の映像合成システム。