JP4855930B2 - ビデオ合成のための対話型システムおよび方法 - Google Patents

Description

本発明の好ましい実施形態は、信号合成のためのシステムおよび方法に関し、より詳細には、対話型ビデオ合成のためのシステムおよび方法に関する。

対話型のエンターテイメントは、世界中の人々に人気のある余暇活動である。多くの人々に人気のある活動の１つは、カラオケであり、お気に入りの歌の歌詞を彼らが歌うとき、カラオケは、一時的に一般の人々を「スター」へと変化させる。カラオケマシンは、選択された歌の曲を再生するとともに歌詞をユーザに表示し、それによって、ユーザが背景音楽に沿って歌うことを可能にする。

何百万人もに人気のある他の余暇活動は、映画を見ることである。新しいヒット作のチケットの売上げは、毎年、数十億ドルにもなる。加えて、ますます多くの人々が、家庭で映画の視聴を開始しつつある。最近導入され普及している１つの技術は、デジタルビデオディスク（ＤＶＤ）技術である。映画は、デジタル形式でディスク上に記録され、これにより、ユーザの都合にあわせて、繰り返し視聴することが可能になる。ＤＶＤの音声および画像の優れた品質は、デジタル媒体に付随する便利な特徴とともに、ＤＶＤを標準的なビデオカセット技術に対する有力な代替品としている。

しかし、映画を見ることは、おおむね受動的な活動であった。つまり、映画館に行くかまたはＤＶＤプレイヤにディスクを挿入し、腰掛けて動かずに映画を見る。同じ映画を繰り返し見ることもあるが、その度に同じキャラクタが現れて、同じ台詞を繰り返し同じ行為をする。まだ今のところ、ユーザは、リアルタイムで映画それ自体の中にいるように見えても、彼または彼女のお気に入りの場面を演じることができない。

したがって、映画などの事前記録されたビデオにビデオ画像を挿入することを可能にする、対話型システムが必要とされる。

本発明の一実施形態では、合成ビデオ画像を作成するためにクロマキー技術が用いられ、ビデオカメラで取り込まれるようなターゲット画像が、事前記録された画像上にリアルタイムで重畳されるように見える。合成プロセスは、いつどのように、リアルタイム画像が、事前記録された画像内に挿入されるかを指示する、内部回路およびデータファイルによって管理される。

一実施形態では、対話型ビデオ合成装置は、ミキサ、ビデオスイッチャ、および制御回路を含む。ミキサは、クロマキー技術を利用して、リアルタイムビデオ画像からクロマ要素を除去する。ミキサは、修正された画像と事前記録されたビデオ画像を組み合わせて、合成画像を形成し、合成画像は、事前記録された画像上にオーバーレイされ修正されたリアルタイム画像を含む。ビデオスイッチャは、ディスプレイに出力される、合成画像または事前記録された画像のいずれかを自動的に選択する。この選択は、制御回路によって管理され、事前記録された画像のシーンのコンテンツに対応するデータファイル情報に基づいて行われる。例えば、データファイルは、映画のシーンの特定のキャラクタの存在（または不在）に関する情報を含むことができ、それにより、事前記録された画像の代わりにリアルタイム合成画像を適切な時間に出力し表示することが可能になる。

本発明の他の実施形態では、リアルタイムのクロマキー合成のためのシステムは、第１のビデオ信号を受け取るように構成された第１の入力と、第２のビデオ信号を受け取るように構成された第２の入力と、第１の入力と第２の入力に結合されたクロマキーミキサであって、第１のビデオ信号の部分および第２のビデオ信号の部分を含むコンポジット信号を出力するように構成されたクロマキーミキサと、第１のビデオ信号に関連するデータファイルであって、少なくとも第１の参照データおよび第２の参照データを有するデータファイルと、コンポジット信号を出力することと第１のビデオ信号を出力することの間で選択をするスイッチャであって、第１の参照データによって識別されたときに、コンポジット信号を出力し、第２の参照データによって識別されたときに、第１のビデオ信号を出力するスイッチャとを含む。

他の実施形態では、ビデオ合成のために使用される参照データシステムは、第１のビデオ信号と関連する第１の参照情報と、第１のビデオ信号に関連する第２の参照情報と、第１のビデオ信号を出力すること、または、第１のビデオ信号の部分および第２のビデオ信号の部分を含むコンポジット信号を出力することの間で、切替えをするように構成されたビデオスイッチャとを含み、ビデオスイッチャは、第１の参照情報によって識別されたときに、コンポジット信号を出力し、第２の参照情報によって識別されたときに、第１のビデオ信号を出力する。

本発明の他の実施形態では、ソフトウェアプログラムは、事前記録された画像上にリアルタイム画像を重畳することを制御するためのコードを含み、前記コードは、事前記録された画像上にリアルタイム画像が重畳される期間の、事前記録された画像の部分を識別する。

他の実施形態では、リアルタイムビデオ合成のためのシステムは、第１のビデオ信号とリアルタイムの第２のビデオ信号をクロマキーミキシングすることによってコンポジット信号を生成するための手段と、第１のビデオ信号の選択とコンポジット信号の選択の間で切替えをするための手段であって、第１のビデオ信号に関係する少なくとも１つのデータファイルに格納された参照情報に従って制御される切替えをするための手段を含む。

他の実施形態では、ビデオ合成のための方法は、複数のフレームを有する第１のビデオ信号を受け取ること、第２のビデオ信号を受け取ること、第１のビデオ信号と第２のビデオ信号をクロマキーミキシングすることによって、コンポジット信号を作成すること、およびビデオスイッチャによって、第１のビデオ信号を出力することとコンポジット信号を出力することの間で選択的に切替えをすることを含み、前記選択的切替えは、自動的に実行され、ビデオスイッチャによって受け取られた制御信号に基づき、制御信号は、第１のビデオ信号のフレームに対応する事前記録されたデータから少なくとも一部分が得られる。

他の実施形態では、複数の信号の表示を調整するための方法は、第１の信号を受け取ること、第２の信号を受け取ること、第１の信号の部分および第２の信号の部分を含むコンポジット信号を形成すること、スイッチャによって第１の信号およびコンポジット信号を受け取ること、第１の信号の部分に対応する参照データを受け取ること、および第１の信号を表示することと第２のコンポジット信号を表示することの間の切替えをすることを含み、前記切替えのタイミングは、参照データに含まれる情報に基づいて行われる。

他の実施形態では、ビデオ画像の重畳を制御するために使用されるデータファイルを作成するための方法は、第２のビデオ画像が第１のビデオ画像上に重畳される期間の、第１のビデオ画像の部分を識別することであって、前記第１のビデオ画像部分は、開始フレームおよび終了フレームを有すること、前記開始フレームを識別する第１の情報をデータファイルに記録すること、および前記終了フレームを識別する第２の情報をデータファイルに記録することを含む。

本発明を要約するために、本明細書では、本発明のいくつかの態様、利点、および新規の特徴を説明する。すべてのこのような利点が、本発明のいずれの特定の実施形態によっても達成しうる必要は必ずしもないことを理解されたい。したがって、本発明は、本明細書に示唆されうる他の利点を必ずしも達成せずに、本明細書に教示される１つの利点または一群の利点を達成または最適化するように実施または実行することができる。

上記に要約された図面を参照して、システムおよび方法の特徴について以下で説明する。参照番号は、図面を通して、参照される要素間での対応を示すために繰り返し使用される。図面および関連する説明、ならびに特定の実装は、本発明の実施形態を例示するために与えられたものであり、本発明の範囲を限定するものではない。

さらに、本明細書に記載の方法および機能は、いかなる特定の順序、ステップ、またはそれに関係する状態にも限定されず、他の適切な順序で実施することができる。例えば、記載されたステップまたは状態は、具体的に開示された順序以外の順序で実施することができ、あるいは、複数のステップまたは状態を、単一のステップまたは状態に結合することもできる。

図１は、リアルタイムビデオ合成システム１０の一実施形態を示す。合成システム１０は、画像を選択的に重畳するために使用される。これらの画像には、リアルタイムで見ることができる画像、事前記録された画像、またはこれらの組合せが含まれうる。例えば、合成システム１０は、リアルタイム画像を、映画などの事前記録されている画像上に重畳することができる。合成システム１０は、一般に、合成装置１２、ビデオソース１４、ビデオレコーダ１６、およびディスプレイ１８を含む。図示の実施形態では、合成装置１２は、ビデオソース１４およびビデオレコーダ１６から入力信号を受け取り、ディスプレイ１８に信号を出力する。

本明細書で使用される用語「合成（ｃｏｍｐｏｓｉｔｉｎｇ）」は、広義の用語であり、その通常の意味で用いられ、また、限定されることなく、コンポジット信号を形成するための例えばビデオおよび／またはオーディオ信号など複数の信号を重畳するまたは組み合わせることを含む。用語「合成装置（ｃｏｍｐｏｓｉｔｏｒ）」は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せに、合成機能の全部または一部が実装される、任意の装置またはシステムを指す。

本明細書で使用される用語「リアルタイム」は、広義の用語であり、その通常の意味で用いられ、また、限定されることなく、ある種のイベントまたは応答が行われる期間の状態または時間を含む。リアルタイムシステムまたはアプリケーションは、ある特定の応答時間内に特定の刺激に対する応答を生成する。例えば、リアルタイムでデータを処理する装置は、データがその装置によって受け取られるのに伴い、データを処理することができる。リアルタイム信号は、特定の装置またはシステムによって受け取られたまたは取り込まれた後の特定の時間内に、表示され、再生され、処理されることが可能な信号である。一実施形態では、この特定の時間は、１ミリ秒のオーダである。他の実施形態では、この特定の時間は、１ミリ秒より長くすることができる。例えば、この特定の時間は、百ミリ秒のオーダとすることができる。本発明の他の実施形態では、この特定の時間は、１ミリ秒より短くすることができる。例えば、この特定の時間は、マイクロ秒のオーダとすることができる。本発明のさらに他の実施形態では、「リアルタイム」は、そのイベントが実生活で発生する速さと同様の速さでシミュレートされたイベントを意味する。

ビデオソース１４は、ビデオデータの生成、受取り、取込み、読取り、供給、または格納のために使用される、任意の装置、システム、または技術を含む。他の実施形態では、ビデオソース１４は、ビデオ信号を作成するために（例えば、視覚画像を作成するために）処理することができるビデオ部分と、オーディオ信号（例えば、人間の耳に充分に聞き取れる高さの水準の音）を作成するために処理することができるオーディオ部分とを含む、オーディオビジュアル信号を生成することができる。例えば、本発明の一実施形態では、ビデオソース１４は、デジタルビデオディスク（ＤＶＤ）プレイヤを含む。他の実施形態では、ビデオソース１４は、ビデオコンテンツを表現するデータを格納するメモリを含む。本発明のさらに他の実施形態では、ビデオソース１４は、ケーブルネットワーク、パラボラアンテナ、アンテナ、またはネットワークなどを介して、ビデオ伝送を受信する装置を含む。例えば、ビデオソース１４には、テレビ、ビデオカセットレコーダ（ＶＣＲ）、ＣＤ＋Ｇプレイヤ、またはデジタルビデオレコーダが含まれうる。

本発明の他の実施形態では、合成システム１０は、それぞれが合成装置１２に結合されている複数のビデオソース１４を含むことができる。このような実施形態では、合成システム１０は、複数のビデオソース１４のうちの１つからの信号を選択するマルチプレクサまたはスイッチを含むことができる。例えば、一実施形態では、合成システム１０は、ＤＶＤからデータを読み取るＤＶＤプレイヤ、および同軸ケーブル線を介してビデオ伝送を受信するケーブルボックスを含む。次いで、２入力マルチプレクサを使用して、ＤＶＤプレイヤからの信号とケーブルボックスからの信号の間で選択をすることができる。

ビデオソース１４は、ビデオ信号の伝送を行えるようにする任意の媒体によって、合成装置１２に結合することができる。例えば、ビデオソース１２は、ＲＣＡケーブル、Ｓケーブル、同軸ケーブル、イーサネット、および無線技術などによって、合成装置１２に結合することができる。ビデオソース１４がビデオコンテンツとともにオーディオコンテンツを供給することもできることは当業者には理解されよう。このオーディオコンテンツは、ビデオコンテンツの場合と同じ媒体または異なる媒体で送達することができる。

図１は、ビデオソース１４が合成装置１２の外部にある、本発明の実施形態を示す。本発明の他の実施形態では、ビデオソース１４は、合成装置１２の内部とすることができる。例えば、合成装置１２は、ＤＶＤプレイヤを含むことができ、または、格納されたビデオデータを有するメモリを含むことができる。さらに他の実施形態では、合成システム１０は、合成装置１２の内部の少なくとも１つのビデオソース１４と、合成装置１２の外部の少なくとも１つのビデオソース１２を含むことができる。

図１を引き続き参照すると、コンピューティングシステム１０は、ビデオレコーダ１６を含んでいる。ビデオレコーダ１６は、リアルタイムビデオ画像を、デジタル信号またはアナログ信号のような電気信号に変換することができる、任意の装置、システム、または技術を含む。一実施形態では、ビデオレコーダ１６は、ビデオ画像のリアルタイムの変換および送信をすることができる。一実施形態では、ビデオレコーダ１６は、ビデオカメラである。例えば、ビデオレコーダ１６は、アナログカムコーダまたはデジタルカムコーダのようなカムコーダを含むことができる。ビデオレコーダ１６は、ＲＣＡケーブル、Ｓケーブル、同軸ケーブル、イーサネット、および無線技術などを介して、合成装置１２に結合することができる。

本発明の他の実施形態では、合成システム１０は、それぞれが合成装置１２に結合されている複数のビデオレコーダ１６を含むことができる。例えば、合成装置１２に複数のビデオカメラを結合することができる。さらに、ビデオレコーダ１２は、合成装置１２の内部にすることも外部にすることもできる。

合成システム１０はまた、ディスプレイ１８を含むことができる。ディスプレイ１８は、出力信号を、合成装置１２から受け取り、少なくとも１つのビデオ画像に変換する。例えば、一実施形態では、ディスプレイ１８は、ＲＣＡケーブルを介して合成装置１２に結合されたテレビを含む。他の実施形態では、ディスプレイ１８は、ビデオプロジェクタまたはモニタなどを含むことができ、前述のように、ビデオ信号の伝送を提供する任意の媒体を介して、合成装置１２に結合することができる。

本発明の他の実施形態では、ディスプレイ１８は、合成システム１０の１人または複数のユーザに指示またはデータを提供するために使用することもできる。例えば、ディスプレイ１８を介してメニュー選択またはコマンドプロンプトをユーザに表示することができる。さらに、ユーザが適切な行の詞を歌えるように支援するために、一般のカラオケマシンで使用されるようなダイアログプロンプトをディスプレイ１８上に表示することができる。

本発明の他の実施形態では、合成システム１０は、複数のディスプレイ１８を含むことができる。ディスプレイ１８は、合成装置１２の内部にすることも外部にすることもできる。例えば、合成装置１２は、ビデオ画像をユーザに表示する画面を含むことができる。このような画面は、ユーザが、外部のディスプレイを見る必要なしに、合成システム１０の最終出力に関する視覚的フィードバックを得ることを可能にする。

一実施形態では、合成システム１０は、合成装置１２による信号出力を格納するメディアストレージデバイス（図示せず）を含むことができる。例えば、合成システム１０は、ディスプレイ１８に送られる出力信号のコピーをデジタル形式で格納するように構成された、メモリを含むことができる。他の実施形態では、合成システム１０は、ディスプレイ１８の代わりにメディアストレージデバイスだけに信号を出力することができる。このような実施形態では、出力のビデオおよびオーディオコンテンツを後で他の装置で再生するために格納することができる。さらに他の実施形態では、メディアストレージデバイスを、ディスプレイ１８に含めることができる。

図２は、合成装置１２の一実施形態のブロック図を示す。合成装置１２は、ユーザが、画像を、事前記録されたビデオコンテンツなど第２のビデオ画像上に、リアルタイムで選択的にオーバーレイすることを可能にする。一実施形態では、合成装置１２は、制御回路２０、メモリ２２、ＤＶＤプレイヤ２４、マルチプレクサ２６、クロマキーミキサ２８、スイッチャ３０、およびユーザインターフェース３２を含む。

一実施形態では、合成装置１２のコンポーネントは、ハードウェアまたはファームウェアで実施されるロジックを含む、または例えばＣ＋＋などのプログラミング言語で書かれたソフトウェア命令のコレクションを含むモジュールである。ソフトウェアモジュールは、コンパイルされ、ダイナミックリンクライブラリにインストールされる実行可能プログラムにリンクされる、またはＢＡＳＩＣのようなインタプリタ言語で書くことができる。ソフトウェアモジュールは、他のモジュールまたはそれ自体から呼び出し可能である、かつ／または、検出されたイベントもしくは割込みに応答して起動可能であることは理解されよう。ソフトウェア命令は、ＥＰＲＯＭやＥＥＰＲＯＭなどのファームウェアに組み込むことができる。さらに、ハードウェアモジュールは、ゲートやフリップフロップのような結線論理ユニット、および／または、プログラマブルゲートアレイやプロセッサのようなプログラマブルユニットから構成されうる。例えば、一実施形態では、パーソナルコンピュータまたは他の同様の装置により、合成装置１２の機能の全部または一部を実装することができる。

合成装置１２のコンポーネントはまた、単一の筐体内にまとめる必要はないことも企図される。これらのコンポーネントは、いくつかのサブコンポーネントに分離することができ、あるいは、異なる位置にあり有線もしくは無線ネットワークまたはインターネットなどを介して互いに通信する、異なる装置に分離することができる。複数のコンポーネントは、単一のコンポーネントに組み合わせることもできる。本明細書に記載のコンポーネントは、より少数のモジュールにまとめることができることも企図される。１つのモジュールを、複数のモジュールに分離することもできる。

制御回路２０は、合成装置１２のコンポーネントの動作を管理する。一実施形態では、制御回路２０は、特定用途のマイクロプロセッサである。他の実施形態では、制御回路２０は、特定用途向け集積回路（ＡＳＩＣ）として実装することができる。さらに他の実施形態では、制御回路２０は、１つまたは複数のモジュールとして実装することができ、これらのモジュールは、１つまたは複数のプロセッサを実行するように構成することができる。これらのモジュールには、以下に限定されないが、ソフトウェアオブジェクト指向ソフトウェアコンポーネント、クラスコンポーネントおよびタスクコンポーネント、プロセス、メソッド、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、アプリケーション、アルゴリズム、テクニック、プログラム、回路、データ、データベース、データ構造、テーブル、配列、変数などのような任意のハードウェアまたはソフトウェアコンポーネントが含まれうる。

制御回路２０は、メモリ２２と通信する。メモリ２２は、例えば制御回路２０など他のコンピューティングデバイスまたはコンピュータプロセッサによってアクセスするためのコンピュータ命令およびデータを格納できる、バッファ、コンピューティングデバイス、またはシステムを含むことができる。一実施形態では、メモリ２２は、ＲＡＭ（ランダムアクセスメモリ）を含む。他の実施形態では、メモリ２２には、例えば、ＲＯＭ（読取り専用メモリ）、ＰＲＯＭ（プログラマブルＲＯＭ）、およびＥＥＰＲＯＭ（電気的消去可能プログラマブルＲＯＭ）など他の組み込まれたアクセス可能なメモリデバイスが含まれうる。他の実施形態では、メモリ２２には、フロッピーディスク、コンパクトディスク（ＣＤ）、ＺＩＰ（登録商標）ディスク、ＤＶＤ、またはリムーバブルドライブなどのリムーバブルメモリを含む。

一実施形態では、メモリ２２は、特定のメディアのコンテンツに関するデータまたは情報を含むデータファイルを格納する。一実施形態では、データファイルまたは関連するデータファイルのグループは、特定の映画または事前記録されたビデオの場面に特有の情報を含む。例えば、特定の映画のデータファイルは、その映画の固有のシリアル番号を使用することによって参照することができる。データファイルに含まれる情報は、ビデオ合成に適切なものとしてカタログされている特定の映画またはビデオのシーンまたは部分を、識別することができる。データファイルは、特定のキャラクタのダイアログプロンプトに関係するコンテンツ、メニューオプション、およびビデオ合成に使用可能なシーンに関係する他のデータを含むこともできる。

一実施形態では、データファイルは、後で合成プロセスに使用されうるビデオソースにおける特定のフレームまたはポイントを識別する参照情報を含む。例えば、一実施形態では、参照情報は、特定のキャラクタが出ている映画のシーンのフレームを識別するために、合成装置１２によって使用される。一実施形態では、参照情報は、合成プロセスで使用するための複数の信号をトリガするために使用することができる。例えば、参照情報は、開始ポイントと終了参照ポイントの両方を含むことができ、開始参照ポイントは、あるシーンへのキャラクタの登場のようなビデオソースにおける特定の特徴の開始を指し示し、終了参照ポイントは、そのシーンからキャラクタが去るときのような特定の特徴の終了を識別する。

本明細書で使用される用語「参照情報」は、広義の用語であり、その通常の意味で用いられ、また、限定されることなく、特定のメディアに関する情報を格納するまたは含む任意のタイプまたはタイプの組合せのデータを含む。例えば、上述のように、参照情報は、特定のキャラクタを含むシーンを識別する参照ポイントを含むことができる。ただし、参照情報は、このような参照ポイントに限定されない。本発明の他の実施形態では、参照情報は、オーディオビジュアル信号など特定のメディアにおいて含まれるまたは表現される、歌、特定のイベント、または特定の画像を表現する、コード、シンボル、または英数字情報などを含むことができる。

一実施形態では、データファイルをメモリ２２に格納することができる。例えば、メモリ２２に格納されるデータファイルは、スターウォーズなど特定の映画の個々のフレームに関係する情報を含むことができる。一実施形態では、スターウォーズに関連するプリプログラムされたデータファイルが、ビデオ合成のための背景シーンとして適切なものとして選択されている映画におけるシーンを識別する。データファイルは、ダースベイダー（登録商標）など特定のキャラクタが、いつ特定のシーンに存在するかを識別する。このデータファイル情報は、ユーザが、予め選択されたシーンのうちから選択することを可能にし、合成ビデオ信号を調整し作成する際に使用される制御回路２０による信号の生成を容易にする。データファイルは、メモリ２２にプリプログラムすることができる。他の実施形態では、データファイルは、ユーザによって後でメモリ２２に保存することができる。

他の実施形態では、データファイルは、メモリ２２に格納される必要がない。データファイルは、リアルタイムで生成する、オンザフライで生成する、外部のソースまたは装置から取り出すまたは受け取る、あるいは、合成装置１２自体によって生成することができる。例えば、特定のメディアについてのデータファイルは、インターネットからダウンロードする、または、リムーバブル記憶媒体から転送することができ、ユーザによってプログラムすることもできる。データファイルは、クローズドキャプション信号に埋め込むことも、あるいは、対応する映画を含むＤＶＤ上でボーナスマテリアルの部分などに保存することもできる。

メモリ２２は、制御回路２０の外部にあるものとして示されているが、本発明の他の実施形態では、メモリ２２は、制御回路２０の内部にすることもできる。例えば、メモリ２２は、制御回路２０内のキャッシュとして存在することができる。メモリ２２は、合成装置１２の外部とすることもできる。例えば、一実施形態では、メモリ２２は、外部ハードドライブを含む。メモリ２２はまた、データまたは情報を格納するための複数のメモリデバイスも含むことができる。

ＤＶＤプレイヤ２４は、合成装置１２のためのビデオソースの一実施形態である。ＤＶＤプレイヤ２４は、汎用ＤＶＤプレイヤとして機能し、ＤＶＤ上に格納されたビデオおよびオーディオコンテンツを、マルチプレクサ２６に出力する。ＤＶＤプレイヤ２４はまた、ＤＶＤのどのフレームが読み取られているかに基づいて、それ自体を調節するカウンタを含む。例えば、ＤＶＤカウンタは、ＤＶＤの各フレームを、ＤＶＤ上に格納されたメディアに関係する特有のタイムコードと関連付ける。このカウンタは、ＤＶＤプレイヤ２４が、ＤＶＤ上に格納されたビデオコンテンツの特有のフレームに、ジャンプし、それを識別し、またはそれを読み取ることを可能にする。ＤＶＤプレイヤ２４はまた、特定のＤＶＤに含まれるメディアコンテンツを識別するためにＤＶＤシリアル番号を読み取り、そのシリアル番号を制御回路２０に伝達することもできる。

ＤＶＤプレイヤ２４の機能は、制御回路２０によって制御することができ、この制御回路は、メモリ２２から適切なデータファイルをロードする。例えば、スターウォーズのＤＶＤが、ＤＶＤプレイヤ２４内に配置されると、ＤＶＤプレイヤは、ＤＶＤのシリアル番号を読み取り、この番号を制御回路２０に伝達する。制御回路２０は、メモリ２２に格納された適切なデータファイルを見つけるために、このシリアル番号を使用する。データファイルは、ＤＶＤのメディアコンテンツを、スターウォーズの映画であると識別し、さらに、どのシーンまたはフレームがＤＶＤプレイヤ２４によって再生されるべきかを識別する。このようにして、制御回路２０は、ＤＶＤプレイヤ２４の機能を管理することができる。

本発明の一実施形態では、ＤＶＤプレイヤ２４は、映画やビデオではないデータを含むＤＶＤも読み取る。例えば、一実施形態では、ＤＶＤプレイヤ２４は、いくつかの映画またはビデオに関連付けられたデータファイルを含むＤＶＤを読み取るために使用され、これらのデータファイルをメモリ２２にコピーすることができる。

図２を引き続き参照すると、外部ビデオソースなど他のビデオソースは、合成装置１２と通信することができる。一実施形態では、マルチプレクサ２６は、ＤＶＤプレイヤ２４のみならず複数の外部ソースから信号を受け入れるように構成されている。例えば、マルチプレクサ２６は、ＤＶＤプレイヤ２４、ケーブルネットワーク、アンテナ、および衛星から信号を受け取るように構成されているものとして図示されている。他の実施形態では、マルチプレクサ２６を、より少数または多数の信号を受け取るように構成することができる。例えば、インターネットを介してストリーミングビデオを受け取る、またはケーブルボックスからデータを受け取るように、マルチプレクサ２６を構成することができる。外部のＤＶＤプレイヤまたはＶＣＲから補助信号を受け取るように、マルチプレクサ２６を構成することもできる。

マルチプレクサ２６は、複数の入力信号のうちの１つを選択するように構成され、この選択は、制御信号に基づいている。一実施形態では、制御回路２０は、制御信号をマルチプレクサ２６に供給する。他の実施形態では、マルチプレクサ２６は、ＤＶＤがプレイヤに挿入されたとき、自動的にＤＶＤプレイヤ２４からの信号を選択し、ＤＶＤプレイヤ２４にＤＶＤが存在しないとき、他の使用可能な信号から信号を選択する。例えば、一実施形態では、ユーザは、ユーザインターフェース３２を介して選択を入力することができる。

図２に示されるように、マルチプレクサ２６の一実施形態は、選択された信号をクロマキー２８およびスイッチャ３０に出力する。本発明の他の実施形態では、他のスイッチング装置またはルータをマルチプレクサ２６の代わりに使用して、複数の入力信号のうちから選択を行い、選択した信号を他のコンポーネントに伝達する。本発明の他の実施形態では、マルチプレクサ２６は、他のビデオソースから信号を受け取ることができる。マルチプレクサ２６は、図２に示されるより多数または少数のビデオソースに結合することもできる。

本明細書で使用される用語「クロマキー」は、広義の用語であり、その通常の意味で用いられ、また、限定されることなく、ビデオ画像における少なくとも１つの色または色相が、除去されるまたは異なる画像によって置き換えられる、効果を作り出すために使用されるシステム、装置、またはプロセスを意味する。例えば、色分離オーバーレイとも呼ばれるクロマキー手法では、ミキサまたは同様の装置を利用して、あるビデオ画像における青または緑などの色を、他のビデオ画像の部分で置き換える。

クロマキーミキサ２８は、マルチプレクサ２６およびビデオレコーダ１６から信号を入力として受け取る。クロマキーミキサ２８は、これら２つの入力信号を処理して、出力コンポジット信号を形成し、出力コンポジット信号は、スイッチャ３０に伝達される。クロマキーミキサ２８はまた、制御回路２０およびユーザインターフェース３２から制御信号を受け取ることができる。

本発明の一実施形態では、クロマキーミキサ２８は、２つのビデオ信号の組合せを利用して１つの合成画像を作成する、特殊視覚効果を作り出すために使用される。詳細には、クロマキーミキサ２８は、合成画像を作成するために使用される場合、ビデオカメラによって取り込まれている場面などの１つのビデオソースからの対象が、ＤＶＤ上の映画など他のビデオソースからの場面に挿入されるように見える。クロマキーミキサ２８によるこのミキシングは、リアルタイムで達成することができる。

一実施形態では、クロマキーミキサ２８は、ビデオレコーダ１６によって取り込まれている画像のようなリアルタイム画像から、１つまたは複数のクロマ要素を抜き取ることによって、合成画像を作成する。クロマ要素は、予め選択されているまたはユーザによって選択された少なくとも１つの色を含み、この色は、ビデオで記録された画像に対する背景に使用される。リアルタイム信号を受け取った後、クロマキーミキサ２８は、ビデオで記録された画像からクロマ要素（背景）を除去し、ターゲット対象の画像のみを残す。

例えば、いわゆる「グリーンスクリーニング」では、ターゲット対象は、無地の緑のスクリーンの前に配置される。次いで、ビデオレコーダによってターゲット対象の画像が取り込まれ、信号としてクロマキーミキサ２８に送信される。クロマキーミキサ２８は、ビデオレコーダ信号からクロマ要素（緑）を抜き取る。これにより、リアルタイム画像がクロマ要素を含んでいた「空白」部分と共に、ターゲット対象の画像のみが残される。次いで、クロマキーミキサ２８は、抜き取られたつまり空白のリアルタイム画像の部分を、マルチプレクサ２６からのＤＶＤ上の映画のシーンを含む信号に含まれる画像の部分によって置き換える。この信号処理の結果、リアルタイム画像であるターゲット対象の画像は、映画または他の事前記録されたビデオ内に存在しているように見え、したがって、合成画像が形成される。言い換えれば、合成画像は、少なくとも２つのビデオ成分、すなわち、ビデオレコーダ信号の非クロマ要素部分からなる前景画像と、マルチプレクサ２６から受け取られる信号からなる背景画像から構成される。

この例では、クロマキーミキサ２８の一実施形態の機能を記述しているが、コンポジット信号を作成するために用いることができる他のプロセスが存在することは当業者には理解されよう。例えば、クロマキーミキサ２８は、リアルタイムビデオ信号のクロマ要素部分を、ビデオソース信号の部分に直接置き換えることができる。本発明の他の実施形態では、リアルタイムビデオ信号のクロマ要素部分は、クロマキーミキサ２８によって透明にされる。これにより、リアルタイムビデオ信号の非クロマ要素部分を、ビデオソース信号の上に重ねて、合成画像を作成することが可能になる。

上に挙げた例は、クロマ要素として緑を使用している本発明の実施形態を参照しているが、他の色を使用することもできる。例えば、青または赤をクロマ要素として指定することができる。さらに、同じ色の複数の陰影を、クロマ要素として識別することができ、それによりクロマキーミキサ２８による合成画像のより細かい調整が可能になる。例えば、本発明の一実施形態では、ユーザは、クロマ要素として色を指定することにより、ユーザが除去したいまたは透明にしたいリアルタイム画像の部分（または色）を選択することができる。

クロマキーミキサ２８は、様々な手法によって、上述のプロセスを実行することができる。例えば、本発明の一実施形態では、クロマキーミキサ２８は、デジタル処理を用いて、合成画像を作成する。他の実施形態では、クロマキーミキサ２８は、光学技術によって、あるいは当業者に周知のアナログリアルタイム回路を使用して、合成画像を作成することができる。さらに他の実施形態では、クロマキーミキサ２８は、色の代わりに画像の部分の輝度に基づいてビデオ合成を実行する、ルミナンスキーミキサを含む。

図２に示す本発明の実施形態では、クロマキーミキサ２８は、コンポジット信号をスイッチャ３０に出力する。スイッチャ３０はまた、マルチプレクサ２６の出力信号も受け取る。スイッチャ３０の機能は、複数の入力信号から単一の出力信号を選択することである。例えば、一実施形態では、スイッチャ３０は、マルチプレクサ２６からの信号とクロマキーミキサ２８からのコンポジット信号の間で選択をする。スイッチャ３０は、制御回路２０との通信に基づいてその決定を行う。特に、スイッチャ３０の動作は、開始および終了参照ポイントについての参照情報などのデータファイルに含まれる情報に基づいて、制御回路２０によって管理される。

一実施形態では、制御回路２０は、再生されている特定のビデオに対応するデータファイルに含まれる開始および終了参照ポイントによって、事前記録されたビデオの各フレームを相互参照する。再生されている特定のフレームにその値が関係するＤＶＤカウンタが、開始参照ポイントの値と一致または相関するとき、スイッチャ３０は、クロマキーミキサからコンポジット信号を選択するように自動的に指示される。その結果、ビデオレコーダ１６によって取り込まれているターゲット画像は、事前記録されたビデオシーンに、「挿入」または重畳される。ＤＶＤカウンタが、終了参照ポイントと一致または相関するとき、スイッチャ３０は、マルチプレクサ２６からの信号を選択するように自動的に指示され、したがって、ターゲット対象の画像から事前記録されたビデオシーンが除去される。

例えば、ユーザが、ＤＶＤプレイヤ２４によって再生されているスターウォーズのビデオクリップに、彼または彼女自身をダースベイダー（登録商標）の代わりに挿入したいと仮定する。最初に、ダースベイダー（登録商標）のビデオの場面に関係する情報を含む映画スターウォーズについてのデータファイルが、制御回路２０によってアクセスされる。ダースベイダー（登録商標）のビデオの場面を含んでいないフレームの期間では、（ＤＶＤプレイヤ２４から来る）マルチプレクサ２６からの信号が、スイッチャ３０によって選択され、この信号は、ディスプレイ１８によって表示されうる。ディスプレイ１８の視聴者は、スターウォーズの映画の通常の場面を見ることになる。マルチプレクサ２６からの信号は、制御回路２０がスイッチャ３０にクロマキーミキサからのコンポジット信号を選択するように指示するまで、スイッチャ３０によって選択される。このコンポジット信号への切替えは、ダースベイダー（登録商標）のビデオの場面が、ビデオソース信号に含まれるときに行われる。制御回路２０は、データファイルの関連する開始および終了参照ポイントを相互参照することにより、ダースベイダー（登録商標）を含む場面を識別することができる。開始参照ポイントは、ダースベイダー（登録商標）がシーンに入る時点または時間を識別する。その結果、開始参照ポイントが、映画における特定の時点またはフレームを識別するＤＶＤカウンタと一致または相関するとき、制御回路２０は、スイッチャ３０に、クロマキーミキサ２８からのコンポジット信号を出力として選択するように指示する。ディスプレイ１８上にダースベイダー（登録商標）が見える代わりに、視聴者は、その位置に、ビデオレコーダ１６によって取り込まれているリアルタイムターゲット対象の画像を見る。

終了参照ポイントは、ダースベイダー（登録商標）が映画のシーンから去るときの映画における時点または時間を識別する。終了参照ポイントがＤＶＤカウンタと一致または相関すると、次いで、制御回路２０は、スイッチャ３０に、マルチプレクサ２６からの信号を出力として選択するように指示する。その結果、ビデオレコーダ１６によって取り込まれているターゲット画像は、ディスプレイ１８に表示されない。

したがって、参照情報は、本発明の一実施形態では、ビデオソース１４からの信号とクロマキーミキサ２８からのコンポジット信号の間の切替えプロセスを自動的に制御するために使用される。例えば、本発明の実施形態では、参照情報は、映画において特定のキャラクタが存在することに対応する、または、事前記録された画像にリアルタイムターゲット画像を重畳することが所望される他のポイントを示す、開始および終了参照ポイントを含む。データファイルの参照情報は、マルチプレクサ２６およびビデオレコーダ１６から受け取った信号のオーディオ成分を管理する。例えば、一実施形態では、制御回路２０は、スイッチャ３０に、（１）マルチプレクサ２６からの信号のオーディオ成分のみを出力信号に含める、（２）ビデオレコーダ１６からの信号のオーディオ成分のみを出力信号に含める、または、（３）マルチプレクサ２６からの信号とビデオレコーダ１６からの信号の両方のオーディオ成分を出力信号に含めるように指示する。

他の実施形態では、参照情報は、カラオケファイルにおいて使用されるような音声プロンプトの表示を管理するためにも使用される。例えば、参照情報は、キャラクタがシーンに入るとき、特定のキャラクタに対する音声プロンプトをいつ表示するかを指し示すことができる。参照情報はまた、特定のキャラクタに対する音声プロンプトをいつ除去するまたは非表示にするかを指し示すこともできる。本発明のこのような実施形態では、ビデオソースのビデオ成分またはオーディオ成分に対応する参照情報と同じファイル、または別個のデータファイル形式に、音声プロンプトに対応する参照情報を配置することができる。

本明細書では、用語「開始参照情報」および「終了参照情報」は、合成システム１０の機能を記述するために用いられているが、開始および終了参照ポイントは、構造的および機能的に等価でありうることは当業者には理解されよう。例えば、一実施形態では、データファイルに格納された参照ポイントは、開始参照ポイントまたは終了参照ポイントとして識別されない。参照ポイントは、どのような状態において事前にスイッチャが動作していても、スイッチャ３０にその状態を変更させる信号を出力するために、制御回路２０によって使用されうる。

引き続き図２を参照すると、図示された合成装置１２の実施形態は、ユーザインターフェース３２を含んでいる。ユーザインターフェース３２は、ユーザから入力を受け入れる、かつ／またはユーザに情報を伝える、任意のインターフェースを含む。一実施形態では、ユーザインターフェース３２は、クロマキーミキサ２８および制御回路２０に結合される。他の実施形態では、ユーザインターフェース３２は、合成装置１２のより多数または少数のコンポーネントに結合することもできる。例えば、ユーザインターフェースは、制御回路２０を使用せずにＤＶＤの動作を制御するために、ＤＶＤプレイヤ２４に直接結合することができる。

ユーザインターフェース３２の一実施形態が、図３に示されている。ユーザインターフェース３２は、ＤＶＤプレイヤ２４のフロントトレイ部分、ディスプレイ４０、編集コントロール４２、トリミング／クロマコントロール４４、およびカメラ入力ディスプレイ４６を含む。本発明の他の実施形態では、ユーザインターフェース３２は、より多数または少数のコンポーネントを含むことができる。例えば、ユーザインターフェース３２は、ディスプレイ４０なしで、または編集コントロール４２なしで動作することができる。

ディスプレイ４０は、合成装置１２の動作に関する情報をユーザに伝える。例えば、ディスプレイ４０は、挿入されたＤＶＤのトラックに関する（時間またはフレーム番号による）情報、クロマカラー選択、（置換のために使用可能なフィルムタイトルまたはトラック／シーンなどの）データファイル、およびユーザを支援するための他の情報を表示することができる。一実施形態では、ディスプレイ４０は、発光ダイオード（ＬＥＤ）ディスプレイである。他の実施形態では、ディスプレイ４０は、液晶ディスプレイ（ＬＣＤ）である。ディスプレイ４０は、グラフィックス、文字、または双方の使用によって情報を伝えることができる。

トリミング／クロマコントロール４４は、ユーザが、ビデオレコーダ１６によって取り込まれているビデオ画像をリアルタイムで修正することをユーザにできるようにすることを可能にし、それにより、画像が挿入される事前記録されたビデオシーンに画像が適合する。一実施形態では、トリミング／クロマコントロール４４は、ユーザが、取り込まれたビデオ画像から抜き取られる１つまたは複数のクロマ要素を選択することを可能にする。このような選択は、特定の色の名前を選択することによって、あるいは、ユーザインターフェースディスプレイ４０または外部ディスプレイ１８上に表示される色の視覚表現を選択することによって行うことができる。

トリミング／クロマコントロール４４はまた、ユーザが、取り込まれたビデオ画像を切り取ることを可能にし、それにより、ビデオ画像が、事前記録された背景画像に「フィット」する。これらのコントロールは、ターゲット対象のサイズを、ターゲット対象が重畳される事前記録されたシーンにおける他のオブジェクトと釣り合うように調整するために、ターゲット対象をズームインまたはズームアウトするために使用される。

本発明の他の実施形態では、取り込まれたビデオを修正するための他のコントロールを含むことができる。例えば、ユーザインターフェース３２は、取り込まれたビデオのカラーレベルを調節する彩度コントロールを含むことができる。これにより、カラー画像が、黒および白の背景に溶け合うように調節することが可能になる。

カメラ入力ディスプレイ４６は、合成装置１２に接続され、処理するビデオを取り込むために使用可能なビデオレコーダ１６を識別する。例えば、複数のビデオレコーダ１６が、合成装置１２に結合された場合、カメラ入力ディスプレイ４６の複数のライトが点灯されうる。本発明の他の実施形態では、カメラ入力ディスプレイ４６は、いつ、ビデオレコーダ１６の１つによって取り込まれているビデオが、処理されてディスプレイ１８に出力されるかを識別する。本発明の他の実施形態では、ユーザインターフェース３２は、カメラ入力ディスプレイ４６を含んでいない。

一実施形態では、ユーザインターフェース３２はまた、一般にＣＤ／ＤＶＤプレイヤ上に見られるコントロールを含む。例えば、ユーザインターフェースは、マシンをオン／オフにする電源ボタン４８を含む。ユーザインターフェースはまた、再生、巻戻し、早送り、停止、一時停止、および取出しなどの、ＤＶＤプレイヤ２４の動作を制御するために使用されるＤＶＤ／ＣＤコントロール５０を含む。

一実施形態では、ユーザインターフェース３２はまた、リモートコントロール入力（図示せず）を含む。リモートコントロール入力は、１つまたは複数のリモート制御装置からユーザインターフェース３２に送信される命令またはデータを受け入れることができる。これらの命令は、ユーザインターフェース３２上に存在するコントロールに対応することも、あるいは、ユーザが合成装置１２の動作を管理することを可能にする、より多数または少数の命令を含むこともある。

図３は、ユーザインターフェース３２の一実施形態を示しているが、他の実施形態において他のタイプのユーザインターフェースを使用することもできる。例えば、ユーザインターフェース３２は、ユーザに情報を表示するともに、ユーザから入力を受け入れるタッチスクリーンを含むことができる。他の実施形態では、ユーザインターフェース３２は、音声認識によって命令を受け入れることも、あるいは、ユーザから入力を受け入れるキーボードやパーソナルコンピュータなど他のシステムまたは装置に結合されることもある。さらに他の実施形態では、合成装置１２は、ユーザインターフェース３２なしに動作する。このような実施形態では、ユーザインターフェースは、ディスプレイ１８に組み込むことができる。例えば、ディスプレイ１８は、画面上の指示をユーザに表示する、あるいは、ユーザによって入力されたコマンドを受け入れることができる。

図２の合成装置の実施形態において示されるように、制御回路２０は、ディスプレイ１８に出力される信号の内容を管理する。一実施形態では、スイッチャ３０の出力が、制御回路２０に結合される。このような実施形態では、制御回路２０は、スイッチャ３０からの信号を出力することを選択するか、あるいは、メモリ２２に格納された他のビデオコンテンツを出力することができる。例えば、一実施形態では、事前記録されたシーンがメモリ２２に格納され、ユーザからの入力により、制御回路２０は、スイッチャ３０からの信号の代わりに、これらのシーンを出力する。他の実施形態では、制御回路２０は、字幕またはダイアログプロンプトなどの情報を、スイッチャ３０からの信号にオーバーレイする。本発明のさらに他の実施形態では、スイッチャ３０の出力は、制御回路２０による介入なしにディスプレイ１８に結合される。

本発明のさらに他の実施形態では、合成装置１２は、外部システムまたは装置とのインターフェースとなる入出力ポート（図示せず）を含む。例えば、合成装置１２は、パーソナルコンピュータまたはハンドヘルドデバイスからデータファイルをダウンロードするために使用することができる、シリアルポート、ユニバーサルシリアルバス（ＵＳＢ）、またはＦｉｒｅＷｉｒｅポートなどを含むことができる。

図４は、合成装置１２が複数のビデオレコーダからの入力を受け取るように構成された、本発明の実施形態のブロック図である。図４に見ることができるように、合成装置１２は、図２に示される合成１２の実施形態と同じコンポーネントを含む。図４の合成装置１２は、さらに、第２のクロマキーミキサ５４および第２のスイッチャ５６を含む。

一実施形態では、第２のクロマキーミキサ５４は、第１のクロマキーミキサ２８と同様に機能する。詳細には、第２のクロマキーミキサ５４は、マルチプレクサ２６、第１のクロマキーミキサ２８、および第２のビデオレコーダ１６からの信号を入力として受け取る。第２のクロマキーミキサ５４はまた、制御回路２０からの命令を受け取る。第１のクロマキーミキサ２８と同様に、第２のクロマキーミキサ５４は、第２のビデオレコーダなどによって取り込まれたリアルタイム画像から、クロマ要素を除去し、修正したリアルタイム画像を他の信号と組み合わせてコンポジット信号を形成する。２つのビデオレコーダを有する一実施形態では、第２のクロマキーミキサ５４は、第２のビデオレコーダによって取り込まれたリアルタイム画像を、マルチプレクサ２６からの事前記録されたビデオ、または、クロマキーミキサ２８によって出力されたコンポジット信号と組み合わせることができる。次いで、第２のクロマキー５４は、第２のコンポジット信号を、第２のスイッチャ５６に出力する。

他の実施形態では、第２のクロマキーミキサ５４は、合成装置１２の外部とすることができる。さらに他の実施形態では、第２のクロマキーミキサ５４の一部を合成装置１２の外部とし、第２のクロマキーミキサ５４の一部を合成装置１２の内部とすることができる。

第２のスイッチャ５６は、第１のスイッチャ３０と同様に機能する。一実施形態では、第２のスイッチャ５６は、第１のスイッチャ３０からの信号および第２のクロマキーミキサ５４からの信号を入力として受け取る。第２のスイッチャ５６は、制御回路２０から受け取った命令に基づいて、これらの入力の間で選択をする。第２のスイッチャ５６は、制御回路２０またはディスプレイ１８に信号を出力することができる。本発明の一実施形態では、第２のスイッチャ５６の出力信号の内容は、（１）マルチプレクサ２６からの事前記録された信号、（２）第１のビデオレコーダからの画像の部分を有する、第１のクロマキーミキサ２８からのコンポジット信号、（３）第２のビデオレコーダからの画像の部分を有する、第２のクロマキーミキサ５４からの第２のコンポジット信号、または、（４）第１のビデオレコーダからの画像の部分および第２のビデオレコーダからの画像の部分を有する、第２のクロマキーミキサ５４からの第２のコンポジット信号とすることができる。

次に、ビデオ合成システムの一実施形態の動作を記述する。図５は、対話的ビデオ合成プロセス１００の一実施形態を示す。合成プロセス１００は、状態１０５から開始する。状態１０５で、ユーザは、最終の合成画像に対する背景画像として使用したいビデオソースを選択する。例えば、ユーザは、お気に入りの映画をＤＶＤプレイヤ２４に挿入することができる。

ユーザが特定のビデオソースを選択した後、合成プロセス１００は、状態１１０に進む。状態１１０で、ビデオソースに関連するデータファイルが、合成装置１２によってアクセスされる。例えば、ＤＶＤがＤＶＤプレイヤ２４に挿入されたとき、ＤＶＤのシリアル番号は、制御回路２０に伝達され、制御回路２０は、シリアル番号を使用して、適切な事前記録されたデータファイルを識別しそれにアクセスする。データファイルは、クロマキー置換に適切にカタログされている、ＤＶＤ上に記録されたシーンを識別する。本発明の一実施形態では、適切なシーンは、合成装置１２のメモリ２２に格納されたデータファイルによって識別される。これらのデータファイルは、メモリ２２にプリプログラムする、他のソースからダウンロードまたは保存する、あるいは、選択されたＤＶＤ上でＤＶＤのボーナスマテリアル部分などに保存することができる。一実施形態では、クロマキー置換に使用可能なものとしてカタログされたシーンは、一般に、ユーザが彼または彼女自身の画像を代わりに置き換えるキャラクタのビデオの場面を含む。一実施形態では、データファイルはＤＶＤのどのシーンが特定のキャラクタのビデオの場面を含むかを識別する参照情報を含む。

使用可能なシーンは、ユーザインターフェース３２のディスプレイ４０などを介してユーザに伝達される。他の実施形態では、ディスプレイ１８のような外部ディスプレイを介して使用可能シーンを伝達することができる。状態１１５で、ユーザは、ユーザがリアルタイム画像を重畳または挿入したい使用可能シーンを選択する。一実施形態では、ユーザは、リモートコントロールなどのユーザインターフェース３２を介して選択を行う。

ユーザが使用可能シーンを選択した後、合成プロセス１００は、状態１２０に進む。状態１２０で、ビデオレコーダ１６を使用して、ターゲット画像を取り込む。このターゲット画像は、リアルタイムでビデオソースからのシーンにオーバーレイまたは挿入するために使用される画像である。ターゲット画像は、均等に明るくされた無地の色の背景の前に配置されることが好ましく、背景の色は、クロマ要素を表している。例えば、選択されたクロマ要素が緑である本発明の一実施形態では、ターゲット画像は、「グリーンスクリーン」の前に配置される。ビデオソースのシーンとの合成画像を形成するときに後で背景を「除去」することを可能にする、他の色またはタイプの背景を使用することもできる。

一実施形態では、ビデオカメラは、ターゲット画像を取り込み、その画像を、合成装置１２のクロマキーミキサ２８に入力される信号に変換するために利用される。ビデオ画像とともに、オーディオ信号も、ビデオカメラによって記録され、合成装置１２に入力されることを理解されたい。

合成装置１２のクロマキーミキサ２８は、前述したプロセスを通して合成画像を作成する。一実施形態では、クロマキーミキサ２８は、ビデオカメラによって取り込まれた画像からクロマ要素を除去して、ターゲット画像のビデオ画像のみを残す。次いで、ビデオソースからの画像の対応する部分が、ビデオで記録された画像の除去された部分を埋めるために使用され、したがって、ターゲット画像が、ビデオソースからのシーンに挿入されたように見える合成画像が形成される。

他の実施形態では、取り込まれたビデオ画像のクロマ要素部分が、デジタル処理などによって透明にされ、ターゲット画像のみが残る。次いで、修正済みのビデオで取り込まれた画像は、ビデオソース画像上に重ねられる。結果として、最上位レイヤのターゲット画像の下に位置する背景ビデオソース画像の部分は、合成画像の表示において見えない。しかし、最上位レイヤの透明部分（クロマ要素を含んだ部分）の下に位置する背景ビデオソース画像の部分は、見ることができる。

次いで、合成プロセス１００は、状態１２５に移動する。状態１２５で、出力画像として、ビデオソース画像を選択するかあるいは合成画像を選択するかが決定される。一実施形態では、出力画像の選択は、スイッチャ３０によって決定される。この選択の制御は、事前記録されたデータファイルを使用して、自動的に（ユーザとの対話なしに）合成装置１２によって行うことができ、あるいは、ユーザが、ユーザインターフェース３２を介してスイッチャ３０の動作を制御することができる。例えば、制御回路２０は、データファイルに含まれる開始および終了参照ポイントに基づいて、スイッチャ３０に、ビデオソース画像をいつ出力するかと、ビデオソース画像上にオーバーレイされたターゲット画像を有する合成画像をいつ出力するかを指示する。他の実施形態では、ユーザが、手動でこのような切替えをいつ行うかを制御することができる。このような手動制御により、ユーザが所望のシーンまたは特殊効果をより自由に作成することが可能になる。

状態１２５において、スイッチャ３０が合成画像を選択するように指示された場合、合成プロセス１００は、状態１３０に移動する。状態１３０で、合成画像が、ディスプレイ１８に表示される。ディスプレイ１８の視聴者には、ビデオソースの事前記録された場面に挿入されたリアルタイムターゲット画像が見られる。例えば、視聴者は、ＤＶＤプレイヤ２４で再生される映画におけるキャラクタに取って代わっているターゲット画像を見ることができる。状態１３０の後、合成プロセス１００は、状態１４０に移動する。

状態１２５において、スイッチャ３０が、ビデオソース画像を選択するように指示された場合、合成プロセス１００は、状態１３５に移動する。状態１３５で、ビデオソースからの画像は、ディスプレイ１８に表示される。状態１３５の後、合成プロセス１００は、次いで状態１４０に進む。

状態１４０で、プリプログラムされたデータをビデオソース画像または合成画像の代わりに表示するかどうかを決定する。このようなプリプログラムされたデータは、例えば、メモリ２２に格納された事前記録されたシーンを含むことができる。一実施形態では、事前記録されたシーンは、表示されるシーンをよりインタラクティブに見えるようにする、またはより生き生きとしているように見せるために、ユーザが挿入することを望みうるビデオクリップを含む。例えば、判定者からの様々な形態のフィードバックを有する事前記録されたビデオクリップを、ターゲット対象が（ディスプレイ１８の視聴者によって観察された）シーンを実演した後に、挿入することができる。一実施形態では、異なるビデオクリップが、視聴者によって与えられた入力に基づいて表示するために選択される。

プリプログラムされたデータが表示される場合、合成プロセス１００は、状態１４５に移動する。状態１４５で、プリプログラムされたデータは、ディスプレイ１８に伝達される。一実施形態では、制御回路２０が、どの信号をディスプレイ１８に伝達するかを管理する。他の実施形態では、マルチプレクサまたは他の同様の装置が、どの信号をディスプレイ１８に出力するかを選択するために使用されうる。プリプログラムされたデータが表示される時間の長さは、ユーザによって直接制御することも、例えば特定のビデオクリップの終了までの時間の長さに設定することもできる。状態１４５の完了後、合成プロセス１００は、状態１４０に戻る。プリプログラムされたデータが表示されない場合、合成プロセス１００は、状態１２５に戻り、ビデオソース画像を表示するかあるいは合成画像を表示するかを決定する。

図５に示される合成プロセス１００は、合成システム１０の機能の一例に過ぎないことは当業者には理解されよう。例えば、本発明の他の実施形態では、合成プロセス１００は、より多数または少数の状態を含むことができ、あるいは、状態を異なる順序で組み合わせるまたは実行することもできる。例えば、オーディオ信号とビデオ信号の別個の制御を示す追加の状態を、追加することができる。他の実施形態では、プリプログラムされたデータを、合成プロセス１００の開始の際に、あるいは再生のための特定のビデオソースを選択してから表示することができる。

合成システム１０は、ユーザの対話を可能にするように用意に適合されたプリプログラムされたビデオについて特に有用でありうる。例えば、合成プロセス１００の実施形態をさらに説明するのを助けるために、テレビタレント番組Ａｍｅｒｉｃａｎ Ｉｄｏｌから記録されたシーンを有するＤＶＤをユーザが選択すると仮定する。ＤＶＤのビデオセグメントに対応するデータファイルは、合成装置１２のメモリ２２に格納される。ＤＶＤの挿入後、ユーザの対話のために使用可能なシーンのオプションがユーザに提供される。例えば、ユーザは、ユーザが判定者または観衆の前で「演じる」ことができる様々なシーンを選択するためのオプションを有することができる。

ユーザインターフェース３２を介して、ユーザは、ビデオ合成のためのシーンを選択する。例えば、ユーザは、判定者の前で歌を歌うことにより出場者が演じているシーンを選ぶことができる。ユーザの画像がＡｍｅｒｉｃａｎ Ｉｄｏｌの場面に入れられ、置き換えられるユーザは、背景の役割をする緑のスクリーンとともに、ビデオレコーダ１６の前に配置される。次いで、この個人は、彼または彼女がＡｍｅｒｉｃａｎ Ｉｄｏｌの番組に実際に参加しているかのように演じ、この個人の演技は、ビデオレコーダ１６によって取り込まれ、合成装置１２へ伝達される信号に変換される。

ディスプレイ１８は、Ａｍｅｒｉｃａｎ Ｉｄｏｌの番組のビデオおよびオーディオを示す。実際の番組の参加者の場面を通常含むＡｍｅｒｉｃａｎ Ｉｄｏｌのシーンの期間に、ビデオレコーダ１６によって記録されているこの個人の画像が、リアルタイムで実際の参加者の代わりに置かれる。その結果、ディスプレイ１８の視聴者には、この個人がＡｍｅｒｉｃａｎ Ｉｄｏｌの番組に参加しているように見える。画像の置換のタイミングは、データファイルに記録された参照情報によって前述のプロセスで決定される。さらに、ユーザは、どの画像をディスプレイ１８に出力するかを手動で制御することもできる。

ビデオレコーダ１６によって取り込まれたオーディオ信号も、ディスプレイ１８を介して出力される。ビデオ信号と同様に、ビデオで記録された場面のリアルタイムオーディオ信号の置換は、Ａｍｅｒｉｃａｎ Ｉｄｏｌのシーンにおける参加者が演じているまたは歌っているときのような適切なポイントで行うことができる。オーディオの置換は、ビデオの置換と同じ時間に行われる必要はない。例えば、参加者の音声を含むが参加者のビデオ画像を含んでいない、Ａｍｅｒｉｃａｎ Ｉｄｏｌの場面の部分が存在しうる。オーディオ信号の置換は、やはり、データファイル情報に基づいて合成装置１２によって自動的に制御する、かつ／または、ユーザによって手動で制御することができる。

実演の後、視聴者は、番組に挿入されている個人の実演を評価するオプションを有する。これらの視聴者の評価は、Ａｍｅｒｉｃａｎ Ｉｄｏｌでの判定者からのフィードバックを有する事前記録されたビデオクリップの表示を選択するために使用することができる。例えば、良い評価、悪い評価、および平均の評価の事前記録されたビデオクリップを、合成装置１２のメモリ２２に格納することができる。次いで、視聴者は、実演についての彼らの意見を、ユーザインターフェース３２と通信するリモートコントロールなどを介して入力するオプションを有する。視聴者が、個人による実演を概して悪く評価した場合、合成装置１２は、判定者が批判的な実演を含むビデオクリップの再生を選択する。一方、ユーザが、実演を概して良く評価した場合、合成装置１２は、判定者から良好なフィードバックを得たビデオクリップの再生を選択する。

本発明の他の実施形態では、上述のＡｍｅｒｉｃａｎ Ｉｄｏｌの番組は、ＤＶＤを使用することなく、合成装置１２のメモリ２２に完全に格納される。さらに他の実施形態では、合成装置１２は、ユーザに適切な音声プロンプトを表示するモニタを含み、このプロンプトは、Ａｍｅｒｉｃａｎ Ｉｄｏｌの番組の部分に対応する。例えば、合成装置１２は、ファイルを読み取り、また音声プロンプトを有する表示を出力する、ＣＤ＋Ｇ入力またはプレイヤを含むことができる。

本明細書に記載の実施形態は、一般に、映画およびテレビ番組などのソースとのリアルタイム合成に関係しているが、本発明の他の実施形態では、ビデオ、オーディオ、またはその組合せの任意のソースを使用することができる。例えば、本発明の他の実施形態では、合成装置は、ビデオゲームシステムからビデオまたはオーディオ入力を受け入れることができる。それにより、ユーザが、彼または彼女自身をビデオゲームに「挿入」し、ゲームの中のオブジェクトと対話することが可能になる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したに過ぎず、本発明の範囲を限定するものではない。実際、本明細書に記載の新規の方法およびシステムは、他の種々の形態で実施することができ、さらに、本明細書に記載の方法およびシステムの形態に関して、本発明の趣旨から逸脱することなく、種々の省略、置換、および変更を行うことができる。

本発明の一実施形態による、リアルタイムビデオ合成システムを示す図である。 合成装置の一実施形態を示すブロック図である。 合成装置の一実施形態のユーザインターフェースを示す図である。 ２つのビデオレコーダから入力を受け取るように構成された合成装置の一実施形態を示すブロック図である。 対話型ビデオ合成プロセスの一実施形態を示す流れ図である。

Claims (9)

1. リアルタイム対話式娯楽システムであって、
   少なくとも２つのオリジナルキャラクタを含んでいる映画シーンを表す、多数のフレームを含むビデオコンテンツを有する第１のビデオ信号を受け取るように構成された第１の入力と、
   参加者のリアルタイムビデオ映像を有する第２のビデオ信号を受け取るように構成された第２の入力と、
   前記第１の入力と前記第２の入力に結合されたクロマキーミキサであって、前記第１のビデオ信号の部分と前記第２のビデオ信号の部分とを含む合成信号を出力するように構成され、前記第２のビデオ信号の部分は前記参加者のリアルタイムビデオ映像を含んでおり、前記合成信号は、前記参加者のリアルタイムビデオ映像を前記映画シーンの中に、該映画シーンのオリジナルキャラクタの少なくとも１つを置き換えるように該オリジナルキャラクタの少なくとも１つに代えて表示させるよう構成されている、クロマキーミキサと、
   前記第１のビデオ信号に関連するデータファイルを記録するメモリであって、
   該データファイルは、
   前記少なくとも１つのオリジナルキャラクタが前記映画シーンに入る、前記複数のフレームの第１のフレームを識別する第１の参照データ、
   前記少なくとも１つのオリジナルキャラクタが前記映画シーンから出る、前記複数のフレームの第２のフレームを識別する第２の参照データ、および、
   前記少なくとも１つのオリジナルキャラクタが前記映画シーンに再び入る、前記複数のフレームの第３のフレームを識別する第３の参照データを含んでいる、メモリと、
   前記データファイルに基づいて前記合成信号を出力することと前記第１のビデオ信号を出力することの間で選択をするスイッチャであって、
   前記第１の参照データによって識別された時に前記合成信号を出力し、これにより、前記参加者が前記映画シーンの中に前記オリジナルキャラクタの少なくとも１つに代わって入り、
   前記第２の参照データによって識別された時に前記第１のビデオ信号を出力し、これにより、前記参加者が前記映画シーンから出て、
   前記第３の参照データによって識別された時に前記合成信号を出力し、これにより、前記参加者が前記映画シーンに前記少なくとも１つのオリジナルキャラクタに代わって再び入る、スイッチャと、
   を含む、リアルタイム対話式娯楽システム。
2. 前記スイッチャの前記出力信号はディスプレイに伝達される、請求項１に記載のシステム。
3. 前記スイッチャはリアルタイムで自動的に前記選択を行う、請求項１に記載のシステム。
4. 前記映画シーンがムービーのシーンを含んでいる、請求項１に記載のシステム。
5. 前記第１および第２の入力の少なくとも１つが、それぞれ、インターネットを介して前記第１または第２のビデオ信号を受け取るように構成されている、請求項１に記載のシステム。
6. 複数の信号の表示を調整するための方法であって、
   少なくとも１つのオリジナルキャラクタを含んでいるシーンを表すビデオコンテンツを有する第１の信号を受け取るステップと、
   参加者のリアルタイムビデオ映像を有する第２の信号を受け取るステップと、
   前記第１の信号の部分と前記第２の信号の部分とを含む合成信号であって、前記参加者のリアルタイムビデオ映像を前記映画シーンの中に、該映画シーンのオリジナルキャラクタの少なくとも１つを置き換えるように該オリジナルキャラクタの少なくとも１つに代えて表示させるよう構成されている、合成信号を形成するステップと、
   前記第１の信号の部分に対応する参照データであって、前記少なくとも１つのオリジナルキャラクタが前記シーンに入る第１のフレームを識別する第１の参照データ、前記少なくとも１つのオリジナルキャラクタが前記シーンから出る第２のフレームを識別する第２の参照データ、および、前記少なくとも１つのオリジナルキャラクタが前記シーンに再び入る第３のフレームを識別する第３の参照データを有する参照データを受け取るステップと、
   前記第１の信号を表示することと前記合成信号を表示することの間で切替えをするステップであって、
   該切替えのタイミングは、
   前記第１の参照データによって識別された第１の時に前記合成されたビデオ映像が選択され、これにより、前記少なくとも１つのオリジナルキャラクタが前記シーンの中に現れる時に該オリジナルキャラクタに代わって前記参加者が前記シーンの中に現れ、
   前記第２の参照データによって識別された第２の時に前記第１の信号が選択され、これにより、前記シーンの中から前記参加者がもはや現れなくなり、
   前記第３の参照データによって識別された第３の時に前記合成信号を出力し、これにより、前記参加者が前記少なくとも１つのオリジナルキャラクタに代わって再び現れる、ように前記参照データに基づいている、ステップと、
   を備える方法。
7. 前記第２の信号を受け取るステップは、ネットワーク経由で前記第２の信号を受け取る、請求項６の方法。
8. 第２の参加者の、第２のリアルタイムビデオ信号を含む第３の信号を受け取るステップをさらに有する、請求項６の方法。
9. 前記合成されたビデオ信号が、第１の信号の一部と、第２の信号の一部と、第３の信号の一部とを有する、請求項８の方法。

Images