JP4668500B2 - リアル・タイムで画像をビデオに挿入する方法および装置 - Google Patents

Description

【０００１】
（関連出願）
本願は、″ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＲＥＡＬ ＴＩＭＥ ＩＮＳＥＲＴＩＯＮ ＯＦ ＩＭＡＧＥＳ ＩＮＴＯ ＶＩＤＥＯ″（リアル・タイムで画像をビデオに挿入する方法および装置）と題し、１９９９年１１月８日に出願された、同時係属中の米国予備特許出願第６０／１６４，３１３号の優先権を主張する。その開示内容は、この言及により本願にも含まれるものとする。
【０００２】
（発明の技術分野）
本発明は、一般的に、リアル・タイムで画像をビデオ画像ストリームに挿入し、当該画像が元のビデオ画像ストリームの一部であるかのように見せる分野に関する。
【０００３】
（発明の背景）
広告のように、静的および動的画像をリアル・タイムでビデオに挿入するシステムや方法が多く提案されている。Sciamma Dominique に発行された一参考文献、ＦＲ−Ａ−２７３０８３７号は、カメラ・サブシステムを駆動する動き制御システムを装備したカメラ・サブシステムを必要とする。この動きは、数学的に、カメラの移動、光学系の状態、および場面における物体の距離を特徴化する。動き制御システムはカメラの移動を指揮するので、それが制御する各カメラの状態がリアル・タイムでわかり、空間内におけるカメラの位置は、イベントが行われる前にわからなければならない。オクルージョンを考慮にいれると、画像をビデオにリアル・タイムで挿入するのは、複雑なプロセスであり、選手の陰に隠れてしまうパネルが常に変化するスポーツ・イベントのようなイベントの間、正確な測定およびリアル・タイムの応答が要求される。あいにく、 Sciamma Dominique は、その特許請求した発明を理解したり実施するために必要な詳細について、全く教示も示唆もしていない。加えて、本発明は、動き制御システムによってカメラを制御し、それによって移動を駆動する必要がない。代わりに、本発明は、人間のカメラ操作者によって生ずる実際の移動を監視する。別の参考文献として、ＷＯ−Ａ−９７ ０９８２２号（「ＯＲＡＤ出願」）は、その「装置が、さらに、少なくとも１つのクロマキー・カラーを検出するように動作するクロマキー・ユニットを含み、このクロマキーをクロマキー面のカラーに適合するように調節可能である」ことを必要とする。この技法は、ブルー・スクリーニング（ blue-screening ）として知られており、多くの場合、かかる照明が制御されていないスポーツ・イベントのようなイベントにおいて、非常に手間のかかるオクルージョンをリアル・タイムで処理する際の精度が低い。これら従来技術のシステムおよび方法には、種々の欠点や問題があり、その多くは、dicicco,etal.の米国特許第５，８９２，５５４号に詳細に記載されている。
【０００４】
ＤｉＣｉｃｃｏ，ｅｔ ａｌ．が開示したものを含む最新のシステムおよび方法は、パターン認識技法に基づき、画像内における目標を識別する。ビデオ画像内部にある目標間の空間的関係を用いて、挿入画像の位置、サイズ、および方向を決定する。この手法にはいくつかの問題がある。第１に、これは比較的計算集約的であり、したがって比較的高価な機器を必要とする傾向がある。第２に、多数の画像を同時に同じフレームに挿入することが容易には行われない。第３に、画像から集めた二次元情報を基に三次元場面への画像挿入を導いている。三次元世界から二次元画像を作成するプロセスにおいて、三次元世界の物理的構造に関する情報が失われてしまう。その結果、挿入された素材は、現実的に見えない場合もある。
【０００５】
（発明の概要）
本発明の目的は、リアル・タイムで静的および動的画像をビデオ画像ストリームに挿入するための方法および装置を改良し、従来技術の方法および装置に伴う１つ以上の問題を克服することにある。
【０００６】
本発明による画像挿入システムは、サイト（ｓｉｔｅ）内にある少なくとも１つのターゲット・エリアの三次元モデルを利用する。画像を挿入しようとするビデオ画像を発生したカメラの位置および角度から、このモデルをレンダリングする。レンダリングした画像を用いて、サイトの元のビデオ画像内にあるターゲット・エリアを識別し、予測背景画像をレンダリングし、ここではターゲット画像と呼ぶ画像をレンダリングし、ターゲット・エリアに挿入する。ターゲット・エリアは、例えば、ホッケー・リンク内のダッシャ・ボードのような、サイト内に存在する実際の表面とすることもできる。また、ターゲット・エリアは、モデル内でのみ規定され存在する、サイト内の想像上の表面、例えば、アリーナの天井から吊されている（仮装）国旗としてもよい。サイトの三次元モデルを用いてターゲット画像を発生することによって、得られた合成画像は一層現実的に見える。
【０００７】
本発明の好適な実施形態では、サイト内で選択したターゲット画像の三次元モデルを規定し、コンピュータ援用設計（ＣＡＤ）ソフトウエアを用い、ビデオを発生したカメラの位置および視野に基づいてレンダリングを行う。モデルを簡素に保つことによって、レンダリングは計算集約的である必要がなくなる。挿入するターゲット画像を、例えば、表面テクスチャ・マップとして、モデル内に配置する。カメラの視野を規定する十分な情報を、ビデオ内のフレーム毎に収集する。モデルのレンダリングは、予測背景画像、および挿入するターゲット画像を含む。レンダリングから容易にマスクを発生し、ターゲット・エリア内にある画像の元の部分を除去し、そのエリアにターゲット画像を挿入する。カメラの視野に関する情報は、カメラまたはカメラ取付部上のセンサを用いて収集し、ビデオ信号上に同期的にエンコードすることができる。したがって、画像の挿入は、下流、たとえば、放送されるイベントのビデオ・フィードを受信するテレビジョン・ネットワークの地方支局において行うことができる。下流システムを設けるとすれば、サイトのモデルのみを備えればよく、モデルに付加される異なるターゲット画像のデータベースを有することができる。したがって、挿入された広告は、地方の視聴者に合わせて変更することができる。加えて、カメラの視野に関する情報がビデオ信号上にエンコードされ、したがってビデオ信号が得られればいつでもどこでも使用できるので、後にビデオ信号を再放送する場合、異なるターゲット画像を挿入することができる。このように、放送時間に合わせて、広告の挿入を変更したり、あるいは再放送することができる。
【０００８】
本発明のこれらおよび更に別の目的および利点は、添付図面を参照しながら行う、以下の本発明の好適な実施形態の説明から明らかとなろう。
【０００９】
（図面の簡単な説明）
本発明、その目的および利点を一層よく理解するために、これより、添付図面に関連付けながら以下の説明を参照する。
【００１０】
（図面の詳細な説明）
以下の説明では、同様の番号は同様の要素を示すこととする。
本発明によるリアル・タイム画像挿入ビデオ・システムの一用途は、スタジオ、アリーナ、陸上競技場、コース、あるいはその他のスポーツまたは娯楽行為地における生放送にある。したがって、以下ではこの用途に関連付けてかかるシステムを説明する。この画像挿入システムは、この用途において用いると特に有益であるが、他の用途でも使用可能である。
【００１１】
図１を参照すると、リアル・タイム画像挿入ビデオ・システム１００が、その主要機能構成要素によって概略的に示されている。これらの構成要素は、ハードウエアおよびソフトウエアの組み合わせとして実施されており、特に注記しない限り、個別のハードウエアまたはソフトウエア構成要素であることを表したり、いずれかの特定の実施態様に限定することを意図する訳ではない。画像挿入システム１００は、ビデオ生成システム１０２からのビデオ信号を受信する。ビデオ生成システム１０２は、ビデオ・カメラ・システム１０４または複数のその他のカメラ・システム１０６の１台からビデオ信号を選択する。次に、この選択されたビデオ信号は、広告のような画像の挿入のために画像挿入システム１００に供給される。画像挿入システムは、例えば、可動生成設備において、ビデオ生成システムと共に設置してもよい。また、中央生成設備、または地方テレビジョン局やケーブル運営会社のような、更に下流側に離れて設置してもよい。あるいは、画像挿入は、ビデオ信号の選択前に、例えば、生成システムに供給する前に、各カメラ・システムからのビデオ信号に画像を挿入することによって行ってもよい。
【００１２】
画像挿入システム１００の動作について、図２のフロー図に関連付けて更に詳しく説明する。図２は、例えば、画像挿入システム１００上で行うことができる画像挿入プロセスを示す。
【００１３】
ここで図１および図２を参照すると、カメラ・システム１０４は、ステップ２０２において、テレメトリ・データ（ｔｅｌｅｍｅｔｒｙ ｄａｔａ）と共にエンコードされたビデオ信号を発生する。テレメトリ・データは、あるサイトの基準の既知のまたは予め規定した三次元フレームに関してカメラがどこを向いているかを少なくとも示す。カメラ・システムは、カメラ取付部１１０に接続されている従来からのビデオ・カメラ１０８を含む。取付部は、方位角およびふ角、またはカメラ１０８の焦点軸方向を規定する座標を示すそれ以外の情報を発生するセンサを含む。このテレメトリ情報は、テレメトリ・プロセッサおよびエンコーダ１１２に供給される。カメラ１０８、および取り付けられているその他のセンサも、テレメトリ．プロセッサおよびエンコーダに、カメラのレンズの焦点距離および絞りを示す追加のテレメトリ情報を供給する。焦点距離は、レンズのズーム度と共に変化する。絞りは、光状態の変化と共に変化する。オプションとして、全地球衛星測地システム１１４も、テレメトリ処理およびエンコーダに、カメラの位置を、その経度、緯度およびふ角に関して示す情報を供給してもよい。カメラの位置は容易に判定することができ、既定の場所に固定させ続けるのではなく、移動させてもよい。カメラが供給するビデオ・タイミング信号を用いて、テレメトリ・プロセッサおよびエンコーダは、カメラが発生するビデオ画像と同期可能なデータ信号を発生する。このデータ信号は、カメラが発生するビデオ信号のフレーム毎に、テレメトリ情報をエンコードする。ビデオ／テレメトリ結合部１１６は、テレメトリ・プロセッサの一部としてもよく、データ信号をビデオ信号と結合する。テレメトリ情報をビデオ信号内に同期的にエンコードすることにより、十分な情報が供給され、カメラ・システムのいずれの下流地点においても、画像を信号に挿入することが可能となる。
【００１４】
一旦ビデオ挿入システム１００がエンコード・ビデオ信号を受け取ると、ビデオ／テレメトリ分離部１１８が、ステップ２０４で示すように、ビデオ信号内の特定の画像に対するテレメトリ・データを抽出する。更に、ビデオ信号はビデオ・デコーダ／バッファ１１９によってデコードされ、ビデオ信号の各フレームからのビデオ画像を抽出し格納する。カメラが発生したビデオ画像の一例を図４にビデオ画像４００として示す。この特定例は、アイス・ホッケーの試合である。これは、ダッシャ・ボード（ｄａｓｈｅｒ ｂｏａｒｄ）４０２、第１ホッケー選手４０４、および第２ホッケー選手４０６を含む。画像挿入システム１００の動作および図２の画像挿入プロセスについて、画像４００を参照しながら以下に説明する。しかしながら、画像挿入プロセスは、少なくともフレーム間で画像が変化するまでは、連続する各フレーム内のビデオ画像に対して繰り返される。
【００１５】
制御部１２０は、ソフトウエアおよびハードウエア・エンティティ、またはエンティティの集合体を表し、画像挿入システム１００の機能構成要素内で行われるプロセスを調整する。テレメトリ・データ、およびサイトにおいて行われるイベントを記述するその他の情報、例えば、野球の試合のインニング数、得点、またはスポーツの試合の流れに関するその他の情報を用いて、制御部１２０は、ステップ２０６において、データベース１２２内に予め既定されている画像挿入規則にアクセスし、テレメトリ・データ内に埋め込まれているカメラ識別子に少なくとも部分的に基づいて、ビデオ信号のフレーム内にある特定のビデオ画像に挿入する１つまたは複数の画像（ここではターゲット画像と呼ぶ）を決定する。ターゲット画像は、例えば、元のビデオ画像内において、予め選択された面（実在のまたは想像上の面）上に挿入される広告とすることもできる。ターゲット画像を挿入するサイトのエリアは、それが実在する物体の表面であっても、あるいは想像上の表面または物体として既定されていても、ターゲット・エリアと呼ぶ。規則を予め規定しておくことによって、既定の判断基準に応じて、予め選択したターゲット画像を自動的に挿入することが可能となる。例えば、ターゲット画像は、既定の時間または期間ごとに、あるいはテレビジョン放送されているイベントのステータスに基づいて変化することができる。例えば、広告ディレクタは、ディレクタ・コンソール１２３を用いて、イベント中に挿入プロセスを監視し制御することもできる。コンソールは、コマンドやデータを制御部１２０に入力するソフトウエアおよびハードウエアを含む。例えば、サイトにおけるイベントの状態に関する情報がデータベースから得ることができない場合、ディレクタはかかる情報をシステムに供給することができる。また、ディレクタはデータベース１２２内にある画像挿入規則を無視し、手作業で挿入するターゲット素材を選択したり、規則を動的に変更することもできる。また、広告ディレクタは、ターゲット画像を維持するデータベースの設定や維持を行うこともできる。広告ディレクタのコンソールはモニタを含むので、ディレクタは、ターゲット画像の挿入前に、ビデオを監視することができる。また、ディレクタのコンソールによって、ディレクタは、以下で説明する、基準画像およびターゲット画像のＣＡＤモデルを格納するデータベースを変更したり、更に、ターゲット挿入プロセスのステップを監視し調節することもできる。ターゲット挿入プロセスには、ターゲット画像および最終ビデオ画像のレンダリングが含まれるが、これについては以下で説明する。
【００１６】
図２のプロセスのステップ２０８において、ビデオ画像内部のターゲット・エリア毎に、サイトにおける既定のターゲット・エリア内の基準画像、およびターゲット画像を、サイトのターゲット・エリアの既定基準モデルに基づいてレンダリングする。いずれの所与のビデオ画像においても、１つよりも多いターゲット・エリアを規定し表示することができる。好ましくは、モデルは、コンピュータ援用設計（ＣＡＤ）モデルであり、ターゲット・エリアの表面（実在のまたは想像上の）を数学的に定義することによって、いずれの角度からもモデルを画像内にレンダリングすることを可能にする。ビデオ信号から抽出したテレメトリ・データによって、ビデオ画像を発生したカメラの視野とほぼ同じ視点から、モデルをレンダリングすることが可能となる。このレンダリングは、実際には、ビデオ画像と整合したサイトのターゲット・エリアの合成画像であり、ターゲット画像のビデオ画像をターゲット・エリアへ挿入する際に導くために用いられる。カメラ位置がフレーム間で変化する場合、このレンダリングはかかるフレーム毎に行われる。しかしながら、フレーム間で変化しない場合、以前のフレームに対するレンダリングを用いればよい。
【００１７】
手短に図４、図５、および図６も参照すると、図５の画像５０２は、図４に示すビデオ画像を取り込んだサイトの既定モデルのレンダリングの一例である。コンピュータ上で実行する標準的な市販のＣＡＤソフトウエアとすることができるコンピュータ援用設計（ＣＡＤ）システムが、既定モデルからレンダリングを発生する。尚、レンダリングは、図４のビデオ画像と同じ位置およびカメラ角度から行うのではないことを注記しておく。この例におけるターゲット・エリアは、ダッシャ・ボード４０２の表面の既定エリア５０４である。また、モデルは、ターゲット・エリアとして想像上の表面を既定しておくことも可能である。例えば、モデルは、ホッケー・アリーナの天井から吊された想像上の国旗（ｂａｎｎｅｒ）の位置を規定してもよい。ターゲット・エリアの表面は、実在しても想像上であっても、平面である必要はない。この図では、ターゲット・エリアは、基準画像と共にレンダリングされている。基準画像とは、オクルージョン処理（ｏｃｃｌｕｓｉｏｎｐｒｏｃｅｓｓｉｎｇ）に用いられる実際のサイト内にあるターゲット・エリア表面の外観（ａｐｐｅａｒａｎｃｅ）である。基準画像は、例えば、レンダリングされる画像に挿入するビット・マップ画像として格納することができる。この特定例では、基準画像は白黒の壁である。しかしながら、ターゲット・エリア表面に取り付けた広告とすることも可能である。サイトの基準モデルは、各ターゲット・エリアの基準画像と共に、図１に示す第１ＣＡＤファイル１２４に格納される。また、画像挿入システム１００は、ターゲット・エリアにターゲット画像を埋め込んだモデルを、同様に図１に示した第２ＣＡＤファイル１２６に格納する。図６の画像６０２は、図５と同じモデルのレンダリングであるが、ターゲット画像６０４がターゲット・エリア５０４に挿入されている。
【００１８】
再度図１および図２を参照すると、ＣＡＤモデル・レンダラ１２８は、図４に示したビデオ画像４００に対するカメラからのテレメトリ・データに基づいて、ＣＡＤファイル１２４に格納されているＣＡＤモデルのベースライン画像８００をレンダリングする。図７のベースライン画像７００は、ターゲット・エリア５０４に挿入されたターゲット・エリア基準画像５０６を含む。前述のように、テレメトリ・データは、ビデオ画像を捕獲したカメラの識別、角度、焦点距離および絞りの設定を示す。また、カメラの場所が固定されていない場合、カメラの位置を示すこともできる。同様に、同じテレメトリ・データを用いて、ＣＡＤモデル・レンダラ１３０は、図８に示す画像８００を発生する。画像８００は、ファイル１２６に格納されているＣＡＤモデルのレンダリングを含む。この画像は、ターゲット・エリア５０２に挿入されたターゲット素材を含む。ＣＡＤモデル・レンダラ１２８および１４０は、別々の構成要素ではなく、同じレンダリング・エンジン１３２の異なるレンダリング・プロセスまたはインスタンスを表す。これらのプロセスは、順序を特定せずに、順次行うことも、同時に行うことも可能である。しかしながら、レンダラは、同じコンピュータ上、または必要であれば異なるコンピュータ上において、別個のＣＡＤレンダリング・エンジンを用いて実施することも可能である。
【００１９】
また、図２に示す画像挿入プロセスのステップ２０８は、ターゲット・エリア・マスクを発生することも含む。図９は、図４のビデオ画像例４００に対するマスク画像９００を示す。ターゲット・エリア・マスクは、モデル・レンダラ１２８が発生する基準画像を用いて、マスク・ビルダ（ｍａｓｋ ｂｕｉｌｄｅｒ）１３４によって発生する。マスクを発生するには、ターゲット・エリア内の全画素を既定値に設定し、ターゲット・エリア外にある全ての画素を別の既定値に設定する。マスク画像９００では、空白エリアが、ターゲット・エリア５０２を既定する白いエリアを包囲している。
【００２０】
ターゲット・エリア・マスクは、図２のオクルージョン処理ステップ２１０との関連で、いくつかの目的に用いられる。その詳細を図３のフロー図に示す。ここで図１および図３を参照すると、ターゲット・マスクは、ステップ３０２において、背景／ターゲット・エリア基準画像分離部１３８によって用いられ、モデル・レンダラ１２８が発生したベースライン画像内にある各ターゲット・エリア基準画像を分離またはマスクする。図７に示す例では、マスクを用いて、ベースライン画像７００内にあるターゲット・エリア基準画像５０６を、画像の残り部分から分離し、その結果、図１０に示すマスク・ベースライン画像７００ａが得られる。ターゲット・マスクは、ステップ３０４において用いられ、元のビデオ画像内において、ターゲット・エリアを特定し、当該画像の残りの非ターゲット・エリアから分離する。非ターゲット・エリアを背景と呼ぶ。この機能を実行するのは、背景／ターゲット・エリア分離部１３６である。図１１および図１２は、図４に示す元のビデオ画像４００においてターゲット・エリアから背景を分離した結果得られた２つの画像を示す。図１１は、マスク背景画像４００ａであり、空白であるターゲット・エリア５０２内の部分を除いて、元のビデオ画像の全てを含む。図１２は、マスク・ターゲット・エリア画像４００ｂであり、ターゲット・エリア５０２に該当する、元の画像４００の部分１２００を含む。また、マスクは、背景／ターゲット画像分離部１４０が、モデル・レンダラ１３０によってレンダリングされた画像内においてターゲット画像を分離するためにも用いられる。図８に示す例では、ターゲット画像６０４が画像８００の残り部分から分離され、図１３に示すマスク・ターゲット画像レンダリング８００ａが得られる。これはターゲット画像８０２を含む。画像分離部１３６、１３８および１４０は、単一の画像分離システム１４２を用いて実施することができる。
【００２１】
ステップ３０６および３０８は、オクルージョン分離部１４４によって実行する。図４のビデオ画像の例４００では、第１ホッケー選手の一部が、ダッシャ・ボード４０２の一部を覆っており、この部分にターゲット素材を挿入する。ターゲット素材を挿入するために、ターゲット・エリア内にあるホッケー選手の部分（これをオクルージョン（ｏｃｃｕｌｕｓｉｏｎ）と呼ぶ）を、元の画像のターゲット・エリアの残り部分から分離し、一旦ターゲット画像をビデオ画像に挿入して、ターゲット画像上に位置付けなければならない。この分離を行う際、オクルージョン分離部１４４は、ステップ３０６において、マスク・ターゲット・エリア画像をマスク基準画像と比較する。いずれの相違もオクルージョン、即ち、カメラと、画像を挿入しようとするターゲット・エリアの規定表面との間にある物体の画像であると想定する。マスク基準画像と、カメラにおける電子ノイズによって混入するマスク・ターゲット画像との間の小さな相違は、例えば、小領域抑制のような、画像処理の分野において一般に実用化されている多数の技法を用いれば対処可能である。テレメトリ測定システムにおける誤差によるターゲット・エリアの不正確な位置決めは、一般に実用化されているターゲット追跡技法、例えば、カルマン・フィルタ処理を用いれば対処可能である。図示の例では、図１２に示すマスク・ターゲット・エリア画像４００ｂを、図１０に示すマスク・ベースライン画像７００ａと比較する。図１４に示す、得られたオクルージョン画像４００ｃは、オクルージョンのみを含む。即ち、ターゲット・エリアに該当する、ホッケー選手４０４の部分である。画像の残り部分は空白となっている。また、オクルージョン分離部は、ステップ３０８においてオクルージョン・マスクを作成する。オクルージョン・マスクは、オクルージョンを構成する、元の画像内の部分を識別する。この例では、図１４のオクルージョン画像４００ｃからオクルージョン・マスクを発生する。
【００２２】
これより図１および図２のみを参照する。マスク背景画像、マスク・ターゲット画像、およびオクルージョン画像を、ステップ２１２において画像結合部１４６によって結合し、複合画像を形成する。複合画像内では、ターゲット素材が元の画像内に挿入されている。図示の例では、図１１に示すマスク背景画像４００ａ、および図１３に示すマスク・ターゲット画像８００ａを最初に結合し、図１５に示す画像４００ｄを発生する。次いで、オクルージョン画像４００ｃを画像４００ｄと結合し、図１６に示す最終画像４００ｅを生成する。最終画像は、ターゲット・エリア５０２に挿入されたターゲット画像６０４を含む。
【００２３】
図２の画像挿入プロセスのステップ２１４において、ビデオ・バッファおよびエンコーダ１４８によって、最終画像をビデオ信号のフレームに挿入する。また、ビデオ信号は、オクルージョン分離部が発生したオクルージョン・マスク、ビデオを元々発生したカメラの位置および角度を記述するテレメトリ、ならびに、オプションとして、試合の状態を記述するその他の情報と共にエンコードされている。これによって、下流に位置する画像挿入システムは、画像内のオクルージョンを分離し、上流で挿入されたターゲット画像を異なるターゲット画像と交換するのが一層容易となる。例えば、ターゲット画像が広告であるとすると、地方の支局が、元の広告の代わりに、特定地域の市場に合わせた広告を挿入することができる。また、特定のビデオ画像に対するテレメトリ情報も信号に同期的に挿入し、下流での画像挿入を可能にする。挿入された情報は、暗号化することによって、意図した目的以外の使用を防止するようにしてもよい。
【００２４】
図１７は、下流の画像挿入プロセスを示す。下流位置で用いる画像挿入システムは、図１に示したものと実質的に同様である。下流の画像挿入処理は、必要であれば、ステップ１７０２から開始し、ビデオ信号のフレームから、ビデオ画像、および当該画像に対する同期化テレメトリ情報を抽出する。このステップは、図２におけるステップ２０４と同様に実行する。ステップ１７０４において、フレームからオクルージョン・マスクを抽出する。ステップ１７０６において、テレメトリ・データに含まれるカメラの識別に基づいて、個別（ｌｏｃａｌ）挿入規則にアクセスする。このステップは、図２のステップ２０６と同様に実行する。図２のプロセス・ステップ２０８と同様に、局在画像挿入システムは、ステップ１７０８において、ターゲット画像を含むサイトの画像を、当該画像を含むサイトの既定のモデルに基づいてレンダリングする。これは、上流で用いたサイトの基本モデルと同一である。しかしながら、異なるターゲット画像をこれに埋め込んでもよい。次に、ターゲット・エリア・マスクを発生する。ステップ１７１０において、オクルージョン処理および画像結合を行う。これは、多くの点において、図２のオクルージョン処理ステップ２１０および２１２と同様である。抽出したオクルージョン・マスクを用いて、受信したビデオ画像のマスク背景画像を発生する。図２のプロセスとは異なり、オクルージョン画像を作成するために、マスク基準画像を発生する必要はない。マスク背景画像およびマスク・ターゲット画像を結合し、次いでこの画像にオクルージョン画像を結合し、最終的な複合画像を発生する。次に、ステップ１７１２において、複合画像をビデオ信号上のフレームに挿入し、送信する。
【００２５】
前述の説明は、本発明の代表的な実施形態を参照して行った。しかしながら、本発明の範囲から逸脱することなく、実施形態の変更または変形も可能である。本発明の範囲は、添付した特許請求の範囲に既定されており、これによってのみ限定されることとする。
【図面の簡単な説明】
【図１】 リアル・タイム画像ビデオ挿入システムを示す概略図。
【図２】 カメラが発生したビデオにリアル・タイム画像を挿入するプロセスのフロー図。
【図３】 図２のプロセスにおけるオクルージョン処理ステップのプロセスのフロー図。
【図４】 ターゲット画像の挿入前にビデオ・カメラが発生したビデオ画像の一例。
【図５】 図４のビデオ画像を捕獲したサイトのモデルをレンダリングし、基準画像を含むターゲット・エリアを規定することを示す図。
【図６】 図５のサイトのモデルをレンダリングし、予め定義してあるターゲット・エリアに挿入することを示す図。
【図７】 前述のサイトのモデルのレンダリングを含み、図４のビデオ画像を発生したカメラと同じ位置および角度から基準画像をレンダリングした画像を示す図。
【図８】 前述のサイトのモデルのレンダリングを含み、図４のビデオ画像を発生したカメラと同じ位置および角度からターゲット画像をレンダリングした画像を示す図。
【図９】 図７の画像から発生したターゲット・エリア処理マスクを示す図。
【図１０】 図９のマスクを図７の画像に適用することによって発生した、マスク基準画像を示す図。
【図１１】 図９のターゲット・エリア・マスクを図４の元のビデオ画像に適用することによって発生した、マスク背景画像を示す図。
【図１２】 図９のターゲット・エリア・マスクを図４の元のビデオ画像に適用することによって発生した、マスク・ターゲット・エリア画像を示す図。
【図１３】 図９のターゲット・エリア・マスクを図８のターゲット画像に適用することによって発生した、マスク・ターゲット画像を示す図。
【図１４】 図１２のマスク・ターゲット・エリア画像を図１０のマスク基準画像と比較することによって発生したオクルージョン画像を示す図。
【図１５】 図１３のマスク・ターゲット画像および図１１のマスク背景画像を組み合わせることによって発生した画像を示す図。
【図１６】 図１４のオクルージョン画像を図１５の画像と組み合わせることによって発生した、挿入ターゲット画像を含む、最終的な複合画像を示す図。
【図１７】 第１画像挿入プロセスの下流において、リアル・タイムで画像をビデオに挿入するプロセスを示す図。

Claims (12)

1. カメラによって捕獲した実三次元サイトの画像ストリームに、ターゲット画像を挿入する方法であって、
   カメラによって捕獲した実三次元サイトの元画像のストリームを受信するステップを有し、
   実三次元サイトの既定三次元モデル内の少なくとも一つのターゲット・エリアを識別するステップを有し、ここで、前記既定三次元モデルは前記実三次元サイトの全てよりも小さく、
   前記画像ストリーム内の元画像の各々について、
   少なくとも１つのターゲット・エリア毎に、２次元のターゲット画像をレンダリングするステップを有し、ここでこのステップは、前記実三次元サイトの前記既定三次元モデル内にある前記少なくとも１つのターゲット・エリアの少なくとも１つの既定三次元モデルと、かつ前記実三次元サイトの前記カメラ位置および指向方向のデータと、に基づいて行なわれ、かつ
   マスク背景エリアを、前記少なくとも１つのターゲット・エリアから分離して、元画像のなかに決定するステップを有し、ここでこのステップは、前記実三次元サイトの既定三次元モデル内にあり、かつ前記カメラ位置および指向方向を用いて２次元にレンダーされた、前記少なくとも１つのターゲット・エリアの既定三次元モデルを用いて、行なわれ、かつ
   前記元画像のマスク背景エリアと、前記少なくとも１つのターゲット画像とを、結合して、出力画像を形成するステップを有する、
   前記方法。
2. 請求項１記載の方法において、前記画像内の少なくとも１つのターゲット・エリアを識別するステップは、
   カメラ・パラメータを受信するステップであって、該カメラ・パラメータが、前記カメラの指向方向を示すパラメータを含む、ステップと、
   前記カメラ・パラメータに基づいて、前記カメラ位置から前記既定三次元モデルをレンダリングするステップと、
   前記画像内における前記ターゲット・エリアを規定するためのレンダリングマスクを生成するステップと、
   から成る方法。
3. 請求項２記載の方法において、前記カメラ・パラメータは、前記実三次元サイト内における前記カメラの位置を示すパラメータを含む方法。
4. 請求項２記載の方法において、前記カメラ位置を前記既定三次元モデル内に予め規定する方法。
5. 請求項１記載の方法において、少なくとも１つのターゲット・エリアに対して、ターゲット画像をレンダリングするステップは、
   カメラ・パラメータを受信するステップであって、該カメラ・パラメータが、前記カメラの指向方向を示すパラメータを含む、ステップと、
   少なくとも部分的に前記カメラ・パラメータに基づいて、前記既定三次元モデルをレンダリングするステップと、
   から成る方法。
6. 請求項５記載の方法において、前記カメラ位置を前記既定三次元モデル内に予め規定する方法。
7. 請求項５記載の方法において、前記カメラ・パラメータは、前記実三次元サイト内における前記カメラの位置を示すパラメータを含む方法。
8. 請求項７記載の方法において、前記カメラが発生したビデオ信号上に、前記カメラ・パラメータをエンコードする方法。
9. 請求項１記載の方法において、更に前記少なくとも一つのターゲット・エリアの画像内においてオクルージョンを規定するステップを有し、
   前記少なくとも一つのターゲット・エリアの画像内においてオクルージョンを識別するステップは、
   前記少なくとも１つのターゲット・エリアの各々に挿入した基準画像を用いて、前記実三次元サイトの前記既定三次元モデルをレンダリングするステップと、
   前記基準画像を前記元画像内のターゲット・エリアと比較するステップと、
   を含む方法。
10. 請求項１記載の方法であって、更に、前記出力画像およびカメラ・パラメータを出力ビデオ信号上にエンコードするステップを含み、前記カメラ・パラメータが、前記カメラの指向方向を示すパラメータを含む方法。
11. カメラによって捕獲した実三次元サイトのビデオに、ターゲット画像を挿入する装置であって、この装置は、
    前記実三次元サイトの既定三次元モデル内の少なくとも一つのターゲットエリアを識別する制御器を有し、ここで、前記既定三次元モデルは前記実三次元サイトの全てよりも小さく、更に
    少なくとも１つのターゲット・エリア毎に、２次元のターゲット画像をレンダリングするモデル・レンダラを有し、ここでこのレンダリングは、前記実三次元サイトの前記既定三次元モデル内の１つのターゲット・エリアの１つの既定参照三次元モデルに基づき、かつ前記実三次元サイトのカメラ位置および指向方向を用いて行なわれ、
    マスク背景エリアを、前記ターゲット・エリアから分離して、元画像のなかに決定する画像分離部を有し、ここでこの画像分離は、前記実三次元サイトの前記既定三次元モデル内の、前記少なくとも１つのターゲット・エリアの前記既定三次元モデルのレンダリングにより行なわれ、かつ
    前記元画像のマスク背景エリアと、前記少なくとも１つのターゲット画像とを結合して、出力画像を形成する画像結合部を有する前記装置。
12. 請求項１１記載の装置であって、更に、
    画像内にターゲット・エリアを限定する為のレンダリング・マスクを発生するマスク・ビルダーを有し、
    ここで前記画像分離部は、前記レンダリング・マスクを、前記マスク背景エリアの決定のために用いるのに適合している前記装置。

Images