JPH06510893A - パターン・キー挿入を用いたビデオ合併 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 バ　−ン・キー　いたビー゛オム 本発明は、複数の別々のビデオ信号ソースから供給された前景および背景ビデオ ・イメージ・データを合併させて複合ビデオ・イメージを得るための技術、より 特定的には、この目的にパターン・キー挿入を用いる技術に係る。

発咀Ω背景 二以上のビデオ信号を合併させて複合ビデオ信号を得るための手段は、当該技術 に知られている。かようなビデオ合併の例は、テレビジョンにおける天気予報の 提示であり、前景の天気予報者は、背景の天気図に重ね合わされている。

かような先行技術手段は、そこで所要の前景シーンが着色背景（通常前または緑 ）を用いて記録されるカラー・キー合併技術を普通使用する。所要の背景シーン もまた記録される。その最も単純な形で、カラー・キー・ビデオ合併技術は、前 景シーンにおける各点の色を、前景ビデオ信号と背景ビデオ信号との間で、自動 的に「ハードで」切り換える（つまり、二値切替えをする）。このカラー・キー ・ビデオ合併技術は、前景シーンにおける各点の色を、前景および背景ビデオ信 号を自動的に切り換えるために使用する。取り分け、若し、前景シーンに青の画 素が検出されたなら（青がカラー・キーであると仮定して）ビデオ・スイッチが 、背景シーンからのビデオ信号を、その点での出力シーンに向ける。若し、前景 シーンに青の画素が検出されないならば、ビデオ・スイッチは、前景シーンから のビデオ信号を、その点での出力シーンに向ける。全ての点がこの様にして処理 された後、結果は、入力された前景および背景シーンの組合せである出力シーン となる。

カラー・キー・ビデオ合併技術のより複雑でｒソフトなＪ形は、中村らによるＳ ＭＰＴＥジャーナル、Ｖｏｌ、９０：１９８１年２月号Ｐ１０７における論文お よび米国特許第４．４０９．６１１号により教示されている。これらのカラー・ キー・ビデオ合併技術のより複雑な形においては、切替えの効果が隠され、より 自然な合併が達成される。例えば、前景被写体の影が背景に現れるように出来る 。

このカラー　キー・ビデオ合併技術は、簡単でこの方法のための安価なハードウ ェアがそのうちに利用可能となって来た。その結果、カラー・キー挿入は、録画 およびライブ・ビデオの両方で行うことが出来る。それは、スポーツの結果又は レボータの像を背景ノーンに重合わゼる様な目的でライブ・テレビジョンにおい て、またぐ宇宙船の様な）前景被写体を（宇宙シーンの様な）背景シーン上に重 合わせる様な目的で映画産業において広く使用される。

しかしながら、カラー・キー・ビデオ合併技術には、二つの重要な限界がある。

第一に、この技術は、シーンにおける分離色（例えば青または緑）が、この技術 の採用者により制御出来ないようなビデオ・ソースを組み合わせるためには使用 出来ないことである。これはしばしば、カラー・キー挿入の使用を放送又は映画 スタジオで録画されたイメージ・シーケンスに限定する。第二に、ビデオ信号を 、−シーケンスからの挿入パターンを他のシーケンスにおける被写体（前景また は背景）の動きに従うやり方で、挿入パターンがこれらの被写体の部分と見える ように、自動的に組み合わゼることは現在では可能でないことである。過去にお いては、前景または背景シーンの動きの同期が、極めて限定された数の映画プロ ダクションにおいて手動で行なわれてきたが、かような手動同期は極めて高価で 退屈であり、またそのビデオ作品は予め録画することを要し、ライブでない。

先行技術には、あるビデオ・ノーン内のパターンを検出するために階層構造の４ ノ゛−チを採用したダイナミック・パターン認識法が含まれる。この方法の一使 用例は、米国特許第５．０６３．６０３号に開示され、その教示はここに参考と して含まれる。要するに、このダイナミック・パターン認識法は、コンピュータ 内のある目標パターンを、Ｔパターン・ツリーＪ　ｆｌ造内の成分パターンのセ ットとじて表すことより成る。ツリーの根に近い成分は、典型的に目標パターン の大規模特徴を表し、一方、根から離れた成分は、軌道的に微細なブチイルを表 す。大まかなパターンは、削減された解像度で表され、一方、詳細なパターンは 、高い解像度で表される。このサーチ手順は、パターン・ツリー内に格納された 成分パターンを、ノーン内のパターンにマツチさせる。マツチは、例えば、格納 されたパターンを（ピラミ７）・フォーマットで表された）イメージと相関させ ることにより見出される。パターンは、フリーの根からスタートして、順次的に マツチさせられる。ある候補マツチが各成分パターンについて見出されたとき、 そのイメージ内における位置は、次の成分のサーチを案内するのに使用される。

この樺にしである複雑なパターンを、比較的僅かな計算で配Ｉすることができる 。

先行技術では、更に、あるビデオ・イメージ内に描かれたシーン内の与えられた 検出パターンの平らな面の方向付けを見積もるやり方が知られている。決定を要 する特定のこのパラメータは、シーン内の与えられた検出パターンの位置、その イメージの平面での方向付けおよびそのイメージの平面でのチルトである。ポー ズは、その与えられた検出パターン上またはそれに近い他の「ランドマーク１パ ターンのジオメトリツクな歪みを測定することにより見積もられる。ポーズは、 二段階で見積もられても良い。

第１段階は、３以上のかようなランドマーク・パターンを、その与えられた検出 パターン上またはそれに近いシーン内に配置することによりポーズの粗い見積も りをすることである。与えられた検出パターンに対するこれらのランドマーク・ パターンの位置は、トレイニング・イメージから知られる。しがしながら、これ らのランドマーク・パターン相互間の位置は、与えられた検出パターンのポーズ における変化とともに変化する。それゆえ、観察されたシーン内におけるランド マーク・パターンの相対位置は、そのポーズを決定するために使用できる。ラン ドマーク・パターンは、上述の様に階層構造のサーチを採用して配置できる。

第２段階は洗練するもので、その与えられた検出パターン上またはそれに近くあ る「ロケータ・パターンズＪを利用する。これらの「ロケータ・パターンズ」は 、典型的にランドマークとして使用されているものより幅広いパターンである。

このパターンの格納されたコピーは、位置および方向付けを連続的に見積もる処 理、および格納されたコピーを、シーン内に観察されたパターンと整列させるよ うにワープさせる処理を通し、そのシーンとマツチさせられる。この整列処理は 、当該技術において公知であり、ここで「アフィン（疑似変換）精密整列見積も り」と呼ばれるものであるが、パターン位置の、そしてその与えられた検出パタ ーンのポーズの極めて精密な見積もりを提供することが出来る。このアフィン精 密整列見積もり処理は、ヘルゲンら（Ｂｅｒｇｅｎ　ｅｔ　ａｌ）によるプロノ ーディンゲス・ユーロピアン・カンファレンス・オン・コンピュータ・ビジョン １９９２年、ｐｐ、２３７−２５２、に掲載された「階層モデル・ベース動き見 積もりｊおよびベルゲンらに与えられ、本発明の譲受人に譲渡された米国特許第 ５．０６７．０１４号を含む、種々の刊行物に記載されている。

発肌ｑ概要 本発明は、複数の別々のビデオ信号ソースから供給された前景および背景ビデオ ・イメージ・データを合併させて複合ビデオ・イメージを得るための技術および 装置であって、この目的のためにパターン・キー挿入を用いるものに係る。より 特定的には、この技術は、あるビデオ・シーンにおける第１パターンを、先ずそ のビデオ・シーンにおける、その第１パターンを検出し、この検出された第１パ ターンの、そのビデオ・シーン内の基準被写体に関するポーズを見積もることに より、第２パターンで置き換える。次いで、第２パターンは、検出された第１パ ターンのポーズ見積もりを使用してジオメトリツクに変形される。最後に、検出 された第１パターンが、ジオメトリツクに変形された第２パターンで置き換えら れる。また本発明の装置は、ビデオ・シーンにおける第１パターンを検出するた めの手段、この検出された第１パターンのビデオ・シーン内の基準被写体に関す るポーズを見積もるための手段、この検出された第１パターンのポーズ見積もり を使用して、第２パターンをジオメトリツクに変形するための手段、および検出 された第１パターンをジオメトリツクに変形された第２パターンで置き換えるた めの手段を含む。

凹面Ω旦単左説朋 図１は、先行技術のカラー・キー挿入技術を説明している；　図２．３．４およ び５は、本発明のパターン・キー挿入技術の例を説明している；図６は、ｒラン ドマーク領域追跡」の例を示しており、また　図７は、本発明のパターン・キー 挿入技術を実施する際に行われる連続工程を説明している。

りＦｉ　ＬｌΣ丸斎外ｑ脱朋 異なる図解に共通な要素は、各図において同一の番号で示される。

図１〜５の各々は、前景および背景シーンを一つの出力シーンに合併させるため のビデオ・スイッチを含んでいる。図解の目的で、これらのビデオ・スイッチの 各々は、「ハート」スイッチであると仮定する。しかしながら、上で議論した先 行技術で公知の「ソフ）Ｊスイッチをその代わりに使用できることを理解すべき である。

図１には、先行技術のカラー・キー挿入技術１の１例が示されている。リアルタ イムで背景シーン１０２−１　（太陽および木を含む）を見ているカメラ１００ −１により記録されている連続イメージ・フレームのシーケンスの各々のビデオ 出力画素（あるいは、その代わりに、先に録画された背景シーン１０２１を再生 しているビデオ再生装置のかような出力画素）は、手段１０８からの出力が、そ の手段１０Ｂが、青がキー・カラーであると仮定して青を検出していることを示 しているときは何時でも、ビデオ・スイッチ１０６を通して出力シーン１０４に 送られている。リアルタイムで前景シーン１０２−２（青のスクリーンの前に置 かれている机に着座している人物を含む）を見ているカメラ１００−２により記 録されている連続イメージ・フレームのシーケンスの各々のビデオ出力画素（あ るいは、その代わりに、先に録画された前景シーン１０２−２を再生しているビ デオ再生装置のかような出力画素）は、ビデオ・スイッチ１０６を通して出力シ ーン１０４に送られ、ビデオ・スイッチ１０６および手段１０８の両方に対する 入力として印加される。それゆえ、ビデオ・スイッチ１０６は、背景シーン１Ｏ ２−１を、カメラ１ｆ）Ｏ−２のビデオ出力画素が青のスクリーンの青の画素を 構成している時だけ出力ノーン１０４に送り、前景シーン１０２−２を、カメラ １００−２のビデオ出力画素が机に着座している人物の青でない画素を構成して いる時、出力シーン１０４に送る。それゆえ、出力シーン１０４は、太陽および 木の背景シーン１０２−１および机に着座している人物の前景シーン１０２−２ を合併した連続複合イメージ・フレームのソーケンスの各々のビデオ出力画素を 構成する。

本発明は、「パターン・キー挿入１として知られる技術で、背景シーン内にある 予め定められたパターンを、前景シーンにある挿入された代替パターンで置き換 えるのに使用される。図２〜５は、置き換えの異なる例を示すもので、図２にそ の最も簡単な例が、図３〜５にそのより複雑な例が、それぞれ示されている。

図２〜５に示された例の各々を、概括して最初に述べる。その後、これらの図に 機能的に示された構造に特有の動作をより詳細に論しる。

図２において、カメラ２００Ａはリアルタイムで、背景シーン２０４Ａに位置し ているビルボード２０２の様な物理的に三次元的な被写体の連続二次元的ビデオ ・イメージ・フレームのシーケンス（あるいは、その代わりに、先に録画された 背景シーン２０４Ａを再生しているビデオ再生装置の二次元的連続ビデオ・イメ ージ・フレームのシーケンス）を記録している。図解のため、ビルボード２０２ は動かないものと仮定するが、カメラ２００Ａは、背景シーン２０４Ａを構成す るビルボード２０２を含む被写体に関して、矢印綿２０６Ａで示す様に左右およ び前後に可動である。これは、カメラ２００Ａの一位置から他の位置への動きに 対応して変化する背景シーン２０４Ａ内のビルボート２０２のビデオ・イメージ のシーケンスの各々の、矢印線２０８Ａで示す様な、方向付けおよびスケールと なる。　背景シーン２０４Ａ内のビルボード２０２は、ストライプしたロゴ・パ ターンｒＡＪを含む。背景シーン２０４Ａ内のストライプしたロゴ・パターンｒ Ａｊを、前景／−ン２０４Ｂの不動のストライプしたロゴ・パターンｒＢＪ、そ のロゴ・パターン「ＢＪは図２において、ビデオ・クリップまたは単純なスチル 写真で定まる固定被写体であると仮定されている、で置き換えることが望まれた とする。これは、それに対する入力として印加されるカメラ２００Ａのビデオ出 力に応して、（１）ロゴ・パターンｖＡ１を検出する、および（２）そのビデオ ・イメージ・フレームにおける検出されたロゴ・パターン「Ａｊのポーズを見積 もる（即ち、背景シーン２０４Ａの連続二次元的ビデオ・イメージ・フレームの シーケンスの各々におけるロゴ・パターンｒＡＪの、ビルボード２０２自体の様 な一以上の基準被写体のイメージに関しての方向付け、スケールおよびパースペ クティブ・パラメータを見積もる）機能を果たす手段２１０Ａにより達成される 。

ビデオ・スイッチ２１２が「ハード１スイツチであると言う上述の仮定により、 下段２１０Ａは、カメラ２００Ａからのビデオ出力中におけるロゴ・パターンｒ ＡＪの有無を示すものである手段２１０Ａからの「ノーパターンＡ／パターンＡ Ｊ出力２１１を提供し、それは（図１のビデオ・スイッチ１０６と同一の機能を 遂行する）ビデオ・スイッチ２１２の動作を制御するのに使用される。ビデオ・ スイッチ２１２が「ハード−スイッチでなくて「ソフト」スイッチである場合、 ロゴ・パターンｒΔ」とロゴ・パターンｒ１３Ｊとの間の鋭い工、ジを提供する 、手段２１０Ａからの二値的「ノーパターンＡ／パターンＡＪ出力２１１は、上 で論した先行技術で述べた様に、ロゴ・パターンｒＡＪをロゴ・パターンｒＢＪ に混合するソフト・エツジに置き換えられる。

手段２１４は、手段２１０Ａからのｒポーズ情報Ｊ　（つまり、検出されたロゴ ・パターン「ＡＪの方向付け、スケール、パースペクティブ歪み等のパラメータ ）人力２１５、および手動的に選択されたサイズ、シエイプ、方向付は等のロゴ ・パターンｒＢ１自身のパラメータの人力２１７を通じる一時の選択に応答して 、前景シーン２０４Ｂのロゴ・パターンｒＢ」の方向付けおよびスケールを、現 行のイメージ・フレーム中のロゴ・パターンｒＡＪの見積りポーズの方向付けお よびスケールにマツチさせるように（図２中のダイヤグラム２１６で指示するよ うに）ジオメトリツクに変形させる機能を遂行する。ビデオ・スイ・ンチ２１２ の動作は、カメラ２００のビデオ出力を、ジオメトリツクに変形されたロゴ・パ ターン「Ｂｊに合併させて、ロゴ・パターンｒＡＪが挿入されたロゴ・パターン 「ＢＪに置き換えられた出力シーン２１Ｂを生しることである。それゆえ、出力 シー７２１８内のロゴ　パターンｒＪのポーズは、カメラ２００の一位置から他 位置への移動に対応して、矢印線２２０で示される様に変化する。

図３において、実施例は、背景シーン２０４Ａの連続ビデオ・イメージ・フレー ムのシーケンスにあるストライプ付きロゴ・パターン「ＡＪの様な予め定められ たパターンの、カメラ（又は、ビデオ再生装置）２００Ｂ、そこでカメラ２００ Ｂ自身が可動であるとする、に由来する前景シーン２０４Ｂの連続ビデオ・イメ ージ・フレームのシーケンスにある可動のストライプ付きロゴ・パターンｒＢ」 　（バットを持った野球プレーヤ）の様な挿入された本来的に可動の置換ノ〈タ ーンによる置き換えに向けられている。ストライプ付きロゴ・パターンｒＢ１は 本来的に可動であるので、カメラ２００Ｂは、時にはロゴ・パターン「Ｂ」の部 分だけ、例えば、野球プレーヤの頭（この頭は、後に述べるように、ロゴ・）く ターンＦＢＪのための基準パターンとして使うことが出来る）だけを見ることが 可能である。この理由から図２の被写体挿入パターン・キー挿入技術は使用出来 なし）。それに代えて、図３においては（後に述べる図４および５においても） 動き適合ビデオ挿入パターン・キー挿入技術が要求される。

より特定的には、カメラ２００Ｂに由来するビデオ・イメージ・フレームのシー ケンスにおける動きは、（矢印線２０６Ｂで指示される様な）カメラ２００Ｂ自 身および前景シーン２０４Ｂのロゴ・パターンｒＢｊとカメラ２００Ｂとの両者 の組合せの（矢印線２０８Ｂで指示される樺な）動きの一つまたは両方に拠るも のとなり得る。手段２１０Ｂは、それに対する入力として印加されたカメラ２０ ０Ｂのビデオ出力に応答して、（１）ロゴ・パターンｒ３．を検出する、および （２）カメラ２００Ｂのそのビデオ・イメージ・フレームにおける検出されたロ ゴ・パターンｒＢＪのポーズを見積もる（即ち、前景シーン２０４Ｂの連続二次 元的ビデオ・イメージ・フレームのシーケンスの各々におけるロゴ・パターンｒ 　Ｂ　Ｊの、野球プレーヤの頭の様な基準パターンのイメージに関連する方向付 け、スケールおよびパースペクティブを見積もる）機能を遂行する。手段２１０ Ｂにより得たポーズ情報は、ジオメトリツク変形手段２１４に第１の入力として 印加される。手段２１０Ａは、図３において、先に図２で述べたのと同一の機能 を遂行するが、それにより得たポーズ情報を第２の入力２１５Ａとして、ジオメ トリンク変形手段２１４に印加する。

ジオメトリツク変形手段２１４は、そこに第１の入力２１５Ｂとして印加される 手段２１０Ｂからのポーズ情報を、それに対し基準パターン（つまり、野球プレ ーヤの頭）が固定原点を構成しているロゴ・パターンｒ１３Ｊの安定化変形イメ ージを８１算するために使用する。固定原点とは、ロゴ・パターンｒＢＪの野球 プレーヤの安定化変形イメージにおいて、基準パターン（つまり、野球プレーヤ の頭）が、たとえこの基準パターンが前景シーン２０４Ｂにおいて動いていても 、イメージ・フレームのシーケンスの各々において位置的に固定された様に見え ることを意味する。次いでジオメトリンク変形手段２１４は、そこに第２の入力 ２１５Ａとして印加される手段２１０Ａからのポーズ情報を、ロゴ・パターンｒ Ｂ」の安定化変形イメージのポーズを、図２に関して上述したやり方で変形する ために使用し、ダイヤグラム２１６に示したポーズを提供する。ダイヤグラム２ １６に示されたこのポーズは、ここで手段２１０Ａからの「ノーパターンＡ／パ ターンＡＪ出力２１１を使いビデオ・スイッチ２１２を通し出力シーン２１８に 挿入される。その結果、前景シーン２０４Ｂを記録しているカメラ２００Ｂおよ び背景シーン２０４Ａを記録しているカメラ２００Ａは、互いに独立して可動と なり、前景シーン２０４Ｂの本来的に可動なロゴ・パターンｒ１３Ｊのイメージ ・フレームのシーケンスも、背景シーン２０４Ａのロゴ・パターンｒＡ１のイメ ージ・フレームのシーケンス上に挿入可能となり、出力シーン２１８におけるロ ゴ・パターン’ＡＪを置き換える。

図２および３においては、ロゴ・パターン’Ａ１を含む物理的に三次元のビルボ ード２０２は、背景シーン２０４Ａにおいて不動であると仮定してきた０図４の 実施例においては、物理的に三次元の可動なトラック２２２が、ロゴ・パターン ｒ　Ａ　Ｊを含むものと仮定され、また、ロゴ・パターンｒＡ４を、図３におけ るものと同一の独立して可動な前景シーン２０４Ｂのロゴ・パターンｒＢｊ　（ 野球プレーヤ）で置き換えることが望まれている。背景シーン２０４Ａのイメー ジ・フレームのシーケンスにおける手段２１０Ａによるロゴ・パターンｒＡ１の 検出が、トラック２２２の背景シーン２０４Ａに存在し得る他の被写体に対する 動きにより影響される事実、およびジオメトリンク変形手段２１４に第２の人力 として印加される手段２１０Ａからのポーズ情報がそれに関連した情報を提供し なければならない事実以外は、図４の装備は、図３におけるものと実質的に同様 である。

図５においては、背景シーン２０４Ａ内の物理的に三次元の動いている自動車２ ２４を、出力シーン２１８において、前景シーン２０４Ｂからのトラ・ツク２２ ６のパターンで、置き換えることが望まれる。原理的に、図５のパターン挿入を 装備するために、上で図３および４に関して既述したパターン・キー挿入の設計 および装備は変形することなく使用できる、しかし挿入を全ての監視環境におい て高度にリアリスティックに見せるために変形が必要となる０例えば、背景シー ン２０４Ａのイメージ・フレームの背景シーケンスにおける自動車２２４の方向 付けは、そのシーケンスを通して、トラック２２６の置き換えビデオの如何なる ジオメトリツクな変形も、挿入されたビデオをリアリスティ・ツクに見せない程 迄変わり得る。これを図解するため、置き換えビデオとしてのトラ・ツク２２６ の側面図および背景ビデオとしての自動車２２４の正面図を想像して見よう。到 達点は、自動車２２４をトラック２２６で置き換えることである。かような置き 換えは、リアリスティックに遂行できない、と言うのは、トラックの側面図は、 トラックの正面図のイメージに関する情報を含まないからである。この問題を解 決するための１方法は、異なる視点から記録されたトラックのイメージのセント を得ることである、そして次にその記録されたイメージを次に最良の置き換えイ メージを与えるようにジオメトリツクに変形することである。代わりの解決は、 図５に示されている。この場合、ジオメトリツク変形手段を含むグラフィック・ ジェネレータ２２８は、そこに入力２１５Ａとして印加される手段２１０Ａから 得た自動車２２４についてのポーズ情報を得る。これは、グラフィック・ジェネ レータ２２８が、その中で動いている自動車２２４のイメージが背景シーン２０ ４Ａ内で動いているトラック２２６のイメージで置き換えられている置き換えシ ーン２０４Ｂとして、トラ、り２２６の正確なポーズにおける計算的に得られ、 あるいは発生させられたイメージを生み出すことを可能とする。

図２．３．４および／または５における手段２１ＯＡ、２１０Ｂおよび２１４の 動作は、上で論した先行技術を利用して、これから述べるパターン・キー挿入を 提供するために必要とされる。

特定的に、圓２のシステムにおいては、作業者は−ビデオ・シーケンスにおける 任會の目標パターン（ロゴ・パターンｒＡＪ）を指定する。それは、背景シーン ２０４Δ内の静止被写体（ビルボード２０２）に対応する。図２の手段２１０Ａ は、ノーケンスを連続的に監視し、目標パターンが見出（検出）されたときは何 時でも、それを第２の７−ケンスから採られた置き換えパターンまたはビデオ（ ロゴ・パターンｒＡＪ）により置き換えるようにしている。挿入の効果は、この 置き換えパターン（またはビテ゛オ）が、目標パターンがイメージ中で、カメラ の動きだけによって動くとき、第１のシーケンス内のある被写体の一部に見える 様に出来ることである。それ故、背景シーン２０４Ａを記録しているカメラ２０ ０Ａは、ロゴ・パターンｒ／１．Ｊを含むノーンを横切って動くことが出来、ま たロゴ・パターンｒ３Ｊは、出力シーケンスにおいて、ロゴ・パターン「Ａｊの 上に正確に位置したままである。

より一般的には、手段２１ＯＡにとって、（特徴の無いテニスコートの真ん中の ような）ある背景領域を追跡することは難しいことがある、と言うのは、そのパ ターンは背景シーン内の他の同様（または同一）なパターンから容易に識別出来 ないからである。二次的領域追跡は、この問題を克服する。手段２１０Ａが、そ の上にビデオが挿入されるべきパターン（目標パターン）を追跡するのに換えて 、背景シーン内の他のパターンから容易に識別可能な第２のｒランドマーク１パ ターンは追跡出来る。背景シーンにおけるランドマーク・パターンの正確な配置 は、次に、目標パターンの正確な配置を推論するのに使うことが出来る。

ランドマーク領域追跡は、目標パターンのランドマーク・パターンからの正確な 位置を推論するための方法を必要とする。手段２１０Ａにおいて、ランドマーク ・パターンの座標位置は背景シーケンスにおける単一基準イメージ中の目標パタ ーンの座標位置から差し引かれ、差ベクトルが得られる。この差ベクトルは次い でランドマーク・パターンの回復した配置に加えられ、前景シーケンスの誘導を 通しての目標パターンの位置を見積もる。簡単にすると、ランドマークと目標パ ターンとの間の位置関係は、前景シーケンスの誘導を通して翻訳的に固定した侭 （しかし、互いに回転および／またはズームすることも許されていて良い）であ ると仮定され、それ故、目標パターンの位置は、若しランドマーク・パターンを 見出し得るならば、推論することができる。

背景シーケンスにおける視野から去りまたは入るパターン（目標またはランドマ ーク）を検出するのは、より難しい、と言うのは、それがシーンに入りまたは去 るときパターンの一部だけしか見えず、パターン検出器は、領域を同定するのに 困難するからである。この問題は、ランドマーク領域追跡を使って解決出来る、 と言うのは、ランドマーク・パターンは、目標パターンが部分的にしか視野に入 らなく、あるいは目標が現行の視野から全くはずれているときでさえ、完全に視 野に置くことが出来るからである。ランドマーク領域追跡の一実施例は図６に示 される。図６において、背景シーン３０４Ａは、カメラ３００Ａの現行の視野よ り成る。図示の様に、現行の視野は、目標（ロゴ・パターンｒＡｊを含むビルボ ード）、ランドマークＢ（木）およびＣ（家）を含み、目標およびランドマーク の各々は互いに位置的に変位している。ブロック３３０、現行の視野、およびブ ロック３３２で指示する欅に、ランドマーク領域の現行の視野３３０を含むワー ルド・マツプ、目標Ａ、ランドマークＢおよびＣは、格納された相対位置の部分 、およびランドマーク領域のワールド・マツプ３３２のパターンのポーズのみを 形成している。これらの格納されたパターンはまた、ランドマーク領域の現行の 視野からたまたま外れているが、ランドマーク領域の以前か以後の視野に含まれ 得るランドマークＤおよびＥも含む０手段３１０Ａ（１）は、カメラ３００Ａお よびブロック３３２の両方からの入力に応答して、パターンＡが完全に視野にあ るか、部分的に視野にあるか、または−以上のランドマークだけが視野にあるか どうかと言う目ｔｌｌＡの位置を指示する出力をそこから導き出すことが出来る 。

手段３１０Ａ（１）は、パターンＡをパターンＢおよび／またはＣを検出し、且 つワールド・マツプ３３２を使うことにより検出してパターンＡの位置を推論す る。手段３１０Ａ（１）からの出力、パターンＡの位置は、図示していない手段 ３１０Ａ　（２）に印加され、それは上述のやり方でポーズを見積もる。手段３ １０Ａ　（２）の出力は次いでビデオ・スイッチ（図示せず）に接続される。

ランドマーク領域追跡は、また目標それ自身がたまたま現行の視野中に吸収され ていて、その場所が、−以上の吸収されていないランドマークの場所から推論し なければならないような時にも有用である。

ランドマーク領域追跡は、若し目標パターンがある特定の方向で視野から離れあ るいは入っていくならば、それに限って問題を解決する。図６に示した実施例で は、ランドマーク領域内のラントマーク・パターンの各々が目標パターンの右に あるが、ランドマーク領域追跡は、若し目標パターンがイメージの左手側で視野 から離れるならば、それに限って問題を解決する。　複式ランドマーク追跡は、 この問題を克服する。単一のランドマーク（または目標）パターンを検出する代 わりに、システムの手段２１０Ａは、異なるランドマーク領域内の一以上のラン ドマーク・パターンを、どのパターンが目標パターンの位置を推論するのに最も 貢献するかにより、検出のため選ぶことが出来る。例えば、若し目標パターンが イメージの左手側で視野から離れるならば、システムは目標パターンの右に向か ってランドマーク・パターンを検出するために選ぶことが出来る。他方、若し目 標パターンがイメージの右手側で視野から離れるならば、システムは目標パター ンの左に向かってランドマーク・パターンを検出するために選ぶことが出来る。

若し、−以上のランドマーク・パターンが見え得るならば、システムは目標パタ ーンの位置をより正確に推論するために、任意の一時に、−以上のランドマーク ・パターンを検出するために選ぶことが出来る。先行技術で教示されている様に 、このシステムは、背景シーケンス内の先のイメージにおけるパターン検出の結 果を、そのシーケンス中の次のイメージにおけるパターン検出を制御ｎするため に使用して、装備され得る。特定的には、このシステムは、先のイメージで検出 されたランドマーク・パターンの位置を、この先のイメージにおける他のランド マーク・パターンの概略位置を推論するために使用する。これらの位置は、単一 のランドマーク・パターンから目標パターンの位置を推論したのと同一の方法で 推論される。次いでシステムは、現行のイメージ中に、先のイメージにおける目 標パターンに最も近く、そして先のイメージの境界から充分に遠いランドマーク ・パターンを検出するために選ぶ。その結果、検出されたランドマーク領域が背 景シーンの視野から離れるばかりになった時、このシステムは、イメージの境界 からより遠い他のランドマーク・パターンを検出するために選ぶ。

背景シーケンス中にシーン・カットが生した時、あるいはシステムを最初に始動 させた時は、ランドマークの場所の（正確な）先行知識は無い。こうした場合、 このシステムは、イメージ全体にわたって全てのランドマーク・パターンを探す ように選ぶ。この欅にして、一旦ランドマーク・パターンが検出されると、この システムは、現行のフレームからの検出結果を使用して、その次のフレームにお けるランドマーク・サーチの手順に復帰することが出来る。

手段２１０Ａによる基本的ランドマーク領域追跡の装備に伴う問題点は、単一の 、固定的差ベクトルが、目標パターンとラントマーク・パターンとの間のポーズ 関係を特徴付けるのに充分で無いことがあることである。例えば、カメラのレン ズの周辺における湾曲は、シーンにおける特徴物間の距離を、カメラがシーンを 横切って動く時、小さく又は大きく見えるようにする。例えば、目標パターンと ランドマーク・パターンとの間の距離が、両パターンがイメージ中心近くに現れ た時、２０画素であったとすると、この距離は、パターンがイメージ端部近くに 現れた時、２５画素に増大する。この問題点は、距離の変化のみに限らない；ポ ーズの変化（サイズ、方向付けおよび遠近の歪み）も、レンズの湾曲により生し 得り、シーンにおけるパターンの深度の差も又しかりである。その結果、目標パ ターンの位置（およびポーズ）が不正値に推論され、ビデオが背景シーンの間違 った位置に挿入される。この問題点を克服するために、補正的ランドマーク領域 追跡が、背景ノーケンス内のランドマーク・パターンの正確にもとめた位置を、 目標パターンの場所におけるレンズ湾曲および深度エラーを予測するように使用 して、目標パターンの位置およびポーズにおけるエラーを補償する。この追跡方 法は次の工程を含む、即ち： ａ）各ランドマーク領域の、他のランドマーク領域に対する正確な位置およびポ ーズを、そのイメージ・シーケンス全体にわたって計算する；ｂ）各ランドマー ク領域の、他のランドマーク領域に対する正確な位置およびポーズを、そのイメ ージ・シーケンス全体にわたって同一の固定的差ベクトルを使用して計算する； Ｃ）ａ）からｂ）を差引き、そのイメージ・シーケンス全体にわたって各ランド マーク領域の単純差ベクトル・モデルにおけるエラーを決定する；ｄ）ｃ）で回 収されたエラー結果を補間して、目標パターンの場所におけるエラーを、そのエ ラーが、ランドマーク領域間でスムースに変化するものと仮定して予測する；お よび ｅ）目標パターンの位置およびポーズにおける予測されたエラーを、位置および ポーズの原見積りから差引き、目標パターンの位置およびポーズのより正確な見 積りを得る。

パターン・キー挿入の技術的に最もチャレンジングな側面は、ビデオ・シーケン ス内での目標およびラントマーク・パターンの検出にある。検出は、信※員性高 くまたビデオ・レートにおいて遂行されなければならない。ある方法は、階層構 造サーチおよび階層的動き（登録）技術を利用する。次は、これらの技術を使用 したパターン・キー挿入の装備の詳細な既述である。　図７には本発明のパター ン・キー挿入技術の実施にあたり遂行される連続工程が示されている。楕円のブ ロックは、データに対応し、また方形のブロックは、処理モジュールに対応して いる。若し、ｒ　Ｎ　」があるシーケンス内でのイメージ番号とすれば、このダ イヤグラムは、どの様にして第１ソース・ノーケンス（つまり、図２〜５の背景 ノーンに由来するパノーケンス）のイメージｒ　Ｎ　Ｊが、第２ソース・シーケ ンス（つまり、図２〜５の前景シーンに由来するＢシーケンス）のイメージＮと 合併して、到達シーケンス（つまり、図２〜５の出力シーン・シーケンス）のイ メージＮを生しるかを示している。このパターン・キー挿入の手順には三つの主 要要素がある。図２〜５において、これらの要素は、手段２１０Ａ、手段２１０ Ｂおよび手段２１４を含む。手段２１０Ａは、背景シーンにおけるパターンを検 出することによる第１ソースのためのランドマーク・ロケータ、および（２）第 １ソースの基準イメージ（または複数のイメージ）に関するランドマークのポー ズを見積もるポーズ・エステイメータの機能を遂行する。手段２１０Ｂは、前景 シーン内のパターンを検出することによる第２ソースのためのランドマーク・ロ ケータおよび（２）第２ソースの基準イメージ（または複数のイメージ）に関す るランドマークのポーズを見積もるポーズ・エステイメータの機能を遂行する。

手段２１４は、到達シーケンスへの挿入のためのビデオを適切にフォーマントす るジオメトリツク変形モジュールである。ラントマーク・ロケータの動作は、イ メージＮ、シーケンス１　（つまり、第１ソース・ソーケンス）におけるＬＡＮ ＤＭＡＲＫＳの場所の粗い見積もりを決定する。ポーズ・エステイメータは、ｒ ＬＯｃＡＴＯＲ３，と呼ばれてきたイメージ領域をシステマチックに登録する手 順により、場所の細かい見積もりを決定する。これらの二つの要素は、図７にお いてそれぞれ ｒＬｏｃａｔｅ　ｌａｎｄｍａｒｋｓ　（ランドマーク配置）」およびｒＳｅ　 Ｉ　ｅｃｔ　１ｏｃａｔｏｒ　ａｎｄ　Ｆｉｔａｆｆｉｎｅ　ｐｒｅｃｉｓｅ　 ａｌｉｇｎｍｅｎｔ　ｔｏ　１ｏｃａｔｏｒ（ロケータ選択およびロケータへの アフィン　精密整列適合）」と指示されている。この手１＠の最終段階は、第２ ソース・シーケンスからのビデオを実際に第１ソース・シーケンスに挿入して、 到達シーケンスを作成することである。　初期セットアツプ手順は、三部分に分 けられる二即ちイメージ特定セットアツプおよびワールド特定セットアツプであ る。それらは、発明により描かれた応用において、ワールド特定セットアツプは 特定のイメージ・シーンについて一回だけ行うことを期待されているので、分け られている。例えば、ワールド特定セットアツプは、特定のフットボール場につ いて行って、格納され、その後、その特定のフノトボール場を示す任意のイメー ジ・シーケンス上にパターン・キー挿入が望まれる次の時に検索され得る。他方 、イメージ特定セットアツプは、イメージ・シーケンスにおける挿入ビデオの位 置に関する。

イメージ特定セットアツプにおいては、パターン・キー挿入方法が始まる前、操 作者は、第１ソース・シーケンス・イメージのどこに挿入されるべきが（目標ま たは ＤＥＳＴＩＮＡＴＩＯＮ　（到達）領域）および、第２　ソース・’ｉ−’ｒ７ ス（３０ＵＲＣＥ　（ソース）領域）のどこに、そのイメージが挿入されるべき かを定義しなければならない。操作者はまた、イメージ・ランドマークの位置、 サイズおよび形、およびロケータを定義しなければならない。これをするため、 あるＲＥＦＥＲＥＮＣＥ　（基準）イメージが、到達領域を含む第１ソース・シ ーケンスから選ばれる。例えば、操作者は、このイメージの上左手コーナーをワ ールド座標システムの原点と定義することが出来る。操作者は、到達領域を取り 囲む閉鎖された凸多角形の４コーナーの座標を記録して、目標または到達領域を 定義することが出来る。図２〜５の背景シーン２０４Ａにおけるロゴ・パターン 「ＡＪの４コーナーは、かような多角形を定義する。このデータは、ＤＥＳＴＩ ＮＡＴＩ　ＯＮ（到達）座標セットと呼ばれる。同様に、操作者は、ノーケンス ２（つまり、第２ソース・シーケンス）におけるイメージからソース位置を選び 、それを５ＯＵＲＣＥ　（ソース）座標上ノドと呼ぶ。当初は、シーケンス２に はカメラの動きは無く　（図２の前景シーンにおける実際の場合である）、任意 のイメージがこのソース座標セットを定義するのに使用出来る。その後、この束 縛は緩められる。

ワールド特定上ノドアップにおいては、操作者は、ロケータ領域を取り囲む閉鎖 された凸多角形の４コーナーの座標を記録して、ＬＯＣＡＴＯＲ（ロケータ）領 域の位置およびサイズを定義する。少なくとも一つのロケータを定義しなければ ならないが、若しより多くのロケータを定義すれば、ロケータがカメラの視野を 出入りして動く時、システムの強さが改善される。到達領域がカメラの視野に完 全にまたは部分的にある時、若し正確なビデオ挿入がそのシーケンスの全ての部 分で達成されるべきであれば、少なくとも一つのロケータは、カメラの視野に完 全に入っていなければならない。典型的には、到達領域を囲んで約４または５の ロケータ領域が、少なくとも一つのロケータが、到達領域が視野に出入りして動 く時、カメラの視野に完全に入っているように、定義される。

操作者はまた、挿入手順の第１段階で使用されるイメージＬＡＮＤＭＡＲＫＳ（ ラントマークス）を選ばなければならない。図２および３のパターン・キー挿入 において、これらのランドマークスの場所は、パターン・キー挿入が行われてい る間ワールド座標システムに関して固定された侭でなければならない；従って、 可動のランドマークス（例えば、車や人物）はランドマークとしては賢い選択で ない。良いランドマーク選択は、フットポール・スタンドのコーナーまたはテニ スコートのネット支持体である。図４または５のパターン・キー挿入においては 、目標または到達領域が動いている被写体上にあるが、ランドマークはその上に 目標または到達領域が現れる同一の被写体上に現れなければならない、操作者は 、少なくとも一つのランドマークを定義しなければならないが、若しより多くの ランドマークを定義すれば、ランドマーク吸収（可動被写体はランドマークを不 明瞭にする）の存在下で、またランドマークがカメラの視野に出入りして動く時 でも、ランドマーク・ロケータ・モジュールの強さが改善される。一般に、到達 領域を囲んで約４または５のランドマークが定義される。これは、少なくとも一 つのランドマークを、到達領域が視野に来た時、検出し追跡すべきであるとを意 味する。ランドマークは、基準イメージ内だけに現れるとは限らない；ランドマ ークは、それらの位置がワールド座標内で基準イメージに関して表現される限り 、第１ソース・シーケンスの他のイメージにも位置し得る。各ランドマークにつ いてのワールド座標位置は、簡単な平面ワールド・モデルを使って計算される。

若し、ランドマーク１が基準イメージ内に可視で、またランドマーク１およびラ ンドマーク２の両方が、シーケンスの後のイメージにあると仮定すると、ランド マーク２のワールド座標は、後のイメージのローカル座標システムにおけるラン ドマーク１およびランドマーク２の座標の差に加えられたランドマーク１のワー ルド座標に等しい。この計算は、２以上のランドマークが常に−イメージ上で可 視であるとして、シーケンスにおける任意のラントマークのワールド座標を見積 もるように、繰り返すことが出来る。

典型的に、ランドマークの一セットが選ばれる。これらのランドマークの相対位 置（およびロケータの位置）は、グラフ構造で記録される（図７ではＷＯＲＬＤ ＭＡＰ（ワールド／マツプ）と指示される）。階層構造サーチ手順においては、 サーチは最も突出したランドマークから始まる。次いでサーチは、より粗い解像 度からの結果をサーチの案内に使用して、より細かい解像度に進む。かようなサ ーチ構造は、ランドマーク検出モジュールの効率を改善する。図７において、各 ランドマークのための基準「テンプレート」を記録する粗い／細がいイメージの セットは、ＴＲＥＥ　５ＴＲｔＪＣＴＵＲＥ　（ツ’Ｊ−構造）と呼ばれる。

Ｌｏｃａｔｅ　Ｌａｎｄｍａｒｋｓ（ランドマーク配置）は図７に示したパター ン°キー挿入技術の第１処理モジユールである。第１ソース・シーケンスの第１ イメージのために、このモジュールは、各ツリー構造を採り、そのイメージ全体 にわたって各ランドマークをサーチする。処理効率を増大させるため、サーチ手 順は、最初に各ランドマークを、粗い解像度での最高の相関マツチに置くが、そ れはランドマークのためのサーチ面を、順次的により細かい解像度に限定する、 出力は、そのイメージ内の各ＶＩＳＩＢＬＥ（可視）ランドマークの（現行イメ ージに関する）座標位置である。若し相関マツチがあるしきい値より低ければ、 そのランドマークはＩＮＶＩｓＩＢＬＥ　（不可視）と宣言され、何らの座標位 置も戻されない。これは、若しあるランドマークが、視野の外にあるか、ランド マークが吸収されていれば起こり得ることである。

今、いくつかのラントマークの現行イメージに関する位置が知られたとすると、 その情報は、ワールド・マ、ブと組合せられ、一つのＬＯＣＡＬ　ＭＡＰ（ロー カル・マツプ）を生みだす。このローカル・マツプは、全てのランドマークおよ びロケータ（可視または不可視の）の現行イメージに関する見積り座標を含む’ ７７　イ／ｌ／である。このし１−カル・マツプは、基本的に検出されたラント マークのワールド座標と検出されたランドマークのローカル座標との和だけずら されたワールド　マツプである。それ故、ローカル・マツプにおける全てのラン ドマークおよびロケータ位置は、現行イメーー；の上左手コーナーに関して定義 される。実際上、全ての検出されたラントマークからの情報を位置見積りの精密 さを増大させるように組合せることが望まれる。検出されたラントマーク位置の 不確実さが、他のラントマークおよびロケータ位置の最適見積りを決定するため につくられる（ｍｏｌｄｅｄ）。特定的に、検出された位置の、方向付けおよび 翻訳的位置に関する固定した不確実さが、各ランドマークに対して仮定される。

そして、それはワールド・マツプを使い、いかにこれらの固定した不確実さが、 検出されていない各ランドマークに対して、翻訳的不確実さに写像されるかを決 定することが出来る。例えば、検出されたランドマークの方向付けにおける小さ な不確実さは、若し二つのランドマークが水平的に遠（離れていれば、検出され ていないランドマークの垂直位置における大きな不確実さとなり得る。それ故、 検出されていないランドマークの各々について、検出されたランドマークの各々 から決定された関連する不確実さを伴う見積り位置がある。検出されていないラ ンドマークの位置は、決定された不確実さを重み付はファクタとして使い、見積 り位置の重み付は平均を決定することにより見積られる。

現行イメージの座標次元は知られている、そしてカメラの動きの最大速度（例え ば、−フレームあたり２０画素）は、それがローカル・マツプから、ランドマー クまたはロケータが、そのシーケンスの次のイメージ中で可視であるかどうか予 測できるように、見積ることが出来る。

ローカル・マツプが、シーケンスの最初のイメージについて作られた後、そのロ ーカル・マツプは、ランドマーク・ロケータ・モジュールをそのシーケンスの第 ２イメージに案内するために使用される。この場合、ランドマーク・ロケータ・ モジュールは、先のローカル・マツプにおいてＶＩＳＩＢＬＥ（可視）と予測さ れたランドマークについてだけサーチし、そのサーチを先のローカル・マツプに おけるかようなランドマークの各々の場所を取り囲む領域に集中する。このサー チ領域の幅および高さは、各ランドマークにつき、カメラの動きの見積られた最 大速度および各ランドマークの位置の予測された不確実さにより制御される。

この集中されたサーチ手順は処理効率をドラマチックに改善する。

若し、イメージ・ノーケンス中にシーン変化またはシーン・力・７トが起こり、 集中されたサーチ領域内にランドマークが検出されないならば、システムは、イ メージ全体にわたりランドマークをサーチする。若し、それでもランドマークが 検出されないならば、完全に異なるワールド・シーンが表示されていると仮定し 、そのイメージに対するパターン・キー挿入を中断する。このことは、パターン ・キー挿入を示すシーケンスが、挿入品質に不利な影響無く他のシーケンスと自 由に混合出来ることを意味している。

５ｅｌｅｃｔ　Ｌｏｃａｔｏｒ　ａｎｄ　Ｆｉｔ　Ａｆｆｉｎｅ　Ｐｒｅｃｉｓ ｅ　Ａｌｉｇｎｍｅｎｔ（ロケータ選択およびアフィン精密整列の適合）モジュ ールは、パターン・キー挿入の第２の主要な動作を遂行する。このモジュールは 、先ずいくつかのロケータ領域の内どれが精密なイメージ動き見積りを決定する ために使われるべきかを選ぶ。到達領域に近接したロケータ領域を使用すること が望まれる、と言うのはこのロケータの動きは到達領域の動きの見積りとして使 われるからである。他方、ロケータ領域が、動きの見積りが正確であるために完 全に可視であることを保証することも望まれている。このローカル・マツプは、 各ロケータの上左手コーナーの見積られた位置を含み、この情報をＬＯＣＡＴＯ Ｒ（ロケータ）座標データ・セットと組み合わせれば、各ロケータの各コーナー の座標の現行イメージに関する見積りを与えるようになっている。これは、完く そのイメージ内にあり、最小のロケータと到達領域の重心間距離を有するロケー タを選ぶことにより達成される。若し、この条件を充たすロケータ領域が無いな らば、アフィン適合モジュールは廃棄され、ローカル・マツプだけが使用される 。この使用された動き見積りは、最小のロケータと到達領域の重心間距離を有す るロケータの位置である。

若し、ロケータ領域が完くそのイメージ内にあれば、基準イメージ内のロケータ 領域と現行イメージとの間のアフィン精密整列モデルが、ローカル・マツプにお けるロケータ領域の座標を動きの最初の見積りとして使用して、適合される。

このアフィン精密整列モデルは、そのモデルを順次より細かくなる解像度で洗練 する前に、粗い解像度で計算される。得られた結果は、基準イメージ内のロケー タと現行イメージ内のロケータとの間の動きを定義するパラメータの七ノドであ る。このアフィン精密整列見積り処理は、」二記した種々の先行技術刊行物にお いて、より詳細に述べられている。

どこにビデオを挿入すべきかを知るために、第２ソース・シーケンス内のソース 領域と第１ソースノー′アンス内の到達領域との間の正確な動きを決定する必要 がある。これは、アフィン精密整列見積り手順から回収した動きを、これらの領 域のコーナーの座標から決定されたソース、ロケータおよび到達領域間の動きに まりカスケードすることにより行われる。取り分け、次の工程が遂行される：＊ ソース領域−〉基準イメージ内のロケータ：ある動き見積りが、これらの領域間 で、あるアフィンまたは二次動きモデルを、各領域の４コーナー座標から決定さ れる４つの動きのベクトルに適合させることにより決定される。先に述べたのと 同一のアフィン適合手順がこの目的に使用される。

＊基準イメージ内のロケ−クー〉現行イメージ内のロケータ：この結果は、アフ ィン精密整列見積りモジュールから既に利用可能となっている。

＊現行イメージ内のロケータ−〉現行イメージ内の到達領域：この動きは、ＲＥ ＦＥＲＥＮＣＥ　（基準）イメージ内の領域間のアフィンまたは二次動き見積り として近似させられている。先に述べたのと同一の技術この目的に使用される。

これらの動き見積りは、基準イメージ内のソース領域および現行イメージ内の到 達領域間の単一のマツピング見積りを生しるようにカスケードさせられる。マツ ピング中の全てのエラーは、そこでは、基準イメージ内のロケータおよび到達領 域の相対位置が、現行イメージ内の相対位置と同一であると仮定されている（つ まり、平面のワールド・モデルが仮定されている）第３または最後のマツピング 手順から生しる。レンズの湾曲およびシーンの深度変化により、この仮定は常に 有効であるとは限らない。しかしながら、実際のワールド・シーンでは、それは 、特に若しロケータおよび到達領域が現行イメージ内で近似しているならば、良 い近似であり得る。更に、このアフィン精密整列見積りモジュールは、平面のワ ールド・モデルを使って予測された動き（ローカル・マツプによって提供された 初期動き見積り）と、測定された現実の動きとの間の差に関する情報も与える。

この情報は、平面のワール）゛の仮定から生じるエラーを、先に定められたマン ピング見積りを洗練するために、モデルする（合わせる）のに使用出来る。この エラー機能モデルはまだ装備されていないので、図７中に破線で表示される。

ビデオは好ましくはカラー・ビデオである。この場合、ランドマーク検出および ロケータのポーズ見積りのために要する全ての処理は、カラー・イメージ・シー ケンスのルミナンス（明るさ）成分上に行われる。カラー・ビデオをカラー・ノ ーケンスに挿入するために、ソース・ビデオの各カラー成分は、到達ビデオの対 応するカラーに挿入される。例えば、第２ソース・シーケンスの赤強度イメージ のソース領域は、第１ソース・シーケンスの赤強度イメージの到達領域に挿入さ れる。

実際には、多くのビデオ・シーケンスが、そこではあるシーケンスの各イメージ が、各々ｌ／６０秒の時間間隔で記録される２フイールドより成り、そのイメー ジの全ての交互の水平線が同一フィールドに属するようにされている飛び越し走 査のＮＴＳＣフォーマットで記録されている。その結果、カメラの水平動きは、 イメージの隣接する線間の動きとなり得る。例えば、水平方向で急速にパンする 飛び越し走査のカメラによりイメージされた垂直線は、ぎざぎざの垂直線として 記録される。パターン・キー解析のためのこの問題には二つの結果がある。第１ のものは、飛び越し走査は、ランドマークおよびロケータの強度パターンを歪ま せて、ランドマーク・ロケータおよびアフィン適合モジュールの強さをより少な くし得ると言うことである。第２のものは、異なる飛び越し走査歪みを有する（ または歪みのない）第２ソース・シーケンスからのビデオを第１ソース・シーケ ンスのそれに挿入することは受入れ難い挿入結果をもたらすと言うことである、 例えば、２速に動くカメラは、イメージ全体にわたって、かなりの飛び越し走査 歪みをもたらすが、静止カメラに由来する挿入ビデオは、飛び越し走査歪み含ま ず、合成的で嘘のように見えるようになる。

これらの問題を克服する一つの方法は、パターン・キー挿入を、イメージの第１ 上と第２フイールド上とで別々に行うことである。この場合、別々の基準イメー ジ、ロケータ座標およびソース座標データ・セントが使われるが、同一のツリー 構造、ワールド・マツプおよび到達座標データ・セットが使われる。そのセット アツプ手順において、−フィールド内のロケータ座標およびソース座標データ・ 七ノドが選ばれ、第２フイールド内のロケータ座標およびソース座標が、フィー ルド１内の各ロケータ領域とフィールド２内の対応するロケータ領域との間のア フィン精密整列を決定することにより決定される。パターン・キー挿入法で使わ れたのと同一のアフィン適合モジュールが使われる。結果は、そのイメージ・ノ ーケンスのフィールド２内の各ロケータに対応する（近似してはいるが）異なる ロケータおよびソース座標の七ノドである。それ故、シーケンス２における飛び 越し走査歪みは、挿入されたビデオシーケンス内に精密に複製される。

結果は、若し第１ソース・シーケンス内のある物理的三次元シーン被写体が他の 物理的三次元シーン被写体に置き換えられたなら観察され得たはずのイメージ・ シーケンスを正確に複製するパターン・キー挿入手順である。このイメージ・シ ーケンスの正確な複製を達成するために、パターン・キー挿入手順は好ましくは 動きのぼやけをシミュレートすべきであるや次記の一般化をすることが可能であ る：ａ）ロケータ、ソースおよび到達領域について、４側の凸多角形でなくて、 任意の形状を使用することが出来る。

ｂ）ソース・ビデオは、二つのビデオ・ソース間に生じ得る鋭い明るさの転移を スムースにするように、到達ビデオと合併することが出来る。帯域限定のＮＴＳ Ｃコンパチブル信号を作るために、ある合併が必要となる。マルチ解像度合併を 使用しても良い。

Ｃ）カメラがスクリーンをパン・アクロスするとき、カメラの光センサにより検 出された光を変化させる、例えば、レンズ・ピネンティングからの照明変化は、 挿入ビデオを背景とマツチさせる処理中に含ませることが出来る。

ｄ）アフィン適合モジュールの結果は、この方法の効率を増大させるためローカ ル・マツプを洗練するのに使用出来る。

ｅ）パターン・キー挿入法は、カメラ・ズームを許すため、−齢化出来る。

ｆ）放送スタジオにおける高度なパターン・キー挿入システムは、パターンを、 より小さな放送およびあちこちにあるケーブル・アウトレットに設けられた、よ り簡単なパターン・キー挿入システムにより容易に同定されるビデオ・シーケン スに挿入することが出来る。

ｇ）パターン・キー挿入システム（複数）は、挿入されたビデオを他の挿入され たビデオの上に重合わせられるように、共にカスケードされ得る。

ｈ）パターン・キー挿入は任意の標準ビデオ・シーケンスを挿入出来るので、全 ての現行ビデオ操作技術は、パターン・キー挿入技術に何らの結果をもたらすこ となく、挿入されたビデオ・シーケンスを前処理するのに使用することが出来る 。例えば、ズームされたビデオ；つまり時間にわたり到達領域内でサイズの増大 するビデオの挿入も含ませることが出来る。

ｉ）パターン・キー挿入を装備するために要する処理において、シーンの三次元 モデルを、上述の二次元アフィン・モデルの代わりに使用しても良い。

本発明のパターン・キー挿入技術は、カラー・キー挿入技術によって現在行われ ている全てのビデオ挿入の品質を改善するが、本発明のパターン・キー挿入技術 だけが行うことの出来る他の応用がある。これらの他の応用には次のものが含ま れる；　ａ）使用者が制ｔ３１１出来ない環境で記録された他のイメージ・シー ケンス中に、ビデオを挿入すること。

ｂ）現実世界のシーケンスを、テニス・シーケンスに組み合わせるのに使用する アニメーション技術の自動制御化。

Ｃ）あるビデオ・シーケンス中のある広告またはイメージ特徴上に、他の広告を 挿入すること。

ｄ）あるイメージ・シーケンス中の動いている領域を、同一のイメージ・シーケ ンス中の他の動いている領域に挿入すること。例えば、テニスの試合の審判のイ メージは、同一のテニスの試合のスコアボード上に挿入出来る。

ここに教示された装置および動作方法は、本発明を説明するだめのものと理解す べきである。改良は、当該技術に熟達した者により、本発明の精神および範囲よ り逸脱することなく容易に考案し得る。三次元物理被写体に関して種々の実施例 が既述されたが、被写体には検出および／または記録することの出来る二次元物 理被写体、電子的に発生させられたイメージおよびその他の形のイメージも含む ものと理解すべきである。

Ｆｉｇ、　６ Ｆｉｇ、　７

Claims (1)

1. 【特許請求の範囲】 １．次記のものを含む、あるシーンの連続一次元ビデオ・イメージ・フレームの あるシーケンス内の第１パターンを、第２パターンで置き換えるための装置：前 記第１パターンの相対位置を検出し、前記検出された第１パターンの前記シーケ ンス内の前記ビデオ・イメージ・フレームの各々に関するポーズを見積もるため の第１手段； 前記第２パターンを、前記検出された第１パターンのポーズ見積りを使用して、 ジオメトリックに変形するための第２手段；および前記検出された第１パターン に応答して、前記検出された第１パターンを、前記ジオメトリックに変形された 第２パターンで置き換えるための第３手段。 ２．範囲１に定義された装置であって：前記第１手段が、少なくとも一つの被写 体のカメラ視野から得た連続一次元ビデオ・イメージ・フレームの前記シーケン スに応答する手段を含むものであり、前記被写体が前記第１パターンを定めるも のであり、且つ前記検出された第１パターンの、連続一次元ビデオ・イメージ・ フレームの前記シーケンスの各々におけるカメラ視野に関する、ポーズ見積りの ためのパースペクテイブ変形を提供するためアフィン精密整列を採用している装 置。 ３．範囲１に定義された装置であって：前記第１手段が、少なくとも一つの被写 体のカメラ視野から得た連続一次元ビデオ・イメージ・フレームの前記シーケン スに応答する手段を含むものであり、前記被写体が前記第１パターンを定めるも のであり、且つ前記シーンにおける前記第１パターンを検出するために、粗いも のから細かいものに至るサーチ技術を採用している装置。 ４．範囲１に定義された装置であって：前記第２パターンが、あるパターンのあ るパターンであり；且つ前記第２手段が、それに入力として印加される前記パタ ーンを、前記第２パターンのジオメトリック変形を、前記検出された第１パター ンのポーズ見積りを使用して、計算するのに使用するために定義する選ばれたジ オメトリック・パラメータに応答するものである装置。 ５．範囲１に定義された装置であって：前記第２パターンが、連続一次元ビデオ ・イメージ・フレームのあるシーケンスにより定まる第２ビデオ・シーン内の動 いているパターンで、前記動いている第２パターンの予め定められた部分が、基 準パターンを構成しており；前記装置が更に、前記第２シーン内の前記動いてい るパターンを検出し、且つ前記検出された動いている第２パターンのその前記基 準パターン部分に関するポーズを見積るための第４手段を含むものであり；且つ 前記第２パターンをジオメトリックに変形させるための前記第２手段が、前記検 出された動いている第２パターンの前記ポーズ見積り基準パターン部分を、前記 第２パターンの、その基準パターン部分に関する、安定化変形イメージを提供す る原点として使用し、また前記検出された第１パターンのポーズ見積りを、前記 第２パターンの前記安定化変形イメージをジオメトリックに変形させるために使 用するものである装置。 ６．範囲５に定義された装置であって：前記第４手段が、前記第２シーンを定め る連続一次元ビデオ・イメージ・フレームの前記シーケンスに応答する手段を含 むものであり、且つ前記検出された動いている第２パターンの、前記第２シーン 内の基準パターン部分に関する、ポーズを見積るためにアフィン精密整列見積り を採用している装置。 ７．次記の工程を含む、あるシーンの連続一次元ビデオ・イメージ・フレームの あるシーケンス内の第１パターンを、第２パターンで置き換えるための方法：ａ ）前記第１パターンの相対位置を検出し、前記検出された第１パターンの、前記 シーケンス内の前記ビデオ・イメージ・フレームの各々に関するポーズを見積も る工程； ｂ）前記第２パターンを、前記検出された第１パターンのポーズ見積りを使用し て、ジオメトリックに変形する工程；およびｃ）前記検出された第１パターンに 応答して、前記検出された第１パターンを前記ジオメトリックに変形された第２ パターンで置き換える工程；８．範囲７に定義された方法であって：工程（ａ） が、少なくとも一つの被写体のカメラ視野から得た連続一次元ビデオ・イメージ ・フレームの前記シーケンスに応答するものであり、前記被写体が前記第１パタ ーンを定めるものであり、且つ前記検出された第１パターンの、連続一次元ビデ オ・イメージ・フレームの前記シーケンスの各々におけるカメラ視野に関する、 ポーズ見積りのためのパースペクテイブ変形を提供するために、アフィン精密整 列を採用している方法。 ９．範囲７に定義された方法であって：工程（ａ）が、少なくとも一つの被写体 のカメラ視野から得た連続一次元ビデオ・イメージ・フレームの前記シーケンス に応答するものであり、前記被写体が前記第１パターンを定めるものであり、且 つ前記シーンにおける前記第１パターンを検出するために粗いものから細かいも のに至るサーチ技術を採用している方法。 １０．範囲７に定義された方法であって：前記第２パターンが、ある固定パター ンであり；且つ工程（ｂ）が、それに入力として印加される前記固定パターンを 、前記第２パターンのジオメトリック変形を、前記検出された第１パターンのポ ーズ見積り使用して、計算するのに使用するために定義する選ばれたジオメトリ ック・パラメータに応答するものである方法。 １１．範囲７に定義された方法であって：前記第２パターンが、連続一次元ビデ オ・イメージ・フレームのあるシーケンスにより定まる第２シーン内の動いてい るパターンで、前記動いている第２パターンの予め定められた部分が、基準パタ ーンを構成しており；前記方法の工程が更に、前記第２シーン内の前記動いてい る第２パターンを検出し、且つ前記検出された動いている第２パターンのその前 記基準パターン部分に関するポーズを見積るための工程（ｄ）を含むものであり ；且つ前記工程（ｂ）が、第２パターンをジオメトリックに変形させるものであ ってその工程が、前記検出された動いている第２パターンの前記ポーズ見積りの 基準パターン部分を、前記第２パターンの、その基準パターン部分に関する、安 定化変形イメージを提供する原点として使用し、また前記検出された第１パター ンのポーズ見積りを、前記第２パターンの前記安定化変形イメージをジオメトリ ックに変形させるために使用するものである方法。 １２．範囲１２に定義された方法であって：前記工程（ｄ）が、前記第２シーン を定める連続一次元ビデオ・イメージ・フレームの前記シーケンスに応答してお り、且つ前記検出された動いている第２パターンの、前記第２シーンにおける基 準パターン部分に関する、ポーズを見積るためにアフィン精密整列見積りを採用 している方法。 １３．範囲７に定義され、さらに次の工程を含む方法：ｄ）（１）前記第２パタ ーンを発生させるため、且つ（２）工程（ｂ）を、前記第２パターンのポーズを 、前記検出された第１パターンのポーズ見積りを使用して、ジオメトリックに変 形させることにより行うためグラフィック・ジェネレータを採用する工程。 １４．範囲７に定義され、その工程（ａ）が、次の工程を含む方法：ｄ）前記第 １パターンの、前記シーケンス内の前記ビデオ・イメージ・フレームの各々に関 する相対位置を、前記シーン内の前記第１パターンの位置に関して予め定められ た相対位置を有するそのビデオ・イメージ・フレーム内の少なくとも一つのラン ドマーク・パターンの位置を検出することにより、検出する工程；それにより、 前記第１パターンの、そのビデオ・イメージ・フレームに関する相対位置は、前 記一つのランドマーク・パターンの検出された位置から推論できる。 １５．範囲１４の方法であって、前記一つのランドマーク・パターンが、複数の 間隔をおいたランドマーク・パターンを、前記複数のランドマーク・パターンの 各々、および前記第１パターンのワールド・マップ内に格納された前記シーンに 関する各位置を有して含む、前記シーンのあるランドマーク領域内に含まれてお り、それにより、前記複数の間隔をおいたランドマーク・パターンの少なくとも 単一のもののイメージが、前記シーケンス内の前記ビデオ・イメージ・フレーム の各々に含まれるようになり、一方、前記第１パターンが、前記シーケンス内の あるビデオ・イメージ・フレームに部分的にしか、あるいは全く含まれていなく ても良く；且つ、工程（ｄ）が次工程を含む方法：前記ワールド・マップ内に、 そのビデオ・イメージ・フレーム内の前記複数の間隔をおいたランドマーク・パ ターンの前記単一のものイメージの相対位置とともに格納されたランドマーク・ パターンの各位直を、前記第１パターンのイメージの、そのビデオ・イメージ・ フレームに関する相対位置を推論するために採用する工程。