JP3242406B2 - パターン・キー挿入を用いたビデオ合併 - Google Patents
パターン・キー挿入を用いたビデオ合併Info
- Publication number
- JP3242406B2 JP3242406B2 JP50607293A JP50607293A JP3242406B2 JP 3242406 B2 JP3242406 B2 JP 3242406B2 JP 50607293 A JP50607293 A JP 50607293A JP 50607293 A JP50607293 A JP 50607293A JP 3242406 B2 JP3242406 B2 JP 3242406B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- landmark
- sequence
- frame
- landmarks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
- H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
- H04N5/275—Generation of keying signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Image Analysis (AREA)
- Studio Circuits (AREA)
- Processing Of Color Television Signals (AREA)
Description
【発明の詳細な説明】 本発明は、複数の別々のビデオ信号ソースから供給さ
れた前景および背景ビデオ・イメージ・データを合併さ
せて複合ビデオ・イメージを得るための技術、より特定
的には、この目的にパターン・キー挿入を用いる技術に
係る。
れた前景および背景ビデオ・イメージ・データを合併さ
せて複合ビデオ・イメージを得るための技術、より特定
的には、この目的にパターン・キー挿入を用いる技術に
係る。
発明の背景 二以上のビデオ信号を合併させて複合ビデオ信号を得
るための手段は、当該技術に知られている。かようなビ
デオ合併の例は、テレビジョンにおける天気予報の提示
であり、前景の天気予報者は、背景の天気図に重ね合わ
されている。
るための手段は、当該技術に知られている。かようなビ
デオ合併の例は、テレビジョンにおける天気予報の提示
であり、前景の天気予報者は、背景の天気図に重ね合わ
されている。
かような先行技術手段は、そこで所要の前景シーンが
着色背景（通常青または緑）を用いて記録されるカラー
・キー合併技術を普通使用する。所要の背景シーンもま
た記録される。その最も単純な形で、カラー・キー・ビ
デオ合併技術は、前景シーンにおける各点の色を、前景
ビデオ信号と背景ビデオ信号との間で、自動的に『ハー
ドで』切り換える（つまり、二値切替えをする）。この
カラー・キー・ビデオ合併技術は、前景シーンにおける
各点の色を、前景および背景ビデオ信号を自動的に切り
換えるために使用する。取り分け、若し、前景シーンに
青の画素が検出されたなら（青がカラー・キーであると
仮定して）ビデオ・スイッチが、背景シーンからのビデ
オ信号を、その点での出力シーンに向ける。若し、前景
シーンに青の画素が検出されないならば、ビデオ・スイ
ッチは、前景シーンからのビデオ信号を、その点での出
力シーンに向ける。全ての点がこの様にして処理された
後、結果は、入力された前景および背景シーンの組合せ
である出力シーンとなる。
着色背景（通常青または緑）を用いて記録されるカラー
・キー合併技術を普通使用する。所要の背景シーンもま
た記録される。その最も単純な形で、カラー・キー・ビ
デオ合併技術は、前景シーンにおける各点の色を、前景
ビデオ信号と背景ビデオ信号との間で、自動的に『ハー
ドで』切り換える（つまり、二値切替えをする）。この
カラー・キー・ビデオ合併技術は、前景シーンにおける
各点の色を、前景および背景ビデオ信号を自動的に切り
換えるために使用する。取り分け、若し、前景シーンに
青の画素が検出されたなら（青がカラー・キーであると
仮定して）ビデオ・スイッチが、背景シーンからのビデ
オ信号を、その点での出力シーンに向ける。若し、前景
シーンに青の画素が検出されないならば、ビデオ・スイ
ッチは、前景シーンからのビデオ信号を、その点での出
力シーンに向ける。全ての点がこの様にして処理された
後、結果は、入力された前景および背景シーンの組合せ
である出力シーンとなる。
カラー・キー・ビデオ合併技術のより複雑で『ソフト
な』形は、中村らによるSMPTEジャーナル、Vol.90:1981
年２月号P107における論文および米国特許第４、409、6
11号により教示されている。これらのカラー・キー・ビ
デオ合併技術のより複雑な形においては、切替えの効果
が隠され、より自然な合併が達成される。例えば、前景
被写体の影が背景に現れるように出来る。
な』形は、中村らによるSMPTEジャーナル、Vol.90:1981
年２月号P107における論文および米国特許第４、409、6
11号により教示されている。これらのカラー・キー・ビ
デオ合併技術のより複雑な形においては、切替えの効果
が隠され、より自然な合併が達成される。例えば、前景
被写体の影が背景に現れるように出来る。
この カラー・キー・ビデオ合併技術は、簡単でこの
方法のための安価なハードウエアがそのうちに利用可能
となつて来た。その結果、カラー・キー挿入は、録画お
よびライブ・ビデオの両方で行うことが出来る。それ
は、スポーツの結果又はレポータの像を背景シーンに重
合わせる様な目的でライブ・テレビジョンにおいて、ま
た（宇宙船の様な）前景被写体を（宇宙シーンの様な）
背景シーン上に重合わせる様な目的で映画産業において
広く使用される。
方法のための安価なハードウエアがそのうちに利用可能
となつて来た。その結果、カラー・キー挿入は、録画お
よびライブ・ビデオの両方で行うことが出来る。それ
は、スポーツの結果又はレポータの像を背景シーンに重
合わせる様な目的でライブ・テレビジョンにおいて、ま
た（宇宙船の様な）前景被写体を（宇宙シーンの様な）
背景シーン上に重合わせる様な目的で映画産業において
広く使用される。
しかしながら、カラー・キー・ビデオ合併技術には、
二つの重要な限界がある。第一に、この技術は、シーン
における分離色（例えば青または緑）が、この技術の採
用者により制御出来ないようなビデオ・ソースを組み合
わせるためには使用出来ないことである。これはしばし
ば、カラー・キー挿入の使用を放送又は映像スタジオで
録画されたイメージ・シーケンスに限定する。第二に、
ビデオ信号を、一シーケンスからの挿入パターンを他の
シーケンスにおける被写体（前景または背景）の動きに
従うやり方で、挿入パターンがこれらの被写体の部分と
見えるように、自動的に組み合わせることは現在では可
能でないことである。過去においては、前景または背景
シーンの動きの同期が、極めて限定された数の映画プロ
ダクシヨンにおいて手動で行なわれてきたが、かような
手動同期は極めて高価で退屈であり、またそのビデオ作
品は予め録画することを要し、ライブでない。
二つの重要な限界がある。第一に、この技術は、シーン
における分離色（例えば青または緑）が、この技術の採
用者により制御出来ないようなビデオ・ソースを組み合
わせるためには使用出来ないことである。これはしばし
ば、カラー・キー挿入の使用を放送又は映像スタジオで
録画されたイメージ・シーケンスに限定する。第二に、
ビデオ信号を、一シーケンスからの挿入パターンを他の
シーケンスにおける被写体（前景または背景）の動きに
従うやり方で、挿入パターンがこれらの被写体の部分と
見えるように、自動的に組み合わせることは現在では可
能でないことである。過去においては、前景または背景
シーンの動きの同期が、極めて限定された数の映画プロ
ダクシヨンにおいて手動で行なわれてきたが、かような
手動同期は極めて高価で退屈であり、またそのビデオ作
品は予め録画することを要し、ライブでない。
先行技術には、あるビデオド・シーン内のパターンを
検出するために階層構造のサーチを採用したダイナミッ
ク・パターン認識法が含まれる。この方法を一使用例
は、米国特許第５、063、603号に開示され、その教示は
ここに参考として含まれる。要するに、このダイナミッ
ク・パターン認識法は、コンピュータ内のある目的パタ
ーンを、『パターン・ツリー』構造内の成分パターンの
セットとして表すことより成る。ツリーの根に近い成分
は、典型的に目標パターンの大規模特徴を表し、一方、
根から離れた成分は、斬進的に微細なデテイルを表す。
大まかなパターンは、削減された解像度で表され、一
方、詳細なパターンは、高い解像度で表される。このサ
ーチ手順は、パターン・ツリー内に格納された成分パタ
ーンを、シーン内のパターンにマッチさせる。マッチ
は、例えば、格納されたパターンを（ピラミッド・フォ
ーマットで表された）イメージと相関させることにより
見出される。パターンは、ツリーの根からスタートし
て、順次的にマッチさせられる。ある候補マッチが各成
分パターンについて見出されたとき、そのイメージ内に
おける位置は、次の成分のサーチを案内するのに使用さ
れる。この様にしてある複雑なパターンを、比較的僅か
な計算で配置することができる。
検出するために階層構造のサーチを採用したダイナミッ
ク・パターン認識法が含まれる。この方法を一使用例
は、米国特許第５、063、603号に開示され、その教示は
ここに参考として含まれる。要するに、このダイナミッ
ク・パターン認識法は、コンピュータ内のある目的パタ
ーンを、『パターン・ツリー』構造内の成分パターンの
セットとして表すことより成る。ツリーの根に近い成分
は、典型的に目標パターンの大規模特徴を表し、一方、
根から離れた成分は、斬進的に微細なデテイルを表す。
大まかなパターンは、削減された解像度で表され、一
方、詳細なパターンは、高い解像度で表される。このサ
ーチ手順は、パターン・ツリー内に格納された成分パタ
ーンを、シーン内のパターンにマッチさせる。マッチ
は、例えば、格納されたパターンを（ピラミッド・フォ
ーマットで表された）イメージと相関させることにより
見出される。パターンは、ツリーの根からスタートし
て、順次的にマッチさせられる。ある候補マッチが各成
分パターンについて見出されたとき、そのイメージ内に
おける位置は、次の成分のサーチを案内するのに使用さ
れる。この様にしてある複雑なパターンを、比較的僅か
な計算で配置することができる。
先行技術では、更に、あるビデオ・イメージ内に描か
れたシーン内の与えられた検出パターンの平らな面の方
向付けを見積もるやり方が知られている。決定を要する
特定のこのパラメータは、シーン内の与えられた検出パ
ターンの位置、そのイメージの平面での方向付けおよび
そのイメージの平面でのチルトである。ポーズは、その
与えられた検出パターン上またはそれに近い他の『ラン
ドマーク』パターンのジオメトリックな歪みを測定する
ことにより見積もられる。ポーズは、二段階で見積もら
れても良い。
れたシーン内の与えられた検出パターンの平らな面の方
向付けを見積もるやり方が知られている。決定を要する
特定のこのパラメータは、シーン内の与えられた検出パ
ターンの位置、そのイメージの平面での方向付けおよび
そのイメージの平面でのチルトである。ポーズは、その
与えられた検出パターン上またはそれに近い他の『ラン
ドマーク』パターンのジオメトリックな歪みを測定する
ことにより見積もられる。ポーズは、二段階で見積もら
れても良い。
第１段階は、３以上のかようなランドマーク・パター
ンを、その与えられた検出パターン上またはそれに近い
シーン内に配置することによりポーズの粗い見積もりを
することである。与えられた検出パターンに対するこれ
らのランドマーク・パターンの位置は、トレイニング・
イメージから知られる。しかしながら、これらのランド
マーク・パターン相互間の位置は、与えられた検出パタ
ーンのポーズにおける変化とともに変化する。それゆ
え、観察されたシーン内におけるランドマーク・パター
ンの相対位置は、そのポーズを決定するために使用でき
る。ランドマーク・パターンは、上述の様に階層構造の
サーチを採用して配置できる。
ンを、その与えられた検出パターン上またはそれに近い
シーン内に配置することによりポーズの粗い見積もりを
することである。与えられた検出パターンに対するこれ
らのランドマーク・パターンの位置は、トレイニング・
イメージから知られる。しかしながら、これらのランド
マーク・パターン相互間の位置は、与えられた検出パタ
ーンのポーズにおける変化とともに変化する。それゆ
え、観察されたシーン内におけるランドマーク・パター
ンの相対位置は、そのポーズを決定するために使用でき
る。ランドマーク・パターンは、上述の様に階層構造の
サーチを採用して配置できる。
第２段階は洗練するもので、その与えられた検出パタ
ーン上またはそれに近くある『ロケータ・パターンズ』
を利用する。これらの『ロケータ・パターンズ』は、典
型的にランドマークとして使用されているものより幅広
いパターンである。このパターンの格納されたコピー
は、位置および方向付けを連続的に見積もる処理、およ
び格納されたコピーを、シーン内に観察されたパターン
と整列させるようにワープさせる処理を通じ、そのシー
ンとマッチさせられる。この整列処理は、当該技術にお
いて公知であり、ここで『アフイン（疑似変換）精密整
列見積もり』と呼ばれるものであるが、パターン位置
の、そしてその与えられた検出パターンのポーズの極め
て精密な見積もりを提供することが出来る。このアフイ
ン精密整列見積もり処理は、ベルゲンら（Bergen et
al）によるプロシーデイングス・ユーロピアン・カンフ
アレンス・オン・コンピュータ・ビジョン1992年、pp.2
37−252、に掲載された『階層モデル・ベース動き見積
もり』およびベルゲンらに与えられ、本発明の譲受人に
譲渡された米国特許第5,067,014号を含む、種々の刊行
物に記載されている。
ーン上またはそれに近くある『ロケータ・パターンズ』
を利用する。これらの『ロケータ・パターンズ』は、典
型的にランドマークとして使用されているものより幅広
いパターンである。このパターンの格納されたコピー
は、位置および方向付けを連続的に見積もる処理、およ
び格納されたコピーを、シーン内に観察されたパターン
と整列させるようにワープさせる処理を通じ、そのシー
ンとマッチさせられる。この整列処理は、当該技術にお
いて公知であり、ここで『アフイン（疑似変換）精密整
列見積もり』と呼ばれるものであるが、パターン位置
の、そしてその与えられた検出パターンのポーズの極め
て精密な見積もりを提供することが出来る。このアフイ
ン精密整列見積もり処理は、ベルゲンら（Bergen et
al）によるプロシーデイングス・ユーロピアン・カンフ
アレンス・オン・コンピュータ・ビジョン1992年、pp.2
37−252、に掲載された『階層モデル・ベース動き見積
もり』およびベルゲンらに与えられ、本発明の譲受人に
譲渡された米国特許第5,067,014号を含む、種々の刊行
物に記載されている。
発明の概要 本発明は、複数の別々のビデオ信号ソースから供給さ
れた前景および背景ビデオ・イメージ・データを合併さ
せて複合ビデオ・イメージを得るための技術および装置
であって、この目的のためにパターン・キー挿入を用い
るものに係る。より特定的には、この技術は、あるビデ
オ・シーンにおける第１パターンを、先ずそのビデオ・
シーンにおける、その第１パターンを検出し、この検出
された第１パターンの、そのビデオ・シーン内の基準被
写体に関するポーズを見積もることにより、第２パター
ンで置き換える。次いで、第２パターンは、検出された
第１パターンのポーズ見積もりを使用してジオメトリッ
クに変形される。最後に、検出された第１パターンが、
ジオメトリックに変形された第２パターンで置き換えら
れる。また本発明の装置は、ビデオ・シーンにおける第
１パターンを検出するための手段、この検出された第１
パターンのビデオ・シーン内の基準被写体に関するポー
ズを見積もるための手段、この検出された第１パターン
のポーズ見積もりを使用して、第２パターンをジオメト
リックに変形するための手段、および検出された第１パ
ターンをジオメトリックに変形された第２パターンで置
き換えるための手段を含む。
れた前景および背景ビデオ・イメージ・データを合併さ
せて複合ビデオ・イメージを得るための技術および装置
であって、この目的のためにパターン・キー挿入を用い
るものに係る。より特定的には、この技術は、あるビデ
オ・シーンにおける第１パターンを、先ずそのビデオ・
シーンにおける、その第１パターンを検出し、この検出
された第１パターンの、そのビデオ・シーン内の基準被
写体に関するポーズを見積もることにより、第２パター
ンで置き換える。次いで、第２パターンは、検出された
第１パターンのポーズ見積もりを使用してジオメトリッ
クに変形される。最後に、検出された第１パターンが、
ジオメトリックに変形された第２パターンで置き換えら
れる。また本発明の装置は、ビデオ・シーンにおける第
１パターンを検出するための手段、この検出された第１
パターンのビデオ・シーン内の基準被写体に関するポー
ズを見積もるための手段、この検出された第１パターン
のポーズ見積もりを使用して、第２パターンをジオメト
リックに変形するための手段、および検出された第１パ
ターンをジオメトリックに変形された第２パターンで置
き換えるための手段を含む。
図面の簡単な説明 図１は、先行技術のカラー・キー挿入技術を説明して
いる；図２、３、４および５は、本発明のパターン・キ
ー挿入技術の例を説明している； 図６は、『ランドマーク領域追跡』の例を示してお
り、また、図７は、本発明のパターン・キー挿入技術を
実施する際に行われる連続工程を説明している。
いる；図２、３、４および５は、本発明のパターン・キ
ー挿入技術の例を説明している； 図６は、『ランドマーク領域追跡』の例を示してお
り、また、図７は、本発明のパターン・キー挿入技術を
実施する際に行われる連続工程を説明している。
好ましい実施例の説明 異なる図間に共通な要素は、各図において同一の番号
で示される。
で示される。
図１〜５の各々は、前景および背景シーンを一つの出
力シーンに合併させるためのビデオ・スイッチを含んで
いる。図解の目的で、これらのビデオ・スイッチの各々
は、『ハード』スイッチであると仮定する。しかしなが
ら、上で議論した先行技術で公知の『ソフト』スイッチ
をその代わりに使用できることを理解すべきである。
力シーンに合併させるためのビデオ・スイッチを含んで
いる。図解の目的で、これらのビデオ・スイッチの各々
は、『ハード』スイッチであると仮定する。しかしなが
ら、上で議論した先行技術で公知の『ソフト』スイッチ
をその代わりに使用できることを理解すべきである。
図１には、先行技術のカラー・キー挿入技術』の１例
が示されている。リアルタイムで背景シーン102−１
（太陽および木を含む）を見ているカメラ100−１によ
り記録されている連続イメージ・フレームのシーケンス
の各々のビデオ出力画素（あるいは、その代わりに、先
に録画された背景シーン102−１を再生しているビデオ
再生装置のかような出力画素）は、手段108からの出力
が、その手段108が、青がキー・カラーであると仮定し
て青を検出していることを示しているときは何時でも、
ビデオ・スイッチ106を通じて出力シーン104に送られて
いる。リアルタイムで前景シーン102−２（青のスクリ
ーンの前に置かれている机に着座している人物を含む）
を見ているカメラ100−２により記録されている連続イ
メージ・フレームのシーケンスの各々のビデオ出力画素
（あるいは、その代わりに、先に録画された前景シーン
102−２を再生しているビデオ再生装置のかような出力
画素）は、ビデオ・スイッチ106を通じて出力シーン104
に送られ、ビデオ・スイッチ106および手段108の両方に
対する入力として印加される。それゆえ、ビデオ・スイ
ッチ106は、背景シーン102−１を、カメラ100−２のビ
デオ出力画素が青のスクリーンの青の画素を構成してい
る時だけ出力シーン104に送り、前景シーン102−２を、
カメラ100−２のビデオ出力画素が机に着座している人
物の青でない画素を構成している時、出力シーン104に
送る。それゆえ、出力シーン104は、太陽および木の背
景シーン102−１および机に着座している人物の前景シ
ーン102−２を合併した連続複合イメージ・フレームの
シーケンスの各々のビデオ出力画素を構成する。
が示されている。リアルタイムで背景シーン102−１
（太陽および木を含む）を見ているカメラ100−１によ
り記録されている連続イメージ・フレームのシーケンス
の各々のビデオ出力画素（あるいは、その代わりに、先
に録画された背景シーン102−１を再生しているビデオ
再生装置のかような出力画素）は、手段108からの出力
が、その手段108が、青がキー・カラーであると仮定し
て青を検出していることを示しているときは何時でも、
ビデオ・スイッチ106を通じて出力シーン104に送られて
いる。リアルタイムで前景シーン102−２（青のスクリ
ーンの前に置かれている机に着座している人物を含む）
を見ているカメラ100−２により記録されている連続イ
メージ・フレームのシーケンスの各々のビデオ出力画素
（あるいは、その代わりに、先に録画された前景シーン
102−２を再生しているビデオ再生装置のかような出力
画素）は、ビデオ・スイッチ106を通じて出力シーン104
に送られ、ビデオ・スイッチ106および手段108の両方に
対する入力として印加される。それゆえ、ビデオ・スイ
ッチ106は、背景シーン102−１を、カメラ100−２のビ
デオ出力画素が青のスクリーンの青の画素を構成してい
る時だけ出力シーン104に送り、前景シーン102−２を、
カメラ100−２のビデオ出力画素が机に着座している人
物の青でない画素を構成している時、出力シーン104に
送る。それゆえ、出力シーン104は、太陽および木の背
景シーン102−１および机に着座している人物の前景シ
ーン102−２を合併した連続複合イメージ・フレームの
シーケンスの各々のビデオ出力画素を構成する。
本発明は、『パターン・キー挿入』として知られる技
術で、背景シーン内にある予め定められたパターンを、
前景シーンにある挿入された代替パターンで置き換える
のに使用される。図２〜５は、置き換えの異なる例を示
すもので、図２にその最も簡単な例が、図３〜５にその
より複雑な例が、それぞれ示されている。図２〜５に示
された例の各々を、概括して最初に述べる。その後、こ
れらの図に機能的に示された構造に特有の動作をより詳
細に論じる。
術で、背景シーン内にある予め定められたパターンを、
前景シーンにある挿入された代替パターンで置き換える
のに使用される。図２〜５は、置き換えの異なる例を示
すもので、図２にその最も簡単な例が、図３〜５にその
より複雑な例が、それぞれ示されている。図２〜５に示
された例の各々を、概括して最初に述べる。その後、こ
れらの図に機能的に示された構造に特有の動作をより詳
細に論じる。
図２において、カメラ200Aはリアルタイムで、背景シ
ーン204Aに位置しているビルボード202の様な物理的に
三次元的な被写体の連続二次元的ビデオ・イメージ・フ
レームのシーケンス（あるいは、その代わりに、先に録
画された背景シーン204Aを再生しているビデオ再生装置
の二次元的連続ビデオ・イメージ・フレームのシーケン
ス）を記録している。図解のために、ビルボード202は
動かないものと仮定するが、カメラ200Aは、背景シーン
204Aを構成するビルボード202を含む被写体に関して、
矢印線206Aで示す様に左右および前後の可動である。こ
れは、カメラ200Aの一位置から他の位置への動きに対応
して変化する背景シーン204A内のビルボード202のビデ
オ・イメージのシーケンスの各々の、矢印線208Aで示す
様な、方向付けおよびスケールとなる。背景シーン204A
内のビルボード202は、ストライプしたロゴ・パターン
『Ａ』を含む。背景シーン204A内のストライプしたロゴ
・パターン『Ａ』を、前景シーン204Bの不動のストライ
プしたロゴ・パターン『Ｂ』、そのロゴ・パターン
『Ｂ』は図２において、ビデオ・クリップまたは単純な
スチル写真で定まる固定被写体であると仮定されてい
る、で置き換えることが望まれたとする。これは、それ
に対する入力として印加されるカメラ200Aのビデオ出力
に応じて、（１）ロゴ・パターン『Ａ』を検出する、お
よび（２）そのビデオ・イメージ・フレームにおける検
出されたロゴ・パターン『Ａ』のポーズを見積もる（即
ち、背景シーン204Aの連続二次元的ビデオ・イメージ・
フレームのシーケンスの各々におけるロゴ・パターン
『Ａ』の、ビルボード202自体の様な一以上の基準被写
体のイメージに関しての方向付け、スケールおよびパー
スペクテイブ・パラメータを見積もる）機能を果たす手
段210Aにより達成される。
ーン204Aに位置しているビルボード202の様な物理的に
三次元的な被写体の連続二次元的ビデオ・イメージ・フ
レームのシーケンス（あるいは、その代わりに、先に録
画された背景シーン204Aを再生しているビデオ再生装置
の二次元的連続ビデオ・イメージ・フレームのシーケン
ス）を記録している。図解のために、ビルボード202は
動かないものと仮定するが、カメラ200Aは、背景シーン
204Aを構成するビルボード202を含む被写体に関して、
矢印線206Aで示す様に左右および前後の可動である。こ
れは、カメラ200Aの一位置から他の位置への動きに対応
して変化する背景シーン204A内のビルボード202のビデ
オ・イメージのシーケンスの各々の、矢印線208Aで示す
様な、方向付けおよびスケールとなる。背景シーン204A
内のビルボード202は、ストライプしたロゴ・パターン
『Ａ』を含む。背景シーン204A内のストライプしたロゴ
・パターン『Ａ』を、前景シーン204Bの不動のストライ
プしたロゴ・パターン『Ｂ』、そのロゴ・パターン
『Ｂ』は図２において、ビデオ・クリップまたは単純な
スチル写真で定まる固定被写体であると仮定されてい
る、で置き換えることが望まれたとする。これは、それ
に対する入力として印加されるカメラ200Aのビデオ出力
に応じて、（１）ロゴ・パターン『Ａ』を検出する、お
よび（２）そのビデオ・イメージ・フレームにおける検
出されたロゴ・パターン『Ａ』のポーズを見積もる（即
ち、背景シーン204Aの連続二次元的ビデオ・イメージ・
フレームのシーケンスの各々におけるロゴ・パターン
『Ａ』の、ビルボード202自体の様な一以上の基準被写
体のイメージに関しての方向付け、スケールおよびパー
スペクテイブ・パラメータを見積もる）機能を果たす手
段210Aにより達成される。
ビデオ・スイッチ212が『ハード』スイッチであると
言う上述の仮定により、手段210Aは、カメラ200Aからの
ビデオ出力中におけるロゴ・パターン『Ａ』の有無を示
すものである手段210Aからの『ノーパターンA/パターン
Ａ』出力211を提供し、それは（図１のビデオ・スイッ
チ106と同一の機能を遂行する）ビデオ・スイッチ212の
動作を制御するのに使用される。ビデオ・スイッチ212
が『ハード』スイッチでなくて『ソフト』スイッチであ
る場合、ロゴ・パターン『Ａ』とロゴ・パターン『Ｂ』
との間の鋭いエッジを提供する、手段210Aからの二値的
『ノーパターンA/パターンＡ』出力211は、上で論じた
先行技術で述べた様に、ロゴ・パターン『Ａ』とロゴ・
パターン『Ｂ』に混合するソフト・エッジに置き換えら
れる。
言う上述の仮定により、手段210Aは、カメラ200Aからの
ビデオ出力中におけるロゴ・パターン『Ａ』の有無を示
すものである手段210Aからの『ノーパターンA/パターン
Ａ』出力211を提供し、それは（図１のビデオ・スイッ
チ106と同一の機能を遂行する）ビデオ・スイッチ212の
動作を制御するのに使用される。ビデオ・スイッチ212
が『ハード』スイッチでなくて『ソフト』スイッチであ
る場合、ロゴ・パターン『Ａ』とロゴ・パターン『Ｂ』
との間の鋭いエッジを提供する、手段210Aからの二値的
『ノーパターンA/パターンＡ』出力211は、上で論じた
先行技術で述べた様に、ロゴ・パターン『Ａ』とロゴ・
パターン『Ｂ』に混合するソフト・エッジに置き換えら
れる。
手段214は、手段210Aからの『ポーズ情報』（つま
り、検出されたロゴ・パターン『Ａ』の方向付け、スケ
ール、パースペクテイブ歪み等のパラメータ）入力21
5、および手動的に選択されたサイズ、シェイプ、方向
付け等のロゴ・パターン『Ｂ』自身のパラメータの入力
217を通じる一時の選択に応答して、前景シーン204Bの
ロゴ・パターン『Ｂ』の方向付けおよびスケールを、現
行のイメージ・フレーム中のロゴ・パターン『Ａ』の見
積りポーズの方向付けおよびスケールにマッチさせるよ
うに（図２中のダイヤグラム216で指示するように）ジ
オメトリックに変形させる機能を遂行する。ビデオ・ス
イッチ212の動作は、カメラ200のビデオ出力を、ジオメ
トリックに変形されたロゴ・パターン『Ｂ』に合併させ
て、ロゴ・パターン『Ａ』が挿入されたロゴ・パターン
『Ｂ』に置き換えられた出力シーン218を生じることで
ある。それゆえ、出力シーン218内のロゴ・パターン
『Ｂ』のポーズは、カメラ200の一位置から他位置への
移動に対応して、矢印線220で示される様に変化する。
り、検出されたロゴ・パターン『Ａ』の方向付け、スケ
ール、パースペクテイブ歪み等のパラメータ）入力21
5、および手動的に選択されたサイズ、シェイプ、方向
付け等のロゴ・パターン『Ｂ』自身のパラメータの入力
217を通じる一時の選択に応答して、前景シーン204Bの
ロゴ・パターン『Ｂ』の方向付けおよびスケールを、現
行のイメージ・フレーム中のロゴ・パターン『Ａ』の見
積りポーズの方向付けおよびスケールにマッチさせるよ
うに（図２中のダイヤグラム216で指示するように）ジ
オメトリックに変形させる機能を遂行する。ビデオ・ス
イッチ212の動作は、カメラ200のビデオ出力を、ジオメ
トリックに変形されたロゴ・パターン『Ｂ』に合併させ
て、ロゴ・パターン『Ａ』が挿入されたロゴ・パターン
『Ｂ』に置き換えられた出力シーン218を生じることで
ある。それゆえ、出力シーン218内のロゴ・パターン
『Ｂ』のポーズは、カメラ200の一位置から他位置への
移動に対応して、矢印線220で示される様に変化する。
図３において、実施例は、背景シーン204Aの連続ビデ
オ・イメージ・フレームのシーケンスにあるストライプ
付きロゴ・パターン『Ａ』の様な予め定められたパター
ンの、カメラ（又は、ビデオ再生装置）200B、そこでカ
メラ200B自身が可動であるとする、に由来する前景シー
ン204Bの連続ビデオ・イメージ・フレームのシーケンス
にある可動のストライプ付きロゴ・パターン『Ｂ』（バ
ットを持った野球プレーヤ）の様な挿入された本来的に
可動な置換パターンによる置き換えに向けられている。
ストライプ付きロゴ・パターン『Ｂ』は本来的に可動で
あるので、カメラ200Bは、時にはロゴ・パターン『Ｂ』
の部分だけ、例えば、野球プレーヤの頭（この頭は、後
に述べるように、ロゴ・パターン『Ｂ』のための基準パ
ターンとして使うことが出来る）だけを見ることが可能
である。この理由から図２の被写体挿入パターン・キー
挿入技術は使用出来ない。それに代えて、図３において
は（後に述べる図４および５においても）動き適合ビデ
オ挿入パターン・キー挿入技術が要求される。
オ・イメージ・フレームのシーケンスにあるストライプ
付きロゴ・パターン『Ａ』の様な予め定められたパター
ンの、カメラ（又は、ビデオ再生装置）200B、そこでカ
メラ200B自身が可動であるとする、に由来する前景シー
ン204Bの連続ビデオ・イメージ・フレームのシーケンス
にある可動のストライプ付きロゴ・パターン『Ｂ』（バ
ットを持った野球プレーヤ）の様な挿入された本来的に
可動な置換パターンによる置き換えに向けられている。
ストライプ付きロゴ・パターン『Ｂ』は本来的に可動で
あるので、カメラ200Bは、時にはロゴ・パターン『Ｂ』
の部分だけ、例えば、野球プレーヤの頭（この頭は、後
に述べるように、ロゴ・パターン『Ｂ』のための基準パ
ターンとして使うことが出来る）だけを見ることが可能
である。この理由から図２の被写体挿入パターン・キー
挿入技術は使用出来ない。それに代えて、図３において
は（後に述べる図４および５においても）動き適合ビデ
オ挿入パターン・キー挿入技術が要求される。
より特定的には、カメラ200Bに由来するビデオ・イメ
ージ・フレームのシーケンスにおける動きは、（矢印線
206Bで指示される様な）カメラ200B自身および前景シー
ン204Bのロゴ・パターン『Ｂ』とカメラ200Bとの両者の
組合せの（矢印線208Bで指示される様な）動きの一つま
たは両方に拠るものとなり得る。手段210Bは、それに対
する入力として印加されたカメラ200Bのビデオ出力に応
答して、（１）ロゴ・パターン『Ｂ』を検出する、およ
び（２）カメラ200Bのそのビデオ・イメージ・フレーム
における検出されたロゴ・パターン『Ｂ』のポーズを見
積もる（即ち、前景シーン204Bの連続二次元的ビデオ・
イメージ・フレームのシーケンスの各々におけるロゴ・
パターン『Ｂ』の、野球プレーヤの頭の様の基準パター
ンのイメージに関連する方向付け、スケールおよびパー
スペクテイブを見積もる）機能を遂行する。手段210Bに
より得たポーズ情報は、ジオメトリック変形手段214に
第１の入力として印加される。手段210Aは、図３におい
て、先に図２で述べたのと同一の機能を遂行するが、そ
れにより得たポーズ情報を第２の入力215Aとして、ジオ
メトリック変形手段214に印加する。
ージ・フレームのシーケンスにおける動きは、（矢印線
206Bで指示される様な）カメラ200B自身および前景シー
ン204Bのロゴ・パターン『Ｂ』とカメラ200Bとの両者の
組合せの（矢印線208Bで指示される様な）動きの一つま
たは両方に拠るものとなり得る。手段210Bは、それに対
する入力として印加されたカメラ200Bのビデオ出力に応
答して、（１）ロゴ・パターン『Ｂ』を検出する、およ
び（２）カメラ200Bのそのビデオ・イメージ・フレーム
における検出されたロゴ・パターン『Ｂ』のポーズを見
積もる（即ち、前景シーン204Bの連続二次元的ビデオ・
イメージ・フレームのシーケンスの各々におけるロゴ・
パターン『Ｂ』の、野球プレーヤの頭の様の基準パター
ンのイメージに関連する方向付け、スケールおよびパー
スペクテイブを見積もる）機能を遂行する。手段210Bに
より得たポーズ情報は、ジオメトリック変形手段214に
第１の入力として印加される。手段210Aは、図３におい
て、先に図２で述べたのと同一の機能を遂行するが、そ
れにより得たポーズ情報を第２の入力215Aとして、ジオ
メトリック変形手段214に印加する。
ジオメトリック変形手段214は、そこに第１の入力215
Bとして印加される手段210Bからのポーズ情報を、それ
に対し基準パターン（つまり、野球プレーヤの頭）が固
定原点を構成しているロゴ・パターン『Ｂ』の安定化変
形イメージを計算するために使用する。固定原点とは、
ロゴ・パターン『Ｂ』の野球プレーヤの安定化変形イメ
ージにおいて、基準パターン（つまり、野球プレーヤの
頭）が、たとえこの基準パターンの前景シーン204Bにお
いて動いていても、イメージ・フレームのシーケンスの
各々において位置的に固定された様に見えることを意味
する。次いでジオメトリック変形手段214は、そこに第
２の入力215Aとして印加される手段210Aからのポーズ情
報を、ロゴ・パターン『Ｂ』の安定化変形イメージのポ
ーズを、図２に関して上述したやり方で変形するために
使用し、ダイヤグラム216に示したポーズを提供する。
ダイヤグラム216に示されたこのポーズは、ここで手段2
10Aからの『ノーパターンA/パターンＡ』出力211を使い
ビデオ・スイッチ212を通じ出力シーン218に挿入され
る。その結果、前景シーン204Bを記録しているカメラ20
0Bおよび背景シーン204Aを記録しているカメラ200Aは、
互いに独立して可動となり、前景シーン204Bの本来的に
可動なロゴ・パターン『Ｂ』のイメージ・フレームのシ
ーケンスも、背景シーン204Aのロゴ・パターン『Ａ』の
イメージ・フレームのシーケンス上に挿入可能となり、
出力シーン218におけるロゴ・パターン『Ａ』を置き換
える。
Bとして印加される手段210Bからのポーズ情報を、それ
に対し基準パターン（つまり、野球プレーヤの頭）が固
定原点を構成しているロゴ・パターン『Ｂ』の安定化変
形イメージを計算するために使用する。固定原点とは、
ロゴ・パターン『Ｂ』の野球プレーヤの安定化変形イメ
ージにおいて、基準パターン（つまり、野球プレーヤの
頭）が、たとえこの基準パターンの前景シーン204Bにお
いて動いていても、イメージ・フレームのシーケンスの
各々において位置的に固定された様に見えることを意味
する。次いでジオメトリック変形手段214は、そこに第
２の入力215Aとして印加される手段210Aからのポーズ情
報を、ロゴ・パターン『Ｂ』の安定化変形イメージのポ
ーズを、図２に関して上述したやり方で変形するために
使用し、ダイヤグラム216に示したポーズを提供する。
ダイヤグラム216に示されたこのポーズは、ここで手段2
10Aからの『ノーパターンA/パターンＡ』出力211を使い
ビデオ・スイッチ212を通じ出力シーン218に挿入され
る。その結果、前景シーン204Bを記録しているカメラ20
0Bおよび背景シーン204Aを記録しているカメラ200Aは、
互いに独立して可動となり、前景シーン204Bの本来的に
可動なロゴ・パターン『Ｂ』のイメージ・フレームのシ
ーケンスも、背景シーン204Aのロゴ・パターン『Ａ』の
イメージ・フレームのシーケンス上に挿入可能となり、
出力シーン218におけるロゴ・パターン『Ａ』を置き換
える。
図２および３においては、ロゴ・パターン『Ａ』を含
む物理的に三次元のビルボード202は、背景シーン204A
において不動であると仮定してきた。図４の実施例にお
いては、物理的に三次元の可動なトラック222が、ロゴ
・パターン『Ａ』を含むものと仮定され、また、ロゴ・
パターン『Ａ』を、図３におけるものと同一の独立して
可動な前景シーン204Bのロゴ・パターン『Ｂ』（野球プ
レーヤ）で置き換えることが望まれている。背景シーン
204Aのイメージ・フレームのシーケンスにおける手段21
0Aによるロゴ・パターン『Ａ』の検出が、トラック222
の背景シーン204Aに存在し得る他の被写体に対する動き
により影響される事実、およびジオメトリック変形手段
214に第２の入力として印加される手段210Aからのポー
ズ情報がそれに関連した情報を提供しなければならない
事実以外は、図４の装備は、図３におけるものと実質的
に同様である。
む物理的に三次元のビルボード202は、背景シーン204A
において不動であると仮定してきた。図４の実施例にお
いては、物理的に三次元の可動なトラック222が、ロゴ
・パターン『Ａ』を含むものと仮定され、また、ロゴ・
パターン『Ａ』を、図３におけるものと同一の独立して
可動な前景シーン204Bのロゴ・パターン『Ｂ』（野球プ
レーヤ）で置き換えることが望まれている。背景シーン
204Aのイメージ・フレームのシーケンスにおける手段21
0Aによるロゴ・パターン『Ａ』の検出が、トラック222
の背景シーン204Aに存在し得る他の被写体に対する動き
により影響される事実、およびジオメトリック変形手段
214に第２の入力として印加される手段210Aからのポー
ズ情報がそれに関連した情報を提供しなければならない
事実以外は、図４の装備は、図３におけるものと実質的
に同様である。
図５においては、背景シーン204A内の物理的に三次元
の動いている自動車224を、出力シーン218において、前
景シーン204Bからのトラック226のパターンで、置き換
えることが望まれる。原理的に、図５のパターン挿入を
装備するために、上で図３および４に関して既述したパ
ターン・キー挿入の設計および装備は変形することなく
使用できる、しかし挿入を全ての監視環境において高度
にリアリステイックに見せるために変形が必要となる。
例えば、背景シーン204Aのイメージ・フレームの背景シ
ーケンスにおける自動車224の方向付けは、そのシーケ
ンスを通じて、トラック226の置き換えビデオの如何な
るジオメトリックな変形も、挿入されたビデオをリアリ
ステイックに見せない程迄変わり得る。これを図解する
ため、置き換えビデオとしてのトラック226の側面図お
よび背景ビデオとしての自動車224の正面図を想像して
見よう。到達点は、自動車224をトラック226で置き換え
ることである。かような置き換えは、リアリステイック
に遂行できない、と言うのは、トラックの側面図は、ト
ラックの正面図のイメージに関する情報を含まないから
である。この問題を解決するための１方法は、異なる視
点から記録されたトラックのイメージのセットを得るこ
とである、そして次にその記録されたイメージを次に最
良の置き換えイメージを与えるようにジオメトリックに
変形することである。代わりの解決は、図５に示されて
いる。この場合、ジオメトリック変形手段を含むグラフ
イック・ジェネレータ228は、そこに入力215Aとして印
加される手段210Aから得た自動車224についてのポーズ
情報を得る。これは、グラフイック・ジェネレータ228
が、その中で動いている自動車224のイメージが背景シ
ーン204A内で動いているトラック226のイメージで置き
換えられている置き換えシーン204Bとして、トラック22
6の正確なポーズにおける計算的に得られ、あるいは発
生させられたイメージを生み出すことを可能とする。
の動いている自動車224を、出力シーン218において、前
景シーン204Bからのトラック226のパターンで、置き換
えることが望まれる。原理的に、図５のパターン挿入を
装備するために、上で図３および４に関して既述したパ
ターン・キー挿入の設計および装備は変形することなく
使用できる、しかし挿入を全ての監視環境において高度
にリアリステイックに見せるために変形が必要となる。
例えば、背景シーン204Aのイメージ・フレームの背景シ
ーケンスにおける自動車224の方向付けは、そのシーケ
ンスを通じて、トラック226の置き換えビデオの如何な
るジオメトリックな変形も、挿入されたビデオをリアリ
ステイックに見せない程迄変わり得る。これを図解する
ため、置き換えビデオとしてのトラック226の側面図お
よび背景ビデオとしての自動車224の正面図を想像して
見よう。到達点は、自動車224をトラック226で置き換え
ることである。かような置き換えは、リアリステイック
に遂行できない、と言うのは、トラックの側面図は、ト
ラックの正面図のイメージに関する情報を含まないから
である。この問題を解決するための１方法は、異なる視
点から記録されたトラックのイメージのセットを得るこ
とである、そして次にその記録されたイメージを次に最
良の置き換えイメージを与えるようにジオメトリックに
変形することである。代わりの解決は、図５に示されて
いる。この場合、ジオメトリック変形手段を含むグラフ
イック・ジェネレータ228は、そこに入力215Aとして印
加される手段210Aから得た自動車224についてのポーズ
情報を得る。これは、グラフイック・ジェネレータ228
が、その中で動いている自動車224のイメージが背景シ
ーン204A内で動いているトラック226のイメージで置き
換えられている置き換えシーン204Bとして、トラック22
6の正確なポーズにおける計算的に得られ、あるいは発
生させられたイメージを生み出すことを可能とする。
図２、３、４および／または５における手段210A、21
0Bおよび214の動作は、上で論じた先行技術を利用し
て、これから述べるパターン・キー挿入を提供するため
に必要とされる。
0Bおよび214の動作は、上で論じた先行技術を利用し
て、これから述べるパターン・キー挿入を提供するため
に必要とされる。
特定的に、図２のシステムにおいては、作業者は一ビ
デオ・シーケンスにおける任意の目標パターン（ロゴ・
パターン『Ａ』）を指定する。それは、背景シーン204A
内の静止被写体（ビルボード202）に対応する。図２の
手段210Aは、シーケンスを連続的に監視し、目標パター
ンが見出（検出）されたときは何時でも、それを第２の
シーケンスから採られた置き換えパターンまたはビデオ
（ロゴ・パターン『Ｂ』）により置き換えるようにして
いる。挿入の効果は、この置き換えパターン（またはビ
デオ）が、目標パターンがイメージ中で、カメラの動き
だけによって動くとき、第１のシーケンス内のある被写
体の一部に見える様に出来ることである。それ故、背景
シーン204Aを記録しているカメラ200Aは、ロゴ・パター
ン『Ａ』を含むシーンを横切って動くことが出来、また
ロゴ・パターン『Ｂ』は、出力シーケンスにおいて、ロ
ゴ・パターン『Ａ』の上に正確に位置したままである。
デオ・シーケンスにおける任意の目標パターン（ロゴ・
パターン『Ａ』）を指定する。それは、背景シーン204A
内の静止被写体（ビルボード202）に対応する。図２の
手段210Aは、シーケンスを連続的に監視し、目標パター
ンが見出（検出）されたときは何時でも、それを第２の
シーケンスから採られた置き換えパターンまたはビデオ
（ロゴ・パターン『Ｂ』）により置き換えるようにして
いる。挿入の効果は、この置き換えパターン（またはビ
デオ）が、目標パターンがイメージ中で、カメラの動き
だけによって動くとき、第１のシーケンス内のある被写
体の一部に見える様に出来ることである。それ故、背景
シーン204Aを記録しているカメラ200Aは、ロゴ・パター
ン『Ａ』を含むシーンを横切って動くことが出来、また
ロゴ・パターン『Ｂ』は、出力シーケンスにおいて、ロ
ゴ・パターン『Ａ』の上に正確に位置したままである。
より一般的には、手段210Aにとって、（特徴の無いテ
ニスコートの真ん中のような）ある背景領域を追跡する
ことは難しいことがある、と言うのは、そのパターンは
背景シーン内の他の同様（または同一）なパターンから
容易に識別出来ないからである。二次的領域追跡は、こ
の問題を克服する。手段210Aが、その上にビデオが挿入
されるべきパターン（目標パターン）を追跡するのに換
えて、背景シーン内の他のパターンから容易に識別可能
な第２の『ランドマーク』パターンは追跡出来る。背景
シーンにおけるランドマーク・パターンの正確な配置
は、次に、目標パターンの正確な配置を推論するのに使
うことが出来る。
ニスコートの真ん中のような）ある背景領域を追跡する
ことは難しいことがある、と言うのは、そのパターンは
背景シーン内の他の同様（または同一）なパターンから
容易に識別出来ないからである。二次的領域追跡は、こ
の問題を克服する。手段210Aが、その上にビデオが挿入
されるべきパターン（目標パターン）を追跡するのに換
えて、背景シーン内の他のパターンから容易に識別可能
な第２の『ランドマーク』パターンは追跡出来る。背景
シーンにおけるランドマーク・パターンの正確な配置
は、次に、目標パターンの正確な配置を推論するのに使
うことが出来る。
ランドマーク領域追跡は、目標パターンのランドマー
ク・パターンからの正確な位置を推論するための方法を
必要とする。手段210Aにおいて、ランドマーク・パター
ンの座標位置は背景シーケンスにおける単一基準イメー
ジ中の目標パターンの座標位置から差し引かれ、差ベク
トルが得られる。この差ベクトルは次いでランドマーク
・パターンの回復した配置に加えられ、前景シーケンス
の誘導を通じての目標パターンの位置を見積もる。簡単
にすると、ランドマークと目標パターンとの間の位置関
係は、前景シーケンスの誘導を通じて翻訳的に固定した
儘（しかし、互いに回転および／またはズームすること
も許されていて良い）であると仮定され、それ故、目標
パターンの位置は、若しランドマーク・パターンを見出
し得るならば、推論することができる。
ク・パターンからの正確な位置を推論するための方法を
必要とする。手段210Aにおいて、ランドマーク・パター
ンの座標位置は背景シーケンスにおける単一基準イメー
ジ中の目標パターンの座標位置から差し引かれ、差ベク
トルが得られる。この差ベクトルは次いでランドマーク
・パターンの回復した配置に加えられ、前景シーケンス
の誘導を通じての目標パターンの位置を見積もる。簡単
にすると、ランドマークと目標パターンとの間の位置関
係は、前景シーケンスの誘導を通じて翻訳的に固定した
儘（しかし、互いに回転および／またはズームすること
も許されていて良い）であると仮定され、それ故、目標
パターンの位置は、若しランドマーク・パターンを見出
し得るならば、推論することができる。
背景シーケンスにおける視野から去りまたは入るパタ
ーン（目標またはランドマーク）を検出するのは、より
難しい、と言うのは、それがシーンに入りまたは去ると
きパターンの一部だけしか見えず、パターン検出器は、
領域を同定するのに困難するからである。この問題は、
ランドマーク領域追跡を使って解決出来る、と言うの
は、ランドマーク・パターンは、目標パターンが部分的
にしか視野に入らなく、あるいは目標が現行の視野から
全くはずれているときでさえ、完全に視野に置くことが
出来るからである。ランドマーク領域追跡の一実施例は
図６に示される。図６において、背景シーン304Aは、カ
メラ300Aの現行の視野より成る。図示の様に、現行の視
野は、目標（ロゴ・パターン『Ａ』を含むビルボー
ド）、ランドマークＢ（木）およびＣ（家）を含み、目
標およびランドマークの各々は互いに位置的に変位して
いる。ブロック330、現行の視野、およびブロック332で
指示する様合に、ランドマーク領域の現行の視野330を
含むワールド・マップ、目標Ａ、ランドマークＢおよび
Ｃは、格納された相対位置の部分、およびランドマーク
領域のワールド・マップ332のパターンのポーズのみを
形成している。これらの格納されたパターンはまた、ラ
ンドマーク領域の現行の視野からたまたま外れている
が、ランドマーク領域の以前か以後の視野に含まれ得る
ランドマークＤおよびＥも含む。手段310A（１）は、カ
メラ300Aおよびブロック332の両方からの入力に応答し
て、パターンＡが完全に視野にあるか、部分的に視野に
あるか、または一以上のランドマークだけが視野にある
かどうかと言う目標Ａの位置を指示する出力をそこから
導き出すことが出来る。手段310A（１）は、パターンＡ
をパターンＢおよび／またはＣを検出し、且つワールド
・マップ332を使うことにより検出してパターンＡの位
置を推論する。手段310A（１）からの出力、パターンＡ
の位置は、図示していない手段310A（２）に印加され、
それは上述のやり方でポーズを見積もる。手段310A
（２）の出力は次いでビデオ・スイッチ（図示せず）に
接続される。
ーン（目標またはランドマーク）を検出するのは、より
難しい、と言うのは、それがシーンに入りまたは去ると
きパターンの一部だけしか見えず、パターン検出器は、
領域を同定するのに困難するからである。この問題は、
ランドマーク領域追跡を使って解決出来る、と言うの
は、ランドマーク・パターンは、目標パターンが部分的
にしか視野に入らなく、あるいは目標が現行の視野から
全くはずれているときでさえ、完全に視野に置くことが
出来るからである。ランドマーク領域追跡の一実施例は
図６に示される。図６において、背景シーン304Aは、カ
メラ300Aの現行の視野より成る。図示の様に、現行の視
野は、目標（ロゴ・パターン『Ａ』を含むビルボー
ド）、ランドマークＢ（木）およびＣ（家）を含み、目
標およびランドマークの各々は互いに位置的に変位して
いる。ブロック330、現行の視野、およびブロック332で
指示する様合に、ランドマーク領域の現行の視野330を
含むワールド・マップ、目標Ａ、ランドマークＢおよび
Ｃは、格納された相対位置の部分、およびランドマーク
領域のワールド・マップ332のパターンのポーズのみを
形成している。これらの格納されたパターンはまた、ラ
ンドマーク領域の現行の視野からたまたま外れている
が、ランドマーク領域の以前か以後の視野に含まれ得る
ランドマークＤおよびＥも含む。手段310A（１）は、カ
メラ300Aおよびブロック332の両方からの入力に応答し
て、パターンＡが完全に視野にあるか、部分的に視野に
あるか、または一以上のランドマークだけが視野にある
かどうかと言う目標Ａの位置を指示する出力をそこから
導き出すことが出来る。手段310A（１）は、パターンＡ
をパターンＢおよび／またはＣを検出し、且つワールド
・マップ332を使うことにより検出してパターンＡの位
置を推論する。手段310A（１）からの出力、パターンＡ
の位置は、図示していない手段310A（２）に印加され、
それは上述のやり方でポーズを見積もる。手段310A
（２）の出力は次いでビデオ・スイッチ（図示せず）に
接続される。
ランドマーク領域追跡は、また目標それ自身がたまた
ま現行の視野中に吸収されていて、その場所が、一以上
の吸収されていないランドマークの場所から推論しなけ
ればならないような時にも有用である。
ま現行の視野中に吸収されていて、その場所が、一以上
の吸収されていないランドマークの場所から推論しなけ
ればならないような時にも有用である。
ランドマーク領域追跡は、若し目標パターンがある特
定の方向で視野から離れあるいは入つていくならば、そ
れに限って問題を解決する。図６に示した実施例では、
ランドマーク領域内のランドマーク・パターンの各々が
目標パターンの右にあるが、ランドマーク領域追跡は、
若し目標パターンがイメージの左手側で視野から離れる
ならば、それに限って問題を解決する。複式ランドマー
ク追跡は、この問題を克服する。単一のランドマーク
（または目標）パターンを検出する代わりに、システム
の手段210Aは、異なるランドマーク領域内の一以上のラ
ンドマーク・パターンを、どのパターンが目標パターン
の位置を推論するのに最も貢献するかにより、検出のた
め選ぶことが出来る。例えば、若し目標パターンがイメ
ージの左手側で視野から離れるならば、システムは目標
パターンの右に向かってランドマーク・パターンを検出
するために選ぶことが出来る。他方、若し目標パターン
がイメージの右手側で視野から離れるならば、システム
は目標パターンの左に向かってランドマーク・パターン
を検出するために選ぶことが出来る。若し、一以上のラ
ンドマーク・パターンが見え得るならば、システムは目
標パターンの位置をより正確に推論するために、任意の
一時に、一以上のランドマーク・パターンを検出するた
めに選ぶことが出来る。先行技術で教示されている様
に、このシステムは、背景シーケンス内の先のイメージ
におけるパターン検出の結果を、そのシーケンス中の次
のイメージにおけるパターン検出を制御するために使用
して、装備され得る。特定的には、このシステムは、先
のイメージで検出されたランドマーク・パターンの位置
を、この先のイメージにおける他のランドマーク・パタ
ーンの概略位置を推論するために使用する。これらの位
置は、単一のランドマーク・パターンから目標パターン
の位置を推論したのと同一の方法で推論される。次いで
システムは、現行のイメージ中に、先のイメージにおけ
る目標パターンに最も近く、そして先のイメージの境界
から充分に遠いランドマーク・パターンを検出するため
に選ぶ。その結果、検出されたランドマーク領域が背景
シーンの視野から離れるばかりになった時、このシステ
ムは、イメージの境界からより遠い他のランドマーク・
パターンを検出するために選ぶ。
定の方向で視野から離れあるいは入つていくならば、そ
れに限って問題を解決する。図６に示した実施例では、
ランドマーク領域内のランドマーク・パターンの各々が
目標パターンの右にあるが、ランドマーク領域追跡は、
若し目標パターンがイメージの左手側で視野から離れる
ならば、それに限って問題を解決する。複式ランドマー
ク追跡は、この問題を克服する。単一のランドマーク
（または目標）パターンを検出する代わりに、システム
の手段210Aは、異なるランドマーク領域内の一以上のラ
ンドマーク・パターンを、どのパターンが目標パターン
の位置を推論するのに最も貢献するかにより、検出のた
め選ぶことが出来る。例えば、若し目標パターンがイメ
ージの左手側で視野から離れるならば、システムは目標
パターンの右に向かってランドマーク・パターンを検出
するために選ぶことが出来る。他方、若し目標パターン
がイメージの右手側で視野から離れるならば、システム
は目標パターンの左に向かってランドマーク・パターン
を検出するために選ぶことが出来る。若し、一以上のラ
ンドマーク・パターンが見え得るならば、システムは目
標パターンの位置をより正確に推論するために、任意の
一時に、一以上のランドマーク・パターンを検出するた
めに選ぶことが出来る。先行技術で教示されている様
に、このシステムは、背景シーケンス内の先のイメージ
におけるパターン検出の結果を、そのシーケンス中の次
のイメージにおけるパターン検出を制御するために使用
して、装備され得る。特定的には、このシステムは、先
のイメージで検出されたランドマーク・パターンの位置
を、この先のイメージにおける他のランドマーク・パタ
ーンの概略位置を推論するために使用する。これらの位
置は、単一のランドマーク・パターンから目標パターン
の位置を推論したのと同一の方法で推論される。次いで
システムは、現行のイメージ中に、先のイメージにおけ
る目標パターンに最も近く、そして先のイメージの境界
から充分に遠いランドマーク・パターンを検出するため
に選ぶ。その結果、検出されたランドマーク領域が背景
シーンの視野から離れるばかりになった時、このシステ
ムは、イメージの境界からより遠い他のランドマーク・
パターンを検出するために選ぶ。
背景シーケンス中にシーン・カットが生じた時、ある
いはシステムを最初に始動させた時は、ランドマークの
場所の（正確な）先行知識は無い。こうした場合、この
システムは、イメージ全体にわたって全てのランドマー
ク・パターンを探すように選ぶ。この様にして、一旦ラ
ンドマーク・パターンが検出されると、このシステム
は、現行のフレームからの検出結果を使用して、その次
のフレームにおけるランドマーク・サーチの手順に復帰
することが出来る。
いはシステムを最初に始動させた時は、ランドマークの
場所の（正確な）先行知識は無い。こうした場合、この
システムは、イメージ全体にわたって全てのランドマー
ク・パターンを探すように選ぶ。この様にして、一旦ラ
ンドマーク・パターンが検出されると、このシステム
は、現行のフレームからの検出結果を使用して、その次
のフレームにおけるランドマーク・サーチの手順に復帰
することが出来る。
手段210Aによる基本的ランドマーク領域追跡の装備に
伴う問題点は、単一の、固定的差ベクトルが、目標パタ
ーンとランドマーク・パターンとの間のポーズ関係を特
徴付けるのに充分で無いことがあることである。例え
ば、カメラのレンズの周辺における湾曲は、シーンにお
ける特徴物間の距離を、カメラがシーンを横切つて動く
時、小さく又は大きく見えるようにする。例えば、目標
パターンとランドマーク・パターンとの間の距離が、両
パターンがイメージ中心近くに現れた時、20画素であっ
たとすると、この距離は、パターンがイメージ端部近く
に現れた時、25画素に増大する。この問題点は、距離の
変化のみに限らない；ポーズの変化（サイズ、方向付け
および遠近の歪み）も、レンズの湾曲により生じ得り、
シーンにおけるパターンの深度の差も又しかりである。
その結果、目標パターンの位置（およびポーズ）が不正
確に推論され、ビデオが背景シーンの間違った位置に挿
入される。この問題点を克服するために、補正的ランド
マーク領域追跡が、背景シーケンス内のランドマーク・
パターンの正確にもとめた位置を、目標パターンの場所
におけるレンズ湾曲および深度エラーを予測するように
使用して、目標パターンの位置およびポーズにおけるエ
ラーを補償する。この追跡方法は次の工程を含む、即
ち： ａ）各ランドマーク領域の、他のランドマーク領域に
対する正確な位置およびポーズを、そのイメージ・シー
ケンス全体にわたって計算する； ｂ）各ランドマーク領域の、他のランドマーク領域に
対する正確な位置およびポーズを、そのイメージ・シー
ケンス全体にわたって同一の固定的差ベクトルを使用し
て計算する； ｃ）ａ）からｂ）を差引き、そのイメージ・シーケン
ス全体にわたって各ランドマーク領域の単純差ベクトル
・モデルにおけるエラーを決定する； ｄ）ｃ）で回収されたエラー結果を補間して、目標パ
ターンの場所におけるエラーを、そのエラーが、ランド
マーク領域間でスムースに変化するものと仮定して予測
する；および ｅ）目標パターンの位置およびポーズにおける予測さ
れたエラーを、位置およびポーズの原見積りから差引
き、目標パターンの位置およびポーズのより正確な見積
りを得る。
伴う問題点は、単一の、固定的差ベクトルが、目標パタ
ーンとランドマーク・パターンとの間のポーズ関係を特
徴付けるのに充分で無いことがあることである。例え
ば、カメラのレンズの周辺における湾曲は、シーンにお
ける特徴物間の距離を、カメラがシーンを横切つて動く
時、小さく又は大きく見えるようにする。例えば、目標
パターンとランドマーク・パターンとの間の距離が、両
パターンがイメージ中心近くに現れた時、20画素であっ
たとすると、この距離は、パターンがイメージ端部近く
に現れた時、25画素に増大する。この問題点は、距離の
変化のみに限らない；ポーズの変化（サイズ、方向付け
および遠近の歪み）も、レンズの湾曲により生じ得り、
シーンにおけるパターンの深度の差も又しかりである。
その結果、目標パターンの位置（およびポーズ）が不正
確に推論され、ビデオが背景シーンの間違った位置に挿
入される。この問題点を克服するために、補正的ランド
マーク領域追跡が、背景シーケンス内のランドマーク・
パターンの正確にもとめた位置を、目標パターンの場所
におけるレンズ湾曲および深度エラーを予測するように
使用して、目標パターンの位置およびポーズにおけるエ
ラーを補償する。この追跡方法は次の工程を含む、即
ち： ａ）各ランドマーク領域の、他のランドマーク領域に
対する正確な位置およびポーズを、そのイメージ・シー
ケンス全体にわたって計算する； ｂ）各ランドマーク領域の、他のランドマーク領域に
対する正確な位置およびポーズを、そのイメージ・シー
ケンス全体にわたって同一の固定的差ベクトルを使用し
て計算する； ｃ）ａ）からｂ）を差引き、そのイメージ・シーケン
ス全体にわたって各ランドマーク領域の単純差ベクトル
・モデルにおけるエラーを決定する； ｄ）ｃ）で回収されたエラー結果を補間して、目標パ
ターンの場所におけるエラーを、そのエラーが、ランド
マーク領域間でスムースに変化するものと仮定して予測
する；および ｅ）目標パターンの位置およびポーズにおける予測さ
れたエラーを、位置およびポーズの原見積りから差引
き、目標パターンの位置およびポーズのより正確な見積
りを得る。
パターン・キー挿入の技術的に最もチャレンジングな
側面は、ビデオ・シーケンス内での目標およびランドマ
ーク・パターンの検出にある。検出は、信頼性高くまた
ビデオ・レートにおいて遂行されなければならない。あ
る方法は、階層構造サーチおよび階層的動き（登録）技
術を利用する。次は、これらの技術を使用したパターン
・キー挿入の装備の詳細な既述である。図７には本発明
のパターン・キー挿入技術の実施にあたり遂行される連
続工程が示されている。楕円のブロックは、データに対
応し、また方形のブロックは、処理モジュールに対応し
ている。若し、「Ｎ」があるシーケンス内でのイメージ
番号とすれば、このダイヤグラムは、どの様にして第１
ソース・シーケンス（つまり、図２〜５の背景シーンに
由来するＡシーケンス）のイメージ「Ｎ」が、第２ソー
ス・シーケンス（つまり、図２〜５の前景シーンに由来
するＢシーケンス）のイメージＮと合併して、到達シー
ケンス（つまり、図２〜５の出力シーン・シーケンス）
のイメージＮを生じるかを示している。このパターン・
キー挿入の手順には三つの主要要素がある。図２〜５に
おいて、これらの要素は、手段210A、手段210Bおよび手
段214を含む。手段210Aは、背景シーンにおけるパター
ンを検出することによる第１ソースのためのランドマー
ク・ロケータ、および（２）第１ソースの基準イメージ
（または複数のイメージ）に関するランドマークのポー
ズを見積もるポーズ・エステイメータの機能を遂行す
る。手段210Bは、前景シーン内のパターンを検出するこ
とによる第２ソースのためのランドマーク・ロケータお
よび（２）第２ソースの基準イメージ（または複数のイ
メージ）に関するランドマークのポーズを見積もるポー
ズ・エステイメータの機能を遂行する。手段214は、到
達シーケンスへの挿入のためのビデオを適切にフォーマ
ットするジオメトリック変形モジュールである。ランド
マーク・ロケータの動作は、イメージＮ、シーケンス１
（つまり、第１ソース・シーケンス）におけるLANDMARK
Sの場所の粗い見積もりを決定する。ポーズ・エステイ
メータは、「LOCATORS）と呼ばれてきたイメージ領域を
システマチックに登録する手順により、場所の細かい見
積もりを決定する。これらの二つの要素は、図７におい
てそれぞれ 「Locate landmarks（ランドマーク配置）」および「S
elect locator and Fit affine precise alignme
nt to locator（ロケータ選択およびロケータへのア
フイン 精密整列適合）」と指示されている。この手順
の最終段階は、第２ソース・シーケンスからのビデオを
実際に第１ソース・シーケンスに挿入して、到達シーケ
ンスを作成することである。初期セットアップ手順は、
二部分に分けられる：即ちイメージ特定セットアップお
よびワールド特定セットアップである。それらは、発明
により描かれた応用において、ワールド特定セットアッ
プは特定のイメージ・シーンについて一回だけ行うこと
を期待されているので、分けられている。例えば、ワー
ルド特定セットアップは、特定のフットボール場につい
て行つて、格納され、その後、その特定のフットボール
場を示す任意のイメージ・シーケンス上にパターン・キ
ー挿入が望まれる次の時に検索され得る。他方、イメー
ジ特定セットアップは、イメージ・シーケンスにおける
挿入ビデオの位置に関する。
側面は、ビデオ・シーケンス内での目標およびランドマ
ーク・パターンの検出にある。検出は、信頼性高くまた
ビデオ・レートにおいて遂行されなければならない。あ
る方法は、階層構造サーチおよび階層的動き（登録）技
術を利用する。次は、これらの技術を使用したパターン
・キー挿入の装備の詳細な既述である。図７には本発明
のパターン・キー挿入技術の実施にあたり遂行される連
続工程が示されている。楕円のブロックは、データに対
応し、また方形のブロックは、処理モジュールに対応し
ている。若し、「Ｎ」があるシーケンス内でのイメージ
番号とすれば、このダイヤグラムは、どの様にして第１
ソース・シーケンス（つまり、図２〜５の背景シーンに
由来するＡシーケンス）のイメージ「Ｎ」が、第２ソー
ス・シーケンス（つまり、図２〜５の前景シーンに由来
するＢシーケンス）のイメージＮと合併して、到達シー
ケンス（つまり、図２〜５の出力シーン・シーケンス）
のイメージＮを生じるかを示している。このパターン・
キー挿入の手順には三つの主要要素がある。図２〜５に
おいて、これらの要素は、手段210A、手段210Bおよび手
段214を含む。手段210Aは、背景シーンにおけるパター
ンを検出することによる第１ソースのためのランドマー
ク・ロケータ、および（２）第１ソースの基準イメージ
（または複数のイメージ）に関するランドマークのポー
ズを見積もるポーズ・エステイメータの機能を遂行す
る。手段210Bは、前景シーン内のパターンを検出するこ
とによる第２ソースのためのランドマーク・ロケータお
よび（２）第２ソースの基準イメージ（または複数のイ
メージ）に関するランドマークのポーズを見積もるポー
ズ・エステイメータの機能を遂行する。手段214は、到
達シーケンスへの挿入のためのビデオを適切にフォーマ
ットするジオメトリック変形モジュールである。ランド
マーク・ロケータの動作は、イメージＮ、シーケンス１
（つまり、第１ソース・シーケンス）におけるLANDMARK
Sの場所の粗い見積もりを決定する。ポーズ・エステイ
メータは、「LOCATORS）と呼ばれてきたイメージ領域を
システマチックに登録する手順により、場所の細かい見
積もりを決定する。これらの二つの要素は、図７におい
てそれぞれ 「Locate landmarks（ランドマーク配置）」および「S
elect locator and Fit affine precise alignme
nt to locator（ロケータ選択およびロケータへのア
フイン 精密整列適合）」と指示されている。この手順
の最終段階は、第２ソース・シーケンスからのビデオを
実際に第１ソース・シーケンスに挿入して、到達シーケ
ンスを作成することである。初期セットアップ手順は、
二部分に分けられる：即ちイメージ特定セットアップお
よびワールド特定セットアップである。それらは、発明
により描かれた応用において、ワールド特定セットアッ
プは特定のイメージ・シーンについて一回だけ行うこと
を期待されているので、分けられている。例えば、ワー
ルド特定セットアップは、特定のフットボール場につい
て行つて、格納され、その後、その特定のフットボール
場を示す任意のイメージ・シーケンス上にパターン・キ
ー挿入が望まれる次の時に検索され得る。他方、イメー
ジ特定セットアップは、イメージ・シーケンスにおける
挿入ビデオの位置に関する。
イメージ特定セットアップにおいては、パターン・キ
ー挿入方法が始まる前、操作者は、第１ソース・シーケ
ンス・イメージのどこに挿入されるべきか（目標または
DESTINATION（到達）領域）および、第２ソース・シー
ケンス（SOURCE（ソース）領域）のどこに、そのイメー
ジが挿入されるべきかを定義しなければならない。操作
者はまた、イメージ・ランドマークの位置、サイズおよ
び形、およびロケータを定義しなければならない。これ
をするため、あるREFERENCE（基準）イメージが、到達
領域を含む第１ソース・シーケンスから選ばれる。例え
ば、操作者は、このイメージの上左手コーナーをワール
ド座標システムの原点と定義することが出来る。操作者
は、到達領域を取り囲む閉鎖された凸多角形の４コーナ
ーの座標を記録して、目標または到達領域を定義するこ
とが出来る。図２〜５の背景シーン204Aにおけるロゴ・
パターン『Ａ』の４コーナーは、かような多角形を定義
する。このデータは、DESTINATION（到達）座標セット
と呼ばれる。同様に、操作者は、シーケンス２（つま
り、第２ソース・シーケンス）におけるイメージからソ
ース位置を選び、それをSOURCE（ソース）座標セットと
呼ぶ。当初は、シーケンス２にはカメラの動きは無く
（図２の前景シーンにおける実際の場合である）、任意
のイメージがこのソース座標セットを定義するのに使用
出来る。その後、この束縛は緩められる。
ー挿入方法が始まる前、操作者は、第１ソース・シーケ
ンス・イメージのどこに挿入されるべきか（目標または
DESTINATION（到達）領域）および、第２ソース・シー
ケンス（SOURCE（ソース）領域）のどこに、そのイメー
ジが挿入されるべきかを定義しなければならない。操作
者はまた、イメージ・ランドマークの位置、サイズおよ
び形、およびロケータを定義しなければならない。これ
をするため、あるREFERENCE（基準）イメージが、到達
領域を含む第１ソース・シーケンスから選ばれる。例え
ば、操作者は、このイメージの上左手コーナーをワール
ド座標システムの原点と定義することが出来る。操作者
は、到達領域を取り囲む閉鎖された凸多角形の４コーナ
ーの座標を記録して、目標または到達領域を定義するこ
とが出来る。図２〜５の背景シーン204Aにおけるロゴ・
パターン『Ａ』の４コーナーは、かような多角形を定義
する。このデータは、DESTINATION（到達）座標セット
と呼ばれる。同様に、操作者は、シーケンス２（つま
り、第２ソース・シーケンス）におけるイメージからソ
ース位置を選び、それをSOURCE（ソース）座標セットと
呼ぶ。当初は、シーケンス２にはカメラの動きは無く
（図２の前景シーンにおける実際の場合である）、任意
のイメージがこのソース座標セットを定義するのに使用
出来る。その後、この束縛は緩められる。
ワールド特定セットアップにおいては、操作者は、ロ
ケータ領域を取り囲む閉鎖された凸多角形の４コーナー
の座標を記録して、LOCATOR（ロケータ）領域の位置お
よびサイズを定義する。少なくとも一つのロケータを定
義しなければならないが、若しより多くのロケータを定
義すれば、ロケータがカメラの視野を出入りして動く
時、システムの強さが改善される。到達領域がカメラの
視野に完全にまたは部分的にある時、若し正確なビデオ
挿入がそのシーケンスの全ての部分で達成されるべきで
あれば、少なくとも一つのロケータは、カメラの視野に
完全に入っていなければならない。典型的には、到達領
域を囲んで約４または５のロケータ領域が、少なくとも
一つのロケータが、到達領域に視野に出入りして動く
時、カメラの視野に完全に入っているように、定義され
る。
ケータ領域を取り囲む閉鎖された凸多角形の４コーナー
の座標を記録して、LOCATOR（ロケータ）領域の位置お
よびサイズを定義する。少なくとも一つのロケータを定
義しなければならないが、若しより多くのロケータを定
義すれば、ロケータがカメラの視野を出入りして動く
時、システムの強さが改善される。到達領域がカメラの
視野に完全にまたは部分的にある時、若し正確なビデオ
挿入がそのシーケンスの全ての部分で達成されるべきで
あれば、少なくとも一つのロケータは、カメラの視野に
完全に入っていなければならない。典型的には、到達領
域を囲んで約４または５のロケータ領域が、少なくとも
一つのロケータが、到達領域に視野に出入りして動く
時、カメラの視野に完全に入っているように、定義され
る。
操作者はまた、挿入手順の第１段階で使用されるイメ
ージLANDMARKS（ランドマークス）を選ばなければなら
ない。図２および３のパターン・キー挿入において、こ
れらのランドマークスの場所は、パターン・キー挿入が
行われている間ワールド座標システムに関して固定され
た儘でなければならない；従って、可動のランドマーク
ス（例えば、車や人物）はランドマークとしては賢い選
択でない。良いランドマーク選択は、フットボール・ス
タンドのコーナーまたはテニスコートのネット支持体で
ある。図４または５のパターン・キー挿入においては、
目標または到達領域が動いている被写体上にあるが、ラ
ンドマークはその上に目標または到達領域が現れる同一
の被写体上に現れなければならない。操作者は、少なく
とも一つのランドマークを定義しなければならないが、
若しより多くのランドマークを定義すれば、ランドマー
ク吸収（可動被写体はランドマークを不明瞭にする）の
存在下で、またランドマークがカメラの視野に出入りし
て動く時でも、ランドマーク・ロケータ・モジュールの
強さが改善される。一般に、到達領域を囲んで約４また
は５のランドマークが定義される。これは、少なくとも
一つのランドマークを、到達領域が視野に来た時、検出
し追跡すべきであるとを意味する。ランドマークは、基
準イメージ内だけに現れるとは限らない；ランドマーク
は、それらの位置がワールド座標内で基準イメージに関
して表現される限り、第１ソース・シーケンスの他のイ
メージにも位置し得る。各ランドマークについてのワー
ルド置座標位置は、簡単な平面ワールド・モデルを使っ
て計算される。若し、ランドマーク１が基準イメージ内
に可視で、またランドマーク１およびランドマーク２の
両方が、シーケンスの後のイメージにあると仮定する
と、ランドマーク２のワールド座標は、後のイメージの
ローカル座標システムにおけるランドマーク１およびラ
ンドマーク２の座標の差に加えられたランドマーク１の
ワールド座標に等しい。この計算は、２以上のランドマ
ークが常に一イメージ上で可視であるとして、シーケン
スにおける任意のランドマークのワールド座標を見積も
るように、繰り返すことが出来る。
ージLANDMARKS（ランドマークス）を選ばなければなら
ない。図２および３のパターン・キー挿入において、こ
れらのランドマークスの場所は、パターン・キー挿入が
行われている間ワールド座標システムに関して固定され
た儘でなければならない；従って、可動のランドマーク
ス（例えば、車や人物）はランドマークとしては賢い選
択でない。良いランドマーク選択は、フットボール・ス
タンドのコーナーまたはテニスコートのネット支持体で
ある。図４または５のパターン・キー挿入においては、
目標または到達領域が動いている被写体上にあるが、ラ
ンドマークはその上に目標または到達領域が現れる同一
の被写体上に現れなければならない。操作者は、少なく
とも一つのランドマークを定義しなければならないが、
若しより多くのランドマークを定義すれば、ランドマー
ク吸収（可動被写体はランドマークを不明瞭にする）の
存在下で、またランドマークがカメラの視野に出入りし
て動く時でも、ランドマーク・ロケータ・モジュールの
強さが改善される。一般に、到達領域を囲んで約４また
は５のランドマークが定義される。これは、少なくとも
一つのランドマークを、到達領域が視野に来た時、検出
し追跡すべきであるとを意味する。ランドマークは、基
準イメージ内だけに現れるとは限らない；ランドマーク
は、それらの位置がワールド座標内で基準イメージに関
して表現される限り、第１ソース・シーケンスの他のイ
メージにも位置し得る。各ランドマークについてのワー
ルド置座標位置は、簡単な平面ワールド・モデルを使っ
て計算される。若し、ランドマーク１が基準イメージ内
に可視で、またランドマーク１およびランドマーク２の
両方が、シーケンスの後のイメージにあると仮定する
と、ランドマーク２のワールド座標は、後のイメージの
ローカル座標システムにおけるランドマーク１およびラ
ンドマーク２の座標の差に加えられたランドマーク１の
ワールド座標に等しい。この計算は、２以上のランドマ
ークが常に一イメージ上で可視であるとして、シーケン
スにおける任意のランドマークのワールド座標を見積も
るように、繰り返すことが出来る。
典型的に、ランドマークの一セットが選ばれる。これ
らのランドマークの相対位置（およびロケータの位置）
は、グラフ構造で記録される（図７ではWORLD MAP（ワ
ールド／マップ）と指示される）。階層構造サーチ手順
においては、サーチは最も突出したランドマークから始
まる。次いでサーチは、より粗い解像度からの結果をサ
ーチの案内に使用して、より細かい解像度に進む。かよ
うなサーチ構造は、ランドマーク検出モジュールの効率
を改善する。図７において、各ランドマークのための基
準「テンプレート」を記録する粗い／細かいイメージの
セットは、TREE STRUCTURE（ツリー構造）と呼ばれ
る。
らのランドマークの相対位置（およびロケータの位置）
は、グラフ構造で記録される（図７ではWORLD MAP（ワ
ールド／マップ）と指示される）。階層構造サーチ手順
においては、サーチは最も突出したランドマークから始
まる。次いでサーチは、より粗い解像度からの結果をサ
ーチの案内に使用して、より細かい解像度に進む。かよ
うなサーチ構造は、ランドマーク検出モジュールの効率
を改善する。図７において、各ランドマークのための基
準「テンプレート」を記録する粗い／細かいイメージの
セットは、TREE STRUCTURE（ツリー構造）と呼ばれ
る。
Locate Landmarks（ランドマーク配置）は図７に示
したパターン・キー挿入技術の第１処理モジュールであ
る。第１ソース・シーケンスの第１イメージのために、
このモジュールは、各ツリー構造を採り、そのイメージ
全体にわたって各ランドマークをサーチする。処理効率
を増大させるため、サーチ手順は、最初に各ランドマー
クを、粗い解像度での最高の相関マッチに置くが、それ
はランドマークのためのサーチ面を、順次的により細か
い解像度に限定する。出力は、そのイメージ内の各VISI
BLE（可視）ランドマークの（現行イメージに関する）
座標位置である。若し相関マッチがあるしきい値より低
ければ、そのランドマークはINVISIBLE（不可視）と宣
言され、何らの座標位置も戻されない。これは、若しあ
るランドマークが、視野の外にあるか、ランドマークが
吸収されていれば起こり得ることである。
したパターン・キー挿入技術の第１処理モジュールであ
る。第１ソース・シーケンスの第１イメージのために、
このモジュールは、各ツリー構造を採り、そのイメージ
全体にわたって各ランドマークをサーチする。処理効率
を増大させるため、サーチ手順は、最初に各ランドマー
クを、粗い解像度での最高の相関マッチに置くが、それ
はランドマークのためのサーチ面を、順次的により細か
い解像度に限定する。出力は、そのイメージ内の各VISI
BLE（可視）ランドマークの（現行イメージに関する）
座標位置である。若し相関マッチがあるしきい値より低
ければ、そのランドマークはINVISIBLE（不可視）と宣
言され、何らの座標位置も戻されない。これは、若しあ
るランドマークが、視野の外にあるか、ランドマークが
吸収されていれば起こり得ることである。
今、いくつかのランドマークの現行イメージに関する
位置が知られたとすると、その情報は、ワールド・マッ
プと組合せられ、一つのLOCAL MAP（ローカル・マッ
プ）を生みだす。このローカル・マップは、全てのラン
ドマークおよびロケータ（可視または不可視の）の現行
のイメージに関する見積り座標を含むフアイルである。
このローカル・マップは、基本的に検出されたランドマ
ークのワールド座標と検出されたランドマークのローカ
ル座標との和だけずらされたワールド・マップである。
それ故、ローカル・マップにおける全てのランドマーク
およびロケータ位置は、現行イメージの上左手コーナー
に関して定義される。実際上、全ての検出されたランド
マークからの情報を位置見積りの精密さを増大させるよ
うに組合せることが望まれる。検出されたランドマーク
位置の不確実さが、他のランドマークおよびロケータ位
置の最適見積りを決定するためにつくられる（molde
d）。特定的に、検出された位置の、方向付けおよび翻
訳的位置に関する固定した不確実さが、各ランドマーク
に対して仮定される。そして、それはワールド・マップ
を使い、いかにこれらの固定した不確実さが、検出され
ていない各ランドマークに対して、翻訳的不確実さに写
像されるかを決定することが出来る。例えば、検出され
たランドマークの方向付けにおける小さな不確実さは、
若し二つのランドマークが水平的に遠く離れていれば、
検出されていないランドマークの垂直位置における大き
な不確実さとなり得る。それ故、検出されていないラン
ドマークの各々について、検出されたランドマークの各
々から決定された関連する不確実さを伴う見積り位置が
ある。検出されていないランドマークの位置は、決定さ
れた不確実さを重み付けフアクタとして使い、見積り位
置の重み付け平均を決定することにより見積られる。
位置が知られたとすると、その情報は、ワールド・マッ
プと組合せられ、一つのLOCAL MAP（ローカル・マッ
プ）を生みだす。このローカル・マップは、全てのラン
ドマークおよびロケータ（可視または不可視の）の現行
のイメージに関する見積り座標を含むフアイルである。
このローカル・マップは、基本的に検出されたランドマ
ークのワールド座標と検出されたランドマークのローカ
ル座標との和だけずらされたワールド・マップである。
それ故、ローカル・マップにおける全てのランドマーク
およびロケータ位置は、現行イメージの上左手コーナー
に関して定義される。実際上、全ての検出されたランド
マークからの情報を位置見積りの精密さを増大させるよ
うに組合せることが望まれる。検出されたランドマーク
位置の不確実さが、他のランドマークおよびロケータ位
置の最適見積りを決定するためにつくられる（molde
d）。特定的に、検出された位置の、方向付けおよび翻
訳的位置に関する固定した不確実さが、各ランドマーク
に対して仮定される。そして、それはワールド・マップ
を使い、いかにこれらの固定した不確実さが、検出され
ていない各ランドマークに対して、翻訳的不確実さに写
像されるかを決定することが出来る。例えば、検出され
たランドマークの方向付けにおける小さな不確実さは、
若し二つのランドマークが水平的に遠く離れていれば、
検出されていないランドマークの垂直位置における大き
な不確実さとなり得る。それ故、検出されていないラン
ドマークの各々について、検出されたランドマークの各
々から決定された関連する不確実さを伴う見積り位置が
ある。検出されていないランドマークの位置は、決定さ
れた不確実さを重み付けフアクタとして使い、見積り位
置の重み付け平均を決定することにより見積られる。
現行イメージの座標次元は知られている、そしてカメ
ラの動きの最大速度（例えば、一フレームあたり20画
素）は、それがローカル・マップから、ランドマークま
たはロケータが、そのシーケンスの次のイメージ中で可
視であるかどうか予測できるように、見積ることが出来
る。
ラの動きの最大速度（例えば、一フレームあたり20画
素）は、それがローカル・マップから、ランドマークま
たはロケータが、そのシーケンスの次のイメージ中で可
視であるかどうか予測できるように、見積ることが出来
る。
ローカル・マップが、シーケンスの最初のイメージに
ついて作られた後、そのローカル・マップは、ランドマ
ーク・ロケータ・モジュールをそのシーケンスの第２イ
メージに案内するために使用される。この場合、ランド
マーク・ロケータ・モジュールは、先のローカル・マッ
プにおいてVISIBLE（可視）と予測されたランドマーク
についてだけサーチし、そのサーチを先のローカル・マ
ップにおけるかようなランドマークの各々の場所を取り
囲む領域に集中する。このサーチ領域の幅および高さ
は、各ランドマークにつき、カメラの動きの見積られた
最大速度および各ランドマークの位置の予測された不確
実さにより制御される。この集中さたサーチ手順は処理
効率をドラマチックに改善する。
ついて作られた後、そのローカル・マップは、ランドマ
ーク・ロケータ・モジュールをそのシーケンスの第２イ
メージに案内するために使用される。この場合、ランド
マーク・ロケータ・モジュールは、先のローカル・マッ
プにおいてVISIBLE（可視）と予測されたランドマーク
についてだけサーチし、そのサーチを先のローカル・マ
ップにおけるかようなランドマークの各々の場所を取り
囲む領域に集中する。このサーチ領域の幅および高さ
は、各ランドマークにつき、カメラの動きの見積られた
最大速度および各ランドマークの位置の予測された不確
実さにより制御される。この集中さたサーチ手順は処理
効率をドラマチックに改善する。
若し、イメージ・シーケンス中にシーン変化またはシ
ーン・カットが起こり、集中されたサーチ領域内にラン
ドマークが検出されないならば、システムは、イメージ
全体にわたりランドマークをサーチする。若し、それで
もランドマークが検出されないならば、完全に異なるワ
ールド・シーンが表示されていると仮定し、そのイメー
ジに対するパターン・キー挿入を中断する。このこと
は、パターン・キー挿入を示すシーケンスが、挿入品質
に不利な影響無く他のシーケンスと自由に混合出来るこ
とを意味している。
ーン・カットが起こり、集中されたサーチ領域内にラン
ドマークが検出されないならば、システムは、イメージ
全体にわたりランドマークをサーチする。若し、それで
もランドマークが検出されないならば、完全に異なるワ
ールド・シーンが表示されていると仮定し、そのイメー
ジに対するパターン・キー挿入を中断する。このこと
は、パターン・キー挿入を示すシーケンスが、挿入品質
に不利な影響無く他のシーケンスと自由に混合出来るこ
とを意味している。
Select Locator and Fit Affine Precise Alig
nment（ロケータ選択およびアフイン精密整列の適合）
モジュールは、パターン・キー挿入の第２の主要な動作
を遂行する。このモジュールは、先ずいくつかのロケー
タ領域の内どれが精密なイメージ動き見積りを決定する
ために使われるべきかを選ぶ。到達領域に近接したロケ
ータ領域を使用することが望まれる、と言うのはこのロ
ケータの動きは到達領域の動きの見積りとして使われる
からである。他方、ロケータ領域が、動きの見積りが正
確であるために完全に可視であることを保証することも
望まれている。このローカル・マップは、各ロケータの
上左手コーナーの見積られた位置を含み、この情報をLO
CATOR（ロケータ）座標データ・セットと組み合わせれ
ば、各ロケータの各コーナーの座標の現行イメージに関
する見積りを与えるようになっている。これは、完くそ
のイメージ内にあり、最小のロケータと到達領域の重心
間距離を有するロケータを選ぶことにより達成される。
若し、この条件を充たすロケータ領域が無いならば、ア
フイン適合モジュールは廃棄され、ローカル・マップだ
けが使用される。この使用された動き見積りは、最小の
ロケータと到達領域の重心間距離を有するロケータの位
置である。
nment（ロケータ選択およびアフイン精密整列の適合）
モジュールは、パターン・キー挿入の第２の主要な動作
を遂行する。このモジュールは、先ずいくつかのロケー
タ領域の内どれが精密なイメージ動き見積りを決定する
ために使われるべきかを選ぶ。到達領域に近接したロケ
ータ領域を使用することが望まれる、と言うのはこのロ
ケータの動きは到達領域の動きの見積りとして使われる
からである。他方、ロケータ領域が、動きの見積りが正
確であるために完全に可視であることを保証することも
望まれている。このローカル・マップは、各ロケータの
上左手コーナーの見積られた位置を含み、この情報をLO
CATOR（ロケータ）座標データ・セットと組み合わせれ
ば、各ロケータの各コーナーの座標の現行イメージに関
する見積りを与えるようになっている。これは、完くそ
のイメージ内にあり、最小のロケータと到達領域の重心
間距離を有するロケータを選ぶことにより達成される。
若し、この条件を充たすロケータ領域が無いならば、ア
フイン適合モジュールは廃棄され、ローカル・マップだ
けが使用される。この使用された動き見積りは、最小の
ロケータと到達領域の重心間距離を有するロケータの位
置である。
若し、ロケータ領域が完くそのイメージ内にあれば、
基準イメージ内のロケータ領域と現行イメージとの間の
アフイン精密整列モデルが、ローカル・マップにおける
ロケータ領域の座標を動きの最初の見積りとして使用し
て、適合される。このアフイン精密整列モデルは、その
モデルを順次より細かくなる解像度で洗練する前に、粗
い解像度で計算される。得られた結果は、基準イメージ
内のロケータと現行イメージ内のロケータとの間の動き
を定義するパラメータのセットである。このアフイン精
密整列見積り処理は、上記した種々の先行技術刊行物に
おいて、より詳細に述べられている。
基準イメージ内のロケータ領域と現行イメージとの間の
アフイン精密整列モデルが、ローカル・マップにおける
ロケータ領域の座標を動きの最初の見積りとして使用し
て、適合される。このアフイン精密整列モデルは、その
モデルを順次より細かくなる解像度で洗練する前に、粗
い解像度で計算される。得られた結果は、基準イメージ
内のロケータと現行イメージ内のロケータとの間の動き
を定義するパラメータのセットである。このアフイン精
密整列見積り処理は、上記した種々の先行技術刊行物に
おいて、より詳細に述べられている。
どこにビデオを挿入すべきかを知るために、第２ソー
ス・シーケンス内のソース領域と第１ソースシーケンス
内の到達領域との間の正確な動きを決定する必要があ
る。これは、アフイン精密整列見積り手順から回収した
動きを、これらの領域のコーナーの座標から決定された
ソース、ロケータおよび到達領域間の動きによりカスケ
ードすることにより行われる。取り分け、次の工程が遂
行される： ＊ソース領域−＞基準イメージ内のロケータ：ある動
き見積りが、これらの領域間で、あるアフインまたは二
次動きモデルを、各領域の４コーナー座標から決定され
る４つの動きのベクトルに適合させることにより決定さ
れる。先に述べたのと同一のアフイン適合手順がこの目
的に使用される。
ス・シーケンス内のソース領域と第１ソースシーケンス
内の到達領域との間の正確な動きを決定する必要があ
る。これは、アフイン精密整列見積り手順から回収した
動きを、これらの領域のコーナーの座標から決定された
ソース、ロケータおよび到達領域間の動きによりカスケ
ードすることにより行われる。取り分け、次の工程が遂
行される： ＊ソース領域−＞基準イメージ内のロケータ：ある動
き見積りが、これらの領域間で、あるアフインまたは二
次動きモデルを、各領域の４コーナー座標から決定され
る４つの動きのベクトルに適合させることにより決定さ
れる。先に述べたのと同一のアフイン適合手順がこの目
的に使用される。
＊基準イメージ内のロケーター＞現行イメージ内のロ
ケータ：この結果は、アフィン精密整列見積りモジュー
ルから既に利用可能となっている。
ケータ：この結果は、アフィン精密整列見積りモジュー
ルから既に利用可能となっている。
＊現行イメージ内のロケータ＞現行イメージ内の到達
領域：この動きは、REFERENCE（基準）イメージ内の領
域間のアフィンまたは二次動き見積りとして近似させら
れている。先に述べたのと同一の技術この目的に使用さ
れる。
領域：この動きは、REFERENCE（基準）イメージ内の領
域間のアフィンまたは二次動き見積りとして近似させら
れている。先に述べたのと同一の技術この目的に使用さ
れる。
これらの動き見積りは、基準イメージ内のソース領域
および現行イメージ内の到達領域間の単一のマッピング
見積りを生じるようにカスケードさせられる。マッピン
グ中の全てのエラーは、そこでは、基準イメージ内のロ
ケータおよび到達領域の相対位置が、現行イメージ内の
相対位置と同一であると仮定されている（つまり、平面
のワールド・モデルが仮定されている）第３または最後
のマッピング手順から生じる。レンズの湾曲およびシー
ンの深度変化により、この仮定は常に有効であるとは限
らない。しかしながら、実際のワールド・シーンでは、
それは、特に若しロケータおよび到達領域が現行イメー
ジ内で近似しているならば、良い近似であり得る。更
に、このアフィン精密整列見積りモジュールは、平面の
ワールド・モデルを使って予測された動き（ローカル・
マップによって提供された初期動き見積り）と、測定さ
れた現実の動きとの間の差に関する情報も与える。この
情報は、平面のワールドの仮定から生じるエラーを、先
に定められたマッピング見積りを洗練するために、モデ
ルする（合わせる）のに使用出来る。このエラー機能モ
デルはまだ装備されていないので、図７中に破線で表示
される。
および現行イメージ内の到達領域間の単一のマッピング
見積りを生じるようにカスケードさせられる。マッピン
グ中の全てのエラーは、そこでは、基準イメージ内のロ
ケータおよび到達領域の相対位置が、現行イメージ内の
相対位置と同一であると仮定されている（つまり、平面
のワールド・モデルが仮定されている）第３または最後
のマッピング手順から生じる。レンズの湾曲およびシー
ンの深度変化により、この仮定は常に有効であるとは限
らない。しかしながら、実際のワールド・シーンでは、
それは、特に若しロケータおよび到達領域が現行イメー
ジ内で近似しているならば、良い近似であり得る。更
に、このアフィン精密整列見積りモジュールは、平面の
ワールド・モデルを使って予測された動き（ローカル・
マップによって提供された初期動き見積り）と、測定さ
れた現実の動きとの間の差に関する情報も与える。この
情報は、平面のワールドの仮定から生じるエラーを、先
に定められたマッピング見積りを洗練するために、モデ
ルする（合わせる）のに使用出来る。このエラー機能モ
デルはまだ装備されていないので、図７中に破線で表示
される。
ビデオは好ましくはカラー・ビデオである。この場
合、ランドマーク検出およびロケータのポーズ見積りの
ために要する全ての処理は、カラー・イメージ・シーケ
ンスのルミナンス（明るさ）成分上に行われる。カラー
・ビデオをカラー・シーケンスに挿入するために、ソー
ス・ビデオの各カラー成分は、到達ビデオの対応するカ
ラーに挿入される。例えば、第２ソース・シーケンスの
赤強度イメージのソース領域は、第１ソース・シーケン
スの赤強度イメージの到達領域に挿入される。
合、ランドマーク検出およびロケータのポーズ見積りの
ために要する全ての処理は、カラー・イメージ・シーケ
ンスのルミナンス（明るさ）成分上に行われる。カラー
・ビデオをカラー・シーケンスに挿入するために、ソー
ス・ビデオの各カラー成分は、到達ビデオの対応するカ
ラーに挿入される。例えば、第２ソース・シーケンスの
赤強度イメージのソース領域は、第１ソース・シーケン
スの赤強度イメージの到達領域に挿入される。
実際には、多くのビデオ・シーケンスが、そこではあ
るシーケンスの各イメージが、各々1/60秒の時間間隔で
記録される２フイールドより成り、そのイメージの全て
の交互の水平線が同一フイールドに属するようにされて
いる飛び越し走査のNTSCフオーマットで記録されてい
る。その結果、カメラの水平動きは、イメージの隣接す
る線間の動きとなり得る。例えば、水平方向で急速にパ
ンする飛び越し走査のカメラによりイメージされた垂直
線は、ぎざぎざの垂直線として記録される。パターン・
キー解析のためのこの問題には二つの結果がある。第１
のものは、飛び越し走査は、ランドマークおよびロケー
タの強度パターンを歪ませて、ランドマーク・ロケータ
およびアフィン適合モジュールの強さより少なくし得る
と言うことである。第２のものは、異なる飛び越し走査
歪みを有する（または歪みのない）第２ソース・シーケ
ンスからのビデオを第１ソース・シーケンスのそれに挿
入することは受入れ難い挿入結果をもたらすと言うこと
である。例えば、急速に動くカメラは、イメージ全体に
わたって、かなりの飛び越し走査歪みをもたらすが、静
止カメラに由来する挿入ビデオは、飛び越し走査歪み含
まず、合成的で嘘のように見えるようになる。
るシーケンスの各イメージが、各々1/60秒の時間間隔で
記録される２フイールドより成り、そのイメージの全て
の交互の水平線が同一フイールドに属するようにされて
いる飛び越し走査のNTSCフオーマットで記録されてい
る。その結果、カメラの水平動きは、イメージの隣接す
る線間の動きとなり得る。例えば、水平方向で急速にパ
ンする飛び越し走査のカメラによりイメージされた垂直
線は、ぎざぎざの垂直線として記録される。パターン・
キー解析のためのこの問題には二つの結果がある。第１
のものは、飛び越し走査は、ランドマークおよびロケー
タの強度パターンを歪ませて、ランドマーク・ロケータ
およびアフィン適合モジュールの強さより少なくし得る
と言うことである。第２のものは、異なる飛び越し走査
歪みを有する（または歪みのない）第２ソース・シーケ
ンスからのビデオを第１ソース・シーケンスのそれに挿
入することは受入れ難い挿入結果をもたらすと言うこと
である。例えば、急速に動くカメラは、イメージ全体に
わたって、かなりの飛び越し走査歪みをもたらすが、静
止カメラに由来する挿入ビデオは、飛び越し走査歪み含
まず、合成的で嘘のように見えるようになる。
これらの問題を克服する一つの方法は、パターン・キ
ー挿入を、イメージの第１上と第２フイールド上とで別
々に行うことである。この場合、別々の基準イメージ、
ロケータ座標およびソース座標データ・セットが使われ
るが、同一のツリー構造、ワールド・マップおよび到達
座標データ・セットが使われる。そのセットアップ手順
において、一フイールド内のロケータ座標およびソース
座標データ・セットが選ばれ、第２フイールド内のロケ
ータ座標およびソース座標が、フイールド１内の各ロケ
ータ領域とフイールド２内の対応するロケータ領域との
間のアフィン精密整列を決定することにより決定され
る。パターン・キー挿入法で使われたのと同一のアフィ
ン適合モジュールが使われる。結果は、そのイメージ・
シーケンスのフイールド２内の各ロケータに対応する
（近似してはいるが）異なるロケータおよびソース座標
のセットである。それ故、シーケンス２における飛び越
し走査歪みは、挿入されたビデオシーケンス内に精密に
複製される。
ー挿入を、イメージの第１上と第２フイールド上とで別
々に行うことである。この場合、別々の基準イメージ、
ロケータ座標およびソース座標データ・セットが使われ
るが、同一のツリー構造、ワールド・マップおよび到達
座標データ・セットが使われる。そのセットアップ手順
において、一フイールド内のロケータ座標およびソース
座標データ・セットが選ばれ、第２フイールド内のロケ
ータ座標およびソース座標が、フイールド１内の各ロケ
ータ領域とフイールド２内の対応するロケータ領域との
間のアフィン精密整列を決定することにより決定され
る。パターン・キー挿入法で使われたのと同一のアフィ
ン適合モジュールが使われる。結果は、そのイメージ・
シーケンスのフイールド２内の各ロケータに対応する
（近似してはいるが）異なるロケータおよびソース座標
のセットである。それ故、シーケンス２における飛び越
し走査歪みは、挿入されたビデオシーケンス内に精密に
複製される。
結果は、若し第１ソース・シーケンス内にある物理的
三次元シーン被写体が他の物理的三次元シーン被写体に
置き換えられたなら観察され得たはずのイメージ・シー
ケンスを正確に複製するパターン・キー挿入手順であ
る。このイメージ・シーケンスの正確な複製を達成する
ために、パターン・キー挿入手順は好ましくは動きのぼ
やけをシミュレートすべきである。
三次元シーン被写体が他の物理的三次元シーン被写体に
置き換えられたなら観察され得たはずのイメージ・シー
ケンスを正確に複製するパターン・キー挿入手順であ
る。このイメージ・シーケンスの正確な複製を達成する
ために、パターン・キー挿入手順は好ましくは動きのぼ
やけをシミュレートすべきである。
次記の一般化をすることが可能である： ａ）ロケータ、ソースおよび到達領域について、４側
の凸多角形でなくて、任意の形状を使用することが出来
る。
の凸多角形でなくて、任意の形状を使用することが出来
る。
ｂ）ソース・ビデオは、二つのビデオ・ソース間に生
じ得る鋭い明るさの転移をスムースにするように、到達
ビデオと合併することが出来る。帯域限定のNTSCコンパ
チブル信号を作るために、ある合併が必要となる。マル
チ解像度合併を使用しても良い。
じ得る鋭い明るさの転移をスムースにするように、到達
ビデオと合併することが出来る。帯域限定のNTSCコンパ
チブル信号を作るために、ある合併が必要となる。マル
チ解像度合併を使用しても良い。
ｃ）カメラがスクリーンをパン・アクロスするとき、
カメラの光センサにより検出された光を変化させる、例
えば、レンズ・ビネッテイングからの照明変化は、挿入
ビデオを背景とマッチさせる処理中に含ませることが出
来る。
カメラの光センサにより検出された光を変化させる、例
えば、レンズ・ビネッテイングからの照明変化は、挿入
ビデオを背景とマッチさせる処理中に含ませることが出
来る。
ｄ）アフィン適合モジュールの結果は、この方法の効
率を増大させるためローカル・マップを洗練するのに使
用出来る。
率を増大させるためローカル・マップを洗練するのに使
用出来る。
ｅ）パターン・キー挿入法は、カメラ・ズームを許す
ため、一般化出来る。
ため、一般化出来る。
ｆ）放送スタジオにおける高度なパターン・キー挿入
システムは、パターンを、より小さな放送およびあちこ
ちにあるケーブル・アウトレットに設けられた、より簡
単なパターン・キー挿入システムにより容易に同定され
るビデオ・シーケンスに挿入することが出来る。
システムは、パターンを、より小さな放送およびあちこ
ちにあるケーブル・アウトレットに設けられた、より簡
単なパターン・キー挿入システムにより容易に同定され
るビデオ・シーケンスに挿入することが出来る。
ｇ）パターン・キー挿入システム（複数）は、挿入さ
れたビデオを他の挿入されたビデオの上に重合わせられ
るように、共にカスケードされ得る。
れたビデオを他の挿入されたビデオの上に重合わせられ
るように、共にカスケードされ得る。
ｈ）パターン・キー挿入は任意の標準ビデオ・シーケ
ンスを挿入出来るので、全ての現行ビデオ操作技術は、
パターン・キー挿入技術に何らの結果をもたらすことな
く、挿入されたビデオ・シーケンスを前処理するのに使
用することが出来る。例えば、ズームされたビデオ；つ
まり時間にわたり到達領域内でサイズの増大するビデオ
の挿入も含ませることが出来る。
ンスを挿入出来るので、全ての現行ビデオ操作技術は、
パターン・キー挿入技術に何らの結果をもたらすことな
く、挿入されたビデオ・シーケンスを前処理するのに使
用することが出来る。例えば、ズームされたビデオ；つ
まり時間にわたり到達領域内でサイズの増大するビデオ
の挿入も含ませることが出来る。
ｉ）パターン・キー挿入を装備するために要する処理
において、シーンの三次元モデルを、上述の二次元アフ
ィン・モデルの代わりに使用しても良い。
において、シーンの三次元モデルを、上述の二次元アフ
ィン・モデルの代わりに使用しても良い。
本発明のパターン・キー挿入技術は、カラー・キー挿
入技術によって現在行われている全てのビデオ挿入の品
質を改善するが、本発明のパターン・キー挿入技術だけ
が行うことの出来る他の応用がある。これらの他の応用
には次のものが含まれる:a）使用者が制御出来ない環境
で記録された他のイメージ・シーケンス中に、ビデオを
挿入すること。
入技術によって現在行われている全てのビデオ挿入の品
質を改善するが、本発明のパターン・キー挿入技術だけ
が行うことの出来る他の応用がある。これらの他の応用
には次のものが含まれる:a）使用者が制御出来ない環境
で記録された他のイメージ・シーケンス中に、ビデオを
挿入すること。
ｂ）現実世界のシーケンスを、アニメ・シーケンスに
組み合わせるのに使用するアニメーション技術の自動制
御化。
組み合わせるのに使用するアニメーション技術の自動制
御化。
ｃ）あるビデオ・シーケンス中のある広告またはイメ
ージ特徴上に、他の広告を挿入すること。
ージ特徴上に、他の広告を挿入すること。
ｄ）あるイメージ・シーケンス中の動いている領域
を、同一のイメージ・シーケンス中の他の動いている領
域に挿入すること。例えば、テニスの試合の審判のイメ
ージは、同一のテニスの試合のスコアボード上に挿入出
来る。
を、同一のイメージ・シーケンス中の他の動いている領
域に挿入すること。例えば、テニスの試合の審判のイメ
ージは、同一のテニスの試合のスコアボード上に挿入出
来る。
ここに教示された装置および動作方法は、本発明を説
明するためのものと理解すべきである。改良は、当該技
術に熟達した者により、本発明の精神および範囲より逸
脱することなく容易に考案し得る。三次元物理被写体に
関して種々の実施例が既述されたが、被写体には検出お
よび／または記録することの出来る二次元物理被写体、
電子的に発生させられたイメージおよびその他の形のイ
メージも含むものと理解すべきである。
明するためのものと理解すべきである。改良は、当該技
術に熟達した者により、本発明の精神および範囲より逸
脱することなく容易に考案し得る。三次元物理被写体に
関して種々の実施例が既述されたが、被写体には検出お
よび／または記録することの出来る二次元物理被写体、
電子的に発生させられたイメージおよびその他の形のイ
メージも含むものと理解すべきである。
フロントページの続き (56)参考文献 特開 平２−199971（ＪＰ，Ａ) 特表 平７−502385（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/272 - 5/275
Claims (19)
- 【請求項１】あるシーンの連続ビデオ・イメージ・フレ
ームのシーケンス（第１シーケンス）内の第１パターン
を、第２パターンで置換するための装置において、 前記第１シーケンスの１つのイメージ・フレームを基準
フレームとして定め、該基準フレーム内の第１パターン
（第１基準パターン）を基準として、 前記第１基準パターンに対する、前記第１シーケンスの
他のフレーム内の第１パターンの位置を見積り、且つ、 前記第１基準パターンに対する、前記他のフレーム内の
第１パターンの方向、スケール及び歪みの各見積値（es
timate）を得るための第１手段であって、 a1） 前記基準フレーム内に、複数のランドマーク（基
準ランドマーク）を設け、該基準ランドマークに対する
第１基準パターンの対応位置（関係）を決定する手段
と、 a2） 前記複数のランドマークの、前記他のフレーム内
での位置（第１ランドマークの位置）を検出する手段
と、 a3） 前記決定された、基準ランドマーク位置に対する
前記第１基準パターンの位置を、前記検出された第１ラ
ンドマークの位置に適用し、前記第１パターンの、前記
第１シーケンスの他のフレーム内での位置を見積もるた
めの手段と、 を有する、第１手段を含み、 更に、前記第１パターンの方向、スケール及び歪みの前
記見積値に応じて、前記第２パターンをジオメトリック
変形し、前記第１シーケンス内の前記第１パターンを前
記ジオメトリック変形された第２パターンの１つに置換
する挿入手段、を含む装置。 - 【請求項２】前記第１手段が、前記第１基準パターンに
対する、前記他のイメージ内の第１パターンの方向、ス
ケール及び歪みを見積もるために、歪み変形を提供する
アフィン精密整列を行う手段を含む、請求の範囲第１項
に記載の装置。 - 【請求項３】前記第１シーケンスの各フレーム内の前記
第１ランドマークを検出するために、階層構造サーチ技
術を行う手段を含む、請求の範囲第１項及び第２項の何
れか１項に記載の装置。 - 【請求項４】前記第２パターンが、第２イメージの所定
部分であって、 前記挿入手段が、 前記第２パターンに対して、前記見積もられた方向、ス
ケール及び歪みを使用して、前記第２パターンのジオメ
トリック変形の計算を行う手段を含む、請求の範囲第１
項〜第３項の何れか１項に記載の装置。 - 【請求項５】前記第２パターンが、更なる連続ビデオ・
イメージ・フレームのシーケンス（第２シーケンス）に
よって定められた、第２ビデオ・シーン内で移動するパ
ターン（移動第２パターン）であって、該移動第２パタ
ーンの所定部分が、第２基準パターンを構成しており、 前記第２シーン内の前記移動第２パターンを検出するた
め、及び、前記第２基準パターンに対する前記移動第２
パターンの方向、スケール及び歪みを見積もるための移
動パターン検出手段を更に備え、 前記挿入手段が、前記第２基準パターン部分に関する前
記第２パターンの変形イメージを提供するために、前記
検出された移動第２パターンの前記見積もられた方向、
スケール及び歪みを、前記第２基準パターン部分を基点
（origin）として使用して、且つ、 前記第２パターンの前記変形イメージをジオメトリック
変形するために、前記検出された第１パターンの前記見
積もられた方向、スケール及び歪みを使用する、請求の
範囲第１項〜第４項の何れか１項に記載の装置。 - 【請求項６】前記移動パターン検出手段が、前記第２シ
ーンの前記第２基準パターンに対する移動第２パターン
の方向、スケール及び歪みを見積もるために、アフィン
精密整列の見積値を採用する請求の範囲第５項に記載の
装置。 - 【請求項７】あるシーンの連続ビデオ・イメージ・フレ
ームのシーケンス（第１シーケンス）内の第１パターン
を、第２パターンに置換するための方法において、 （ａ）前記第１シーケンスの１つのイメージ・フレーム
を基準フレームとして定め、該基準フレーム内の、第１
パターン（第１標準パターン）を基準として、 該第１基準パターンに対する、前記第１シーケンスの他
のフレーム内の第１パターンの位置を見積り、且つ、 前記第１基準パターンに対する、他のフレーム内の第１
パターンの方向、スケール及び歪みの各見積値を得るス
テップであって、 a1） 前記基準フレーム内に複数のランドマーク（基準
ランドマーク）を設け、該基準ランドマークに対する第
１基準パターンの対応位置（関係）を決定することと、 a2） 前記複数のランドマークの、前記他のフレーム内
での位置（第１ランドマークの位置）を検出すること
と、 a3） 前記決定された、基準ランドマーク位置に対する
前記第１基準パターンの位置を、前記検出された第１ラ
ンドマークの位置に適用し、前記第１パターンの、前記
第１シーケンスの他のフレーム内での位置を見積もるこ
とと、 を有する、ステップを含み、更に、 （ｂ）前記第１パターンの方向、スケール及び歪みの前
記見積値に応じて、前記第２パターンをジオメトリック
変形し、前記第１シーケンス内の前記第１パターンを前
記ジオメトリック変形された第２パターンの１つに置換
するステップと、 を備える方法。 - 【請求項８】ステップ（a3）が、前記第１基準パターン
に対する、前記他のイメージの内の第１パターンの方
向、スケール及び歪みを見積もるために、歪み変形を行
うアフィン精密整列を採用している請求の範囲第７項に
記載の方法。 - 【請求項９】ステップ（a2）が、前記第１ランドマーク
の少なくとも２つを検出するために、階層構造サーチを
採用している請求の範囲第７項又は第８項の何れか１項
に記載の方法。 - 【請求項１０】前記第２パターンが固定されたパターン
であって、 ステップ（ｂ）が、該固定されたパターンを定める選択
されたジオメトリックパラメータに応じて、前記第１パ
ターンの前記見積もられた方向、スケール及び歪みを用
いて前記第２パターンのジオメトリック変形を計算する
請求の範囲第７項〜第９項の何れか１項に記載の方法。 - 【請求項１１】前記第２パターンが、更なる連続ビデオ
・イメージ・フレームのシーケンス（第２シーケンス）
によって定められた、第２シーン内で移動するパターン
（移動第２パターン）であって、該移動第２パターンの
所定部分が、第２基準パターンを構成しており、 前記第２シーンの前記移動第２パターンを検出し、且
つ、前記第２基準パターン部分に対する前記移動第２パ
ターンの方向、スケール及び歪みを見積もるステップ
（ｄ）を更に含み、 ステップが、前記移動第２基準パターンの前記見積もら
れた方向、スケール及び歪みを使用して前記第２パター
ンをジオメトリックス変形し、前記第２パターンの前記
変形されたイメージをジオメトリック変形するために、
前記第１パターンの見積もられた方向、スケール及び歪
み使用する請求の範囲第７項〜第10項の何れか１項に記
載の方法。 - 【請求項１２】ステップ（ｄ）が、前記検出された移動
第２パターンの方向、スケール及び歪みを前記第２シー
ン内の前記第２基準パターン部分に関して見積もるため
にアフィン精密整列見積値を用いる請求の範囲第11項に
記載の方法。 - 【請求項１３】グラフィック発生器を用いて前記第２パ
ターンを発生するステップ（ｄ）を更に含み、 ステップが前記第２パターンをジオメトリック変形する
ためにグラフィック発生器を用いる請求の範囲第７項〜
第９項の何れか１項に記載の方法。 - 【請求項１４】前記複数のランドマーク及び前記第１パ
ターンの対応位置が、ワールドマップにストアされてお
り、これによって前記第１パターンが、前記シーケンス
内のビデオ・イメージ・フレームの１つから完全に欠け
た状態となるか、又は部分的に含まれるのみとなること
ができ、 ステップ（a1）が、 前記第１ランドマークの更なる１つの相対的位置を推測
するために、前記第１ランドマーク中の少なくとも２つ
の決定位置と共に、ビデオ・イメージ・フレーム内の前
記ワールドマップにストアされた前記ランドマークの対
応位置を用いるステップと、 前記第１ランドマークの更なる１つの位置を決定するた
めに、前記第１ランドマークの前記更なる１つの前記推
測された相対的位置を用いるステップと、を含む、 請求の範囲第７項〜第13項の何れか１項に記載の方法。 - 【請求項１５】前記基準ランドマークと前記第１基準パ
ターンとの対応位置が、ワールドマップにストアされて
おり、これによって、前記第１パターンが、前記シーケ
ンス内のビデオ・イメージ・フレームの１つから完全に
欠けた状態となるか又は部分的に含まれるのみとなるこ
とができ、 前記第１ランドマークの位置を決定する手段が、 前記ワールドマップにストアされた基準ランドマークの
対応位置及び前記第１ランドマーク中の１つの前記位置
決定に応じて、前記第１ランドマーク中の第２のものの
相対的位置を推測する手段と、 前記第１ランドマーク中の第２のものの前記推測された
対応位置に応じて、前記第１ランドマーク中の前記第２
のものを検出する手段と、を含む、 請求の範囲第１項〜第６項の何れか１項に記載の装置。 - 【請求項１６】前記第１ランドマーク中の前記第１及び
第２のものが、複数の画素位置によって前記第１パター
ンから分離されている請求の範囲第１項〜第６項及び15
項の何れか１項に記載の装置。 - 【請求項１７】前記第１手段が、 前記第１シーケンスの１つのビデオ・イメージ・フレー
ム内の前記第１ランドマークの１つの決定位置と、前記
第１シーケンスの次のビデオ・イメージ・フレーム内の
前記第１ランドマーク（次フレームの第１ランドマー
ク）中の１つの位置を推測するための動作ベクトルと、
に応答し、 前記第１手段が、前記次フレームの第１ランドマークの
１つの位置を決定するために、前記第１ランドマークの
１つに対する前記推測位置に応答し、 前記第１手段が、前記第１ビデオ・イメージ・フレーム
内及び前記次のビデオ・イメージ・フレーム内の前記第
１ランドマーク中の前記１つの前記対応する決定位置に
応じて、更なる次のビデオ・フレーム内の第１ランドマ
ーク中の１つの位置の決定において前記第１手段により
使用するために更なる動作ベクトルを生成する、 請求の範囲第１項〜第６項、第15項及び第16項の何れか
１項に記載の装置。 - 【請求項１８】前記ビデオ・イメージ・フレームのシー
ケンス内の各ビデオ・イメージ・フレームが第１イメー
ジ・フィールドと、第２イメージ・フィールドとを含
み、 前記第１手段及び前記挿入手段が、各々の処理を前記第
１フィールドと、第２フィールドとで別個に行う、請求
の範囲第１項〜第６項、第16項及び第17項の何れか１項
に記載の装置。 - 【請求項１９】前記ビデオ・イメージ・フレームのシー
ケンスが、カラー・ビデオ・イメージ・フレームであっ
て、輝度信号要素及び色信号要素を含み、 １つのイメージ・フレームによって表される前記イメー
ジに関して前記複数のランドマークに対する位置を検出
するための前記手段が、前記ビデオ・イメージ・フレー
ムの前記輝度要素のみに応じて、 各前記ビデオ・イメージ・フレームに関する前記第１パ
ターンに対する方向、スケール及び歪みを見積もる手段
が、前記ビデオ・イメージ・フレームの輝度要素のみに
応答する請求の範囲第１項〜第６項及び第16項〜第18項
の何れか１項に記載の装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB9119964.6 | 1991-09-18 | ||
| GB919119964A GB9119964D0 (en) | 1991-09-18 | 1991-09-18 | Pattern-key video insertion |
| PCT/US1992/007498 WO1993006691A1 (en) | 1991-09-18 | 1992-09-10 | Video merging employing pattern-key insertion |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06510893A JPH06510893A (ja) | 1994-12-01 |
| JP3242406B2 true JP3242406B2 (ja) | 2001-12-25 |
Family
ID=10701629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP50607293A Expired - Fee Related JP3242406B2 (ja) | 1991-09-18 | 1992-09-10 | パターン・キー挿入を用いたビデオ合併 |
Country Status (10)
| Country | Link |
|---|---|
| US (2) | US5566251A (ja) |
| EP (1) | EP0604572B1 (ja) |
| JP (1) | JP3242406B2 (ja) |
| KR (1) | KR100271384B1 (ja) |
| AU (1) | AU663731B2 (ja) |
| CA (1) | CA2119272C (ja) |
| DE (1) | DE69223155T2 (ja) |
| ES (1) | ES2110010T3 (ja) |
| GB (1) | GB9119964D0 (ja) |
| WO (1) | WO1993006691A1 (ja) |
Families Citing this family (199)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6205259B1 (en) * | 1992-04-09 | 2001-03-20 | Olympus Optical Co., Ltd. | Image processing apparatus |
| US5903317A (en) | 1993-02-14 | 1999-05-11 | Orad Hi-Tech Systems Ltd. | Apparatus and method for detecting, identifying and incorporating advertisements in a video |
| US5681223A (en) * | 1993-08-20 | 1997-10-28 | Inventures Inc | Training video method and display |
| AU7975094A (en) * | 1993-10-12 | 1995-05-04 | Orad, Inc. | Sports event video |
| IL108957A (en) * | 1994-03-14 | 1998-09-24 | Scidel Technologies Ltd | Video sequence imaging system |
| US5488675A (en) * | 1994-03-31 | 1996-01-30 | David Sarnoff Research Center, Inc. | Stabilizing estimate of location of target region inferred from tracked multiple landmark regions of a video image |
| IL109487A (en) * | 1994-04-29 | 1996-09-12 | Orad Hi Tec Systems Ltd | Chromakeying system |
| FR2719965B1 (fr) * | 1994-05-13 | 1996-07-26 | Symah Vision | Procédé et dispositif de modification d'une même zone d'une scène dans des images successives de télévision. |
| US5436672A (en) * | 1994-05-27 | 1995-07-25 | Symah Vision | Video processing system for modifying a zone in successive images |
| IL123173A (en) * | 1994-08-04 | 1999-07-14 | Orad Hi Tec Systems Ltd | Apparatus and method for video broadcasting |
| JP3499302B2 (ja) * | 1994-09-20 | 2004-02-23 | 株式会社東芝 | テレビジョン受信機 |
| US5668605A (en) * | 1994-10-25 | 1997-09-16 | R. T. Set | Object keying in video images based on distance from camera |
| JP3380346B2 (ja) * | 1994-12-22 | 2003-02-24 | パイオニア株式会社 | 半導体レーザ装置の共振器形成方法 |
| US5581629A (en) * | 1995-01-30 | 1996-12-03 | David Sarnoff Research Center, Inc | Method for estimating the location of an image target region from tracked multiple image landmark regions |
| US5627915A (en) * | 1995-01-31 | 1997-05-06 | Princeton Video Image, Inc. | Pattern recognition system employing unlike templates to detect objects having distinctive features in a video field |
| JP3569992B2 (ja) * | 1995-02-17 | 2004-09-29 | 株式会社日立製作所 | 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム |
| FR2730837B1 (fr) * | 1995-02-22 | 1997-05-30 | Sciamma Dominique | Systeme d'insertion en temps reel ou differe de panneaux publicitaires ou informationnels virtuels dans des emissions televisees |
| US6072933A (en) | 1995-03-06 | 2000-06-06 | Green; David | System for producing personalized video recordings |
| US5892554A (en) * | 1995-11-28 | 1999-04-06 | Princeton Video Image, Inc. | System and method for inserting static and dynamic images into a live video broadcast |
| US5953076A (en) * | 1995-06-16 | 1999-09-14 | Princeton Video Image, Inc. | System and method of real time insertions into video using adaptive occlusion with a synthetic reference image |
| BR9609169A (pt) * | 1995-06-16 | 1999-12-14 | Princeton Video Image Inc | Sistema e processo para inserção de imagens estática e dinâmica em uma transmissão de vìdeo ao vivo. |
| US5808695A (en) * | 1995-06-16 | 1998-09-15 | Princeton Video Image, Inc. | Method of tracking scene motion for live video insertion systems |
| US5912700A (en) * | 1996-01-10 | 1999-06-15 | Fox Sports Productions, Inc. | System for enhancing the television presentation of an object at a sporting event |
| GB9514313D0 (en) * | 1995-07-13 | 1995-09-13 | Beattie Robert J | Live-ads |
| GB2305051B (en) * | 1995-09-08 | 2000-06-21 | Orad Hi Tec Systems Ltd | Method and apparatus for automatic electronic replacement of billboards in a video image |
| GB2305050A (en) * | 1995-09-08 | 1997-03-26 | Orad Hi Tec Systems Ltd | Determining the position of a television camera for use in a virtual studio employing chroma keying |
| GB9601101D0 (en) * | 1995-09-08 | 1996-03-20 | Orad Hi Tech Systems Limited | Method and apparatus for automatic electronic replacement of billboards in a video image |
| IL115288A (en) * | 1995-09-13 | 1999-06-20 | Scidel Technologies Ltd | Method and apparatus for implanting images into a video sequence |
| US5777622A (en) * | 1996-01-05 | 1998-07-07 | International Business Machines Corporation | Method for identifying invisible objects ordered in a tree-like data structure by finding adjoining hidden objects |
| JP2900308B2 (ja) * | 1996-03-18 | 1999-06-02 | 日本テレビ放送網株式会社 | 画像置換システム、画像置換装置及び画像置換方法 |
| CA2201679A1 (en) * | 1996-04-15 | 1997-10-15 | Raju C. Bopardikar | Video data storage |
| US6075905A (en) * | 1996-07-17 | 2000-06-13 | Sarnoff Corporation | Method and apparatus for mosaic image construction |
| US5940139A (en) * | 1996-08-07 | 1999-08-17 | Bell Communications Research, Inc. | Background extraction in a video picture |
| US6384908B1 (en) | 1996-08-15 | 2002-05-07 | Go Sensors, Llc | Orientation dependent radiation source |
| GB2317292B (en) * | 1996-09-12 | 2000-04-19 | Discreet Logic Inc | Processing image data |
| US6400374B2 (en) * | 1996-09-18 | 2002-06-04 | Eyematic Interfaces, Inc. | Video superposition system and method |
| US5917553A (en) * | 1996-10-22 | 1999-06-29 | Fox Sports Productions Inc. | Method and apparatus for enhancing the broadcast of a live event |
| JP3480648B2 (ja) * | 1996-11-12 | 2003-12-22 | ソニー株式会社 | ビデオ信号処理装置及びビデオ信号処理方法 |
| US6173087B1 (en) * | 1996-11-13 | 2001-01-09 | Sarnoff Corporation | Multi-view image registration with application to mosaicing and lens distortion correction |
| JP2001506820A (ja) * | 1996-11-27 | 2001-05-22 | プリンストン ビデオ イメージ，インコーポレイテッド | 画像テクスチャーテンプレートを用いた動き追跡 |
| US6100925A (en) * | 1996-11-27 | 2000-08-08 | Princeton Video Image, Inc. | Image insertion in video streams using a combination of physical sensors and pattern recognition |
| ES2313738T3 (es) * | 1996-11-27 | 2009-03-01 | Princeton Video Image, Inc. | Insercion de imagenes dentro de flujos de video utilizando una combinacion de sensores fisicos y reconocimiento de patrones. |
| US6072537A (en) * | 1997-01-06 | 2000-06-06 | U-R Star Ltd. | Systems for producing personalized video clips |
| US6621524B1 (en) | 1997-01-10 | 2003-09-16 | Casio Computer Co., Ltd. | Image pickup apparatus and method for processing images obtained by means of same |
| US5953077A (en) * | 1997-01-17 | 1999-09-14 | Fox Sports Productions, Inc. | System for displaying an object that is not visible to a camera |
| US6252632B1 (en) | 1997-01-17 | 2001-06-26 | Fox Sports Productions, Inc. | System for enhancing a video presentation |
| US6806903B1 (en) * | 1997-01-27 | 2004-10-19 | Minolta Co., Ltd. | Image capturing apparatus having a γ-characteristic corrector and/or image geometric distortion correction |
| JPH10232940A (ja) * | 1997-02-20 | 1998-09-02 | Sony Corp | コーナ検出装置及びコーナ検出方法 |
| US5898459A (en) * | 1997-03-26 | 1999-04-27 | Lectrolarm Custom Systems, Inc. | Multi-camera programmable pan-and-tilt apparatus |
| US5982452A (en) * | 1997-03-27 | 1999-11-09 | Dalhousie University | Analog video merging system for merging N video signals from N video cameras |
| JPH10320590A (ja) * | 1997-05-19 | 1998-12-04 | Honda Motor Co Ltd | 合成映像作成装置及び合成映像作成方法 |
| JP3724117B2 (ja) * | 1997-05-23 | 2005-12-07 | ソニー株式会社 | 画像生成装置および画像生成方法 |
| US6411744B1 (en) | 1997-10-15 | 2002-06-25 | Electric Planet, Inc. | Method and apparatus for performing a clean background subtraction |
| US6320624B1 (en) * | 1998-01-16 | 2001-11-20 | ECOLE POLYTECHNIQUE FéDéRALE | Method and system for combining video sequences with spatio-temporal alignment |
| US7843510B1 (en) | 1998-01-16 | 2010-11-30 | Ecole Polytechnique Federale De Lausanne | Method and system for combining video sequences with spatio-temporal alignment |
| US6061088A (en) * | 1998-01-20 | 2000-05-09 | Ncr Corporation | System and method for multi-resolution background adaptation |
| WO1999040564A1 (fr) * | 1998-02-03 | 1999-08-12 | Seiko Epson Corporation | Dispositif d'affichage de projection, procede d'affichage de projection et dispositif d'affichage d'image |
| FR2775813B1 (fr) * | 1998-03-06 | 2000-06-02 | Symah Vision | Procede et dispositif de remplacement de panneaux cibles dans une sequence video |
| WO1999051033A2 (en) * | 1998-03-31 | 1999-10-07 | Koninklijke Philips Electronics N.V. | Method and device for modifying data in an encoded data stream |
| US6522325B1 (en) | 1998-04-02 | 2003-02-18 | Kewazinga Corp. | Navigable telepresence method and system utilizing an array of cameras |
| BR9909429A (pt) | 1998-04-02 | 2001-09-11 | Kewazinga Corp | Método, sistema e dispositivo de telepresença navegável para a visualização uniforme em tempo real de um ambiente remoto através da utilização de um conjunto de varias câmeras |
| JPH11351827A (ja) * | 1998-06-10 | 1999-12-24 | Fuji Mach Mfg Co Ltd | 画像処理装置 |
| US6229550B1 (en) | 1998-09-04 | 2001-05-08 | Sportvision, Inc. | Blending a graphic |
| US6266100B1 (en) | 1998-09-04 | 2001-07-24 | Sportvision, Inc. | System for enhancing a video presentation of a live event |
| JP2000165641A (ja) * | 1998-11-24 | 2000-06-16 | Matsushita Electric Ind Co Ltd | 画像処理方法，画像処理装置およびデータ記憶媒体 |
| US20010017671A1 (en) * | 1998-12-18 | 2001-08-30 | Pierre Pleven | "Midlink" virtual insertion system and methods |
| US6748421B1 (en) * | 1998-12-23 | 2004-06-08 | Canon Kabushiki Kaisha | Method and system for conveying video messages |
| ATE235134T1 (de) * | 1999-04-16 | 2003-04-15 | Princeton Video Image Inc | Verfahren und gerät zur überlagerung vergleichender, zeitbestimmter positionsdaten in einer videoanzeige |
| US6466275B1 (en) | 1999-04-16 | 2002-10-15 | Sportvision, Inc. | Enhancing a video of an event at a remote location using data acquired at the event |
| US6741725B2 (en) * | 1999-05-26 | 2004-05-25 | Princeton Video Image, Inc. | Motion tracking using image-texture templates |
| AU6770300A (en) * | 1999-08-10 | 2001-03-05 | Motek Motion Technology, Inc. | Customizable animation system |
| US6738065B1 (en) | 1999-08-10 | 2004-05-18 | Oshri Even-Zohar | Customizable animation system |
| US6525741B1 (en) * | 1999-08-30 | 2003-02-25 | Xerox Corporation | Chroma key of antialiased images |
| US7136525B1 (en) * | 1999-09-20 | 2006-11-14 | Microsoft Corporation | System and method for background maintenance of an image sequence |
| US7075556B1 (en) * | 1999-10-21 | 2006-07-11 | Sportvision, Inc. | Telestrator system |
| US6650704B1 (en) * | 1999-10-25 | 2003-11-18 | Irvine Sensors Corporation | Method of producing a high quality, high resolution image from a sequence of low quality, low resolution images that are undersampled and subject to jitter |
| US7230653B1 (en) * | 1999-11-08 | 2007-06-12 | Vistas Unlimited | Method and apparatus for real time insertion of images into video |
| US6583792B1 (en) | 1999-11-09 | 2003-06-24 | Newag Digital, Llc | System and method for accurately displaying superimposed images |
| WO2001035054A1 (en) * | 1999-11-12 | 2001-05-17 | Armstrong Brian S | Methods and appparatus for measuring orientation and distance |
| WO2001039130A1 (en) * | 1999-11-24 | 2001-05-31 | Dartfish Ltd. | Coordination and combination of video sequences with spatial and temporal normalization |
| US6573945B1 (en) * | 2000-01-12 | 2003-06-03 | General Instrument Corporation | Logo insertion on an HDTV encoder |
| US7123166B1 (en) | 2000-11-17 | 2006-10-17 | Haynes Michael N | Method for managing a parking lot |
| US6816085B1 (en) | 2000-01-14 | 2004-11-09 | Michael N. Haynes | Method for managing a parking lot |
| IL134182A (en) | 2000-01-23 | 2006-08-01 | Vls Com Ltd | Method and apparatus for visual lossless pre-processing |
| US6121963A (en) * | 2000-01-26 | 2000-09-19 | Vrmetropolis.Com, Inc. | Virtual theater |
| US6909438B1 (en) | 2000-02-04 | 2005-06-21 | Sportvision, Inc. | Video compositor |
| AU2001238116A1 (en) * | 2000-02-11 | 2001-08-20 | Autolycus, Corporation | Generation and display of multi-image video streams |
| JP4541482B2 (ja) * | 2000-02-29 | 2010-09-08 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| US6774912B1 (en) * | 2000-03-16 | 2004-08-10 | Matrox Graphics Inc. | Multiple display device display controller with video overlay and full screen video outputs |
| GB2363019B (en) * | 2000-04-07 | 2004-02-25 | Discreet Logic Inc | Processing image data |
| KR20000054328A (ko) * | 2000-06-01 | 2000-09-05 | 이성환 | 방송 중계 영상 화면의 광고교체방법 |
| DE60106439T2 (de) * | 2000-06-02 | 2006-02-02 | Koninklijke Philips Electronics N.V. | Verfahren und anordnung zur mischung von bildern |
| US6753929B1 (en) | 2000-06-28 | 2004-06-22 | Vls Com Ltd. | Method and system for real time motion picture segmentation and superposition |
| US6731825B1 (en) * | 2000-07-11 | 2004-05-04 | Sarnoff Corporation | Apparatus and method for producing images using digitally stored dynamic background sets |
| US6731305B1 (en) * | 2000-07-17 | 2004-05-04 | Imove, Inc. | Camera system which records camera identification in image file |
| CA2326087A1 (en) * | 2000-11-16 | 2002-05-16 | Craig Summers | Inward-looking imaging system |
| US6680739B1 (en) * | 2000-11-17 | 2004-01-20 | Hewlett-Packard Development Company, L.P. | Systems and methods for compositing graphical data |
| US6621500B1 (en) * | 2000-11-17 | 2003-09-16 | Hewlett-Packard Development Company, L.P. | Systems and methods for rendering graphical data |
| US6985162B1 (en) * | 2000-11-17 | 2006-01-10 | Hewlett-Packard Development Company, L.P. | Systems and methods for rendering active stereo graphical data as passive stereo |
| TW494677B (en) * | 2000-12-19 | 2002-07-11 | Inst Information Industry | Automatic image replacement rebuild system and method thereof |
| US7392287B2 (en) | 2001-03-27 | 2008-06-24 | Hemisphere Ii Investment Lp | Method and apparatus for sharing information using a handheld device |
| KR100747561B1 (ko) * | 2001-04-06 | 2007-08-08 | 엘지전자 주식회사 | 디지털 티브이의 부가 서비스 제공 장치 |
| WO2002099750A1 (en) * | 2001-06-07 | 2002-12-12 | Modidus Networks 2000 Ltd. | Method and apparatus for video stream analysis |
| US8934627B2 (en) * | 2001-06-25 | 2015-01-13 | Aprolase Development Co., Llc | Video event capture, storage and processing method and apparatus |
| JP4596222B2 (ja) * | 2001-06-26 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| US7206434B2 (en) | 2001-07-10 | 2007-04-17 | Vistas Unlimited, Inc. | Method and system for measurement of the duration an area is included in an image stream |
| DE10141521C1 (de) * | 2001-08-24 | 2003-01-09 | Siemens Ag | Darstellung von Anwenderinformationen |
| JP3856211B2 (ja) * | 2001-12-14 | 2006-12-13 | オムロンエンタテインメント株式会社 | 画像印刷装置および方法、プログラム |
| US20030140093A1 (en) * | 2002-01-23 | 2003-07-24 | Factor Cory L. | Method and apparatus for providing content over a distributed network |
| US6769771B2 (en) | 2002-03-14 | 2004-08-03 | Entertainment Design Workshop, Llc | Method and apparatus for producing dynamic imagery in a visual medium |
| KR100752870B1 (ko) | 2002-05-28 | 2007-08-29 | 가시오게산키 가부시키가이샤 | 합성화상출력장치, 합성화상출력방법 및 기록매체 |
| JP3918632B2 (ja) * | 2002-05-28 | 2007-05-23 | カシオ計算機株式会社 | 画像配信サーバ、画像配信プログラム、及び画像配信方法 |
| EP1370075B1 (en) * | 2002-06-06 | 2012-10-03 | Accenture Global Services Limited | Dynamic replacement of the face of an actor in a video movie |
| WO2008156437A1 (en) | 2006-04-10 | 2008-12-24 | Avaworks Incorporated | Do-it-yourself photo realistic talking head creation system and method |
| GB0220138D0 (en) * | 2002-08-30 | 2002-10-09 | Kaydara Inc | Matte extraction using fragment processors |
| EP1416727A1 (en) * | 2002-10-29 | 2004-05-06 | Accenture Global Services GmbH | Moving virtual advertising |
| US20040100581A1 (en) * | 2002-11-27 | 2004-05-27 | Princeton Video Image, Inc. | System and method for inserting live video into pre-produced video |
| SE0300286D0 (sv) * | 2003-02-05 | 2003-02-05 | Axis Ab | Method and apparatus for combining video signals to one comprehensive video signal |
| US6715888B1 (en) * | 2003-03-21 | 2004-04-06 | Mitsubishi Electric Research Labs, Inc | Method and system for displaying images on curved surfaces |
| US7406183B2 (en) * | 2003-04-28 | 2008-07-29 | International Business Machines Corporation | System and method of sorting document images based on image quality |
| US7528890B2 (en) | 2003-05-02 | 2009-05-05 | Yoostar Entertainment Group, Inc. | Interactive system and method for video compositing |
| DE10325382A1 (de) * | 2003-05-30 | 2004-12-23 | Karl Storz Gmbh & Co. Kg | Verfahren und Vorrichtung zum Visualisieren von medizinischen Patientendaten auf einer medizinischen Anzeigeeinheit |
| US7116342B2 (en) * | 2003-07-03 | 2006-10-03 | Sportsmedia Technology Corporation | System and method for inserting content into an image sequence |
| GB2404512B (en) * | 2003-07-28 | 2008-02-27 | Visualize It Ltd | Surface mapping arrangement and method |
| US20050068336A1 (en) * | 2003-09-26 | 2005-03-31 | Phil Van Dyke | Image overlay apparatus and method for operating the same |
| US7336296B2 (en) * | 2003-10-10 | 2008-02-26 | International Business Machines Corporation | System and method for providing position-independent pose estimation |
| US7983835B2 (en) | 2004-11-03 | 2011-07-19 | Lagassey Paul J | Modular intelligent transportation system |
| US7403209B2 (en) * | 2004-03-24 | 2008-07-22 | Canon Kabushiki Kaisha | Rendering images containing video |
| US7865834B1 (en) | 2004-06-25 | 2011-01-04 | Apple Inc. | Multi-way video conferencing user interface |
| US7639892B2 (en) * | 2004-07-26 | 2009-12-29 | Sheraizin Semion M | Adaptive image improvement |
| US7903902B2 (en) | 2004-07-26 | 2011-03-08 | Sheraizin Semion M | Adaptive image improvement |
| US20060136979A1 (en) * | 2004-11-04 | 2006-06-22 | Staker Allan R | Apparatus and methods for encoding data for video compositing |
| US7526142B2 (en) * | 2005-02-22 | 2009-04-28 | Sheraizin Vitaly S | Enhancement of decompressed video |
| US7852353B1 (en) | 2005-03-31 | 2010-12-14 | Apple Inc. | Encoding a transparency (alpha) channel in a video bitstream |
| US7663691B2 (en) * | 2005-10-11 | 2010-02-16 | Apple Inc. | Image capture using display device as light source |
| US8085318B2 (en) * | 2005-10-11 | 2011-12-27 | Apple Inc. | Real-time image capture and manipulation based on streaming data |
| US20060284895A1 (en) * | 2005-06-15 | 2006-12-21 | Marcu Gabriel G | Dynamic gamma correction |
| IL170320A (en) * | 2005-08-17 | 2010-04-29 | Orad Hi Tec Systems Ltd | System and method for managing the visual effects insertion in a video stream |
| US7956929B2 (en) * | 2005-10-31 | 2011-06-07 | Broadcom Corporation | Video background subtractor system |
| US8659704B2 (en) * | 2005-12-20 | 2014-02-25 | Savant Systems, Llc | Apparatus and method for mixing graphics with video images |
| US8098330B2 (en) * | 2006-07-28 | 2012-01-17 | International Business Machines Corporation | Mapping of presentation material |
| US9019300B2 (en) * | 2006-08-04 | 2015-04-28 | Apple Inc. | Framework for graphics animation and compositing operations |
| US8130226B2 (en) * | 2006-08-04 | 2012-03-06 | Apple Inc. | Framework for graphics animation and compositing operations |
| TWI376930B (en) * | 2006-09-04 | 2012-11-11 | Via Tech Inc | Scenario simulation system and method for a multimedia device |
| US8234392B2 (en) | 2006-11-17 | 2012-07-31 | Apple Inc. | Methods and apparatuses for providing a hardware accelerated web engine |
| US20080117333A1 (en) * | 2006-11-17 | 2008-05-22 | Disney Enterprises, Inc. | Method, System And Computer Program Product For Video Insertion |
| US8498497B2 (en) * | 2006-11-17 | 2013-07-30 | Microsoft Corporation | Swarm imaging |
| US20080172704A1 (en) * | 2007-01-16 | 2008-07-17 | Montazemi Peyman T | Interactive audiovisual editing system |
| US8335345B2 (en) | 2007-03-05 | 2012-12-18 | Sportvision, Inc. | Tracking an object with multiple asynchronous cameras |
| JP5162928B2 (ja) * | 2007-03-12 | 2013-03-13 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理システム |
| US8487957B1 (en) * | 2007-05-29 | 2013-07-16 | Google Inc. | Displaying and navigating within photo placemarks in a geographic information system, and applications thereof |
| US8122378B2 (en) * | 2007-06-08 | 2012-02-21 | Apple Inc. | Image capture and manipulation |
| US20080303949A1 (en) * | 2007-06-08 | 2008-12-11 | Apple Inc. | Manipulating video streams |
| US8762864B2 (en) * | 2007-08-06 | 2014-06-24 | Apple Inc. | Background removal tool for a presentation application |
| US8189864B2 (en) * | 2007-08-29 | 2012-05-29 | Casio Computer Co., Ltd. | Composite image generating apparatus, composite image generating method, and storage medium |
| US8237625B2 (en) * | 2007-09-05 | 2012-08-07 | Savant Systems, Llc | Multimedia control and distribution architecture |
| JP5616223B2 (ja) * | 2007-09-11 | 2014-10-29 | スマート・インターネット・テクノロジー・シーアールシー・プロプライエタリー・リミテッドＳｍａｒｔ Ｉｎｔｅｒｎｅｔ Ｔｅｃｈｎｏｌｏｇｙ Ｃｒｃ Ｐｔｙ Ｌｔｄ | デジタル画像をキャプチャするためのシステム及び方法 |
| JP5508269B2 (ja) | 2007-09-11 | 2014-05-28 | スマート・インターネット・テクノロジー・シーアールシー・プロプライエタリー・リミテッド | コンピュータディスプレイ上でデジタル画像を操作するためのシステム及び方法 |
| AU2008299576B2 (en) | 2007-09-11 | 2014-04-03 | Cruiser Interactive Pty Ltd | An interface element for a computer interface |
| US8331697B2 (en) | 2007-11-06 | 2012-12-11 | Jacob Samboursky | System and a method for a post production object insertion in media files |
| RU2460233C2 (ru) * | 2007-12-17 | 2012-08-27 | Инклуду Холдинг Ас | Система вставки видео в режиме реального времени |
| TWI353778B (en) * | 2007-12-21 | 2011-12-01 | Ind Tech Res Inst | Moving object detection apparatus and method |
| JP2009194595A (ja) * | 2008-02-14 | 2009-08-27 | Sony Corp | 放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体 |
| US8121409B2 (en) | 2008-02-26 | 2012-02-21 | Cyberlink Corp. | Method for handling static text and logos in stabilized images |
| US8446426B2 (en) * | 2008-04-28 | 2013-05-21 | Apple Inc. | Technique for visually compositing a group of graphical objects |
| WO2010002921A1 (en) | 2008-07-01 | 2010-01-07 | Yoostar Entertainment Group, Inc. | Interactive systems and methods for video compositing |
| US8477246B2 (en) * | 2008-07-11 | 2013-07-02 | The Board Of Trustees Of The Leland Stanford Junior University | Systems, methods and devices for augmenting video content |
| KR101020991B1 (ko) | 2009-05-25 | 2011-03-09 | 송인걸 | 중계 방송 시스템의 광고 삽입 방법 및 그 장치 |
| US8224071B2 (en) * | 2009-06-30 | 2012-07-17 | Mitsubishi Electric Research Laboratories, Inc. | Method for registering 3D points with 3D planes |
| EP2271073B1 (en) | 2009-07-01 | 2018-03-07 | Fluke Corporation | Thermography methods |
| US20110107368A1 (en) * | 2009-11-03 | 2011-05-05 | Tandberg Television, Inc. | Systems and Methods for Selecting Ad Objects to Insert Into Video Content |
| US8786415B2 (en) | 2010-02-24 | 2014-07-22 | Sportvision, Inc. | Tracking system using proximity and/or presence |
| JP5375744B2 (ja) * | 2010-05-31 | 2013-12-25 | カシオ計算機株式会社 | 動画再生装置、動画再生方法及びプログラム |
| US20120002061A1 (en) * | 2010-07-01 | 2012-01-05 | Gay Michael F | Systems and methods to overlay remote and local video feeds |
| JP5691630B2 (ja) * | 2011-02-24 | 2015-04-01 | 株式会社大林組 | 画像合成方法 |
| WO2012167365A1 (en) * | 2011-06-07 | 2012-12-13 | In Situ Media Corporation | System and method for identifying and altering images in a digital video |
| US9215383B2 (en) | 2011-08-05 | 2015-12-15 | Sportsvision, Inc. | System for enhancing video from a mobile camera |
| KR101703177B1 (ko) * | 2011-12-14 | 2017-02-07 | 한국전자통신연구원 | 차량 위치 인식 장치 및 방법 |
| TWI588778B (zh) * | 2012-01-17 | 2017-06-21 | 國立臺灣科技大學 | 動作辨識方法 |
| TWI519167B (zh) * | 2012-04-23 | 2016-01-21 | 廣達電腦股份有限公司 | 運用後設資料來進行目標辨識與事件重現之系統 |
| US9591149B2 (en) * | 2012-04-30 | 2017-03-07 | Qualcomm Incorporated | Generation of a combined image of a presentation surface |
| US9299389B2 (en) * | 2012-09-24 | 2016-03-29 | Adobe Systems Incorporated | Interpretation of free-form timelines into compositing instructions |
| JP2013034237A (ja) * | 2012-10-17 | 2013-02-14 | Sony Corp | 画像処理装置、画像処理方法、画像処理システム |
| US9357165B2 (en) * | 2012-11-16 | 2016-05-31 | At&T Intellectual Property I, Lp | Method and apparatus for providing video conferencing |
| US9325776B2 (en) * | 2013-01-08 | 2016-04-26 | Tangome, Inc. | Mixed media communication |
| WO2014182508A1 (en) | 2013-05-06 | 2014-11-13 | Yoostar Entertainment Group, Inc. | Audio-video compositing and effects |
| GB2520312A (en) | 2013-11-15 | 2015-05-20 | Sony Corp | A method, apparatus and system for image processing |
| KR102138521B1 (ko) * | 2013-12-12 | 2020-07-28 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
| US9118888B1 (en) * | 2014-03-14 | 2015-08-25 | Tribune Broadcasting Company, Llc | News production system with integrated display |
| GB2529879B (en) * | 2014-09-05 | 2017-12-13 | Supponor Oy | Method and apparatus for dynamic image content manipulation |
| EP3125196B1 (en) * | 2015-07-29 | 2018-02-21 | Continental Automotive GmbH | Drive-by calibration from static targets |
| US10276210B2 (en) * | 2015-11-18 | 2019-04-30 | International Business Machines Corporation | Video enhancement |
| US10275856B2 (en) | 2017-08-03 | 2019-04-30 | Facebook, Inc. | Composited animation |
| TWI744536B (zh) * | 2018-06-19 | 2021-11-01 | 宏正自動科技股份有限公司 | 直播系統及其直播方法 |
| JP7128096B2 (ja) * | 2018-11-26 | 2022-08-30 | 本田技研工業株式会社 | 映像表示装置 |
| JP7200645B2 (ja) * | 2018-12-11 | 2023-01-10 | トヨタ自動車株式会社 | 車載装置、プログラム、及び車両 |
| JP7438684B2 (ja) * | 2019-07-30 | 2024-02-27 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| CN112749613B (zh) * | 2020-08-27 | 2024-03-26 | 腾讯科技（深圳）有限公司 | 视频数据处理方法、装置、计算机设备及存储介质 |
| JP2022068711A (ja) * | 2020-10-22 | 2022-05-10 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及び情報処理プログラム |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4539585A (en) * | 1981-07-10 | 1985-09-03 | Spackova Daniela S | Previewer |
| US4393394A (en) * | 1981-08-17 | 1983-07-12 | Mccoy Reginald F H | Television image positioning and combining system |
| US4409611A (en) * | 1981-09-24 | 1983-10-11 | Vlahos-Gottschalk Research Corp., (Now) Ultimatte Corp. | Encoded signal color image compositing |
| FR2546017B1 (fr) * | 1983-05-11 | 1986-01-17 | Thomson Csf | Procede pour realiser une transformation geometrique sur une image video, et dispositifs mettant en oeuvre ce procede |
| JPS60501680A (ja) * | 1983-06-13 | 1985-10-03 | アルテイマツト コ−ポレ−シヨン | 自動符号化信号カラ−画像合成 |
| US4625231A (en) * | 1984-04-27 | 1986-11-25 | Ultimatte Corporation | Comprehensive electronic compositing system |
| US4875097A (en) * | 1986-10-24 | 1989-10-17 | The Grass Valley Group, Inc. | Perspective processing of a video signal |
| JPH01128053A (ja) * | 1987-11-13 | 1989-05-19 | Janome Sewing Mach Co Ltd | 証明書写真撮影装置 |
| US5032901A (en) * | 1988-06-28 | 1991-07-16 | Petro Vlahos | Backing color and luminance nonuniformity compensation for linear image compositing |
| GB8822062D0 (en) * | 1988-09-20 | 1988-10-19 | Quantel Ltd | Video processing |
| US4947256A (en) * | 1989-04-26 | 1990-08-07 | The Grass Valley Group, Inc. | Adaptive architecture for video effects |
| JP2685580B2 (ja) * | 1989-05-22 | 1997-12-03 | アストロデザイン株式会社 | 画像合成装置 |
| GB8913638D0 (en) * | 1989-06-14 | 1989-08-02 | Quantel Ltd | Electronic image composition systems |
| GB8913803D0 (en) * | 1989-06-15 | 1989-08-02 | Spaceward Ltd | Digital video recording |
| JP2827328B2 (ja) * | 1989-09-28 | 1998-11-25 | ソニー株式会社 | 映像信号処理装置 |
| GB8922563D0 (en) * | 1989-10-06 | 1989-11-22 | Rhp Bearings Ltd | Improvements in roller bearings |
| US5099337A (en) * | 1989-10-31 | 1992-03-24 | Cury Brian L | Method and apparatus for producing customized video recordings |
| US5063603A (en) * | 1989-11-06 | 1991-11-05 | David Sarnoff Research Center, Inc. | Dynamic method for recognizing objects and image processing system therefor |
| GB9001468D0 (en) * | 1990-01-23 | 1990-03-21 | Sarnoff David Res Center | Computing multiple motions within an image region |
| FR2661061B1 (fr) * | 1990-04-11 | 1992-08-07 | Multi Media Tech | Procede et dispositif de modification de zone d'images. |
| US5077608A (en) * | 1990-09-19 | 1991-12-31 | Dubner Computer Systems, Inc. | Video effects system able to intersect a 3-D image with a 2-D image |
| DE69131384T2 (de) * | 1991-07-19 | 2000-04-06 | Princeton Video Image Inc | Fernsehanzeigen mit ausgewählten eingeblendeten zeichen |
-
1991
- 1991-09-18 GB GB919119964A patent/GB9119964D0/en active Pending
-
1992
- 1992-09-10 EP EP92920826A patent/EP0604572B1/en not_active Expired - Lifetime
- 1992-09-10 AU AU26720/92A patent/AU663731B2/en not_active Ceased
- 1992-09-10 WO PCT/US1992/007498 patent/WO1993006691A1/en active IP Right Grant
- 1992-09-10 CA CA002119272A patent/CA2119272C/en not_active Expired - Fee Related
- 1992-09-10 ES ES92920826T patent/ES2110010T3/es not_active Expired - Lifetime
- 1992-09-10 KR KR1019940700866A patent/KR100271384B1/ko not_active IP Right Cessation
- 1992-09-10 JP JP50607293A patent/JP3242406B2/ja not_active Expired - Fee Related
- 1992-09-10 DE DE69223155T patent/DE69223155T2/de not_active Expired - Lifetime
-
1995
- 1995-05-31 US US08/456,020 patent/US5566251A/en not_active Expired - Lifetime
-
1996
- 1996-07-29 US US08/688,688 patent/US5923791A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| AU2672092A (en) | 1993-04-27 |
| EP0604572A4 (en) | 1994-05-09 |
| DE69223155T2 (de) | 1998-03-26 |
| DE69223155D1 (de) | 1997-12-18 |
| US5566251A (en) | 1996-10-15 |
| KR100271384B1 (ko) | 2000-11-15 |
| ES2110010T3 (es) | 1998-02-01 |
| CA2119272C (en) | 2001-11-20 |
| AU663731B2 (en) | 1995-10-19 |
| CA2119272A1 (en) | 1993-04-01 |
| GB9119964D0 (en) | 1991-10-30 |
| JPH06510893A (ja) | 1994-12-01 |
| US5923791A (en) | 1999-07-13 |
| EP0604572A1 (en) | 1994-07-06 |
| EP0604572B1 (en) | 1997-11-12 |
| WO1993006691A1 (en) | 1993-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3242406B2 (ja) | パターン・キー挿入を用いたビデオ合併 | |
| US5892554A (en) | System and method for inserting static and dynamic images into a live video broadcast | |
| EP0758515B1 (en) | Improved chromakeying system | |
| US6208386B1 (en) | Method and apparatus for automatic electronic replacement of billboards in a video image | |
| JP3496680B2 (ja) | ビデオイメージ中の複数の追跡基準領域から推定された目標領域の場所の安定的推定法 | |
| US5808695A (en) | Method of tracking scene motion for live video insertion systems | |
| US20130278727A1 (en) | Method and system for creating three-dimensional viewable video from a single video stream | |
| US20120013711A1 (en) | Method and system for creating three-dimensional viewable video from a single video stream | |
| MXPA03010039A (es) | Sistema y metodo para mejorar la secuencia de imagen. | |
| JPH11507796A (ja) | テレビの生放送中に静止画像と動画像を挿入するためのシステムおよび方法 | |
| Enomoto et al. | AR display for observing sports events based on camera tracking using pattern of ground | |
| KR20040042470A (ko) | 합성영상 컨텐츠 저작도구를 위한 카메라 정보추출 방법 | |
| Kimura et al. | Player viewpoint video synthesis using multiple cameras | |
| Tan | Virtual imaging in sports broadcasting: an overview | |
| KR20050008247A (ko) | 스포츠 비디오에서의 3차원 그래픽 영상 합성을 위한 장치및 방법 | |
| MXPA97010191A (en) | System and method for inserting static and dynamic images in a v devide transmission |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081019 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091019 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |