JPH11507796A

JPH11507796A - テレビの生放送中に静止画像と動画像を挿入するためのシステムおよび方法

Info

Publication number: JPH11507796A
Application number: JP9503297A
Authority: JP
Inventors: シッコ，ダーレル，エス．ジ; ファント，カール
Original assignee: プリンストンビデオイメージ，インコーポレイテッド
Priority date: 1995-06-16
Filing date: 1996-06-12
Publication date: 1999-07-06
Also published as: WO1997000581A1; EP0832537A1; MX9710191A; AU6276096A; BR9609169A; EP0832537A4; PE18698A1

Abstract

(57)【要約】生映像挿入システムは、生放送中に静止画像（１８６）又は動的画像を効果的に置く。このシステムは、最初にテレビのシーン内に自然な複数の目印を入れるが、このシーンは、カメラの視野が当該シーンを横切ってパンしたりズームしたりするときに、自動的に入れたり移動したりすることができる。これら目印の位置は、数学的なグリッドに星座的位置として数学的に形作られたり蓄えられたりする。任意の基準点（これはある選択された自然な目印と調和する必要はないが、調和することが好ましいものであるが）が、前記グリッド内あるいは外部に位置され、カメラの視野内に静止画像（１８６）又は動的画像を挿入するために起点として使用される。静止画像の場合には、挿入すべき画像の端部あるいは境界が前記基準点の上に位置することが往々にして望ましい。動的画像の場合には、基準点と挿入された動的画像との間の距離が、当該画像が恰も移動したり又は変化したりあるいはその両者となるように作るために、フレームからフレームまで自動的に変化される。

Description

【発明の詳細な説明】テレビの生放送中に静止画像と動画像を挿入するためのシステムおよび方法関連出願の説明この特許出願は、“APPARATUS AND METHOD OF INSERTING IMAGES INTO TELEVI SION DISPLAIS”と称する1995年６月16日出願の米国暫定特許出願第60/000,279 号の利益を主張するものである。発明の背景１．発明の技術分野オリジナル放送の一部分に現れるように、生放送映像画像内にリアルタイムで動画像、静止画像及びその他の表示の挿入を容易にするシステムと方法である。２．関連技術の発明本発明は、テレビの生放送中に画像を挿入するという課題に対する種々の従来技術を越えた意義ある改良を示す。特に、従来の技術は、目印(landmarks)を素早く検出したり追跡したり、現実的な方法においてテレビの生放送中に動画像または静止画像を挿入できないことに問題を有している。その上、多くの従来技術は、並外れた計算や煩わしさを必要とし、目標を達成するためのコンピュータシステムを複雑にする。映像挿入についての初期の技術は、1985年９月３日にスパッコバ(Spackova)らに特許された“PREVIEWER”と称する米国特許第4,539,585号に開示されている。その技術によれば、三角形の形状をかたどった人為的な目印が一単位として位置される。挿入可能な画像上の一致する点に、人為的な目印を裏張りすることによって、視野内に挿入する種々の異なるスーパーインポーズが可能となる。例えば、人為的な三角形の目印を用いて、人間のモデル、多分予期される観客に、特定の衣服を着せてそれを試写できるように、実際に種々の異なる衣服を配置することができる。人為的な目印の使用は、一定の前後関係において許容されるが、背景が大きなスポーツアリーナのような場所では、目印が見えるようにするにはそれを大きくなければならないので、インストールが煩わしく、スポーツイベントの背景が不自然に見える。同様の問題に対する他の技術は、カメラにＸとＹのセンサーを設けることである。カメラが背景を横切ってパンすると、ＸとＹのセンサーは、その位置とカメラの動きを追跡する。この技術は、比較的小さな領域での適用に限られる。しかしながら、視野がスポーツアリーナのようなものであれば、本来のエラー、あるいは、ＸとＹのセンサーにおける“ジッタ”が目立ち、容認できない挿入画像の配置エラーが起こる。この“ジッタ”は、特にオクリュージョン処理中に問題となるものである。4/11/78にデビッド・Ｗ・クレイン(David W．Crain)に特許された米国特許第4,084,184号は、カメラ上にまたはその周辺に配置されたセンサによって得られたデータを用いて背景中にトラッキング画像を入れ込む初期の技術を説明している。クレインにおいては、ジャイロコンパス、ポテンショメータ、慣性ナビゲーション器具、傾斜計のようなセンサ手段が、カメラの傾斜角、口径角というようなものに関する情報を作成するために用いられる。映像挿入システムに関するＸとＹのエンコーダの使用もまた、日本国の特許の要約書“ピクチャーシンセサイザー”VOL.15,NO.8(E-1042)1991年３月８日と、JP-A-02306782号（アストロデザインＫ．Ｋ．）1990年12月20日に開示されている。これもまた、ＸとＹのセンサーは、以前にヨーロッパでテレビの生放送中に挿入の配置を補助するために使用されていたと考えられている。最近では、努力の結果、挿入目標領域内に自然に生ずる目印を確認するパターン認識技術が利用されている。挿入目標領域のエッジまたは周辺に自然な目印を確認する改良されたパターン認識技術を利用する最も早期の努力の成果の１つは、“TELEVISION DISPLAYS HAVING SELECTED INSERTED INDICIA”と称される1993 年11月23日にロサー(Rosser)らに特許された米国特許第5,264,933号に開示されている。米国特許第5,264,933号は、ロイ、Ｊ、ロサー(Roy J.Rosser)によって1 990年９月10日に出願された英国特許出願第9019770.8に関連する1990年２月14日に出願された最初の暫定的な英国特許出願に基づく1991年２月13日に出願された英国特許出願第9102995.5に基づくものである。米国特許5,264,933号は、ロゴまたは他の表示、たとえば、生放送中のテニスコートを内部に位置する方法を詳細に検討する。米国特許第5,264,933号では、目標ゾーンは、放送画像内に挿入可能な画像を予め一定の形で表現するために選択される。目標ゾーンは、カメラによって捕らえられている背景の特徴が識別できるように表現された一定の目印に関係する空間である。そのシステムは、常に目標ゾーン内の目印を探すだけでなく、特許はまた目標ゾーンの外側の目印も使用できることを開示する。放送中プロセッサによって確認される目印は、基準画像内に確認されるセットした基準目印と比較される。十分な照合がなされた時、オペレータは画像を放送画像の予め選択された目標ゾーンに挿入する。たとえば、フットボールゲームにおいて、目標ゾーンはゴールポストの直立物間の空間上に存在させることができる。また、野球ゲームにおいては、目標ゾーンは、ホームプレートの後ろの壁の１部分に存在させることができる。その日までの従来技術の割合にあますところのない記述は、米国特許第5,264,933号に示されるとと共に、そこに引用されている。さらに関連のある参照文献のいくつかは、前述の特許、米国特許第3,731,188号、4,442,454 号、4,447,886号、4,523,230号、4,692,806号と4,698,843号に含まれる。ロサー(Rosser)らの米国特許第5,264,933号は、他の物体との間において、テニスコートの境界はどのようにして確認することができるのか、生放送中にコマーシャルロゴを挿入するために目印をどのように使用するのかを記述する。目印は、バートピラミッド(Burt Pyramid)の手段によって確認される。バートピラミッド技術は、多くの特許中、たとえば米国特許第4,385,322号、4,674,125号、4, 692,806号、4,703,514号と、5,063,603号、同様に、コンピュータビジョン、グラフィックスとイメージングプロセシング、21pp.368-382,1983年のピーター、Ｊ、バート(Peter J.Burt)による“Fast Algorithms For Estimating Local Im age Properties.”そして、ピーター、Ｊ、バート(Peter J Burt)，スピー(SPIE )、VOL,360,pp.114-124による“Pyramid-Based Extraction of Local Image Fea tures with Application to Motion and Texture Analysis”に論述されている。Ｖ．キャントニとＳ．リビアルディ(V.Cantoni and S.Levialdi)、ＮＡＴＯＡＳＩシリーズＦ，Vol.25，スプリンガーバーレグ、1986年の“Pyramidal Syst ems for Computer Vision,”ロセンフィールド，エディター，スプリンガーバーレグ(Rosenfeld,editor,Springer-Verlag)、1984年の“Multiresolution Image Processing and Analysis”とP.J.バート(P.J.Burt)らによる“Object Tracking With a Moving Camera:An Application of Dynamic Analysis”、アービン，カルフォルニア，３月20-22,1989年の“Proceedings of the Workshop on Visua lMotion”。バートピラミッドの技術は、以上に説明されており、そして公知の１０分の１を取り除く(dec imate)画像の削除、低解像度、素早い位置選定と顕著な特色の確認を可能にし、一般的に目印として参照される見解の技術を含む従来技術として知られている。バートピラミッドは、いくつかの公知の従来技術の１つであり、テレビの生放送の前後に挿入した画像の一部と置き換える目的のために画像内における目印の特徴を認識するために使用できる。ルーキット(Luquet)らの米国特許5,353,392号は、連続する画像において目標ゾーンとして参照する同一ゾーンの修正を制限するシステムを開示する。したがって、予め定められた目標領域への挿入動作が制限されることによってルーキット′３９２はロサー′９３３と称するものと同様の欠点のいくつかに悩まされている。挿入された画像は、全体の画像内において決まった位置または目標位置につけられる。本発明は、この開示の中の“好適な実施例の詳細な説明”において後で詳細に述べるが、特定の挿入または目標ゾーンの同一性とは無関係に実際上全体の放送背景のどこかに画像を挿入することができる。上述した米国特許第5,264,933号や米国特許第5,353,392号のような最近の先行発明の多くの概念は、最新の画像の予め選択された領域、宣伝が存在する部分あるいは最新の画像内の目標ゾーンを置き換えることである。発明者がミカエルジェイ．トレイナー(Michael J.Traynar)及びイアンマクニール(Ian McNiel)で、英国，ニューバリーのクオンテルリミテッドに譲渡された、1995年４月21日に公表された、発明の名称が「VIDEO PROCESSING SYSTEM（テレビ処理システム）」という米国特許第5,107,252号は、先行技術の方法と同じであり、挿入エリア自身の複数の端部が、特に針(stylus)で特定され、これによりそのシーンに固定されるというものである。発明者がケースジェイムズハンナ(Keith James Hanna)及びピータージェフリーバート(Peter Jeffery Burt)として挙げられ、1991年９月18日の米国優先日で、1992年９月10日が国際出願日の、発明の名称が「VIDEO MERGING EMPLOYING PATTERN-KEY INSERTION（余白部分を利用してパターン−キーを挿入するテレビ）」というＰＣＴ出願のPCT/US92/07498号には、指定された挿入エリア内に少なくともいくつかの目印の内の特定されたものの方向に、第１に向けられるという他のシステムが記載されている。ズーム補正やオクリュージョン処理が、オーラッド(ORAD)，インコーポレイテッドに譲渡されたＰＣＴ出願のPCT/US94/11527号に記載されている。これによれば、システムセンサーは、カメラのズームレンズの周囲に置かれている。このセンサーは、ズームレンズの回転を機械的に検出し、対応するズームファクターを計算する。そして、このズームファクターは、挿入するサイズに補正してコンピュータシステムに送られる。このタイプのシステムは、挿入される画像のサイズが受入れ難く、変動しやすいようになるエラーファクターを作り出すという、いらいらする機械的欠点に煩わされる。本発明は、最新の画像内で目印の変化する位置を決定することにより、また挿入される画像に対応するズームファクターを自動的に適用することにより、このような不具合を解消する。本発明は、最新の画像内の目印の位置を信頼して行なうものであり、内的衝動やいらいら感をおこさせる外的ファクターによらないものである。このように不意の、望ましくないカメラ動作あるいはレンズ移動は、ズームの調整計算に影響を及ぼすことはない。上述した点に関連し得る他の特許としては、下記するものがある。 4,528,589号；4,792,972号；4,817,175号；5,099,319号；5,142,576号；5,233,4 23号；5,309,174号；5,436,672号；及びPCT/GB90/00925号前記′９３３は、挿入位置へのテレビ画像の挿入が開示されているが、上記先行例は、概して、静的画像、つまり、動かない画像のテレビの生放送への挿入を示唆している。したがって、特別の挿入の境界を識別できたりあるいは「目標」エリアが重要となる。その使用形態が、テレビの生放送画面の中に、もし静的画像を「目標ゾーン」以外の他のどこかに置くことを望んだり、あるいは動的画像、つまり動くことができるものを挿入することを望むならば、一層困難となる。挿入画像は、その画像が、シーンを横切って移動するようなシーンとか又はフレームからフレームまで画像自身が変化するようなシーンのいずれか一方あるいはその両者となるような動的なものである。画像としては、例えば、テレビの生放送中に視野を横切って同時に動く、ドラムを叩いたり、兎のスーパーインポーズの困難性である。理解する限りでは、本発明のように、現実的な手法でテレビの生放送中に静止画像及び／又は動的画像を挿入する問題を効果的にかつ満足し得るように解決することができた出願人は知られておらず、また上述した先行例のいずれにも開示されていない。発明の概要簡単に述べれば、本発明は、リアルタイムベースによる現実的な方式で、テレビの生放送中に静止画像及び動的画像を挿入するシステムと方法からなる。まず最初に、システムのオペレータは、次に起こる発見や追跡にとって好ましいシーンの中に、ある自然な複数の目印を選択する。これら複数の目印の内のいずれかが、この電子システムにより選択され、その後オペレータにより良いか悪いかが判断される。多数のうちから生き残った、つまりバートピラミッド分析される認定ステップ中に残留が認められた自然な目印が重要となる。これら目印は、カメラがパン及びズームするときに写るシーン内で、シャープなもの、目立ったりクリアな垂直なもの、水平なもの、斜めのものあるいは角張っているものといった特徴を有していることが好ましい。典型例としては、少なくとも３つあるいはそれ以上の自然な目印が選択されることである。これら目印は、野球場あるいはフットボールスタジアムのような全体的なシーンの隅から隅まで分配され、またある瞬間のカメラ視野が、通常はパンされたフルシーンよりも十分に小さいと理解されるべきである。これら目印は、この挿入部が置かれる目標ポイントあるいは目標エリアの外側に往々にして位置されるが、これは、典型的には、この挿入エリアがあまりにも小さく多数の関連する目印を含むことができなかったり、挿入画像が動的であるから、単一でも、静的な目標でもなくなるからである。このシステムは、変形可能な２次元グリッド上に、複数の認定された自然な目印を作る。任意の目立たないような参考の点が、シーンの中に選択される。この基準点は、自然な目印とともに数学的に共動し、その挿入エリアを位置するように往々にして使用される。複数の静的な挿入部の場合には、その挿入される点は、その挿入が四角あるいは長方形であったり、基準点とともに一列に並ぶような場合に、例えば、この挿入部の左下か右上の角に位置付けられる。挿入部の内のいずれかは、基準点からある固定された距離で整列される。もし、挿入部が動的なものであれば、前記基準点は、画面の隅から隅まで動的画像を動かす起点として使用される。この場合には、動的画像の位置は、基準点に関して動的画像の距離が増加的に変化するようにフレームからフレームまで変化する。静止画像あるいは動的画像のいずれかの場合には、基準点がカメラ映像の外に位置されることがまさに可能となる。実際上、基準点は、起点を含むグリッド上のどの点でもよい。生のテレビ放送挿入処理の前に、システムのオペレータは、挿入すべき画像の準備をし、それを、例えば、形等が全体的に正しく見えるように調節する。これは、このシステムが画像の中の複数の目印間の数学的関係を知っているからであり、挿入の前に挿入すべき画像に適用すべきズームファクタとＸ，Ｙ位置調整とを自動的に決定することができるからである。その後、カメラがズームイン及びズームアウトしたり、パンしてカメラ視野が変化したとき、挿入される画像は、家庭の視聴者に自然に見えるように、視野内で他の特徴に対する釣り合いや適当なスケールが保持される。視野が少なくとも３つの適当な目印を有する限り、このシステムは、基準点に対して常に成立し得る。このため、従来のシステムの場合に起こり得る「ホップアップ（飛び上がる）」よりも、あるシーンからのパン及びあるシーンへのパンや、このシーン内で挿入画像が自然に見えるようにすることを可能にする。本発明の好ましい実施の形態によれば、画像があるシーン内に表れた後に、オペレータが、挿入画像を一対のＸとＹのボタンで上下させたり、及び／又は挿入画像が置かれているバックグランドにより好ましくフットさせるサイズ調整（例えばズーム）のように、さらに僅かに調整でつくることができる。このような調整は、そのイベント中あるいはその前に行なわれる。このシステムは、挿入画像をある位置に簡単に置くことができる。これは、このシステムが、他の多くのシステムが必要とする大きな演算力を要求されないからであり、また挿入画像が、他の従来のシステムのように「ホップアップ」することなく、与えられたシーンを素早くかつ自然に表すからである。本発明のこれら及び他の特徴は、下記図面を参照することにより一層理解されるであろう。図面の簡単な説明図１は、野球場の同一範囲内でのカメラによる野球場の視野を写す生放送を示している。図２は、野球場の同一範囲内でのカメラによる野球場の視野を事前に写したものを示している。図３は、カメラによる実況映像に重ねられた目印とＸ，Ｙグリッドを示している。図４は、本発明の優先的な具体例による映像挿入システムの主構成を示すブロックダイアグラムである。図５は、本発明の優先的な構造による映像挿入システムの詳細な図式ダイアグラムである。図６は、目印追跡ボード（ＬＴＢ）のブロックダイアグラムである。図７Ａは、図２の数学的な目印モデルである。図７Ｂは、図７Ａ図の詳細部分を示す。図８Ａ〜Ｄは、図２に詳細に示された各レベルの半減による、十分の一縮小への４段階を示す。図９Ａ〜Ｄは、二重重ねの目印例による視野の十分の一縮小の４段階であり、各レベルの半減の分解である。図１０Ａは、放送中に挿入可能なテニスコートの一つの場所を示す。図１０Ｂは、図１０Ａに示すテニスコート映像に挿入される、初期のロゴのさし絵（アートワーク）である。図１０Ｃは、放送中のテニスコートの背景へ合致させる、図１０Ａの歪ませた画像を示す。図１０Ｄは、拡大ズームへ合致させる、図１０Ｃの歪ませた画像を示す。図１０Ｅは、縮小ズームへ合致させる、図１０Ｃの歪ませた画像を示す。図１１は、静止した放送映像にオクリュージョン無しに挿入する場所を示す。図１２は、静止した放送映像にオクリュージョンにて挿入する場所を示す。図１３は、静止した放送映像にオクリュージョン無しに拡大ズームの合わせ込みをした挿入する場所を示す。図１４は、オクリュージョンにより補償された撮像内に挿入される静止した画像の場所と、合わせ込みされた拡大ズームである。図１５は、動的な挿入ロゴを示し、左から右へ動くロゴを示す。図１６は、本システムの画像ハードウエアの実施に係る図式と本発明の実施例による方法を示す。好適な実施例の詳細な説明ここでの説明においては、同じ番号を使って、本発明を示す異なる図面に係る同じ要素を固定することにする。 1995年６月16日出願の米国暫定特許出願第60/000,279号の優先権に請求された、挿入可能な映像は「目標範囲」もしくは出現する広告の確認を要することなく様々な背景を撮像画像の範囲内に挿入できる。むしろ、数学的目標モデルおよび連動したコーディネイトシステムが付加されたそれらは、装置操作者が現行映像の範囲内に何等かの映像をピンポイントで挿入することを許している。図１に示されるのは通常の野球の試合をしている野球場１０である。標準のテレビカメラ１２は見どころ映像の風景１４を写し出している。カメラ１２のパン（ｐａｎ）の範囲は野球場の大部分を含んでいる。残存範囲１８はカメラの撮影範囲の外側であり、パン範囲でない野球場の残り部分を含む。描かれているピッチャー２０ａはキャッチャー２０ｃへ投げているところを示す。バッター２０ｂは野球ボール２４を打つように立ち、審判２０ｄは動作の構えをしている。本発明によりもたらされる、広告や宣伝ロゴは試合放送の最中のホームプレート背後の壁に現される。生放送に映像を挿入するために、本発明は適切に挿入できる現在の画像を確認しなければならない。本発明は予め定義付けられた目印を持つ場面に顕著な特徴をなす目印マッピングを使う。目印は挿入した範囲の機能する位置において確定したものではなく、挿入範囲に優先されない。特に、この目印は特別の挿入範囲として目新しいものではない。むしろ、基準画像の特徴に指示され、目印は丁度素晴らしい集まりかもしくは壁掛けを通した様に広がる。この同様な目印の組み合わせは多数の異なった情景への挿入範囲が基準画像の範囲内で可能である。認められる挿入範囲は、時には先行する技術の「目標ゾーン」を参照するが、それはしかし必須ではない。目印のタイプは一般には水平線、垂直線、対角線および背景の角部の特徴を含む。図１においては、バックボード２６の垂直の点線は、垂直の特徴２８を含み、バックボード２６の上部と下部の水平の輪郭は水平の特徴３０を含む。角部の特徴３２は垂直の特徴２８の点を定義し、水平３０を横切る。しかしながら、パンニングの範囲全体は、情景の映像の外枠と対等であって、特徴を包含する。Ａ．参照イメージの生成挿入可能な画像が生放送に挿入可能となる前に、本発明は目印のタイプと配置に関する情報を得る必要がある。これは野球場より得た画像の際立った特徴の目印により基準画像の生成が成し遂げられる。図２において、予備的な野球場の情景４０は空の野球場を示している。カメラ１２は図１と同様の空の野球場４０を描写している。バックボード２６は垂直の目印４２と水平の目印４４および角部の目印４６を現す。かように、図２は基準アレイ４８の絵画的表現を含む。たとえ、この基準アレイ４８が絵画的表現によっても、目印の風景のデータテーブルやパンされた挿入画像を含むタイプよりも現実に近い。基準アレイ４８が獲得されたあとに、その絵画的表現は分析される。その分析はバートピラミッドアルゴリズムを用いることが前提となり、それは基準画像を十分の一縮小に仝部で４段階にて成し（段階０−３を参照）、各段階は二分の一ずつの分解能で減じていく。ここで図８のＡからＤを参照して、十分の一縮小の４段階は分解能の程度により変化を現わす。段階０の画像１４４は２４０ｘ７２０ピクセルの高分解能である。段階１の画像１４６は段階０の分解能の半分であり、すなわち、１２０ｘ３６０ピクセルである。段階２の画像１４８は段階１の画像１４６の半分の分解能であり、６０ｘ１８０ピクセルである。最後に、段階３の画像１５０は、最も低い段階であり、比較的にきめの粗い特徴が確認でき、残りの３０ｘ９０ピクセルの分解能である。各レベルにおいて、分解能の変換のみが行われる。基準画像４８の大きさと尺度は異なった段階で変換されない。変化する目印４２，４４，４６の位置は、全ての段階の絵画的表現の基準アレイ４８の範囲内でライトペン、トラックボール位置決め、もしくは他の類似の手段にて決定される。基準アレイの際立った特徴は、それらのフットボール場のゴールポストもしくは物理的な構造を示す絵画的表現の基準アレイ４８、たとえばホームプレートの背後の壁であり、各段階での目印として装置操作者により用いられる。目印はしばしばそれらの残りの十分の一縮小と段階３の認め得る残りより選択される。各目印はＸ，Ｙに形付けられた配置にて割り当てられる。加えて、各目印はタイプに割り当てられ、かような垂直線、水平線、対角線、もしくは角である。各目印４２，４４，４６の配置は次にコンピュータ装置に取り込まれ、この取り込まれたデータは自身の基準アレイに据えられる。図２を参照して、一つの目印４２，４４，４６は確認されて配置とタイプに割り当てられ、挿入範囲の基準配置４９は操作者の使用するライトペン、トラックボール位置決め、もしくは他の類似の手段により選択される。特に、操作者は挿入範囲の基準配置４９の単一のＸ，Ｙに形作られた配置を選択する。この基準配置４９は中心位置、予定された挿入の右上位置、もしくはほかの挿入可能な画像の適当な位置と一致する。この基準配置４９は次にコンピュータ装置に取り込まれ、基準配置と目印配置の数学的な関係の機能と同じく挿入可能な画像の挿入を容易にすることに用いられる。もちろん、基準配置は元のＸ，Ｙ形付け装置と挿入可能な画像に簡素化され、次に操作者により選択されたＸ，Ｙ位置に挿入される。Ｂ．挿入するロゴの準備挿入する基準配置４９は基準アレイ４８の配置であって、そして関連するであろう挿入可能な画像の位置が定義される。選択された目印４２，４４，４６と基準位置４９は実時間の挿入過程に於いて優先される。さらには、その初期の基準配置は放送中の操作者によって切り替えることができる。一つの基準配置が確認され、その挿入可能な画像は、選択された基準配置４９における絵画的表現の基準アレイ４８に配置される。次に、その歪められたそのようなパターンサイズと形状、たとえば眺望、は基準配置４９に合わせ込まれ、それは予定された挿入範囲に好ましく合致する。その合わせ込まれた挿入可能な画像は次に実時間挿入過程に用いられる。放送に挿入する準備されたロゴは、図１０Ａより図１０Ｅに示される。図１０Ａにおいて、空のテニスコート１６０は基準画像を示している。このコートに於いて、予定された挿入範囲１６２が示されている。たとえテニスコートが長四角形の形状であっても、コートの端に近いカメラを通してみる情景は、テレビには僅かに台形形状に現れる。そのため、その大切な挿入されるロゴは自然にその画像に僅かな台形に映される。図１０Ｂに示されるのは元の形のロゴのアートワーク１６４である。図１０Ｃが示す歪められた形状のロゴ１６６は、カメラ位置からの視点のために台形形状に表わされて合わせ込まれた後である。図１０Ｄと図１０Ｅはそれぞれ歪められ、拡大もしくはズーム要素に合わせ込まれた後のロゴである。そのロゴ１６８，１７０は、図１０Ｄと図１０Ｅに各々示されるが、拡大もしくはズームのみに歪められる。このズーム歪みは、放送より先に発生する形状歪みに対立するものとして、挿入する直前の放送中に発生する。ある場面において、そのようなテニスの試合中に於いて、それはしばしばその場面に適した望ましい位置に各々挿入される。これは快く歪められたＸ，Ｙグリッドの測定と挿入に適宜に歪められることによって成し遂げられる。Ｃ．生放送への挿入一つの基準アレイ４８が定義され、挿入範囲の基準点４９は定義され、そしてアートワークは巧みに処理され（図１０Ａ〜Ｅ）、実時間の挿入過程は開始することができる。図３は二重重ねもしくは、図１に示されるカメラ１２の撮像１４に被さる画像５０である。グリッド５２はバックボード２６に被さる二重重ねである。目印４２，４４，４６はバックボード２６に被せることができる。現映像の全ての目印４２，４４，４６は全体のシステムより捜索され、本発明の捜索モードは適当な挿入点や、広告もしくは宣伝ロゴの基準配置４９に位置決めできる。本システムは撮像に見出だされた、それらの目印のみを用いている。図４に示すのは本システムの中心の構成の総合的なシステムダイアグラム６０である。各撮像の映像信号６２はフィルタと十分の一縮小過程６４にて現在の映像の画像は整形され、次に撮像画像は同一の上記の方法にて論議されて十分の一縮小される。現在の映像画像の十分の一縮小画像は図９Ａ〜Ｄにて描写され、そこにおいて段階０の画像１５２は高分解能で段階１の画像１５４に続き、段階２の画像１５６、そして段階３の画像１５８はきめの粗い分解能を備える。十分の一縮小された撮像映像は次に、目印捜索および３つの機能を持つ追跡ボード６６に送られる。第１の機能は目印のための十分の一縮小された撮像画像の捜索である。第２の機能は各々の基準アレイにて全ての目印の位置を見付ける確認である。第３の機能はいくつかの拡大もしくはズームの切り替えを含むカメラの動きの追跡である。この目印追跡ボード６６は輝度データ、拡大データ、水平位置データ、そして垂直位置データを含むデータ信号６８の発生と情報の収集をする。このデータ信号６８は次にオクリュージョン演算装置７２に送られる。このオクリュージョン演算装置７２は、現在の映像画像がオクリュードされ、すなわち阻止され、現在の画像での動きによる全体もしくは部分の範囲内で予定の範囲に挿入するかどうか決定する。オクリュージョン演算装置７２の結果は、挿入演算装置７６に送られるオクリュージョンデータ７４を含む。現在の撮像画像６２と挿入可能な画像はオクリュージョン信号７４が生み出した出力テレビ画像７８と統合される。図５は、全処理のタイミングを示す生の映像挿入システムのブロックダイアグラムである。現在のシステムは、生のテレビ映像放送の中にロゴの継ぎ目のない挿入を達成するために８つのフィールドを必要とするが、処理装置速度の増加により、３つのフィールド程度の少ないフィールドにおいて挿入することができる。ＮＴＳＣＴＶシステムが使用されている場合には、フレームごとに２つのフィールドと、テレビ映像の画像内に毎秒３０フレームとがある。このようにして、システムは、１秒ごとに６０のフィールドで操作されている。フィールド１において、現在の映像信号は、コンバータ８２によりアナログからデジタル形式に変換され、当該信号をｙ８６およびｕｖ８８成分に分けるスプリッタ８４に入力される。フィールドの画像の分離したｙおよびｕｖ成分は、画像処理がなされている間同期された放送を保持するべく設計された一群の映像遅延回路９２に入力される。同時に、ｙ成分８６は、上述したようなフィールドの画像を補正およびデシメート（１０分の１を除く）にするフィルタおよびデシメート(decimate)処理９０に入力される。ｕおよびｖ画像もまた、フィルタ処理、デシメート処理および後述されるようなさらなる処理が、選択的に、なされる。フィールド２において、フィルタ処理およびデシメート処理された画像は、サーチ、検査および追跡機能を果たす目印追跡ボード（ＬＴＢ）に入力される。基準画像に対する現在の画像の照度、倍率、水平変換および垂直変換のデータを含む情報信号９５が生成される。フィールド３において、ＬＴＢ９４からの情報信号９５は、一群の遅延回路９６に入力される。フィールド２からのＬＴＢのデータ信号９５は、同時に、ワーパ（warper）９８に入力される。ワーパ９８は、基準アレイに対して現在のフィールドの画像の倍率や水平および垂直変換を調整するために、基準アレイの一部分の絵描写を現在のフィールドの画像に歪ませる。歪ませられる部分は、予定される挿入の形状および位置に依存する。フィールド４において、歪ませられた参照部分のフィルタ処理されたｙ，ｕおよびｖ成分は、コンパレータ１０４により、現在のテレビ映像の画像のフィルタ処理されたｙ，ｕおよびｖ成分と比較される。その結果は、現在のフィールドの画像および歪ませられた参照部分間のｙ，ｕおよびｖ成分の変化を反映した値を含んだ信号１０５となる。必要ならば、これらの変化は、それらを時間的に平均化若しくは集合、あるいは間隔をおいて平均化若しくは集合するために、さらに処理することができ、これにより、変化が滑らかにされ、オクリュージョン処理装置の信頼性が高められる。例えば、フィールド５において、平方根計算１０６は、現在のフィールドの画像内で画素ずつ主成分における画素上の差分信号１０５において行われる。その結果は、現在の画像にオクルードされるフィールドを設けるために、閾値と比較される。閾値が規定された許容範囲内ならば、そのときは、いかなるオクルードする対象も存在しないと考えられる。しかしながら、結果値が閾値を超えている場合には、そのときはオクルードする対象が現在のフィールドの画像内に存在すると考えられる。フィールド６において、閾値比較の結果はフィルタ処理され、オクリュージョンマスク１０８が生成される。このマスクは、与えられた画素の挿入値か現在のフィールド値かのどちらを放送するかを決定するであろうオクリュージョンマスクキーを生み出す。フィールド６において同時に、ワーパ９７は、遅延化されたＬＴＢデータ信号９５を受け、現在のフィールドの画像の倍率や水平および垂直変換を調整しつつ挿入されるように、ロゴを歪ませるために使用される。グリッドがゆがめられた場合には、挿入のためにロゴを歪ませるときにゆがみ（distortion）を含ませる必要がある。フィールド７において、歪ませられたロゴ９９、オクリュージョンマスクキー、および遅延化されたｙ８６およびｕｖ８８である現在のフィールドの画像成分は、結合器１１０に入力される。結合器１１０は、マスクキーに依存して放送するために、挿入画像９９か現在のフィールドの画像成分ｙ８６およびｕｖ８８が通過する。フィールド８において、結果ｙ１１２およびｕｖ１１４信号成分は結合され、一つのデジタル映像信号に戻る。デジタル信号は、コンバータ１１８により生放送されるに先立って、それから変換されてアナログ形式に戻る。Ｄ．サーチここで図６を参照すれば、サーチモード１２４にあるときは、処理は、例えば明から暗への変化、水平方向あるいは垂直方向の特徴のような、特に粗い特徴用に行われるレベル０〜３の画像１５８で、しばしば開始する。サーチを実施するための好ましいモードは、バートピラミッド・アルゴリズムによる。バートピラミッド・アルゴリズムは、現在の画像１４のデシメートレベル１５２，１５４，１５６，１５８を利用するものであって、低解像レベルでは高解像レベルのサーチに比較して特別な特徴を認識するためにサーチすべき画素はより少ないので、目印４２，４４，４６の迅速な認識のための低解像レベルの速いサーチを可能とする。サーチの特徴または目印が発見されると、粗い特徴の位置を検査すべく、同じ若しくは他の特徴のための付加的なサーチが、レベル３のサーチで確認される画像のエリアにおけるより高いレベルで類似した特徴をサーチすることによって行われる。図３に戻って参照すれば、レベル３のサーチは、８×８のテンプレートを使用しながら行われ、例えば１５×１５の相関関係のある表面を生成する。各８×８のテンプレートは、例えば垂直ライン、水平ライン若しくはコーナーなどの特別な特徴に適合されている。サーチ機能は、目印４２，４４，４６を確認し、ＸおよびＹ方向（Ｔｘ，Ｔｙ）とズーム（ｋ）の変換の評価に戻り、今度は、基準画像４８における目印４２，４４，４６の位置と比較して、現在の画像１４における目印４２，４４，４６の現在の位置および方向を決定するために用いられる。サーチモード１２４が成功すれば、それから検査モードに入る。特徴が大きいか、あるいはサーチが低レベルのデシメーションで実行されるならば、８×８よりもっと大きいサーチテンプレートを使用するのが望ましい。Ｅ．検査サーチモード１２４がプリセット数の“良”目印を生み出すと、サーチモード１２４から検査モード１２６への移行がなされる。“良”目印は、基準画像で生み出される相関値の固定範囲内で、相関値を有しており、予め決定された連続性およびラインのチェックを満足している。垂直ラインである目印４２の相関関係は、３つの連続した相関関係が相互の限られた範囲内の値を有することを確かめるようにチェックされ、表面は、位置ラインの右および左に対しその位置にラインがないことを検出するようにチェックされるであろう。検査は、３フィールドまでに対し、レベル０またはレベル１で実施される。成功した検査がなされない場合には、それからシステムはサーチモード１２４に戻る。検査の規準に合っている場合には、挿入可能な画像の挿入が行われる。しかしながら、所定の規準に合わず、また、良目印がプリセット値を超えていなければ、いかなる挿入も行われない。加えて、２つ以上の目印が垂直でなければならず、これにより、良好なズーム計算が保証される。さらに、全目印のうちの一部分は“良質の”目印でなければならない。良質の目印は、現在の目印、すなわち現在の画像における目印間の距離の関数として決定される予め決められた値より大きい距離エラーの重みを有するように定義され、ここにおいて、前の目印から現在の目印が予測されるであろう。図７Ａを参照すれば、目印モデル１４０は、各フィールドの目印４２，４４，４６により形成されるモデルである。第１の目印モデルは、図２の基準画像４８の目印４２，４４，４６により設けられる。目印モデル１４０は、目印４２，４４，４６間の幾何学的関係を決定することにより形成される。こうして、サーチモデル１２４の間、現在のフィールドの画像１４についての目印４２，４４，４６は、基準画像４８から現在のフィールドの画像１４への変換およびズーム変更を決定するために、基準画像４８において生み出される目印モデル１４０と比較される。次のフィールドにおいて、目印４２，４４，４６は、再び配置され、各々の現在の目印の位置は、前のフィールドから目印モデル１４０に基づいて予測される位置と比較される。現在のフィールドの画像１４の目印４２，４４，４６は、前の目印モデル１４０に、最小四角形フィット（a least squares fit）を使用して適合される。この前の目印モデル１４０との比較は、各々の現在の目印４２，４４，４６の位置に割り当てられた重みを生み出す。各々の現在の目印４２，４４，４６の位置に割り当てられた重みは、現在の目印４２，４４，４６についての新しい目印モデル１４０の計算に使用される。最終検査規準は、いかなる欠落した目印もあってはならず、あるいは、目印が欠落している場合はオクルードされなければならないということである。さらには、サーチの結果が十分正確ならば、検査ステップは除かれるであろう。Ｆ．追跡検査規準が満足されるとき、プログラムは追跡モード１２８に入る。検査モード１２６における挿入およびオクリュージョンに従って、システムは追跡モード１２８に入り、カメラ１２がどのように動いているかを示す。システムは、目印４２，４４，４６の動きをモニターすることにより、現在のフィールドの画像１４からカメラ１２の動作上の情報を得る。追跡機能は、現在のレベル０の画像１５２または現在のレベル１の画像１５４にて、果たされる。上述したように、各フィールドの目印４２，４４，４６は、目印モデル１４０として、ひとまとめにして参照される。特定のシーンでカメラ１２が向けられる連続した画像において、各々の次のフィールドは、前のフィールドに実質上類似している。このように、追跡モード１２８においては、各目印４２，４４，４６の位置の伸延されたフィールド内における適合したテンプレートを使用する画素サーチによる画素は、前のフィールドの目印モデル１４０により予測されるように、シーンの位置において増大した変化を決定する。追跡モード１２８にあるとき、例えばレベル０〜３のデシメートされた画像１５２，１５４，１５６，１５８が続いて各フィールドについて生み出されるが、いかなるサーチ機能も行われない。追跡を行うために存在しなければならない目印の数における選択可能な制限がある間は、ズーム方向（垂直）における２より大きい目印と、少なくとも１つの別の（例えば水平）方向における他の目印とがなければならない。しかしながら、ズーム大きさが３つのフレームのみについて失われる場合には、システムは、少なくとも１つの目印があるなら作動し続けるであろう。追跡機能は、ラプラス（LaPlacian）よりむしろガウス（Gaussian）のデシメートがなされた画像を使用しており、Ｓ／Ｎ比を改良し、貴重な低周波数の情報を保護する。追跡規準に合っていない場合には、サーチモード１２４に戻る。Ｇ．オクルージョンまさに挿入の前に、システムは、挿入範囲の中に挿入されるパターンでオクリュージョン動作を行う。オクリュージョンは、挿入範囲をある程度オクルードする実際の現在のフィールドにおける障害の原因となる。現実的に現在の画像１４に吸収されるリアルタイム挿入を行うため、挿入範囲内の障害が確認されなければならず、保留されるいくつかの場合において、障害上に挿入可能な画像を挿入しないように、挿入が調整されなければならない。まず、フィルタ処理された基準アレイの一部分の絵描写が生成される。このフィルタ処理された描写を生成するために、基準画像はフィルタ処理されて高周波成分に変えられる。基準アレイの低解像度描写は、スタジアム内の挿入位置にきわめて近接して位置される照度を感受するセンサにより、明度について規則的に新しくされる。これは、現在のフィールドの画像１４に、絵描写の明度を合わせるために行われる。その結果は、コンピュータシステムに格納される。各々の現在のフィールドの画像１４もまた、フィルタ処理され、現在のフィールドの画像１４のより低解像度の描写を放棄する高周波成分に変わる。基準アレイ４８のフィルタ処理は、現在の画像１４のフィルタ処理よりもしばしば大きい。挿入画像をオクルードする対象は現実の物理的な対象であるので、一般に、それらは１つの画素より大きく、１つより多いフレームに現れるであろう。それゆえ、オクリュージョン処理の正確性およびノイズは、オクルードする画素をグループに集めることにより、また、継続的にフィールドからフィールドにそれらの動作を追跡することにより、付加的に改善され得る。このように、特別な画素がオクルードする集合体か否かについて良好な判定を行うことができる。現在の画像１４の位置、サイズおよび照度の関数として、基準アレイ４８の低解像度描写の一部分は、照度と同様に、前に示したように、変換（位置）およびズーム（サイズ）に関して調整される。基準アレイ４８の変形された低解像度描写は、それから、画素ずつ主成分において、基準画像４８内の障害を確認するために、現在の画像１４の低解像度描写と比較される。ここで、参照および現在の画像における画素は１対１の比を有している。比較の結果としてそれから、挿入中に挿入可能な画像に適用され得る透明機能またはマスクキーが決定され、当然に、挿入範囲内に存在し、こうしてある画素の現在の画像１４への挿入に影響する障害の原因となる。Ｈ．挿入挿入動作は次のように行われる。先に説明したように、挿入範囲は、予め選択された基準位置４９に対して数学的関係を有している。基準位置４９は、今度は、基準画像４８内に定義される目印モデル１４０と数学的関係を有している。つまり挿入範囲の基準位置４９は、目印モデル１４０に関して相対的な位置を有している。上記したように、基準画像４８と比較される現在の画像１４における目印４２，４４，４６の変換およびズームにおける変化を決定することにより、挿入範囲の変換およびズームにおける一致した変化は、基準位置４９の関数として決定され得る。このように、基準位置４９のＸおよびＹの変換が計算され、ズーム機能は格納された挿入可能な画像に適用され、そして、挿入可能な画像は、挿入可能な画像を位置決めするために基準点として挿入範囲の基準位置４９を使用して、画素ずつ主成分上で現在の画像１４の挿入範囲の中に挿入される。図１１は、テレビ観者により見られる現在のフィールドの画像１７２を示す。挿入１７４は、ホームプレートの後方の背壁上に現れる。この例は、ゲームの現在の動作によりオクルードされていない静的挿入１７４を示す。さらに、この例の増幅率はｋ＝１であるか、あるいは基準からのズームの変化はない。図１２は、テレビを観る者により見られる現在のフィールドの画像１７６を示す。挿入１７８は、ホームプレートの後方の背壁上に部分的に遮られて現れる。この例は、ゲームの現在の動作によりオクルードされている静的挿入１７４を示す。システムは、シーンの背景にロゴを保持する。この例の増幅率もまた、ｋ＝１であるか、あるいはズームの変化はない。図１３は、テレビ観者により見られる現在のフィールドの画像１８０を示す。挿入１８２は、ホームプレートの後方の背壁上に現れる。この例は、ゲームの現在の動作によりオクルードされていない静的挿入１８２を示す。しかし、このときの増幅率は、ｋ＞１の増幅率である。図１４は、テレビ観者により見られる現在のフィールドの画像１８４を示す。挿入１８６は、ホームプレートの後方の背壁上に部分的に遮られて現れる。この例は、ゲームの現在の動作によりオクルードされている静的挿入１８６を示す。システムは、シーンの背景にロゴを保持する。この例の増幅率もまた、ｋ＞１である。図１５は、テレビ観者により見られる現在のフィールドの画像１８８を示す。歩いている兎の挿入画像１９０は、各々の連続するフィールドにおいてスクリーンを横切って水平に移動しているように見える。付加的に、兎自身は、腕と足が各々のフィールドにおいて動いているということで形状を変化させている。この例は、本発明の動的挿入の能力を示している。挿入１９０の位置および形状は、原則リアルタイムでオペレータによってフィールドからフィールドへ変えられるか、あるいは予めプログラムされた順序、若しくはテレビ映像によって自動的に変えられる。図１６は、本発明の好適な実施例のシステムのハードウェアの提供と方法を概略図示したものである。上述したシステムは、従来技術のシステムに対し多くの重要な利点を有している。第１に、本発明は、現在のシーン内に特別に存在している広告や“目標フィールド”を認めなければならないことはなく、挿入可能な画像を、生のテレビ映像放送の中に、直接継ぎ目なく位置させることができる。それゆえに、挿入可能な画像は、放送中に自然に継ぎ目なく現れ、現在の視野内において人目を引いて急に起こることはない。第２に、システムは、生のテレビ映像放送中に、動いている挿入可能な画像を容易に挿入することができる。さらに、システムは、挿入可能な画像を、現在のシーン内で２つの異なる方向に動かすことができる。まず、挿入は、全体として、現在のシーン内でその位置を変えることができる。次に、挿入可能な画像自身は、フィールドからフィールドへその形状を変化させることができる。このように、本発明によれば、生のテレビ映像放送の中での動的画像の挿入を直ちにサポートすることができる。第３に、システムは、外部から感覚上の入力をしないで、自動的に挿入可能な画像のズーム率を調整する。ズーム調整は、現在のシーン内の対象の空間的な関係に基づいて計算され、カメラ自身の検知される物理的調整やカメラ上に設けられた非反復的なセンサには基づかない。それゆえに、本発明は、欲しないカメラの動きのための性能低下の影響を受けにくい。第４に、システムは、挿入可能な画像およびその挿入の位置は“びん詰めされた”プロセスによって実行される必要はなく、原則的にリアルタイムで動作される。システムのオペレータは、現実の放送中に、現在のシーン内で、挿入の位置を実質上任意に選ぶことができる。例えば、スタジアムの特定のセクションが他とくらべてファンがいないならば、オペレータは、からっぽの座席の上に画像を挿入することができる。このように、システムのオペレータは、従来利用できると知られていなかった空間を生の放送に使用することができる。今まで本発明をその好適な実施例を参照して説明してきたが、当業者であれば、全体として本発明の精神や範囲から逸脱しなければ本システムの個々の部分の構造や機能にさまざまな変更を加え得ることはわかるであろう。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)，ＵＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ (72)発明者ファント，カールアメリカ合衆国，ミネアポリス州 55414, ミネアポリス，フランクリンアベニューエス．イー． 1916

Claims

【特許請求の範囲】１．テレビの生放送シーンの中に挿入可能な画像を配置する方法であって、ａ．与えられたシーンの中に自然な複数の目印からなる第１のセットに特徴のある一の目印モデルを作るステップ、ｂ．前記目印モデルの上に座標系をスーパーインポーズするステップ、ｃ．現在画像を作るためにビデオカメラで前記シーンを走査するステップ、ｄ．前記現在画像の中において自然な複数の目印からなる第２のセットを識別するステップ、ｅ．少なくとも２つの目印がマッチしていることを識別して目印モデルと現在画像とが一列に並んでいることを決定するために、前記現在画像に位置している自然な複数の目印からなる第２セットを、ステップ（ａ）の目印モデルからの複数の目印からなる第１セットと比較するステップ、ｆ．前記座標系の座標によって決定された場所において前記テレビの生放送の前記現在のシーンの中に、前記挿入可能な画像を挿入するステップ、の各ステップを有し、前記挿入可能な画像が前記テレビの生放送の中に自然であるように見えるようにした方法。２．請求の範囲第１項に記載の方法であって、ステップ（ａ）は次のステップをさらに有する。ｇ．前記シーンの予備画像を作るためにビデオカメラでステップ（ａ）に先立ちシーンを走査するステップ、ｈ．前記予備シーンの中に前記自然な複数の目印からなる第１セットを識別するステップ、ｉ．前記目印モデルの中に前記自然な複数の目印からなる第１セットを数学的に組織化するステップ。３．請求の範囲第２項に記載の方法であって、前記ビデオカメラは可変な視野を備えると共に次のステップをさらに有する。ｊ．現在のシーンの中に目印を識別するために前記ビデオカメラの視野を絶えまなく検索するステップ、ｋ．目印モデルの中で目印と一列になった現在のシーンの中に複数の目印を保持するために、上記ステップ（ｊ）で識別された複数の目印を追跡するステップ。４．請求の範囲第３項に記載の方法であって、ステップ（ｄ）における前記複数の目印の前記識別は、ｌ．ある現在のシーンの中における検索および追跡によりどの目印の特徴が生き残るであろうかを決定するために、デシメーションの少なくとも３つのレベルで逐次的ステップによって予備シーンをデシメーションするステップ、により成し遂げられる。５．請求の範囲第４項に記載の方法であって、上記ステップ（ｈ）における前記複数の目印の前記識別は、ｍ．ある現在のシーンの中における検索および追跡によりどの目印の特徴が生き残るであろうかを決定するために、デシメーションの少なくとも３つのレベルで逐次的ステップによって現在のシーンをデシメーションするステップ、により成し遂げられる。６．請求の範囲第５項に記載の方法であって、前記デシメーションの上記ステップ（ｌ）および（ｍ）は、バートピラミッド（Burt Pyramid）解析によって成し遂げられる。７．請求の範囲第６項に記載の方法であって、前記挿入可能な画像は、静止画像ないし背景画像である。８．請求の範囲第７項に記載の方法であって、次のステップをさらに含んでいる。ｎ．フレームからフレームまで基準点に関して前記静的な挿入可能な画像の座標を増加的に変えることによって、現在のシーンの向こう側に前記静的な挿入可能な画像を移動（translating）するステップ。９．請求の範囲第６項に記載の方法であって、前記挿入可能な画像は、動画像ないし前景画像である。１０．請求の範囲第９項に記載の方法であって、前記動画像は、前記現在のシーンの中に挿入されるときに、フレームからフレームまで形を変える。１１．請求の範囲第１０項に記載の方法であって、次のステップをさらに含んでいる。ｏ．フレームからフレームまで前記基準点に関して前記動的な挿入可能な画像の座標を増加的に変えることによって、現在のシーンの向こう側に前記動的な挿入可能な画像を移動（translating）するステップ。１２．請求の範囲第１１項に記載の方法であって、次のステップをさらに有する。ｐ．相互に関して現在のシーンの中に識別された複数の目印の場所の変化に対応して、挿入可能な画像のズームスケールを自動的に調整するステップ。１３．請求の範囲第１２項に記載の方法であって、前記座標系はまた基準点を含み、さらに前記挿入のステップ（ｆ）は、前記基準点に関して決定された場所で前記現在のシーンの中に前記挿入可能な画像を挿入するステップ、を含んでいる。１４．請求の範囲第１３項に記載の方法であって、次のステップをさらに有する。ｑ．バートピラミッド解析によって自然な複数の目印が一層容易に識別され得るように、自然な複数の目印の可視性を人工的に強調するステップ。１５．請求の範囲第１４項に記載の方法であって、ステップ（ａ）は、前記与えられたシーンの中に前記複数の目印からなる第１セットに特徴のある２次元の目印モデルを作るステップを含んでいる。１６．請求の範囲第１５項に記載の方法であって、次のステップをさらに有する。ｒ．前記２次元の目印モデルの中の歪みに釣合うように前記挿入可能な画像を調整するステップ。１７．請求の範囲第１６項に記載の方法であって、ステップ（ａ）は、前記与えられたシーンの中に前記複数の目印からなる第１セットに特徴のある３次元の目印モデルを作るステップを含んでいる。１８．請求の範囲第１７項に記載の方法であって、次のステップをさらに有する。ｓ．前記３次元の目印モデルの中の歪みに釣合うように前記挿入可能な画像を調整するステップ。１９．請求の範囲第１８項に記載の方法であって、次のステップをさらに有する。ｔ．前記挿入可能な画像用アートワークを準備し、透視のために当該アートワークを調整し、挿入およびズーム調整の前に同じものを格納するステップ。２０．テレビの生放送の現在のシーンの中に挿入可能な画像をシステムオペレーターが配置するためのシステムであって、ある現在画像を作るために前記シーンを走査する走査手段と、前記現在画像の中に自然な複数の目印からなるセットを識別する識別手段と、少なくとも２つの目印がマッチしていることを識別して目印モデルと現在画像とが一列に並んでいることを決定するために、前記識別手段により識別された前記自然な複数の目印からなるセットを、前記シーンの目印モデルからの複数の目印からなるセットと比較する比較手段と、前記目印モデルの上にスーパーインポーズされる座標系と、前記座標系に関して前記システムオペレーターにより単に決定された場所において前記テレビの生放送の中に前記挿入可能な画像を挿入する挿入手段と、を有し、前記挿入可能な画像が自然であるように見えると共に前記テレビの生放送の中に実質上あらゆる場所に挿入されるシステム。２１．請求の範囲第２０項に記載のシステムであって、前記座標系はＸ、Ｙグリッド座標系であり、さらに、前記Ｘ、Ｙグリッド座標系に組み込まれ、前記Ｘ、Ｙグリッド座標系の中のある特定の点と前記挿入可能な画像の挿入点との間の距離を決定するための基準点手段を有する。２２．請求の範囲第２１項に記載のシステムであって、前記目印モデルの中で複数の目印と一列になった前記現在のシーンの中に識別された複数の目印を保持する追跡手段をさらに有する。２３．請求の範囲第２２項に記載のシステムであって、前記識別手段は、ある現在のシーンの中における検索および追跡によりどの目印の特徴が生き残るであろうかを決定するために、デシメーションの少なくとも３つのレベルで逐次的ステップによって現在のシーンをデシメーションするデシメーション手段を含んでいる。２４．請求の範囲第２３項に記載のシステムであって、前記デシメーション手段は、バートピラミッド（Burt Pyramid）デシメーション手段を有する。２５．請求の範囲第２４項に記載のシステムであって、前記挿入可能な画像は、静止画像ないし背景画像である。２６．請求の範囲第２５項に記載のシステムであって、前記挿入可能な画像は、動画像ないし前景画像である。２７．請求の範囲第２６項に記載のシステムであって、前記動画像は、前記現在のシーンの中に挿入された後にフレームからフレームまで形を変える。２８．請求の範囲第２７項に記載のシステムであって、さらに、フレームからフレームまで前記座標系に関して前記挿入可能な画像の座標を増加的に変えることによって、現在のシーンの向こう側に前記挿入可能な画像を移動する画像ドライブ手段を有する。２９．請求の範囲第２８項に記載のシステムであって、さらに、相互に関して現在のシーンの中に識別された複数の目印の場所の変化に対応して、前記挿入可能な画像のスケールを自動的に調整するズーム調整手段を有する。３０．請求の範囲第２９項に記載のシステムであって、さらに、前記Ｘ、Ｙグリッドの中で歪みに釣合うように前記挿入可能な画像を調整する歪みマッチング手段を有する。３１．請求の範囲第３０項に記載のシステムであって、さらに、前記識別手段によって自然な複数の目印が一層容易に識別され得るように、自然な複数の目印の可視性を人工的に強調する目印強調手段を含んでいる。３２．請求の範囲第３１項に記載のシステムであって、前記目印モデルは２次元の目印モデルである。３３．請求の範囲第３２項に記載のシステムであって、前記目印モデルは３次元の目印モデルである。３４．請求の範囲第３３項に記載のシステムであって、前記走査手段は、ビデオカメラを有する。３５．請求の範囲第３４項に記載のシステムであって、前記走査手段はまたある予備シーンを走査し、前記識別手段はまた前記ビデオカメラによって走査された前記予備シーンの中に複数の目印を識別し、前記目印モデルは前記識別手段によって識別された前記予備シーンの中の複数の目印によって形成される数学的モデルである。