JP4641566B2

JP4641566B2 - 物理的なセンサーおよびパターン認識の結合を用いたビデオストリームへの画像挿入

Info

Publication number: JP4641566B2
Application number: JP52482198A
Authority: JP
Inventors: ロッサー，ロイ，ジェイ; タン，ジ; ケネディ，スキップ; ジェファース，ジム; ディチコ，ダレル; ゴン，キシミン
Original assignee: ピーヴィーアイヴァーチャルメディアサービスイズ，エルエルシー
Priority date: 1996-11-27
Filing date: 1997-11-25
Publication date: 2011-03-02
Anticipated expiration: 2017-11-25
Also published as: RU99110735A; DE69738908D1; ATE405102T1; EP0943211A1; ES2313738T3; BR9714970A; JP2001506819A; EP0943211B1; AU5457598A; DK0943211T3; PT943211E; EP0943211A4; CN1238888A; WO1998024242A1

Description

【技術分野】
【０００１】
発明の属する技術分野
発明の技術分野
本発明は、ビデオ画像に現実的な指標を挿入する追跡画像フレームのためのシステムと方法に関する。
【背景技術】
【０００２】
従来の技術
関連出願の参照
本出願は、「物理的なセンサーおよびパターン認識の結合を用いたビデオストリームへの画像挿入」と称する１９９６年１１月２７日に出願されたアメリカの暫定的な出願シリアル番号第６０／０３８，１４３号に関連し、その利益を主張するものである。
【０００３】
本出願は、以下の共通に所有される出願中の出願にも関連する。
【０００４】
「ライブビデオ放送に静的および動的な画像を挿入するシステムと方法」と称する１９９５年１１月２８日に出願されたシリアル番号第０８／５６３，５９８号、「ライブビデオ挿入システムの追跡シーン運動の方法」と称する１９９５年１２月２９日に出願されたシリアル番号第０８／５８０，８９２号、「合成共通参照画像を有する適応オクルージョンを用いたビデオへのリアルタイム挿入のシステムおよび方法」と称する１９９６年６月１２日に出願されたシリアル番号第０８／６６２，０８９号および「持続的に選択された画像構造テンプレートを用いたカメラ追跡」と称する１９９６年１１月２７日に出願されたシリアル番号第６０／０３１，８８３号、前述の出願は、本願明細書に引用した全てである。
【０００５】
関連技術の説明
ライブビデオ信号に電子画像を挿入するための電子装置は、例えば、米国特許５，２６４，９３３号において、ロッサー等によって説明されているように、主にスポーツ大会といった放送イベントに広告および他の指標を挿入する目的で開発され使用された。これらのデバイスは、オリジナルのシーンがズームされ、パンされ、逆にサイズや遠近が変わったとしても、継ぎ目なくそして現実的にロゴまたは他の指標をリアルタイムにオリジナルビデオに組み込むことができる。その他の例としては、ハンナに与えられた米国特許第５，４８８，６７５号とクレイトマン等に与えられた米国特許第５，４９１，５１７号がある。
【０００６】
挿入された指標が実際にシーン内に存在するかのように見せることは重要であるが、その技術でこれを満足させるのには難しい状況にある。問題となる様相は、平均的な視聴者の目がフィールドからフィールドまでの目標物の相対位置の僅かな変化に非常に敏感であるということである。ＮＴＳＣテレビ画像の１画素の１／１０と同じくらの小さで挿入されたロゴの相対的な動きは、視聴者に認識できるという事実が経験的にわかっている。放送環境に挿入された指標を配置したり、絶えず高精度に維持したりすることは、商業上実用可能なビデオ挿入技術を作る上で重要である。放送環境は、画像ノイズ、突然の速いカメラ移動の存在、画像の重要なフラクションを不明瞭にする移動している目標物の離散的な発生、自然条件やオペレータ調整のどちらでも誘発されるレンズ特性と光レベルの変化による画像の歪み、およびテレビジョン信号の垂直インターレスを含む。
【０００７】
従来技術においては、画像移動の自動追跡は、一般的に２つの異なる方法によって実行している。
【０００８】
第１の方法は、画像自体のパターン認識と、相関あるいは差分手法を用いてビデオシーンの公知のランドマークを追跡し、または周知のオプティカルフロー手法を用いて動きを計算するといういずれをも用いたものである。ホーン、Ｂ．Ｋ．Ｐとシャンク、Ｂ．Ｇ．の「オプティカルフローの決定」、人工知能、ｐｐ１８５−２０３、（１９８１）参照。ランドマークは、一時的または永久のものであるかもしれず、シーンの自然の部分または人工的に導かれるものであるかもしれない。ランドマークの形状および配置の変更は、要求された指標を挿入するために測定され用いられる。
【０００９】
第２の方法は、たとえば、Ｄ．Ｗ．クレインに特許された米国特許第４，０８４，１８４号に説明され、焦点距離、方位角、および高さの情報を提供するためにカメラに配置されたセンサーを用いている。これらのセンサーは、与えられたカメラの視野内において類似のランドマーク位置データを提供するために存在する。
【００１０】
パターン認識システム
ロッサー等によって開発された画像挿入システムのパターン認識のタイプは、たとえば、２つのはっきりしたモードを持っている。１番目はサーチモードであり、ライブビデオのそれぞれの新しいフレームは、個々のターゲット画像を検出し確認するために探索される。２番目は追跡モードであり、ビデオの前のフレームにおいて、システムは、ターゲット画像が存在したということを知る。システムは、その前のフレームの位置および方向をいくつかの定義済み参照座標系に関して更に知る。
【００１１】
ターゲット画像位置は、追跡され予め定義された参照座標系に関して最新のものにされる。
【００１２】
サーチモードは、一定の画像を識別するためにパターン認識技法を使用する。
【００１３】
カメラセンサーを使用することに対抗してパターン認識によって位置のデータを得ることは、ビデオ放送チェーンのどんな位置ででも挿入できるライブビデオ挿入システムとなるので、重大なシステム自在性を提供する。たとえば、実際の挿入は、国あるいは世界中のスタジアムあるいはアリーナから、異なるビデオ供給を受け取る中央側で実行できる。多様な供給は、衛星または電線または公知技術のあらゆる他の手段によって受信することができる。一旦挿入が加えられると、ビデオフィードは衛星または電線によってそれが始まる放送位置にまたは直接視聴者に送り返される。
【００１４】
しかしながら、このようなパターン認識検索および追跡システムは、一部のイベントには実行することが難しく、ライブビデオ挿入システム操作の間のエラーの傾向がある非常に弱いものである。ここでの譲受人であるプリンストンビデオイメージＩｎｃは、多くの会場や、たとえば野球、フットボール、サッカーおよびテニスのイベントのための強力な検索を工夫しプログラムした。しかしながら、類似した検索アルゴリズムを実行する時間とコストは、他のタイプのイベントに対しては非常に高くなる。パターン認識の検索は、会場の様子に対する大きな変化が時間または落ち着いた日内でされるイベントにとっては困難である。これは、会場の様子は不変ではないので、予め定義された会場の共通参照画像を得ることが困難だからである。そのような場合、検索の問題に対するより有効な処置は、カメラの一台以上にターゲットの位置データを得るために取り付けられたセンサーを利用することである。
【００１５】
カメラセンサーシステム
単にカメラセンサーシステムだけに頼る欠点は、以下に詳述される。テレビ放送された野球およびフットボールゲームの実地試験において、以前のシステムは、以下に詳述する重大な問題に遭遇した。
【発明の概要】
【発明が解決しようとする課題】
【００１６】
１．カメラの動き
たとえばフットボールや野球のような特有のスポーツにおいては、クローズアップショットは、動作から数百ヤードの距離まで離れたところで長い焦点距離カメラ操作で捕らえられる。これらの両スポーツとも、ボールを打ったり蹴ったりする突然の動作を有し、ゲーム中に静かなシーンから速く移動する動作のシーンに急に変わる。長い焦点距離のカメラがこの動作に反応するとき、記録される画像は動きの追跡を困難にするいくつかの特徴を示す。例えば、画像の動きは１フィールド当たり１０画素と同じくらい速い。これは、１０×１０未満の画素ウインドウを吟味するシステムの範囲外にとどまるだろう。加えて、静的な画像の１ラインは数画素幅であり、ぼけているのは１０画素幅であるために、画像は焦点が合わなくなり、ぼけている厳しい動きを被るかもしれない。これは、システムの追跡は狭いラインであり、実際に急速なパニングだけが発生してズームが変更されると、突然に整合しなくなったり推定をしなくなったりすることを意味する。ぼけている動きは、パターン構造と同様に、照明レベルおよび色の変化を引き起こし、その全ては画像処理技術を基礎とするパターンを使用するシステムの問題である。２フィールドと同じくらいの僅かなカメラの動きでさえ、ローカルなおよび大規模な画像の幾何学的構造の突然の変化を引き起こす。画像の照明レベルおよび色は、カメラの動きによっても影響を受ける。
【００１７】
２．移動する目標物
スポーツシーンには通常、一般的に誰がいつ突然、意外な動きをするかもしれない、予測性の一部の段階を追跡する多くの参加者がいる。これは、現実のスポーツ大会のいかなる自動的な移動追跡でも画像のさまざまな部分の突然のおよび予想外のオクルージョンに対処することが可能でなければならないことを意味する。加えて、ユニフォームの相違およびプレーヤによってゲームの間にとられるポーズは、シーンのどんな純粋な幾何学的なパターンでも追跡する試みが、類似したパターンの多数の発生数に対抗することができなければならないことを意味する。
【００１８】
３．レンズ歪み
全ての実用的なカメラレンズは、それらの目標物が画像のエッジの方へ移動するように、画像の目標物の相対位置を変える幾何学的なレンズ歪みがある。画素精度の１０分の１が要求されるときに、これによって問題が生じる可能性がある。
【００１９】
４．信号のノイズ
実際のテレビジョン信号は、たとえばナイターのように、特にカメラが低光レベルのイベントを報道するために電子的に高められたときにノイズを示す。このノイズは、信号の強度にかかわらず、これらの整合パターン形状のような標準の正規化相関認識に依存する画像解析手法について大混乱を来す。ノイズの種類がランダムであるので、ビデオ（あるいは特有の３時間ゲーム）の数十万フィールドの間、ノイズパターンを実質上のパターンと間違える可能性があることは重大な問題である。
【００２０】
５．フィールド間インターレス
共にフレームを構成する２つの垂直にインターレスされたフィールドにおいて、ＮＴＳＣおよびＰＡＬ規格のテレビ画像は伝送される。これは、テレビは画像の単一のストリームではなく、密接に関係するが僅かに異なる画像の２つのストリームであることを意味する。その問題は、特に狭い水平ラインで顕著である。そして、それは他方を除く一方のフィールドにあまり明らかでないかもしれない。
【００２１】
６．照度および色の変更
屋外のゲームは、特に照度と色が変化する傾向にある。典型的に夏のナイターは、明るい太陽光線の下で始まり、暗い照明灯の下で終わる。２つ以上の要素の照度変化は、このような環境において特有である。加えて、自然から人工的な照明への変更は、視野内の目標物の色を変える。たとえば、フロリダのプロプレーヤ公園では、壁は、自然の照明の下では青く見え、人工照明の下では緑に見える。
【００２２】
７．差分の設定
カメラは、夜から夜への、小さいが検出可能な差分を準備するのに役立つ。たとえば、カメラのチルトは、プラスマイナス１％まで典型的に変化するが、これは視聴者にとって直ちに明らかにはならない。しかしながら、これはプラスマイナス７画素を意味し、８画素×８画素の特有のテンプレートでの測定に対する問題である。
【００２３】
カメラセンサーの利点は、カメラがどこを示しているのか、カメラがどんな倍率で画像を見ているのか、というカメラが使用されている合理的な確かな能力を含むことである。ギアのバックラッシュのように、機械の本来の不確実性によるカメラセンサーデータの不正確があるかもしれないにもかかわらず、これらの不正確は、決して大きくないであろう。
【００２４】
たとえば、カメラセンサーシステムは、審判員をゴールポストとして誤認識したり、また、ズームアウトされたスタジアムの景色が、後ろの壁の景色の拡大であると思ったりすることはない。それは、決して前景における目標物の移動をカメラ自体の移動と混同しないであろう。
【００２５】
必要なことは、不利な点の各々を除去しまたは最小限にする一方、探索するためのパターン認識システムおよびカメラセンサーシステムおよび追跡シーン移動の利点を結合するシステムである。パターン認識／カメラセンサーハイブリッド挿入システムを実現する際の第１の障害は、２つの完全に異なる方法によって得られるデータとの間の結合および／または切り替えである。正しく行なわれないとき、全体的な画像の中で、挿入された画像をひょいと動かしたり、振動させたりするようなことを際立たせ、結合あるいはスイッチは不安定な結果を与える。この問題点を克服することは、十分な放送品質のハイブリッドシステム動作にとって至難である。
【発明の効果】
【００２６】
発明の要約
背景として、ＬＶＩＳ、またはライブビデオ挿入システムは、「ライブビデオ放送に静的および動的画像を挿入するためのシステムと方法」と称する１９９５年１１月２８日に出願された共有の出願シリアル番号第０８／５６３，５９８号において説明される。ＬＶＩＳは、現実的な様式のライブビデオ放送に、リアルタイムを基準に、静的又は動的画像を挿入するためのシステムと方法である。
【００２７】
まず、次の検出および追跡に適しているシーンの自然のランドマークが選ばれる。ランドマークは、パンしたりズームしたりするビデオカメラに見えるシーン内で、好ましくは鋭い、太いおよび貴重な垂直、水平、斜めのまたはコーナーの機能を備える。典型的に、少なくとも３つ以上の自然のランドマークが選ばれる。たとえば、野球場あるいはフットボールスタジアムのように、ランドマークが全てのシーンの全体にわたって分配されることと、どんな瞬間でもカメラの視野は通常はパンされる全部のシーンより小さいことは、よく理解されている。ランドマークは、挿入領域は典型的に多数の定義可能なランドマークを含むにはあまりに小さく、したがって、挿入可能な画像は動的なものであるかもしれず、それは一つの固定されたターゲットの行き先を持たないので、行き先位置あるいは領域の外側にたびたび設置される。システムモデルは、変形可能な２次元のグリッド上で自然のランドマークを認識できる。特殊活字、非ランドマーク、参照点は、シーン内で選択される。参照点は、数学上自然のランドマークと関連しておよび挿入領域を設置するためにその後使用される。
【００２８】
挿入プロセスの前に、挿入される画像のアートワークは、配景、すなわち形状のために調節される。システムが数学的な関係をシーンのランドマークとの間に知覚するので、ズーム比と適用されなければならないＸ，Ｙ位置調整を自動的に決めることができる。その後は、カメラが内と外にズームし、パンしながらその視野を変更したときでも、ホーム視聴者が自然に見えるように、挿入可能な画像は適切に基準化され、視野の他の機能に関連して調和される。システムは、シーンの内外に動かすことができ、一部の従来技術システムの場合のような「ポップアップ」よりはむしろシーン内に自然に現れる挿入可能な画像を有する。システムは、どんな位置ででも簡単に挿入可能な画像を配置できる。
【００２９】
本発明は、まさに他のものやターゲットデータを設置し、確認しおよび追うためのカメラセンサーデータと同様に説明されるパターン認識技術の結合を用いた複合型ライブビデオ挿入システム（ＬＶＩＳ）である。カメラセンサーは、検索および検出、すなわち認識、パターン認識および「永続的に選択された画像構造テンプレートを用いたカメラ追跡」と称する１９９６年１１月２７日に出願された出願中の暫定的な出願シリアル番号第６０／０３１，８８３号を含むランドマーク追跡技術に対するＬＶＩＳの要求事項によく適合している。
【００３０】
本発明の背景の概念は、ビデオ画像の解析がカメラセンサーデータを安定させ、改良させるように、カメラセンサーデータと光学パターン技術を結合することである。この安定化および改良は、ランドマークデータを探索し、追跡するために標準のＬＶＩＳシステムで用いられる予測方式のためのカメラセンサーデータを安定化することによって、または標準のＬＶＩＳシステムによって実行された模範的な計算において該当する重み関数で他のランドマークのセットのカメラセンサーデータを用いることによって行なわれる。一旦カメラセンサーがシーンのランドマークに対応する必要なデータを得ると、データは、標準のＬＶＩＳの追跡関数について互換性がありおよび有用であるフォーマットに変換され、残りの挿入プロセスは標準通りに実行される。
【００３１】
したがって、本発明はイベント位置の細部から独立している大きな検索能力を有するＬＶＩＳを提供するためにカメラセンサーデータを利用する。さらに、上記のようなカメラセンサーシステムに関連する不利な点の多くは克服される。
【００３２】
本発明は、ズーム、レンズのフォーカス、固定された台に関するカメラのパンとチルトを検知するセンサーを含む１台以上のイベントカメラを有する特有のＬＶＩＳを構成する。不安定な位置のカメラのために、より安定なスタジアムの参照に関して、実質的に固定された台の動きを測定する付加センサーが含まれる。
【００３３】
ハンドヘルドまたはモバイルカメラのため、予め決められた参照位置の設定に関するカメラの位置と方向を測定するために、さらに設置されたセンサーが含まれる。それぞれのカメラからのセンサーデータ、必要ならば、プロダクションスイッチャからのタリーデータと一緒に、ＬＶＩＳによってランドマークデータを検索し検出するために用いられ、現在画像において生ずべきだいたいの挿入の位置を示すために用いられる。タリーデータは、ビデオスイッチャによって供給されるプログラムとしてカメラまたはビデオ供給源が出力する表示として電子的信号の形式をとる。
【００３４】
センサーデータとタリーデータは、本質的に従来のパターン認識ライブビデオ挿入システムのサーチモードにとって代わる。挿入位置の正確な最終的な決定は、実際のビデオ画像の機能および／または構造解析を使用することによって決められる。この解析は、「ライブビデオ挿入システムのための追跡シーン移動の方法」と称する１９９５年１２月２９日に出願された出願中の出願第０８／５８０，８９２号および「永続的に選択された画像構造テンプレートを用いたカメラ追跡」と称する１９９６年１１月２７日に出願された第６０／０３１，８８３号に記載されているように、ビデオフレーム内の特徴および／または構造の位置を、共通参照画像または前の画像の挿入位置および周囲に対応する位置と比較する。
【図面の簡単な説明】
【００３５】
図面の簡単な説明
【図１】図１は、シーンの参照ビデオ画像を示す概略構成図である。
【図２】図２は、図１の参照ビデオ画像のライブビデオ画像を示している概略構成図である。
【図３】図３は、参照配列の特有の表現のエレメントを示すテーブルである。
【図４】図４は、インターレスビデオフィールド内のｙ画像位置に対する視野数の概略構成図である。
【図５ａ】図５ａは、ゼロ平均エッジテンプレートの横断面図である。
【図５ｂ】図５ｂは、ゼロ平均エッジテンプレートの平面図である。
【図６】図６は、相関面を示す図である。
【図７】図７は、表面の測定されたおよび予測された位置を示す図である。
【図８】図８は、トラック、参照および参照配列の階層が使用されるコードが適応参照配列を管理する方法の模式的な流れ図である。
【図９】図９は、ランドマークとカラーベースのオクルージョンのために使用される関連したセンサー位置の概略図である。
【図１０】図１０は、カメラセンサーおよび画像追跡システムの結合を用いたイベント放送の概略構成図である。
【図１１】図１１は、カメラデータがランドマーク位置を予測するために用いられる本発明のシステムを示すブロックダイヤグラムである。
【図１２】図１２は、カメラデータがカメラデータエラーを補正するために適切に重み付けされた特別な「仮想」ランドマークを提供するために使用される本発明のシステムを説明するブロックダイヤグラムである。
【図１３】図１３は、パン、チルト、ズーム、フォーカスのセンサーが取り付けられたカメラを示す図である。
【図１４】図１４は、光学的にエンコードされたセンサーからのデータ出力の表現を示す図である。
【図１５】図１５は、センサートラックＡの推移とセンサートラックＢの状態およびセンサーの時計回り（ＣＷ）、反時計回り（ＣＣＷ）の回転方向との間の関係を示す図である。
【図１６】図１６は、放送画像から取得される共通参照画像を示す図である。
【図１７】図１７は、固定して保持されたレンズのフォーカスエレメントを有するＺ（カウンタからのカウント数がズームレンズのズームエレメントドライバに属する）に対するズーム（画像拡大）のプロットを示す。他の３つのプロットは、Ｚプロットに対してこれらの上にオーバーレイされる。３つのオーバーレイは、３つのＺ（ズームエレメントドライバからのカウント）のはっきりした、異なるおよび固定された設定でのＦ（計数器からのカウント数はズームレンズのフォーカスエレメントドライバに属する）に対するズーム（画像拡大）のプロットを示す。
【図１８】図１８は、カメラ動きを検出するための加速度計（センサー）を取り付けたカメラを示す図である。
【図１９】図１９は、送信機を付けているモバイルカメラの動きを追うために使用される３つの固定された受信局を示す図である。
【図２０】図２０は、イベントのカメラとテニスボールのような目標物の関心のいずれもが送信機に相応しい放送状況を示す図である。
【発明を実施するための形態】
【００３６】
好適な実施例の詳細な説明
この説明の過程を通じて、同一の符号は、本発明を説明する異なる図について同一の要素を示すために用いられる。
【００３７】
「ライブビデオ挿入システムのための追跡シーン移動の方法」と称する１９９５年１２月２９日に出願されたシリアル番号０８／５８０，８９２号の標準ＬＶＩＳ検索／検出および追跡方法は、シーン内の予め指定されたランドマークのグループまたはグループの幾つかの部分集合を得るためにエッジのようなズームに無関係のテンプレートのテンプレート相関を用いている。ランドマークのテンプレート相関は、シーンの動きを得るために用いられる生の位置情報を提供する。
【００３８】
代表的に用いられるランドマークは、野球場の構造の一部であったりプレイのフィールド上のマーキングであったりする。そのシーンの理想的な数学的公式を創造することは、追跡アルゴリズムのキー部分である。この理想的な数学的表示は、参照配列として参照される単なるｘ、ｙ座標値のテーブルである。配列を連想させる用語「画像」は、オペレータの便宜のためである。現在イメージまたはシーンは、この参照配列に関連する。典型的に、使用されるランドマークは、球場の構成あるいはグラウンド上のマークの一部であるかもしれない。追われるシーンの理想的な数学的な公式化をすることは、追跡アルゴリズムのキー部分である。この理想的な数学的な表現は、参照配列と称される単なるｘ，ｙ座標値のテーブルである。配列と関連する用語「画像」は、オペレータの都合のためにある。
【００３９】
参照配列の対応箇所に現在シーンの位置をマップする数学的な変換を定義する一組のワープパラメータによって、現在画像またはシーンはこの参照配列に関係づけられる。回転が無視されてあるいは一定にしておかれる単純な場合において、現在画像は、次のように参照配列にマップされる。
【００４０】
【数１】
x’＝a＋bx
y’＝d＋by
【００４１】
ここで、ｘ’とｙ’は、現在シーンにおけるランドマークの座標、ｘとｙは、参照配列における同じランドマークの座標、ｂは、参照配列と現在シーンとの間の拡大、ａは、ｘ方向の移動、ｄは、参照配列と現在シーンとの間のｙ方向の移動である。
【００４２】
実体の適応、地理的な階層的な追跡は、予期された模範的な推論された位置の近くに見出されるランドマークに対して最も多くの注意を払っている。
【００４３】
第１のステップは、予期された模範的な推論された位置を設定するために正確な速度予測方式を得ることである。このような前のフィールドあるいはシーンからのワープパラメータによる推定は、現在画像内にランドマークがなければできない。インターレスビデオの速度予測の第１の障害は、本発明は、前の同じフィールドからの位置を用いることによって、および最後の２つの異なるフィールド間の相違する動きを用いることによってこれを取り扱う。
【００４４】
現在画像内で予測されたランドマークが持つべき１５×１５画素領域に渡るテンプレート相関は、この予測された位置の中心に置かれる。これらの相関パターンは、スレッショルド基準を上回るファーストマッチを中央から外側に探索される。さらにそれぞれのランドマークは、距離に反比例する値の重み関数を有し、ランドマークは、その予期された模範的な推論された位置から離れる。現在シーンに対する新しいワープパラメータを計算するときに、それぞれのランドマークの現在位置は、この関数によって重み付けされて使用される。これは、予測された位置により接近しているランドマークにより多くの重みを与える。
【００４５】
シーンの動きのため、カメラの歪みを補正するのに必要なさらなるステップは、それらの現在位置に基づいてランドマークの参照配列座標を動的に最新のものにすることである。この更新は当てはまるランドマークだけにされ、それ自体距離エラー重み関数によって重く重み付けされる。この適応参照配列は、ランドマークがレンズと歪んだ配景を通過したとしても、ランドマークの非常に正確な追跡を許す。適応参照配列を有する際の危険は、それが汚染されるかもしれないということである。この危険は参照座標の３つのセットを有することによって和らげられる。そして、それらはコード、ゲームおよび追跡参照座標と称する。システムが、最初にロードされるとき、コード参照座標はオリジナルの参照座標にセットされる。ゲームおよび追跡座標は、最初にコード参照座標と等しくセットされる。一旦システムがシーンを設定して追跡を開始すると、追跡座標が使用される。しかしながら、切れるシーンが発生するごとに、追跡座標は自動的にゲーム参照座標にリセットされる。オペレータはいつでも、現在追跡座標をゲーム参照座標と等しく設定したり、あるいはゲーム参照座標をコード参照座標に戻したりすることを選択できる。この方式は、オペレータの優先権限で適応参照の更新を許す。
【００４６】
追跡方式の最終的なエレメントは、システムのスプリアスデータを避けるため、ランドマークがいくつかの目標物によって不明瞭にされたときに決定する方法である。カラーベースのオクルージョン方法は、ランドマークが見出される周囲のパターン内の一組のセンサー位置を計算するために使用される。それらの領域で予想された色とは異なることが判ったときは、ランドマークは遮られ、以降の計算には使用されない。適したランドマークからのセンサー位置は、システムが、放送の過程の間、太陽光線から人工的な光に徐々に変更していくような状況の変更に適応できるように、予測されるセンサー位置の色に対する参照値を最新のものにするために使用される。
【００４７】
この戦略の適応、階層的な追跡は、実質的な生放送テレビの世界環境において、雑音の多いビデオシーケンス内のランドマークの高精度および強力な追跡の手段であることがわかった。
【００４８】
図１を参照すると、ビデオ画像の移動追跡は、本発明によって実践されるように継ぎ目のない挿入を許し、挿入が配置されるシーンの参照配列１０を起動する。実際の画像を有することは有用な精神的補助であるにもかかわらず、この参照配列は参照配列１０内で多くのキーランドマークセット１６および１８の位置を表示する一組の理想とされたｘ，ｙ座標値以外の何物でもない。特有のテーブルは図３に示され、ｘあるいは水平座標３１を記載していることとｙあるいは垂直座標位置３３を記載していることを示している。キーランドマークセット１６および１８の位置３１および３３は、動きが測定される参照としておよび挿入が正しい位置に置かれる関係において、いずれも使用される。センターフィールドカメラからの野球シーンの特有の参照配列１０は、ピッチャーマウンド１２、後ろの壁１４、後ろの壁１４を作るパッドとの間の垂直ライン１５、後ろの壁と１組の水平ランドマーク１８をセットとするグラウンドとの間の水平ライン１７のような撮影場所の特徴から成る。
【００４９】
現在画像あるいはシーン２０は、現在考慮されているビデオシーケンスからのフィールドである。主な特徴または参照配列１０からのランドマークセット１６および１８の位置もまた、位置２６および２８を測定したように、現在画像２０において示される。測定された位置２６および２８は、セット１６および１８から一組のワープパラメータまでの一致する参照配列ランドマーク位置に関係がある。一組のワープパラメータは、参照配列１０内の点の位置に、現在画像２０内の点の位置を非常に正確にマップするという数学的な変換として定義される。このようなマッピングは数学上周知である。「デジタル画像処理における幾何学的な画像修正」Ｗ．Ｋ．プラット第２版、１９９１年、ジョンワイリーおよび息子（ＩＳＢＮ０−４７１−８５７６６）参照。
【００５０】
固定されたテレビジョンカメラ、特に、非常にスポーツ性の高いイベントにおいて合理的に長い焦点距離を有するカメラからの配景の追跡は、ある２次元面に他の２次元面をマッピングするものとして考えることができる。画像に対する画像移動、ズーム、ずれ、および回転を考慮したマッピングを果たす一般的な数学的な変換は、以下の６つのパラメータモデルによって与えられる。
【００５１】
【数２】
x’＝a＋bx＋cy
y’＝d＋ex＋fy
【００５２】
ここで、ｘとｙは、参照配列１０の座標であり、
ｘ’とｙ’は、現在画像１０の変換された座標であり、
ａは、ｘ方向における画像移動、
ｂは、ｘ方向における画像倍率、
ｃは、ｘ方向における回転、スキューの結合、
ｄは、ｙ方向における画像移動、
ｅは、ｙ方向における回転、スキューの結合、
ｆは、ｙ方向における画像倍率である。
【００５３】
ここで論議される追跡アルゴリズムと方法は、他のより一般的な変換と同様に上記の変換についても使用できる。しかしながら、経験では、動的に更新された参照配列で示され、ずれまたは回転がないと仮定した単純なｘ、ｙマッピング機能は満足される。したがって、回転が無視されるかまたは定数（ｃ＝ｅ＝０）を保ち、およびｘ、ｙ方向の倍率が現在画像２０内の点の同一（ｂ＝ｆ）位置である単純な場合には、以下の式を用いた参照配列１０内の点の位置にマッ
プされる。
【００５４】
【数３】
x’＝a＋bx
y’＝d＋by
【００５５】
ここで、ｘ’とｙ’は、現在画像２０内のランドマークの座標であり、
ｘとｙは、参照配列１０内の同一ランドマークの座標であり、
ｂは、参照配列１０と現在画像２０の倍率であり、
ａは、ｘ方向の移動であり、
ｄは、ｙ方向の移動である。
【００５６】
この単純なマッピング方式は、経験では、動的に更新された参照配列が使用されるときに、テレビスポーツ放送内で示す限定されたずれ、回転および配景の歪みを取り扱う強力な能力があるために使用される。
【００５７】
動きの追跡は、現在画像２０のランドマークセット２６および２８の位置を測定する方法であり、これらの測定量は、上式によって明らかにされたワープパラメータａ，ｄ，ｂを計算するため使用される。適応性のある幾何学的な階層的な追跡の重要な部分は、それぞれのランドマークに重みを割り当てる概念である。
【００５８】
重みは、それぞれのランドマークが、見出されると予測され予期されるところから離れて検出されるため、反比例して割り当てられる。より近いランドマークは、予測される位置に見出され、そのランドマークには、現在画像２０の位置を参照配列１０の位置にリンクさせるワープパラメータの計算においてより大きな重みが与えられる。
【００５９】
第１ステップは、現在画像２０において、ランドマーク２６および２８がなければならないところを予測している。これは、３つの前のフィールドのランドマーク位置を分析することによってなされる。前のモデルから推論されるランドマークの前の位置および速さは、現在画像２０において現れるランドマークを評価するために用いられる。位置および速さの計算は、ＮＴＳＣおよびＰＡＬの両方の現在の標準的なテレビ伝送の方法が複合され、２つの垂直にインターレスされたフィールドに送り出される。したがって、１つおきの水平走査は別々のフィールドに含まれ、慣習的に奇数および偶数のフィールドと称される。ＮＴＳＣシステムにおいて、それぞれのフィールドは／６０秒（１６．６ｍｓｅｃ）で送り出され、１つのフレームは１／３０秒ごとに結合される。
【００６０】
速さ推定の１つの重要な実際的な考察は、速さ推定において使用され、測定された位置ではない前のフィールド（−１、−２および−３）のｘおよびｙ位置であり、それらのフィールドのそれぞれにおいて、推論される最終的なワープパラメータを用いて計算される位置であるということである。ランドマークの全ては、現在および参照配列間にマッピングを与えるワープパラメータａ，ｂ，とｄの単一のセットを推論するために使用される。ワープパラメータの単一のセットは、現在画像２０に参照配列座標１０を投影するために使用され、現在画像におけるランドマーク位置の理想的なセットを与える。それは、速さ予測において使用される模範的な推論された位置と称されるそれぞれのフィールドのランドマーク位置の理想的なセットである。
【００６１】
図４に示したように、ランドマークの現在ｙあるいは垂直位置は、前の３つのフィールドから予測される。現在フィールド（フィールド０）のｙ位置は、両方のそれぞれが奇数あるいは均一である「同じ」フィールドであるフィールド−１とフィールド−３のランドマークの模範的な推論された位置の差分として速さのｙ成分を測定することにより予測される。ｙ速度成分は、それから現在フィールドと「同じ」前のフィールドであるフィールド−２の模範的な推論されたｙ位置に加えられ、現在フィールドのランドマークを見出すための推定に達する。
【００６２】
ｘ方向の予測は同じアルゴリズムを使用することができ、インターレスがないので、ｘ方向の計算はより単純かつ僅かなものとすることができる。より単純な方式において、速さのｘ成分は、フィールド−１のランドマークの模範的な推論された位置とフィールド−２のランドマークの模範的な推論された位置との間の差分として計算される。この差分は、フィールド−１の模範的な推論された位置に加えられ、現在フィールドのランドマークを見出すための推定に達する。
【００６３】
現在画像の全てのランドマークの予測された最も適当な位置を有し、ランドマークの位置は、その予測された位置で中央に位置された１５×１５画素領域の全面に８×８画素テンプレートとの相関をとることによって見出される。相関あるいはテンプレートマッチングは周知の手法であって、その標準形において、目標物の検出の最も基本的な手段のうちの１つである。Ｗ．Ｋ．プラットによる「デジタル画像処理の画像検出および認識」（第２版、１９９１年、ジョンワイリーおよび息子ＩＳＢＮ０−４７１−８５７６６）、２０章参照。テンプレートが、それが使用されているシーンの１部に近似しているために行なわれる相関あるいはテンプレートマッチングの多くの標準的な方法と違って、本発明のテンプレートは、合成でできたものであり、形状および値の両方において理想化されたものであり、「ゼロ−平均」である。
【００６４】
たとえば、画像から捕られるゴールポストの部分に用いるよりもむしろ直立したフットボールのゴールポストの追跡において、使用されるテンプレート５４は、負に導かれるライン５６と正に導かれるライン５８の均一な値のエッジであり、８×８のテンプレートの加算値は、図５ａの断面図と図５ｂの平面図に概略的に示されるように、ゼロである。
【００６５】
このテンプレートは、独自のズームが存在する利点を有し、均一な輝度の表面上にゼロ値を与えるだろう。この手法は、８×８画素テンプレートは限定されず、１５×１５画素領域に限定して相関がとられる領域ではない。更に、この手法は、ゼロ平均テンプレートにも限定されない。垂直および水平ラインとエッジだけが追われている状況において、水平の細部を理解するための（１×ｎ）相関面と、垂直の細部を理解するための（ｎ×１）相関面とを有することによって計算を減らすことが可能である。ここで、ｎは、通常、５〜５０画素の範囲の合理的な値である。
【００６６】
理想とされた、ゼロ−平均エッジテンプレート５４は、図６に概略的に示されるように、相関面６０を生成するために拡大され、フィールターにかけられ、１０分の１にされた複製または現在画像の１５×１５画素領域の全面に関連する。この相関面６０は、１５×１５画素の配列から成り、この明るさは、その位置が中央におかれたときに、テンプレートに対する画像の相関に対応する。典型的に、ラインを含む画像の領域の全面に相関しているエッジテンプレート５４は、完全な整合を示すポジティブゴーイングラインレスポンス６６と、不整合を示す該当ネガティブゴーイングラインレスポンス６７との両方を与える。この不整合ライン６７は、ポジティブゴーイングマッチライン６６から離れたその位置および距離がラインの幅の測定を与えるという点で、およびその周囲よりも明るいか暗いかという点で用いることができる。加えて、現在画像の特徴のような明るいエッジに対応する相関面６０上の他の明るい画素６８がある。
【００６７】
適応性のある幾何学的な階層的な追跡方法の指導原理は、ランドマークをフォーカスすることであり、最も接近していると予測されるポテンシャルランドマークの示す相関ピークである。１５×１５の相関面６０のどこかにピークを探すというよりも、これらのパターンはセンタから外へ探索される。最も単純に非常に効果的にこれを行なう方法は、最初に中央の３×３画素領域６４において中央の９画素値を見ることである。これらの画素のいずれかがスレッショルドより大きい相関値を有する場合、画素が探し求めているランドマークを表示し、相関面の更なる調査がされないと仮定される。スレッショルドは、通常予期される普通のランドマーク相関の５０パーセントである。この３×３の最初の検索は、マークされた画素６８がライン６６の画素より明るいときのように、それらの明るさあるいは形状によるランドマーク相関を混乱させるかもしれない近くの目標物の面前でも動きの追跡によって行なわれる。一旦ピーク輝度を有する画素が見出されると、出願中の米国特許出願番号０８／３８１，０８８号において論議されるように、副画素位置の推定は、三角形を再構成する周知の方法を使用して見出される。より高い次数の曲線をデータに付けるような使用がされるかもしれない他の副画素位置を評価する方法がある。
【００６８】
加えて、あるシーンにおいて見出されるそれぞれのランドマークは、予想される位置からの距離に基づいた、関連するエラー重みを有している。ここで図７を参照すれば、このエラー重みは、座標ｘｐ、ｙｐでの画像７０の予測位置と、座標ｘｍ、ｙｍでの画像７２の測定位置とに基づき、次の一般的な式を使用して計算される。
【００６９】
【数４】

【００７０】
ここで、ｇ、ｈ、ｉ、ｊ、ｋおよびｌは、重み関数の強さを変化させるために選択される定数である。
【００７１】
好適な実施形態において、式のパラメータは次の通りである。
【００７２】
【数５】

【００７３】
しかしながら、特別な環境においては、重みの強調点を変化させるために、異なる値をとるかもしれない。たとえば、定数ｉおよびｊは、短い距離の間一定を保ち、それから急に低下する関数を提供するように変化するかもしれない。
【００７４】
このエラー重みは、それから、参照配列２０の位置に現在画像２０の位置を作るワープパラメータの計算において、使用される。好適な実施形態において、この計算は、次のマトリックスを使用する重み付けされた最小二乗平均の適用操作である。
【００７５】
【数６】

【００７６】
ここにおいて、
【００７７】
【数７】
C1＝nx・ErrorWeight・xp+ny・ErrorWeight・yp
C2＝nx・ErrorWeight・xm+ny・ErrorWeight・ym
【００７８】
である。
【００７９】
純粋に水平線上のランドマークの場合、ｎｘ＝０およびｎｙ＝１であり、純粋に鉛直線上のランドマークの場合、ｎｘ＝１およびｎｙ＝０である。より一般的な場合、ｎｘおよびｎｙは、ランドマークの支配的な方向に対する法線を表示するベクトルの方向余弦である。
【００８０】
動き追跡方式の適応性のある部分は、カメラひずみを考慮するのに必要である。それは、システムが小さな遅い回転および／または切り取りを取り扱うことを許容するのと同様に、システムが保存されている理想的な参照配列と実際のシーンとの間の小さな相違を補うことを許容する。それは、更に、システムが任意の小さなゆっくり発生する歪みも取り扱うことを許容する。この適応は、参照配列座標をそれらの現在位置に基づいて動的に最新のものにすることによってなされる。本発明では、動き追跡の適応性のある部分は、次の基準により安定化される。１）それが起こることが許容されるとき、非常に慎重であること。２）ランドマークが良好であるという点でシステムがどのように確信的であるかに基づいて、いずれのランドマークが関与することを許容されているか選択すること。３）全体の計算を、距離エラー重み関数によって重く重み付けして行うこと。加えて、参照配列は、どのシーンがカットされた後にもリセットされる。
【００８１】
異なる値が全てのこれらのパラメータに使用されるかもしれないけれども、好適な実施形態において、参照配列座標の動的更新は、６フィールドの追跡後に開始され、どのオクルージョンチェックでもフラグがあがらなかった、予想参照値の２０％より大きく２００％より小さい相関値を有するランドマークでなされるだけである。
【００８２】
測定されたランドマーク位置は、現在フィールドの全ての良好なランドマークにより次式を用いて計算されるワープパラメータを使用して、参照配列の位置に戻り投射される。
【００８３】
【数８】
Xnr=（Xm-a）/b
Ynr=（Ym-d）/b
Xr=Xor+（ErrorWeight）²（Xnr-Xor）
Yr=Yor+（ErrorWeight）²（Ynr-Yor）
【００８４】
ここにおいて、
Ｘｍは、ランドマークの測定Ｘ座標、
Ｙｍは、ランドマークの測定Ｙ座標、
ａは、水平移行ワープパラメータ、
ｄは、鉛直移行ワープパラメータ、
ｂは、拡大ワープパラメータ、
Ｘｎｒは、このフィールドデータに基づき提案された新参照点の計算Ｘ座標、
Ｙｎｒは、このフィールドデータに基づき提案された新参照点の計算Ｙ座標、
Ｘｏｒは、更新すべき旧参照点のＸ座標、
Ｙｏｒは、更新すべき旧参照点のＹ座標、
Ｘｒは、新参照点としてテーブルに入れられるＸ座標、
Ｙｒは、新参照点としてテーブルに入れられるＹ座標、
インターレスビデオでの追跡性能を改善するために、奇数および偶数フィールドに対して別々の追跡参照配列を使用することもまた可能である。適応性のある参照配列の潜在的に不安定な性質のため、好適な実施形態は、コード参照、ゲーム参照および追跡参照として言及される、３つの関連する参照配列を有している。
【００８５】
図８の模式的な流れ図は、これらの３つの参照がどのように使用されるかを示す。開始時に、最初のシステムがロードされるとき、全てのこれらの参照は、同じに、すなわちコード参照、ゲーム参照および追跡参照が等しく、セットされ、換言すれば、それぞれの参照配列におけるランドマークのｘおよびｙ座標は、コード参照配列におけるランドマークの座標と同じものであるようにセットされる。
【００８６】
動作時に、画像処理がなされるとき、３つの参照配列は、以下のように使用される。ゲーム参照は、検索および検査モードにおいて使用され、そして追跡モードにおいて追跡参照が使用される。
【００８７】
まず、追跡参照配列が、ゲーム参照配列と等しくセットされる。
【００８８】
これは、好適な実施形態において、追跡がなされる最初のフィールドで起こる。次のフィールドにおいて、追跡参照は、上記で詳述したように変更される。別々の追跡参照配列が奇数および偶数のフィールドに使用されている場合、それらは両方とも最初に、ゲーム参照配列にセットされるであろう。
【００８９】
追跡モードの間はいつでも、オペレータは、例えばスクリーン、キーボード、マウス、グラフィックユーザーインターフェース、トラックボール、タッチスクリーンあるいはこのようなデバイスの結合等の標準的なコンピュータインターフェースツールを用いて、現在の追跡参照をゲーム参照の中にコピーすることを選ぶかもしれない。この機能は、ゲームの開始時に役に立つ。例えば、オペレータは、特定のスタジアムで挿入を実行するライブビデオ挿入システムをセットアップしているかもしれない。コード参照座標は、そのスタジアムでの前のゲームに基づいたランドマーク位置を有するが、そのランドマークの位置は、その間の時間で僅かに変えられているかもしれない。しかしながら、コード参照は、ほとんどの間、検索および追跡に十分良好な状態に保たれる。選択的に、ショットを待つこと、あるいは全てのランドマークが障害のないゲーム前にディレクターがセットアップすることによって、および追跡参照の調整を考慮することによって、その特定のゲームのためのより正確なゲーム参照が実現され得る。
【００９０】
追跡あるいは検索モードにおいてはいつでも、オペレータは、ゲーム参照をコード参照にリセットすることを選ぶことができる。これは、だめになった追跡参照を参照してゲーム参照をリセットするというオペレータエラーからの回復を与える。
【００９１】
適応性のある参照プロセスの重要な部分は、プレーヤ等の対象によってオクルードされないことがわかっているランドマークに更新することを制限している。
【００９２】
好適な実施形態におけるこのランドマークオクルージョン検出に使用される方法は、色をベースにしており、大部分のスポーツは、かなり統一された色でうまく定義された領域の面上で、あるいは、野球場の背壁のように統一された色の実質的特徴を有するスタジアムの中で、プレイされる、という事実を利用している。図９に示されるように、各ランドマーク９０は、それに関連したセンサーポイント９２を有する。これらのセンサーポイント９２は、好適な実施形態においてはランドマーク９０につき３〜９個のセンサーポイントに変化するが、それらが関連するランドマークに近接した、あるいは好ましくは取り囲むあらかじめ決められた位置の画素である。より重要なことには、センサーポイントはすべて、合理的に統一された色の領域上にある。ランドマークがオクルードされるかどうかの決定は、センサーポイントに注目してそれらの平均値からの偏差を測定することに基づく。この偏差がプリセット値を上回る場合、ランドマークはオクルードされると考えられる。一方、それは、例えばモデル計算や参照配列の更新等の他の計算用に、利用可能である。
【００９３】
この点までの議論は、「ライブビデオ挿入システムのための追跡シーン移動の方法」の名称で１９９５年１２月２９日に出願された同時係属中の米国出願第０８／５８０，８９２号のＬＶＩＳ検索／検出およびトラック機能を説明している。
【００９４】
本発明の概念は、カメラセンサーデータで標準的なＬＶＩＳの速度予測方式を論じるものである。このような動作は些細に聞こえるかもしれない一方で、それは事実、異なるデータフォーマット間での同時発生を要求する複合的な仕事である。カメラセンサーデータは、全画像配列が直ちにすなわち単一の瞬間に早く入れられる二次元の画像座標配列に変えることが可能な、完全な画像フィールドの「スナップショット」を提供する。換言すれば、配列の左側の画素は、同じ瞬間に、配列の右側の画素として表示する。しかしながら、標準的なＬＶＩＳ技術を使用する動き追跡は、画像配列座標に関して絶えず更新するプロセスである。したがって、いかなる与えられた瞬間でも、画像配列の左側の画素は、画像配列の右側の画素として、時間の同じ瞬間を表示しない。継ぎ目なく実行するための本発明のハイブリッドシステムにとって、このような矛盾は、説明され、補償されねばならない。
【００９５】
図１０を参照すれば、レンズ１１２を有するカメラ１１０が三脚１１１に取り付けられ、テニスコート１１５上でのテニスマッチを記録するためにセットアップされる。カメラ１１０およびレンズ１１２には、レンズ１１２およびカメラ１１０のパン、チルト、ズームおよびフォーカスを計測するように設計された、一組のセンサー群１１３が装着される。センサー群１１３はまた、２倍拡大の光学部品が使用されているかどうかを決定する。放送用カメラは、通常、ノブの回転で光学素子のレンズ列を切り換えることができる「倍化」要素を有している。この倍化の使用により、レンズのズーム要素のいかなる与えられたセッティングでも、効果的に画像倍率を二倍にすることができる。これは、Ｚ（ズーム要素駆動部からの計数）の一つの測定値が、ズームあるいは映像拡大の２つの異なる値に関連しているということを意味する。データ捕集部１１４は、データインタプリタ１１６を有するライブビデオ挿入システム（ＬＶＩＳ）１１８に同じものを供給する前に、カメラセンサー群１１３からデータを受け取る。データインタプリタ１１６は、データ捕集部１１４によって送られるデータを、ＬＶＩＳシステムによって使用され得る形に変換する。センサー群を備えた他の類似のカメラが、動作の異なるビューを記録するために、イベントサイトの全体にわたって配置される。
【００９６】
図１０はまた、テレビジョン制作に使用される例えばスイッチャ１２０等の、一般的な放送用設備のいくつかを示す。スイッチャにより、ディレクターは、現在放送中のものとしていくつかのビデオソースの中から選択をすることができる。図１０に示される他のビデオソースの例としては、付加したカメラ１１０あるいはビデオ記憶装置１２２を含んでいる。スイッチャ１２０はまた、例えばディジタルビデオ効果マシン等の効果マシンを含んでいてもよい。これにより、ディレクターは、一方のビデオの供給からワーパを介して他方へ、あるいは他の画像操作デバイスへ移すことができる。ワーパは、例えばズーム、パンあるいはチルトにおける変化等のように、ある画像を、一の視界から他へ変換する画像操作デバイスである。
【００９７】
プログラムの供給は、次にＬＶＩＳ１１８に送られる。典型的なライブビデオ挿入システムの検索／検出、すなわち認識および追跡能力に加えて、本発明の好適な実施形態のＬＶＩＳ１１８はさらに、データインタプリタ１１６を含んでいる。このデータインタプリタ１１６は、データ捕集部１１４からのカメラセンサーデータと、スイッチャ１２０から受けとった照合情報とを解釈し、ＬＶＩＳ１１８にどのビデオソースが現在放送されているかを知らせる。ＬＶＩＳ１１８はさらに、ソフトウェアおよびハードウェア決定モジュール１２６を備える。決定モジュール１２６は、ＬＶＩＳ１１８に、前述したパターン認識技術により得られる伝統的な検索モードデータの代わりに、センサーデータを使用することを許容する。決定モジュール１２６は、従来のパターン認識追跡モード、あるいはカメラセンサーデータとパターン認識との結合により追跡がなされるモードの間で切り換えることができる。
【００９８】
一旦ビデオがＬＶＩＳ１１８を通過すると、指標１３６はビデオの流れにおいて、継ぎ目無く現実的に挿入される。挿入は、静的でも、動的でも、あるいは別個のビデオソース１２８からのライブビデオ供給でもよい。結果ビデオ信号はそれから、衛星、アンテナ放送あるいはケーブル等である適切な手段１３０によって、挿入された指標１３６を有するシーン１３５が従来のテレビジョン受信機１３４に表示されるホームレシーバ１３２に送られる。
【００９９】
ここで、図１３を参照すれば、カメラ１１０のパンおよびチルトを決定する一組のセンサー群は、水平軸１４６および鉛直軸１４２のまわりの回転を測定するために設計された精密ポテンショメータあるいは光学式エンコーダを備えている。類似のセンサーはまた、レンズ１１２内での光学素子の移行を測定することによって、レンズ１１２のフォーカスとズームとを決定する。フォーカスおよびズームの動きは、フォーカスおよびズームを規定する光学素子を動かす軸の回転を測定することによって決定される。これは、ズームを変えるためにカメラオペレータにより使用されるハンドル１４８の軸１５０まわりの、およびフォーカスの変化をきたすためにカメラオペレータにより使用されるハンドル１５２の軸１５４まわりの回転を測定することによってなされる。
【０１００】
パンセンサー１４０、チルトセンサー１４４、ズームセンサー１４９およびフォーカスセンサー１５３からのデータは、データ捕集部１１４によって集められる。データ捕集部１１４はそれから、種々のセンサーにより発生させられる生の電圧および／またはセンサーパルスを受けとり、それらをＬＶＩＳ１１８のデータインタプリタ１１６に伝達可能なフォーマットの一連の数に変換する。データインタプリタ１１６は、離れたところにあるいは現場に設置してもよい。データ捕集部１１４は、例えば標準的なアナログ／デジタル（Ａ／Ｄ）コンバータカード等の適当な通信および処理カードや、シリアルおよびパラレル通信ポートを備えたパーソナルコンピュータという形をとってもよい。
【０１０１】
ズームセンサー１４９およびフォーカスセンサー１５３等のポテンショメータのデータに対し、データ捕集部１１４は、典型的には−３〜＋３ボルトのアナログ電圧を、レンズの位置を表示する一連の数であるデジタル信号に変換する。これらの数は、例えばビデオフィールドごとに１回あるいは各６ミリ秒に１回の、あらかじめ決められた割合データで、ＬＶＩＳ１１８のデータインタプリタ１１６に送られる。あるいは、ＬＶＩＳ１１８は、使用される１またはそれ以上のパラメータの更新を要求する命令を、データ捕集部１１４に送ってもよい。
【０１０２】
典型的な光学式エンコーダからのデータを、図１４に３つのトラックで示す。各トラックは、一連の２値パルスからなる。トラックＡおよびＢは、同一であるが、お互いに４分の１周期だけ位相がずれている。１周期は、ローおよびハイのパルスの結合したものである。典型的な光学式エンコーダでは、３６０度を通過するセンサー装置の１回転は、結果として、１カウントはエンコーダ出力が０から＋１に、あるいは＋１から０になる各時間であるところの、概ね４０，０００カウントになる。４分の１周期だけ位相がずれた２つのデータトラックを有する理由は、データインタプリタ１１６に、センサーがどの方向に回転させられているか知らせるためである。図１５に示されるように、トラックＡが遷移する場合、そのときトラックＢの状態が、センサーが時計まわりに回転しているか、反時計まわりに回転しているかを決定する。例えば、トラックＡがハイ状態からロー状態へ遷移し、トラックＢがハイ状態である場合、そのときセンサーは時計まわりに回転している。逆にトラックＢがロー状態である場合、そのときセンサーは反時計まわりに回転している。
【０１０３】
トラックＡおよびＢを調査することによって、データ捕集部１１４は、必要に応じてカウントを加えあるいは減ずることにより、簡単にセンサー位置を監視できる。必要なことは、カウントを開始する参照ポイントだけである。参照ポイントは、トラックＣにより与えられる。トラックＣは、＋１か０の２つの状態のみ有している。これにより、０度位置と１８０度位置とを有効に規定することができる。実際には、据え付けられたカメラは、カメラが回転される角度が１８０度より小さい角度にセットアップされるので、ゼロ設定の場合を考慮するだけでよい。
【０１０４】
トラックＣの遷移を監視することによって、データ捕集部１１４は、回転カウンタをゼロにすることができ、それからトラックＡおよびＢを連続的に監視することによってカウンタを増加あるいは減少させることができる。例えばフィールドごとに１回あるいは各６ミリ秒に１回等の適切な間隔で、光センサーの回転位置は、データインタプリタ１１６に転送され得る。選択的に、いつでも、ＬＶＩＳ１１８は、監視されている１またはそれ以上のパラメータの現在の測定のために、データ捕集部１１４に要求を送ってもよい。
【０１０５】
データインタプリタ１１６の機能は、デジタル化された位置および／またはデータ捕集部１１４からの回転の情報を、典型的なＬＶＩＳ追跡システムと互換性があって使用可能なフォーマットに変換することである。図１６を参照すれば、カメラおよびレンズからのセンサーデータは、共通参照画像によって、ＬＶＩＳトラッキングシステムと互換性があるようにされる。
【０１０６】
共通参照画像は、共通して所有する「ライブビデオ挿入システムのための追跡シーン移動の方法」の名称の米国出願第０８／５８０，８９２号に記載されているような従来のＬＶＩＳ追跡システムと、カメラセンサーデータだけに頼るシステムとの間の、数学的なモデル化あるいは移行を許容する保存された画像である。典型的には、共通参照画像は、選択された追跡方法、すなわち例えば適応性のある地理的、階層的、あるいはテクスチャ解析によってモデル化され、カメラセンサーデータはその選択された追跡モデルに転換される。
【０１０７】
共通参照画像についていくつかの重要な側面がある。第１は、原点である。原点は、カメラレンズの光軸が共通参照画像を通過する位置に選択される。これは、２つの理由で、典型的にはビデオ画像の中心ではない。第１に、レンズのズーム素子の軸と主要なレンズ構成部品の光軸との間に、わずかな誤った位置合せがあるかもしれない。第２に、カメラのＣＣＤ配列は、レンズの光軸に対して正確には垂直でないかもしれない。
【０１０８】
このオフセットは、２つの方法のうちの一方で処理することができる。第１に、ズームに従属するスキューパラメータを、データの解釈に加えることが可能である。あるいは、第２に、共通参照画像内のゼロ点を、カメラレンズの光軸が共通参照画像と交差する位置で定義することができる。ゼロ点は、実際には多くの方法で決定され得る。好適な方法では、第１に、画像の中心に画像上の十字マークをセットする。第２に、標準点でズームインする。標準点は、固定点あるいは参照点である。次に、十字マークが標準点に中心合わせされるまで、パンあるいはチルトさせる。それからできるだけズームアウトする。ここで、画像上の十字マークが再び標準点に中心合わせされるまで、十字マークを移動させる。最後に、カメラをズームインおよびアウトさせたときに十字マークが標準点に中心合わせされるまで、第２および第３のステップを繰り返す。今や標準点および十字マークのｘ，ｙ座標は、共通参照画像の（０，０）ポイント、すなわち原点である。
【０１０９】
図１６に示される共通参照画像は、パン、チルト、ズームおよびフォーカスのカメラパラメータのよく知られた設定にて、ある中間ズームでとられたスタジアムあるいはイベントの画像である。共通参照画像は、オペレータにとって好都合である。便宜のために、我々は以下の定義を行う。ずなわち、Ｐ＝パンカウント（パンエンコーダ４０がデータインタプリタに送信する数）、Ｔ＝チルトカウント（チルトエンコーダ４４がデータインタプリタに送信する数）、Ｚ＝ズームカウント（ズームエンコーダ４９がデータインタプリタに送信する数）、およびＦ＝フォーカスカウント（フォーカスエンコーダ５３がデータインタプリタに送信する数）である。カメラセンサーの読みはまた、共通参照画像に同時に記録され、以下の指示が与えられる。すなわち、Ｚ0＝共通参照画像をとるときのＺ、Ｆ0＝共通参照画像をとるときのＦ、Ｔ0＝共通参照画像をとるときのＴ、Ｐ0＝共通参照画像をとるときのＺ、および（Ｘ0，Ｙ0）は上記で定義された（０，０）ポイントの共通参照画像における座標である。
【０１１０】
３つのキャリブレーション定数が、カメラセンサーデータを従来のＬＶＩＳ画像追跡システムにより使用可能な形に転換するために必要とされる。これらの定数は、ｘｐ（Ｚ0，Ｆ0においてパンセンサーのカウントごとに移動されるｘ画素の数）、ｙｔ（Ｚ0，Ｆ0においてチルトセンサーのカウントごとに移動されるｙ画素の数）、およびｚｆ（Ｚ0においてＦカウントセンサーと同等なＺカウントの数）である。ｘｐおよびｙｔは、簡単な定数によって関係づけられるが、明確さのため、別々に識別している。
【０１１１】
図１７は、ｘ軸に沿ってズームカウンタからのカウントを取り、ｙ軸に沿ってズームを取った、Ｚの線状の並んだプロットである。共通参照画像でのズームのセッティングは、単一のズームである。破線で示すように、カメラフォーカス素子を調整することの副作用は、画像の拡大あるいはズームにおける変化である。その変化の性質は、ズーム調整によって生み出される画像の拡大における変化と非常に類似している。しかしながら、全範囲にわたってフォーカス素子を調整することによっておよそもたらされる画像の拡大（ズーム）における変化は、全範囲にわたってカメラズーム素子を調整することによっておよそもたらされる画像の拡大における変化よりも、かなり小さい。
【０１１２】
これは、２セットの図を考えることによって、視覚的に理解され得る。第１に、画像の拡大（ズーム）と、ズームレンズのフォーカス素子が固定されたセッティングに保たれた状態での（ズームレンズのズーム素子を動かすスクリューシャフトの回転の数Ｚをカウントすることにより測定されるような）レンズのズーム素子の調整と、の関係のグラフが作られる。この第１の図は、拡大対ズームの図と称される。
【０１１３】
第２に、画像の拡大と、ズーム素子の位置であるＺが数多く明瞭にセッティングされる（ズームレンズのフォーカス素子を動かすスクリューシャフトの回転の数Ｆをカウントすることにより測定されるような）レンズのフォーカス素子の調整と、の関係の数多くのグラフが作られる。これらのグラフは、拡大対フォーカスの図と称される。
【０１１４】
それから拡大対フォーカスの図を、拡大対ズームの図に重ねることができる。拡大対フォーカスの図のフォーカス軸を圧縮することにより、拡大対フォーカスのカーブの形状は、図１７に示されるように、拡大対ズームの図の局所的な曲率に適合させることができる。
【０１１５】
重要なポイントは、フォーカスカーブをズームカーブに適合させるために必要なフォーカス軸の圧縮度合いは、Ｚが異なった固定値とされているにもかかわらず、各々の拡大対フォーカスのカーブと同じであるということである。これは、ズームおよびフォーカス調整を同様に扱うことによって、画像のサイズでのズームおよびフォーカスの相互作用の数学的処理の簡単化が可能であることを意味する。特に、画像のサイズあるいは拡大を決定するとき、フォーカスセンサー（フォーカス素子の位置を測定するカウンタ）からのデータを、ズームセンサー（ズーム素子の位置を測定するカウンタ）からのデータと同等に解釈することが可能である。ズームおよびフォーカスデータを同等にするために必要とされることは、一つのオフセット値および一つの増幅要素によるフオーカスデータの簡単な変形だけである。同等なズーム定数は、次式によって定義される。
【０１１６】
【数９】
Z_EC＝zf（F-F0）
【０１１７】
ｚｆは、Ｚカウントに対するズームをプロットすることによって決められるキャリブレーション定数あり、個々のズームについてのＦカウントに対してズームをオーバーレイしている。フォーカスからのズームがズームカーブにフィットするようにＦカウントを調節することによって、一定のｚｆは、見いだされることができる。同じことが、ズームとＺカウント間の関係を最初に決め、そして、ｚｆを調節することによって、Ｆカウントにズームをフィットするためにその関係を使うことによって分析的にすることができる。
【０１１８】
好適な実施例では、ズームは、以下の最小２乗を使用している指数関数が使うＺにフィットした。
【０１１９】
【数１０】

【０１２０】
ズームをロウズームに変換するルックアップテーブル、または、上の方程式の式と同様でもよいルックアップテーブルと数学的な補間の結合もあってもよい。
【０１２１】
キャリブレーション定数ｘｐおよびｙｔは、カメラを共通参照画像の一つ以上の位置に向けることにより測定される。そして、すなわち十字マークをレンズの光軸に集中させて、ＰおよびＴ値を記録する。選ばれた位置および（０、０）位置との間で共通参照画像の画素距離を測定することによって、キャリブレーション定数ｘｐおよびｙｔは以下の２つの方程式によって計算される。
【０１２２】
【数１１】
xp＝（X−X₀）/（Y−Y₀）
yt＝（Y−Y₀）/（T−T₀）
【０１２３】
定数ｘｐ、ｙｔ、ｚｆ、ａ、ｂおよびｃは参照定数（Ｐ、Ｚ、ＴおよびＦを従来のＬＶＩＳ画像追跡ソフトウェアに使われるアファイン係数と関係づけるための、または、共通参照画像の参照配列に関して知られている現在画像の点の位置を計算するためのＺ0、Ｆ0、Ｐ0、Ｔ0、Ｘ0およびＹ0）と使われる。
【０１２４】
最も単純なアファイン表現で、回転を無視することとズームを仮定することは、ｘおよびｙ方向の中で、方程式によって、対象の位置が共通参照画像での位置と関係づけられるのと同じである：
【０１２５】
【数１２】
xi＝Zxr＋tx
yi＝Zyr＋ty
【０１２６】
ｘｉおよびｙｉは、現在画像で、対象のｘおよびｙ位置にあり、ｘｒおよびｙｒは、共通参照画像で、同じ対象のｘおよびｙ位置にあり、Ｚは、現在画像および共通参照画像の間のズームであり、そして、ｔｘおよびｔｙは、現在画像および共通参照画像の間のｘおよびｙ移行である。従来のＬＶＩＳ追跡方程式では、Ｚ、ｔｘおよびｔｙは、重み平均最小２乗を利用して、一組の知られているランドマークの位置を測定することによって解かれる。
【０１２７】
見出されたＺ、ｔｘおよびｔｙを有して、共通参照画像の他のどの位置も、ｘｉおよびｙｉのための方程式を使用している現在画像にマップされうる。
【０１２８】
以上の方程式から、Ｚは簡単にあることが分かる。
【０１２９】
【数１３】

【０１３０】
ここで、μはズームおよびフォーカスカウントを結合して以下のように定義される。
【０１３１】
【数１４】
μ=Z＋zf（F−F0）
【０１３２】
ｔｘおよびｔｙは関係を使用しているカメラセンサーから見いだされる。
【０１３３】
【数１５】
tx＝xp（P−P₀）
ty＝yt（T−T₀）
【０１３４】
好適な実施例では、データ翻訳装置１１６は、ソフトウェアもしくはハードウェアインプリメンテーション、または、ソフトウェアとセンサーデータＰ、Ｔ、Ｚ、ＦをＺ、ｔｘ、ｔｙに変換する方程式のハードウェアインプリメンテーションとの結合であり、Ｐ0、Ｔ0、Ｚ0、Ｆ0、Ｘ0、Ｙ0、ｚｆ、ｘｐ、ｙｔを定義することによって調整される。
【０１３５】
点のｘおよびｙ位置はＰ0、Ｔ0、Ｚ0、Ｆ0、Ｘ0、Ｙ0、ｚｆ、ｘｐ、ｙｔに関して、以下の式によって直接表わされうる。
【０１３６】
【数１６】
xi＝xiZ＋xp（P−P₀）
yi＝yiZ＋yt（T−T₀）
【０１３７】
どのインプリメンテーションが使用されても、ハードウェアあるいはソフトウェアのインプリメンテーションは、上で詳述される解析式、または明示するルックアップテーブルもしくは近似式、実験データから推論された式、または、ルックアップテーブル、解析式、実験データの結合によってあってもよい。
【０１３８】
ＬＶＩＳは、現在多くの方法の翻訳されたカメラセンサーデータを使用できる。しかしながら、どの方法が使用されても、使用されている個々のレンズのレンズ歪みのために補正しなければならない。
【０１３９】
翻訳されたカメラデータを使用する１つの方法は、検索のためだけのＺ、ｔｘ、ｔｙのアファイン変換を使い、それから、従来の追跡への切り替えをすることである。この手段は、米国特許シリアル番号第０８／５６３５９８号および第０８／５８０８９２号の「ライブビデオ放送への静的動的画像の挿入のためのシステムと方法」および「ライブビデオ挿入システムのための追跡シーン動作の方法」とそれぞれ名付けて共通に所有された出願中の出願で詳細に説明したように、変形可能な共通参照画像を有することによって、一般的に、レンズの歪みを補正することができる。
【０１４０】
翻訳されたカメラデータを使用する第２の出願は、Ｚ、ｔｘ、ｔｙのアファイン変換を１つ以上の画像中心のランドマーク（それは常に見える。しかし、それは常に約２つの画素のエラーを与える重み係数を有する。）を作成するために使用し、システムの追跡能力を補うためにそれを使用し、それからマトリックスベースのランドマーク追跡システムに、シリアル番号第０８／５８０８９２号の「ライブビデオ挿入システムのための追跡シーン動作の方法」と名付けた１９９５年１２月２９日に出願の出願中の特許出願細部で述べたように、これらの余分なランドマークを供給する。フレキシブル共通参照画像は、フレキシブルカメラ参照パラメータを含むために拡張されようとしなければならなかった。
【０１４１】
翻訳されたカメラデータを使用する第３の方法は、予測または予測の一部としてＺ、ｔｘ、ｔｙのアファイン変換を使用し（ここで、光学追跡ランドマークは、現在画像になければならない）、システムの追跡能力を補うことであり、それから、認識できる構成が得られるというほどに、現在画像を参照配列に関連づけるために使用されているどんなモデルをも改善するために、ランドマークあるいはテクスチャ追跡を使用する。テクスチャ追跡は、シリアル番号第６０／０３１，８８３号の「持続的に選択された画像構造テンプレートを用いたカメラ追跡」と称する１９９６年１１月２７日に出願の出願中の特許出願に記載されている。
【０１４２】
この処理法は、フルアファインおよび背景を含むどんな表現モデルのためにも使われうる。歪み補正は、特にもし補正がモジュラ形になったら、すなわち、利用可能な、たとえば、ズーム、ｘオフセット（あるいは水平移行）、ｙオフセット（あるいは垂直移行）が、別々で、および、いかなる結合でもより難しくなる。一つの強力な方法は、関数あるいは歪みをマップするルックアップテーブルを有することである。
【０１４３】
共通参照画像を現在画像に関連付ける決定されたモデルを有し、挿入オクルージョンを含むＬＶＩＳの剰余は、シリアル番号第０８／６６２，０８９号の「合成共通参照画像を有する適応オクルージョンを使用しているビデオへのリアルタイム挿入のシステム及び方法」と称する出願中の特許出願の細部にて説明したように、通常、使用できる。
【０１４４】
図１８において図示される本発明の別の実施例では、パン、チルト、ズームおよびすでに説明されるフォーカスセンサー１１３を加えて、２つの付加センサー１６０と１６４が推移モジュールの中にはめ込まれてあり、その推移モジュールによってカメラ１１０とレンズ１１２が三角形マウント１１１に取り付けられる。これらの付加センサー１６０および１６４は、２つの直角の方向１６２および１６６の加速度を測定する加速時計である。加速時計からのデータは、データ収集装置１１４に供給され、データ収集装置でそのデータは、ｘおよびｙ方向でのカメラの現在変位を提供する時間に関して２度統合される。変位データは、データ判断装置１１６に供給される、データ判断装置で、変位データは、ある前もって決定されたキャリブレーション定数によって増加され、翻訳されたアファイン変換のｔｘおよびｔｙ成分に加えられ、または関連付けられた異なるキャリブレーション定数によって増加され、そして画像座標に直接変換で使うためにパンおよびチルトカウントにそれぞれ直接加えられる。
【０１４５】
この別の実施例の簡略なバージョンでは、垂直方向の加速度を測定している加速度計１６０だけがパン、チルト、ズームおよびフォーカスセンサー１１３に加えられ、仮定の固定された複数のカメラの共通の問題として、それらのカメラは不安定なプラットホームや垂直シフトに取り付けられることが重大な問題である。
【０１４６】
別の実施例の簡略なバージョンの改良では、第２の加速度器１６３がレンズ１１２の先頭に取り付けられるので、垂直方向のカメラコンプライアンスあるいは振動（軸１４６についてのチルトから独立している）はまた、測定され、カメラ１１０およびレンズ１１２がどんな与えられた時間ででも位置する方向の確認のために使用される。
【０１４７】
他に、図１９に図示される本発明の別の実施例では、レンズ１１２に取り付けられるズームおよびフォーカスセンサー１４９と１５３は、好ましい実施例と同じである。しかし、チルトおよびパンセンサー１４０と１４４は変更され、付加回転センサー１７４と付加無線周波数（ＲＦ）送信機もしくは付加インフラレッド（ＩＲ）送信機１７０が取り付けてある。そのチルトセンサー１４４は、プラムボブ電位差計であり、地球の表面を重力で定義し、通常からローカルまでチルトを測定する。
【０１４８】
その回転センサー１７４もまた、プラムボブ電位差計、または、軸１７６のまわりをカメラの回転を測定するために設計された重力に敏感なゼロ表示を有する光学エンコードセンサーである。そのパンセンサー１４０は、ローカルな磁軸から離れて水平回転を測定する敏感な、電子コンパスである、磁軸とは、たとえばローカルマグネチックノースであるかもしれない。ＲＦもしくはＩＲ送信機１７０は、前もって決められた正確に一定な時間に、適当な形作られたパルスを出す、そのパルスは、スタジアムの適切な位置に設置される２つ以上のレシーバ１７２によって拾われる。レシーバ１７２でパルスの到着時間の差分を測定することによって、スタジアム内のカメラの位置を２、３ミリメートルの範囲で計算することができる。レシーバ１７２およびカメラセンサー１４０、１４４、１４９、１５３からのデータは、それからＬＶＩＳシステムのデータインタプリタ１１６に供給される。データを結合することによって、レンズ１１２のフォーカスおよびズームと同様に、システムは、カメラ１１０の位置と方位を計算することができる。このような方法で、手で保持するカメラあるいはモバイルカメラは、適応することができる。アファイン表現モデルにおいて、以前の方程式は、回転を取り扱うためのクロスタームを含むために拡張された。たとえば、
【０１４９】
【数１７】
xi＝Zxr＋βyr＋tx
yi＝Zyr＋βxr＋ty
【０１５０】
ここで（変数）は、手で保持するカメラによって許される余分な回転の自由度を計算するための変換定数である。
【０１５１】
他に、図２０に図示されている本発明の実施例では、システムは、手で保持するカメラもしくはモバイルカメラを扱うことができ、プレイ中のスポーツのインタレストの対象の位置を決めることができる。たとえば、コート１５でプレイ中のテニスの試合では、ボール８０は送信機を隠し得る、その送信機は、単純な無線周波数（ＲＦ）あるいはインフラレッド（ＩＲ）送信機であるかもしれない、それは、前もって決められた最適な形づくられたパルスを送り出し、タイミングか、振動数か、パルスの形か、他の適当な手段のどれかによって、正確に計られた一定の時間とモバイルカメラ１１０に取り付けてある送信機１７０を識別する。
【０１５２】
レシーバ１７２はスタジアムの適当な位置に設置され、今、カメラ送信機１７０およびオブジェクト送信機１８０によって出されるパルスの到着時間の両方の差を測定する。システムは、今、送信機１８０でカメラ１１０とボールの両方の瞬間的な位置を示すことができる。カメラ１１０およびレシーバからのデータは、データ収集１１４およびそれからデータインタプリタ１１６に供給される。データインタプリタ１１６は、今、カメラ１１０とレンズ１１２の位置、方位、ズームおよびフォーカスを推定でき、前に細部を説明したように、検索情報をＬＶＩＳシステムに提供しＬＶＩＳシステムのトラックモードの利点に使用されるかもしれない。さらに、データインタプリタ１１６がまた、現在画像のインタレスト１８０の対象の位置についての情報を提供でき、それは、たとえば、インタレストの対象の直交切線１８２を示す最終的な出力で、グラフィック８４のような高品質を視聴者に提供するために使用されてもよい。
【０１５３】
ここで教示した装置および操作方法は、本発明の実例となることは理解された。改良は、本発明の思想または有効範囲から逸脱することなく、当業者によって、容易にされるかもしれない。

Claims

１つ以上のカメラセンサーを備えた少なくとも１台のカメラによってスキャンされた次々と関連するビデオ画像のフィールドからフィールドへの追跡動作のための方法であって、
ａ）それぞれのランドマークが唯一のｘとｙ座標を持つ複数のランドマークを有する参照配列を表す理想的なｘとｙ座標の配列を確立するステップと、
ｂ）現在画像のｘとｙ座標を前記参照配列の前記ｘとｙ座標にマッピングするステップと、
ｃ）前記カメラセンサーからカメラの位置と方位を表すカメラセンサーデータを取得するステップと、
ｄ）前記カメラセンサーデータを用いて前記ランドマーク配列の将来の位置ｘ’とｙ’を予測するステップとからなり、
２つの連続するフィールド間の変化に対応する予測の誤りは、（ｉ）前記カメラセンサーデータから計算されたランドマーク配列におけるフィールド間の相違を（ｉｉ）それぞれ配置されたランドマーク位置ｘ，ｙに加えることによって、最小化されることを特徴とする方法。
前記マッピングは、以下の関係によって達成されることを特徴とする請求項１に記載の方法。
【数１】
x’＝a＋bx＋cy
y’＝d＋ex＋fy
ここで、ｘは、参照配列におけるランドマークの水平座標
ｙは、参照配列におけるランドマークの垂直座標
ｘ’は、現在シーンにおけるランドマークの水平座標
ｙ’は、現在シーンにおけるランドマークの垂直座標
ａは、目的物をｘ方向に水平に移行する画像移動
ｂは、現在配列と現在画像との間をｘ方向に拡大するための画像倍率
ｃは、ｘ方向における回転とスキューとの結合
ｄは、目的物をｙ方向に垂直に移行する画像移動
ｅは、ｙ方向における回転とスキューとの結合
ｆは、現在配列と現在画像との間をｙ方向に拡大するための画像倍率
前記ビデオ画像は、似ているフィールドと似ていないフィールドの間を交互にフィールドからフィールドまで垂直にインターレスされることを特徴とする請求項２に記載の方法。
前記インターレスされたビデオ画像のための予測する将来の前記ランドマーク座標ｘ’とｙ’は、所定の似ているフィールドから検出された前記ランドマークの位置の変化に基づくことを特徴とする請求項３に記載の方法。
請求項４に記載の方法は、
ｅ）前記ランドマークの予測位置を見渡す実在範囲に関して案内され、テンプレートを使用した相関の手段によって前記現在画像における前記ランドマークの１つをサーチするステップと、
ｆ）重みづけされた相関面をもたらす前記ランドマークの予測位置への距離の相関に近付くさらに大きな重みを与える重み関数によってステップ（ｅ）における前記相関サーチの結果を掛けるステップと、
ｇ）前記重みづけされた相関面のピーク値をサーチするステップと、
をさらに有することを特徴とする方法。
請求項５に記載の方法は、
ｈ）ランドマークに対する前記重み関数によって重みづけされた現在画像内のランドマークの現在位置に基づいて現在画像に対する新たなワープパラメータａ，ｂ，ｃ，ｄ，ｅとｆを検出するステップをさらに有し、
重みは、ランドマークに与えられ、それらの予測位置に近付けることを特徴とする方法。
前記重み関数は、以下の関係を意味することを特徴とする請求項６に記載の方法。

ここで、ｇ，ｈ，ｉ，ｊ，ｋ，とｌは、定数
ｘｐは、前記ランドマークの予測されたｘ座標
ｘｍは、前記ランドマークの測定されたｘ座標
ｙｐは、前記ランドマークの予測されたｙ座標
ｙｍは、前記ランドマークの測定されたｙ座標
請求項７に記載の方法は、
ｉ）前記参照配列における前記ランドマークの位置を前記現在画像における前記ランドマークの位置により最新のものにするステップをさらに含み、前記最新のものにすることは、良く一致されるランドマークに基づき、また、前記ランドマーク重み関数により実行されることを特徴とする方法。
請求項８に記載の方法は、
（ｊ）以前の放送に含まれる
（ｉ）前記参照ランドマーク座標と等しいランドマーク座標を持つコード参照配列と、
（ｉｉ）前記コード参照配列座標と等しく初期設定されたランドマーク座標を持つゲーム参照配列と、
（ｉｉｉ）前記コード参照配列座標と等しく初期設定されたランドマーク座標を持つ追跡参照配列と、
の３種類の参照配列を確立するステップからなることを特徴とする方法。
請求項９に記載の方法は、
ｋ）前記追跡参照配列の座標を放送中に変化させるステップと、
ｌ）シーンが切れた後に追跡参照配列の座標を前記ゲーム参照配列の座標にリセットするステップとから構成されることを特徴とする方法。
前記ビデオシステムがオペレータによって制御される請求項１０に記載の方法は、
ｍ）前記現在追跡参照配列の座標を前記ゲーム参照配列の座標に等しくセットしたり、前記ゲーム参照配列の座標をコード参照配列の座標に戻してセットしたりすることを選択的に選択するステップから構成され、前記オペレータは、ゲームまたは追跡の参照配列の座標を最新のものにするか無効にできることを特徴とする方法。
請求項１１に記載の方法は、
ｎ）それぞれの前記ランドマーク位置の周りのパターンにおける色と照度の変化を検出できる前記カメラセンサー位置の前記カメラセンサー位置のセットを確立するステップと、
ｏ）前記カメラセンサー位置が予想された色または照度から色または照度において異なるかを決定するステップと、
ｐ）前記色または照度が予想されたものから大きく異なる場合に、前記ランドマークを将来の計算から除外するステップとから構成され、
前記ランドマークは、前記カメラセンサー位置における前記色または照度が予想された色または照度から大きく異なる場合に、遮られることを特徴とする方法。
前記相関テンプレートは、１５×１５画素のウインドウであることを特徴とする請求項１２に記載の方法。
前記マッピングは、以下の関係によって達成されることを特徴とする請求項１に記載の方法。
【数３】
x’＝a＋bx
y’＝d＋by
ここで、ｘは参照配列におけるランドマークの水平座標
ｙは、参照配列におけるランドマークの垂直座標
ｘ’は、現在シーンにおけるランドマークの水平座標
ｙ’は、現在シーンにおけるランドマークの垂直座標
ｂは、現在配列と現在画像との間をｘ方向に拡大するための倍率
ａは、目的物をｘ方向に水平に移行するための移動
ｄは、目的物をｙ方向に垂直に移行するための移動
請求項４に記載の方法は、
ｑ）サーチの開始位置が前記ランドマークの予測位置の実質的に中心に置かれ、テンプレートを使用した相関の手段によって前記現在画像における前記ランドマークの１つをサーチするステップと、
ｒ）前記予測された位置から開始し一致を検索して外に向かって進む前記サーチを実行するステップと、
ｓ）前記調和がスレッショルド値を越えた時に前記ランドマークのサーチを停止するステップとから構成されることを特徴とする方法。
前記重み関数は、以下の関係を意味することを特徴とする請求項６に記載の方法。

ここで、ｘｐは、前記ランドマークの予測されたｘ座標位置
ｘｍは、前記ランドマークの測定されたｘ座標
ｙｐは、前記ランドマークの予測されたｙ座標位置
ｙｍは、前記ランドマークの測定されたｙ座標
１つまたはそれ以上のカメラセンサーを備えた少なくとも１台のカメラによってスキャンされた次々と関連するビデオ画像のフィールドからフィールドへの追跡動作のための方法であって、
ｈｈ）メモリ内に捕らえられている基準のおよび格納されている画像テンプレートと確実に合うイメージ現在ビデオ画像から画像テンプレートのセットを得るステップと、
ｉｉ）前記カメラセンサーからカメラの位置と方位を表すカメラセンサーデータを取得するステップと、
ｊｊ）それぞれ格納された現在画像に関連する画像テンプレートの位置を決定する前記カメラセンサーデータを用いるステップと、
ｋｋ）現在画像に関連する決定されたテンプレート位置を用いて参照位置データと現在画像位置データを一致させる変換モデルを計算するステップと、
ｌｌ）メモリから保持している基準とは確実に合わない画像テンプレートを一掃するステップと、
ｍｍ）一掃された画像テンプレートに代えて前記現在画像から新たな画像テンプレートを得るステップとから構成されることを特徴とする方法。
加速度計を含むカメラセンサーを備えた少なくとも１台のカメラによってスキャンされた次々と関連するビデオ画像のフィールドからフィールドへの追跡動作のための方法であって、
ｎｎ）それぞれのランドマークが唯一のｘとｙ座標を持つ複数のランドマークを有する参照配列を表す理想的なｘとｙ座標の配列を確立するステップと、
ｏｏ）現在画像のｘとｙ座標を前記参照配列の前記ｘとｙ座標にマッピングするステップと、
ｐｐ）前記カメラセンサーからカメラの位置、方位と振動を表すカメラセンサーデータを取得するステップと、
ｑｑ）前記カメラセンサーデータを用いて前記ランドマーク配列の将来の位置ｘ’とｙ’を予測するステップとからなり、
２つの連続するフィールド間の変化に対応する予測の誤りは、（ｉ）前記カメラセンサーデータから計算されたランドマーク配列におけるフィールド間の相違を（ｉｉ）それぞれ配置されたランドマーク位置ｘ，ｙに加えることによって、最小化されることを特徴とする方法。