JPH11508099A

JPH11508099A - 生映像挿入システムに対するシーンの動き追跡方法

Info

Publication number: JPH11508099A
Application number: JP9503298A
Authority: JP
Inventors: ロサ，ロイ; ダス，サブホデフ; イー，タン
Original assignee: プリンストンビデオイメージ，インコーポレイティド
Priority date: 1995-06-16
Filing date: 1996-06-12
Publication date: 1999-07-13
Also published as: AU6173496A; AR002498A1; WO1997000494A1; EP0842485A1; MX9710192A; BR9610777A; US5808695A

Abstract

(57)【要約】関連映像放送画像のシークエンスにおけるフィールドからフィールドへの動きを追跡する方法。本方法は、現在画像（２０）中の物体の位置情報を提供するため、テンプレート相関を用いて、シーン内の所定の目印（２６）の集合を追跡する。現在画像の物体位置情報は、基準アレイデータテーブル内の同一物体の位置情報と比較される。この比較は、現在画像中の点を基準アレイ内の点にマップするひずみ式の使用を通じて達成される。動きの追跡は、予測位置により近い目印の重みを強調する重み付け式を利用する速度予測方法に従って行われる。

Description

【発明の詳細な説明】名称生映像挿入システムに対するシーンの動き追跡方法関連出願の説明この特許出願は、“APPARATUS AND METHOD OF INSERTING IMAGES INTO TELEVI SION DISPLAYS”と称する１９９５年６月１６日出願の米国暫定特許出願第６０/ ０００,２７９号に関連しその優先権を主張するものであり、また、“SYSTEM AN D METHOD FOR INSERTING STATIC AND DYNAMIC IMAGES INTO A LIVE VIDEO BROAD CAST”と称する１９９５年１１月２８日出願の米国特許出願および“LIVE VIDEO INSERTION SYSTEM”と称する１９９５年１月３１日出願の米国特許出願第０８/３８１,０８８号に関連する。発明の背景１．発明の技術分野本発明は、現実的な表示(indicia)を映像画像の中に挿入する装置の性能向上に関する。２．関連技術の説明広告その他の表示を放送イベント、主にスポーツイベントの中に挿入するため、現在、ロサ(Rosser)らによる米国特許第５,２６４,９３３号に記載されているような、電子画像を生映像信号の中に挿入する電子装置が開発され使用されている。この種の装置は、たとえもとのシーンがズームされ、パンされ、または大きさもしくは遠近感が変更されるときにも、継ぎ目なく現実的にロゴその他の表示をもとの映像内にリアルタイムではめ込むことができる。挿入した表示をあたかもそれが実際にそのシーンの中に存在するかのように見せることは、技術を提供する上で重要だが困難な面である。厄介な面は、平均的な視聴者の目がフィールドごとの物体の相対位置の小さな変化に非常に敏感であるということである。実験では、視聴者は挿入したロゴの、ＮＴＳＣテレビ画像の１画素の１／１０ほどの小さな相対運動を知覚できることが実証されている。挿入する表示を放送環境に置き、首尾一貫して高精度に維持することは、映像挿入技術を商業的に存立させる上できわめて重要である。放送環境は、画像ノイズ、突然の急激なカメラの動きの存在、画像のかなりの部分を見えなくさせうる移動物体の散発的な発生、自然状態かまたはオペレータによる調整によって引き起こされるレンズの特性や変化する光レベルによる画像のひずみ、テレビ信号の垂直インタレースを含んでいる。従来の技術において、画像の動きの自動追跡は、一般に、二つの異なる方法によって行われていた。第一の方法は、ディー．ダブリュ．クレイン(D.W.Crain) に発行された米国特許第４,０８４,１８４号に記載されており、カメラの上に置かれたセンサを用いて焦点距離、方位、高さの情報を提供する。第二の方法は画像それ自体を調べ、相関または差分技術を用いて映像シーンの中の既知の目印(l andmarks)を追うか、または、周知の光学流れ技術を用いて動きを計算した。Hor n,B.K.PとSchunck,B.G.，“Determining Optical Flow”,Artificial Intellige nce ，pp 185-203(1981)を参照。目印は一時的でも永久的でもよく、またシーンの自然部分でも人工的に導入されたものでもよい。目印の形状と姿勢の変化は測定されて必要な表示を挿入するのに使用される。第一の方法の問題は二つある。まず、そのイベントで特別のカメラを必要とするため生映像挿入を行いうる状況が制限される。次に、所望の精度は高価な装置を各カメラに取り付けた場合にのみ達成されうる。一例として、約７メートルのプレーおよび３００メートル離れた所からのショットをカバーする一般的な野球のシーンにおける７０００中１のプレースメント精度は、１メートルのカメラベース上に３ミクロンの位置寸法を必要とする。第二の方法の問題は、ノイズ、画像のひずみ、および誤認識に関する。テレビ中継される野球やフットボールの試合についての屋外競技において、従来のシステムでは、下記の特定の重要な問題に遭遇する。１．カメラの動きフットボールや野球などの代表的なスポーツにおいて、接写は、行為から数百ヤードまでの距離で動作する長い焦点距離のカメラを使って行われる。これらのスポーツは両者とも急な行為、つまりボールをキックしたり打ったりする行為を含み、結果的に穏やかなシーンから動きが速い行為のシーンに突然変化する試合となる。長い焦点距離のカメラはこの活動に反応するので、それが記録する画像は動き追跡をより困難にするいくつかの特徴を示す。例えば、画像の動きはおそらく１フィールド当たり１０画素くらいの速さであろう。これは、１０×１０画素よりも小さい画素ウインドウを調べるシステムの範囲外になる。さらに、画像はピントがはずれて、静的画像では幅が数画素である線がぼやけて幅が１０画素になるような、ひどい動きぼけ(motion blurring)を受けることがある。これは、細い線を追跡するシステムが突然試合を見失いまたは実際にはただ単に速いパン動作が起こったにすぎないときにズームが変わったように仮定するということを示している。また、この動きぼけによってパターンテクスチャと共に照明レベルや色の変化も引き起こされ、これらはすべてパターンベース画像処理技術を使用するシステムにとって問題となりうる。カメラの動きによって、たとえ２フィールドほどの小さい動きであっても、結局、画像の局所的および大規模幾何学において突然の画像変化が生じる。画像の照明レベルや色はカメラの動きによっても影響される。２．移動物体一般にスポーツシーンには何人かの参加者がおり、彼らの一般的な動きはある程度予測に従うが、しかし彼らはいつでも突然何か予期しないことをするかもしれない。これは、実際のスポーツイベントのどんな自動動き追跡でも画像のいろいろな部分の突然で予期しないオクルージョン(occlusion)をうまく処理できなければならないということを示している。さらに、試合中プレーヤが取るユニフォームやポーズの多様性は、シーンの中のどんな純幾何学的パターンでも追跡しようとする試みが同じようなパターンの多数の発生をうまく処理できなければならないということを示している。３．レンズのひずみ実際のカメラレンズはすべてある程度の幾何学的なレンズひずみを示しており、画像中の物体が画像のエッジに向かって移動するにつれてその物体の相対位置が変わる。１画素の１／１０の正確さが要求される場合、これに起因して問題が生じうる。４．信号中のノイズ実際のテレビ信号は、特にナイター野球のような照明レベルが低いイベントをカバーするためカメラを電子的に昇圧するとき、ノイズを示す。このノイズは、標準正規化相関認識に頼る画像解析技術を台無しにするが、それは、その技術が、信号の強さに関係なく、パターン形状と調和するためである。数十万フィールドの映像（または一般的な３時間の試合）のうちでノイズ形状はランダムであるため、ノイズパターンを実際のパターンと間違える危険は、重要な問題となりうる。５．フィールド対フィールドインタレーステレビ信号は、ＮＴＳＣ標準もＰＡＬ標準も、一緒になって１フレームを構成する二つの垂直飛越しフィールドで伝送される。これは、テレビジョンは画像の単一の流れではなく、きわめて関連するも微妙に異なる画像の二つの流れであることを示している。問題は細い水平の線を見る際に特に顕著であり、それは一方のフィールドに非常にはっきりと表われるがもう一方のフィールドには表われない。６．照明と色の変化屋外のゲームは特に照明や色が変化しやすい。一般に夏の夜の野球の試合は明るい日光の中で始まり投光照明の暗さの中で終了する。そのような状況では２より大きい係数の照明変化が一般的である。さらに、自然の照明から人工的な照明への移り変わりによって、目に見える物体の色が変わる。例えば、フロリダのジョー・ロビー・スタジアム(Joe Robbie Stadium)では、壁が自然照明の下では青色に見えるが人工照明の下では緑色に見える。７．セットアップの違いカメラは夜ごと小さいが気づくほどの違いをもってセットアップされがちである。例えば、カメラの傾きは一般にプラスマイナス１％以内で変わり、これは視聴者がすぐにわかる程度ではない。しかし、これはプラスマイナス７画素に相当し、８×８画素を測定する一般的なテンプレートにとっては問題となりうる。従来の技術は、映像シークエンスの自動動き追跡に対するいくつかの提案を含んでいる。ロサらは、米国特許第５,２６４,９３３号において、角錐技術と結合されたテンプレート相関のような周知の画像処理方法を利用した。“IEEE Proceedings” ，May 1979および“Pattern Recognition & Image Pr ocessing”，Vol 67，Num．5，pp 705-880を参照。これはひとたびパターンが認識されれば動きのフィールドごとの追跡すべてに十分であろうと考えられた。この方法は限られた制御された環境ではうまくいく。しかし、このような標準アルゴリズムは日々の放送環境の要求には不十分であり、映像挿入システムの一般的な広く普及したコマーシャル利用に対して改良される必要がある。本発明は従来の技術に比べて進歩したものである。ルケット（Luquet）らは、米国特許第５,３５３,３９２号において、カメラセンサ情報かシーンの中の目印のどちらか一方を使用し、そして時間についてフィルタ処理した数学的モデリングによって動きと位置のどちらか一方の不確実性を除去することを提案している。しかし、この方法は、各画像間に高度の相関を持った展開的画像シークエンスを前提としている。多くの主要スポーツの行為の突然の変化、およびその後のカメラと画像パラメタ両方の突然かつ非展開的な変化によって、彼らのアルゴリズムが、しばしば視聴者にとって最も興味のある瞬間であるそれら突然の変化を初めから終わりまで追跡するのに成功する見込みはありそうもない。ハナ(Hanna)らは、ＰＣＴ出願ＰＣＴ/ＵＳ９２/０７４９８（ＷＯ９３/０６６９１）において、映像フィールドのラプラシアン・デシメイティッド・角錐(Lap lacian decimated pyramid)の正規化相関を用いてひと組の広く分布された目印の集合を追いかける、追跡への２ステップアプローチを提案している。この粗位置は、画像内の「ロケータパターン」(locator pattern)にアフィン変換の正確なアライメントを行うためのガイドとして用いられる。この処理は、ベルゲン(B ergen)らによる“Hierarchical Model-Based Motion Estimation”，Proc．Euro pean Conference on Computer Vision，1992，pp 237-252に詳細に記載されている。それは、粗アライメントによって予測される現在位置から基準ロケータパターンを引き算することによって画像の流れを計算する反復方法を使用する。その後、その画像流れを用いてロケータパターンをもっと正確な位置へひずませる。かなりの高精度が可能であるが、この方法は１画素未満の程度まで正確である始点を必要とする。それでもそれはノイズや移動物体の存在を間違いやすいので、日々の一般的な使用には不向きである。似ていないテンプレートを用いて目印をシーンの中に位置させる一つのアプローチが、“LIVE VIDEO INSERTION SYSTE M”と称する１９９５年１月３１日出願の我々の同時係属米国特許出願第０８／３８１,０８８号に記載されており、当該出願の内容はすべてこの中に組み入れられている。本発明が処理する問題は、実際の、ノイズのある映像画像の流れの中の動きを追跡することができ、したがって一般的なコマーシャル使用が可能な生映像挿入システムを可能にする強じんな(robust)そしてさらに高精度の追跡アルゴリズムを提供することの難しさである。発明の概要本発明は、関連映像画像のシークエンスにおいてフィールドからフィールドへの動きを追跡する改良された方法から成る。色ベース目印オクルージョンによる適応形地理階層追跡法(adaptive-geographic-hierarchical tracking with colo r based landmark occlusion)と命名されるこの方法によって、実際の、ノイズのある映像画像の流れにおいて強じんで高精度の動き追跡が可能になる。好適な方法は、エッジのようなズーム不感テンプレートについてのテンプレート相関を用いて、あらかじめ指示された目印のグループまたはシーン内のグループのある部分を追跡する。目印のテンプレート相関はシーンの動きを追跡するのに用いられる生の位置情報を提供する。一般に、使用される目印は球場内の構造物の一部分でもプレーするグラウンド上のマーキングでもよい。追跡されるシーンの理想的な数学的定式化を行うことは、追跡アルゴリズムの重要な部分である。この理想的な数学的表現は基準アレイ(ref erence array)と呼ばれ、理想化されたｘｙ座標値の単なるテーブルである。アレイと関連づけられた画像はオペレータの便宜上のものである。現在の画像またはシーンは、現在シーンの中の点を基準アレイにマップする数学的変換を定義するひずみパラメタの集合によって、この基準アレイと関連づけられている。回転が無視されまたは一定に維持されている単純な場合において、現在画像は下記の式によって基準アレイにマップされる。ｘ′＝ａ＋ｂｘｙ′＝ｄ＋ｂｙここで、ｘ′とｙ′は現在シーンの中の目印の座標であり、ｘとｙは基準アレイの中の同じ目印の座標であり、ｂは基準アレイと現在シーンの間の倍率であり、ａは基準アレイと現在シーンの間におけるｘ方向の平行移動でありｄはｙ方向の平行移動である。適応形地理階層追跡法のエッセンスは、目印の予測モデル導出位置またはそのすぐ近くにあるその目印に最大限の注意を払うことである。第一のステップは、予測モデル導出位置を定めるため正確な速度予測計画を得ることである。このような計画は、先行するフィールドまたはシーンからのひずみパラメタによって、現在画像中の目印がどこにあるべきかを推定する。インタレースされた映像における速度予測の一番の難点は、フィールドごとに１つの動きにつき１画素ｙ成分があるように見えることである。本発明は、先行する同種フィールドからの位置、および最後の二つの異種フィールド間の差からの動きを用いることによって、これを処理する。現在画像において目印がどこにあるべきかが予測されると、次いで、この予測された位置を中心に置いて１５×１５画素領域にわたってテンプレート相関を行う。次いで、これら相関パターンを中心から外側に向かって探索してしきい値基準を超える最初の整合を捜す。さらに、各目印は、目印がその予測モデル導出位置から離れている距離に反比例する値を持つ重み関数を持っている。現在シーンに対する新しいひずみパラメタを計算する際には、各目印の現在位置を用いてこの関数によって重み付けをする。これは、予測位置に近い目印ほど大きく強調する。次のステップは、シーンが動く時のカメラのひずみを補償するのに必要であるが、目印の現在位置に基づいて目印の基準アレイ座標を動的に更新することである。この更新は良い目印についてのみ行われ、距離誤差重み関数によってそれ自身かなり重み付けされる。この適応基準アレイによって、たとえ目印がレンズや透視ひずみを通過する時でもその目印を非常に正確に追跡できるようになる。適応基準アレイを持つことの危険は、それが汚れてしまうかもしれないということである。この危険は、コード、ゲーム、および追跡基準座標と呼ばれる、三組の基準座標を持つことによって緩和される。システムを最初にロードするとき、コード基準座標は初期基準座標に設定される。ゲームと追跡座標は、最初は、コード基準座標と同じに設定される。ひとたびシステムがシーンの位置を確認し追跡を開始すると、追跡座標が用いられる。しかし、シーンがカットされるたびに、追跡座標は自動的にゲーム基準座標にリセットされる。いつでもオペレータは、現在の追跡座標をゲーム基準座標と同じに設定するか、またはゲーム基準座標をさらに戻ってコード基準座標に設定するかを決めることができる。この訃画は、オペレータが能力を無効にしたまま適応基準が更新することも考慮に入れなければならない。本追跡計画の最終要素は、システム内のスプリアスデータを避けるため、目印がある物体によっていつ覆い隠されるかを決定する方法である。色ベースオクルージョン法を使用するが、これは、目印が存在する位置を取り囲むパターン内のひと組のセンサ点を調査し、それがその領域で予測される色と異なれば、その目印はオクルードされていると考えて以降の計算では使用しないというものである。良い目印からのセンサ点を用いてセンサ点の予測された色に対する基準値を更新するので、本システムは、放送中に日光から人工光へ徐々に変化するような変化する状態を調整することができる。適応形階層追跡のこの方法は、生放送テレビジョンのノイズのある実ワールド環境においてさえ、映像シークエンス内の目印の高精度で強じんな追跡方法であることがわかった。図面の簡単な説明図１は、シーンの基準映像画像を示す概略表現である。図２は、図１の基準映像画像の生映像画像を示す概略表現である。図３は、基準アレイの典型的表現の要素を示す表である。図４は、インタレース映像フィールドにおけるフィールド番号対ｙ画像位置の概略表現を示している。図５ａは、ゼロ平均エッジテンプレートの断面図を示している。図５ｂは、ゼロ平均エッジテンプレートの平面図を示している。図６は、相関面を示している。図７は、表面上の測定予測位置を示している。図８は、基準アレイのトラック、基準、およびコード階層を用いて適応基準アレイを管理する方法の概略流れ図を示している。図９は、色ベースオクルージョン用に使用される目印およびその関連センサ点の概略図を示している。好適な実施態様の詳細な説明この説明においては、本発明を示す異なる図面に係る同じ要素を同定するために同じ香号を用いることにする。色ベースオクルージョンによる適応形地理階層追跡法(adaptive-geographic-h ierarchical tracking with color based occlusion)は、一般的な放送で経験するようなノイズが存在する関連した映像画像のシークエンスにおけるフィールドからフィールドへの動きの強じんな高精度の追跡を考慮に入れた方法である。その名称が示唆するように、本方法はいくつかの部分から成っている。本発明を理解するためには、構成部分を取り上げておのおの順番に見ていくのが最も容易である。動きの追跡を行う理由は、ロサらによる米国特許第５,２６４,９３３号に記載されているように、たとえカメラがズームし、パンし、チルトし、その他シーンの大きさまたは遠近感を変えるときにも、主に広告を目的として、挿入画像がもとのシーンの一部であるかのように見えるようその画像を生映像信号の中に電子挿入することを可能にするためである。図１を参照して、本発明によって実行されるような継ぎ目のない挿入を可能にする映像画像の動き追跡は、挿入が行われるシーンの基準アレイ１０から始める。実際の画像を持つことは有益な精神的援助であるが、この基準アレイは、基準アレイ１０内のいくつかのキー目印群１６,１８の位置を示す理想化されたｘ,ｙ座標の集合にすぎない。典型的な表は図３に示してあるが、ここでは、ｘつまり水平座標３１とｙつまり垂直座標位置３３の一覧表を示している。キー目印群１６,１８の位置３１，３３は、動きの測定を可能とする基準としてのみならず挿入の位置決めを可能とする基準としても用いられる。センターのカメラからの野球シーンの典型的な基準アレイ１０は、投手のマウンド１２、背壁１４、背壁１４を構成するパッド間の垂直線１５、および背壁とプレーフィールドとの間にあって水平方向の目印群１８が設けられている水平線１７などの特徴の位置から成る。現在の画像またはシーン２０は、現在考慮されている映像シークエンスからのフィールドである。基準アレイ１０からのキー特徴または目印群１６,１８の位置もまた測定位置２６,２８として現在画像２０の中に示される。測定位置２６, ２８は、現在画像２０中の点の位置を基準アレイ１０中の点の位置に最も正確にマップする数学的変換を定義するひずみパラメタの集合によって、集合１６,１８からの対応する基準アレイ目印位置に関連づけられている。このようなマッピングは数学的によく知られている。“Geometrical Image Modification in Digi tal Image Processing”，W.K.Pratt 2nd Edition，1991，John Wiley and Sons ，ISBN 0-471-85766を参照。固定したテレビカメラ、特にたいていのスポーツイベントにおけるようなかなり長い焦点距離を持ったテレビカメラからの眺めを追跡することは、一つの二次元面を他の二次元面にマッピングすることとして考えることができる。画像から画像への平行移動、ズーム、せん断、および回転を考慮に入れたそのようなマッピングを達成する一般的な数学的変換は、下記の６パラメタモデルによって与えられる。ｘ′＝ａ＋ｂｘ＋ｃｙｙ′＝ｄ＋ｅｘ＋ｆｙここで、ｘとｙは、基準アレイ１０の座標であり、ｘ′とｙ′は、現在画像２０の変換座標であり、ａは、ｘ方向の画像平行移動であり、ｂは、ｘ方向の画像倍率であり、ｃは、ｘ方向の回転とスキューの組合せであり、ｄは、ｙ方向の画像平行移動であり、ｅは、ｙ方向の回転とスキューの組合せであり、ｆは、ｙ方向の画像倍率である。ここで議論する追跡アルゴリズムおよび方法は、上記変換のみならず他のより一般的な変換とも用いることができる。しかし、経験は、動的に更新される基準アレイを使用すれば、せん断や回転を考えないより単純なｘ,ｙマッピング機能で十分であることを示している。したがって、回転が無視されまたは一定に維持され（ｃ＝ｅ＝０）かつｘとｙ方向の倍率が同じである（ｂ＝ｆ）単純な場合において、現在画像２０中の点の位置は、下記の式を用いて基準アレイ１０中の点の位置にマップされる。ｘ′＝ａ＋ｂｘｙ′＝ｄ＋ｂｙここで、ｘ′とｙ′は現在画像２０中の目印の座標であり、ｘとｙは基準アレイ１０中の同じ目印の座標であり、ｂは基準アレイ１０と現在画像２０の間の倍率であり、ａはｘ方向の平行移動であり、ｄはｙ方向の平行移動である。この単純化されたマッピング案を使用する理由は、動的に更新される基準アレイを使用すると、強じんであるのみならずテレビのスポーツ放送に存在する限られたせん断、回転、および遠近のひずみを処理できることが経験によって明らかにされているからである。動き追跡は、現在画像２０中の目印群２６,２８の位置を測定し、この測定値を用いて上記式で定義されているようなひずみパラメタａ,ｄ,ｂを計算する方法である。適応形地理階層追跡法の重要な部分は、各目印に重みを与えるという考えである。重みは、各目印が存在すると予測または予想される位置から離れている検出された距離により、反比例して与えられる。存在が予想される位置の近くに目印が実際に存在すればするほど、現在画像２０の位置を基準アレイ１０の位置に結び付けるひずみパラメタの計算に際してその目印に与えられる重みは大きくなる。第一のステップは、目印２６,２８が現在画像２０中に存在すべき位置を予想することである。これは、三つの先行フィールドの目印位置を解析することによって行われる。先行モデルから得られた目印の先行位置と速度を用いて、目印が現在画像２０中に現れる位置を推定する。位置と速度の計算は、現在の標準的なテレビジョン伝送方式であるＮＴＳＣとＰＡＬが両者とも二つの垂直方向にインタレースされたフィールドの状態で送られるという点で複雑である。したがって、水平方向の走査は交互に別々のフィールド、習慣的に奇数および偶数フィールドと呼ばれる、に含まれる。ＮＴＳＣ方式では、各フィールドは１秒の１／６０（１６．６マイクロセカンド）で送られ、１秒の１／３０ごとに結合された１フレームを作っている。速度を推定する際に考慮すべき一つの重要な実際上の点は、速度の推定に使用される先行フィールド（−１，−２，−３）のｘとｙ位置が、測定された位置ではなく、前記各フィールドで得られた最終的なひずみパラメタを用いて計算された位置であるということである。すなわち、各フィールドにおいて、ｘとｙ位置は各目印について測定される。次いで、すべての目印を用いて、現在アレイと基準アレイ間のマッピングを与えるひと組のひずみパラメタａ,ｂ,ｄを得る。次いで、このひと組のひずみパラメタを用いて、基準アレイ座標１０を現在画像２０の中に投影して、現在画像の中に理想化された目印位置の集合を与える。速度の推定に使用されるのは、モデル導出位置(model derived positions)と呼ばれる、各フィールドにおけるこの理想化された目印位置の集合である。図４に示されるように、目印の現在のｙまたは垂直位置はその前の三つのフィールドから予想される。現在のフィールド（フィールド０）におけるｙ位置の予想は、両方とも奇数か偶数かどちらかである点で「同種の」(like)フィールドである、フィールド−１とフィールド−３との目印のモデル導出位置の差として速度のｙ成分を測定することによって行われる。次いで、そのｙ速度成分を、現在のフィールドと「同種の」先行フィールドである、フィールド−２のモデル導出ｙ位置に加えることで、その目印が現在のフィールド中に存在すべき位置を推定するに至る。ｘ方向の予想は同じアルゴリズムを使用できるであろうし、あるいは、インタレースがないため、ｘ方向の計算はもっと簡単でかつ若干もっと一般に行われているものにすることができる。より簡単な方法では、速度のｘ成分は、フィールド−１における目印のモデル導出位置とフィールド−２におけるそのモデル導出位置との差として計算される。次いで、この差をフィールド−１のモデル導出位置に加えて、その目印が現在のフィールド中に存在すべき位置の推定に至る。現在画像中のすべての目印の最も存在しそうな位置を予測したら、その後、予測位置に中心を置いた１５×１５画素領域について８×８画素テンプレートの相関を行うことによって、目印の位置を見つけ出す。相関またはテンプレート突き合わせは周知の技術であり、その標準的な形態において、物体検出の最も基本的な手段の一つである。ダブリュ．ケイ．プラット(W.K.Pratt)による“Image Det ection and Recognition of Digital Image Processing”，Chapter 20(2nd Edi tion，1991，John Wiley and Sons，ISBN 0-471-85766)を参照。テンプレートを使って見つけ出そうとするシーンの一部とかなり似ているようにテンプレートが作成される相関またはテンプレート突き合わせのもっと標準的な方法と異なり、本発明におけるテンプレートは合成的で、形状と値の両方において理想化され、「ゼロ平均」(zero-mean)である。例えば、まっすぐなフットボールのゴールポストを追跡する場合、画像から取ったゴールポストの一部を使用するのではなく、図５ａの断面図および図５ｂの平面図に概略的に示されるように、使用するテンプレート５４は、負の方向に向いた直線５６と正の方向に向いた直線５８とから成る均一の値のエッジであり、その８×８テンプレートにおける値の合計はゼロに等しい。このテンプレートはズームに依存しないという利点を有し、均一な明るさの表面上にゼロ値を与える。当該技術は８×８画素テンプレートに限定されるものではなく、また、１５×１５画素領域に限定されてそれらの相互関係が示される領域でもない。さらに、この技術はセロ平均テンプレートに限定されるものでもない。垂直および水平方向の直線およびエッジのみが追跡されている場合には、水平方向の細部を追うための（１×ｎ）相関面および垂直方向の細部を追うための（ｎ×１）相関面を持つことによって計算を減らすことが可能である。ここで、ｎは任意の適当な数字であり、通常は５〜５０画素の範囲内である。理想化されたゼロ平均エッジテンプレート５４は、現在画像またはこれのいくらか増幅されフィルタ処理されデシメイト処理(decimated)されたレプリカの１５×１５画素領域について相関させて、図６に概略的に示すような相関面６０を作る。この相関面６０は、画素の明るさがその位置に中心を置いたときのテンプレートに対する画像の相関と一致するそれら画素の１５×１５アレイから成る。一般に、線を含む画像の領域について相関のあるエッジテンプレート５４は、良好な整合を示す正領域の線の応答６６と不整合を示す対応する負領域の線６７の両方をもたらす。この不整合線６７は、正領域の整合線６６から離れているその位置と距離によって線の幅が測定されまたその周囲よりも明るいか暗いかが測定される点で役立ちうる。さらに、現在画像の特徴のような明るいエッジに対応する相関面６０上には他の明るい画素６８がある。適応形地理階層追跡法の案内原理は、目印および目印が存在すると予測される位置に最も近い可能性のある目印を示す相関ピークに焦点を合わせることである。１５×１５相関面６０上どこでもピークをただ探すというのではなく、これらのパターンは中心部から外側に向かって探索される。これを行う最も簡単でかつ非常に有効な方法は、まず、中心部の３×３画素領域６４における中心部の九つの画素値を見ることである。これらの画素のどれもがしきい値よりも大きい相関値を持てば、その画素は探索中の目印を表わすものとされ、相関面のさらなる調査は行われない。そのしきい値は、通常、予想される普通の目印相関の５０％である。この３×３の初期探索によって、６８の符号が付いた画素が線６６の画素よりも明るい場合のように、たとえその明るさまたは形状によって目印相関をわかりにくくさせる近くの物体が存在する場合でも動きの追跡が可能になる。ひとたびピークの明るさを持つ画素が見つかると、同時係属米国特許出願第０８/３８１,０８８号で議論されているような周知の三角形再構成方法を用いてサブ画素位置の推定に達する。高次曲線をデータに適合させるなど使用してもよい他のサブ画素位置推定方法がある。しかし、経験により、同時係属米国特許出願第０８/３８１,０８８号に記載された三角法が最も有効であることが明らかにされている。別の方法は、相関面に中心部の画素により大きな重みを与える関数を掛けることである。我々は「シルクハット」(top-hat)でガウス形(Guassian)に似た形状が最も有効であることを見出だしたが、この重み関数はどんな形状であってもよい。次いで、この新しい重み付け面を探索してピーク値を捜し、これを用いてサブ画素推定の基礎となる位置を与える。重み付け面を用いてピークを見つけるときには、同時係属米国特許出願第０８/３８１,０８８号に記載されたような三角形を完成させる方法その他同様のアルゴリズムを用いてサブ画素のピーク推定のため非重み付け相関面を用いることがなお必要である。また、補間を行う前に重み付け面からのピークが実際は非重み付け面上の局所ピークであるということをチェックすることも重要である。もしそうでなければ、補間は行わず、非補間値を使用する。さらに、シーンに存在する各目印は、それが存在すると予測される位置からの距離に基づいてそれに関連づけられた誤差重量(error weight)を持っている。さて図７に示すように、この誤差重量の計算は、下記の一般的を用いて、座標ｘｐ ,ｙｐで示される画像の予測位置７０と座標ｘｍ，ｙｍで示される画像の測定位置７２とに基づく。ここで、ｇ,ｈ,ｉ,ｊ,ｋ,ｌは、重み関数の強さを変えるために選択される定数である。好適な実施態様において、式のパラメタは、下記のとおりである。特別の場合には、重み付けの強調を変えるためパラメタのおのおのを異なる値にしてもよい。例えば、短い距離では一定のままでその後急激に落ちる関数を提供するため定数ｉとｊを変更してもよい。次いで、現在画像２０中の点を基準アレイ２０中の点にマップするひずみパラメタを計算する際にこの誤差重量を使用する。好適な実施態様において、この計算は、下記のマトリックスを用いるのに適した重み付け平均最小自乗法(weighte d least mean squares)である。ここで、Ｃ１＝ｎｘ・誤差重量・ｘｐ＋ｎｙ・誤差重量・ｙｐおよびＣ２＝ｎｘ・誤差重量・ｘｍ＋ｎｙ・誤差重量・ｙｍ純粋に水平方向の目印の場合には、ｎｘ＝０およびｎｙ＝１であり、純粋に垂直方向の目印の場合には、ｎｘ＝１およびｎｙ＝０である。より一般的な場合には、ｎｘとｎｙは、目印の主方向の法線を表わすベクトルの方向余弦である。動き追跡計画の適応部分は、カメラのひずみを考慮するのに必要である。また、これによって、システムが記憶された理想化基準アレイと実際のシーンとの間の小さな不一致を補間することのみならず、システムが小さな遅い回転および／またはせん断を処理することが可能になる。さらに、これによって、システムがどんな小さなしかもゆっくり生じているひずみを処理することが可能になる。この適応は、その現在位置に基づいて基準アレイ座標を動的に更新することによって行われる。本発明においては、動き追跡の適応部分は、次の基準によって安定化されている。１）適応が起こるのを許容する場合には非常に慎重であること、２）目印が良好であるものとシステムがどの程度確信しているかに基づいてどの目印が関係するかを選択すること、３）計算全体を距離誤差重み関数によってかなり重み付けすること。さらに、基準アレイはどんなシーンがカットされた後もリセットされる。好適な実施態様において、基準座標の動的更新は、６フィールドの追跡後に開始され、どんなオクルージョンチェックによってもフラグされておらずかつ相関値が予測基準値の２０％を超え２００％未満である目印について行われるのみである。ただし、これらすべてのパラメタに対して異なる値を使用してもよい。測定された目印位置は、下記の式を用いて現在フィールド中のすべての良好な目印によって計算されるひずみパラメタを用いて基準アレイ内の位置に逆投射される。Ｘnr＝（Ｘm−a）/b Ｙnr＝（Ｙm−d）/b Ｘr＝ＸOr₊・（誤差重量）²・（Ｘnr-ＸOr）Ｙr＝ＹOr₊・（誤差重量）²・（Ｙnr-ＹOr）ここで、Ｘmは、目印の測定ｘ座標であり、Ｙmは、目印の測定ｙ座標であり、ａは、水平平行移動のひずみパラメタであり、ｂは、垂直平行移動のひずみパラメタであり、Ｘnrは、このフィールドデーターに基づいて計算された、提案の新しい基準点のｘ座標であり、Ｙnrは、このフィールドデーターに基づいて計算された、提案の新しい基準点のｙ座標であり、ＸOrは、更新前の古い基準点のｘ座標であり、ＹOrは、更新前の古い基準点のｙ座標であり、Ｘrは、新しい基準点としてテーブルに挿入されるｘ座標であり、Ｙrは、新しい基準点としてテーブルに挿入されるｙ座標である。また、インタレース映像について追跡性能を高めるため奇数と偶数のフィールドに対して別々の追跡基準アレイを使用することも可能である。適応基準アレイは潜在的に不安定な性質を有するため、好適な実施態様は、コード基準(CODE REFERENCE) ゲーム基準(GAME REFERENCE) 追跡基準(TRACKING REFERENCE) と呼ばれる、三つの関連基準アレイを持っている。図８の概略流れ図は、これら三つの基準がどのように用いられるかを示している。初期システムがロードされる始動時、三つの基準はすべて同じに設定される。コード基準＝ゲーム基準＝追跡基準すなわち、各基準アレイ中の目印のｘとｙ座標は、コード基準アレイ中の目印の座標と同じに設定される。画像処理が行われる実行時、三つの基準アレイは以下のように用いられる。ゲーム基準はサーチと検査モードで使用され、追跡モードでは追跡基準が使用される。最初、追跡基準アレイは、ゲーム基準アレイと同じに設定される。好適な実施態様において、これは、追跡が行われる最初のフィールドで起こる。その後のフィールドにおいて、追跡基準は、上記に詳述したように変更される。奇数と偶数のフィールドに対して別々の追跡基準アレイを使用している場合には、それらは共に最初はゲーム基準アレイに設定される。追跡モード中はいつでも、オペレータは、スクリーン、キーボード、マウス、グラフィック・ユーザ・インタフェース、トラックボール、タッチスクリーン、またはこれら装置の組合せなどの標準的なコンピュータ・インタフェース・ツールを用いて、現在の追跡基準をゲーム基準の中にコピーすることができる。この機能は、試合の開始時に役に立つ。例えば、オペレータは、特にそのスタジアムで挿入を行えるように当該生映像挿入システムをセットアップすることができる。コード基準座標は、そのスタジアムでのその前の試合に基づく目印位置を有しているが、目印の位置は、介在する時間の中で微妙に変更されたかもしれない。しかし、コード基準は、大部分の時間において、検索と追跡に十分な状態のままである。または、ショットを待つか、あるいは、すべての目印に障害がない試合前にディレクタにショットをセットアップしてもらい、そして追跡基準の調整が完了されることを考慮に入れることによって、特にその試合に対するより正確なゲーム基準を達成することができる。いつでも、追跡またはサーチモードのどちらでも、オペレータは、ゲーム基準をコード基準にリセットすることができる。これによって、改変された追跡基準にゲーム基準をリセットするというオペレータの間違いからの復旧が可能となる。適応基準プロセスの重要な部分は、更新処理をプレーヤなどの物体によってオクルードされていないことがわかっている目印に制限することである。好適な実施態様におけるこの目印オクルージョン検出に用いられる方法は、色に基礎を置き、たいていのスポーツが、かなり均等な色の十分に限定された領域を持つ表面上において、または野球場の背壁のような均等色の本質的特徴を持つスタジアムにおいてプレーされるという事実を利用している。図９に示すような各目印９０は、当該目印に関連づけられたセンサ点９２を有している。これらセンサ点９２は、好適な実施態様では１目印９０につき３〜９個の範囲で設けられ、画素が関連づけられている目印の近くの、または好ましくは当該目印を取り囲んでいる所定の位置のその画素である。さらに重要なことには、センサ点はすべてかなり均等な色の領域上に存在している。目印がオクルードされているかどうかの決定は、センサ点を見て、それの平均値からの偏差を測定することに基礎を置いている。この偏差があらかじめ設定された値を超えている場合には、目標はオクルードされていると推定される。その他、それは、モデル計算や基準アレイ更新のような他の計算に使用することもできる。垂直インタレースの処理方法と各先行フィールドの理想化された目印位置の使用は両方ともきわめて重要でかつ革新的である。本発明は、出願人が知っている従来技術に対していくつかの有利な点を有している。第一に、本発明は、高い精度を維持しつつ一般的な放映環境においてフィールドからフィールドへの動きを追跡することができるという点で、どんな周知の従来技術のシステムよりも強じんである。第二に、本発明は、画像のシークエンス内の突然の変化をなめらかに処理することができる。そのような変化は素早い行為やシーンのカットのようなイベントを示し、しばしば視聴者にとって最も興味のあるものである。第三に、本発明は、カメラそれ自体からのセンサデータを当てにしていない。したがって、本発明は、放送中のカメラのジッタまたは動作に影響されない。第四に、映像画像のみを使用するため、本システムは、イベントと視聴者の間の放送流れの中のどこにでも置くことができる。最後に、本発明は、前処理または１画素未満の精度の始点を必要とすることなく信頼できる結果を達成することができる。今まで本発明をその好適な実施態様を参照して説明してきたが、当業者であれば、全体として本発明の精神や範囲から逸脱しなければ本システムの個々の部分の構造や機能にさまざまな変更を加えうることはわかるであろう。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＧ０６Ｆ 15/70 ４１０ (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)，ＵＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ (72)発明者ダス，サブホデフアメリカ合衆国，ニュージャージー州 08540，プリンストン，ブルースプリングロード 1012 (72)発明者イー，タンアメリカ合衆国，ニュージャージー州 08536，プレインズボロ，リンデンレイン 27

Claims

【特許請求の範囲】１．映像システムによって走査される関連映像画像のシークエンスにおけるフィールドからフィールドへの動きを追跡する方法において、ａ）複数の目印を有し各目印が単一のｘｙ座標を有する基準アレイを表現する理想化されたｘｙ座標のアレイを設定するステップと、ｂ）画像全体のカメラ関連動作に対する単一マッピング機能によって現在画像中のｘｙ座標を前記基準アレイ中の前記ｘｙ座標にマッピングするステップと、ｃ）先行フィールドからの前記目印の検出された位置変化に基づいて、前記目印座標の未来位置ｘ′とｙ′を予測するステップと、を有し、二つの連続するフィールド間の変化による予測誤差が最小化される前記方法。２．前記マッピングは、下記の関係式によって達成される請求項１記載の方法、ｘ′＝ａ＋ｂｘ＋ｃｙｙ′＝ｄ＋ｅｘ＋ｆｙここで、ｘは、前記基準アレイの水平座標であり、ｙは、前記基準アレイの垂直座標であり、ｘ′は、前記現在シーンの水平座標であり、ｙ′は、前記現在シーンの垂直座標であり、ａは、ｘ方向における物体の水平平行移動のひずみパラメタであり、ｂは、ｘ方向における前記基準アレイと前記現在画像間の倍率のひずみパラメタであり、ｃは、ｘ方向における回転とスキューの組合せのひずみパラメタであり、ｄは、ｙ方向における物体の垂直平行移動のひずみパラメタであり、ｅは、ｙ方向における回転とスキューの組合せのひずみパラメタであり、ｆは、ｙ方向における前記基準アレイと前記現在画像間の倍率のひずみパラメタである。３．前記映像画像は垂直方向にインタレースされフィールドからフィールドへの画像は同種と異種のフィールド間で交互に繰り返す請求項２記載の方法。４．前記インタレースされた映像画像に対する前記目印座標の未来位置ｘ′とｙ′を予測する前記ステップは、先行する同種フィールドからの前記目印の検出された位置変化に基づいて行われる請求項３記載の方法。５．さらに、ｄ）テンプレートを用いる相関によって前記現在画像中の前記目印の一つを探索するステップと、当該探索は、前記目印の予測位置に広がる相当な領域にわたって行われる、ｅ）ステップ（ｄ）における前記相関探索の結果に前記目印の予測位置までの距離が近いほど大きな重みを相関に与える重み関数を掛けて重み付き相関面を得るステップと、ｆ）前記重み付き相関面を探索してそのピーク値を捜すステップと、を有する請求項４記載の方法。６．さらに、ｇ）その目印に対する前記重み関数によって重み付けされた現在画像中の前記目印の現在位置に基づいて現在画像に対する新しいひずみパラメタａ,ｂ,ｃ, ｄ,ｅ,ｆを決定するステップ、を有し、予測位置により近い目印が重要視される請求項５記載の方法。７．前記重み関数は、下記の関係式から成る請求項６記載の方法、ここで、ｇ,ｈ,ｉ,ｊ,ｋは、定数であり、ｘｐは、前記目印の予測ｘ座標位置であり、ｘｍは、前記目印の測定ｘ座標位置であり、ｙｐは、前記目印の予測ｙ座標位置であり、ｙｍは、前記目印の測定ｙ座標位置である。８．さらに、ｈ）前記現在画像中の前記目印の位置に従って前記基準アレイ内の前記目印位置を更新するステップ、を有し、前記更新は、十分に識別された目印に基づいて前記目印重み関数に従って行われる請求項７記載の方法。９．さらに、ｉ）放送前に３タイプの基準アレイを設定するステップ、を有し、前記３タイプの基準アレイは、 i) 前記基準目印座標と同じ目印座標を持つコード基準アレイと、 ii) 最初前記コード基準アレイと同じに設定される目印座標を持つゲーム基準アレイと、 iii)最初前記コード基準アレイと同じに設定される目印座標を持つ追跡基準アレイと、を含む請求項８記載の方法。１０．さらに、ｊ）放送中に前記追跡基準アレイの座標を変更するステップと、ｋ）カットされたシーンの後前記追跡基準アレイの座標を前記ゲーム基準アレイの座標にリセットするステップと、を有する請求項９記載の方法。１１．前記映像システムはオペレータによって制御され、前記方法は、さらに、ｌ）前記現在追跡基準アレイの座標を前記ゲーム基準アレイの座標と同じに設定するかまたは前記ゲーム基準アレイの座標をさらに戻って前記コード基準アレイの座標に設定するかを選択的に決定するステップ、を有し、前記オペレータは、ゲームまたは追跡基準アレイの座標を更新しまたは無効にすることができる請求項１０記載の方法。１２．さらに、ｍ）前記目印おのおのの位置を取り囲むパターン内にひと組のセンサ点を設定するステップと、前記センサ点は、色と照明の変化を検出することができる、ｎ）前記センサ点の色または照明が前記予測された色または照明と違うかどうかを決定するステップと、ｏ）前記色または照明が予測されたものとかなり違う場合に前記目印を将来の計算から除外するステップと、を有し、前記目印は、前記センサ点の前記色または照明が前記予測された色または照明とかなり違う場合、オクルードされていると考える請求項１１記載の方法。１３．前記相関テンプレートは、１５×１５画素ウインドウである請求項１２記載の方法。１４．前記マッピングは、下記の関係式によって達成される請求項１記載の方法、ｘ′＝ａ＋ｂｘｙ′＝ｄ＋ｂｙここで、ｘは、前記基準アレイの水平座標であり、ｙは、前記基準アレイの垂直座標であり、ｘ′は、前記現在シーンの水平座標であり、ｙ′は、前記現在シーンの垂直座標であり、ｂは、前記基準アレイと前記現在画像間の倍率のひずみパラメタであり、ａは、ｘ方向における物体の水平平行移動のひずみパラメタであり、ｄは、ｙ方向における物体の垂直平行移動のひずみパラメタである。１５．さらに、ｐ）テンプレートを用いる相関によって前記現在画像中の前記目印の一つを探索するステップと、当該探索の始点は、前記目印の予測位置のほぼ中心に置かれる、ｑ）前記探索を前記予測位置から始め外側へ向かい整合を捜して行うステップと、ｒ）前記整合がしきい値を超えると前記目印に対する前記探索を中止するステップと、を有する請求項４記載の方法。１６．前記重み関数は、下記の関係式から成る請求項６記載の方法、ここで、ｘｐは、前記目印の予測ｘ座標位置であり、ｘｍは、前記目印の測定ｘ座標位置であり、ｙｐは、前記目印の予測ｙ座標位置であり、ｙｍは、前記目印の測定ｙ座標位置である。１７．映像システムによって走査される関連映像画像のシークエンスにおけるフィールドからフィールドへの動きを追跡するシステムにおいて、複数の目印を有し各目印が単一のｘｙ座標を有する基準アレイを表現する理想化されたｘｙ座標のアレイを設定する走査手段と、現在画像中のｘｙ座標を前記基準アレイ中の前記ｘｙ座標にマッピグするマッピング手段と、先行フィールドからの前記目印の検出された位置変化に基づいて、前記目印座標の未来位置ｘ′とｙ′を予測する予測手段と、を有し、二つの連続するフィールド間の変化による予測誤差が最小化される前記システム。１８．さらに、前記目印の予測位置のほぼ中心に置かれた相関テンプレートを用いて前記現在画像中の前記目印の一つを探索する探索手段を有し、当該探索は、前記予測位置から始め外側へ向かい整合を捜して行われ、前記整合がしきい値を超えると中止される請求項１７記載のシステム。１９．さらに、各目印に当該目印がその予測位置から離れている距離に反比例する値を持った重み関数を与える重み付け手段、を有する請求項１８記載のシステム。２０．さらに、前記現在画像中の前記目印の位置に従って前記基準アレイ内の前記目印位置を更新する更新手段、を有し、前記更新は、十分に識別された目印に基づいて前記目印重み関数に従って行われる請求項１９記載のシステム。２１．さらに、放送前に３タイプの基準アレイを設定する手段、を有し、前記３タイプの基準アレイは、 i) 前記基準目印座標と同じ目印座標を持つコード基準アレイと、 ii) 最初前記コード基準アレイと同じに設定される目印座標を持つゲーム基準アレイと、 iii)最初前記コード基準アレイと同じに設定される目印座標を持つ追跡基準アレイと、を含む請求項２０記載のシステム。２２．さらに、放送中に前記追跡基準アレイの座標を変更し、カットされたシーンの後前記追跡基準アレイの座標を前記ゲーム基準アレイの座標にリセットするオペレータ入力手段、を有する請求項２１記載のシステム。２３．さらに、各目印の位置を取り囲むパターン内にひと組のセンサ点を設定するセンサ手段、を有し、前記センサ点は、色と照明の変化を検出することができ、前記センサ点の色または照明が予測された色または照明と違うかどうかを決定する請求項２２記載のシステム。２４．さらに、目印の周りの前記色または照明が予測されたものとかなり違う場合に前記目印を将来の計算から除外するオクルージョン手段、を有する請求項２３記載のシステム。２５．映像システムによって走査される関連映像画像のシークエンスにおけるフィールドからフィールドへの動きを追跡する方法において、ａ）複数の目印を有し各目印が単一の座標ｒｘとｒｙを有する基準アレイを表現する理想化されたｘｙ座標のアレイを設定するステップと、ｂ）画像全体のカメラ関連動作に対する単一マッピング機能によって現在画像中のｘｙ座標を前記基準アレイ中の前記座標ｒｘとｒｙにマッピングするステップと、ｃ）先行フィールドからの前記目印の検出された位置変化に基づいて、前記目印座標の未来位置ｘ′とｙ′を予測するステップと、を有し、実際の位置ｘ,ｙと理想化された基準アレイからマップされた位置ｒｘ,ｒｙとの間の重み付けされた誤差関数を最小化することによって全体カメラ動作ベクトルを計算する際に現在フィールドに対するその前に予測された位置ｘ′,ｙ′と現在フィールドに存在する実際の位置ｘ,ｙとの間の差を用いて各目印に他と比べてどれくらいの重みを与えるかを決定する前記方法。