JPH08202879A - 互いに相関する画像のシーケンスに属する連続するビデオ画像を変更する方法、ならびに対象点の集合によって識別されるターゲットの表現を同じシーケンスの連続するｔｖフレーム中の同じ幾何学的形状の予め定められるストアされるパターンのマッチングする表現と置換する装置およびその方法 - Google Patents

Abstract

(57)【要約】 【目的】 互いに相関される画像のシーケンスに属する
連続するビデオ画像を変形するための改良されたシステ
ムを提供する。 【構成】 システムは、複数のフレームをストアするた
めのバッファ（１２）と、ターゲットのピクセルがパタ
ーンのピクセルと置換された後に画像のシーケンスをス
トアするためのレコーダ（１４ａ）と、ディスプレイ
（１４ｂ）と、伝送システム（１４ｃ）と、ターゲット
フレームを探す第１のファインダモジュール（１６）
と、グローバルモーショントラッカモジュール（１８）
と、記録ユニット（２０）と、アダプタユニット（２
２）と、第２のファインダモジュール（２４）と、置換
モジュール（２６）とを含む。

Description

【発明の詳細な説明】

【０００１】この発明は、予め定められるパターンのマ
ッチングする表現によって、画像のシーンのゾーン（こ
れ以降はターゲットと呼ぶ）を置き換えるための、任意
のビデオソース（カメラ、複数のカメラを組合せるスタ
ジオスイッチボードの出力、または衛星ダウンまたはア
ップ回線を含むがそれらに限定されるものではない）に
よって送られる画像のシーケンスのビデオ画像を変える
ためのビデオ処理システムに関する。これ以降はより明
確に曖昧性を避けるため、「フレーム」という語を「画
像」にしばしば置き換えて用いる。しかしながら、シー
ケンシャルラスタスキャニングが用いられる場合、処理
はフレーム対フレームでのみ生ずる。大抵の例において
は、従来のインタリーブされるラスタスキャンが用いら
れる場合、１つの完全なフレームはヨーロッパでは２０
ｍｓの２つのフィールドにある対応するライン間に時間
遅延を有する２つのフィールドからなる。次いで、２つ
のアプローチのうちのいずれかが選択されなければなら
ない。アプローチの１つでは奇数フィールドを偶数フィ
ールドとは別途に処理する。しかしながら、同じ瞬間で
のシーンの状態にラインが対応するような画像を得るた
めには、２つのフィールド間で生ずる動きの量の評価を
行ない内挿技術を用いることがはるかに好ましい。

【０００２】ターゲットのためのパターンの置換を可能
にする数多くの技術が公知となっている。国際出願番号
ＰＣＴ／ＦＲ９１／００２１９６をたとえば参照しても
よい。米国特許第５，１０７，２５２号（トレイナー
（Traynar ）ら）に開示される別の方法は、フレーム単
位で置換されるターゲットの表現のコーナを繰返して指
すことによるビデオ画像操作を必要とする。米国特許第
５，２６３，９３３号（ロッサー（Rosser）ら）は、デ
ィスプレイにおける選択される部分の代わりにストアさ
れるインデックスのビデオ表現を後に挿入するために、
ディスプレイにおける選択される部分を認識するための
従来のパターン認識および画像処理方法を用いることを
教示している。

【０００３】置換されるべきキーフレームを手動で指定
することを伴うフレーム単位の処理は時間がかかり単調
である。各画像上で実行される全パターン認識を必要と
する任意の方法には数多くの制限がある。たとえば、パ
ターン認識アルゴリズムは、ビルボードの重要な部分が
画像に現れるまでは、または現れなければ、置換される
べきビルボードを識別することはできない。この結果、
ビルボードの大部分がカメラの視野に入った後にそのビ
ルボードが別のビルボードと突然置換されるということ
が起こるかも知れず、これは非常に好ましからぬことで
ある。

【０００４】

【発明の概要】この発明の目的は、互いに相関する画像
のシーケンスに属する連続するビデオ画像を変更するた
めの改良されたシステムを提供することである。より特
定的な目的は、好ましいくない条件下で、および／また
は置換されるべきターゲットがディスプレイのフィール
ドに入ったほとんど直後に、（ならびに、逆に、置換さ
れるべきターゲットのわずかな部分が依然としてディス
プレイ内にあるまでは）、そのような変更を実行するこ
とを可能にするシステムを提供することである。この目
的のために、バッファメモリに複数の連続する画像をス
トアするステップと、次いで、当該技術分野において従
来のタイプのものであってもよいパターン認識技術を用
いて、前記画像の各々においてそのターゲットが信頼性
を持って見つけられるまでそれを探すステップと、次い
で、画像のグローバルな変化の評価に基づき、先行する
または後続する画像におけるターゲットの位置に関して
逆方向および順方向予測を実行するステップとを伴う方
法を提供し、それにより、ディスプレイ内でターゲット
のほんの一部が利用可能であるような場合でもターゲッ
トの位置の精密な識別が達成されるだろう。好ましい実
施例においては、予測された位置の更新はそれが信頼性
を持って可能である限りにおいて行なわれ、この結果、
ターゲットは先行技術の技術であれば不可能であろうよ
うな条件下でも追跡されるだろう。

【０００５】より正しくは、上述の方法を請求項７に従
って実現するのに好適な、ターゲットの表現を置換する
ための請求項１または請求項２に従う方法および装置を
提供する。

【０００６】カメラの動きを評価するための手段はアフ
ィンモーションモデルを用いてもよいが、スピードの増
大とより十分な正確度のために、好ましくは３パラメー
タモーションモデルを用いる。

【０００７】この発明の上記のおよび他の局面は、例に
よって与えられる特定の実施例の以下の説明から明らか
となる。

【０００８】

【好ましい実施例の詳細な説明】この発明は、テレビカ
メラのような単一のビデオソースを含み、カメラによっ
て見られるシーンにおける特定のゾーンからなるまたは
典型的には広告用ビルボードのようなシーンに存在する
実際の物体からなるターゲットの表現を置き換えるため
にプログラムされる、システムに関連してまず説明され
る。しかしながら、すべてが備わったシステムは、たと
えばスポーツイベントをゲームの連続する段階中に異な
るカメラから見られるように放送するために、いくつか
のカメラを含むかもしれない。説明されるようなこのシ
ステムは、ターゲットがシーンにおいて静止状態にあ
り、かつ２次元的であり、かつシーケンスの間は固定さ
れている、つまり変形可能でない場合に有効である。シ
ステムは、すべての動きが３パラメータモーションであ
る場合に必要となるであろうすべての幾何学的変換、つ
まりｘ方向の変換とｙ方向の変換とズームとを実行して
もよい。このような単純化により結果の速度および正確
度が増す。上記の仮定が破られるとシステムはシナリオ
を検出し得、それは確信の尺度に反映する。

【０００９】これ以降は、「画像」という語よりもむし
ろ「フレーム」とう語を頻繁に使う。この２つの用語
は、システムがシーケンシャルラスタスキャンを用いる
場合は同義語である。逆に、飛越しスキャンが用いられ
る場合、特に速い動きが存在し、それが予測にとっては
厄介な２つのフィールド間の垂直シフトを生じさせるか
もしれない場合は、相関関係はフレーム対フレームより
もむしろフィールド対フィールドである。

【００１０】図１を参照すると、システムは、たとえ
ば、処理に必要な何秒かの一定の遅延を有する擬似実時
間で作動する場合はＴＶカメラであり、オフラインで操
作する場合にはビデオテープリーダである、ビデオソー
ス１０を含む。オペレーションの第２のモードが必要と
する計算能力は第１のモードよりも低い。

【００１１】システムは、コンピュータプログラムの別
のデータ処理コンポーネントまたは部分であってもよい
複数のモジュールまたはユニット、つまり、典型的には
３〜５秒の期間に対応する、ｔ_n 至るｎ＋１個のフレー
ム（ｎは１より大きい整数である）をストアするための
十分な容量を有し、シフトレジスタとして動作するよう
接続またはプログラムされるバッファ１２と、ターゲッ
トのピクセルがパターンのピクセルと置き換えられた後
に画像のシーケンスをストアするレコーダ１４ａと、デ
ィスプレイ１４ｂと、送信システム１４ｃ等とでもよい
出力コンポーネントと、その機能は過去の履歴に基づい
てターゲットフレームｔ_n を捜すことである、第１のフ
ァインダモジュール１６と、その機能は前のフレームｔ
_n-1 からカメラで見られるシーンの動き（典型的にはカ
メラの照準線および／または焦点距離における変化によ
る動き）を計算することである、グローバルモーション
トラッカモジュール（ＧＭＴ）１８と、ターゲットがそ
れぞれのフレームにおいて発見されるとターゲットの属
性を各々が記録するための属性記録ユニット２０の組
と、ターゲットが最初にフレームｔ_n において発見され
た場合には計算された動きに基づいてすべての前のフレ
ームｔ₀ 、…、ｔ_n-1 におけるターゲットの位置を予測
して属性記録をそれに従って更新するための更新ユニッ
ト２２と、フレーム中のターゲットを、今度はすべての
ｎ個の先行フレームによって生ずる局所化予測を用いて
捜すための第２のファインダモジュール２４と、ターゲ
ットが見つかった場合には（１つのパターンまたは複数
のパターンをそれらの間での考えられ得る選択のために
ストアする）パターンメモリ２８から読出されるパター
ンの変換された表現の挿入を行なう置換モジュール２６
とを含むと考えられてもよく、リプレーサはオプション
として、障害物検知およびその結果の、障害物を除去し
ないための部分的挿入をさらに行なうことができる。

【００１２】更新ユニットがワンショットを超えて予測
を伝播しないよう、グローバルモーショントラッカは好
ましくはカメラで見られるシーンにおける突然の変化を
お信号送信するのにさらに用いられてもよい。

【００１３】システムのモジュールおよびユニットを個
々に説明する前に、異なるシナリオ下でのシステムのオ
ペレーションおよび動作のモードをまとめることは役立
つかもしれない。これは、その位置および大きさがその
４つのコーナの座標によって定義されるであろうスタジ
アム、レーストラック、アリーナなどにおいてまたはそ
れらの周囲に掲げられるビルボードを置き換えるために
このシステムが用いられることを仮定してなされる。

【００１４】図２を参照すると、カメラの運動のため、
ビルボード３０の表現は、カメラの視野に徐々に入って
最後にはその視野から出るだろう。

【００１５】システムは自動的に作動する。しかしなが
ら、これより説明する実施例においては事象の始まりに
おいて一度だけユーザのインタラクションを必要とす
る。次いで、図２の３２で示されるように、オペレータ
は（マウスまたはライトペンを用いて）フレーム中の完
全に現れている置き換えられるべきターゲットビルボー
ドを選択し、その代わりに置かれるべきパターンを特定
する。これは、モニタ３４（図１）上でシーンを見てマ
ウス３６でそのコーナを指示することによってなされて
もよい。挿入されるべきパターンはメモリ２８において
選択される。システムは次いで、置き換えられるべきタ
ーゲットビルボード内の特有の特徴（後に対象点と呼ば
れる）、および／またはターゲットビルボードの外にあ
りかつカメラで見られるシーンにおいてビルボードと固
定される関係を有する特有の特徴（たとえばターゲット
ビルボードを支持する壁上のマークなど）を識別する。

【００１６】第２の可能性は、ターゲットが仮想であっ
て、パターンがその上に挿入されなければならないブラ
ンク面の区別されないゾーンを構成する場合に重要であ
る。その特有の特徴は装置によって識別されるよりもむ
しろ、ここでもマウスを用いてオペレータによって示さ
れるほうがよい。オペレータは事象の間の任意の時点で
ターゲットの選択を変更してもよい。

【００１７】この時点以降、シーケンスのフレームの少
なくとも１つにおいて、視野に見られる特有な特徴の数
はパターン認識が生ずるのに十分な数でありかつ十分に
正確であるという条件下で、システムはズームインおよ
びズームアウトの間に（図２の左側に見られるように）
視野に入り視野を出るターゲットを置き換えることが可
能であり、これはこの発明のシステムおよび方法の独自
の特徴により認識がそのフレームから前方および後方に
伝播するからである。

【００１８】様々なコンポーネントについて次に説明す
る。 ［第１のファインダモジュール］図３を参照して、第１
のファインダモジュール１６は５つのサブモジュールを
含むものと考えられる。

【００１９】入力から始まって、サブモジュールは以下
のとおりである。対象オペレータ３８は、以下「ポイン
トオペレータ」と呼ぶが、画像の中の特有の特徴、通常
はコーナまたは交差線を抽出し、それらをたとえば６×
８ピクセルの近傍上で識別する。

【００２０】色に基づくフォーカス・オブ・アテンショ
ンサブモジュール４０は、色情報に基づいて、ターゲッ
トの中で最も見つけられそうな対象ポイントを選択する
ように設計される。

【００２１】ポイントマッチャ４２は第１のファインダ
モジュール１６の重要な部分を構成する。その機能はタ
ーゲットの記憶されたモデルの対象ポイントと実際のフ
レームｔ_n 内で見出される対象ポイントとの間に対応す
るポイントの集合を見つけることである。ポイントマッ
チャはマッチングのために作られたハッシュ表およびア
フィン変換を一般に使用する。これはよく知られたパタ
ーン認識処理を実現し得る。

【００２２】精密なロックイン（ＰＬＩ）サブモジュー
ル４４は、ポイントマッチャ４２から得られた対応関係
が与えられたとすると、フレームのターゲットの精密な
（典型的にはサブピクセルの解像度までの）位置を見つ
けるためのものである。

【００２３】最後に、プレディクタサブモジュール４６
は、ＰＬＩサブモジュール４４およびグローバルモーシ
ョントラッカ１８から受取った情報に基づいて、ターゲ
ットがフレームｎ−１で発見されたと仮定して、オーダ
ｎのいずれかのフレーム内でビルボードの位置を予測す
る。

【００２４】動作については、第１のファインダモジュ
ールはターゲットのモデルから関連の特徴を抽出するた
めに、前処理段階が完了していることを必要とする。こ
の処理については図４を参照して説明する。ターゲット
モデルから抽出された情報は以下のものを含む。

【００２５】フォーカス・オブ・アテンションサブユニ
ット４０によって使用される色情報ポイントオペレータ
３８によって使用される特徴ポイントまたは特徴マーク
マッチングのために作られたハッシュ表、これについて
はポイントマッチャ４２を説明する際により完全に言及
する。

【００２６】ポイントオペレータサブモジュール３８は
ターゲット上のある数の「対象ポイント」または「特徴
マーク」を検出しかつその場所を突き止めなければなら
ない。対象ポイントは典型的にはコーナまたは頂点であ
り、これらはたとえばビルボードの文字に非常によく見
られる。対象ポイントはより一般的にはその周囲から区
別されるあらゆる点である。任意のフレーム上でこのサ
ブモジュールによって発見されたポイントの集合をター
ゲットモデル（全く同じ方法で処理されている）上で発
見されたポイントの集合と比較し、類似性およびマッチ
ングを見つけようと試みる。

【００２７】幾つかの要件がこの発明の実現例における
対象ポイントの意味を典型的に規定するであろう。

【００２８】個別性および独自性：対象のポイントはそ
の輝度（放射値）に従ってその周囲から区別されなけれ
ばならない。このポイントはあるエリア内に特有のもの
でなければならない。なぜなら、ポイントまたは非常に
近いポイントの集積はマッチングステップを混乱させる
ことになるからである。

【００２９】不変性および安定性：対象ポイントはター
ゲットモデル上のポイントとの比較を行なうことによっ
てターゲットのマッチングのために使用されるので、同
じポイントは異なった条件で見られても理想的には同じ
物体の上で発見されなければならない。しかしながら、
応用では視点およびスケールの変化、コントラストの変
化、照明の変化、動きの速いカメラの場合には強いブレ
などの変化する条件がある。

【００３０】画像の第１および第２の微分係数の計算に
それぞれ基づく２つの異なった対象オペレータが典型的
には使用され得る。画像の第１の微分係数を使用するオ
ペレータはより安定した結果を与え、一般に好まれる。
それは以下のとおりである。

【００３１】画像Ｉ（ｘ，ｙ）の第１の微分係数を計算
し、画像Ｉ² _x 、Ｉ² _y およびＩ_xＩ_y を算定する。

【００３２】これら３つの画像を大きなボックスフィル
タ（典型的にはサイズ９×９）で畳み込み、３つの画像
ｎ₁₁、ｎ₂₂、ｎ₁₂になる。マトリックスＮは行ｒおよび
列ｃに属する各ポイントで以下のように規定される。

【００３３】

【数１】

【００３４】Ｎから、ポイントの「対象」および等方性
画像を表わす重み付き画像が算定され得る。これらの値
は各ポイントで以下の式によって与えられる。

【００３５】

【数２】

【００３６】上述の式において、ｄｅｔはマトリックス
Ｎの行列式を示し、ｔｒは跡和（対角線項の和）を示
し、ｑは商を示す。

【００３７】重み付き画像はしきい値と比較され、以下
に規定される画像ｈ（ｒ，ｃ）となる。

【００３８】ｗ（ｒ，ｃ）、ｗ（ｒ，ｃ）がしきい値よ
り上で、ｑ（ｒ，ｃ）がしきい値より上の場合、および
０、他のすべての場合。

【００３９】ポイントの集積を避けるためにしきい値処
理された画像に対して非最大抑制が行なわれる。９×９
ピクセルのウィンドウを使用することにより良い結果が
得られた。

【００４０】使用される異なった数値（しきい値、ウィ
ンドウサイズ）は最終的に設定され、ほとんどのタイプ
の画像に当てはまる。典型的には、これらの値はフルフ
ォーカスでかつ「合理的な」サイズの、つまり小さ過ぎ
ない（なぜならポイントマッチャモジュール４２が作用
するのに十分なポイントがないであろうから）、また大
き過ぎない（なぜなら多くのポイントがあり過ぎて、マ
ッチャが最も関連のあるポイントを選択することが不可
能になるから）ビルボードからなるターゲットに対して
最適化される。

【００４１】フォーカス・オブ・アテンションサブモジ
ュール４０はターゲット上に非常にありそうな対象ポイ
ントを選択するように設計される。ローカルヒストグラ
ム法が使用され得る。しかしながら、その計算上の複雑
さのために、対象ポイントの色に基づく選択には別の方
法が好ましいことがわかった。

【００４２】フォーカス・オブ・アテンションが特徴ポ
イントを選択するために使用されるので、特徴ポイント
のみで色情報をテストすれば十分であり、計算時間が減
る。

【００４３】好ましい方法は対象ポイントが通常２つの
異なった色の接合点であるということを使用し、オペレ
ータは前処理段階でモデルの考えられる色の対（大半の
場合には、考えられる対は１つまたは２つしかない）を
選択しさえすればよい。オンライン処理では、各特徴ポ
イントの周りのラインおよび列の幾つかのピクセルから
なるウィンドウがテストされる。ウィンドウ内の各ピク
セルについて、その色のモデルの最も近い色までの距離
が記録される。ウィンドウにわたってこれらの距離を合
計する。計算された距離に反比例するスコアが特徴ポイ
ントに割当てられ、ウィンドウは色対の両方の色を有す
ることが必要とされる。量子化ではなく色空間の距離が
使用されるので、この処理はしっかりしたものである。
この結果は非常に信頼性が高いことがわかった。

【００４４】ポイントマッチャサブモジュール４２のタ
スクは演繹的な知識を何も使用せずにすべてのフレーム
でターゲットビルボードの位置を突き止めることであ
り、この目的のために、対象ポイントオペレータサブモ
ジュール３８によって発見された対象ポイントを記憶さ
れたターゲットモデルの対象ポイントとマッチングさせ
ることである。これはターゲットの記憶されたモデルと
実際の画像のターゲットの表現との間の変換、およびし
たがってターゲットがあると想定される実際の画像内の
ターゲットの位置を発見するために行なわれる。

【００４５】この目的のために、幾つかの方法が使用さ
れ得る。しかしながら、アフィン不変マッチング技術を
使用することが有利である。

【００４６】その方法に従って、画像座標はモデル座標
のアフィン変換座標であると仮定される。

【００４７】ターゲットモデル（ｘ_m ，ｙ_m ）の各ポイ
ントに対して、画像の対応のポイントの座標は（ｘ_i ，
ｙ_j ）である。

【００４８】

【数３】

【００４９】ポイントマッチャサブモジュールの目的
は、恐らく対応するポイントの２つの集合しか知らない
で、対（Ａ，ｂ）によって与えられる変換を発見するこ
とである。既に示したように、画像から得られたすべて
のポイントがターゲットモデルに対応するポイントを有
していることは確かではないし、逆にターゲットモデル
のすべてのポイントが画像に対応のポイントを有するか
どうかも確かではない。各集合の部分集合のみが対応す
るであろう。この部分集合のサイズはできるだけ大きく
なくてはならない。この部分集合のサイズは対象ポイン
トオペレータの性能によって決定され、また現在の画像
におけるフルターゲットの有効性によって条件付けられ
る。

【００５０】ポイントマッチャサブモジュールは連続し
て２つのステップ、つまり前処理ステップおよび認識ス
テップを行なう。

【００５１】前処理ステップ（図４）はパターンモデル
のポイントの初期処理であり、そうであるので、シーケ
ンスの始めにオフラインで一度だけ行なわれる。その目
標はモデルで発見されるすべての考えられる安定したベ
ース（説明された実施例ではポイントのトリプレット）
に対するすべてのモデルポイントのアフィン座標を計算
することである。アフィン座標の各対はそれを生み出し
た基底トリプレットとともに記憶される。効率的な計算
のために、このデータは２次元のハッシュ表に記憶され
る。１対のアフィン座標（ｘ，ｙ）は座標（ｆ（ｘ），
ｆ（ｙ））でハッシュ表に記憶される。ハッシュ関数ｆ
は典型的には小さな値に対して最大判別を与える逆正接
であり、この関数はアフィン座標が小さくなりそうであ
るので有利である。

【００５２】安定したベースの使用は２つの理由のため
に必要である。第１に、ポイントのいかなるトリプレッ
トも信頼できる基底を与えないであろう。もしたとえば
３つのポイントが同一線上であれば、基底は有効ではな
い。基底の２つのベクトル間の角度が小さければ、基底
は信頼できない。なぜなら、基底のあるポイントで測定
誤差が何かあれば非常に異なったアフィン不変座標を生
み出すであろうからである。安定したベースのみを考慮
する第２の理由はベースの数が始めは非常に多く、つま
りＮ（Ｎ−１）（Ｎ−２）であり、すべてのベースを処
理するには多くの計算時間がかかることである。したが
って、この数を減らすことが重要である。興味がある選
択基準はまず角度の基準に依存し、ポイントのトリプレ
ットによって形成される三角形の３つの角度は小さ過ぎ
てはいけない。そのポイントがあまりに近すぎるベース
もまた排除される。

【００５３】認識またはマッチングステップ（図５）は
入力として画像の対象ポイントの集合を使用し、その幾
つかはモデルのポイントにマッチングすると考えられ
る。画像ポイントは基本的にはモデルポイントが前処理
で処理されるのと同じ方法で処理される。所与の安定し
た基底に対して、この基底に対する画像ポイントのすべ
てのアフィン座標が計算される。

【００５４】ハッシュ表の同じバケットに対するポイン
トハッシュのアフィン座標がモデルポイントのアフィン
座標を有する場合には、その座標を生み出したモデル基
底に対して票が投じられる。

【００５５】ポイントのすべてのアフィン座標が計算さ
れると、いずれかのモデル基底がマッチングを恐らく有
するのに十分な数の票を得たかどうかみるためにチェッ
クが行なわれる。もしそうであれば、画像基底およびこ
のモデル基底からの変換（Ａ，ｂ）、ならびに実際に対
応するポイントの数が計算される。まず、変換がチェッ
クされ、その変換が実際にアプリケーションを満たすこ
とが調べられる。たとえば、上下逆様の、または逆のビ
ルボード、深刻な変形は見つかってはならない。その
後、対応関係にあるポイントの数が決定される。もしこ
の数が低ければ（たとえば７より下）、マッチングは不
満足なものであると考えられ、画像ポイントの次の安定
した基底が試される。対応ポイントの数が非常に高けれ
ば（同じ例で少なくとも１２）、マッチングは非常に満
足なものであることが明らかにされ、プログラムを退出
する。

【００５６】これら２つの値の間に、「弱い」マッチン
グが宣言され、変換のパラメータが保持されるが、より
良いマッチングを発見することが可能であるかどうか見
るためにさらに他のベースが試される。

【００５７】すべての安定したベースが試された後、
「確実な」マッチング（１２ポイントまたはそれより
上）が何も発見されなければ、もしあれば弱いマッチン
グのすべての中の最も良いものが保持される。

【００５８】実行時間を減らすために、画像のすべての
考えられる安定したベースを試さないことが好ましい。
なぜなら、その数は非常に多く、つまりＮ（Ｎ−１）
（Ｎ−２）であるからである。ここでＮは画像ポイント
の数である。最少の２０から３０のポイントを考慮して
も、１０，０００のベースの大きさのオーダになる。あ
る数の安定したベース、典型的には１００のオーダの数
のベースのみで十分であり、もしマッチングが明らかで
あれば、プログラムはそれをすばやく見つけるだろう
し、一方１００の異なった安定したベースを試した後に
もプログラムがマッチングを発見しなければ、ターゲッ
トがそこにないか、またはマッチングのための十分な良
い特徴ポイントがないかいずれかのために、マッチング
するものはないと考える。

【００５９】認識力を強めるために、発見されたマッチ
ングが正しいことを確実にするために（利用可能な場合
には）プレディクタからの予測されたコーナが使用され
得る。これは発見されたコーナから予測されたコーナま
での距離の合計があまりに大き過ぎないことを単にチェ
ックすることによって行なわれる。

【００６０】第２に、ラベルを貼ったポイントが使用さ
れる。ポイントには画像の色環境に対応したラベルが付
けられる（たとえばビルボードが赤、黒および白のマル
ボロ（Marlboro）の看板であれば、黒と白とによって囲
まれた対象ポイントにはラベル１を貼り、赤と白とによ
って囲まれたポイントにはラベル２を貼る）。投票処理
の間、所与のポイントは同じラベルをつけたポイントに
しか票を投じない。さらに、投票後、２つのポイントは
同じラベルがついている場合のみマッチングされる。こ
れは実行の速度を大幅に上げるという利点と、より良い
認識結果を与えるという二重の利点を有する。

【００６１】マッチャが処理できるポイントの数は制限
されており、たとえば全画像で約４０ポイントに制限さ
れている。フルの解像度の画像においてビルボードを発
見しようとしたときにビルボードそれ自体に十分な特徴
ポイントがない場合には、これらの要件を緩和するため
にマッチャのための分割戦略が使用され得る。第１のス
テップは画像を２つに分割して、各半分に対して第１の
ファインダ１６を実行することである。第１のファイン
ダ１６はまず左半分でターゲットビルボードを探し、次
に右半分で探し、次に上半分で探し、次に下半分で探す
ことによって最終的に画像全体でターゲットビルボード
を探す。この戦略はフルの画像を直接サーチする際にタ
ーゲットビルボードが発見できない状況でうまくいく。

【００６２】精密なロックインサブモジュール４４（Ｐ
ＬＩ）は近似位置またはターゲットモデルと現在の画像
との間の対応する対象ポイントの集合のいずれかが与え
られると、ターゲットビルボードに厳密な局所化を与え
るように設計される。精密なロックインサブモジュール
４４はポイントマッチャサブモジュール４２の直後であ
り、ターゲットが発見された場合にのみ精密な局所化を
与える。

【００６３】第２の精密なロックインサブモジュール
（図示せず）は第２のファインダモジュール２４で発見
され、後で見られるように、通常は更新ユニットによっ
て計算される仮定された位置をロックインサブモジュー
ルに与える更新ユニット２２によって与えられる。

【００６４】精密なロックインサブモジュール４４はフ
ルパースペクティブ変換を使用し得る。しかしながら、
ここで説明されるサブモジュールはより正確を帰すため
にフルパースペクティブ変換の代わりに３パラメータ変
換モデルを使用する。段階のシーケンスは以下のとおり
である。

【００６５】特徴ポイントのサブピクセル局所化−この
入力はポイントマッチャによって発生された対応するポ
イントのリスト、ターゲットモデルの特徴ポイントの完
全なリスト、ターゲット画像、および発見されるべきタ
ーゲットモデルの画像を含む。この処理は３つの段階に
分けられる。

【００６６】ねじれパラメータの大雑把な推定値を得
る。（ｕ，ｖ）から（ｘ，ｙ）へのパースペクティブ変
換のねじれを説明する８つのパラメータがある（以下ａ
_i,j 、ｉおよびｊは１、２または３である）。

【００６７】

【数４】

【００６８】上の式において、ｘ＝ｘ′／ｗ′およびｙ
＝ｙ′／ｗ′である（ｗ′は拡大係数である）。

【００６９】次に、対応するポイントのすべてを使用し
て標準的な最小二乗平均（ＬＭＳ）計算が行なわれ、推
定値を得る。

【００７０】良い結果を与えた実現例では、ＰＬＩサブ
モジュール４４は上の大雑把な変換を使用して特徴ポイ
ント（モデルの）の小さな近傍をねじり、それらを画像
の特徴ポイントの対応の位置と相関させようとする。こ
の相関関係は局所的にのみ、典型的には近似位置の周り
の１０×１０ピクセルウィンドウで行なわれる。これは
単に差分二乗和（ＳＳＤ）を計算することによって行な
われ、１ピクセルまでの局所化をもたらす。

【００７１】所与のしきい値を超える値は障害物による
誤ったマッチングを使用することを避けるために放棄さ
れる。現在、大部分の場合に５０，０００のしきい値は
満足なものであることがわかっている。

【００７２】次にサブピクセル推定が行なわれる。この
推定はｘおよびｙで別々に行なわれ、最も良い位置およ
びその２つの近傍に対するＳＳＤの値が使用される。こ
れら３つのポイントに放物線が当てはめられ、最大の位
置決めが完了する。マッチングされた特徴ポイントの対
のすべてに対する別の最小二乗平均により実際のモデル
から画像へのより精密なパースペクティブ変換がもたら
される。

【００７３】最後の段階の間、すべての他の特徴ポイン
ト（つまりポイントマッチャ４２によってマッチングさ
れなかった、したがって前の段階では使用されなかった
モデルからの特徴ポイント）の周りの小さなマスクを相
関させようという試みが行なわれる。これは第２の段階
では行なわれない。なぜなら、ねじれのもとの推定値
は、許容された範囲、ねじられた近傍およびウィンドウ
が１０×１０ピクセルであれば典型的には＋／−５ピク
セルの範囲内で、ターゲット画像のこれらの特徴ポイン
トの位置を予測するのに十分ではないかもしれないから
である。

【００７４】ここで、より精密な変換が利用可能であ
り、新しいマッチング（もしあれば）が最小二乗平均
（ＬＭＳ）スキームに加えられ、最終パースペクティブ
変換を生み出す。

【００７５】最後に、モデルビルボードのコーナは上の
変換を使用して変換され、考慮中の画像のコーナの位置
を引き出す。

【００７６】単一のカメラシナリオのためにねじれのよ
り単純なモデル（アフィンモデル）が使用され得る。こ
のモデルは計算時間を減らし、より良い安定性チェック
を可能にするが、その特定の場合に質が目に見えて劣化
することはない。

【００７７】プレディクタサブモジュール４６は第１の
ファインダ１６の小さなサブモジュールであり、あるフ
レームから他のフレームへの位置の単純な予測を計算す
るように設計される。ポイントマッチャサブモジュール
４２がフレームＬにおいてターゲットビルボードを発見
することができたと仮定して、プレディクタはＧＭＴモ
ジュールによって報告され、モーションパラメータの助
けでフレームｔ＋１の位置を予測する。ポイントマッチ
ャ４２が何らかのより速いフレームでそのターゲットを
発見した限り、その予測を多くのフレームにわたって保
持することが可能である。すべての予測には確信の尺度
（ＭＯＢ）が付加され、そのＭＯＢがあるしきい値を下
回ったとき、ポイントマッチャ４２はその予測を使用し
ないように知らされる。シーケンスブレーク時に（やは
りＧＭＴによって報告される）、プレディクタ４６はリ
セットする。

【００７８】プレディクタサブモジュールが与えられる
と、ポイントマッチャ４２はこのような予測がある場合
は、サブモジュール４０の出力と同じように、予測をフ
ォーカス・オブ・アテンションとして用いる。このセッ
トアップによってトラッキングモードが可能になり、確
信の尺度を高く保つことによって全体のシステムの信頼
性を向上させる。ターゲットがビルボードである場合、
プレディクタがビルボードのコーナの５ピクセル以内に
あるなら、ＰＬＩサブモジュール４４はマッチングがあ
るかないかにかかわらずロックインすることができる。
これは明確なトラッキングモードとして働く。

【００７９】この段階において、オペレータの相互作用
を用いて測色に基づいて、オフラインである対象点を選
択するために可能な手段を与えると有用であるかもしれ
ない。一般的な内容はフォーカス・オブ・アテンション
サブモジュール４０の説明のところで既に言及してい
る。

【００８０】第１に、既に示したように、オペレータは
ターゲットが現われる画像において置換えるべきターゲ
ットを選択し、たとえばその四隅上でマウスをクリック
する。

【００８１】一般に、対象点がストアされるべきターゲ
ットの外にあるのなら、オペレータはカメラの視野でサ
ーチするべきシーンの領域を示す。次にシステムはター
ゲットの外にある幾つかの対象点をストアし、それによ
りカメラを動かしている場合またはズームしている場合
に、視野におけるターゲットの様子を予測することがで
きる。

【００８２】ターゲットおよびゾーンが示されると、オ
ペレータはコントラストが起こる多数の点があるカラー
の組を選択しなければならない。このような条件は、た
とえば２つの組、すなわち白黒および青黒の場合に存在
する。この選択は同じ組の幾つかの点に対して、その上
でマウスをクリックすることによって行なう。システム
は最も近いコントラスト点またはクローズドコントラス
ト点を探し出すようプログラムされているので、細かい
精密な手作業を必要としない。一般に６から１０個の点
で十分である。システムはゾーン内におけるすべての
「対象点」を自動的にサーチする。多くの場合、たくさ
んの点が見つかる。システムはクリックされた点との色
比較が最良である所定の数の点（たとえば３０から４０
点）を保つ。必要なら、同じシーケンスが他の組に対し
ても繰り返される。

【００８３】このような前処理ステップは放送が開始さ
れる前に行なわれてもよい。唯一の要件は事象の場所に
おいてテレビカメラが利用できなければならないことで
ある。

【００８４】オンラインで放送の間、第１のファインダ
モジュールは対象点であるかもしれないすべての点を選
択する第１の画像をサーチする。可能な対象点を分類
し、これは一般的に幾つかの条件に基づいて行なわれ
る。たとえば選択された組の色に対する測色距離および
重み（「弱い」点を排除するようしきい値との比較）に
基づいて分類される。所定の数の点だけ、たぶん対象点
である可能性が最も高いものが保たれる。

【００８５】各画像がバッファ１２に入力されると、所
定の数の点の選択が同じように繰り返される。

【００８６】次に、ターゲットモデルの対象点と幾何学
的対応を有する最も大きい点の部分集合が決定され、こ
れは図５を参照して既に説明されたように、モデルのア
フィン変換を考慮している。

【００８７】［グローバルモーショントラッカモジュー
ル１８］グローバルモーショントラッキングは、フレー
ム間のカメラの動きおよびシーンの位置合わせを検出す
る処理である。ＧＴＭは、連続するフレームｔおよびフ
レームｔ＋１の間のグローバルカメラモーションパラメ
ータの推定値を計算し、２つの連続するフレームの動作
は図６において概略的に示される。

【００８８】図示されているように、画像はまずその空
間的相関を増やすために平滑化される。空間および時間
微分係数は次に計算される。この情報を用いて、モーシ
ョンパラメータの推定値が計算される。別の方法を用い
てもよい。たとえば、Ｊ．Ｒ．ベルゲン（Bergen）他の
「二コンポーネント画像成分画素モーションを推定する
ための三フレームアルゴリズム」ＰＡＭＩ、第１４巻第
９号、１９９２年９月、８８６頁から８９６頁は、良い
結果をもたらす。

【００８９】推定値を用いて、フレームｔ＋１はフレー
ムｔの方向にねじられ、この処理が繰り返される。フレ
ームｔ＋１はその度にフレームｔに近づくので、計算さ
れたモーションパラメータはだんだんと正確なものとな
る。計算されたモーションパラメータの変化が、所定の
しきい値以下の点に収束したときにこの処理を止める。
累積されたパラメータは更新ユニット２２に伝えられ
る。しかし、モーションパラメータが何回かのくり返し
の後でも収束しない場合、ゼロの信頼度が報告されてそ
の処理がとまる。

【００９０】２つのモーションモデルを用いてもよい。
すなわちロム（Rom ）他の「モーションに基づく区分
化」、パターン認識国際会議、ニュージャージー州、ア
トランティックシティ、１９９０年、１０９−１１３頁
にあるような６パラメータ定数深度一般モーション、お
よび上記で言及したベルゲンらのアフィンモーションモ
デルを用いることができる。これらのモデルは連続フレ
ーム間の正確な動作回復を可能にする。

【００９１】アルゴリズムは複数の解像度レベルで実現
することができる。各フレームからガウスピラミッドが
作られる。シーケンスのはじめにおいて、上記のアルゴ
リズムが最も低い解像度レベルに適用される。このレベ
ルの結果は次の上位レベルの初期推定値として伝えら
れ、この動作が最も高いレベルまで続けられる。これに
より、より大きい動作のリカバリが可能となる。シーケ
ンス内において、前の組のフレームからの結果は、現行
の組に対して適切な推定値となり、したがってアルゴリ
ズムは１つ下位の解像度レベルに適用され、前の結果は
次のレベルの初期推定値である。これにより、そのシー
ケンス内において大きな変化に対応しながらモーション
の迅速なリカバリを可能にする。

【００９２】シーンにおける動いている障害物がある場
合に、より正確で安定した結果を必要とするのなら、モ
ーション方程式の係数は時間微分係数に反比例するよう
スケールリングしてもよい。動いている障害物は、画像
がカメラの動きに従ってねじられている場合は位置合わ
せできない。したがって、障害物に対応するピクセルは
高い時間微分係数を有し、その結果係数においてより低
い重み付けを有する。この向上した結果により、シーケ
ンスに沿ってより長い推定値の伝播が可能となる。

【００９３】リカバされたパラメータの精度は高く、多
くのフレームに沿ったターゲット位置の伝播を可能にす
る。アルゴリズムはモーションがモデル化されたモーシ
ョンと著しく異なる場合のみ適用できず、たとえばその
平面にはない非常に速い回転がある場合は適用できな
い。

【００９４】プレディクタをＧＭＴプログラムに統合す
ることができる。このプレディクタは所定の数（一般的
には４つ）の前フレームからの計算された結果に基づい
て、次のフレームに対する最初の推定値を計算する。多
くの場合、これによりより正確な初期推定値となり、よ
り速い収束を得ることができる。しかし、フレームごと
にモーションが変わる場合、プレディクタは変化を察知
するのに遅く、前のフレーム１つに基づくプレディクシ
ョンが好ましいかもしれない。

【００９５】既に示したように、シーケンスブレークを
検出するべきである。シーケンスブレークサブモジュー
ルは、グローバルモーショントラッキングモジュール１
８に統合することができる。シーケンスブレークは画像
のモーメントにおける変化に基づいて検出することがで
きる。これらは属性の「ｎｅｗ ｓｅｑ」として示され
る（図１）。

【００９６】［更新モジュール２２］更新ユニット２２
は、他のすべてのモジュールからデータを集め、処理さ
れたシーケンス内における欠落している情報または不正
確な情報を内挿する。モジュールは、図７で示されるよ
うに、各セルにおいてフレームおよびフレーム属性を有
する循環バッファとして表わすことができ、常に隣接し
かつ時間とともに動く入力ポインタ５０および出力ポイ
ンタ５２を有する。ｆの矢印は順方向の更新を示すが、
その範囲は限定されない。

【００９７】更新ユニット２２は少数のパラメータから
なる属性記録のみを操作する。図示されるように、属性
記録の構造は以下のとおりである（図１）。

【００９８】・自己フレームおよび次のフレームの間の
グローバルモーション変換Ｇｍ、プラス確信の尺度。

【００９９】・次のフレームおよび自己フレームの間の
変換、プラス確信の尺度（上記と同じではない）。

【０１００】・シーケンスにおけるフレームの位置を表
わすフラグ（第１フレーム、最終フレーム、など）。

【０１０１】・仮説のリンクされたリスト、各々は画像
座標における４つのコーナ（ターゲットが４つのコーナ
を有する場合）プラス確信の尺度を含む。

【０１０２】更新ユニットにおける事象の流れは図８に
示される。フロー図の完全なサイクルは各フレーム時に
行なわれる。他のモジュールからの入力が読出され、最
終フレームから現在のフレームまでの仮説が計算され、
現在の仮説と比較される。もしそれがより良いものなら
置換えられる。

【０１０３】次に、時間に遡る伝播が開始される。連続
フレーム間で仮説が計算され、前の確信の尺度と比較さ
れる。それがより大きいものなら、古い仮説と置換され
る。

【０１０４】処理途中にブロッキングフラグに遭遇する
と、伝播処理は停止される。ブロッキングフラグは、シ
ーンが変わった場合、十分高い既存の確信の尺度の場
合、または現在の仮説に対する十分低い確信の尺度の場
合などによって起こる。

【０１０５】更新ユニット２２の複雑性は、バッファの
大きさおよびシーケンスの長さと比例する。

【０１０６】１の値（または１に近い値）は入力パラメ
ータの高い確信度を示す。低い値（または０）は入力パ
ラメータが信頼のできないものであり、他のモジュール
からの補強がない限りは使用されるべきではないことを
意味する。

【０１０７】たとえば、第１のファインダ１６がフレー
ム内におけるターゲットを見つけることができなかった
場合、更新ユニットに渡すデータに対して「ゼロ」の確
信度を割当てる。更新ユニット２２はＧＭＴ１８および
／または前のフレームからのデータ、ならびに／または
バッファ１２で利用できるこれからのフレームからのデ
ータを用いて、そのフレームにおけるターゲットの位置
を内挿しようとする。更新ユニット２２は適宜に確信の
尺度を変更する。

【０１０８】所与のシーケンスを渡すかどうかという決
定はできるだけ遅くなされる、すなわち現在のシーケン
スの第１のフレームがバッファ１２を出る頃になされ
る。更新ユニット２２はシーケンスの全体的な品質を評
価する（これは全体的確信の尺度でもある）。所与のし
きい値を通れば、パターンによってターゲットの置換を
行なうという決定が伝えられる。これは属性において
「ロック」されるとして示されてもよい（図１）。

【０１０９】バッファサイズより大きいシーケンスを扱
うためには、バッファ１２の長さより長いシーケンスに
おいて離れてエラーが検出されたのなら、ターゲットビ
ルボードにクロスディゾルブバックするよう置換モジュ
ール２６をフラグするよう更新ユニットを設計すること
ができる。

【０１１０】好ましい実施例において、システムはブレ
推定を行なうための手段を含む。ブレ推定は、画像にお
ける既知のターゲットビルボードの正確な局所化のた
め、ターゲット領域における障害物の検出のため、およ
び置換するパターン画像の実際的なレンダリングのため
に有用である。画像においてターゲットが検出され、ビ
ルボードの４つのコーナの位置が利用できると仮定し
て、ブレ推定はレンダリングおよび障害物検出目的のた
めにのみ取扱われる。

【０１１１】画像のブレは２つの形のどちらかにおいて
ビデオシーケンスで起こる。この形とは、焦点不良のた
めのブレおよびもう１つはカメラが動くためによるブレ
である。

【０１１２】画像における焦点合わせのブレは、所定の
大きさσのガウス核で畳み込まれた画像としてモデル化
できる。

【０１１３】画像におけるモーションブレは、連続フレ
ーム間の実際の動きの関数である。各フレームにおける
動きは、特定の横および縦の成分でもって特定の方向に
おける線形のモーションとしてモデル化できる。実際の
ブレの影響は、画像を方形カーネルで畳み込むことによ
ってモデル化できる。

【０１１４】焦点のブレは相関に基づく方法によって推
定することができる。１組のターゲットビルボード画像
は、異なるサイズσ_i のガウス核の組を用いることによ
って異なる量のブレでもってモデルビルボード画像から
発生させることができる。次に、ターゲットビルボード
からのビルボード対象点を中心とした小さなウィンドウ
の集合を用いて、相関による最もマッチングするブレビ
ルボードを見つける。モデルビルボードおよびターゲッ
トビルボードは一般に異なる位置での異なるサイズを有
するので、ターゲットビルボードからのウィンドウは相
関を行なう前にモデルビルボードの座標にねじらなけれ
ばならない。ブレのモデル画像における対応するウィン
ドウを有する各ウィンドウの相関値が計算され、最も小
さい相関値を有するモデル画像のσ_i がそのウィンドウ
に割当てられる。最終的には、ノイズフィルタを有する
平均化スキームを用いて、焦点ブレを推定するために、
指定されたすべてのσ_i が用いられる。

【０１１５】推定されたブレパラメータは２つの方法で
用いることができる。１つの方法は障害物検出目的のた
めにモデルビルボードを事前に処理することであり、も
う１つは画像にある同じ種類のブレでビルボードを置換
することであり、これは次のセクションで記載される。

【０１１６】障害物検出は必ずしも必要ではない。たと
えば、スポーツを放送している場合に競技者がビルボー
ドの前にいる場合、障害物検出が必要となる。これはタ
ーゲットの中および周りにおいて、ターゲットの前にあ
る物体に属する領域を抽出することを含み、ターゲット
が置換されたときにそれらは保たれる。

【０１１７】障害物検出モジュールは、図９のフローチ
ャートに従って動作するよう、ストアされたモデルビル
ボードとターゲットビルボードとの違いに基づいてもよ
い。モデルビルボードは前に説明したブレパラメータで
まずブレを施され、ターゲットビルボードはモデルビル
ボードの座標にねじられる。次にこの２つの差異が計算
される。この処理はモデルビルボード画像スペースにお
いて好ましくは行なわれる。なぜなら、この方法では、
処理は常に固定された大きさ（および恐らくは大きい）
ビルボードで行なわれ、これはターゲットビルボードの
サイズが変わることによって関連する問題をなくす。

【０１１８】差異画像は次にエッジ強度マップによって
重み付けされ、局所化精度によってモデルビルボードと
ねじられたターゲットビルボードとの間に一般に存在す
る小さなずれの影響を補償する。結果はターゲットビル
ボード画像スペースにねじられる前にしきい値処理され
およびフィルタリングされる。

【０１１９】たとえばスポーツを放送している場合、タ
ーゲットビルボードはその前に障害物が存在するという
可能性が全くない場所にあるかもしれない。反対に、一
般に動く障害物がターゲットの一部またはすべてを一時
的にマスキングするかもしれない。

【０１２０】障害物検出のこの一般的なスキームはグレ
ースケール（強度）画像スペースおよびＲＧＢカラー画
像スペースの両方において実現してもよい。

【０１２１】［置換モジュール］置換モジュールはコー
ナ位置およびビルボードの障害物マップを有するターゲ
ット画像を捉え、そのビルボードを特定の置換パターン
画像で置換える。

【０１２２】置換モジュールのコアはリプレーサワーパ
である。ねじれ変換はパースペクティブ変換の下に、平
面における不変特性点に基づいている。これはＥ．バレ
ット（Barret）らによる「写真測量およびモデルマッチ
ングにおける不変線形方法」コンピュータビジョンおよ
びパターン認識予稿集、アーバーナ・シャンペィン（Ur
bana-Champaign）、IL、１９９２年６月、１２２頁にお
いて説明されている。置換するビルボード画像において
４つの対応する点（Ｐ_i ，Ｑ_i ）およびターゲット画像
において（ｐ_i 、ｑ_i ）が与えられ、ｉ＝１，…，４で
あり、ターゲット画像における所与の点（ｐ，ｑ）に対
応する置換画像における他の点（ｐ，ｑ）は、１組の線
形方程式を解くことによって見つけることができる。置
換画像における５点のセットの行列式の十字比は以下の
ように定義される：

【０１２３】

【数５】

【０１２４】同様に、ターゲット画像における対応点に
対する行列式の十字比はＣ（１，２，３，４，上つきバ
ーｐ，上つきバーｑ）として定義することができる。

【０１２５】不変条件である

【０１２６】

【数６】

【０１２７】は未知（ｐ，ｑ）と既知の量との間の線形
関係を規定する。点１および３を交換することにより、
上記の関係において第２の式である

【０１２８】

【数７】

【０１２９】を発生することができる。点（ｐ，ｑ）は
上記の２つの線形方程式を解くことにより見つけること
ができる。

【０１３０】障害物検出モジュールによって与えられる
障害物マップは、曖昧な物体が置換の後も見えるよう、
ターゲットビルボード内における画像ピクセルの一部分
を未変更のままに保つために用いられる。実際的なレン
ダリングの場合では、ブレ推定モジュールからの結果
は、画像を同じ焦点の量および／またはターゲットビル
ボードから推定されるモーションブレを施すことによ
り、置換ビルボード画像を用意するのに用いられる。

【０１３１】上記で示される構造および処理の他の変形
は、本発明の範囲内において行なうことができる。本発
明は前掲の特許請求の範囲に従って定めるものである。

【図面の簡単な説明】

【図１】メインモジュールが示すされているシステムの
ブロック図である。

【図２】ＴＶカメラの視野におけるターゲットの連続す
る位置を示す、同じ撮影における画像のシーケンスの概
略図である。

【図３】図１の第１のファインダモジュールのブロック
図である。

【図４】前処理ステップのフローチャート図である。

【図５】システムの動作の際のマッチングステップのフ
ローチャート図である。

【図６】図１のグローバルモーショントラッカモジュー
ルの概略を示すフローチャート図である。

【図７】図１の更新ユニットのデータベースの実現の概
略図である。

【図８】図１の更新ユニットの動作を示すフローチャー
ト図である。

【図９】図１のシステムの任意のコンポーネントである
障害物検出モジュールの動作を示すフローチャート図で
ある。

【符号の説明】

１０ ビデオソース １２ バッファ １４ａ レコーダ １４ｂ ディスプレイ １４ｃ 送信システム １６ 第１のファインダモジュール １８ グローバルモードトラッカモジュール ２０ 属性記録ユニット ２２ 更新ユニット ２４ 第２のファインダモジュール ２６ リプレーサ ２８ パターンメモリ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ガイ・ギディオン アメリカ合衆国、91411 カリフォルニア 州、バン・ナイズ、レモナ・アベニュ、 6263 (72)発明者 ヒレル・ロム アメリカ合衆国、91411 カリフォルニア 州、バン・ナイズ、サロマ・アベニュ、 5755 (54)【発明の名称】 互いに相関する画像のシーケンスに属する連続するビデオ画像を変更する方法、ならびに対象点 の集合によって識別されるターゲットの表現を同じシーケンスの連続するＴＶフレーム中の同じ 幾何学的形状の予め定められるストアされるパターンのマッチングする表現と置換する装置およ びその方法

Claims (8)

【特許請求の範囲】
1. 【請求項１】 互いに相関する画像のシーケンスに属す
   る連続するビデオ画像を変更する方法であって、 前記画像中の置換されるべきターゲットの表現をストア
   するステップと、 シーケンスの複数の連続する画像をバッファメモリにス
   トアするステップと、 前記画像の少なくとも１つにおいてターゲットが信頼性
   を持って発見されるまで、パターン認識により前記画像
   においてターゲットを捜すステップと、 画像のグローバルな変化の評価に基づき、ターゲットが
   見つかった画像に先行および後続する画像におけるター
   ゲットの位置に関して逆方向および順方向予測を実行す
   るステップとを含み、それにより、前記画像のうちの特
   定の１つの内でターゲットのわずかな部分のみが利用可
   能な場合でも前記特定の画像におけるターゲットの位置
   の精密な識別が達成される、方法。
2. 【請求項２】 メモリ中にストアされる対象点の集合に
   よって識別されるターゲットの表現を、ビデオカメラか
   ら撮られる同じシーケンスの連続するＴＶフレーム中の
   同じ幾何学的形状の予め定められるストアされるパター
   ンのマッチングする表現と置換する方法であって、 （ａ） バッファに前記シーケンスの連続するフレーム
   をストアするステップと、 （ｂ） シーケンスの各現在のフレーム中の対象点を順
   番に抽出して、対象点の前記ストアされる集合のそれぞ
   れの部分集合とマッチングする、前記現在のフレーム中
   の前記抽出された対象点の少なくとも１つの部分集合を
   見つけようとするステップと、 （ｃ） フレームの内容の間におけるグローバルな比較
   に基づいて、そのようなマッチングが見つけられた各前
   記現在のフレームと後続および先行するフレームとの間
   において前記カメラの動きを評価するステップと、 （ｄ） 評価された動きからシーケンス中の前記後続お
   よび先行するフレームにおける前記ターゲットの位置を
   予測するステップと、 （ｅ） 予測された位置を用いて前記シーケンス中の前
   記後続および先行するフレームにおいて前記ターゲット
   を自動的にサーチするステップと、 （ｆ） 各前記フレームにおいて、それぞれのフレーム
   中のターゲットの前記表現中の複数の対象点とそれぞれ
   のストアされる複数の対象点との間の比較から計算され
   る変換を前記ストアされるパターンが受けた後、前記タ
   ーゲットの各前記表現を前記ストアされるパターンの表
   現と置き換えるステップとを含む、方法。
3. 【請求項３】 前記対象点は各フレームによって表現さ
   れる画像の第１の微分係数を用いるオペレータを用いる
   ことによって得られ、 （ｂ１） 画像の全体にわたって放射値Ｉの第１の空間
   微分係数を計算してＩ ² _x 、Ｉ² _y およびＩ_x Ｉ_y を計
   算するステップを含み、ｘとｙとは線スキャン方向と線
   スキャン方向に直交する方向とをそれぞれ指定し、さら
   に、 （ｂ２） ３つの置換画像ｎ₁₁、ｎ₂₂、ｎ₁₂を得るため
   にＩ² _x 、Ｉ² _y およびＩ_x Ｉ_y をボックスフィルタで
   畳み込むステップと、 （ｂ３） ｎ₁₁、ｎ₂₂およびｎ₁₂から始めて、重み付け
   画像と等方性画像とを計算し、重み付け画像および等方
   性画像をそれぞれのしきい値と比較し、重み付け画像と
   等方性画像との両方がそれぞれのしきい値よりも高い重
   み付け画像におけるそれらの値のみを保持するステップ
   とを含む、請求項２に記載の方法。
4. 【請求項４】 関連の特徴がターゲットのモデルから抽
   出される前処理ステップをさらに含み、前記前処理ステ
   ップは、安定したベースを構成する点のトリプレットを
   検知するステップと、前記トリプレットをそれと関連す
   るアフィン座標の対とともにストアするステップとを含
   み、 １つのフレームにおいて対の色を分離する複数の点を指
   すことによって色の対を相互に指定するステップと、 前記対象点を含む前記関連の特徴を抽出する前に、前記
   対象点として、前記色を分離する前記フレームの少なく
   とも一部において他のいくつかの点を自動的に選択する
   ステップとをさらに含む、請求項２または請求項３に記
   載の方法。
5. 【請求項５】 メモリ中にストアされる対象点の集合に
   よって識別されるターゲットの表現を、ビデオカメラか
   ら撮られる同じシーケンスの連続するＴＶフレーム中の
   同じ幾何学的形状の予め定められるストアされるパター
   ンのマッチングする表現と置換するための装置であっ
   て、 何秒かの期間にわたってすべてのフレームをストアする
   のに十分な長さを有する先入れ先出しメモリを構成す
   る、シーケンスの連続するフレームをストアするための
   バッファ手段（１２）と、 シーケンスの各現在のフレームにおいて対象点を順番に
   抽出して、ストアされる集合のそれぞれの部分集合とマ
   ッチングする抽出された対象点の少なくとも１つの部分
   集合を見つけようとするための手段と、 連続するフレーム間における画像のグローバルな動きを
   評価し、パターンが見つけられたフレームに後続または
   先行するフレームにおけるターゲットの位置を予測する
   ための手段（１８）と、 予測に基づき、ターゲットが発見されたフレームにおい
   てターゲットを精密に位置付けるためのターゲット発見
   手段（１６）と、 それぞれのフレーム中のターゲットの表現中の少なくと
   もいくつかの対象点とそれぞれのストアされる対象点と
   の比較から計算される大きさおよびバースペクティブ変
   換を、ストアされるパターンが受けた後、各フレームに
   おけるターゲットの各部分的なまたは全体の表現を、も
   しそれが発見される場合には、ストアされるパターンの
   表現と置き換えるためのリプレーサ手段（２６）とを含
   む、装置。
6. 【請求項６】 グローバルな動きを評価するための手段
   は、前のフレームと各現在のフレームとの間でカメラに
   よって見られるシーンの動きを計算するよう構成され
   る、請求項５に記載の装置。
7. 【請求項７】 前記ターゲット発見手段（１６）は、 近傍の前記対象点を抽出するための対象点オペレータ
   （３８）と、 色情報に基づいて、ターゲット中に最も発見されそうな
   対象点を選択するためのフォーカス・オブ・アテンショ
   ンサブモジュール（４０）と、 ターゲットのストアされるモデル中の対象点と各実際の
   フレームに発見される対象点との間において対応する点
   の集合を発見するためのポイントマッチャサブモジュー
   ル（４２）と、 前記ポイントマッチャサブモジュールによって与えられ
   る対応関係から、フレームにおけるターゲットの精密な
   位置を見つけるための精密ロックインサブモジュール
   （４４）と、 ターゲットがシーケンスの別のフレームに見つけられた
   と仮定して、精密ロックインサブモジュールとグローバ
   ルモーショントラッカ（１８）とから受取られる情報に
   基づいて、オーダｎの任意のフレームにおいてターゲッ
   トの位置を予測するためのプレディクタサブモジュール
   （４６）とを備える、請求項５または請求項６に記載の
   装置。
8. 【請求項８】 他の前記手段からデータを集めて前記フ
   レーム間において情報を内挿するための更新モジュール
   （２２）をさらに備え、 前記更新モジュールは、１つの前記フレームの属性を各
   々がストアする複数の連続するセルを有する循環バッフ
   ァメモリを備え、前記属性は、 それぞれのフレームと次のフレームとの間におけるグロ
   ーバルなモーション変換およびと確信の尺度と、 それぞれの前記フレームと次の前記フレームとの間にお
   ける変換、および確信の尺度と、 それぞれの前記シーケンスにおけるそれぞれの前記フレ
   ームの位置を表現するフラグと、 画像座標におけるターゲットのエッジ上の複数の表示を
   各々が含む、仮説のリンクされたリスト、および確信の
   尺度、 とのうちの少なくとも１つを含む、請求項７に記載の装
   置。