JP4606736B2

JP4606736B2 - 特徴点選択

Info

Publication number: JP4606736B2
Application number: JP2003504331A
Authority: JP
Inventors: ベーウィッテブルード，リメルト; ハーン，ゲラルトデ
Original assignee: NXP BV
Current assignee: NXP BV
Priority date: 2001-06-11
Filing date: 2002-06-10
Publication date: 2011-01-05
Anticipated expiration: 2022-06-10
Also published as: US20040151250A1; WO2002101651A3; CN1328699C; EP1435070B1; EP1435070A2; JP2004533073A; WO2002101651A2; CN1529874A

Description

【０００１】
本発明は、特徴点選択、かかる特徴点選択を用いた動きベクトル推定、かかる動きベクトル推定を用いた画像信号処理、かかる画像信号処理を用いたビデオディスプレイ装置に関する。
【０００２】
オブジェクトベースの動きベクトル推定（ＯＭＥ）は、オブジェクトと称される画像部のビデオシーケンスをセグメント化し、動きモデルを割り当てることを目的とし、シーケンスにおける各オブジェクトに対して、動き及び／又は画像部が受ける変形を表現することを目的とする。所与の画像部に対する動きモデルを計算し、若しくは、所与の動きモデルで画像をセグメント化することは明快であるが、ＯＭＥでは、オブジェクト及び動きモデルが与えられない。それ故に、目標は、ニワトリが先か卵が先かの問題を呈する。この問題を解決するための種々の選択肢が提案されている［例えば、最終項に一覧する参考文献３，９，１０，１１参照］。以前の発表では、我々は、これらの提案は全て計算的に複雑であるとの結論に達し、ＤＳＰ上でリアルタイムに実行するように表示されうるより一層効果的な反復型ＯＭＥアルゴリズムを設計した［例えば、参考文献１，１２参照］。
【０００３】
この以前の設計ＯＭＥアルゴリズムは、賢い反復態様でニワトリが先か卵が先かの問題を解決することによって、非常に限定された量のピクチャデータ（画像の特徴点）でパラメトリック動きモデルを計算することによって、簡易なパラメータ最適化アルゴリズムを用いることによって、及び、副サンプルされたバージョンのビデオ信号を用いてビデオをセグメント化することによって、高効率を実現する。
【０００４】
このアプローチの成功のためには、特徴点のインテリジェントな選択が決定的となる。この説明では、我々は、特徴点を選択する際の更なる前進について報告する。より詳細には、我々は、特に、簡易な最適化技術を用いたときの動きモデルパラメータ推定関数の収束を改善する、新たな特徴点選択アルゴリズムを開示する。この改善は、文献に見出せる代替方法及び評価の参照として我々が以前に使用したアルゴリズムを用いて定量化されるだろう。
【０００５】
この説明は、次のように構成される。この序文に続いて、２章では、我々は、以前に開発した反復型ＯＭＥ方法を概説する。次いで、３章では、我々は、特徴点選択方法に焦点を当て、幾つかの以前の方法を議論し、新たな概念を導入する。４章では、我々は、これらの特徴点選択アルゴリズムを評価し、５章では、結論を導く。
【０００６】
２．先行の研究
２．１．動きモデル
我々の以前のＯＭＥに対する寄稿では、我々は、特有ラベルＯによりオブジェクトを識別した。各オブジェクトＯには、パラメータベクトル
【外１】

が関連付けられる。このパラメータベクトルは、オブジェクトの並進運動及び倍率（ズーミング）を表わす。オブジェクトＯのパラメータベクトルと、オブジェクトＯの動き（若しくは変位）ベクトル
【外２】

との関係は、画像のピクセルグリッド位置
【外３】

にて、次式となる。
【０００７】
【数１】

複雑性を許容可能に保つため、我々は、性能を大きく落とすことなく、オブジェクト数を５に固定した。
【０００８】
２．２．動きセグメント化
動きセグメント化モジュールは、画像中の各ブロックに、最も良好にマッチング（整合）する動きモデルを割り当てる。最終のセグメント化マスク
【外４】

は、それ故に、次式のように、最小化によって構築される。
【０００９】
【数２】

計算効率を改善するため、変位ベクトル
【外５】

は、ブロック
【外６】

内の、各ピクセル毎
【外７】

に計算されないが、
中心ピクセル
【外８】

においてのみ計算される。
【００１０】
尚、大文字
【外９】

は、ブロックグリッド上の位置を示し、
小文字
【外１０】

は、ピクセルグリッド位置を示す。動きセグメント化の詳細な説明は、参照文献２にある。
【００１１】
２．３．パラメータ推定
パラメータ推定モジュールは、特徴点の小セットＦＳに亘って、パラメータ推定誤差、数３の式を最小化することによって、オブジェクトの動きモデルのパラメータを決定する。
【００１２】
【数３】

各々のオブジェクトは、直交ログ探索を用いてオブジェクトパラメータベクトルを推定する独自のパラメータ推定器ＰＥ_０を有する。図１ａは、ログ探索手順を示す。初期のパラメータベクトル
【外１１】

は更新され、候補パラメータベクトルセットＣＰＳ_ｌ（１）を得る。このセットから最もマッチングする候補、この場合、
【外１２】

、が選択され、それが、パラメータ推定器の次の反復に対する入力となり、即ち
【外１３】

が、更新され、これにより候補パラメータベクトルセットＣＰＳ_ｌ（２）が得られ、このセットから、最もマッチングする候補が選択され、
【外１４】

、更新され、といった具合に続く。更新は各反復で小さくなっていく。各パラメータ推定器は、前に推定されたパラメータベクトル
【外１５】

を反復的に更新することによって、新たなオブジェクトパラメータベクトルを推定する。ここで、ｎは画像数、ｏはオブジェクト、ｋは、パラメータ推定器の反復数を示す。新たなパラメータベクトルは、多数の候補パラメータベクトル
【外１６】

から、最も低いパラメータ推定誤差
【外１７】

となるものが選択される。候補ベクトルのセットＣＰＳ_ｏ ^ｎ（ｋ）は、次式に従って構築され、この中から最も良好なベクトルが反復ｋにて選択される。
【００１３】
【数４】

ここで、
【外１８】

は、前の反復からの最もマッチングの良い候補、即ちサブセットＣＰＳ_ｏ ^ｎ（ｋ−１）からの最もマッチングの良い候補であり、
【外１９】

は、前の画像ペアから得られた最もマッチングの良いパラメータベクトルである。更新ベクトル
【外２０】

は、反復数ｋの増加と共に長さが減少する。更新セットＵＰＳ_ｏは、次のように定義される。
【００１４】
【数５】

このアルゴリズムは、盲目的に、減少する誤差の方向にパラメータ推定誤差表面に追従する。それ故に、局所最小値（極小）の影響を非常に受けやすい。更に、初期のパラメータベクトルの位置から絶対的な最小値までのパラメータ推定誤差表面内に単調減少経路がある場合、探索が絶対的な最小値を生む確率は小さい。明らかに、最適なパラメータ推定誤差表面は、絶対最小値に至る広い“ファンネル”で単調に減少していく。
【００１５】
２．４．初期探索
局所最小値で終了する危険を低減するため、パラメータ推定モジュールは、初期探索を実行できる。初期探索中、１０のパラメータベクトルが試験され、そのうちの９つが図１ｂに従って分散される。初期探索中、最もマッチングの良いパラメータベクトルが、これらの９つのパラメータベクトルから選択され、前の画像からの最も良いパラメータベクトルで拡張される。このパラメータベクトルは、ログ探索に対する入力である。この初期探索中、併進のみが考慮される。９つのパラメータベクトルのセットは、前の画像ペアからの最も良いパラメータベクトルで拡張される。このパラメータベクトルは、前の推定成功が将来の推定に使用されることを保証するために必要である。初期探索中に試験されるパラメータベクトルのセットは、次の通りである。
【００１６】
【数６】

初期探索は、このセットのパラメータベクトルでパラメータ推定を最小化する。
【００１７】
【数７】

結果として得られるパラメータベクトルは、次いで、ログ探索に対する入力となる。
【００１８】
試験を通して、パラメータ推定モジュールの性能が特徴点セットＦＳの選択に大きく依存することがわかった。次の章では、我々は、これらの特徴点を選択する新たな方法について議論する。
【００１９】
３．特徴点選択
アパーチャ問題（参考文献３）及びそれに伴いパラメータ推定問題を防止するため、特徴点のセットは、図１に示すように、少なくとも２つの方向にエッジを有するべきである。特徴点のセットが２次元構造を有しない場合、パラメータ推定誤差
【外２１】

は、特有の最小値を有さず、オブジェクトの実際の動きは、図２ａ，図２ｄに示すように、決定できない。図２ａは、２次元構造を有さない４つの特徴点のセットを持つ灰色長方形画像オブジェクトを示す。図２ｂは、２次元構造を有さない４つの特徴点のその他のセットを持つ同一の灰色長方形画像オブジェクトを示す。図２ｃは、ブロック内に２次元構造を有さないが、全体のセットは２次元構造を有する特徴点を示す。図２ｄ，図２ｅ，図２ｆは、それぞれ、図２ａ，図２ｂ，図２ｃの特徴点に対応する併進パラメータを関数としてパラメータ推定誤差を示す。図２ａは、
【外２２】

で併進する灰色ブロックの鉛直向きエッジに位置する４つの特徴点を示す。図２ｄは、併進パラメータｔｘ、ｔｙを関数としてパラメータ推定誤差を示す。明らかに、この誤差表面は、特有の最小値を有さず、多数のパラメータベクトルが同一の最小値推定誤差を導く。これは、パラメータベクトルを性格に推定することが不可能であることを意味する。図２ｂは、特徴点自身が２次元構造を含む状況を示す。結果としてのパラメータ推定誤差表面、図２ｅは、実際のパラメータベクトルの位置で特有の最小値を表わす。これは、パラメータベクトルの正確な推定を可能とする。上述のパラメータ推定方法の場合、多数の特徴点が組み合わされるので、全ての特徴点が２次元構造を含むことは必要でない。それ故に、特徴点のセットが２次元構造を示すことで間に合う。これは、図２ｃ，図２ｆに指示される。
【００２０】
３．１．従来の特徴点検出器
多くの著者は、２次元特徴の検出について報告している。概略は参考文献４にある。この文献に表わされるアルゴリズムは、例えば、Ｍｏｒａｖｅｃ、Ｐｌｅｓｓｅｙ若しくはＳＵＳＡＮの検出器（参考文献５，６，７）は、一般的に、あまりにも計算的に複雑すぎて、プログラム可能な装置上での実時間ＯＭＥでの使用に耐えない。更に、これらの検出器は、特徴点内の２次元構造を探す。我々の場合、我々は、圧倒的に緩和された制約しかない、特徴点の完全なセット内の２次元構造に関心がある。Ｍｏｒａｖｅｃ関心オペレータは、通常次のように書ける。
【００２１】
【数８】

ＳＵＳＡＮの検出器は、単一の公式で捉えるのにはより難しい。ＳＵＳＡＮの原理は、小さな画像領域の中心ピクセルと同一と評価されるピクセルを決定することにある。これ、所謂ＵＳＡＮ（Univalue Segment Assimilating Nucleus）は、画像の構造についての多くの情報を含む。サイズから、図心、二次モーメント２次元特徴及びエッジが検出できる。
【００２２】
これらの検出器は、通常的に、特徴点を決定するために多数のピクセル頻繁動作を必要とする。１００の特徴点を決定するため、Ｍｏｒａｖｅｃ関心オペレータは、約１×１０^９クロックサイクル必要とする。我々が実験に用いたＤＳＰ（Philips TriMediaからＴＭ１１００として購入可能）は、画像毎に約１×１０^７を可能とする。幾つかのアルゴリズム的な最適化及びコード最適化により、検出器により必要とされるクロックサイクル数は、約２０及び時々それ以上の要因まで下げることができる。しかし、クロックサイクル数が大きさの２のオーダーで減少された場合でも、ＤＳＰでの実現は実時間ビデオアプリケーションに対して可能でない。
【００２３】
これらの特徴点検出器における上述以外の判り難い欠点は、式３の最小化が、これらの特徴検出器で決定された特徴点を用いたときに難しいことである。この問題を説明するため、図３を参照する。図３ａでは、画像コンテンツが左から右にフレーム毎に５ピクセルの水平速度で併進する人工的なビデオシーケンスから画像が示されている。図３ｂは、併進パラメータｔｘ、ｔｙを関数としてパラメータ推定誤差
【外２３】

を示す。パラメータ推定器の計算複雑性を制限するため、たった１００つの特徴点が使用され、ＳＵＳＡＮのコーナ検出器で検出される。図３ａから、特徴点が非常に急激な輝度遷移を示す位置に配置されていることがわかる。
【００２４】
特徴点内の特徴の急激さにより、
【外２４】

の最小値が非常に局所化され、即ち３次元プロットの誤差表面における“ファンネル”が非常に狭い。多くの場合、これは、まさに、例えばこの個々の特徴点を追跡する際、望まれるものである。我々の場合、我々は、絶対最小値を探索するため非常に簡易な（ログ探索）アルゴリズムを有すればよい。この低い複雑性の制約は、ＯＭＥが実現されるプログラム可能な装置の制限に起因する。上述のログ探索を使用し、ランダムな初期パラメータベクトルを用いると、試験は、最小値が見つかる確率が０．３までであることを示す。すべての他の場合では、探索アルゴリズムは局所最小で終わる。この確率は、正確なパラメータ推定のためには低すぎることがわかる。試験についての詳細は４章にある。
【００２５】
３．２．効率的な特徴点検出のための新しいアプローチ
本発明の目的は、実時間特徴検出器を提供・使用することである。本発明は、独立クレームにより定義される。従属クレームは、効果的な実施例を定義する。
【００２６】
ＤＳＰ上でのＯＭＥに対する実時間特徴検出器を得るため、我々は、動きセグメントモジュールの通常動作によって生成される情報を使用することができる。この情報はいずれにせよ計算されるので、特徴点検出器自体は、ほとんどオーバーヘッドを引き起こさない。次の２つの副章では、幾つかの選択肢がより詳細に論じられる。
【００２７】
３．２．１．ハイエスト（Highest）ＳＡＤ方法（ＨＳＡＤ）
画像の固定された領域をカバーする固定されたオブジェクトが定義される場合、移動部の動きモデルのみしか推定される必要がない。更に、２つの連続フレームの絶対差が取られる場合、この差が、あるノイズレベルより上の領域は、即ち、
【外２５】

となる領域は、動きを持ち、より重要なことには、動きの方向に構造を有するだろう［参考文献３］。特徴点の小セットを得るため（計算上の複雑性により小さい）、残りのタスクは、これらの領域からサブセットを選択することである。即ち、
【００２８】
【数９】

このアプローチの利点は、特徴点の選択が略ゼロの追加コストで生ずることである。ゼロの動きはビデオシーケンス内のどこにでもあるものであるので、我々は、我々のＯＭＥにゼロ速度オブジェクトを加えることとした。このオブジェクトは、一定のパラメータベクトル
【外２６】

を有し、例えばサブタイトル及び放送局のロゴを含む静止画像部をカバーする。動きセグメント化中、式２が最小化され、結果として、
【外２７】

が全てのブロックに対して計算される。特徴点を選択する実際のコストは、サブセットを選択する複雑性によって決定される。
【００２９】
かかるサブセットを選択する１つの方法は、絶対差
【外２８】

の最も高い合計を有するＮ個の領域を単に取ることによる。これは、我々の以前のＯＭＥ寄稿［参考文献１，１２］で使用された方法である。しかし、我々は、図４ａに示されているが、この方法は、高コントラストのエッジ上でなく、当該エッジの近傍の均一な領域に特徴点を位置付ける傾向にあることを見出した。これは、エッジ上に特徴点を位置付けることでは、たった半分のピクセルが異なる輝度値を有することになる一方、エッジ近傍に配置された特徴点では、すべてのピクセルが異なる輝度値を有し、それ故により高いＳＡＤを有することになる。
【００３０】
図４ｂは、特別な場合に対する結果として、併進ベクトルｔｘ、ｔｙを関数としたパラメータ推定誤差εｐを示す。ＨＳＡＤ法で選択された１００の特徴点が使用されている。パラメータ推定誤差表面は、ここでは、正確なパラメータベクトル、この場合、
【外２９】

で明確な最小値を有さないが、代わりに、誤差表面はｔｘ＜−１０の領域で幾分か平らであり、これにより、正確なパラメータベクトルの推定が不能とされる。図４ｂに表わした例は極端なものであるが、この特性は、常に性能にマイナス方向に影響するだろう。
【００３１】
３．２．２．ランダムＳＡＤ方法（ＲＳＡＤ）
前の副章で述べた問題により、我々は、フレーム差
【外３０】

がある閾値よりも高い全てのブロックからＮ個のブロックのランダム選択がなされたときに得られるより良好なスキームを開発した。閾値は、全ての静止型できめ細かさの無い領域を除去するのに十分なほど高いが、前述のアルゴリズムの場合のように、高コントラストのエッジに近接する均質なブロックのみが選択されないことを保証するほど十分低い値が選択されなければならない。閾値の実際の値は、ビデオシーケンス内のノイズのレベルに依存する。ＲＳＡＤ法による特徴点の位置付けを示す図５ａでわかるように、この方法は、高コントラストのエッジ近傍のブロック上のみならず、移動する高コントラストのエッジ上にも選択する。図５ｂは、併進ベクトルｔｘ、ｔｙを関数としたパラメータ推定誤差εｐを示す。１００個の特徴点が使用され、ＲＳＡＤ法により選択されている。結果として、ログ探索は、０．７の確率で最小値を見つけることになる。尚、最後の場合での“ファンネル”は、図３のファンネルよりも非常に広く、これは、絶対最小値が副章２．３で言及した計算効率のアルゴリズムにより見出されなければならないときに効果的である。
【００３２】
４．試験
幾つかの試験が、特徴点検出器の性能を定量化するために実行された。プログラム可能な装置上で実時間で動く我々のソフトウェアＯＭＥで適用可能とされるため、特徴点検出器が満たすべき多くの要求がある。
【００３３】
この特徴点選択は、非常に少ない数の特徴点でも、正確なパラメータ推定が可能なままであるべきである。この要求の背景は、小さなオブジェクトは、少ない特徴点しか含み得ないことにある。従って、正確なパラメータ推定を可能とする特徴点の最小数は、我々が我々のＯＭＥを使って扱えるオブジェクトの最小サイズに対する基準である。
【００３４】
特徴点選択は、より小さい特徴セットでもノイズの通常レベルに対してパラメータ推定を幾分ロバストにすることを可能とする特徴セットを生むべきである。特徴点の数が小さくなるにつれて、ノイズの影響が大きくなる。従って、ノイズに対するロバスト性は、我々のＯＭＥが扱えるオブジェクトの最小サイズを決定する。
【００３５】
我々の特徴点選択方法は、計算的に簡易であるべきである。
【００３６】
試験は、これらの条件を対処することを目標とする。４つの人工的シーケンスが試験に用いられる。第１では、コンテンツが５ピクセルだけ右に動き、第２では、コンテンツが１０ピクセルだけ右に動き、第３では、コンテンツが５ピクセルだけ下に動き、第４では、コンテンツが１０ピクセルだけ下に動く。我々は、各シーケンスから単一の画像を取り、それを上述の動きベクトルで併進させ、次の画像を生成することによってこれらのシーケンスを構築した。
【００３７】
４．１．特徴点の数の影響
上述の如く、正確なパラメータ推定を生む特徴点の最小値は、我々が動きを推定できるオブジェクトの最小サイズの基準である。明らかであるが、我々は、この最小を可能な限り小さくしたい。図６ａは、成功の確率、即ち副章１．３で述べたログ探索が正確なパラメータベクトルを生む確率は、特徴点の数に依存することを示す。成功の確率は、４つの特徴点検出器（ＳＵＳＡＮ，Ｍｏｒａｖｅｃ，ＨＳＡＤ，ＲＳＡＤ）に対して、Ｔ＝２００で与えられている。図６ａに示す結果は、特別な特徴点検出器の全てのシーケンスに亘る結果を平均化することによって得られる。図６ａから、ＳＵＳＡＮコーナ検出器及びＭｏｒａｖｅｃ関心オペレータの成功確率は低く、適切なパラメータ推定に対して低すぎる。これらの貧弱な結果の背景は、既に章２．１で述べた。特徴の急激さがパラメータ推定誤差表面の“ファンネル”を非常に狭くさせている。この結果、簡易なログアルゴリズムは、大部分の場合、最小値を位置特定することができないことになる。
【００３８】
また、ＨＳＡＤ法は、ＳＵＳＡＮ及びＭｏｒａｖｅｃ検出器と同様の結果を導いていることがわかる。副章２．２．１で説明したように、この原因は、特徴点内の特徴の急激さではなく、特徴点内の構造の欠落である。これは、各位置で同一の誤差を実質的に有する大きな領域を示すパラメータ推定誤差表面を生み、正確なパラメータ推定を不能にする。ＲＳＡＤ法は、他の方法の成功率に比して２倍高い成功率を有する。図５ａからわかるように、この方法は、急で浅い特徴を示すブロックを選択する。浅い特徴は、パラメータ推定誤差表面の“ファンネル”の拡幅によるもので、ログ探索が最小値まで“ファンネル”を下降することをより容易にする。
【００３９】
ＲＳＡＤの成功確率は、他の方法よりも２倍高いけれど、我々は、パラメータ推定表面で絶対最小値を見出すため、多数の初期ベクトルを試みる必要が依然としてある。一般に、３つの試行が、正確なパラメータベクトルを見出す確率およそ９５％を有するために必要とされる。我々のＤＳＰを用いて、ＯＭＥは、画像毎に唯一のログ探索をすれば良い。従って、３つの画像が正確なベクトルを見出すために必要となるだろう。この問題は、非常に不規則な動きのある風景で若しくは風景変化でのみ起こるものであろう。人の視覚系は風景が変わった後に収束するのに２、３フレームかかるので、これはそんなに問題でない。他の特徴検出器の場合、我々は、平均８フレーム後に、正確なベクトルを得るだろう。
【００４０】
異なる数の特徴点の場合のＲＳＡＤアルゴリズムのロバスト性は良好である。アルゴリズムの性能は特徴点数の減少と共に減少するが、性能はＮ＝３０の特徴点まで安定である。
【００４１】
図６ｂは、ＲＳＡＤ法の性能が特徴点の数及び使用される閾値に如何に依存するかを示し、即ち、ＲＳＡＤ法の特徴点の数及び閾値を関数とした正確な動きベクトルを見出す確率を示す。閾値を越える
【外３１】

を備えるブロックだけが特徴点となることができるので、閾値は、特徴点内若しくは特徴点の近傍における特徴の急激さの指針である。面白いことは、閾値の増加と共に性能が落ちることである。これは、パラメータ推定プロセスへの特徴点の急激さの影響に関する我々の見解を裏付ける。幾つかのアプリケーションが急激な特徴から利点を得る場合、我々のＯＭＥでは該当しないが、急激な特徴しか存在しない特徴点セットに悩まされる。
【００４２】
４．２．ノイズの影響
通常のビデオ題材はノイズに悩まされるので、我々のＯＭＥは、異なるレベルのノイズの下で実行できるべきである。これは、動きセグメント化及びパラメータ推定モジュールの双方が異なるレベルのノイズの下でロバストであるべきことを意味する。予測されることとして、より高いノイズレベルは、パラメータ推定の性能に悪影響を及ぼすだろう。ここで、特徴点は重要な役割をする。より少ない数の特徴点は、おそらく、より大きい数の特徴点より大きくノイズに影響されるだろう。疑問は、パラメータ推定器の性能がどの程度ノイズに影響されるのかである。試験は、この問題を解決するために実行される。４つの人工的な試験シーケンスが、異なるレベルのガウスノイズで汚染された。これらのシーケンスは異なる特徴点検出器に供給され、結果として得られた特徴点が、パラメータ推定に用いられた。異なる試験シーケンスを用いた結果は、平均化され、この結果（ガウスノイズの標準分散を関数とする成功確率）が、異なる特徴点検出器ＳＵＳＡＮ，Ｍｏｒａｖｅｃ，ＨＳＡＤ，ＲＳＡＤに対して図７ａに示される。使用された特徴点の数は１００である。明らかに、全ての特徴点検出器の性能は、少なくともこの大きな数の特徴点では、ノイズのレベルから極めて独立している。
【００４３】
パラメータ推定の性能に対する特徴点数とノイズの組み合わせの影響が図７ｂに示される。図７ｂは、特徴点の数を関数としてＲＳＡＤ法に対する成功確率を示す。ガウスノイズの異なるレベルに対する結果が示される。３０若しくはそれ以上の特徴点では、性能はノイズのレベルから幾分か独立していることがわかる。既に、３０個の特徴点未満ではパラメータ推定器の性能が落ちることはわかっている。ロバストなパラメータ推定を得るためにはオブジェクト当たり３０個の特徴点が最小値であると思われる。
【００４４】
４．３．計算上の複雑性
特徴点検出器が我々のＯＭＥで効果的に使用できる前に満足すべき最後であるが最も重要性が低いわけでない要求は、その計算上の複雑性である。ＤＳＰは、非常に限られた数の動作しか有さない。１５０ＭＨｚで走り、一秒当たり５０の画像を処理するＴｒｉＭｅｄｉａの場合、我々は、およそ７．５Ｍｏｐｓを計画立てることができる。尚、ＴｒｉＭｅｄｉａは、５つの送出スロットを有し、説明上、我々は、動作当たり２サイクルの待ち時間を想定する。多くのこれらの動作は、動きセグメント化及びパラメータ推定モジュールで使用されることとなり、非常に少ない数の動作しか特徴点検出で使用されない。我々が試験で使用したアルゴリズムの解析は、図８の結果となり、特徴点の数を関数とする特徴点検出器により使用された動作数が、異なる特徴点選択方法に対して示されている。アルゴリズムの計算複雑性は、所与のアルゴリズムで使用される加算、減算、乗算、フェッチ、記憶を単にカウントすることによって決定された。
【００４５】
図８は、ＳＵＳＡＮ及びＭｏｒａｖｅｃ検出器が、ＤＳＰにより供されるものより２のオーダーの大きさで高い計算複雑性を有することを示す。ＨＳＡＤ及びＲＳＡＤ検出器は、ＤＳＰリソースの端数（１×１０^−３）しかかからない。プラットフォーム上での最適な実現が利用可能でない場合、計算複雑性の図を比較することは常に幾分危険である。しかし、異なるアルゴリズムの複雑性間の大きな相違により、我々の場合、ＳＵＳＡＮ及びＭｏｒａｖｅｃ検出器は非常にコストの多大なものであるといえる。ＨＳＡＤは、ソーティング（並べ替え）アルゴリズムが使用されなければならないので、ＲＳＡＤより幾分コストが大きい。
【００４６】
上述の説明は、我々のオブジェクトベースの動き推定器が、副サンプル化された画像を処理してメモリのバンド幅及び計算負荷を低減するものであるので、副サンプル化された画像の観点からフレーム差を議論している。
【００４７】
フレームは、水平方向及び垂直方向に４回サブサンプルされ、これは、ブロックサイズ、通常フレーム上の元来８×８ピクセルが、副サンプル化されたフレーム上の２×２ピクセルまで小さくされることを意味する。
【００４８】
閾値Ｔｎは、ビデオシーケンスにおけるブロックサイズ及びノイズレベルに依存する。
【００４９】
２×２ピクセルのブロックサイズ及び通常のノイズレベル（即ち、放送題材に対する通常）に対応するのは、ピクセル値が０から２５５の間であるとき、下限Ｔｎ＝２０である。特徴がノイズにサブマージされる確率は、この最小値以下で非常に大きくなる。
【００５０】
我々のアルゴリズムではＴｎ＝３０を使用する。閾値の最大値の考え方を付与する。動き推定器の性能は、Ｔｎ＝１００で非常に低くなる。典型的な閾値の範囲は、最小２０、最適３０、最大１００である。
【００５１】
選択される特徴点の数は、動きの推定の対象となるオブジェクトの数に依存する。我々の場合４つのオブジェクトが使用される。
【００５２】
オブジェクト当たり我々は各オブジェクトに対して最低１０個の特徴点が必要である。これは、ノイズのマイナスの影響及び選択方法のランダムさを抑える。
【００５３】
特徴点の最大量は、Philips TriMedia ICが提供するリソースによって支配される。たった今、特徴点の最大数は、２００程度である。試験から、我々は、１００の特徴点が、TriMedia上での現在のオブジェクトベースの動き推定器に対して最適な量であることを知っている。特徴点の数に対する範囲は、従って、最小３０、最適１００、最大２００である。
【００５４】
図９は、本発明によるディスプレイ装置の一実施例を示す。ビデオ信号ＶＳは、画像の時間変化量が所定の閾値を超える画像（ＶＳ）の位置を決定する閾値回路ＴＨＲに入力される。結果は、画像の時間変化量が所定の閾値を超える画像（ＶＳ）の位置から多数の選択位置Ｌを選択する選択回路Ｓに入力される。閾値回路ＴＨＲ及び選択回路Ｓは、協働して、特徴点選択装置ＦＰＳを形成する。選択位置Ｌ及びビデオ信号ＶＳは、選択位置Ｌで動きパラメータ推定誤差を最小化することによって動きパラメータＭＰを推定する動きパラメータ推定器ＭＰＥに入力される。動きベクトル発生器ＭＶＧは、動きパラメータＭＰから動きベクトルＭＶを生成する。動きパラメータ推定器ＭＰＥ及び動きベクトル発生器ＭＶＧは、協働して、パラメトリック動き推定器ＰＭＥを形成する。特徴点選択装置ＦＰＳ及びパラメトリック動き推定器ＰＭＥは、協働して、動きベクトル推定装置を形成する。動きベクトル推定装置ＦＰＳ，ＰＭＥの出力は、動きベクトルＭＶに依存してビデオ信号ＶＳを処理する動き補償プロセッサＭＣＰに入力される。動き補償プロセッサＭＣＰは、５０Ｈｚの入力信号から１００Ｈｚの変換を実行してよく、若しくは、２４Ｈｚのフィルム信号の５０Ｈｚのビデオ信号への変換により生ずるフィルム変換ジャダーを、フィルム画像を２，３回交互に繰り返すことによって低減して良い。動きベクトル推定装置ＦＰＳ，ＰＭＥ及び動き補償プロセッサＭＣＰは、協働して、動き補償処理装置ＦＰＳ，ＰＭＥ，ＭＣＰを形成する。ディスプレイ装置Ｄは、動き補償処理装置ＦＰＳ，ＰＭＥ，ＭＣＰの出力信号を表示する。
【００５５】
５．結論
最近、我々は、デジタル信号プロセッサ（ＤＳＰ）上での標準定義ビデオに対する実時間のオブジェクトベースの動き推定（ＯＭＥ）を可能とする反復アルゴリズムに関して報告した［参考文献１，２，１２］。アルゴリズムは、パラメトリック動きモデルで画像内のオブジェクトの動きを近似し、最もマッチングするモデルをブロック毎に画像部に割り当てることによってセグメントマスクを作成する。パラメータ推定モジュールは、特徴点と称される画像データの小さな破片（フラクション）に関する動きモデルのパラメータを決定する。この説明では、我々は、動きパラメータ推定処理、特にプログラム可能な装置上でのオブジェクトベースの動き推定のための特徴点選択の、収束性を改善する計算効率が非常に良い新しい特徴点選択方法を提案する。この方法は、ある閾値Ｔｎを越えるフレーム差を持つブロックのセットからＮ個のブロックをランダムに選択する。特徴点は、実時間ＯＭＥに対するパラメータ推定器で使用される。特徴点の品質は、それ故に、このアプリケーション範囲内で測定される。本方法は、３つの他の方法と比較された。文献から知られている２つの特徴検出器、即ち、ＳＵＳＡＮコーナ検出器及びＭｏｒａｖｅｃ関心オペレータ、及び、ＯＭＥに関する先の発表で使用されていた、最も大きいフレーム差を持つＮ個のブロックを選択する１つの特徴検出器である。新たな特徴点選択アルゴリズムは、より良い性能を生み、より小さい計算複雑性を持つ。本発明に対するキーワードは、オブジェクトベースの動き推定、動きセグメント化、パラメータ推定、特徴点である。
【００５６】
尚、上述の実施例は、本発明を限定するものでなく、当業者であれば、請求項に記載の発明の観点から逸脱することなく多くの代替実施例を設計できるだろう。フレーム差に代えて、フィールド差が用いられてよい。画像は、飛び越し型若しくは漸進的であってよい。上述の好ましい実施例では、ランダム選択が、初期の数、例えば３０００個の特徴点から１００個の特徴点を保持するためになされているが、“強い”及び“弱い”特徴を選択する如何なる他の選択方法でもよい。例えば、各３０番目の特徴点を取ることは、３０００個の初期の特徴点から選択された１００個の特徴点の最終リストにおいて“強い”及び“弱い”特徴の双方をもたらすだろう。
【００５７】
単語“含む”は、クレームに挙げられた要素若しくはステップ以外の存在を排除するものでない。単数表現は、複数の要素の存在を排除するものでない。本発明は、幾つかの特有の要素を含むハードウェアによって、及び、適切にプログラムされたコンピューターによって実現されてよい。幾つかの手段を列挙した装置クレームでは、これらの手段の幾つかは、一の同一のハードウェア製品によって具現化されても良い。ある手段が相互に異なる従属クレームで言及されている単なる事実は、効果を得るためにこれらの手段の組み合わせが使用できないことを示しているのではない。
【００５８】
最後に、上述の説明において参照された参考文献を以下に示す。
【００５９】
【外３２】

【図面の簡単な説明】
【００６０】
【図１】（ａ）及び（ｂ）は、パラメータベクトルのログ探索を示す図である。
【図２】（ａ）及び（ｆ）は、特徴点選択を示す図である。
【図３】（ａ）及び（ｂ）は、先行技術の特徴点検出器の問題を示す図である。
【図４】（ａ）及び（ｂ）は、ハイエストＳＡＤ方法に対する併進誤りを関数としてパラメータ推定誤りを示す図である。
【図５】（ａ）及び（ｂ）は、ランダムＳＡＤ方法に対する併進誤りを関数としてパラメータ推定誤りを示す図である。
【図６】（ａ）及び（ｂ）は、異なる特徴点選択方法の特徴点の数への依存性を示す図である。
【図７】（ａ）及び（ｂ）は、異なる特徴点選択方法のノイズ依存性を示す図である。
【図８】異なる特徴点選択方法に対する特徴点の数を関数として動作の数を示す図である。
【図９】本発明によるディスプレイ装置の一実施例を示す図である。

Claims

ビデオ信号の画像の動きベクトルを推定する方法であって、
前記画像の時間変化量が所定閾値を超える画像中の位置を決定するステップと、
前記画像の時間変化量が前記所定閾値を超える位置の中から多数の選択位置をランダムに選択するステップと、
前記選択した選択位置に基づいて動きベクトルを推定するステップとを含み、
前記選択した選択位置に基づいて動きベクトルを推定するステップは、
前記選択位置及び前記ビデオ信号を動きパラメータ推定器に加え、前記動きパラメータ推定器は、前記画像中のオブジェクトの並進運動及び倍率を表すパラメータベクトルである動きパラメータを推定し、前記動きパラメータは、前記選択位置における動きパラメータ推定誤差を最小化することによって推定される、ステップと、
前記オブジェクトの並進運動及び倍率を表す前記動きパラメータから、前記動きベクトルを生成するステップと、
を含む、方法。
前記所定閾値は、ピクセル値が０から２５５まであるとき、２０から１００の間であり、好ましくは３０である、請求項１記載の方法。
前記選択位置の数は、３０から２００の間であり、好ましくは１００である、請求項１記載の方法。
ビデオ信号の画像の動きベクトルを推定する動きベクトル推定装置であって、
前記画像の時間変化量が所定閾値を超える画像中の位置を決定する手段と、
前記画像の時間変化量が前記所定閾値を超える位置の中から多数の選択位置をランダムに選択する手段と、
前記選択位置及び前記ビデオ信号から、前記画像中のオブジェクトの並進運動及び倍率を表すパラメータベクトルである動きパラメータを推定する手段であって、前記動きパラメータは、前記選択位置における動きパラメータ推定誤差を最小化することによって推定される手段と、
前記オブジェクトの並進運動及び倍率を表す前記動きパラメータから、前記動きベクトルを生成する手段とを含む、ビデオ信号の画像の動きベクトルを推定する動きベクトル推定装置。
請求項４記載の動きベクトル推定装置と、
前記動きベクトルに依存してビデオ信号の画像を処理する手段とを含む、動き補償処理装置。
請求項５記載の動き補償処理装置と、
前記動き補償処理装置の出力ビデオ信号を表示するためのディスプレイ装置とを含む、画像表示装置。