JP3865240B2 - イメージ相関における最小歪み計算のための適応型アーリー・イグジット技術 - Google Patents
イメージ相関における最小歪み計算のための適応型アーリー・イグジット技術 Download PDFInfo
- Publication number
- JP3865240B2 JP3865240B2 JP2002503041A JP2002503041A JP3865240B2 JP 3865240 B2 JP3865240 B2 JP 3865240B2 JP 2002503041 A JP2002503041 A JP 2002503041A JP 2002503041 A JP2002503041 A JP 2002503041A JP 3865240 B2 JP3865240 B2 JP 3865240B2
- Authority
- JP
- Japan
- Prior art keywords
- sad
- accumulators
- early exit
- accumulator
- sign bit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Description
【０００１】
【従来の技術】
イメージ圧縮技術は、ビデオ応用において送信されるべきデータの総量を減少させることができる。これは、しばしば同一に留まっているイメージを決定することによって成される。「動作推定(motion estimate)」技術は、さまざまなビデオ符号化法で用いられる。
【０００２】
動作推定は、あるフレームＮに属するソース・ブロックとサーチ領域との間の最適な一致を見つけようとする試みである。サーチ領域は、同じフレームＮにあっても、あるいは一時的に移動したフレームＮ−ｋ中のサーチ領域にあってもよい。
【０００３】
本技術は、演算集約的である。
【０００４】
【詳細な説明】
動作推定は、絶対差分の合計(sum of absolute difference)または「ＳＡＤ」を計算することによってしばしば実行される。動作推定は、多くの異なった応用に用いられ、ビデオ、ビデオ・カメラ、ビデオ・アクセラレータ、およびこのような他の装置を用いるセルラ電話を含むが、これらに限定されるものではない。これらの装置は、出力としてビデオ信号を生成する。ＳＡＤは、ソース・ブロックとサーチ領域のサーチ・ブロックとの間における最低の歪みを認識するためにしばしば用いられる計算である。したがって、これらのブロック間の最適な一致となる。これを表現する１つの方法は、次式である。
【０００５】
【数１】
【０００６】
概念的にこれが意味するものは、第１フレームまたはソース・ブロック（Ｎ）がＭ×Ｎソース・ブロック１００の要素部分に分割されることである。これらは、第２フレーム（Ｎ−Ｋ）１０２と比較される。そのフレームは、ｋ≠０の場合に、一時的に移動され得る。各Ｎ−Ｋフレーム１０２は、Ｍ＋２ｍ1×Ｎ＋２ｎ1の領域である。ソース・ブロック１００は、図１における領域の中心に示されている。一致するイメージ部分は、歪測定器を用いて各イメージ・フレームの各部分を他のイメージ・フレームと相関をとることによって検出できる。圧縮法は、この検出を使用して、そのデータを圧縮し、それによりそのイメージについてのより少ない情報を送り出す。
【０００７】
この装置は、また汎用目的のＤＳＰの一部であってもよい。このような装置は、ビデオ・カムコーダ、会議電話、ＰＣビデオ・カードおよびＨＤＴＶにおける使用を意図している。加えて、汎用目的のＤＳＰは、またデジタル信号処理、例えば携帯電話で用いられる音声処理、音声認識および他の応用で使用する他の技術と関連して使用することを意図している。
【０００８】
全歪検出処理の速度を増加させることはできる。１つの方法は、各ＳＡＤ計算ユニットが１サイクルでより多くの動作を実行することのできるハードウェアを用いることである。しかしながら、これはより高価なハードウェアを必要とする。
【０００９】
他の方法は、別のＳＡＤ計算ユニットを追加することにより有効なピクセルのスループットを増加させることである。しかしながら、より多くのＳＡＤを必要とするので、これもまた費用を増加させる。
【００１０】
より早いサーチ・アルゴリズムは、既存のハードウェアの使用をより効果的にする。
【００１１】
ブロックＳＡＤはソース・グループを「サーチ・グループ」と比較する。ソース・グループおよびサーチ・グループはイメージ全体に亘って移動し、その結果ＳＡＤの動作はその２つのグループ間のオーバーラップを計算する。ソース・グループ中の各ブロックは、各サーチ領域における複数のブロックと比較される。
【００１２】
典型的なＳＡＤユニットは、２つの１６×１６エレメント上で動作し、これらの要素を交互にオーバレイする。このオーバレイ処理は、１６×１６＝２５６個の差分を計算する。その後、これらは全歪みを表すために累積される。
【００１３】
ＳＡＤは、ある基礎的な動作を要求する。ソースＸijとサーチＹijとの間の相違が形成されなければならない。絶対値｜Ｘij−Ｙij｜が形成される。最後に、次の値が累積される、
【００１４】
【数２】
【００１５】
基本的な累積構造が図２に示される。演算論理ユニット２００は、それに結合したデータ・バス１９８，１９９からＸijおよびＹijを受け取り、Ｘij−Ｙijを計算する。出力２０１は、インバータ２０２によって反転される。反転された出力およびそのオリジナル値の双方はマルチプレクサ２０４へ送られ、サイン・ビット２０５に基づく値の１つを選択する。第２演算論理ユニット２０６はこれらを結合し、絶対値を形成する。最終的な値は、累積レジスタ２０８に格納される。図２に示されるように、これは減算、絶対値、累積を効果的に構成する。
【００１６】
図２は、単一のＳＡＤ計算ユニットを示す。上記したように、複数の計算ユニットがスループットを向上させるために用いられる。もし計算ユニットの数が増加するなら、理論的にはそれはサイクル毎の画素スループットを増加させる。
【００１７】
しかしながら、本発明者は、画素スループットの増加は本質的にユニット数に線形して関連するものではないことに着目した。実際、各フレームはその近傍のフレームとどこか相関があるものである。加えて、各イメージの異なった部分は、しばしばそのイメージの他の部分と相関を有するものである。圧縮の効率性は、そのイメージの特性に基礎付けられる場合がある。本応用は、圧縮の効率性に依存して、異なったモードにある複数のＳＡＤ計算ユニットを用いることができる。
【００１８】
本応用は、図３Ａ，３Ｂに示される構成を利用する。同じ接続が図３Ａ，３Ｂの双方に用いられるが、計算は異なった方法で区分けされる。
【００１９】
図３Ａは、全ＳＡＤとして形成される各ＳＡＤ計算ユニット３００，３０２を示す。各ＳＡＤは、異なったブロックを受け取り、ＮブロックのＳＡＤ計算を提供する。従って、ユニット３００は、事実上１６×１６リファレンスと１６×１６ソースとの間の関係を、画素毎に計算する。ユニット２ ３０２は、１６×１６ソースと１６×１６サーチとの差分である結果を画素毎に計算する。別の変形が図３Ｂに示される。この変形である構成では、各単一のＳＡＤ３００，３０２は、単一のブロックＳＡＤの計算の一部を実行する。Ｎ個の計算ユニットの各々は、出力の１／Ｎを提供する。この「部分ＳＡＤ」動作は、８ビットの減算絶対値累積器の各々がそのユニットへ割り当てられた全ＳＡＤ計算の１／Ｎを計算する。
【００２０】
部分ＳＡＤ動作かあるいは全体ＳＡＤ動作かを決定する全体のシステムは、ここに述べられるように前回の結果に基づいて行なわなければならない。これにより、実行される計算数を減少させることができる。
【００２１】
全体または一部のいずれが用いられるかを決定する１つの方法は、一時的に近接したイメージが相関のある属性を有していることを仮定することである。第１サイクルは全ＳＡＤモードを用いて計算することができ、第２サイクルは部分ＳＡＤモードを用いて計算することができる。より速く動作するサイクルは勝者として扱われ、そのＳＡＤモードをセットする。この計算はＸサイクル毎に繰り返され、ここにＸは局所的な一時的相関がもはや仮定されなくなった後のサイクル数である。こらは、論理ユニット内で行われ、ここに示された図７のフローチャートを実行する。
【００２２】
スループットは、また、ここに示された「アーリー・イグジット(early exit)」技術によって向上させることができる。
【００２３】
１６×１６エレメントに対する完全なＳＡＤ計算は、｜ｐ1ｒ−ｐ1ｓ｜＋｜ｐ2ｒ−ｐ2ｓ｜＋・・・｜ｐ256ｒ−ｐ256ｓ｜・・・（１）として記述され得る。もしこれらの計算の全てが実際に実行されるならば、計算は２５６／Ｎサイクル必要とし、ここにＮはＳＡＤユニット数である。できるだけ早くその計算を停止することが望ましい。その計算の中間結果が検証される。これらの中間結果は、最小の歪みを見つけるために十分な情報が決定されたかどうかを決めるために用いられる。しかしながら、試験する動作はサイクルを消費する。
【００２４】
本応用は、このサイクルの消費と最小歪みの決定との間のバランスを表す。図４は、４つのＳＡＤ計算ユニットを用いる１６×１６計算に対するトレードオフを描く。図４中のライン４００は、アーリー・イグジットがない場合のサイクル・カウントを示す。そのラインは、水平的に、アーリー・イグジットのないサイクル・カウントがいつも２５６／４＝６４であることを示している。アーリー・イグジット戦略に対するサイクル・カウントは、傾斜ライン４０２，４０４，４０６，４０８で示される。ライン４０４は１６画素毎に１つのテストを示し、ライン４０６は３２画素（１／８）毎に１つのテストを示し、そしてライン４０８は６４画素（１／１６）毎に１つのテストを示す。ライン４０２−４０８がライン４００より上にある場合、アーリー・イグジットでの試みは全体の歪み計算時間を実際には増加させることに注意されたい。ライン４０２はサイクル消費を示し、ゼロのオーバーヘッドがイグジット・テストのために得られる。すなわち、テストが行われると、そのイグジットはいつもうまくいく。ライン４０２は望ましい目標である。適応型アーリー・イグジット法はこのようにするために開示される。
【００２５】
ブロックＩは、従来から知られたあらゆる通常の戦略を用いてまず処理され、最小の歪みを見つける。これは実際のイメージの一部であるテスト・パターンを用いてなされ、その歪みを求めることができる。最小歪みは、基準線（ベースライン)として用いられ、ブロックＩ＋ｎは、ｎは小さいが、同じ最小歪みを有することが仮定される。
【００２６】
Ｋｅｘｉｔ（Ｎ）は、アーリー・イグジットが達成される前に、サーチ領域のために前もって処理された画素の数を表す。
【００２７】
Ａｅｘｉｔ（Ｎ）は、サーチ領域のための最新のアーリー・イグジット時刻での、部分累積器の符号ビットの状態を示す。
【００２８】
これらのブロックＩ＋ｎに対し、ＳＡＤ計算は、歪みがそのスレシホールドを超える時、終了する。これは、サーチ領域について知られている以前の情報を用いる一時的なシステムを形成する。
【００２９】
通常のシステムは、しばしば共通の特性を維持するある確率であるサーチ領域内のイメージ特性に基づく。フレーム間の時間は、１／１５秒と１／３０秒との間にあり、これらの時間間隔中にある測定可能なシステム特性に関連するあるノイズ・フロア以上で、最小の変更が発生するのにしばしば十分早い。また、時間を超えて、類似した一時的特性を維持するイメージ領域が存在する。
【００３０】
本願にしたがって、各ＳＡＤのための累積器に値（−least/n）がロードされ、ここに「least」は、その領域に対するブロック移動サーチで測定される最小歪みを表す。多くのＳＡＤは各サーチ領域のために計算される。その領域における最初のＳＡＤ計算には、「Least」の名称が割り付けられる。将来のＳＡＤはこれと比較され、新しい「Least」値が確立されたかどうかをみる。累積器が符号を変更する場合、最小歪みに到達する。さらに、これは、追加の計算なしに、その現在のＳＡＤ構造のみを用いて示され、その結果テストのためのサイクルを追加する。
【００３１】
イメージ特性のテストは、アーリー・イグジットを確立する前にいくつの累積器がスイッチする必要があるのかを決定するために用いられる。例えば、ソースおよびターゲット領域が全く同じ性質であるなら、そのとき全ての累積器は多かれ少なかれ同時に符号を変えなければならない。これが発生すると、実行中のＳＡＤ計算のうち前回の最小測定値を越えるいずれか１つの計算が、アーリー・イグジットが適切であることを示すために用いられる。
【００３２】
しかしながら、これは全イメージの均質性を仮定する。このような仮定は、いつも保っているものではない。多くの状況では、異なったＳＡＤユニットの複数の累積器は、同じ速度で増加するのではない。さらに、累積器間の異なった増加速度は、それら自身の相違性、すなわちソースおよびターゲット・ブロック間の空間周波数特性に直接関連付けられるかもしれないし、またデータをサンプルする方法に関連付けられるかもしれない。これは、ＳＡＤユニットに何が発生するのかに基づき、アーリー・イグジットをどのように決定するのかを判断するより複雑な方法を要求する。
【００３３】
１つの動作は分割ＳＡＤ状態と関連する可能性に基づき、ここに全てのＳＡＤユニットは必ずしも同じ状態にはない。累積器間の増加率の相違は、ソースおよびターゲット・ブロック間における空間周波数特性の相違に関連付けられる。これらの空間周波数特性は、また一時的に同種のフレーム間で相関が取られるので、あるフレームからの情報は、また次のフレームの解析に応用される。
【００３４】
これは、変数に関連してここに説明されるが、ここにＡ1，Ａ2，Ａ3，．．．Ａnは分割ＳＡＤ計算と関連する事象（イベント）として定義される。
【００３５】
イベントは次のように定義される。
【００３６】
イベントＡi＝ＳＡＤi≧０ ここにｉ≠ｊに対しＳＡＤ＜０。
【００３７】
これは、概念的にはイベントＡiは、ＳＡＤユニットがポジティブで残りの全てのＳＡＤユニットがネガティブである場合に起こるとして定義されることを意味する。これは、例えば、累積器が異なった速度で増加している場合に、起こるであろう。これは、また結合イベントとしても特に定義され得る。すなわち：
イベントＢi,j＝Ａi∪Ａj＝ＳＡＤi≧０ ＳＡＤｊ≧０に対し。
【００３８】
ここに、ｋ≠ｉ，ｊに対しＳＡＤｋ＜０。
【００３９】
これは、Ａｉが存在しかつＡｊが真であるが、他の全てのＡｋは偽である場合に、イベントＢｉ，ｊは「真」であると定義されることを意味する。イベントに関する動作を定義する概念は、ｉ，ｊ，ｋの可能な全ての組み合わせを含むものとして拡張することができる。４個のＳＡＤ計算ユニットに対して、合計１６個の組み合わせを生み出す。より大きな数のＳＡＤ計算ユニットに対しては、別の組み合わせる数を導き、ｉ，ｊ，ｋ，ｍあるいは他のより多くの変数を用いることも可能である。
【００４０】
このシナリオを言葉で表すと、各イベント「Ｂ］は、０より大きい特定の累積器の合計として定義される。これらの組み合わせのそれぞれは、可能性として定義される。４個のＳＡＤユニットに対して、合計して１６個の可能な状態の累積器がある。これらは、それらがどのように処理されるのかに従って、グループ化されることができる。
【００４１】
第１のありふれた可能性は、
【００４２】
【数３】
【００４３】
これは、累積器の合計が０より多く、いずれの累積器も０を越えていないとすると、その可能性が０であることを意味する。
【００４４】
その反対は、また真である。すなわち、
Ｐ（Ｂ｜Ａ1∩Ａ2∩Ａ3∩Ａ4）＝１。
【００４５】
これは、いずれの累積器も設定されていないとして、全ての累積器の合計の可能性が１であることを意味する。
【００４６】
これらのありふれた特性を除外すると、１４のありふれない組み合わせがある。第１のグループは４つの場合を含み、ここでは累積器の１つは設定され、かつ残りの３つは設定されていない場合をいう。すなわち、
【００４７】
【数４】
【００４８】
別のグループは、２つの累積器が設定され、かつ他の２つの累積器が設定されていない状態を示す。これらの組み合わせは次のように書かれる。すなわち、
【００４９】
【数５】
【００５０】
最後に、次のグループは、３つの累積器が設定され、１つの累積器が設定されていない場合である。
【００５１】
【数６】
【００５２】
本実施例は、これらのグループの各々が、実際にはこれらの状態の各々が、イメージにおいて異なった状態を示すことを認める。各グループまたは各状態は、異なる処理が施され得る。
【００５３】
このシステムは、上述のように、また図５のフローチャートに関連して動作する。最終目標は、計算を終了し、その結果、より早く出口（イグジット）に出ることである。まず図５に示されるように、５５０で、２つのイメージ、すなわちソース・イメージとサーチ・イメージの特性の一致性を判断する。一致特性はいかなるアーリー・イグジットなしに計算される。最小歪みは５５５で求められ、その状態は、最小歪みが存在したときに、５６０で求められる。
【００５４】
５６０の状態は、最小歪みの時間に存在したグループ形式、または１４個の可能性中の特定状態を含めることができる。
【００５５】
５７０で、後続のイメージ部分がテストされる。この後続部分は、そのテスト部分と相関されるいかなる部分であってもよい。一時的に相関されたイメージは相関されるべきと仮定されるので、これはあらゆる一時的に相関された部分へ拡張することができる。
【００５６】
イメージのソースおよびサーチがテストされ、最小歪みの時間に起こった特定のグループの判断が５７５で行われる。その後、５８０で、アーリー・イグジットが達成される。
【００５７】
【００５８】
図６Ａは、アーリー・イグジットまたは「ＥＥ］フラグを用いるアーリー・イグジットを実行するシステムを示す。Ｎ個のＳＡＤユニットが示されるが、この実施例ではＮは４である。各ＳＡＤユニットは、上記議論した構造、および特定のＡＬＵ、インバータ、および累積器を含む。
【００５９】
各累積器の出力は、組み合わせ論理ユニット６００に結合され、それはその出力を配列する。これは、上記したグループ判断を実行するために用いられる。組み合わせ論理ユニットは個別論理ゲートを用いて実行され、例として、ハードウェアの定義語で定義される。そのゲートは選択されたグループに基づくオプションでプログラムされる。異なったイメージおよび部分は異なったオプションに従って処理されてもよい。
【００６０】
各オプションに対し、状態の組み合わせ、例として、既に議論したグループがコード化される。その組み合わせ論理は、全てのＳＡＤユニットの累積器をモニターする。各状態はマルチプレクサへ出力される。
【００６１】
これらの累積器が上記ゲート中のプログラムされたオプションの１つに入る状態に達すると、アーリー・イグジット・フラグが生成される。+アーリー・イグジット・フラグは、ハードウェアが適切な「適合」を判断したことを意味する。これにより、動作は終了する。
【００６２】
図６Ｂは、代替システムを示し、累積器の状態がハードウェア状態レジスタ６１０によって検出される。この状態レジスタは、累積器の状態によって特定の状態へ設定される。状態レジスタはアーリー・イグジットを示す特定の状態を格納する。その特定の状態が示されると、アーリー・イグジットが確立する。
【００６３】
適合アーリー・イグジットが用いられる方法は、図７に関連して全体が示される。７００で、ビデオ・フレームが開始する。７０５は、フレームＭおよびフレームＭ＋１の双方をバッファすることを示す。７１０は、ブロック・ヒストリ・モデルが更新を必要とするかどうかの判断を示す。これは、前回のフレーム更新まで、例えば時間をモニターすることにより判断され得る。例えば、新しい更新が必要となる前に、時間としてｘ秒が確立される。
【００６４】
このモデルが更新を必要とするなら、その時そのプロセスは累積器に０ｘＦＦ０１をロードし、７１５で局所変数Ｎ＝１を設定する。７２０で、システムはＳＡＤサーチ領域Ｎを獲得し、イグジット・テストが実行される７２５で周期的なイグジット・テストＴｅｘｉｔ＝１／１６...を用いる。もし首尾よくいくなら、イグジット前に処理された画素数である局所変数Ｋｅｘｉｔ（Ｎ）および最新のイグジット時におけるサーチ領域に対する累積器１ないし４のサマリーであるＡｅｘｉｔ（Ｎ）が戻される。局所変数Ｎは、またステップ７３０で増加される。これは、局所パラメータを確立し、かつ、そのプロセスを継続する。
【００６５】
次のサイクルで、ブロック・ヒストリの更新は、ステップ７１０で再実行される必要はなく、その結果、制御はステップ７３５へ移る。このステップで、前に格納されたＫｅｘｉｔおよびＡｅｘｉｔが読まれる。これは、ステップ７４０で新しいカウントとして用いられ、ターゲット・ブロック・フラグを設定する。
【００６６】
ステップ７４５で、ブロックＮに対するサーチが確立され、ＡｅｘｉｔおよびＫｅｘｉｔがステップ７５０で更新される。Ｎは増加される。ステップ７５５で、Ｎが３９７に等しいかどうかの判断がなされる。３５２ｘ２８８イメージ中には３９６個の１６ｘ１６ブロックがあるので、バッファ中のフレームの数として３９７が取られる。しかしながら、これは可能な限り異なったサイズに対し調整される。
【００６７】
再び、大きいイメージ部の一時変数は不変更のまま残されそうである。したがって、部分的な累積器が特定のサイン・ビットを有する場合、それらの状態は著しい利点をもたらす。さらに、フレーム間の時間は、通常１／１５ないし１／３０秒のオーダーである。最後に、イメージ内の領域はそれらの局所的な特性を維持し、それ故空間周波数が相関される。
【００６８】
新規な実施例のみが議論されたが、他への変更も可能である。
【図面の簡単な説明】
いろいろな側面が添付の図面とともに詳細に示される。
【図１】 互いに対し比較されるソース・ブロックおよびサーチ・ブロックを示す。
【図２】 歪みを計算するための基本累積器を示す。
【図３Ａ】 複数のＳＡＤユニット中における計算の異なった分割を示す。
【図３Ｂ】 複数のＳＡＤユニット中における計算の異なった分割を示す。
【図４】 アーリー・イグジット戦略計算と実際の総計算との間のトレードオフを示す。
【図５】 アーリー・イグジット戦略のフローチャートを示す。
【図６Ａ】 アーリー・イグジット・フラグを用いるアーリー・イグジットを示す。
【図６Ｂ】 ハードウェアの状態レジスタを用いるアーリー・イグジットを示す。
【図７】 適応型アーリー・イグジット戦略の動作フローチャートを示す。
【従来の技術】
イメージ圧縮技術は、ビデオ応用において送信されるべきデータの総量を減少させることができる。これは、しばしば同一に留まっているイメージを決定することによって成される。「動作推定(motion estimate)」技術は、さまざまなビデオ符号化法で用いられる。
【０００２】
動作推定は、あるフレームＮに属するソース・ブロックとサーチ領域との間の最適な一致を見つけようとする試みである。サーチ領域は、同じフレームＮにあっても、あるいは一時的に移動したフレームＮ−ｋ中のサーチ領域にあってもよい。
【０００３】
本技術は、演算集約的である。
【０００４】
【詳細な説明】
動作推定は、絶対差分の合計(sum of absolute difference)または「ＳＡＤ」を計算することによってしばしば実行される。動作推定は、多くの異なった応用に用いられ、ビデオ、ビデオ・カメラ、ビデオ・アクセラレータ、およびこのような他の装置を用いるセルラ電話を含むが、これらに限定されるものではない。これらの装置は、出力としてビデオ信号を生成する。ＳＡＤは、ソース・ブロックとサーチ領域のサーチ・ブロックとの間における最低の歪みを認識するためにしばしば用いられる計算である。したがって、これらのブロック間の最適な一致となる。これを表現する１つの方法は、次式である。
【０００５】
【数１】
概念的にこれが意味するものは、第１フレームまたはソース・ブロック（Ｎ）がＭ×Ｎソース・ブロック１００の要素部分に分割されることである。これらは、第２フレーム（Ｎ−Ｋ）１０２と比較される。そのフレームは、ｋ≠０の場合に、一時的に移動され得る。各Ｎ−Ｋフレーム１０２は、Ｍ＋２ｍ1×Ｎ＋２ｎ1の領域である。ソース・ブロック１００は、図１における領域の中心に示されている。一致するイメージ部分は、歪測定器を用いて各イメージ・フレームの各部分を他のイメージ・フレームと相関をとることによって検出できる。圧縮法は、この検出を使用して、そのデータを圧縮し、それによりそのイメージについてのより少ない情報を送り出す。
【０００７】
この装置は、また汎用目的のＤＳＰの一部であってもよい。このような装置は、ビデオ・カムコーダ、会議電話、ＰＣビデオ・カードおよびＨＤＴＶにおける使用を意図している。加えて、汎用目的のＤＳＰは、またデジタル信号処理、例えば携帯電話で用いられる音声処理、音声認識および他の応用で使用する他の技術と関連して使用することを意図している。
【０００８】
全歪検出処理の速度を増加させることはできる。１つの方法は、各ＳＡＤ計算ユニットが１サイクルでより多くの動作を実行することのできるハードウェアを用いることである。しかしながら、これはより高価なハードウェアを必要とする。
【０００９】
他の方法は、別のＳＡＤ計算ユニットを追加することにより有効なピクセルのスループットを増加させることである。しかしながら、より多くのＳＡＤを必要とするので、これもまた費用を増加させる。
【００１０】
より早いサーチ・アルゴリズムは、既存のハードウェアの使用をより効果的にする。
【００１１】
ブロックＳＡＤはソース・グループを「サーチ・グループ」と比較する。ソース・グループおよびサーチ・グループはイメージ全体に亘って移動し、その結果ＳＡＤの動作はその２つのグループ間のオーバーラップを計算する。ソース・グループ中の各ブロックは、各サーチ領域における複数のブロックと比較される。
【００１２】
典型的なＳＡＤユニットは、２つの１６×１６エレメント上で動作し、これらの要素を交互にオーバレイする。このオーバレイ処理は、１６×１６＝２５６個の差分を計算する。その後、これらは全歪みを表すために累積される。
【００１３】
ＳＡＤは、ある基礎的な動作を要求する。ソースＸijとサーチＹijとの間の相違が形成されなければならない。絶対値｜Ｘij−Ｙij｜が形成される。最後に、次の値が累積される、
【００１４】
【数２】
基本的な累積構造が図２に示される。演算論理ユニット２００は、それに結合したデータ・バス１９８，１９９からＸijおよびＹijを受け取り、Ｘij−Ｙijを計算する。出力２０１は、インバータ２０２によって反転される。反転された出力およびそのオリジナル値の双方はマルチプレクサ２０４へ送られ、サイン・ビット２０５に基づく値の１つを選択する。第２演算論理ユニット２０６はこれらを結合し、絶対値を形成する。最終的な値は、累積レジスタ２０８に格納される。図２に示されるように、これは減算、絶対値、累積を効果的に構成する。
【００１６】
図２は、単一のＳＡＤ計算ユニットを示す。上記したように、複数の計算ユニットがスループットを向上させるために用いられる。もし計算ユニットの数が増加するなら、理論的にはそれはサイクル毎の画素スループットを増加させる。
【００１７】
しかしながら、本発明者は、画素スループットの増加は本質的にユニット数に線形して関連するものではないことに着目した。実際、各フレームはその近傍のフレームとどこか相関があるものである。加えて、各イメージの異なった部分は、しばしばそのイメージの他の部分と相関を有するものである。圧縮の効率性は、そのイメージの特性に基礎付けられる場合がある。本応用は、圧縮の効率性に依存して、異なったモードにある複数のＳＡＤ計算ユニットを用いることができる。
【００１８】
本応用は、図３Ａ，３Ｂに示される構成を利用する。同じ接続が図３Ａ，３Ｂの双方に用いられるが、計算は異なった方法で区分けされる。
【００１９】
図３Ａは、全ＳＡＤとして形成される各ＳＡＤ計算ユニット３００，３０２を示す。各ＳＡＤは、異なったブロックを受け取り、ＮブロックのＳＡＤ計算を提供する。従って、ユニット３００は、事実上１６×１６リファレンスと１６×１６ソースとの間の関係を、画素毎に計算する。ユニット２ ３０２は、１６×１６ソースと１６×１６サーチとの差分である結果を画素毎に計算する。別の変形が図３Ｂに示される。この変形である構成では、各単一のＳＡＤ３００，３０２は、単一のブロックＳＡＤの計算の一部を実行する。Ｎ個の計算ユニットの各々は、出力の１／Ｎを提供する。この「部分ＳＡＤ」動作は、８ビットの減算絶対値累積器の各々がそのユニットへ割り当てられた全ＳＡＤ計算の１／Ｎを計算する。
【００２０】
部分ＳＡＤ動作かあるいは全体ＳＡＤ動作かを決定する全体のシステムは、ここに述べられるように前回の結果に基づいて行なわなければならない。これにより、実行される計算数を減少させることができる。
【００２１】
全体または一部のいずれが用いられるかを決定する１つの方法は、一時的に近接したイメージが相関のある属性を有していることを仮定することである。第１サイクルは全ＳＡＤモードを用いて計算することができ、第２サイクルは部分ＳＡＤモードを用いて計算することができる。より速く動作するサイクルは勝者として扱われ、そのＳＡＤモードをセットする。この計算はＸサイクル毎に繰り返され、ここにＸは局所的な一時的相関がもはや仮定されなくなった後のサイクル数である。こらは、論理ユニット内で行われ、ここに示された図７のフローチャートを実行する。
【００２２】
スループットは、また、ここに示された「アーリー・イグジット(early exit)」技術によって向上させることができる。
【００２３】
１６×１６エレメントに対する完全なＳＡＤ計算は、｜ｐ1ｒ−ｐ1ｓ｜＋｜ｐ2ｒ−ｐ2ｓ｜＋・・・｜ｐ256ｒ−ｐ256ｓ｜・・・（１）として記述され得る。もしこれらの計算の全てが実際に実行されるならば、計算は２５６／Ｎサイクル必要とし、ここにＮはＳＡＤユニット数である。できるだけ早くその計算を停止することが望ましい。その計算の中間結果が検証される。これらの中間結果は、最小の歪みを見つけるために十分な情報が決定されたかどうかを決めるために用いられる。しかしながら、試験する動作はサイクルを消費する。
【００２４】
本応用は、このサイクルの消費と最小歪みの決定との間のバランスを表す。図４は、４つのＳＡＤ計算ユニットを用いる１６×１６計算に対するトレードオフを描く。図４中のライン４００は、アーリー・イグジットがない場合のサイクル・カウントを示す。そのラインは、水平的に、アーリー・イグジットのないサイクル・カウントがいつも２５６／４＝６４であることを示している。アーリー・イグジット戦略に対するサイクル・カウントは、傾斜ライン４０２，４０４，４０６，４０８で示される。ライン４０４は１６画素毎に１つのテストを示し、ライン４０６は３２画素（１／８）毎に１つのテストを示し、そしてライン４０８は６４画素（１／１６）毎に１つのテストを示す。ライン４０２−４０８がライン４００より上にある場合、アーリー・イグジットでの試みは全体の歪み計算時間を実際には増加させることに注意されたい。ライン４０２はサイクル消費を示し、ゼロのオーバーヘッドがイグジット・テストのために得られる。すなわち、テストが行われると、そのイグジットはいつもうまくいく。ライン４０２は望ましい目標である。適応型アーリー・イグジット法はこのようにするために開示される。
【００２５】
ブロックＩは、従来から知られたあらゆる通常の戦略を用いてまず処理され、最小の歪みを見つける。これは実際のイメージの一部であるテスト・パターンを用いてなされ、その歪みを求めることができる。最小歪みは、基準線（ベースライン)として用いられ、ブロックＩ＋ｎは、ｎは小さいが、同じ最小歪みを有することが仮定される。
【００２６】
Ｋｅｘｉｔ（Ｎ）は、アーリー・イグジットが達成される前に、サーチ領域のために前もって処理された画素の数を表す。
【００２７】
Ａｅｘｉｔ（Ｎ）は、サーチ領域のための最新のアーリー・イグジット時刻での、部分累積器の符号ビットの状態を示す。
【００２８】
これらのブロックＩ＋ｎに対し、ＳＡＤ計算は、歪みがそのスレシホールドを超える時、終了する。これは、サーチ領域について知られている以前の情報を用いる一時的なシステムを形成する。
【００２９】
通常のシステムは、しばしば共通の特性を維持するある確率であるサーチ領域内のイメージ特性に基づく。フレーム間の時間は、１／１５秒と１／３０秒との間にあり、これらの時間間隔中にある測定可能なシステム特性に関連するあるノイズ・フロア以上で、最小の変更が発生するのにしばしば十分早い。また、時間を超えて、類似した一時的特性を維持するイメージ領域が存在する。
【００３０】
本願にしたがって、各ＳＡＤのための累積器に値（−least/n）がロードされ、ここに「least」は、その領域に対するブロック移動サーチで測定される最小歪みを表す。多くのＳＡＤは各サーチ領域のために計算される。その領域における最初のＳＡＤ計算には、「Least」の名称が割り付けられる。将来のＳＡＤはこれと比較され、新しい「Least」値が確立されたかどうかをみる。累積器が符号を変更する場合、最小歪みに到達する。さらに、これは、追加の計算なしに、その現在のＳＡＤ構造のみを用いて示され、その結果テストのためのサイクルを追加する。
【００３１】
イメージ特性のテストは、アーリー・イグジットを確立する前にいくつの累積器がスイッチする必要があるのかを決定するために用いられる。例えば、ソースおよびターゲット領域が全く同じ性質であるなら、そのとき全ての累積器は多かれ少なかれ同時に符号を変えなければならない。これが発生すると、実行中のＳＡＤ計算のうち前回の最小測定値を越えるいずれか１つの計算が、アーリー・イグジットが適切であることを示すために用いられる。
【００３２】
しかしながら、これは全イメージの均質性を仮定する。このような仮定は、いつも保っているものではない。多くの状況では、異なったＳＡＤユニットの複数の累積器は、同じ速度で増加するのではない。さらに、累積器間の異なった増加速度は、それら自身の相違性、すなわちソースおよびターゲット・ブロック間の空間周波数特性に直接関連付けられるかもしれないし、またデータをサンプルする方法に関連付けられるかもしれない。これは、ＳＡＤユニットに何が発生するのかに基づき、アーリー・イグジットをどのように決定するのかを判断するより複雑な方法を要求する。
【００３３】
１つの動作は分割ＳＡＤ状態と関連する可能性に基づき、ここに全てのＳＡＤユニットは必ずしも同じ状態にはない。累積器間の増加率の相違は、ソースおよびターゲット・ブロック間における空間周波数特性の相違に関連付けられる。これらの空間周波数特性は、また一時的に同種のフレーム間で相関が取られるので、あるフレームからの情報は、また次のフレームの解析に応用される。
【００３４】
これは、変数に関連してここに説明されるが、ここにＡ1，Ａ2，Ａ3，．．．Ａnは分割ＳＡＤ計算と関連する事象（イベント）として定義される。
【００３５】
イベントは次のように定義される。
【００３６】
イベントＡi＝ＳＡＤi≧０ ここにｉ≠ｊに対しＳＡＤ＜０。
【００３７】
これは、概念的にはイベントＡiは、ＳＡＤユニットがポジティブで残りの全てのＳＡＤユニットがネガティブである場合に起こるとして定義されることを意味する。これは、例えば、累積器が異なった速度で増加している場合に、起こるであろう。これは、また結合イベントとしても特に定義され得る。すなわち：
イベントＢi,j＝Ａi∪Ａj＝ＳＡＤi≧０ ＳＡＤｊ≧０に対し。
【００３８】
ここに、ｋ≠ｉ，ｊに対しＳＡＤｋ＜０。
【００３９】
これは、Ａｉが存在しかつＡｊが真であるが、他の全てのＡｋは偽である場合に、イベントＢｉ，ｊは「真」であると定義されることを意味する。イベントに関する動作を定義する概念は、ｉ，ｊ，ｋの可能な全ての組み合わせを含むものとして拡張することができる。４個のＳＡＤ計算ユニットに対して、合計１６個の組み合わせを生み出す。より大きな数のＳＡＤ計算ユニットに対しては、別の組み合わせる数を導き、ｉ，ｊ，ｋ，ｍあるいは他のより多くの変数を用いることも可能である。
【００４０】
このシナリオを言葉で表すと、各イベント「Ｂ］は、０より大きい特定の累積器の合計として定義される。これらの組み合わせのそれぞれは、可能性として定義される。４個のＳＡＤユニットに対して、合計して１６個の可能な状態の累積器がある。これらは、それらがどのように処理されるのかに従って、グループ化されることができる。
【００４１】
第１のありふれた可能性は、
【００４２】
【数３】
これは、累積器の合計が０より多く、いずれの累積器も０を越えていないとすると、その可能性が０であることを意味する。
【００４４】
その反対は、また真である。すなわち、
Ｐ（Ｂ｜Ａ1∩Ａ2∩Ａ3∩Ａ4）＝１。
【００４５】
これは、いずれの累積器も設定されていないとして、全ての累積器の合計の可能性が１であることを意味する。
【００４６】
これらのありふれた特性を除外すると、１４のありふれない組み合わせがある。第１のグループは４つの場合を含み、ここでは累積器の１つは設定され、かつ残りの３つは設定されていない場合をいう。すなわち、
【００４７】
【数４】
別のグループは、２つの累積器が設定され、かつ他の２つの累積器が設定されていない状態を示す。これらの組み合わせは次のように書かれる。すなわち、
【００４９】
【数５】
最後に、次のグループは、３つの累積器が設定され、１つの累積器が設定されていない場合である。
【００５１】
【数６】
本実施例は、これらのグループの各々が、実際にはこれらの状態の各々が、イメージにおいて異なった状態を示すことを認める。各グループまたは各状態は、異なる処理が施され得る。
【００５３】
このシステムは、上述のように、また図５のフローチャートに関連して動作する。最終目標は、計算を終了し、その結果、より早く出口（イグジット）に出ることである。まず図５に示されるように、５５０で、２つのイメージ、すなわちソース・イメージとサーチ・イメージの特性の一致性を判断する。一致特性はいかなるアーリー・イグジットなしに計算される。最小歪みは５５５で求められ、その状態は、最小歪みが存在したときに、５６０で求められる。
【００５４】
５６０の状態は、最小歪みの時間に存在したグループ形式、または１４個の可能性中の特定状態を含めることができる。
【００５５】
５７０で、後続のイメージ部分がテストされる。この後続部分は、そのテスト部分と相関されるいかなる部分であってもよい。一時的に相関されたイメージは相関されるべきと仮定されるので、これはあらゆる一時的に相関された部分へ拡張することができる。
【００５６】
イメージのソースおよびサーチがテストされ、最小歪みの時間に起こった特定のグループの判断が５７５で行われる。その後、５８０で、アーリー・イグジットが達成される。
【００５７】
【００５８】
図６Ａは、アーリー・イグジットまたは「ＥＥ］フラグを用いるアーリー・イグジットを実行するシステムを示す。Ｎ個のＳＡＤユニットが示されるが、この実施例ではＮは４である。各ＳＡＤユニットは、上記議論した構造、および特定のＡＬＵ、インバータ、および累積器を含む。
【００５９】
各累積器の出力は、組み合わせ論理ユニット６００に結合され、それはその出力を配列する。これは、上記したグループ判断を実行するために用いられる。組み合わせ論理ユニットは個別論理ゲートを用いて実行され、例として、ハードウェアの定義語で定義される。そのゲートは選択されたグループに基づくオプションでプログラムされる。異なったイメージおよび部分は異なったオプションに従って処理されてもよい。
【００６０】
各オプションに対し、状態の組み合わせ、例として、既に議論したグループがコード化される。その組み合わせ論理は、全てのＳＡＤユニットの累積器をモニターする。各状態はマルチプレクサへ出力される。
【００６１】
これらの累積器が上記ゲート中のプログラムされたオプションの１つに入る状態に達すると、アーリー・イグジット・フラグが生成される。+アーリー・イグジット・フラグは、ハードウェアが適切な「適合」を判断したことを意味する。これにより、動作は終了する。
【００６２】
図６Ｂは、代替システムを示し、累積器の状態がハードウェア状態レジスタ６１０によって検出される。この状態レジスタは、累積器の状態によって特定の状態へ設定される。状態レジスタはアーリー・イグジットを示す特定の状態を格納する。その特定の状態が示されると、アーリー・イグジットが確立する。
【００６３】
適合アーリー・イグジットが用いられる方法は、図７に関連して全体が示される。７００で、ビデオ・フレームが開始する。７０５は、フレームＭおよびフレームＭ＋１の双方をバッファすることを示す。７１０は、ブロック・ヒストリ・モデルが更新を必要とするかどうかの判断を示す。これは、前回のフレーム更新まで、例えば時間をモニターすることにより判断され得る。例えば、新しい更新が必要となる前に、時間としてｘ秒が確立される。
【００６４】
このモデルが更新を必要とするなら、その時そのプロセスは累積器に０ｘＦＦ０１をロードし、７１５で局所変数Ｎ＝１を設定する。７２０で、システムはＳＡＤサーチ領域Ｎを獲得し、イグジット・テストが実行される７２５で周期的なイグジット・テストＴｅｘｉｔ＝１／１６...を用いる。もし首尾よくいくなら、イグジット前に処理された画素数である局所変数Ｋｅｘｉｔ（Ｎ）および最新のイグジット時におけるサーチ領域に対する累積器１ないし４のサマリーであるＡｅｘｉｔ（Ｎ）が戻される。局所変数Ｎは、またステップ７３０で増加される。これは、局所パラメータを確立し、かつ、そのプロセスを継続する。
【００６５】
次のサイクルで、ブロック・ヒストリの更新は、ステップ７１０で再実行される必要はなく、その結果、制御はステップ７３５へ移る。このステップで、前に格納されたＫｅｘｉｔおよびＡｅｘｉｔが読まれる。これは、ステップ７４０で新しいカウントとして用いられ、ターゲット・ブロック・フラグを設定する。
【００６６】
ステップ７４５で、ブロックＮに対するサーチが確立され、ＡｅｘｉｔおよびＫｅｘｉｔがステップ７５０で更新される。Ｎは増加される。ステップ７５５で、Ｎが３９７に等しいかどうかの判断がなされる。３５２ｘ２８８イメージ中には３９６個の１６ｘ１６ブロックがあるので、バッファ中のフレームの数として３９７が取られる。しかしながら、これは可能な限り異なったサイズに対し調整される。
【００６７】
再び、大きいイメージ部の一時変数は不変更のまま残されそうである。したがって、部分的な累積器が特定のサイン・ビットを有する場合、それらの状態は著しい利点をもたらす。さらに、フレーム間の時間は、通常１／１５ないし１／３０秒のオーダーである。最後に、イメージ内の領域はそれらの局所的な特性を維持し、それ故空間周波数が相関される。
【００６８】
新規な実施例のみが議論されたが、他への変更も可能である。
【図面の簡単な説明】
いろいろな側面が添付の図面とともに詳細に示される。
【図１】 互いに対し比較されるソース・ブロックおよびサーチ・ブロックを示す。
【図２】 歪みを計算するための基本累積器を示す。
【図３Ａ】 複数のＳＡＤユニット中における計算の異なった分割を示す。
【図３Ｂ】 複数のＳＡＤユニット中における計算の異なった分割を示す。
【図４】 アーリー・イグジット戦略計算と実際の総計算との間のトレードオフを示す。
【図５】 アーリー・イグジット戦略のフローチャートを示す。
【図６Ａ】 アーリー・イグジット・フラグを用いるアーリー・イグジットを示す。
【図６Ｂ】 ハードウェアの状態レジスタを用いるアーリー・イグジットを示す。
【図７】 適応型アーリー・イグジット戦略の動作フローチャートを示す。
Claims (10)
- 複数の絶対差分の合計（ＳＡＤ）計算を実行する段階であって、第１イメージ領域と第２イメージ領域との間の複数の関係を決定するために、前記複数のＳＡＤ計算の各々はＮ個のＳＡＤ装置を用いて実行する、段階と、
前記複数のＳＡＤ計算からの最初のＳＡＤ計算に基づいて、前記第１および第２イメージ領域間における最小歪みを決定する段階と、
前記最小歪みに関連する値を累積器へ転送する段階であって、前記累積器は符号ビットを有し、前記値はＮで割った前記最小歪みに基づく、段階と、
次のＳＡＤ計算の結果を前記複数のＳＡＤ計算から前記累積器で累積する段階と、
前記符号ビットが変化したかどうかを決定し、前記符号ビットが変化していた場合、前記複数のＳＡＤ計算からアーリー・イグジットを開始する段階と、
から構成されることを特徴とする方法。 - 複数の累積器をさらに含み、前記複数の累積器の各々は符号ビットを含み、前記値は前記複数の累積器の各々に転送されることを特徴とする請求項１記載の方法。
- 前記アーリー・イグジットを開始する段階は、前記符号ビットの変化が前記複数の累積器のいくつかの累積器で決定される場合に起こることを特徴とする請求項２記載の方法。
- 前記アーリー・イグジットを開始する段階は、前記符号ビットの変化が前記複数の累積器の全てで決定される場合に起こることを特徴とする請求項２記載の方法。
- 前記アーリー・イグジットを開始する段階は、前記符号ビットの変化が前記複数の累積器の単一の累積器で決定される場合に起こることを特徴とする請求項２記載の方法。
- 前記第１および第２イメージ領域の特性を判断し、前記判断された特性に基づいて、前記アーリー・イグジットを開始する前に、前記符号ビットの変化を示すために要求される累積器の数を決定する段階をさらに有することを特徴とする請求項２記載の方法。
- 前記特性は均質的なイメージを示し、かつ前記開始する段階は単一の累積器からの結果に基づくことを特徴とする請求項６記載の方法。
- 前記アーリー・イグジットを開始する段階は、複数の累積器からの結果に基づくことを特徴とする請求項６記載の方法。
- 前記アーリー・イグジットは前記累積器の各々の可能性が複数の可能性のある状態の１つであることを判断する段階を含み、前記判断された可能性に基づき、新しい最小歪みが発見されたかどうかを判断することを特徴とする請求項８記載の方法。
- 前記予め定める値は、ゼロであることを特徴とする請求項２記載の方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/589,624 | 2000-06-07 | ||
| US09/589,624 US6700996B1 (en) | 2000-06-07 | 2000-06-07 | Adaptive early exit techniques in image correlation |
| PCT/US2001/040863 WO2001095634A1 (en) | 2000-06-07 | 2001-06-06 | Adaptive early exit techniques for minimun distortion calculation in image correlation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003536332A JP2003536332A (ja) | 2003-12-02 |
| JP3865240B2 true JP3865240B2 (ja) | 2007-01-10 |
Family
ID=24358790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002503041A Expired - Lifetime JP3865240B2 (ja) | 2000-06-07 | 2001-06-06 | イメージ相関における最小歪み計算のための適応型アーリー・イグジット技術 |
Country Status (8)
| Country | Link |
|---|---|
| US (2) | US6700996B1 (ja) |
| JP (1) | JP3865240B2 (ja) |
| KR (1) | KR100551545B1 (ja) |
| CN (1) | CN100352282C (ja) |
| AU (1) | AU2001267035A1 (ja) |
| SG (1) | SG154319A1 (ja) |
| TW (1) | TW522738B (ja) |
| WO (1) | WO2001095634A1 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6654502B1 (en) * | 2000-06-07 | 2003-11-25 | Intel Corporation | Adaptive early exit techniques in image correlation |
| US6700996B1 (en) * | 2000-06-07 | 2004-03-02 | Intel Corporation | Adaptive early exit techniques in image correlation |
| US6907080B1 (en) * | 2000-06-07 | 2005-06-14 | Intel Corporation | Adaptive early exit techniques in image correlation |
| US7742525B1 (en) * | 2002-07-14 | 2010-06-22 | Apple Inc. | Adaptive motion estimation |
| US6933982B2 (en) * | 2002-10-07 | 2005-08-23 | Koninklijke Philips Electronics N.V. | Method and apparatus for fast robust estimation of image noise in a video processing system |
| US7792188B2 (en) | 2004-06-27 | 2010-09-07 | Apple Inc. | Selecting encoding types and predictive modes for encoding video data |
| TWI295027B (en) * | 2005-07-01 | 2008-03-21 | Pixart Imaging Inc | Method for adjusting operating frequency of an optical input device according to reference frame changes |
| US8150204B2 (en) * | 2007-03-23 | 2012-04-03 | Mitsubishi Electric Corporation | Noise reducer for video signals |
| JP5286944B2 (ja) * | 2008-05-30 | 2013-09-11 | 富士通セミコンダクター株式会社 | 受信装置及びパケット通信方法 |
| US20130170565A1 (en) * | 2011-12-30 | 2013-07-04 | Faramarz Azadegan | Motion Estimation Complexity Reduction |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5952359A (ja) * | 1982-09-02 | 1984-03-26 | Hitachi Medical Corp | 画像間演算時の画像歪み自動補正装置 |
| US5163101A (en) * | 1985-10-07 | 1992-11-10 | Schlumberger Technologies, Inc. | Bitplane area correlator |
| KR870009295A (ko) * | 1986-03-28 | 1987-10-24 | 엔. 라이스 머레트 | 멀티플렉스된 바이패스 경로를 갖고있는 비트 슬라이스 프로세서용 alu |
| JPH0683019B2 (ja) | 1988-12-16 | 1994-10-19 | 三菱電機株式会社 | ディジタル信号処理プロセッサ |
| CA1311063C (en) | 1988-12-16 | 1992-12-01 | Tokumichi Murakami | Digital signal processor |
| US5682209A (en) * | 1995-11-13 | 1997-10-28 | Tektronix, Inc. | Motion estimation using limited-time early exit with prequalification matrices and a predicted search center |
| JP3631868B2 (ja) * | 1996-12-20 | 2005-03-23 | 株式会社東芝 | 動きベクトル検出装置および方法 |
| TW361051B (en) | 1997-01-09 | 1999-06-11 | Matsushita Electric Ind Co Ltd | Motion vector detection apparatus |
| JPH11237216A (ja) * | 1997-12-17 | 1999-08-31 | Asahi Glass Co Ltd | 光学歪の評価方法および評価装置 |
| JP3540142B2 (ja) | 1998-01-30 | 2004-07-07 | 株式会社東芝 | 動きベクトル検出回路および動きベクトル検出方法 |
| JP2000069484A (ja) | 1998-08-21 | 2000-03-03 | Sony Corp | 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体 |
| FR2801123B1 (fr) * | 1999-11-12 | 2002-04-05 | Bertrand Aube | Procede de creation automatique de maquette numerique a partir de couples d'images stereoscopiques |
| US6496538B1 (en) * | 1999-12-31 | 2002-12-17 | Intel Corporation | Method and apparatus for motion estimation for digital video encoding |
| US6567469B1 (en) * | 2000-03-23 | 2003-05-20 | Koninklijke Philips Electronics N.V. | Motion estimation algorithm suitable for H.261 videoconferencing applications |
| US6700996B1 (en) * | 2000-06-07 | 2004-03-02 | Intel Corporation | Adaptive early exit techniques in image correlation |
| US6907080B1 (en) * | 2000-06-07 | 2005-06-14 | Intel Corporation | Adaptive early exit techniques in image correlation |
| US6654502B1 (en) * | 2000-06-07 | 2003-11-25 | Intel Corporation | Adaptive early exit techniques in image correlation |
| US7023921B2 (en) * | 2002-08-06 | 2006-04-04 | Motorola, Inc. | Method and apparatus for determining block match quality |
| US7596286B2 (en) * | 2003-08-06 | 2009-09-29 | Sony Corporation | Image processing apparatus, image processing system, imaging apparatus and image processing method |
-
2000
- 2000-06-07 US US09/589,624 patent/US6700996B1/en not_active Expired - Lifetime
-
2001
- 2001-06-06 AU AU2001267035A patent/AU2001267035A1/en not_active Abandoned
- 2001-06-06 KR KR1020027016709A patent/KR100551545B1/ko active IP Right Grant
- 2001-06-06 SG SG200407854-9A patent/SG154319A1/en unknown
- 2001-06-06 CN CNB018109292A patent/CN100352282C/zh not_active Expired - Fee Related
- 2001-06-06 JP JP2002503041A patent/JP3865240B2/ja not_active Expired - Lifetime
- 2001-06-06 WO PCT/US2001/040863 patent/WO2001095634A1/en active IP Right Grant
- 2001-06-07 TW TW090113826A patent/TW522738B/zh not_active IP Right Cessation
-
2004
- 2004-02-09 US US10/775,261 patent/US7031498B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6700996B1 (en) | 2004-03-02 |
| US7031498B2 (en) | 2006-04-18 |
| US20040156532A1 (en) | 2004-08-12 |
| KR100551545B1 (ko) | 2006-02-13 |
| AU2001267035A1 (en) | 2001-12-17 |
| TW522738B (en) | 2003-03-01 |
| SG154319A1 (en) | 2009-08-28 |
| CN1436425A (zh) | 2003-08-13 |
| JP2003536332A (ja) | 2003-12-02 |
| CN100352282C (zh) | 2007-11-28 |
| KR20030025241A (ko) | 2003-03-28 |
| WO2001095634A1 (en) | 2001-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4271935B2 (ja) | イメージ相関における最小歪み計算のための適応型アーリー・イグジット技術 | |
| US8804844B2 (en) | Adaptive early exit techniques in image correlation | |
| JP3865240B2 (ja) | イメージ相関における最小歪み計算のための適応型アーリー・イグジット技術 | |
| US7099392B2 (en) | Motion vector searching method using plural search areas | |
| RU2323541C2 (ru) | Способ и устройство для выполнения высококачественного быстрого поиска прогнозируемого движения | |
| JP2000502481A (ja) | 絶対値合計ジェネレータ | |
| JP2000512440A (ja) | 動きベクトルフィールド符号化 | |
| US20070280544A1 (en) | Method of dividing a picture into parts | |
| US20030031257A1 (en) | Motion estimation method and apparatus for interrupting computation which is determined not to provide solution | |
| EP1315381A1 (en) | A method for performing motion estimation in video encoding, a video encoding system and a video encoding device | |
| US20070198622A1 (en) | Method for fast SATD estimation | |
| EP1538842A2 (en) | SAD calculator | |
| KR100212847B1 (ko) | 움직임 추정기에서 절대에러값을 구하기 위한 가산방법 | |
| JP2001028754A (ja) | 動きベクトル検出方法 | |
| US8094723B2 (en) | Motion estimation sum of all differences (SAD) array having reduced semiconductor die area consumption | |
| JPH09214980A (ja) | 動画像の動き補償時マクロブロックの半画素処理装置 | |
| JPH10285603A (ja) | 画像符号化方法 | |
| Mahmoud et al. | A low power architecture for a new efficient block-matching motion estimation algorithm | |
| JP2901848B2 (ja) | ベクトル相関検出回路 | |
| KR100189874B1 (ko) | 실시간 블럭매칭 알고리즘 연산장치 | |
| Hahmoud et al. | A new block-matching motion estimation algorithm based on successive elimination |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050509 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050725 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050801 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060516 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060809 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060906 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060928 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3865240 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091013 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091013 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101013 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111013 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121013 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131013 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |