JP3865241B2 - イメージ相関における最小歪み計算のための適応型アーリー・イグジット技術 - Google Patents
イメージ相関における最小歪み計算のための適応型アーリー・イグジット技術 Download PDFInfo
- Publication number
- JP3865241B2 JP3865241B2 JP2002503043A JP2002503043A JP3865241B2 JP 3865241 B2 JP3865241 B2 JP 3865241B2 JP 2002503043 A JP2002503043 A JP 2002503043A JP 2002503043 A JP2002503043 A JP 2002503043A JP 3865241 B2 JP3865241 B2 JP 3865241B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- state
- determining
- sad
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【従来の技術】
イメージ圧縮技術は、ビデオ応用において送信されるべきデータの総量を減少させることができる。これは、しばしば同一に留まっているイメージを決定することによって成される。「動作推定(motion estimate)」技術は、さまざまなビデオ符号化法で用いられる。
【0002】
動作推定は、あるフレームNに属するソース・ブロックとサーチ領域との間の最適な一致を見つけようとする試みである。サーチ領域は、同じフレームNにあっても、あるいは一時的に移動したフレームN−k中のサーチ領域にあってもよい。
【0003】
本技術は、演算集約的である。
【0004】
【詳細な説明】
動作推定は、絶対差分の合計(sum of absolute difference)または「SAD」を計算することによってしばしば実行される。動作推定は、多くの異なった応用に用いられ、ビデオ、ビデオ・カメラ、ビデオ・アクセラレータ、およびこのような他の装置を用いるセルラ電話を含むが、これらに限定されるものではない。これらの装置は、出力としてビデオ信号を生成する。SADは、ソース・ブロックとサーチ領域のサーチ・ブロックとの間における最低の歪みを認識するためにしばしば用いられる計算である。したがって、これらのブロック間の最適な一致となる。これを表現する1つの方法は、次式である。
【0005】
【数1】
【0006】
概念的にこれが意味するものは、第1フレームまたはソース・ブロック(N)がM×Nソース・ブロック100の要素部分に分割されることである。これらは、第2フレーム(N−K)102と比較される。そのフレームは、k≠0の場合に、一時的に移動され得る。各N−Kフレーム102は、M+2m1×N+2n1の領域である。ソース・ブロック100は、図1における領域の中心に示されている。一致するイメージ部分は、歪測定器を用いて各イメージ・フレームの各部分を他のイメージ・フレームと相関をとることによって検出できる。圧縮法は、この検出を使用して、そのデータを圧縮し、それによりそのイメージについてのより少ない情報を送り出す。
【0007】
この装置は、また汎用目的のDSPの一部であってもよい。このような装置は、ビデオ・カムコーダ、会議電話、PCビデオ・カードおよびHDTVにおける使用を意図している。加えて、汎用目的のDSPは、またデジタル信号処理、例えば携帯電話で用いられる音声処理、音声認識および他の応用で使用する他の技術と関連して使用することを意図している。
【0008】
全歪検出処理の速度を増加させることはできる。1つの方法は、各SAD計算ユニットが1サイクルでより多くの動作を実行することのできるハードウェアを用いることである。しかしながら、これはより高価なハードウェアを必要とする。
【0009】
他の方法は、別のSAD計算ユニットを追加することにより有効なピクセルのスループットを増加させることである。しかしながら、より多くのSADを必要とするので、これもまた費用を増加させる。
【0010】
より早いサーチ・アルゴリズムは、既存のハードウェアの使用をより効果的にする。
【0011】
ブロックSADはソース・グループを「サーチ・グループ」と比較する。ソース・グループおよびサーチ・グループはイメージ全体に亘って移動し、その結果SADの動作はその2つのグループ間のオーバーラップを計算する。ソース・グループ中の各ブロックは、各サーチ領域における複数のブロックと比較される。
【0012】
典型的なSADユニットは、2つの16×16エレメント上で動作し、これらの要素を交互にオーバレイする。このオーバレイ処理は、16×16=256個の差分を計算する。その後、これらは全歪みを表すために累積される。
【0013】
SADは、ある基礎的な動作を要求する。ソースXijとサーチYijとの間の相違が形成されなければならない。絶対値|Xij−Yij|が形成される。最後に、次の値が累積される、
【0014】
【数2】
【0015】
基本的な累積構造が図2に示される。演算論理ユニット200は、それに結合したデータ・バス198,199からXijおよびYijを受け取り、Xij−Yijを計算する。出力201は、インバータ202によって反転される。反転された出力およびそのオリジナル値の双方はマルチプレクサ204へ送られ、サイン・ビット205に基づく値の1つを選択する。第2演算論理ユニット206はこれらを結合し、絶対値を形成する。最終的な値は、累積レジスタ208に格納される。図2に示されるように、これは減算、絶対値、累積を効果的に構成する。
【0016】
図2は、単一のSAD計算ユニットを示す。上記したように、複数の計算ユニットがスループットを向上させるために用いられる。もし計算ユニットの数が増加するなら、理論的にはそれはサイクル毎の画素スループットを増加させる。
【0017】
しかしながら、本発明者は、画素スループットの増加は本質的にユニット数に線形して関連するものではないことに着目した。実際、各フレームはその近傍のフレームとどこか相関があるものである。加えて、各イメージの異なった部分は、しばしばそのイメージの他の部分と相関を有するものである。圧縮の効率性は、そのイメージの特性に基礎付けられる場合がある。本応用は、圧縮の効率性に依存して、異なったモードにある複数のSAD計算ユニットを用いることができる。
【0018】
本応用は、図3A,3Bに示される構成を利用する。同じ接続が図3A,3Bの双方に用いられるが、計算は異なった方法で区分けされる。
【0019】
図3Aは、全SADとして形成される各SAD計算ユニット300,302を示す。各SADは、異なったブロックを受け取り、NブロックのSAD計算を提供する。従って、ユニット300は、事実上16×16リファレンスと16×16ソースとの間の関係を、画素毎に計算する。ユニット2 302は、16×16ソースと16×16サーチとの差分である結果を画素毎に計算する。別の変形が図3Bに示される。この変形である構成では、各単一のSAD300,302は、単一のブロックSADの計算の一部を実行する。N個の計算ユニットの各々は、出力の1/Nを提供する。この「部分SAD」動作は、8ビットの減算絶対値累積器の各々がそのユニットへ割り当てられた全SAD計算の1/Nを計算する。
【0020】
部分SAD動作かあるいは全体SAD動作かを決定する全体のシステムは、ここに述べられるように前回の結果に基づいて行なわなければならない。これにより、実行される計算数を減少させることができる。
【0021】
全体または一部のいずれが用いられるかを決定する1つの方法は、一時的に近接したイメージが相関のある属性を有していることを仮定することである。第1サイクルは全SADモードを用いて計算することができ、第2サイクルは部分SADモードを用いて計算することができる。より速く動作するサイクルは勝者として扱われ、そのSADモードをセットする。この計算はXサイクル毎に繰り返され、ここにXは局所的な一時的相関がもはや仮定されなくなった後のサイクル数である。こらは、論理ユニット内で行われ、ここに示された図7のフローチャートを実行する。
【0022】
スループットは、また、ここに示された「アーリー・イグジット(early exit)」技術によって向上させることができる。
【0023】
16×16エレメントに対する完全なSAD計算は、|p1r−p1s|+|p2r−p2s|+・・・|p256r−p256s|・・・(1)として記述され得る。もしこれらの計算の全てが実際に実行されるならば、計算は256/Nサイクル必要とし、ここにNはSADユニット数である。できるだけ早くその計算を停止することが望ましい。その計算の中間結果が検証される。これらの中間結果は、最小の歪みを見つけるために十分な情報が決定されたかどうかを決めるために用いられる。しかしながら、試験する動作はサイクルを消費する。
【0024】
本応用は、このサイクルの消費と最小歪みの決定との間のバランスを表す。図4は、4つのSAD計算ユニットを用いる16×16計算に対するトレードオフを描く。図4中のライン400は、アーリー・イグジットがない場合のサイクル・カウントを示す。そのラインは、水平的に、アーリー・イグジットのないサイクル・カウントがいつも256/4=64であることを示している。アーリー・イグジット戦略に対するサイクル・カウントは、傾斜ライン402,404,406,408で示される。ライン404は16画素毎に1つのテストを示し、ライン406は32画素(1/8)毎に1つのテストを示し、そしてライン408は64画素(1/16)毎に1つのテストを示す。ライン402−408がライン400より上にある場合、アーリー・イグジットでの試みは全体の歪み計算時間を実際には増加させることに注意されたい。ライン402はサイクル消費を示し、ゼロのオーバーヘッドがイグジット・テストのために得られる。すなわち、テストが行われると、そのイグジットはいつもうまくいく。ライン402は望ましい目標である。適応型アーリー・イグジット法はこのようにするために開示される。
【0025】
ブロックIは、従来から知られたあらゆる通常の戦略を用いてまず処理され、最小の歪みを見つける。これは実際のイメージの一部であるテスト・パターンを用いてなされ、その歪みを求めることができる。最小歪みは、基準線(ベースライン)として用いられ、ブロックI+nは、nは小さいが、同じ最小歪みを有することが仮定される。
【0026】
Kexit(N)は、アーリー・イグジットが達成される前に、サーチ領域のために前もって処理された画素の数を表す。
【0027】
Aexit(N)は、サーチ領域のための最新のアーリー・イグジット時刻での、部分累積器の符号ビットの状態を示す。
【0028】
これらのブロックI+nに対し、SAD計算は、歪みがそのスレシホールドを超える時、終了する。これは、サーチ領域について知られている以前の情報を用いる一時的なシステムを形成する。
【0029】
通常のシステムは、しばしば共通の特性を維持するある確率であるサーチ領域内のイメージ特性に基づく。フレーム間の時間は、1/15秒と1/30秒との間にあり、これらの時間間隔中にある測定可能なシステム特性に関連するあるノイズ・フロア以上で、最小の変更が発生するのにしばしば十分早い。また、時間を超えて、類似した一時的特性を維持するイメージ領域が存在する。
【0030】
本願にしたがって、各SADのための累積器に値(−least/n)がロードされ、ここに「least」は、その領域に対するブロック移動サーチで測定される最小歪みを表す。多くのSADは各サーチ領域のために計算される。その領域における最初のSAD計算には、「Least」の名称が割り付けられる。将来のSADはこれと比較され、新しい「Least」値が確立されたかどうかをみる。累積器が符号を変更する場合、最小歪みに到達する。さらに、これは、追加の計算なしに、その現在のSAD構造のみを用いて示され、その結果テストのためのサイクルを追加する。
【0031】
イメージ特性のテストは、アーリー・イグジットを確立する前にいくつの累積器がスイッチする必要があるのかを決定するために用いられる。例えば、ソースおよびターゲット領域が全く同じ性質であるなら、そのとき全ての累積器は多かれ少なかれ同時に符号を変えなければならない。これが発生すると、実行中のSAD計算のうち前回の最小測定値を越えるいずれか1つの計算が、アーリー・イグジットが適切であることを示すために用いられる。
【0032】
しかしながら、これは全イメージの均質性を仮定する。このような仮定は、いつも保っているものではない。多くの状況では、異なったSADユニットの複数の累積器は、同じ速度で増加するのではない。さらに、累積器間の異なった増加速度は、それら自身の相違性、すなわちソースおよびターゲット・ブロック間の空間周波数特性に直接関連付けられるかもしれないし、またデータをサンプルする方法に関連付けられるかもしれない。これは、SADユニットに何が発生するのかに基づき、アーリー・イグジットをどのように決定するのかを判断するより複雑な方法を要求する。
【0033】
1つの動作は分割SAD状態と関連する可能性に基づき、ここに全てのSADユニットは必ずしも同じ状態にはない。累積器間の増加率の相違は、ソースおよびターゲット・ブロック間における空間周波数特性の相違に関連付けられる。これらの空間周波数特性は、また一時的に同種のフレーム間で相関が取られるので、あるフレームからの情報は、また次のフレームの解析に応用される。
【0034】
これは、変数に関連してここに説明されるが、ここにA1,A2,A3,...Anは分割SAD計算と関連する事象(イベント)として定義される。
【0035】
イベントは次のように定義される。
【0036】
イベントAi=SADi≧0 ここにi≠jに対しSAD<0。
【0037】
これは、概念的にはイベントAiは、SADユニットがポジティブで残りの全てのSADユニットがネガティブである場合に起こるとして定義されることを意味する。これは、例えば、累積器が異なった速度で増加している場合に、起こるであろう。これは、また結合イベントとしても特に定義され得る。すなわち:
イベントBi,j=Ai∪Aj=SADi≧0 SADj≧0に対し。
【0038】
ここに、k≠i,jに対しSADk<0。
【0039】
これは、Aiが存在しかつAjが真であるが、他の全てのAkは偽である場合に、イベントBi,jは「真」であると定義されることを意味する。イベントに関する動作を定義する概念は、i,j,kの可能な全ての組み合わせを含むものとして拡張することができる。4個のSAD計算ユニットに対して、合計16個の組み合わせを生み出す。より大きな数のSAD計算ユニットに対しては、別の組み合わせる数を導き、i,j,k,mあるいは他のより多くの変数を用いることも可能である。
【0040】
このシナリオを言葉で表すと、各イベント「B]は、0より大きい特定の累積器の合計として定義される。これらの組み合わせのそれぞれは、可能性として定義される。4個のSADユニットに対して、合計して16個の可能な状態の累積器がある。これらは、それらがどのように処理されるのかに従って、グループ化されることができる。
【0041】
第1のありふれた可能性は、
【0042】
【数3】
【0043】
これは、累積器の合計が0より多く、いずれの累積器も0を越えていないとすると、その可能性が0であることを意味する。
【0044】
その反対は、また真である。すなわち、
P(B|A1∩A2∩A3∩A4)=1。
【0045】
これは、いずれの累積器も設定されていないとして、全ての累積器の合計の可能性が1であることを意味する。
【0046】
これらのありふれた特性を除外すると、14のありふれない組み合わせがある。第1のグループは4つの場合を含み、ここでは累積器の1つは設定され、かつ残りの3つは設定されていない場合をいう。すなわち、
【0047】
【数4】
【0048】
別のグループは、2つの累積器が設定され、かつ他の2つの累積器が設定されていない状態を示す。これらの組み合わせは次のように書かれる。すなわち、
【0049】
【数5】
【0050】
最後に、次のグループは、3つの累積器が設定され、1つの累積器が設定されていない場合である。
【0051】
【数6】
【0052】
本実施例は、これらのグループの各々が、実際にはこれらの状態の各々が、イメージにおいて異なった状態を示すことを認める。各グループまたは各状態は、異なる処理が施され得る。
【0053】
このシステムは、上述のように、また図5のフローチャートに関連して動作する。最終目標は、計算を終了し、その結果、より早く出口(イグジット)に出ることである。まず図5に示されるように、550で、2つのイメージ、すなわちソース・イメージとサーチ・イメージの特性の一致性を判断する。一致特性はいかなるアーリー・イグジットなしに計算される。最小歪みは555で求められ、その状態は、最小歪みが存在したときに、560で求められる。
【0054】
560の状態は、最小歪みの時間に存在したグループ形式、または14個の可能性中の特定状態を含めることができる。
【0055】
570で、後続のイメージ部分がテストされる。この後続部分は、そのテスト部分と相関されるいかなる部分であってもよい。一時的に相関されたイメージは相関されるべきと仮定されるので、これはあらゆる一時的に相関された部分へ拡張することができる。
【0056】
イメージのソースおよびサーチがテストされ、最小歪みの時間に起こった特定のグループの判断が575で行われる。その後、580で、アーリー・イグジットが達成される。
【0057】
【0058】
図6Aは、アーリー・イグジットまたは「EE]フラグを用いるアーリー・イグジットを実行するシステムを示す。N個のSADユニットが示されるが、この実施例ではNは4である。各SADユニットは、上記議論した構造、および特定のALU、インバータ、および累積器を含む。
【0059】
各累積器の出力は、組み合わせ論理ユニット600に結合され、それはその出力を配列する。これは、上記したグループ判断を実行するために用いられる。組み合わせ論理ユニットは個別論理ゲートを用いて実行され、例として、ハードウェアの定義語で定義される。そのゲートは選択されたグループに基づくオプションでプログラムされる。異なったイメージおよび部分は異なったオプションに従って処理されてもよい。
【0060】
各オプションに対し、状態の組み合わせ、例として、既に議論したグループがコード化される。その組み合わせ論理は、全てのSADユニットの累積器をモニターする。各状態はマルチプレクサへ出力される。
【0061】
これらの累積器が上記ゲート中のプログラムされたオプションの1つに入る状態に達すると、アーリー・イグジット・フラグが生成される。+アーリー・イグジット・フラグは、ハードウェアが適切な「適合」を判断したことを意味する。これにより、動作は終了する。
【0062】
図6Bは、代替システムを示し、累積器の状態がハードウェア状態レジスタ610によって検出される。この状態レジスタは、累積器の状態によって特定の状態へ設定される。状態レジスタはアーリー・イグジットを示す特定の状態を格納する。その特定の状態が示されると、アーリー・イグジットが確立する。
【0063】
適合アーリー・イグジットが用いられる方法は、図7に関連して全体が示される。700で、ビデオ・フレームが開始する。705は、フレームMおよびフレームM+1の双方をバッファすることを示す。710は、ブロック・ヒストリ・モデルが更新を必要とするかどうかの判断を示す。これは、前回のフレーム更新まで、例えば時間をモニターすることにより判断され得る。例えば、新しい更新が必要となる前に、時間としてx秒が確立される。
【0064】
このモデルが更新を必要とするなら、その時そのプロセスは累積器に0xFF01をロードし、715で局所変数N=1を設定する。720で、システムはSADサーチ領域Nを獲得し、イグジット・テストが実行される725で周期的なイグジット・テストTexit=1/16...を用いる。もし首尾よくいくなら、イグジット前に処理された画素数である局所変数Kexit(N)および最新のイグジット時におけるサーチ領域に対する累積器1ないし4のサマリーであるAexit(N)が戻される。局所変数Nは、またステップ730で増加される。これは、局所パラメータを確立し、かつ、そのプロセスを継続する。
【0065】
次のサイクルで、ブロック・ヒストリの更新は、ステップ710で再実行される必要はなく、その結果、制御はステップ735へ移る。このステップで、前に格納されたKexitおよびAexitが読まれる。これは、ステップ740で新しいカウントとして用いられ、ターゲット・ブロック・フラグを設定する。
【0066】
ステップ745で、ブロックNに対するサーチが確立され、AexitおよびKexitがステップ750で更新される。Nは増加される。ステップ755で、Nが397に等しいかどうかの判断がなされる。352x288イメージ中には396個の16x16ブロックがあるので、バッファ中のフレームの数として397が取られる。しかしながら、これは可能な限り異なったサイズに対し調整される。
【0067】
再び、大きいイメージ部の一時変数は不変更のまま残されそうである。したがって、部分的な累積器が特定のサイン・ビットを有する場合、それらの状態は著しい利点をもたらす。さらに、フレーム間の時間は、通常1/15ないし1/30秒のオーダーである。最後に、イメージ内の領域はそれらの局所的な特性を維持し、それ故空間周波数が相関される。
【0068】
新規な実施例のみが議論されたが、他への変更も可能である。
【図面の簡単な説明】
いろいろな側面が添付の図面とともに詳細に示される。
【図1】 互いに対し比較されるソース・ブロックおよびサーチ・ブロックを示す。
【図2】 歪みを計算するための基本累積器を示す。
【図3A】 複数のSADユニット中における計算の異なった分割を示す。
【図3B】 複数のSADユニット中における計算の異なった分割を示す。
【図4】 アーリー・イグジット戦略計算と実際の総計算との間のトレードオフを示す。
【図5】 アーリー・イグジット戦略のフローチャートを示す。
【図6A】 アーリー・イグジット・フラグを用いるアーリー・イグジットを示す。
【図6B】 ハードウェアの状態レジスタを用いるアーリー・イグジットを示す。
【図7】 適応型アーリー・イグジット戦略の動作フローチャートを示す。
Claims (21)
- 複数のイメージ処理要素を用いて、第1イメージ・ブロックと第2イメージ・ブロックとの間の第1の関係を決定するために第1の計算を行なう段階と、
前記第1の計算に基づいて、最小歪みを決定する段階と、
前記最小歪みを決定した第1の時に、前記複数のイメージ処理要素の第1の特性を決定する段階と、
前記複数のイメージ処理要素を用いて、前記第1イメージ・ブロックと前記第2イメージ・ブロックとの間の第2の関係を決定するために第2の計算を行なう段階と、
前記第2の計算を行なう第2の時に、前記複数のイメージ処理要素の第2の特性を決定する段階と、
前記第1および第2の特性が一致するかどうかを判断し、前記第1および第2の特性が一致する場合、後続の計算を終了し、前記第1イメージ・ブロックと前記第2イメージ・ブロックとの間の後続の関係を決定する段階と、
から構成されることを特徴とするイメージを処理する方法。 - 前記第1および第2の特性は、前記イメージ処理要素の符号ビットを含むことを特徴とする請求項1記載のイメージを処理する方法。
- 前記イメージ処理要素は、絶対差分の合計(SAD)装置であることを特徴とする請求項2記載のイメージを処理する方法。
- 前記第1および第2の特性は、前記イメージ処理要素の状態からなり、前記状態は1またはそれ以上のグループからなることを特徴とする請求項1記載のイメージを処理する方法。
- 2つのイメージ間の関係を計算する方法であって、
ソース・イメージおよびサーチ・イメージを獲得する段階と、
前記ソース・イメージと前記サーチ・イメージとの間の絶対差分の合計(SAD)動作を第1の時間に計算し、前記ソースおよびサーチ・イメージ間の最小歪みを決定する段階と、
前記ソースおよびサーチ・イメージ間の最小歪みが発見される第1の時間に、複数の計算ユニットの第1の状態を決定する段階と、
第2の時間に、前記複数の計算ユニットの第2の状態を決定し、前記計算ユニットの第2の状態が前記第1の時間に発見された前記第1の状態と一致するかどうかを決定する段階と、
前記第2の状態に一致する前記第1の状態を基に前記SAD動作を終了する段階と、
から構成されることを特徴とする方法。 - 前記第1および第2の状態は、前記計算ユニットの符号ビットを含むことを特徴とする請求項5記載の方法。
- 前記計算ユニットの符号ビットを検出する結合論理ユニットをさらに含むことを特徴とする請求項6記載の方法。
- 予め定められた更新スケジュールに少なくとも基づいてブロック・ヒストリー・モデルを更新すべきかどうかを決定する段階であって、前記ブロック・ヒストリー・モデルは最小歪みが発見された場合、前記複数の計算ユニットの前記第1の状態と認定する複数のパラメータを保持するために動作する、段階と、
前記ブロック・ヒストリー・モデルが更新を必要とすると決定されると、前記複数のパ ラメータを更新して前記ブロック・ヒストリー・モデルを更新する段階と、
をさらに含むことを特徴とする請求項6記載の方法。 - 前記獲得する段階は、ビデオ・カメラを用いることを特徴とする請求項6記載の方法。
- 前回の更新以後に経過した時間を決定する段階をさらに含むことを特徴とする請求項8記載の方法。
- 前記第1および第2の状態は、前記複数の計算ユニットの特性を示すことを特徴とする請求項5記載の方法。
- 第1イメージと第2イメージとの間の関係を決定する計算を実行する段階と、
複数の計算ユニットにおける複数の状態を決定する段階と、
前記複数の状態を1またはそれ以上のグループに組み合わせる段階であって、前記グループの各々は前記第1および第2イメージの前記複数の可能な状態の1つである可能性を示す、段階と、
前記第1イメージと第2イメージとの間の最小歪みの決定に対応する第1状態を第1の時間に前記複数の可能な状態から決定する段階と、
第2の時間に前記計算からアーリー・イグジットを示す前記第1の状態を用いる段階と、
から構成されることを特徴とする方法。 - 前記用いる段階は、現在の状態が前記第1状態と同じであるかどうかを決定する段階を含むことを特徴とする請求項12記載の方法。
- 前記1またはそれ以上のグループは、前記計算ユニットの符号ビットのグループを含むことを特徴とする請求項12記載の方法。
- MPEG符号化と関連して前記複数の計算ユニットを用いる段階をさらに含むことを特徴とする請求項12記載の方法。
- 複数のイメージ処理要素と、
最小歪みを決定する第1の時間に前記イメージ処理要素の第1状態を格納するために動作する回路と、
現在の状態と前記第1状態との比較に基づき計算の完了を決定するために動作するアーリー・イグジット回路と、
から構成されることを特徴とする装置。 - 前記第1および現在の状態は、前記複数のイメージ処理要素の演算状態を含むことを特徴とする請求項16記載の装置。
- 前記複数のイメージ処理要素は累積器を含み、前記第1および現在の状態は前記累積器の符号ビットを含むことを特徴とする請求項17記載の装置。
- ビデオ獲得要素をさらに含むことを特徴とする請求項16記載の装置。
- 前記ビデオ獲得要素は、ビデオ・カメラであることを特徴とする請求項19記載の装置。
- 前記第1および第2の状態は、1またはそれ以上のグループに組み合わされることを特徴とする請求項16記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/590,028 | 2000-06-07 | ||
US09/590,028 US6907080B1 (en) | 2000-06-07 | 2000-06-07 | Adaptive early exit techniques in image correlation |
PCT/US2001/040878 WO2001095636A1 (en) | 2000-06-07 | 2001-06-06 | Adaptive early exit techniques for minimum distortion calculation in image correlation |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003536333A JP2003536333A (ja) | 2003-12-02 |
JP3865241B2 true JP3865241B2 (ja) | 2007-01-10 |
Family
ID=24360594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002503043A Expired - Lifetime JP3865241B2 (ja) | 2000-06-07 | 2001-06-06 | イメージ相関における最小歪み計算のための適応型アーリー・イグジット技術 |
Country Status (8)
Country | Link |
---|---|
US (2) | US6907080B1 (ja) |
JP (1) | JP3865241B2 (ja) |
KR (1) | KR100636717B1 (ja) |
CN (1) | CN1436426A (ja) |
AU (1) | AU2001267044A1 (ja) |
SG (1) | SG124287A1 (ja) |
TW (1) | TW545063B (ja) |
WO (1) | WO2001095636A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6700996B1 (en) * | 2000-06-07 | 2004-03-02 | Intel Corporation | Adaptive early exit techniques in image correlation |
US6654502B1 (en) * | 2000-06-07 | 2003-11-25 | Intel Corporation | Adaptive early exit techniques in image correlation |
US6907080B1 (en) * | 2000-06-07 | 2005-06-14 | Intel Corporation | Adaptive early exit techniques in image correlation |
US7720151B2 (en) * | 2003-02-11 | 2010-05-18 | Texas Instruments Incorporated | Motion estimation using early decision for goodness of estimation with quick convergence feedback |
US7342964B2 (en) * | 2003-07-15 | 2008-03-11 | Lsi Logic Corporation | Multi-standard variable block size motion estimation processor |
WO2013009697A1 (en) | 2011-07-08 | 2013-01-17 | Bendix Commercial Vehicle Systems Llc | Image-based vehicle detection and distance measuring method and apparatus |
US9495609B2 (en) | 2014-04-30 | 2016-11-15 | Bendix Commercial Vehicle Systems Llc | System and method for evaluating data |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5952359A (ja) | 1982-09-02 | 1984-03-26 | Hitachi Medical Corp | 画像間演算時の画像歪み自動補正装置 |
JPS6143875A (ja) * | 1984-08-08 | 1986-03-03 | Nippon Telegr & Teleph Corp <Ntt> | ベ−シツクセル式全探索ベクトル量子化符号化器 |
US5163101A (en) | 1985-10-07 | 1992-11-10 | Schlumberger Technologies, Inc. | Bitplane area correlator |
KR870009295A (ko) | 1986-03-28 | 1987-10-24 | 엔. 라이스 머레트 | 멀티플렉스된 바이패스 경로를 갖고있는 비트 슬라이스 프로세서용 alu |
CA1311063C (en) | 1988-12-16 | 1992-12-01 | Tokumichi Murakami | Digital signal processor |
JPH0683019B2 (ja) | 1988-12-16 | 1994-10-19 | 三菱電機株式会社 | ディジタル信号処理プロセッサ |
JPH02189087A (ja) | 1989-01-18 | 1990-07-25 | Mitsubishi Electric Corp | 動き補償演算方法 |
JP3146232B2 (ja) | 1991-09-20 | 2001-03-12 | ヤマハ発動機株式会社 | パターン・マッチング法 |
JPH05268593A (ja) | 1992-03-23 | 1993-10-15 | Nippon Telegr & Teleph Corp <Ntt> | 差分絶対値和・差分自乗和並列演算装置 |
JP2838817B2 (ja) | 1992-09-09 | 1998-12-16 | 日本電信電話株式会社 | 動き補償演算装置 |
JPH07298258A (ja) | 1994-04-28 | 1995-11-10 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化復号化方法 |
US5682209A (en) | 1995-11-13 | 1997-10-28 | Tektronix, Inc. | Motion estimation using limited-time early exit with prequalification matrices and a predicted search center |
GB9600804D0 (en) | 1996-01-17 | 1996-03-20 | Robb Garry D | Multiphone |
US5973742A (en) | 1996-05-24 | 1999-10-26 | Lsi Logic Corporation | System and method for performing motion estimation with reduced memory loading latency |
AU5410298A (en) | 1996-12-12 | 1998-07-03 | Matsushita Electric Industrial Co., Ltd. | Picture encoder and picture decoder |
JP3631868B2 (ja) | 1996-12-20 | 2005-03-23 | 株式会社東芝 | 動きベクトル検出装置および方法 |
JP2954120B2 (ja) | 1997-01-09 | 1999-09-27 | 松下電器産業株式会社 | 動きベクトル検出装置 |
TW361051B (en) | 1997-01-09 | 1999-06-11 | Matsushita Electric Ind Co Ltd | Motion vector detection apparatus |
JPH10271514A (ja) | 1997-03-23 | 1998-10-09 | Tadayoshi Enomoto | 動画像情報の信号処理方法及びその装置 |
JP2891253B1 (ja) | 1997-12-10 | 1999-05-17 | 日本電気株式会社 | 画像圧縮処理装置 |
JPH11237216A (ja) | 1997-12-17 | 1999-08-31 | Asahi Glass Co Ltd | 光学歪の評価方法および評価装置 |
JP3540142B2 (ja) | 1998-01-30 | 2004-07-07 | 株式会社東芝 | 動きベクトル検出回路および動きベクトル検出方法 |
US6192257B1 (en) | 1998-03-31 | 2001-02-20 | Lucent Technologies Inc. | Wireless communication terminal having video image capability |
JP2000069484A (ja) | 1998-08-21 | 2000-03-03 | Sony Corp | 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体 |
US6519005B2 (en) | 1999-04-30 | 2003-02-11 | Koninklijke Philips Electronics N.V. | Method of concurrent multiple-mode motion estimation for digital video |
US6539541B1 (en) * | 1999-08-20 | 2003-03-25 | Intel Corporation | Method of constructing and unrolling speculatively counted loops |
FR2801123B1 (fr) | 1999-11-12 | 2002-04-05 | Bertrand Aube | Procede de creation automatique de maquette numerique a partir de couples d'images stereoscopiques |
US6690728B1 (en) | 1999-12-28 | 2004-02-10 | Sony Corporation | Methods and apparatus for motion estimation in compressed domain |
US6496538B1 (en) | 1999-12-31 | 2002-12-17 | Intel Corporation | Method and apparatus for motion estimation for digital video encoding |
US6567469B1 (en) | 2000-03-23 | 2003-05-20 | Koninklijke Philips Electronics N.V. | Motion estimation algorithm suitable for H.261 videoconferencing applications |
US6654502B1 (en) | 2000-06-07 | 2003-11-25 | Intel Corporation | Adaptive early exit techniques in image correlation |
US6907080B1 (en) | 2000-06-07 | 2005-06-14 | Intel Corporation | Adaptive early exit techniques in image correlation |
US6700996B1 (en) | 2000-06-07 | 2004-03-02 | Intel Corporation | Adaptive early exit techniques in image correlation |
US7023921B2 (en) | 2002-08-06 | 2006-04-04 | Motorola, Inc. | Method and apparatus for determining block match quality |
US7596286B2 (en) | 2003-08-06 | 2009-09-29 | Sony Corporation | Image processing apparatus, image processing system, imaging apparatus and image processing method |
JP5268593B2 (ja) | 2008-11-27 | 2013-08-21 | 株式会社海洋開発技術研究所 | 送水システムおよびこれを用いた水質改善装置 |
-
2000
- 2000-06-07 US US09/590,028 patent/US6907080B1/en not_active Expired - Lifetime
-
2001
- 2001-06-06 SG SG200403736A patent/SG124287A1/en unknown
- 2001-06-06 JP JP2002503043A patent/JP3865241B2/ja not_active Expired - Lifetime
- 2001-06-06 KR KR1020027016707A patent/KR100636717B1/ko active IP Right Grant
- 2001-06-06 WO PCT/US2001/040878 patent/WO2001095636A1/en not_active Application Discontinuation
- 2001-06-06 AU AU2001267044A patent/AU2001267044A1/en not_active Abandoned
- 2001-06-06 CN CN01810931A patent/CN1436426A/zh active Pending
- 2001-06-07 TW TW090113827A patent/TW545063B/zh not_active IP Right Cessation
-
2005
- 2005-05-25 US US11/138,825 patent/US8804844B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US8804844B2 (en) | 2014-08-12 |
JP2003536333A (ja) | 2003-12-02 |
KR100636717B1 (ko) | 2006-10-20 |
CN1436426A (zh) | 2003-08-13 |
US20050213667A1 (en) | 2005-09-29 |
US6907080B1 (en) | 2005-06-14 |
WO2001095636A1 (en) | 2001-12-13 |
SG124287A1 (en) | 2006-08-30 |
KR20030025239A (ko) | 2003-03-28 |
TW545063B (en) | 2003-08-01 |
AU2001267044A1 (en) | 2001-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4271935B2 (ja) | イメージ相関における最小歪み計算のための適応型アーリー・イグジット技術 | |
RU2323541C2 (ru) | Способ и устройство для выполнения высококачественного быстрого поиска прогнозируемого движения | |
EP1078531B1 (en) | Method and apparatus for encoding video information | |
US7099392B2 (en) | Motion vector searching method using plural search areas | |
US6473529B1 (en) | Sum-of-absolute-difference calculator for motion estimation using inversion and carry compensation with full and half-adders | |
US8804844B2 (en) | Adaptive early exit techniques in image correlation | |
JP3865240B2 (ja) | イメージ相関における最小歪み計算のための適応型アーリー・イグジット技術 | |
JP2000138935A (ja) | 動きベクトル符号化装置および復号装置 | |
US20050232360A1 (en) | Motion estimation apparatus and method with optimal computational complexity | |
JP2000512440A (ja) | 動きベクトルフィールド符号化 | |
US20070280544A1 (en) | Method of dividing a picture into parts | |
US20030118103A1 (en) | Method for performing motion estimation in video encoding, a video encoding system and a video encoding device | |
US20050131979A1 (en) | Apparatus for calculating absolute difference value, and motion estimation apparatus and motion picture encoding apparatus which use the apparatus for calculating the absolute difference value | |
JPH10341440A (ja) | 動画像符号化方法および装置 | |
JPH10285603A (ja) | 画像符号化方法 | |
JPH09214980A (ja) | 動画像の動き補償時マクロブロックの半画素処理装置 | |
KR100212847B1 (ko) | 움직임 추정기에서 절대에러값을 구하기 위한 가산방법 | |
JP2901848B2 (ja) | ベクトル相関検出回路 | |
Mahmoud et al. | A low power architecture for a new efficient block-matching motion estimation algorithm | |
JP2000013804A (ja) | 画素演算方法および画素演算装置 | |
Hahmoud et al. | A new block-matching motion estimation algorithm based on successive elimination | |
EP1700480A1 (en) | Motion estimation sum of all differences (sad) array having reduced semiconductor die area consumption | |
JPH08149476A (ja) | 動画像圧縮装置の演算回路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050509 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050725 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050808 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060516 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060928 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3865241 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091013 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091013 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101013 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111013 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121013 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131013 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |