JPH10336681A - イメージシーケンス、特にビデオ信号処理のための運動評価方法 - Google Patents
イメージシーケンス、特にビデオ信号処理のための運動評価方法Info
- Publication number
- JPH10336681A JPH10336681A JP10061377A JP6137798A JPH10336681A JP H10336681 A JPH10336681 A JP H10336681A JP 10061377 A JP10061377 A JP 10061377A JP 6137798 A JP6137798 A JP 6137798A JP H10336681 A JPH10336681 A JP H10336681A
- Authority
- JP
- Japan
- Prior art keywords
- block
- important parameter
- motion
- image
- mae
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】本発明は、イメージブロック整合動作による運
動ベクトルの決定によってイメージシーケンスの運動を
評価する方法における計算量を減少させ、コストを低下
させることを目的とする。 【解決手段】各イメージごとに１度づつ第１の重要パラ
メータを基準イメージから抽出し(1) 、運動評価が実行
されるイメージの各細分されたブロックに対して第２の
重要パラメータを抽出し(2) 、ブロックの周囲のサーチ
領域上の各ブロックの前記第２の重要パラメータと前記
第１の重要パラメータとを整合し(4) 、平均絶対誤差が
計算される１組の運動ベクトルを各ブロックに対して得
て(5) 、平均絶対誤差が所定の値より小さい運動ベクト
ルの選択を各ブロックに対して実行し、選択されたベク
トルだけに関する画素についてのブロック整合を各ブロ
ックに対して実行する(6) ステップを含んでいることを
特徴とする。
動ベクトルの決定によってイメージシーケンスの運動を
評価する方法における計算量を減少させ、コストを低下
させることを目的とする。 【解決手段】各イメージごとに１度づつ第１の重要パラ
メータを基準イメージから抽出し(1) 、運動評価が実行
されるイメージの各細分されたブロックに対して第２の
重要パラメータを抽出し(2) 、ブロックの周囲のサーチ
領域上の各ブロックの前記第２の重要パラメータと前記
第１の重要パラメータとを整合し(4) 、平均絶対誤差が
計算される１組の運動ベクトルを各ブロックに対して得
て(5) 、平均絶対誤差が所定の値より小さい運動ベクト
ルの選択を各ブロックに対して実行し、選択されたベク
トルだけに関する画素についてのブロック整合を各ブロ
ックに対して実行する(6) ステップを含んでいることを
特徴とする。
Description
【０００１】
【発明の属する技術分野】本発明は、イメージ信号処理
の分野に関し、特にイメージブロック整合動作による運
動ベクトルの決定に基づくイメージシーケンスに対する
運動評価方法に関する。
の分野に関し、特にイメージブロック整合動作による運
動ベクトルの決定に基づくイメージシーケンスに対する
運動評価方法に関する。
【０００２】
【従来技術】特にフレーム間のイメージ信号コーディン
グは、主として可能な限り最小のバンド占有率で符号化
された信号を伝送するために使用される。
グは、主として可能な限り最小のバンド占有率で符号化
された信号を伝送するために使用される。
【０００３】運動評価および補償予測コーディングは特
に、共に伝送される運動ベクトルと予測エラーを既知の
方法で計算することによってイメージコーディング効率
を改良する。それはまた、主観的なイメージ信号品質を
改善するためにイメージ信号の濾波に対して有効に使用
されることができる。
に、共に伝送される運動ベクトルと予測エラーを既知の
方法で計算することによってイメージコーディング効率
を改良する。それはまた、主観的なイメージ信号品質を
改善するためにイメージ信号の濾波に対して有効に使用
されることができる。
【０００４】運動ベクトルを得るための方法の１つは、
ブロック整合アルゴリズム（ＢＭＡ）と呼ばれる符号化
アルゴリズムを使用することであり、このアルゴリズム
は、実行されるべき計算量と回路構造との双方に関して
実施し易いように思われる（画素レベルで比較を行うア
ルゴリズムと比較して）。
ブロック整合アルゴリズム（ＢＭＡ）と呼ばれる符号化
アルゴリズムを使用することであり、このアルゴリズム
は、実行されるべき計算量と回路構造との双方に関して
実施し易いように思われる（画素レベルで比較を行うア
ルゴリズムと比較して）。
【０００５】ブロック整合アルゴリズムについてこれま
で開発された技術は、例えば文献（"A fast Feature-Ba
sed Block Matching Algorithms Using Integral Proje
ctions ",by J.S:Kim and R.H:Park,IEEE L.Selected A
reas in Comm.,vol.10,No.5,June 1992）に記載されて
いる。
で開発された技術は、例えば文献（"A fast Feature-Ba
sed Block Matching Algorithms Using Integral Proje
ctions ",by J.S:Kim and R.H:Park,IEEE L.Selected A
reas in Comm.,vol.10,No.5,June 1992）に記載されて
いる。
【０００６】既知のブロック整合アルゴリズムは、１ブ
ロックづつの整合に基づいて運動ベクトルを計算する。
運動ベクトルとは、時間的に隣接したフレーム中のサブ
ブロック間に最大相関値を有するブロックの位置に関す
る情報である。
ロックづつの整合に基づいて運動ベクトルを計算する。
運動ベクトルとは、時間的に隣接したフレーム中のサブ
ブロック間に最大相関値を有するブロックの位置に関す
る情報である。
【０００７】この文献には、ここに記載されているこれ
まで開発された技術に属する他のものに関して改良され
たアルゴリズムが提案されているが、それは依然として
計算量が多過ぎる。この改良されたアルゴリズムは既知
の“積分投影”と“３段階サーチ”技術の組合せに基づ
いており、ここにおいて最良の運動ベクトルのサーチ
は、空間的にデシメートされたグリッドにおいてブロッ
クから抽出されたパラメータを比較し、デシメーション
の減少されたグリッドにおいて、前のステップの最良の
ブロック整合に対して比較を反復することである。
まで開発された技術に属する他のものに関して改良され
たアルゴリズムが提案されているが、それは依然として
計算量が多過ぎる。この改良されたアルゴリズムは既知
の“積分投影”と“３段階サーチ”技術の組合せに基づ
いており、ここにおいて最良の運動ベクトルのサーチ
は、空間的にデシメートされたグリッドにおいてブロッ
クから抽出されたパラメータを比較し、デシメーション
の減少されたグリッドにおいて、前のステップの最良の
ブロック整合に対して比較を反復することである。
【０００８】
【発明が解決しようとする課題】この文献において著者
自身により強調されているように、この方法により、既
知の他の方法と比較して実行されるべき計算量がほぼ半
分に減少されることが可能である。しかしながら、あま
り高くない費用で実際の回路構成を確実なものとするに
は、この減少量では依然として不十分である。
自身により強調されているように、この方法により、既
知の他の方法と比較して実行されるべき計算量がほぼ半
分に減少されることが可能である。しかしながら、あま
り高くない費用で実際の回路構成を確実なものとするに
は、この減少量では依然として不十分である。
【０００９】したがって、本発明の目的は上述された欠
点を克服し、請求項１に記載されたようなイメージのシ
ーケンス、特にビデオ信号処理のための運動評価方法を
提供することである。
点を克服し、請求項１に記載されたようなイメージのシ
ーケンス、特にビデオ信号処理のための運動評価方法を
提供することである。
【００１０】
【課題を解決するための手段】本発明の方法は、上述さ
れた文献で提案された方法のようなサーチの空間的デシ
メーションではなく、イメージブロックの特有のパラメ
ータを抽出するために使用される関数のデシメーション
が必要である。別の形態では、本発明の方法は関数のデ
シメーションを減少し、前のステップの最良の比較のセ
ットに基づいてブロック整合を行うことにより反復され
る。
れた文献で提案された方法のようなサーチの空間的デシ
メーションではなく、イメージブロックの特有のパラメ
ータを抽出するために使用される関数のデシメーション
が必要である。別の形態では、本発明の方法は関数のデ
シメーションを減少し、前のステップの最良の比較のセ
ットに基づいてブロック整合を行うことにより反復され
る。
【００１１】本発明の方法では、整合されるべき各ブロ
ックの基準イメージに基づいたパラメータの再計算が不
要である。さらに、ブロックの特有のパラメータの抽出
において、積分投影技術の使用は必須ではなく、それは
単なる可能な変形形態の１つに過ぎない。
ックの基準イメージに基づいたパラメータの再計算が不
要である。さらに、ブロックの特有のパラメータの抽出
において、積分投影技術の使用は必須ではなく、それは
単なる可能な変形形態の１つに過ぎない。
【００１２】本発明による方法は、運動が評価されるイ
メージブロックからの、特に重要パラメータの抽出、お
よび基準イメージの等価なパラメータとのそれらの整合
に基づいた反復過程を提供する。
メージブロックからの、特に重要パラメータの抽出、お
よび基準イメージの等価なパラメータとのそれらの整合
に基づいた反復過程を提供する。
【００１３】本発明による方法のその他の形態は、従属
クレームに記載されている。本発明の方法を使用するこ
とによって達成される主な利点は、実行される全計算量
が既知の方法と比較して、実質的に少なくとも１／１０
に減少され、その結果それに相当する分だけ実施コスト
が直接減少されることである。
クレームに記載されている。本発明の方法を使用するこ
とによって達成される主な利点は、実行される全計算量
が既知の方法と比較して、実質的に少なくとも１／１０
に減少され、その結果それに相当する分だけ実施コスト
が直接減少されることである。
【００１４】
【発明の実施の形態】以下、本発明の１実施形態の詳細
な説明、および添付図面から本発明の別の目的および利
点が明らかになるであろう。なお、これら図面は単なる
一例に過ぎず、何等本発明の技術的範囲に制限を加える
ものではない。以下、主として図１、および同時に特別
な観点について説明している図２，３および４を参照し
て本発明の方法を説明する。図１において、ｉはブロッ
クのインデックスを示し、ＮＢはイメージブロックの数
を示し、ｐはｐ番目のステップを示し、Ｐは最良のブロ
ック整合をサーチするためのアルゴリズムの反復数を示
している。
な説明、および添付図面から本発明の別の目的および利
点が明らかになるであろう。なお、これら図面は単なる
一例に過ぎず、何等本発明の技術的範囲に制限を加える
ものではない。以下、主として図１、および同時に特別
な観点について説明している図２，３および４を参照し
て本発明の方法を説明する。図１において、ｉはブロッ
クのインデックスを示し、ＮＢはイメージブロックの数
を示し、ｐはｐ番目のステップを示し、Ｐは最良のブロ
ック整合をサーチするためのアルゴリズムの反復数を示
している。
【００１５】図１に示されているフローチャートのステ
ップ２において、運動評価が行われるイメージの各ブロ
ックｉに対して、顕著な状態でそのブロックを特徴付け
る多数のパラメータが抽出される。このような演算は、
ブロックの画素に選択された関数を適用することによっ
て実行される。
ップ２において、運動評価が行われるイメージの各ブロ
ックｉに対して、顕著な状態でそのブロックを特徴付け
る多数のパラメータが抽出される。このような演算は、
ブロックの画素に選択された関数を適用することによっ
て実行される。
【００１６】以下、図２に示されているパラメータ抽出
関数を一例として説明するが、本発明はこの例に限定さ
れるものではない。この関数は、パラメータの計算の簡
単さと重要度との間の問題の適切な妥協策である。
関数を一例として説明するが、本発明はこの例に限定さ
れるものではない。この関数は、パラメータの計算の簡
単さと重要度との間の問題の適切な妥協策である。
【００１７】以下、２つの色成分が輝度成分に関して水
平方向に２倍サンプリングされる４：２：２として知ら
れている標準的なフォーマットによるデジタルイメージ
に対する運動補償方法の適用を考える。運動評価が行わ
れる輝度ブロックは、２つの１６×８の色ブロックに対
応した１６×１６のサイズを有している。しかしなが
ら、この方法は通常の知識により別のフォーマットの処
理ブロックに拡張されることができる。
平方向に２倍サンプリングされる４：２：２として知ら
れている標準的なフォーマットによるデジタルイメージ
に対する運動補償方法の適用を考える。運動評価が行わ
れる輝度ブロックは、２つの１６×８の色ブロックに対
応した１６×１６のサイズを有している。しかしなが
ら、この方法は通常の知識により別のフォーマットの処
理ブロックに拡張されることができる。
【００１８】ｙを１６×１６画素の輝度ブロック（例え
ば、ＭＰＥＧ標準規格の符号化ブロックのサイズ）と
し、ｉ，ｊを画素インデックスとすると、以下のブロッ
クの６４個の特有のパラメータが抽出される：
ば、ＭＰＥＧ標準規格の符号化ブロックのサイズ）と
し、ｉ，ｊを画素インデックスとすると、以下のブロッ
クの６４個の特有のパラメータが抽出される：
【数７】 ここで、ｙｖ[i,j] およびｙｈ[i,j] はそれぞれ、輝度
信号の垂直および水平成分である。
信号の垂直および水平成分である。
【００１９】Ｗは、加重することにより隣接した画素間
の差の量、すなわちイメージの粒状度の量を考慮に入れ
たｙの離散的導関数の加重値である。
の差の量、すなわちイメージの粒状度の量を考慮に入れ
たｙの離散的導関数の加重値である。
【００２０】サンプルの空間的デシメーションが全く行
われないことが認められる。類似の計算が１６×８画素
の色ブロックｃｂおよびｃｒに対して行われることがで
きる。ｉ，ｊが画素インデックスであり、色信号が水平
にサンプリングされることに留意すると、２つの隣接し
た偶数サンプルの補間により奇数画素が生成される：
われないことが認められる。類似の計算が１６×８画素
の色ブロックｃｂおよびｃｒに対して行われることがで
きる。ｉ，ｊが画素インデックスであり、色信号が水平
にサンプリングされることに留意すると、２つの隣接し
た偶数サンプルの補間により奇数画素が生成される：
【数８】 類似の方法でｃｔｖ[i][j]およびｃｒｈ[i][j]が得られ
る。
る。
【００２１】ｃｂｖ[i,j] ，ｃｂｈ[i,j] ，ｃｒｖ[i]
[j]およびｃｒｈ[i][j]はそれぞれ、２つの色信号の垂
直成分および水平成分を示している。
[j]およびｃｒｈ[i][j]はそれぞれ、２つの色信号の垂
直成分および水平成分を示している。
【００２２】色信号から得られたパラメータは、輝度信
号に関して得られた値と係数Ｋ−ｃｒｏｍａにより加重
されて合計され、補償されるべきブロックを特徴付ける
パラメータｖ[i,j] およびｈ[i,j] が得られ、本発明の
特徴とする観点の１つによって、これらのパラメータは
またそのブロックの色成分を考慮に入れる：
号に関して得られた値と係数Ｋ−ｃｒｏｍａにより加重
されて合計され、補償されるべきブロックを特徴付ける
パラメータｖ[i,j] およびｈ[i,j] が得られ、本発明の
特徴とする観点の１つによって、これらのパラメータは
またそのブロックの色成分を考慮に入れる：
【数９】 図３に示されているように、基準イメージについて同じ
計算をどのブロックの運動が評価されるかに関して適用
すると共に、図１のブロック１を参照すると、以下の２
つのパラメータマトリクスが得られる：
計算をどのブロックの運動が評価されるかに関して適用
すると共に、図１のブロック１を参照すると、以下の２
つのパラメータマトリクスが得られる：
【数１０】 ＹＶ[i,j] およびＹＨ[i,j] は、輝度信号Ｙの垂直成分
および水平成分をそれぞれ示す。インデックスｉ，ｊ
は、欧州デジタルテレビジョン標準規格に対応した範囲
で変化するが、別の標準規格もまた適用可能である。
および水平成分をそれぞれ示す。インデックスｉ，ｊ
は、欧州デジタルテレビジョン標準規格に対応した範囲
で変化するが、別の標準規格もまた適用可能である。
【００２３】同様に、色信号の垂直成分および水平成分
ＣＲＶ[i,j] ，ＣＢＶ[i,j] ，ＣＲＨ[i,j] およびＣＢ
Ｈ[i,j] が得られる：このようにして、基準イメージか
ら抽出されたパラメータマトリクスを特徴付ける以下の
パラメータが得られる：
ＣＲＶ[i,j] ，ＣＢＶ[i,j] ，ＣＲＨ[i,j] およびＣＢ
Ｈ[i,j] が得られる：このようにして、基準イメージか
ら抽出されたパラメータマトリクスを特徴付ける以下の
パラメータが得られる：
【数１１】 ここで、基準イメージ（図１のブロック１）に対するこ
のような演算は１度しか行われず、通常ブロック整合に
基づいた運動評価アルゴリズムで行われるようなブロッ
ク整合ごとの反復は為されないことを強調しておく。
のような演算は１度しか行われず、通常ブロック整合に
基づいた運動評価アルゴリズムで行われるようなブロッ
ク整合ごとの反復は為されないことを強調しておく。
【００２４】一般に、ブロックの重要パラメータは、多
数の積分路に沿ってその代表的な関数とその第１の導関
数とを積分して基準イメージから１以上のパラメータマ
トリクスを得ることによって抽出されると言うことがで
きる。
数の積分路に沿ってその代表的な関数とその第１の導関
数とを積分して基準イメージから１以上のパラメータマ
トリクスを得ることによって抽出されると言うことがで
きる。
【００２５】本発明の方法の１実施形態によると、図１
のサンプリングステップ３は実行されず、以下説明する
ステップ４で検討する整合が前のステップ２でブロック
から抽出された全てのパラメータに関して１度直接的に
行われる。この場合、Ｐ＝０である。
のサンプリングステップ３は実行されず、以下説明する
ステップ４で検討する整合が前のステップ２でブロック
から抽出された全てのパラメータに関して１度直接的に
行われる。この場合、Ｐ＝０である。
【００２６】運動評価は、図１のブロック４に対応した
図４に示されているように、ブロックを表すパラメータ
とブロック周辺の適切なサーチ領域上の基準イメージの
パラメータとを整合することによって実行される。
図４に示されているように、ブロックを表すパラメータ
とブロック周辺の適切なサーチ領域上の基準イメージの
パラメータとを整合することによって実行される。
【００２７】
【数１２】 ここで、ＭＡＥ ＶおよびＭＡＥ Ｈは、整合における
平均絶対誤差を表し、一方ｉ＝−ｈrange …＋ｈrange
，ｊ＝−ｖrange …＋ｖrange が運動補償のサーチ領
域および運動ベクトルインデックスを規定している。
平均絶対誤差を表し、一方ｉ＝−ｈrange …＋ｈrange
，ｊ＝−ｖrange …＋ｖrange が運動補償のサーチ領
域および運動ベクトルインデックスを規定している。
【００２８】画素についての余すところのない全てのブ
ロック整合と比較すると、行われるべき演算の数が１／
４に減少される（この特定の場合において）。これは、
パラメータについての全てのブロック整合が実行された
ためである。
ロック整合と比較すると、行われるべき演算の数が１／
４に減少される（この特定の場合において）。これは、
パラメータについての全てのブロック整合が実行された
ためである。
【００２９】画素についての全てのブロック整合（図１
のステップ６）は、最良のブロック整合を達成する、す
なわち最小の和ＭＡＥ＝ＭＡＥ Ｈ＋ＭＡＥ Ｖを有す
る所定の数のベクトル[i,j] に対して計算され、選択は
図１のステップ５において行れる。
のステップ６）は、最良のブロック整合を達成する、す
なわち最小の和ＭＡＥ＝ＭＡＥ Ｈ＋ＭＡＥ Ｖを有す
る所定の数のベクトル[i,j] に対して計算され、選択は
図１のステップ５において行れる。
【００３０】別の実施形態によると、上述された方法
は、図１のステップ３を付加することによって、性能が
依然として目的を満足させる状態で要求される演算数を
さらに大幅に減少するように修正されることができる。
簡単化は、抽出されたパラメータの全てでなく、以下に
説明するサンプリング動作にしたがって抽出された最も
重要なパラメータだけの整合を行う反復過程により得ら
れる。これは各ステップで非常に多数のパラメータを考
慮した演算を反復するが、整合は前のステップで最良の
結果を出したものの位置に対してしか行われない。
は、図１のステップ３を付加することによって、性能が
依然として目的を満足させる状態で要求される演算数を
さらに大幅に減少するように修正されることができる。
簡単化は、抽出されたパラメータの全てでなく、以下に
説明するサンプリング動作にしたがって抽出された最も
重要なパラメータだけの整合を行う反復過程により得ら
れる。これは各ステップで非常に多数のパラメータを考
慮した演算を反復するが、整合は前のステップで最良の
結果を出したものの位置に対してしか行われない。
【００３１】いずれにしても、この方法は既知の技術の
ようにサーチグリッドの空間デシメーションではなく、
パラメータ抽出がこれに基づいて行われる関数のデシメ
ーションに基づいていることがここで強調される。
ようにサーチグリッドの空間デシメーションではなく、
パラメータ抽出がこれに基づいて行われる関数のデシメ
ーションに基づいていることがここで強調される。
【００３２】特に、図１のステップ３に対応した図２の
第３のステップ（単なる一例に過ぎない）を参照する
と、はじめに以下の４つのブロックパラメータのサーチ
領域中の全ての位置に対する整合の実行を開始する：
第３のステップ（単なる一例に過ぎない）を参照する
と、はじめに以下の４つのブロックパラメータのサーチ
領域中の全ての位置に対する整合の実行を開始する：
【数１３】 ＭＡＥ（図１のステップ４で検討された整合）の計算
は、全てのインデックスについてではなく、上記の式
［１３］および［１４］において見出された４つのもの
に関してのみ実行される。
は、全てのインデックスについてではなく、上記の式
［１３］および［１４］において見出された４つのもの
に関してのみ実行される。
【００３３】図１の次のステップ５において、後続する
整合によって、すなわちこのような整合にしたがってＭ
ＡＥに関して最高の結果、つまり１／２を出したものに
よって多数のサーチ位置が消去される。残りのものに関
しては、再び反復が実行されて、ステップ３に戻り、番
号ｐを増分し、次の８つのパラメータを使用してさらに
正確なブロック整合が実行される：
整合によって、すなわちこのような整合にしたがってＭ
ＡＥに関して最高の結果、つまり１／２を出したものに
よって多数のサーチ位置が消去される。残りのものに関
しては、再び反復が実行されて、ステップ３に戻り、番
号ｐを増分し、次の８つのパラメータを使用してさらに
正確なブロック整合が実行される：
【数１４】 この過程は、ｐ＝Ｐになるまで多数回反復して繰返され
る。各反復において、パラメータの数は２倍にされ、整
合が行われる位置（運動ベクトル）の数は１／２にされ
る。Ｐの値は、実行することを所望された画素について
のブロック整合の総数に基づいて決定される。
る。各反復において、パラメータの数は２倍にされ、整
合が行われる位置（運動ベクトル）の数は１／２にされ
る。Ｐの値は、実行することを所望された画素について
のブロック整合の総数に基づいて決定される。
【００３４】したがって、ステップ６において実行され
る整合動作は、画素に基づいてブロック整合が実行され
る限られた数（例えば１６）の運動ベクトルに減少され
る。ほとんどの簡単化された形態において、運動ベクト
ルの最良のものだけが選択される。
る整合動作は、画素に基づいてブロック整合が実行され
る限られた数（例えば１６）の運動ベクトルに減少され
る。ほとんどの簡単化された形態において、運動ベクト
ルの最良のものだけが選択される。
【００３５】整合が行われるべき運動ベクトルが一度決
定されると、ステップ６で実行される演算それ自体は知
られているものである。
定されると、ステップ６で実行される演算それ自体は知
られているものである。
【００３６】ここに記載されている特定の場合は、整合
されたパラメータの数および各反復で廃棄される運動ベ
クトルの数を変えることによって一般化されることがで
きる。ここに記載されている場合において要求される計
算の数と、全ての画素に対する膨大なブロック整合にお
いて要求される計算の数との割合は、基準イメージから
のパラメータの抽出と、パラメータ間における整合の結
果の順序付けに必要とされる計算とを考慮に入れない場
合、ほぼ１：３０である。
されたパラメータの数および各反復で廃棄される運動ベ
クトルの数を変えることによって一般化されることがで
きる。ここに記載されている場合において要求される計
算の数と、全ての画素に対する膨大なブロック整合にお
いて要求される計算の数との割合は、基準イメージから
のパラメータの抽出と、パラメータ間における整合の結
果の順序付けに必要とされる計算とを考慮に入れない場
合、ほぼ１：３０である。
【００３７】この方法をさらに困難なものにするステッ
プの１つは、次のステップのために保存されるべき位置
の選択に関する図１のステップ５であり、このステップ
ではパラメータのさらに正確な整合が実行される。その
結果として必要となる順序付け演算を回避するために異
なる技術が使用され、それはステップ５で計算されたＭ
ＡＥ分布がほぼガウス対運動ベクトルインデックスであ
るという仮定に基づいている。
プの１つは、次のステップのために保存されるべき位置
の選択に関する図１のステップ５であり、このステップ
ではパラメータのさらに正確な整合が実行される。その
結果として必要となる順序付け演算を回避するために異
なる技術が使用され、それはステップ５で計算されたＭ
ＡＥ分布がほぼガウス対運動ベクトルインデックスであ
るという仮定に基づいている。
【００３８】その後、それらの平均値より大きいブロッ
ク整合のＭＡＥ値が第２の実施形態の第１の反復で廃棄
され、ガウス仮定が満足された場合には、これによって
ブロック整合の半分が廃棄されることが保証される。後
続する反復において、不良のブロック整合が廃棄されて
いるため、分布はもはやガウス分布ではなく、ほぼ線形
であることが考慮される。
ク整合のＭＡＥ値が第２の実施形態の第１の反復で廃棄
され、ガウス仮定が満足された場合には、これによって
ブロック整合の半分が廃棄されることが保証される。後
続する反復において、不良のブロック整合が廃棄されて
いるため、分布はもはやガウス分布ではなく、ほぼ線形
であることが考慮される。
【００３９】以下、仮定された線形分布の重心の特に効
率的な計算方法を説明する。このような重心は、次の反
復のために保存されるべき運動ベクトルを選択する時の
しきい値として使用される。
率的な計算方法を説明する。このような重心は、次の反
復のために保存されるべき運動ベクトルを選択する時の
しきい値として使用される。
【００４０】特に、ＭＡＥ ｍｉｎ，ＭＡＥ ｍａｘお
よびＭＡＥ ｍｅａｎをそれぞれ、ステップ４における
ブロック整合から得られた最小ＭＡＥ、最大ＭＡＥおよ
び平均ＭＡＥとし、次の関数を検討する。なお、式［１
９］は０と１との間で正規化されたＭＡＥを表してい
る。
よびＭＡＥ ｍｅａｎをそれぞれ、ステップ４における
ブロック整合から得られた最小ＭＡＥ、最大ＭＡＥおよ
び平均ＭＡＥとし、次の関数を検討する。なお、式［１
９］は０と１との間で正規化されたＭＡＥを表してい
る。
【００４１】
【数１５】 正規化されたＭＡＥの確率分布ｐ（ｍａｅ）は、上述さ
れたように線形であると仮定され、したがってそれは次
の形を有する：
れたように線形であると仮定され、したがってそれは次
の形を有する：
【数１６】 この点で、０から１までの確率分布ｐの積分を１とし、
また０から１までのｐ（ｍａｅ）* ｍａｅの積分を正規
化された平均ｍａｅ−ｍｅａｎと等しくさせることによ
って、２つの分布パラメータおよびｂが、ｍａｅ−ｍｅ
ａｎの関数として得られる。０からｍａｅまでのｐの積
分が値１／２を有するＭＡＥの正規化された値ｍａｅ
は、ｍａｅ−ｍｅａｎの関数であり、テーブルに入力さ
れる。
また０から１までのｐ（ｍａｅ）* ｍａｅの積分を正規
化された平均ｍａｅ−ｍｅａｎと等しくさせることによ
って、２つの分布パラメータおよびｂが、ｍａｅ−ｍｅ
ａｎの関数として得られる。０からｍａｅまでのｐの積
分が値１／２を有するＭＡＥの正規化された値ｍａｅ
は、ｍａｅ−ｍｅａｎの関数であり、テーブルに入力さ
れる。
【００４２】このようにして得られた、正規化されたＭ
ＡＥの確率分布の重心を形成するｍａｅ値から、ＭＡＥ
の確率分布の重心が導き出される：
ＡＥの確率分布の重心を形成するｍａｅ値から、ＭＡＥ
の確率分布の重心が導き出される：
【数１７】 値ＭＡＥは、次の反復のために利用できる運動ベクトル
を廃棄されるものから分離するためのしきい値として使
用される。
を廃棄されるものから分離するためのしきい値として使
用される。
【００４３】この方法の別の変形実施形態は、例えばゼ
ロベクトルのような種々の反復から既に得られているも
のや、処理中のブロックに水平および垂直方向に直接隣
接しているブロックに対して選択されたものに加えて、
いくつかの特に重要な運動ベクトルを画素についての最
終的なブロック整合まで維持する。
ロベクトルのような種々の反復から既に得られているも
のや、処理中のブロックに水平および垂直方向に直接隣
接しているブロックに対して選択されたものに加えて、
いくつかの特に重要な運動ベクトルを画素についての最
終的なブロック整合まで維持する。
【００４４】この方法のさらに別の実施形態は、ステッ
プ６で画素について実行された整合の数を減少すること
を可能にするが、それは、値Ｗ＝０が加重関数として選
択された場合にのみ適用可能であり、したがって正確度
の低い運動ベクトル評価を行う。それは、画素について
のブロック整合のＭＡＥとパラメータについて計算され
たものとの間に存在する関係に基づいている。
プ６で画素について実行された整合の数を減少すること
を可能にするが、それは、値Ｗ＝０が加重関数として選
択された場合にのみ適用可能であり、したがって正確度
の低い運動ベクトル評価を行う。それは、画素について
のブロック整合のＭＡＥとパラメータについて計算され
たものとの間に存在する関係に基づいている。
【００４５】特に、上記の式［１］および［２］におい
て規定されている、運動補償が実行される１６×１６ブ
ロックをｙで示し、またインデックスｉおよびｊがステ
ップ６で実行された画素についてのブロック整合に対し
て選択された特別な運動ベクトルの１つにしたがって、
画素についてのブロック整合のＭＡＥが評価されなけれ
ばならない基準イメージから抽出される１６×１６ブロ
ックをｘで示すと、
て規定されている、運動補償が実行される１６×１６ブ
ロックをｙで示し、またインデックスｉおよびｊがステ
ップ６で実行された画素についてのブロック整合に対し
て選択された特別な運動ベクトルの１つにしたがって、
画素についてのブロック整合のＭＡＥが評価されなけれ
ばならない基準イメージから抽出される１６×１６ブロ
ックをｘで示すと、
【数１８】 上記の式は、式［５］および［６］においてｋ ｃｒｏ
ｍａ＝０によりゼロ加重が色成分にも与えられる限定し
ない場合に関する。
ｍａ＝０によりゼロ加重が色成分にも与えられる限定し
ない場合に関する。
【００４６】ＭＡＥ Ｖ[i,j] の値は、画素の垂直合計
（式［１１］を参照）によりブロックから抽出されたパ
ラメータの整合の結果に対応している。同様にして、式
［２６］が得られ、この式から式［２７］が得られる：
（式［１１］を参照）によりブロックから抽出されたパ
ラメータの整合の結果に対応している。同様にして、式
［２６］が得られ、この式から式［２７］が得られる：
【数１９】 したがって、パラメータの比較において最良の結果を与
えたブロックについてのブロック整合と、ＭＡＥ ＢＬ
ＯＣＫ ｍｉｎと呼ばれる、既に接合されたブロック間
に最小ＭＡＥを有する画素についてのブロック整合とを
実行することが所望された場合、（ＭＡＥ Ｈ＋ＭＡＥ
Ｖ）≧２* ＭＡＥ ＢＬＯＣＫ ｍｉｎである全ての
ブロックが、画素についてブロック整合を実行せずに演
繹的に廃棄されることができる。
えたブロックについてのブロック整合と、ＭＡＥ ＢＬ
ＯＣＫ ｍｉｎと呼ばれる、既に接合されたブロック間
に最小ＭＡＥを有する画素についてのブロック整合とを
実行することが所望された場合、（ＭＡＥ Ｈ＋ＭＡＥ
Ｖ）≧２* ＭＡＥ ＢＬＯＣＫ ｍｉｎである全ての
ブロックが、画素についてブロック整合を実行せずに演
繹的に廃棄されることができる。
【００４７】この方法の別の実施形態は、図２において
さらによく説明されている図１のステップ２に関連して
いる。水平および垂直インデックスｉ，ｊに拡張される
代りに、第１の実施形態の場合に属するものとされる式
の合計が予め設定された通路にしたがって別の斜線また
は破線を辿ることができる。
さらによく説明されている図１のステップ２に関連して
いる。水平および垂直インデックスｉ，ｊに拡張される
代りに、第１の実施形態の場合に属するものとされる式
の合計が予め設定された通路にしたがって別の斜線また
は破線を辿ることができる。
【００４８】或は、さらに、運動評価方法は、色信号の
翻訳が行なわれない例えば４：４：４のもの、および上
述された水平補間に加えて画素の垂直補間が実行される
４：２：０のもの等の、４：２：２とは異なるフォーマ
ットに拡張されることができる。
翻訳が行なわれない例えば４：４：４のもの、および上
述された水平補間に加えて画素の垂直補間が実行される
４：２：０のもの等の、４：２：２とは異なるフォーマ
ットに拡張されることができる。
【００４９】したがって、運動評価方法は、例えばフラ
クタル整合のサーチのようなブロック整合に変形可能な
別のアルゴリズムに拡張されることができる。
クタル整合のサーチのようなブロック整合に変形可能な
別のアルゴリズムに拡張されることができる。
【００５０】上述の全ての実施形態を参照すると、本発
明の方法は、既知の技術にしたがって伝送するために使
用される信号を獲得し、したがって顕著なバンド節約を
達成し、かつ著しく記憶領域が節約された形態で（例え
ばＣＤ−ＲＯＭ，ＭＰＥＧ標準規格で）それを記憶する
ためのビデオ信号処理システムの一部分として（すなわ
ち、イメージコーディングまたはイメージ濾波のため
に）構成されることができる。
明の方法は、既知の技術にしたがって伝送するために使
用される信号を獲得し、したがって顕著なバンド節約を
達成し、かつ著しく記憶領域が節約された形態で（例え
ばＣＤ−ＲＯＭ，ＭＰＥＧ標準規格で）それを記憶する
ためのビデオ信号処理システムの一部分として（すなわ
ち、イメージコーディングまたはイメージ濾波のため
に）構成されることができる。
【００５１】上記の方法の説明から、当業者は高レベル
の言語プログラミング（例えばＣ++）によってこの方法
を構成することが可能であり、および、またはハードウ
ェア（すなわち、ＶＬＳＩ技術により）またはマシン言
語のソフトウェアレベル（プログラム可能なマイクロプ
ロセッサ用のアセンブラ）を構成することが可能であ
る。
の言語プログラミング（例えばＣ++）によってこの方法
を構成することが可能であり、および、またはハードウ
ェア（すなわち、ＶＬＳＩ技術により）またはマシン言
語のソフトウェアレベル（プログラム可能なマイクロプ
ロセッサ用のアセンブラ）を構成することが可能であ
る。
【図１】本発明による運動評価方法のステップのフロー
チャート。
チャート。
【図２】図１のステップ２を説明した概略図。
【図３】図１のステップ１を説明した概略図。
【図４】図１のステップ４を説明した概略図。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ファビオ・バレンテ イタリア国、36045 ロニーゴ（ブイア イ）、ビア・ツラッチ 18
Claims (11)
- 【請求項１】 イメージブロック整合動作による運動ベ
クトルの決定に基づいたイメージシーケンスに対する運
動評価方法において、 各イメージごとに１度づつ第１の重要パラメータを基準
イメージから抽出し、 運動評価が実行されるイメージの各細分されたブロック
に対して第２の重要パラメータを抽出し、 前記ブロックの周囲のサーチ領域上の各ブロックの前記
第２の重要パラメータと前記第１の重要パラメータとを
整合し、平均絶対誤差が計算される１組の運動ベクトル
を各ブロックに対して獲得し、 平均絶対誤差が所定の値より小さい運動ベクトルの選択
を各ブロックに対して実行し、 選択されたベクトルだけに関する画素についてのブロッ
ク整合を各ブロックに対して実行するステップを含んで
いることを特徴とするイメージシーケンスに対する運動
評価方法。 - 【請求項２】 前記第１および第２の重要パラメータ
は、輝度および色信号成分と、その加重された離散的導
関数との組合せによって形成され、定められた積分路に
沿って積分されることを特徴とする請求項１記載のイメ
ージシーケンスに対する運動評価方法。 - 【請求項３】 前記積分路は水平および垂直軸であり、
前記第２の重要パラメータは、 【数１】 であり、ここで、ｉ，ｊは前記軸に沿った画素のインデ
ックスであり、ｊｖ，ｊｈ，ｃｂｖ，ｃｂｈ，ｃｒｖ，
ｃｒｈは、 【数２】 によってそれぞれ与えられる輝度および色信号の垂直お
よび水平成分であり、 ここでｃｒｖ[i][j]およびｃｒｈ[i][j]は類似の方法で
得られ、ｋ ｃｒｏｍａおよびＷは加重定数であること
を特徴とする請求項２記載のイメージシーケンスに対す
る運動評価方法。 - 【請求項４】 前記積分路は水平および垂直軸であり、
前記第１の重要パラメータは、 【数３】 であり、ここで、ｉ，ｊは前記軸に沿った画素のインデ
ックスであり、ＹＶ，ＹＨ，ＣＢＶ，ＣＢＨ，ＣＲＶ，
ＣＲＨは、 【数４】 によってそれぞれ与えられる輝度および色信号の垂直お
よび水平成分であり、 ここで、色信号の垂直および水平成分ＣＲＶ[i,j] ，Ｃ
ＢＶ[i,j] ，ＣＲＨ[i,j] およびＣＢＨ[i,j] は類似の
方法で得られ、ｋ ｃｒｏｍａおよびＷは加重定数であ
ることを特徴とする請求項２記載のイメージシーケンス
に対する運動評価方法。 - 【請求項５】 平均絶対誤差の計算による各ブロックの
前記第１の重要パラメータと前記第２の重要パラメータ
との前記整合は、 【数５】 のタイプのものであり、ここでＭＡＥ ＶおよびＭＡＥ
Ｈは平均絶対誤差を表し、一方ｉ＝−ｈrange …＋ｈ
range ，ｊ＝−ｖrange …＋ｖrange は、運動補償のサ
ーチ領域および運動ベクトルのインデックスを規定して
いることを特徴とする請求項１乃至４のいずれか１項記
載のイメージシーケンスに対する運動評価方法。 - 【請求項６】 各ブロックの前記第１の重要パラメータ
と前記第２の重要パラメータとの前記整合は、抽出され
たパラメータの全てに対してではなく、サンプリング動
作にしたがって抽出された最も重要なものに対してのみ
前記整合を実行し、また、各ステップにおいて非常に多
数のパラメータを考慮して演算を反復するが、前のステ
ップで最良の結果を与えたものの位置に対してのみ前記
整合を行う反復過程に挿入されることを特徴とする請求
項１乃至５のいずれか１項記載のイメージシーケンスに
対する運動評価方法。 - 【請求項７】 第１の反復における前記最も重要パラメ
ータは、 【数６】 によって表わされ、 各反復において、パラメータの数は２倍にされ、整合が
行われるインデックスｉ，ｊの位置の数は１／２にされ
ることを特徴とする請求項６記載のイメージシーケンス
に対する運動評価方法。 - 【請求項８】 平均値より大きい平均絶対誤差（ＭＡ
Ｅ）の値は第１の反復において廃棄され、それによって
この平均絶対誤差（ＭＡＥ）がガウス関数に近似される
ため、整合したものの半分が廃棄されることを特徴とす
る請求項６または７記載のイメージシーケンスに対する
運動評価方法。 - 【請求項９】 後続する反復において、第１の反復にお
いて最悪のブロック整合が廃棄されているため、分布は
ガウス分布ではなく、線形分布によって近似され、その
重心が計算され、しきい値より大きいブロック整合を保
存するためにしきい値として使用されることを特徴とす
る請求項６乃至８のいずれか１項記載のイメージシーケ
ンスに対する運動評価方法。 - 【請求項１０】 前記加重定数（Ｗ）は、ゼロに等しく
選択されていることを特徴とする請求項３または４のい
ずれか１項記載のイメージシーケンスに対する運動評価
方法。 - 【請求項１１】 前記積分路は、イメージまたはブロッ
クについて予め規定された通路にしたがった斜線または
破線であることを特徴とする請求項１乃至１０のいずれ
か１項記載のイメージシーケンスに対する運動評価方
法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT97A000575 | 1997-03-14 | ||
| IT97MI000575A IT1296807B1 (it) | 1997-03-14 | 1997-03-14 | Metodo per la stima del movimento in sequenze di immagini codificate a blocchi in particolare per la elaborazione del segnale video |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10336681A true JPH10336681A (ja) | 1998-12-18 |
Family
ID=11376428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10061377A Pending JPH10336681A (ja) | 1997-03-14 | 1998-03-12 | イメージシーケンス、特にビデオ信号処理のための運動評価方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6072905A (ja) |
| EP (1) | EP0865199A1 (ja) |
| JP (1) | JPH10336681A (ja) |
| CA (1) | CA2229147A1 (ja) |
| IT (1) | IT1296807B1 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6826294B1 (en) | 1999-03-05 | 2004-11-30 | Koninklijke Philips Electronics N.V. | Block matching motion estimation using reduced precision clustered predictions |
| KR20040049214A (ko) * | 2002-12-05 | 2004-06-11 | 삼성전자주식회사 | 고속 모션벡터 추정장치 및 방법 |
| GB0423578D0 (en) * | 2004-10-22 | 2004-11-24 | Greenparrotpictures Ltd | Dominant motion estimation for image sequence processing |
| US7580560B2 (en) * | 2005-07-18 | 2009-08-25 | Mitutoyo Corporation | System and method for fast template matching by adaptive template decomposition |
| CN102740120A (zh) * | 2012-06-20 | 2012-10-17 | 北京市博汇科技有限公司 | 数字电视直播节目播出完整性判断方法 |
| US10554965B2 (en) | 2014-08-18 | 2020-02-04 | Google Llc | Motion-compensated partitioning |
| US10397600B1 (en) | 2016-01-29 | 2019-08-27 | Google Llc | Dynamic reference motion vector coding mode |
| US10462457B2 (en) | 2016-01-29 | 2019-10-29 | Google Llc | Dynamic reference motion vector coding mode |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5710603A (en) * | 1992-10-07 | 1998-01-20 | Daewoo Electronics Co., Ltd. | Method for detecting motion vectors |
| JP3277418B2 (ja) * | 1993-09-09 | 2002-04-22 | ソニー株式会社 | 動きベクトル検出装置および方法 |
| US5805228A (en) * | 1996-08-09 | 1998-09-08 | U.S. Robotics Access Corp. | Video encoder/decoder system |
-
1997
- 1997-03-14 IT IT97MI000575A patent/IT1296807B1/it active IP Right Grant
-
1998
- 1998-02-19 US US09/025,924 patent/US6072905A/en not_active Expired - Fee Related
- 1998-03-09 EP EP98440046A patent/EP0865199A1/en not_active Withdrawn
- 1998-03-10 CA CA002229147A patent/CA2229147A1/en not_active Abandoned
- 1998-03-12 JP JP10061377A patent/JPH10336681A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US6072905A (en) | 2000-06-06 |
| EP0865199A1 (en) | 1998-09-16 |
| CA2229147A1 (en) | 1998-09-14 |
| IT1296807B1 (it) | 1999-08-02 |
| ITMI970575A1 (it) | 1998-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9350994B2 (en) | Motion estimation technique for digital video encoding applications | |
| JP4614512B2 (ja) | 適応性のある動き精度をもった動き推定方法 | |
| US9241160B2 (en) | Reference processing using advanced motion models for video coding | |
| US8345158B2 (en) | Merging video with time-decimated high-resolution imagery to form high-resolution video frames | |
| US7408988B2 (en) | Motion estimation engine with parallel interpolation and search hardware | |
| US7471845B2 (en) | De-ringing filter | |
| US20040258155A1 (en) | Adaptive motion vector field coding | |
| US20070047651A1 (en) | Video prediction apparatus and method for multi-format codec and video encoding/decoding apparatus and method using the video prediction apparatus and method | |
| CN118055253A (zh) | 用于视频代码化中的运动补偿预测的光流估计 | |
| US20090304090A1 (en) | Method for Scalable Video Coding | |
| EP1003336A1 (en) | Video pictures compression and coding with decision step for field/frame and motion vectors DCT | |
| US8144775B2 (en) | Method and device for generating candidate motion vectors from selected spatial and temporal motion vectors | |
| JPH10336681A (ja) | イメージシーケンス、特にビデオ信号処理のための運動評価方法 | |
| Guo et al. | Frame rate up-conversion using linear quadratic motion estimation and trilateral filtering motion smoothing | |
| Dai et al. | Color video denoising based on combined interframe and intercolor prediction | |
| US6912296B2 (en) | Motion estimation method | |
| EP1295483B1 (en) | Method of performing motion estimation | |
| Chen et al. | Motion-vector optimization of control grid interpolation and overlapped block motion compensation using iterated dynamic programming | |
| Braspenning et al. | Efficient motion estimation with content-adaptive resolution | |
| Kuo et al. | An efficient motion estimation algorithm for video coding using Kalman filter | |
| Toivonen et al. | Efficient method for half-pixel block motion estimation using block differentials | |
| CN112383774B (zh) | 编码方法、编码器以及服务器 | |
| US11317102B2 (en) | Video encoding and decoding | |
| JP2002539685A (ja) | ブロックマッチング動き推定 | |
| ÇEKİÇ | İSTANBUL TECHNICAL UNIVERSITY★ INSTITUTE OF SCIENCE AND TECHNOLOGY |