JP3935667B2 - Ｄｃｔ及び予測エラー係数のフィルタリングによるビデオ画像の活動の測定 - Google Patents
Ｄｃｔ及び予測エラー係数のフィルタリングによるビデオ画像の活動の測定 Download PDFInfo
- Publication number
- JP3935667B2 JP3935667B2 JP2000273887A JP2000273887A JP3935667B2 JP 3935667 B2 JP3935667 B2 JP 3935667B2 JP 2000273887 A JP2000273887 A JP 2000273887A JP 2000273887 A JP2000273887 A JP 2000273887A JP 3935667 B2 JP3935667 B2 JP 3935667B2
- Authority
- JP
- Japan
- Prior art keywords
- macroblock
- block
- activity
- picture
- video picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、大略、ビデオシーケンスのコーディング即ち符号化に関するものであって、更に詳細には、特に低コスト適用例においての、符号化処理期間中に実施されるバッファリングの効果性を改善するためにピクチャの一部のアクティビティ即ち活動を測定する方法に関するものである。
【０００２】
【従来の技術】
本発明は、デジタルビデオコーダー（符号化器）において有用なものであり、その場合に、周波数ドメインにおける情報のブロックのアクティビティ（ａｃｔｉｖｉｔｙ）即ち活動を評価することが必要である。本発明方法の実際的な具体例を例示するために、デジタル化したビデオシーケンスを取扱うＭＰＥＧスタンダードの重要性に鑑み、ＭＰＥＧ２符号化において本発明を実現した場合について説明する。然しながら、本発明方法は、異なるスタンダード（ＭＰＥＧ以外のスタンダード）に基づくデコーダにおいても完全に有効であり且つ効果的に適用可能なものである。
【０００３】
ＭＰＥＧ２ビデオ符号化
ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）スタンダードは、デジタル化したピクチャのシーケンスの圧縮専用の１組のアルゴリズムを定義している。これらの技術はそのシーケンスを構成している情報の時間的、空間的及び統計的冗長性を減少させることに基づいている。空間的及び統計的冗長性の減少は、離散コサイン変換（ＤＣＴ）、量子化及び可変長ハフマン符号化によって単一のイメージ（画像）を独立的に圧縮することによって達成される。
【０００４】
時間的冗長性の減少は、１つのシーケンスの相次ぐピクチャの間に存在する相関を使用して得られる。概略的には、各画像は、そのシーケンスの前の及び／又は次続の画像の転移したものとして局所的に表現することが可能であるということが可能である。この目的のために、ＭＰＥＧスタンダードは３種類のピクチャを使用するものであって、即ちＩ（イントラ符号化フレーム）、Ｐ（予測フレーム）、Ｂ（双方向予測フレーム）ピクチャとして表される。Ｉピクチャは完全に独立的な態様で符号化され、Ｐピクチャはそのシーケンスにおける先行するＩ又はＰピクチャに関して符号化され、Ｂピクチャはビデオシーケンスにおける先行する１つと次続の１つとのＩ又はＰ種類の２つのピクチャに関して符号化される。
【０００５】
複数個のピクチャからなる典型的なシーケンスは例えばＩＢＢＰＢＢＰＢＢＩＢ・・・となる場合がある。これは、それらが観察される順番であるが、いずれのＰも前のＩ又はＰに関して符号化されるものであり、且ついずれのＢも先行する及び後行するＩ又はＰに関して符号化されるものであるから、デコーダはＢピクチャの前にＰピクチャを受取り且つＰピクチャの前にＩピクチャを受取ることが必要である。従って、これらのピクチャの伝送順はＩＰＢＢＰＢＢＩＢＢ・・・である。
【０００６】
ピクチャは示された順番で順次符号化器によって確立され、且つその後に、デコーダへ送られ、該デコーダはそれらをデコードし且つ並び替えを行い、それらをその後に表示することを可能とさせる。Ｂピクチャを符号化するためには、符号化器が、現在のＢピクチャが参照し、符号化されており且つ後にデコードされるＩ及びＰピクチャを「フレームメモリ」と呼ばれる専用のメモリバッファ内に維持することが必要であり、従って適切なメモリ容量を必要とする。
【０００７】
コーディング即ち符号化における最も重要な機能のうちの１つは動き推定である。動き推定は以下のような考慮事項に基づいている。即ち、現在のピクセルセットと呼ばれるピクチャフレームの１組のピクセルを対応する１つを現在のピクセルセットへ硬直的に転移させることによって得られる爾後の及び／又は先行するピクチャの位置に配置させることが可能である。勿論、これらのオブジェクトの転移は、前に見ることが出来なかった部分及びそれらの形状の変化を露呈させる場合がある（例えば、ズーム動作、回転等の期間中）。
【０００８】
これらのピクチャの部分を識別し且つ関連付けるのに適した一群のアルゴリズムは、通常、「動き推定」のものとして言及される。このようなピクセルの関連付けは現在の部分と最適な予測子として識別された部分との間の相対的な座標を計算するため、及びピクチャ差の部分を計算し、従って冗長な時間的情報を除去し、従ってＤＣＴ圧縮、量子化及びエントロピィ符号化の後の処理をより効果的なものとさせる上で有効である。
【０００９】
このような方法はスタンダードのＭＰＥＧ２において典型的な例を見出すことが可能である。ビデオＭＰＥＧ２の典型的なブロック図を図１に示してある。このようなシステムは以下のような機能的ブロックから構成されている。
【００１０】
（１）４：２：２から４：２：０へのクロマ（ｃｈｒｏｍａ）フィルタブロックこのブロックにおいては、クロミナンス成分に関して動作するローパス有限時間応答フィルタが設けられており、それは任意のピクセルを同一の列上に配置され且つ適宜の係数で乗算された隣りのピクセルの重み付けした和で置換することを可能とする。このことは後の２によるサブサンプリングを可能とし、従ってクロミナンスの半分とした垂直定義が得られる。
【００１１】
（２）フレーム順番付け器
このブロックはＭＰＥＧスタンダードによって必要とされる符号化順にフレームを出力する１つ又は複数個のフレームメモリから構成されている。例えば、入力シーケンスがＩＢＢＰＢＢＰ等である場合には、その出力順はＩＰＢＢＰＢＢ等である。
【００１２】
※Ｉ（イントラ符号化ピクチャ）は時間的冗長性を含むフレーム又は半フレームである。
【００１３】
※Ｐ（予測ピクチャ）は先行するＩ又はＰ（前に符号化／復号化されている）に関する時間的冗長性を除去したフレーム又は半フレームである。
【００１４】
※Ｂ（双方向予測ピクチャ）は先行するＩ又は次続のＰ（又は先行するＰ及び次続のＰ、又は先行するＰ及び次続のＩ）に関する時間的冗長性を除去した（両方の場合とも、Ｉ及びＰピクチャは既に符号化／復号化されているものと考えねばならない）フレーム又は半フレームである。
【００１５】
４：２：０フォーマットにおける各フレームバッファは以下のメモリ量を占有する。
【００１６】
スタンダードＰＡＬ
ルミナンス（Ｙ）に対し720×576×８ ＝3,317,760ビット
クロミナンス（Ｕ）に対し360×288×８ ＝ 829,440ビット
クロミナンス（Ｖ）に対し360×288×８ ＝ 829,440ビット
――――――――――――――――――――――――――――
合計Ｙ＋Ｕ＋Ｖ ＝4,976,640ビット
スタンダードＮＴＳＣ
ルミナンス（Ｙ）に対し720×480×８ ＝2,764,800ビット
クロミナンス（Ｕ）に対し360×240×８ ＝ 691,200ビット
クロミナンス（Ｖ）に対し360×240×８ ＝ 691,200ビット
――――――――――――――――――――――――――――
合計Ｙ＋Ｕ＋Ｖ ＝4,147,200ビット
（３）推定器
これは、Ｐ及びＢピクチャからの時間的冗長性を除去することが可能なブロックである。
【００１７】
（４）ＤＣＴ
これは、ＭＰＥＧ２スタンダードに基づく離散コサイン変換を実施するブロックである。Ｉピクチャ及びエラーピクチャＰ及びＢは８＊８ピクセルＹ，Ｕ，Ｖのブロックに分割され、それに関してＤＣＴ変換が実施される。
【００１８】
（５）量子化器Ｑ
次いで、ＤＣＴ変換から発生する８＊８ブロックを、ＤＣＴ係数のビット数の大きさを多かれ少なかれ劇的に減少させるために、所謂量子化用マトリクスによって分割する。（特に、マクロブロックコサイン変換マトリクスをマトリクスｍＱｕａｎｔ＊Ｑｕａｎｔｉｚｅｒ Ｍａｔｒｉｘで分割し、その場合Ｑｕａｎｔｉｚｅｒ Ｍａｔｒｉｘは演繹的に確立されており且つピクチャ毎に変化することが可能である）。このような場合においては、人間の視力にとって余り見えない最も高い周波数に関連する情報が除去される傾向となる。その結果を並び替え且つ次のブロックへ送る。
【００１９】
（６）可変長符号化（ＶＬＣ）
量子化器から出力される符号化ワードは多かれ少なかれ多数のヌル係数を包含する傾向があり、それに続いて非ヌル値が続く。最初の非ヌル値に先行するヌル値をカウントし且つそのカウント数は符号化ワードの第一部分を構成し、その第二部分は非ヌル係数を表す。
【００２０】
これらの対は他のものよりも蓋然性のある値を取る傾向がある。最も蓋然性のあるものは比較的短いワード（２，３又は４ビットで構成されている）で符号化され、一方より蓋然性の低いものはより長いワードで符号化される。統計的には、出力ビット数はこのような基準が実施されない場合よりも少ない。
【００２１】
（７）マルチプレクサ及びバッファ
各マクロブロックに対する可変長符号化器によって発生されるデータ、動きベクトル、マクロブロックの種類Ｉ／Ｐ／Ｂ、ｎＱｕａｎｔ値、各ピクチャの量子化用マトリクス及びその他の構文要素が組立てられてシリアルビットストリームを構成し、その最終的な構文はＭＰＥＧ２ビデオセクションスタンダードによって完全に画定される。その結果発生するビットストリームをメモリバッファ内に格納し、その限界寸法はバッファがオーバーフローすることができないというＭＰＥＧ２スタンダード条件によって画定され、そうでない場合には、デコーディングにおいて有用な情報の損失が発生する。量子化器ブロックＱは、このようなメモリバッファの満杯及び枯渇限界からシステムがどれ程離れているか、及び予測エラー発生及びＤＣＴ変換の動き推定の上流側において取られた１６＊１６ソースマクロブロックのルミナンス成分のエネルギに依存して、ＤＣＴ８＊８ブロックの分割を多かれ少なかれ劇的なものとすることによってこのような限界の側面をまかなう。
【００２２】
（８）逆可変長符号化（Ｉ−ＶＬＣ）
上に特定した可変長符号化記号が逆の順番で実行される。
【００２３】
（９）逆量子化（ＩＱ）
Ｉ−ＶＬＣブロックによって出力されるワードは８＊８ブロック構造に再調整され、それは前の量子化の場合に使用したのと同一の量子化用マトリクスで乗算される。
【００２４】
（１０）逆ＤＣＴ（Ｉ−ＤＣＴ）
ＤＣＴ変換関数が反転され且つ逆量子化処理によって出力された８＊８ブロックへ適用される。このことは空間的周波数のドメインからピクセルドメインへパスすることを可能とさせる。
【００２５】
（１１）動き補償及び格納
Ｉ−ＤＣＴの出力において、
※相次ぐＰ及びＢピクチャからそれに関しての時間的冗長性を後に除去するために夫々のフレームメモリ内に格納せねばならないデコード済Ｉピクチャ（又は半ピクチャ）、又は
※動き推定フェーズ期間中に前に除去した情報へ加算せねばならないデコード済予測エラーピクチャ（又は半ピクチャ）Ｐ又はＢ、
のいずれかが存在する場合がある。Ｐピクチャの場合には、専用のフレームメモリ内に格納されるそのように結果的に発生する和が相次ぐＰピクチャ及びＢピクチャに対する動き推定プロセス期間中に使用される。これらのフレームメモリはブロックを並び替えるために使用されるメモリとは別である。
【００２６】
（１２）４：２：０から４：２：２への表示ユニット
このユニットは４：２：０フォーマットから４：２：２フォーマットへピクチャを変換し且つ後に表示するためのインターレースしたフォーマットを発生する。機能的ブロック１によって除去されたクロミナンス成分は隣りのピクセルの補間によって回復される。この補間は、適宜の係数に対する隣りのピクセルの重み付けの和及びそのようにして得られた値を０と２５５との間に制限することからなる。
【００２７】
圧縮率制御
図１の「レート制御」という名称のブロックは、実際には、図２に示したように５個のブロックから構成されている。
【００２８】
「ターゲットビット割り当て」という名称の最初のブロックは現在のピクチャｉ（尚、ｉ＝Ｉ，Ｐ又はＢ）に対して使用可能なビット数を確立する。この割り当ては同じ種類の過去のピクチャによって派生された複雑性の度合いを考慮してピクチャの符号化の始めにおいて行われる。
【００２９】
「局所的制御」という名称の２番目のブロックは図１のバッファの充填状態を供給し且つ量子化の前に各マクロブロックに対して制御パラメータｑｊ（ｎ）を計算することを可能とする。
【００３０】
「適応性量子化」という名称の３番目のブロックはマクロブロックの活動係数（Ｎ ａｃｔｊ）によってｑｊ（ｎ）ファクタを乗算することによってｍＱｕａｎｔの計算を完了し、特に、それは量子化パラメータｍＱｕａｎｔ＝Ｎ ａｃｔｊ（ｎ）＊ｑｊ（ｎ）を計算する。
【００３１】
「バリアンスカルキュレータ」という名前の４番目のブロックは、ソースピクチャに属するピクセルブロックのバリアンス（ｖａｒｉａｎｃｅ）に基づく方法によって、ソースピクチャ上に配置された、従ってピクセルドメイン内のマクロブロックから開始するアクティビティ即ち活動を計算する。
【００３２】
「正規化した活動」という名称の５番目のブロックは、前に符号化したピクチャに対して計算した平均活動に対して正規化した活動を計算する。
【００３３】
１番目、２番目及び３番目のブロックの例は特許出願ＥＰ−９８８３０５９９．１（公開番号ＥＰ１００５２３３Ａ１）に記載してあり、５番目のブロックの例は特許出願ＥＰ−９７８３０５９１．０（公開番号ＥＰ０９１７３６２Ａ１）に記載されており、これらの特許出願は両方とも本願出願人が出願人である。機能化した５番目のブロックの具体例は上述した特許出願より前に当業者に公知であった。
【００３４】
ピクチャフォーマットに関する仮定
一対の半フレームから構成されているピクチャフレームについて検討する。それらはルミナンス（ｌｕｍｉｎａｎｃｅ）及びクロミナンス（ｃｈｒｏｍｉｎａｎｃｅ）成分によって構成されている。例えば、ルミナンス成分として情報量が最も豊富である最もエネルギの高い成分に関してのみマクロブロック活動を測定するアルゴリズムを適用するものと仮定する。
【００３５】
この成分をＮ行及びＭ列を有するマトリクスとして表現するものとする。各フレームをＲ行及びＳ列のマクロブロックと呼ばれる部分に分割する。Ｎ／Ｒ及びＭ／Ｓの分割の結果は２つの整数でなければならないが、必ずしも互いに等しいものである必要はない。
【００３６】
ＭＰＥＧ２は本発明方法に対する１つの例として考えられるＲ＝１６及びＳ＝１６の寸法を確立する。
【００３７】
ＭＢｑ（ｉ，ｊ）を現在のフレームに属するマクロブロックであって、左上にある第一ピクセルがｉ番目の行とｊ番目の列の間の交差位置にありＭＰＥＧ２符合化（動き推定、予測エラー計算、ＤＣＴ変換、量子化等）を行うものとする。その対（ｉ，ｊ）は、ｉ及びｊが夫々Ｒ及びＳの整数倍であるとして特性付けられる。
【００３８】
どのようにして前記マクロブロックがピクチャ上に位置され且つマクロブロックを探し出すために使用されるスキャニング順を示した点線水平方向矢印が図３に示されている。
【００３９】
ＭＢｅ（ｉ，ｊ）を２つのブロックの対応するピクセルの間の差として計算した予測エラーマクロブロックとし、第一のＭＢｑ（ｉ，ｊ）は現在のフレームに属するものであり且つ第二のＭＢｐ（ｋ，ｈ）は動き推定の処理の終わりにおいてＭＢｑのベストの予測子として得られたものであり且つ先行する及び／又は将来のフレーム又はそれら両者の平均に属するものとする。
【００４０】
特に、現在のピクチャがＩ種類のものである場合には、ＭＢｅ（ｉ，ｊ）＝ＭＢｑ（ｉ，ｊ）であり、一方そのピクチャがＰ又はＢ種類のものである場合には、ＭＢｅ（ｉ，ｊ）＝ＭＢｑ（ｉ，ｊ）−ＭＢｐ（ｋ，ｈ）である。
【００４１】
図２及び適応性量子化、正規化活動計算、及びバリアンスカルキュレータと呼ばれるブロックを参照すると、前述した特許出願によって提案されているモデルにおいての活動、従ってパラメータＮ ａｃｔｊの計算は、各ブロックに対するルミナンス成分のバリアンスを推定することによって実施される。マクロブロックのアクティビティ即ち活動は、フレームマクロブロックを分解することが可能な８個のルミナンスブロックの活動のうちの最も小さなものによって与えられる。
【００４２】
この方法は以下の如くに説明することが可能である。
【００４３】
※与えれたマクロブロックＭＢｑ（ｉ，ｊ）をフレーム情報を包含する４個のブロック及び半フレーム情報を包含する４個のブロックに再構成する。
【００４４】
※合体した半フレームの両方に属する情報を包含する４個と分離した半フレームに属する情報を包含する４個からなる８個のブロックの各々に対して、次の操作を実施する。
【００４５】
※ルミナンス成分（６４個の係数）の読取り。
【００４６】
※例えばＥＰ−Ａ−９７８３０５９１．０（公開番号ＥＰ０９１７３６２Ａ１）又はその他の等価な番号による方法に従って、バリアンスの計算。
【００４７】
※活動ａｃｔｊ＝ｍｉｎ（ｖａｒ１，ｖａｒ２，ｖａｒ３，ｖａｒ４，ｖａｒ５，ｖａｒ６，ｖａｒ７，ｖａｒ８）の計算。
【００４８】
※正規化した活動Ｎ ａｃｔｊ＝（２＊ａｃｔｊ＋ｍｅａｎ ａｃｔｊ）／（ａｃｔｊ＋２＊ｍｅａｎ ａｃｔｊ）を計算し、その場合にｍｅａｎ ａｃｔｊは先行する符合化したフレームを参照する活動ａｃｔｊの平均である。
【００４９】
ソースマクロブロックＭＢｑ（ｉ，ｊ）に関する活動の計算は顕著な計算上の複雑性を暗示し、且つコストに関して無視不可能な影響を有している。
【００５０】
【発明が解決しようとする課題】
本発明は、以上の点に鑑みなされたものであって、上述した如き従来技術の欠点を解消し、ビデオピクチャのマクロブロックの活動を計算する改良した方法を提供することを目的とする。
【００５１】
【課題を解決するための手段】
本発明方法は、ＭＢｅ（ｉ，ｊ）の信号の成分の離散コサイン変換ドメインにおいて動作し、従って計算上の複雑性を著しく減少させることを可能としている。更に、その時間的冗長性が究極的に除去され且つ離散コサイン変換によって空間周波数ドメインに復帰される符合化器へ供給される各ピクチャに関して実施されるルミナンス及びクロミナンス成分に関しての量子化効率が著しく増加される。
【００５２】
本アルゴリズムはアクティビティ即ち活動を計算するために使用された上述した従来の方法に対する効率的な代替物を提供しており、且つ、特に、それはソースピクチャ上に配置されたマクロブロックに関して実施する代わりに、離散コサイン変換によって得られた空間周波数ドメインにおいて考慮される予測エラーの計算を実施する（図３に示したように）。
【００５３】
本発明方法は、適宜の周波数応答マスクによって各予測エラーブロックのＤＣＴ係数のフィルタリングを実施する。その後に、このような応答の値をＤＣＴ変換マクロブロックのルミナンス成分を構成する４個のブロックに関して平均化して活動係数を得る。内容のフレーム又は半フレームのタイプに関して区別をすることは必要ではない。何故ならば、このような選択はＤＣＴ変換前のデータに関して既に行われているからである。
【００５４】
【発明の実施の態様】
ＭＰＥＧ２スタンダードを参照し且つビデオ信号のルミナンス成分について動作するものと仮定して、本発明方法は、好適実施例によれば、以下のようなステップを包含している。
【００５５】
基本的に夫々の量子化の前に、離散コサイン変換ドメインにおいてあるマクロブロックを取り（マクロブロック取得ＤＣＴ予測エラーブロック）、且つそれを各ワード当たり１６ビットで１６＊１６ワードメモリ内に格納する。
【００５６】
前記メモリから、ＤＣＴルミナンス成分を構成する４個のブロックの各々を読取り、それらの夫々の６４個の係数を得る。
【００５７】
前記ブロックを構成するワード数の中のより小さな数の値（ワード）から構成されている１組の値（マスク）を前記係数の絶対値へ乗算する。前記マスクは２つの異なるマスクの間で選択され、第一のマスクはイントラ種類（Ｉ）のマクロブロック専用であり且つ第二のマスクは非イントラ種類（Ｐ又はＢ）のマクロブロック専用である。
【００５８】
前記積を加算して活動係数を生成する。
【００５９】
処理中のマクロブロックの残りのブロックについて上の手順を繰り返し行う。
【００６０】
発生された４個の活動係数の和として係数ａｃｔｊを計算する。
【００６１】
正規化した活動をＮ ａｃｔｊ＝（２＊ａｃｔｊ＋ｍｅａｎ ａｃｔｊ）／（ａｃｔｊ＋２＊ｍｅａｎ ａｃｔｊ）として計算する。
【００６２】
ＭＰＥＧ符合化器への適用の場合の典型的であるが非制限的な例に従って、本発明方法によって達成される計算上の複雑性の点において著しい改良が以下の如くに達成される。バリアンスの計算に基づく典型的な方法について検討することとする。前述したように、バリアンスの公式は以下の如くである。
【００６３】
【数１】
【００６４】
これは、特定のブロック当たり６５個の乗算と１２６個の加算とを示している。
【００６５】
本発明方法はＤＣＴの空間周波数ドメインにおける活動の計算に基づいており、且つ例えば、Ｉブロック及びＰ／Ｂブロックの夫々に対し１５個及び２０個等の６４個よりも著しく低いマスク当たりの係数の数に対して適用される。Ｉ種類のブロックに対する係数の公式は以下の通りである。
【００６６】
【数２】
【００６７】
Ｐ又はＢ種類のブロックに対する係数の公式は以下の通りである。
【００６８】
【数３】
【００６９】
これは、夫々、１５個（２０個）の乗算と１４個（１９個）の加算とを示している。従って、本発明によれば、計算上の複雑性が著しく減少されていることが明らかである。
【００７０】
以上、本発明の具体的実施の態様について詳細に説明したが、本発明は、これら具体例にのみ制限されるべきものではなく、本発明の技術的範囲を逸脱することなしに種々の変形が可能であることは勿論である。
【図面の簡単な説明】
【図１】 ＭＰＥＧ２ビデオデコーダの概略ブロック図。
【図２】 図１の「レート制御」ブロックの構成を示した概略ブロック図。
【図３】 ピクチャ上のあるマクロブロックの位置及びスキャニング方向を示した概略図。
【図４】 本発明方法を実現するために修正したＭＰＥＧ２ビデオデコーダを示した概略ブロック図。
【図５】 本発明のアルゴリズムの実施例を示した概略図。
【発明の属する技術分野】
本発明は、大略、ビデオシーケンスのコーディング即ち符号化に関するものであって、更に詳細には、特に低コスト適用例においての、符号化処理期間中に実施されるバッファリングの効果性を改善するためにピクチャの一部のアクティビティ即ち活動を測定する方法に関するものである。
【０００２】
【従来の技術】
本発明は、デジタルビデオコーダー（符号化器）において有用なものであり、その場合に、周波数ドメインにおける情報のブロックのアクティビティ（ａｃｔｉｖｉｔｙ）即ち活動を評価することが必要である。本発明方法の実際的な具体例を例示するために、デジタル化したビデオシーケンスを取扱うＭＰＥＧスタンダードの重要性に鑑み、ＭＰＥＧ２符号化において本発明を実現した場合について説明する。然しながら、本発明方法は、異なるスタンダード（ＭＰＥＧ以外のスタンダード）に基づくデコーダにおいても完全に有効であり且つ効果的に適用可能なものである。
【０００３】
ＭＰＥＧ２ビデオ符号化
ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）スタンダードは、デジタル化したピクチャのシーケンスの圧縮専用の１組のアルゴリズムを定義している。これらの技術はそのシーケンスを構成している情報の時間的、空間的及び統計的冗長性を減少させることに基づいている。空間的及び統計的冗長性の減少は、離散コサイン変換（ＤＣＴ）、量子化及び可変長ハフマン符号化によって単一のイメージ（画像）を独立的に圧縮することによって達成される。
【０００４】
時間的冗長性の減少は、１つのシーケンスの相次ぐピクチャの間に存在する相関を使用して得られる。概略的には、各画像は、そのシーケンスの前の及び／又は次続の画像の転移したものとして局所的に表現することが可能であるということが可能である。この目的のために、ＭＰＥＧスタンダードは３種類のピクチャを使用するものであって、即ちＩ（イントラ符号化フレーム）、Ｐ（予測フレーム）、Ｂ（双方向予測フレーム）ピクチャとして表される。Ｉピクチャは完全に独立的な態様で符号化され、Ｐピクチャはそのシーケンスにおける先行するＩ又はＰピクチャに関して符号化され、Ｂピクチャはビデオシーケンスにおける先行する１つと次続の１つとのＩ又はＰ種類の２つのピクチャに関して符号化される。
【０００５】
複数個のピクチャからなる典型的なシーケンスは例えばＩＢＢＰＢＢＰＢＢＩＢ・・・となる場合がある。これは、それらが観察される順番であるが、いずれのＰも前のＩ又はＰに関して符号化されるものであり、且ついずれのＢも先行する及び後行するＩ又はＰに関して符号化されるものであるから、デコーダはＢピクチャの前にＰピクチャを受取り且つＰピクチャの前にＩピクチャを受取ることが必要である。従って、これらのピクチャの伝送順はＩＰＢＢＰＢＢＩＢＢ・・・である。
【０００６】
ピクチャは示された順番で順次符号化器によって確立され、且つその後に、デコーダへ送られ、該デコーダはそれらをデコードし且つ並び替えを行い、それらをその後に表示することを可能とさせる。Ｂピクチャを符号化するためには、符号化器が、現在のＢピクチャが参照し、符号化されており且つ後にデコードされるＩ及びＰピクチャを「フレームメモリ」と呼ばれる専用のメモリバッファ内に維持することが必要であり、従って適切なメモリ容量を必要とする。
【０００７】
コーディング即ち符号化における最も重要な機能のうちの１つは動き推定である。動き推定は以下のような考慮事項に基づいている。即ち、現在のピクセルセットと呼ばれるピクチャフレームの１組のピクセルを対応する１つを現在のピクセルセットへ硬直的に転移させることによって得られる爾後の及び／又は先行するピクチャの位置に配置させることが可能である。勿論、これらのオブジェクトの転移は、前に見ることが出来なかった部分及びそれらの形状の変化を露呈させる場合がある（例えば、ズーム動作、回転等の期間中）。
【０００８】
これらのピクチャの部分を識別し且つ関連付けるのに適した一群のアルゴリズムは、通常、「動き推定」のものとして言及される。このようなピクセルの関連付けは現在の部分と最適な予測子として識別された部分との間の相対的な座標を計算するため、及びピクチャ差の部分を計算し、従って冗長な時間的情報を除去し、従ってＤＣＴ圧縮、量子化及びエントロピィ符号化の後の処理をより効果的なものとさせる上で有効である。
【０００９】
このような方法はスタンダードのＭＰＥＧ２において典型的な例を見出すことが可能である。ビデオＭＰＥＧ２の典型的なブロック図を図１に示してある。このようなシステムは以下のような機能的ブロックから構成されている。
【００１０】
（１）４：２：２から４：２：０へのクロマ（ｃｈｒｏｍａ）フィルタブロックこのブロックにおいては、クロミナンス成分に関して動作するローパス有限時間応答フィルタが設けられており、それは任意のピクセルを同一の列上に配置され且つ適宜の係数で乗算された隣りのピクセルの重み付けした和で置換することを可能とする。このことは後の２によるサブサンプリングを可能とし、従ってクロミナンスの半分とした垂直定義が得られる。
【００１１】
（２）フレーム順番付け器
このブロックはＭＰＥＧスタンダードによって必要とされる符号化順にフレームを出力する１つ又は複数個のフレームメモリから構成されている。例えば、入力シーケンスがＩＢＢＰＢＢＰ等である場合には、その出力順はＩＰＢＢＰＢＢ等である。
【００１２】
※Ｉ（イントラ符号化ピクチャ）は時間的冗長性を含むフレーム又は半フレームである。
【００１３】
※Ｐ（予測ピクチャ）は先行するＩ又はＰ（前に符号化／復号化されている）に関する時間的冗長性を除去したフレーム又は半フレームである。
【００１４】
※Ｂ（双方向予測ピクチャ）は先行するＩ又は次続のＰ（又は先行するＰ及び次続のＰ、又は先行するＰ及び次続のＩ）に関する時間的冗長性を除去した（両方の場合とも、Ｉ及びＰピクチャは既に符号化／復号化されているものと考えねばならない）フレーム又は半フレームである。
【００１５】
４：２：０フォーマットにおける各フレームバッファは以下のメモリ量を占有する。
【００１６】
スタンダードＰＡＬ
ルミナンス（Ｙ）に対し720×576×８ ＝3,317,760ビット
クロミナンス（Ｕ）に対し360×288×８ ＝ 829,440ビット
クロミナンス（Ｖ）に対し360×288×８ ＝ 829,440ビット
――――――――――――――――――――――――――――
合計Ｙ＋Ｕ＋Ｖ ＝4,976,640ビット
スタンダードＮＴＳＣ
ルミナンス（Ｙ）に対し720×480×８ ＝2,764,800ビット
クロミナンス（Ｕ）に対し360×240×８ ＝ 691,200ビット
クロミナンス（Ｖ）に対し360×240×８ ＝ 691,200ビット
――――――――――――――――――――――――――――
合計Ｙ＋Ｕ＋Ｖ ＝4,147,200ビット
（３）推定器
これは、Ｐ及びＢピクチャからの時間的冗長性を除去することが可能なブロックである。
【００１７】
（４）ＤＣＴ
これは、ＭＰＥＧ２スタンダードに基づく離散コサイン変換を実施するブロックである。Ｉピクチャ及びエラーピクチャＰ及びＢは８＊８ピクセルＹ，Ｕ，Ｖのブロックに分割され、それに関してＤＣＴ変換が実施される。
【００１８】
（５）量子化器Ｑ
次いで、ＤＣＴ変換から発生する８＊８ブロックを、ＤＣＴ係数のビット数の大きさを多かれ少なかれ劇的に減少させるために、所謂量子化用マトリクスによって分割する。（特に、マクロブロックコサイン変換マトリクスをマトリクスｍＱｕａｎｔ＊Ｑｕａｎｔｉｚｅｒ Ｍａｔｒｉｘで分割し、その場合Ｑｕａｎｔｉｚｅｒ Ｍａｔｒｉｘは演繹的に確立されており且つピクチャ毎に変化することが可能である）。このような場合においては、人間の視力にとって余り見えない最も高い周波数に関連する情報が除去される傾向となる。その結果を並び替え且つ次のブロックへ送る。
【００１９】
（６）可変長符号化（ＶＬＣ）
量子化器から出力される符号化ワードは多かれ少なかれ多数のヌル係数を包含する傾向があり、それに続いて非ヌル値が続く。最初の非ヌル値に先行するヌル値をカウントし且つそのカウント数は符号化ワードの第一部分を構成し、その第二部分は非ヌル係数を表す。
【００２０】
これらの対は他のものよりも蓋然性のある値を取る傾向がある。最も蓋然性のあるものは比較的短いワード（２，３又は４ビットで構成されている）で符号化され、一方より蓋然性の低いものはより長いワードで符号化される。統計的には、出力ビット数はこのような基準が実施されない場合よりも少ない。
【００２１】
（７）マルチプレクサ及びバッファ
各マクロブロックに対する可変長符号化器によって発生されるデータ、動きベクトル、マクロブロックの種類Ｉ／Ｐ／Ｂ、ｎＱｕａｎｔ値、各ピクチャの量子化用マトリクス及びその他の構文要素が組立てられてシリアルビットストリームを構成し、その最終的な構文はＭＰＥＧ２ビデオセクションスタンダードによって完全に画定される。その結果発生するビットストリームをメモリバッファ内に格納し、その限界寸法はバッファがオーバーフローすることができないというＭＰＥＧ２スタンダード条件によって画定され、そうでない場合には、デコーディングにおいて有用な情報の損失が発生する。量子化器ブロックＱは、このようなメモリバッファの満杯及び枯渇限界からシステムがどれ程離れているか、及び予測エラー発生及びＤＣＴ変換の動き推定の上流側において取られた１６＊１６ソースマクロブロックのルミナンス成分のエネルギに依存して、ＤＣＴ８＊８ブロックの分割を多かれ少なかれ劇的なものとすることによってこのような限界の側面をまかなう。
【００２２】
（８）逆可変長符号化（Ｉ−ＶＬＣ）
上に特定した可変長符号化記号が逆の順番で実行される。
【００２３】
（９）逆量子化（ＩＱ）
Ｉ−ＶＬＣブロックによって出力されるワードは８＊８ブロック構造に再調整され、それは前の量子化の場合に使用したのと同一の量子化用マトリクスで乗算される。
【００２４】
（１０）逆ＤＣＴ（Ｉ−ＤＣＴ）
ＤＣＴ変換関数が反転され且つ逆量子化処理によって出力された８＊８ブロックへ適用される。このことは空間的周波数のドメインからピクセルドメインへパスすることを可能とさせる。
【００２５】
（１１）動き補償及び格納
Ｉ−ＤＣＴの出力において、
※相次ぐＰ及びＢピクチャからそれに関しての時間的冗長性を後に除去するために夫々のフレームメモリ内に格納せねばならないデコード済Ｉピクチャ（又は半ピクチャ）、又は
※動き推定フェーズ期間中に前に除去した情報へ加算せねばならないデコード済予測エラーピクチャ（又は半ピクチャ）Ｐ又はＢ、
のいずれかが存在する場合がある。Ｐピクチャの場合には、専用のフレームメモリ内に格納されるそのように結果的に発生する和が相次ぐＰピクチャ及びＢピクチャに対する動き推定プロセス期間中に使用される。これらのフレームメモリはブロックを並び替えるために使用されるメモリとは別である。
【００２６】
（１２）４：２：０から４：２：２への表示ユニット
このユニットは４：２：０フォーマットから４：２：２フォーマットへピクチャを変換し且つ後に表示するためのインターレースしたフォーマットを発生する。機能的ブロック１によって除去されたクロミナンス成分は隣りのピクセルの補間によって回復される。この補間は、適宜の係数に対する隣りのピクセルの重み付けの和及びそのようにして得られた値を０と２５５との間に制限することからなる。
【００２７】
圧縮率制御
図１の「レート制御」という名称のブロックは、実際には、図２に示したように５個のブロックから構成されている。
【００２８】
「ターゲットビット割り当て」という名称の最初のブロックは現在のピクチャｉ（尚、ｉ＝Ｉ，Ｐ又はＢ）に対して使用可能なビット数を確立する。この割り当ては同じ種類の過去のピクチャによって派生された複雑性の度合いを考慮してピクチャの符号化の始めにおいて行われる。
【００２９】
「局所的制御」という名称の２番目のブロックは図１のバッファの充填状態を供給し且つ量子化の前に各マクロブロックに対して制御パラメータｑｊ（ｎ）を計算することを可能とする。
【００３０】
「適応性量子化」という名称の３番目のブロックはマクロブロックの活動係数（Ｎ ａｃｔｊ）によってｑｊ（ｎ）ファクタを乗算することによってｍＱｕａｎｔの計算を完了し、特に、それは量子化パラメータｍＱｕａｎｔ＝Ｎ ａｃｔｊ（ｎ）＊ｑｊ（ｎ）を計算する。
【００３１】
「バリアンスカルキュレータ」という名前の４番目のブロックは、ソースピクチャに属するピクセルブロックのバリアンス（ｖａｒｉａｎｃｅ）に基づく方法によって、ソースピクチャ上に配置された、従ってピクセルドメイン内のマクロブロックから開始するアクティビティ即ち活動を計算する。
【００３２】
「正規化した活動」という名称の５番目のブロックは、前に符号化したピクチャに対して計算した平均活動に対して正規化した活動を計算する。
【００３３】
１番目、２番目及び３番目のブロックの例は特許出願ＥＰ−９８８３０５９９．１（公開番号ＥＰ１００５２３３Ａ１）に記載してあり、５番目のブロックの例は特許出願ＥＰ−９７８３０５９１．０（公開番号ＥＰ０９１７３６２Ａ１）に記載されており、これらの特許出願は両方とも本願出願人が出願人である。機能化した５番目のブロックの具体例は上述した特許出願より前に当業者に公知であった。
【００３４】
ピクチャフォーマットに関する仮定
一対の半フレームから構成されているピクチャフレームについて検討する。それらはルミナンス（ｌｕｍｉｎａｎｃｅ）及びクロミナンス（ｃｈｒｏｍｉｎａｎｃｅ）成分によって構成されている。例えば、ルミナンス成分として情報量が最も豊富である最もエネルギの高い成分に関してのみマクロブロック活動を測定するアルゴリズムを適用するものと仮定する。
【００３５】
この成分をＮ行及びＭ列を有するマトリクスとして表現するものとする。各フレームをＲ行及びＳ列のマクロブロックと呼ばれる部分に分割する。Ｎ／Ｒ及びＭ／Ｓの分割の結果は２つの整数でなければならないが、必ずしも互いに等しいものである必要はない。
【００３６】
ＭＰＥＧ２は本発明方法に対する１つの例として考えられるＲ＝１６及びＳ＝１６の寸法を確立する。
【００３７】
ＭＢｑ（ｉ，ｊ）を現在のフレームに属するマクロブロックであって、左上にある第一ピクセルがｉ番目の行とｊ番目の列の間の交差位置にありＭＰＥＧ２符合化（動き推定、予測エラー計算、ＤＣＴ変換、量子化等）を行うものとする。その対（ｉ，ｊ）は、ｉ及びｊが夫々Ｒ及びＳの整数倍であるとして特性付けられる。
【００３８】
どのようにして前記マクロブロックがピクチャ上に位置され且つマクロブロックを探し出すために使用されるスキャニング順を示した点線水平方向矢印が図３に示されている。
【００３９】
ＭＢｅ（ｉ，ｊ）を２つのブロックの対応するピクセルの間の差として計算した予測エラーマクロブロックとし、第一のＭＢｑ（ｉ，ｊ）は現在のフレームに属するものであり且つ第二のＭＢｐ（ｋ，ｈ）は動き推定の処理の終わりにおいてＭＢｑのベストの予測子として得られたものであり且つ先行する及び／又は将来のフレーム又はそれら両者の平均に属するものとする。
【００４０】
特に、現在のピクチャがＩ種類のものである場合には、ＭＢｅ（ｉ，ｊ）＝ＭＢｑ（ｉ，ｊ）であり、一方そのピクチャがＰ又はＢ種類のものである場合には、ＭＢｅ（ｉ，ｊ）＝ＭＢｑ（ｉ，ｊ）−ＭＢｐ（ｋ，ｈ）である。
【００４１】
図２及び適応性量子化、正規化活動計算、及びバリアンスカルキュレータと呼ばれるブロックを参照すると、前述した特許出願によって提案されているモデルにおいての活動、従ってパラメータＮ ａｃｔｊの計算は、各ブロックに対するルミナンス成分のバリアンスを推定することによって実施される。マクロブロックのアクティビティ即ち活動は、フレームマクロブロックを分解することが可能な８個のルミナンスブロックの活動のうちの最も小さなものによって与えられる。
【００４２】
この方法は以下の如くに説明することが可能である。
【００４３】
※与えれたマクロブロックＭＢｑ（ｉ，ｊ）をフレーム情報を包含する４個のブロック及び半フレーム情報を包含する４個のブロックに再構成する。
【００４４】
※合体した半フレームの両方に属する情報を包含する４個と分離した半フレームに属する情報を包含する４個からなる８個のブロックの各々に対して、次の操作を実施する。
【００４５】
※ルミナンス成分（６４個の係数）の読取り。
【００４６】
※例えばＥＰ−Ａ−９７８３０５９１．０（公開番号ＥＰ０９１７３６２Ａ１）又はその他の等価な番号による方法に従って、バリアンスの計算。
【００４７】
※活動ａｃｔｊ＝ｍｉｎ（ｖａｒ１，ｖａｒ２，ｖａｒ３，ｖａｒ４，ｖａｒ５，ｖａｒ６，ｖａｒ７，ｖａｒ８）の計算。
【００４８】
※正規化した活動Ｎ ａｃｔｊ＝（２＊ａｃｔｊ＋ｍｅａｎ ａｃｔｊ）／（ａｃｔｊ＋２＊ｍｅａｎ ａｃｔｊ）を計算し、その場合にｍｅａｎ ａｃｔｊは先行する符合化したフレームを参照する活動ａｃｔｊの平均である。
【００４９】
ソースマクロブロックＭＢｑ（ｉ，ｊ）に関する活動の計算は顕著な計算上の複雑性を暗示し、且つコストに関して無視不可能な影響を有している。
【００５０】
【発明が解決しようとする課題】
本発明は、以上の点に鑑みなされたものであって、上述した如き従来技術の欠点を解消し、ビデオピクチャのマクロブロックの活動を計算する改良した方法を提供することを目的とする。
【００５１】
【課題を解決するための手段】
本発明方法は、ＭＢｅ（ｉ，ｊ）の信号の成分の離散コサイン変換ドメインにおいて動作し、従って計算上の複雑性を著しく減少させることを可能としている。更に、その時間的冗長性が究極的に除去され且つ離散コサイン変換によって空間周波数ドメインに復帰される符合化器へ供給される各ピクチャに関して実施されるルミナンス及びクロミナンス成分に関しての量子化効率が著しく増加される。
【００５２】
本アルゴリズムはアクティビティ即ち活動を計算するために使用された上述した従来の方法に対する効率的な代替物を提供しており、且つ、特に、それはソースピクチャ上に配置されたマクロブロックに関して実施する代わりに、離散コサイン変換によって得られた空間周波数ドメインにおいて考慮される予測エラーの計算を実施する（図３に示したように）。
【００５３】
本発明方法は、適宜の周波数応答マスクによって各予測エラーブロックのＤＣＴ係数のフィルタリングを実施する。その後に、このような応答の値をＤＣＴ変換マクロブロックのルミナンス成分を構成する４個のブロックに関して平均化して活動係数を得る。内容のフレーム又は半フレームのタイプに関して区別をすることは必要ではない。何故ならば、このような選択はＤＣＴ変換前のデータに関して既に行われているからである。
【００５４】
【発明の実施の態様】
ＭＰＥＧ２スタンダードを参照し且つビデオ信号のルミナンス成分について動作するものと仮定して、本発明方法は、好適実施例によれば、以下のようなステップを包含している。
【００５５】
基本的に夫々の量子化の前に、離散コサイン変換ドメインにおいてあるマクロブロックを取り（マクロブロック取得ＤＣＴ予測エラーブロック）、且つそれを各ワード当たり１６ビットで１６＊１６ワードメモリ内に格納する。
【００５６】
前記メモリから、ＤＣＴルミナンス成分を構成する４個のブロックの各々を読取り、それらの夫々の６４個の係数を得る。
【００５７】
前記ブロックを構成するワード数の中のより小さな数の値（ワード）から構成されている１組の値（マスク）を前記係数の絶対値へ乗算する。前記マスクは２つの異なるマスクの間で選択され、第一のマスクはイントラ種類（Ｉ）のマクロブロック専用であり且つ第二のマスクは非イントラ種類（Ｐ又はＢ）のマクロブロック専用である。
【００５８】
前記積を加算して活動係数を生成する。
【００５９】
処理中のマクロブロックの残りのブロックについて上の手順を繰り返し行う。
【００６０】
発生された４個の活動係数の和として係数ａｃｔｊを計算する。
【００６１】
正規化した活動をＮ ａｃｔｊ＝（２＊ａｃｔｊ＋ｍｅａｎ ａｃｔｊ）／（ａｃｔｊ＋２＊ｍｅａｎ ａｃｔｊ）として計算する。
【００６２】
ＭＰＥＧ符合化器への適用の場合の典型的であるが非制限的な例に従って、本発明方法によって達成される計算上の複雑性の点において著しい改良が以下の如くに達成される。バリアンスの計算に基づく典型的な方法について検討することとする。前述したように、バリアンスの公式は以下の如くである。
【００６３】
【数１】
これは、特定のブロック当たり６５個の乗算と１２６個の加算とを示している。
【００６５】
本発明方法はＤＣＴの空間周波数ドメインにおける活動の計算に基づいており、且つ例えば、Ｉブロック及びＰ／Ｂブロックの夫々に対し１５個及び２０個等の６４個よりも著しく低いマスク当たりの係数の数に対して適用される。Ｉ種類のブロックに対する係数の公式は以下の通りである。
【００６６】
【数２】
Ｐ又はＢ種類のブロックに対する係数の公式は以下の通りである。
【００６８】
【数３】
これは、夫々、１５個（２０個）の乗算と１４個（１９個）の加算とを示している。従って、本発明によれば、計算上の複雑性が著しく減少されていることが明らかである。
【００７０】
以上、本発明の具体的実施の態様について詳細に説明したが、本発明は、これら具体例にのみ制限されるべきものではなく、本発明の技術的範囲を逸脱することなしに種々の変形が可能であることは勿論である。
【図面の簡単な説明】
【図１】 ＭＰＥＧ２ビデオデコーダの概略ブロック図。
【図２】 図１の「レート制御」ブロックの構成を示した概略ブロック図。
【図３】 ピクチャ上のあるマクロブロックの位置及びスキャニング方向を示した概略図。
【図４】 本発明方法を実現するために修正したＭＰＥＧ２ビデオデコーダを示した概略ブロック図。
【図５】 本発明のアルゴリズムの実施例を示した概略図。
Claims (8)
- ビデオピクチャの選択した成分を離散コサイン変換して得られるＤＣＴ係数からなる離散コサイン変換ドメインにおいてマクロブロックのアクティビティを決定する方法において、
量子化前に前記離散コサイン変換ドメインにおいて前記マクロブロックを複数個のブロックへ分割し且つ各ブロックをメモリ内に別々に格納し、
前記メモリ内に格納されている各ブロックを読み取って夫々のＤＣＴ係数を取得し、
各ＤＣＴ係数の絶対値を各ブロックを形成するワードの数未満の数のワードからなる選択したマスクで乗算し、
前記乗算の結果を加算して各ブロックに対するブロックアクティビティ係数を発生し、
各ブロックに対して発生した前記ブロックアクティビティ係数の和として前記マクロブロックに対するマクロブロックアクティビティ係数を計算し、
前記マクロブロックアクティビティ係数の２倍と先行する符号化したフレームに対する平均アクティビティ係数との和と、前記平均アクティビティ係数の２倍と前記マクロブロックアクティビティ係数との和と、の間の比として前記マクロブロックの正規化したアクティビティ値を計算する、
ことを特徴とした方法。 - 請求項１において、前記選択したマスクが各マクロブロックに対しての異なるマスクからなるグループから選択されるものであることを特徴とする方法。
- 請求項２において、前記異なるマスクからなるグループが、イントラ符号化ビデオピクチャを有するマクロブロックに対する第１マスクと、イントラ符号化ではないビデオピクチャを有するマクロブロックに対する第２マスクを有していることを特徴とする方法。
- 請求項１において、前記ビデオピクチャをＭＰＥＧ２スダンダードに従って処理することを特徴とする方法。
- 請求項１において、前記ビデオピクチャの前記選択した成分がルミナンス成分を有していることを特徴とする方法。
- 請求項１において、前記マクロブロックを４個のブロックへ分割させることを特徴とする方法。
- 請求項１において、前記ビデオピクチャの前記選択した成分によって構成されるフレームがＮ行Ｍ列のマトリクスとして表現され、且つ前記マクロブロックがＲ行Ｓ列のマトリクスによって定義され、Ｎ／Ｒ及びＭ／Ｓが整数であることを特徴とする方法。
- 請求項７において、Ｒが１６に等しく且つＳが１６に等しいことを特徴とする方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP99830560.1 | 1999-09-08 | ||
| EP99830560A EP1083751B1 (en) | 1999-09-08 | 1999-09-08 | Measurement of activity of video images in the DCT domain |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001119698A JP2001119698A (ja) | 2001-04-27 |
| JP3935667B2 true JP3935667B2 (ja) | 2007-06-27 |
Family
ID=8243575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000273887A Expired - Lifetime JP3935667B2 (ja) | 1999-09-08 | 2000-09-08 | Ｄｃｔ及び予測エラー係数のフィルタリングによるビデオ画像の活動の測定 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6542643B1 (ja) |
| EP (1) | EP1083751B1 (ja) |
| JP (1) | JP3935667B2 (ja) |
| DE (1) | DE69940506D1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100755388B1 (ko) | 2006-01-13 | 2007-09-04 | 부산대학교 산학협력단 | 동영상 압축에서의 복원 오차 추정 방법 및 장치 |
| JP5363302B2 (ja) * | 2009-12-24 | 2013-12-11 | 株式会社メガチップス | 画像符号化装置及び画像変換装置 |
| CN102567961B (zh) * | 2010-12-30 | 2016-05-18 | 意法半导体研发(深圳)有限公司 | 感知块屏蔽估算系统 |
| US9930346B2 (en) * | 2014-04-15 | 2018-03-27 | Qualcomm Incorporated | System and method for flatness detection for display stream compression (DSC) |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69122595T2 (de) * | 1990-12-27 | 1997-03-20 | Toshiba Kawasaki Kk | Aufzeichnungs- und Abspielgerät |
| US5317397A (en) * | 1991-05-31 | 1994-05-31 | Kabushiki Kaisha Toshiba | Predictive coding using spatial-temporal filtering and plural motion vectors |
| JPH07505268A (ja) * | 1992-03-17 | 1995-06-08 | ゾーラン コーポレイション | 改良されたビットレート制御とブロック割り付けを有する画像圧縮コーダ |
| US5424778A (en) * | 1992-08-31 | 1995-06-13 | Victor Company Of Japan, Ltd. | Orthogonal transform coding apparatus and decoding apparatus |
| US5610659A (en) * | 1995-05-08 | 1997-03-11 | Futuretel, Inc. | MPEG encoder that concurrently determines video data encoding format and rate control |
| KR0186112B1 (ko) * | 1995-05-19 | 1999-04-15 | 구자홍 | 영상 시스템의 양자수 결정 장치 |
| US6101276A (en) * | 1996-06-21 | 2000-08-08 | Compaq Computer Corporation | Method and apparatus for performing two pass quality video compression through pipelining and buffer management |
| US6026217A (en) * | 1996-06-21 | 2000-02-15 | Digital Equipment Corporation | Method and apparatus for eliminating the transpose buffer during a decomposed forward or inverse 2-dimensional discrete cosine transform through operand decomposition storage and retrieval |
| WO1998041027A1 (en) * | 1997-03-12 | 1998-09-17 | Matsushita Electric Industrial Co., Ltd. | Video signal coding method and coding device |
-
1999
- 1999-09-08 EP EP99830560A patent/EP1083751B1/en not_active Expired - Lifetime
- 1999-09-08 DE DE69940506T patent/DE69940506D1/de not_active Expired - Lifetime
-
2000
- 2000-09-07 US US09/657,433 patent/US6542643B1/en not_active Expired - Lifetime
- 2000-09-08 JP JP2000273887A patent/JP3935667B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP1083751A1 (en) | 2001-03-14 |
| US6542643B1 (en) | 2003-04-01 |
| EP1083751B1 (en) | 2009-03-04 |
| JP2001119698A (ja) | 2001-04-27 |
| DE69940506D1 (de) | 2009-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100563756B1 (ko) | 디지탈 신호 변환 방법 및 디지탈 신호 변환 장치 | |
| KR100340369B1 (ko) | 화상부호화방법및장치 | |
| KR100874518B1 (ko) | 동화상 복호화 방법 및 장치 | |
| EP1999958B1 (en) | Method of reducing computations in intra-prediction mode decision processes in a digital video encoder | |
| JP4324844B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JPH09252469A (ja) | ディジタル・ビデオ・シーケンスをデコードする方法および装置 | |
| EP1449384A2 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
| KR930018537A (ko) | 디지탈 vtr의 영상신호 대역 압축장치 | |
| KR20040106364A (ko) | 복잡성이 감소된 복호화에 적합한 단층 비디오 부호화된비트열들을 제공하는 시스템 및 방법 | |
| JP4294095B2 (ja) | 動き補償予測処理及び、動き補償予測処理を用いた符号化器 | |
| RU2305377C2 (ru) | Способ уменьшения искажения сжатого видеоизображения и устройство для его реализации | |
| JPH0818979A (ja) | 画像処理装置 | |
| JP2003348597A (ja) | 画像符号化装置および画像符号化方法 | |
| JP3696490B2 (ja) | デコーダのビデオメモリ条件を減少させる方法及びビデオデコーダ | |
| JP3935667B2 (ja) | Ｄｃｔ及び予測エラー係数のフィルタリングによるビデオ画像の活動の測定 | |
| JP2001103521A (ja) | ビデオシーケンスにおけるプログレッシブ又はインターレースのコンテントを認識する方法 | |
| JP4264811B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| KR100991344B1 (ko) | 영상을 디코딩하는 방법 | |
| JP2002354484A (ja) | 符号化画像のレート変換方法、及び符号化画像レート変換装置 | |
| JP2005184525A (ja) | 画像処理装置 | |
| JP3416505B2 (ja) | 動画像復号化方法 | |
| JP3384739B2 (ja) | 動画像復号化方法 | |
| JP3862479B2 (ja) | ビデオダウンコンバージョンにおけるドリフトエラーを防ぐ方法 | |
| JP2007516639A (ja) | 符号化方法及び符号化装置 | |
| JPH0723395A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061220 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070319 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070327 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070320 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3935667 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070709 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120330 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130330 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140330 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |