JP5399416B2 - 参照フレームの圧縮を伴うビデオ符号化システム - Google Patents

参照フレームの圧縮を伴うビデオ符号化システム Download PDF

Info

Publication number
JP5399416B2
JP5399416B2 JP2010545492A JP2010545492A JP5399416B2 JP 5399416 B2 JP5399416 B2 JP 5399416B2 JP 2010545492 A JP2010545492 A JP 2010545492A JP 2010545492 A JP2010545492 A JP 2010545492A JP 5399416 B2 JP5399416 B2 JP 5399416B2
Authority
JP
Japan
Prior art keywords
data
encoding
data values
pattern
bits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010545492A
Other languages
English (en)
Other versions
JP2011511592A (ja
Inventor
イワノフ ユーリ
Original Assignee
リニア アルジェブラ テクノロジーズ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by リニア アルジェブラ テクノロジーズ リミテッド filed Critical リニア アルジェブラ テクノロジーズ リミテッド
Publication of JP2011511592A publication Critical patent/JP2011511592A/ja
Application granted granted Critical
Publication of JP5399416B2 publication Critical patent/JP5399416B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428Recompression, e.g. by spatial or temporal decimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、ビデオ符号化(コーディング)システムにおける、参照フレームを記憶する方法に関する。特に、本発明は、概して参照フレームを参照フレームバッファに記憶するときに、参照フレームバッファから圧縮構造の全体を読み出して解凍する必要なく参照フレームの一部にアクセスできるように、参照フレームを圧縮するためのシステムである。
ビデオ符号化(コーディング)システムにおいては、ビデオ画像の一時的な冗長性を、動き予測符号化を利用することにより取り除くことができることが基本的な態様である。その目的のために、例えば、MPEG−4、H.263、H.261およびH.264を含むビデオ符号化標準規格は内部メモリバッファを利用し、先に再構成された(参照)フレームを記憶する。それに続くフレームは、参照フレームから生じた変化を基準にして生成することができる。参照フレームを記憶する内部メモリバッファは、しばしば「参照フレームバッファ」と称される。
一定数の参照フレームを保持することは、参照フレームバッファ用に内部メモリを必要とするため、ビデオ符号化システムにおける設計上の制約の1つである。
この基本的な問題点に対する既知の解決策は、参照フレームを圧縮することである。特に、参照フレームの再構成後に参照フレームを圧縮し、それを参照フレームバッファに記憶してその後の使用に供することができる。必要なときは、特定の参照フレーム(または、その一部)を解凍し、動き予測符号化/復号化のために使用することができる。
当然のことながら、データまたは画像を圧縮する全ての方法がこの課題に適しているわけではない。ハフマンデータ圧縮やJPEG画像符号化のような方法は、その性質に基づいて複雑であり、特に符号化処理中、かなりの計算資源を要求する。さらに、これらの方法は、符号化データにおける空間的冗長性の程度に基づいて可変の圧縮率を提供し、そのため、圧縮構造が利用可能なメモリに適合することを保証できない。最後に、そのような方法で符号化された画像の一部は、全ての画像を解凍しなければアクセスすることができない。最近のビデオ符号化システムは、符号化を行うため、画像をより小さいブロック(「マクロブロック」と呼ばれる)に分割するコンセプトに基づいているので、個別のマクロブロックを処理するために画像全体を復号しなければならないことは、大きな欠点であると思われる。
結果として、ビデオ符号化システムにおいて、上述の圧縮方法を、参照を圧縮するための方法として利用することは困難である。
多くの研究者がビデオ符号化システムのためのメモリ要求を減少させようと試みてきた。その問題に対する現在の取り組みは、特許文献1(米国特許第5,825,424号)のように、低解像度でのサブサンプリングまたは画素値の低精度での切り捨てを使用する比較的単純な方法から、特許文献2(米国特許第6,272,180号)に記載されているように、ブロックに基づく2次元のハールウェーブレット変換を利用する複雑な技術にまで及んでいる。
米国特許第5,825,424号明細書 米国特許第6,272,180号明細書
上述の圧縮システムについて、ビデオ符号化システムにおいて参照フレームに一定の圧縮率を達成することは、ドリフトを誘発し、このドリフトは、復号段階で生ずる損失に起因する、再構成された映像品質で視認できる時間的繰り返しとして表れる。低解像度サブサンプリングのような単純な圧縮方法は、計算の複雑度が少ないという利点があるが、ドリフトがより大きいという欠点がある。ドリフトを減少させる試みは、方法を精緻化することになり、その結果、特に符号化処理中において、複雑さが大幅に増してきた。
本発明は、参照フレームバッファに記憶される参照フレームに対し、非可逆のデータ圧縮を利用することによって、ビデオコーディングシステムにおけるメモリ要求を減少させる。本発明が提供する参照フレームの記憶方法は、比較的ドリフトが少ないという利点を有し、特にビデオ符号化システムにおけるハードウェア実装に適している。これは、システムに対し、計算上の複雑さが少なく、少ないドリフトおよび50%の一定の圧縮率を可能にする。1つの重要な態様は、圧縮した参照フレームにアクセスすることができ、圧縮した参照フレームを、全てのフレームを読み出して解凍する必要なしに解凍できることである。このことは、例えば、ビデオ符号化システムにおいて利用されている、H.264,MPEG−5およびH.263のようなブロック構造の画像データに、特に適する。
したがって、本発明は、以下の記載で説明し、独立請求項で記載するシステムおよび方法を提供する。有利な特徴および実施形態を従属請求項において説明する。
本発明を、添付図面につき説明する。
本発明の圧縮装置を活用する、ビデオ符号化システムにおける参照フレームメモリの構成図である。 本発明のシステムによって符号化処理した参照フレーム内のブロックが、どのように圧縮メモリ内のバイトペアに対応するかを示す説明図である。 本発明の符号化処理におけるパターン選択段階を示す説明図である。 本発明の符号化処理アルゴリズムのバイトペアによる符号化処理を示す説明図である。 本明細書に記載の復号化処理を示す説明図である。 図3〜5の圧縮装置に使用することができるバイトペアの例示的なフォーマットを示す説明図である。 図3の符号化処理プロセスにおいて、オリジナルブロック中どのサンプルを抽出して、圧縮したバイトペアにおける色サンプルを形成するかを示す説明図である。 図7につき説明した、本発明の符号化/復号化処理方法に使用する再構成パターンを示す説明図である。 図3〜5の符号化および復号化処理において使用される代表的な方程式を示す説明図である。
以下に説明する実施形態は、例示を目的として選択したものであり、発明を限定するものではない。実際上、説明した実施形態に対し、多くの軽微な変更を、特別な実際の実施に際して行うことができる。
図1に示すように、本発明の圧縮装置を活用するビデオ符号化システムにおける参照フレームメモリ(RFM: Reference Frames Memory)の一般的な構造は、フレーム圧縮器1を備え、このフレーム圧縮器1は、図3および4につき以下に説明する圧縮アルゴリズムを使用する。
フレーム圧縮器1は、フレーム5からのデータブロック6のシーケンスとしてフレームを処理し、またブロックサイズを減縮したブロック7を有する対応するシーケンスを生成する。図示の例のように、2バイト×2バイトの各入力ブロックは、2バイト×1バイトのブロック(バイトペア)に縮小され、フレームを縮小サイズのメモリに記憶することができる。
ブロックサイズの縮小は、データブロック内における値の分布を解析し、また当該ブロックにおける4個のデータ値から、当該ブロックを代表する値として使用することができる2個のデータ値の分布パターンを選択することによって行う。分布パターンの選択は、最適な分布パターンを複数個の予め定義したパターンから選択するように行う。最適な分布パターンおよび対応する2個のデータ値を、各2×2のブロックに関して選択した後、パターンおよびデータ値を、2×2のブロックに対する圧縮構造を生ずるバイトペアに符号化処理(エンコーディング)する。
バイトペアは、圧縮したフレームメモリ2に記憶する。参照フレームまたは参照フレームの一部が要求されたとき、フレーム解凍器3が要求されたバイトペア7を2×2の再構成したブロックに解凍する。再構成したブロックをブロックメモリ4に記憶し、また最終的に、解凍したフレームまたは解凍したフレームの要求された一部分を形成する。解凍したフレームまたはフレームの一部分は、参照フレームまたは参照フレームの一部として使用することができ、またビデオ符号化システムにおいて通常通り使用することができる。ビデオコ符号化システムという用語は、本明細書で全体的に用い、またビデオ符号化処理(エンコーディング)またはビデオ復号化処理(デコーディング)システムと称することができることを理解されたい。
典型的には、参照フレームは、ビデオ符号化システムにおいてYUV色空間で記憶する。本発明はYUVに適しているが、YUVに限定するものではない。YUVの画像圧縮においては、各色成分(Y、UまたはV)は、例えば8ビットのような固定長を有する。好適には、本明細書に記載する符号化および復号化処理は、各色成分に対して独立して実行する、すなわちY、UおよびVに対して独立に実行する。
圧縮プロセスにおいて導入される量子化は、符号化処理前のオリジナルブロックの色サンプルは、復号化処理後の再構成したブロックのサンプルとは等しくないことを意味する。しかし、他の画像圧縮技術と同様に、本発明も人間の目には若干の損失をほとんど感知できないという事実を利用している。
図2に示すように、本発明の利点の1つは、フレームバッファ内で個別の圧縮したバイトペアに対するアクセスは、圧縮していない状態でのフレームバッファ内の対応2×2ブロックに対するアクセスと同程度に簡単であることである。この例示的な実施形態では、バイトペア7は、圧縮したフレームメモリ2において画像のx軸に沿って水平方向に整列し、圧縮した構造の範囲が、オリジナルのフレーム範囲に対し、x軸については同一であるが、y軸については半分となるように整列させる。このようにして、オリジナルフレーム5の全ての2×2ブロック6に対して、圧縮したフレームメモリ2内に対応するバイトペア7が存在する。このような圧縮したメモリ構成により、全てのフレームを解凍する必要なしに特定の2×2サブブロックに容易にアクセスすることができる。圧縮した構造内のバイトペアにおける第1バイトの位置を示すx軸のインデックス値は、圧縮していないフレーム内の2×2サブブロックにおける第1バイトの位置を示す値と同じであり、圧縮した構造内のy軸のインデックスは、圧縮していない構造内におけるy軸インデックスの半分の値だからである。さらに、アドレス指定および圧縮/解凍は、ビデオ符号化器の他の部分が圧縮を無視できるように、フレームバッファにアクセスするためのハードウェアに固有のものとすることができる。
符号化処理のプロセスを図3および4につき以下に説明する。符号化処理のプロセスは2段階で実行する。すなわち、図3に示すパターン決定ES1、および図4に示す量子化ES2およびモードビット挿入ES3からなるバイトペア符号化処理である。
パターン決定ES1中に、解凍により発生する可能性がある損失は、図8に示す7個の予定義した再構成パターンのそれぞれについての歪みを計算することにより見積もる。オリジナルブロックが最小の歪みとなるパターンを、バイトペア符号化処理(ES2およびES3)のための最適パターンとして選択する。2×2のブロックサイズを用いることは、当然、この計算のハードウェアを過度に複雑化することなしに実現できることを意味する。
まず、図7に示すように、ES1処理中に2個の色サンプルを選択する(ステップ8)。次に、第1の再構成パターンを生成し(ステップ9)、オリジナルの2×2ブロックと再構成したブロックとの間の歪みを計算する(ステップ10)。歪みは、多くの異なる方法を使用して計算することができる。例えば、図9に示すSSD(Sum of Squared Differences)関数またはSAD(Sum of Absolute Differences)関数を使用して計算することができる。SSD関数は、SAD関数よりも良い結果を得ることができるが、多くの計算を必要とする。この方法について、SSD関数を用いる場合を参照して、さらに説明する。この方法においては、その時点で検査しているパターンのSSD関数を、先に検査したパターンで見出した最小のSSDと比較する(ステップ11)。新たに計算したSSDが最小のSSDより小さい場合、それに対応するパターンをバイトペア符号化処理のための好適パターンとして一時的に選択し、その時点におけるSSDを最小のSSDとして設定する(ステップ12)。
このプロセスを、各パターンについて繰り返し、全てのパターンを検査したとき(ステップ14)、その時点で識別した好適パターンを当該ブロックのための最終パターンとして選択する。選択したサンプルは、量子化処理ES2に引き渡す。全てのパターンをまだ検査していない場合は、次のパターンを選択する(ステップ15)。歪みがパターンに対する最小の閾値(例えば、ゼロ)以下であるかを判定するイベント13における好適パターンの選択プロセス中に、このパターンを最終の好適パターンとして選択し、残りのパターンについての歪み計算を、不要であるとして省略することができる。
統計的には、あるパターンが好適パターンとして、識別されることがよくある。したがって、統計的に最も適切な順序でパターンを調べることにより、符号化処理速度を改善することができる。すなわち、最も可能性の高いものから最も可能性の低いものへの順序でパターンを調べる。図7に示すパターン検査順序は、0,1,2,30,31,32および33の順序である。図7には7個のパターンを示しがが、この個数は、必要に応じて例えば3個に減らすことができると理解されたい。図示のように、パターン0を最初に検査し、パターン7を最後に検査する。
図4に、バイトペアの符号化処理プロセスを示す。このプロセスには、2個のオリジナル色サンプルの量子化ES2、および、1つまたは2つのモードビットの挿入ES3が含まれる。図6に示すように、モードビットは、バイトペアの各バイト内の最も高次のビットの位置にパターン番号を表す。
量子化ES2中に、色成分を表すために必要とされるビット個数を減らして、圧縮したデータ内でパターンを符合化処理できるようにする。データ値は、選択したパターンに基づいて、8ビットから7または6ビットに減らすことができる。このようにして、選択したパターンが3xの場合(ステップ16)、色サンプルを6ビットで量子化する(ステップ18)。パターン0−2については、色サンプルは7ビットで量子化する(ステップ17)。量子化は、最下位ビットまたは最下位ビットを含む複数の下位ビットを削除することにより実行する。例えば、図9に示すように、色値を量子化係数(2または4)で割ることにより実行する。質の損失を減らすため、図9に示すように、浮動少数による割り算の後に丸めおよびクリッピングをする量子化式を使用することができる。
量子化プロセスが完了した後、バイトペアには、図4に示すモードビットの挿入ES3のための空白がある。このモードビットの挿入は、一次モードビットの挿入(ステップ19)、および、モード3xに対しては、二次モードビットの挿入(ステップ21)を伴う。モードビットを使用して、再構成中に使用すべき好適パターンを識別する。
図6に、特定モードビットの配列を示す。バイトペア7におけるバイト29および30のそれぞれについて、一次モードビット31が、バイトの最上位ビットの位置に挿入する。モード0−2については、それぞれのバイトペア内のビット6〜0が、量子化した色を表す。モード30−7については、バイトペア7におけるバイト29および30のそれぞれについて、二次モードビット32を、第6ビットの位置に挿入する。量子化した色サンプルは、それぞれ6ビット長であり、ビット5〜0に配置する。
図5に復号化処理プロセスを示す。このプロセスは、モードビットの抽出DS1、パターン番号の決定、バイトペアの逆量子化DS2および2×2ブロックの再構成DS3からなる。
DS1において、まず一次ビット31を抽出し、その両方が「1」である場合(ステップ23)、これは、3xモードを使用したことを示し、二次モードビット32も抽出する(ステップ24)。
続いて、色サンプルを一次モードビットに基づいて逆量子化する(ステップ25、27)。DS2においては、図9に示すように、量子化した値に逆量子化係数をかけることにより(左に1または2ビットシフト)、色成分を表すために必要なビット数を8に増やす。逆量子化係数は、モードに基づいて2または4のどちらかである。モード0−2については、量子化係数として2を選択する(ステップ27)。一方、モード30−7については、量子化係数として4を選択する(ステップ25)。
最後に、DS3ステップにおいて、図8に示すように、モードビット31および32(モード3xの場合)をパターン番号として使用して、先にステップDS2で得られた逆量子化した色サンプルと合わせて、2×2ブロックを再構成する(ステップ26、28)。
図7は、ES1のステップ8での符号化処理において、オリジナルの2×2ブロック6のどの位置を使用して色サンプルを得るかを示す。モード0−2については、これらは2つの色または平均値とすることができる。モード30−7については、バイトペア7におけるバイトB30を、図9に示すように3つの色サンプルの平均として計算することができる。メディアン値のような他の値を使用することもできる。
図8は、当該方法に用いられる再構成パターン、すなわち、どのように2個の色サンプルを使用し、2×2の4個の色サンプルブロックを形成するかを示す。モード0−2においては、バイトペアのそれぞれのバイトは、水平方向(パターン0)、垂直方向(パターン1)、または、水平方向の交換(パターン2)のいずれかの方法で2色にサブサンプリングする。モード30−7においては、バイトA29は1つの色サンプルの形成に使用し、一方、バイトB30は3つの色サンプルを形成する。その場合、二次モードビット32は、2×2の再構成ブロックにおけるバイトA29の位置を決定する。
図9は、当該方法に使用することができる代表的な式を示す。差の2乗和(SSD:Sum of Squared Differences)は、ES1のステップ10で、ひずみの計算に用いる。3つの画素の平均値を、ES1のステップ8において用い、色サンプル29および30を得る。量子化式は、符号化処理ES2における量子化段階17および18で用いる。逆量子化式は、DS3の復号化処理段階25および27で用いる。
本発明を実施形態に基づいて説明したが、これらに限定するものではなく、また、添付の特許請求の範囲に記載されるように、本発明の精神および範囲から逸脱することなく様々な変更を加えることを理解されたい。

Claims (20)

  1. 参照フレームを個別のデータブロックのシーケンスに分割するステップを有して、前記参照フレームを参照フレームバッファに記憶する方法であって、それぞれのデータブロックは4個のデータ値を有し、前記シーケンスにおける個別のデータブロックに対して以下のステップを行う、すなわち、
    個別のデータブロックに適した、符号化モード及び符号化処理パターンを決定する決定ステップであり、前記符号化処理パターンは、データ値の縮小したセットを採用し、かつ前記符号化処理パターンは、予め定義した符号化処理パターンのセットから選択するものとした、該決定ステップと、
    前記決定ステップに基づいて圧縮したデータブロックを生成するデータブロック生成ステップであって、前記データ値の縮小したセットのそれぞれのデータ値を示すビット数を減少させるビット数減少ステップを備え、前記ビット値減少ステップは決定された符号化モードに基づき、前記圧縮されたデータブロックは縮小したデータ値のセットと、当該データブロック生成ステップに用いられる前記符号化処理パターンの識別情報とを含み、それぞれのデータ値は縮小したビット数を有する、データブロック生成ステップと、
    前記圧縮したデータブロックを前記参照フレームバッファに記憶するステップと、
    を行い、
    前記データブロック生成ステップに用いられる記符号化処理パターンの前記識別情報は、前記ビット数減少ステップに用いられる前記符号化モードの識別情報を備えることを特徴とする参照フレーム記憶方法。
  2. 請求項1に記載のデータブロックを圧縮する方法において、前記縮小したデータ値のセットは2つのデータ値を有するものとした、方法。
  3. 請求項に記載のデータブロックを圧縮する方法において、前記符号化モードは、
    前記2つのデータ値が8ビットから7ビットに縮小され、前記データブロック生成ステップに用いられる記符号化処理パターンの識別情報が2ビットから成る第1の符号化モードと、
    前記2つのデータ値が8ビットから6ビットに縮小され、前記データブロック生成ステップに用いられる記符号化処理パターンの識別情報が4ビットから成る第2の符号化モードとの、
    2つの符号化モードを備える、方法。
  4. 請求項に記載の方法において、前記縮小したデータ値のセットにおける第1の値は、前記個別のデータブロックにおける前記データ値の1つとした、方法。
  5. 請求項に記載の方法において、前記縮小したデータ値のセットにおける第2の値は、以下のものから選択した、すなわち、
    a)前記個別のブロックにおける他のデータ値、または、
    b)前記個別のブロックにおける他のデータ値の平均値
    から選択する、方法。
  6. 請求項1〜のいずれか一項に記載の方法において、前記シーケンスの各データブロックは、2個のx軸方向要素×2個のy軸方向要素を有するブロックとした、方法。
  7. 請求項1〜のいずれか一項に記載の方法において、前記データ値は、8ビット長とした、方法。
  8. 請求項1〜のいずれか一項に記載の方法において、前記符号化処理パターンの選択は、前記予め定義した符号化処理パターンのセットから最も損失が少ない符号化処理パターンを決定するステップによって行う、方法。
  9. 請求項1〜のいずれか一項に記載の方法において、前記縮小したデータ値のセットは、圧縮している前記データブロックの前記データ値よりビット長が短いものとした、方法。
  10. 請求項1〜のいずれか一項に記載の参照フレームを圧縮する方法において、前記フレームは3つの色成分を含み、前記3つの色成分のそれぞれを個別に圧縮する、方法。
  11. 請求項10に記載の画像を圧縮する方法において、前記3つの色成分は、Y、UおよびV成分とした、方法。
  12. 請求項1〜11のいずれか一項の方法を採用して、参照フレームを記憶するビデオコーデック。
  13. 参照フレームバッファを有するビデオ符号化システムであって、前記ビデオ符号化システムは、前記参照フレームバッファ内に圧縮した参照フレームを記憶するための圧縮エンジンを備え、前記圧縮エンジンは、圧縮すべき前記参照フレームのデータ値を4個の隣接データ値を含むデータブロックにグループ分けするよう構成し、
    前記圧縮エンジンは、
    各個別のデータブロックに対し2個のデータ値を含むデータ値の縮小したセット、符号化モード及び符号化処理パターンを選択して、前記データ値の縮小したセットから前記データブロックを再構成する最適物推定器と、
    選択した前記符号化処理パターンの識別情報とともに前記データ値の縮小したセットを符号化処理して圧縮したデータブロックを提供し、また、前記圧縮したデータブロックを前記参照フレームバッファに記憶するエンコーダであって、前記選択した前記符号化処理パターンの識別情報が、前記選択した符号化モードの識別情報を含むエンコーダと、
    を備え、
    前記最適物推定器は、
    前記エンコーダが前記2つのデータ値を8ビットから7ビットに縮小し、前記選択した前記符号化処理パターンの識別情報が2ビットから成る第1の符号化モードと、
    前記エンコーダが前記2つのデータ値を8ビットから6ビットに縮小し、前記選択した前記符号化処理パターンの識別情報が4ビットから成る第2の符号化モードとの、
    いずれか一方の符号化モードを選択することを特徴とするビデオ符号化システム。
  14. 請求項13に記載のビデオ符号化システムにおいて、前記データブロックは、2個のx軸成分×2個のy軸成分を有するブロックを含む、ビデオ符号化システム。
  15. 請求項13または14に記載のビデオ符号化システムにおいて、前記参照フレーム内における個別のデータ値の長さは、前記圧縮したフレームにおける前記個別のデータ値の長さおよび選択した符号化処理パターンの識別情報と同一である、ビデオ符号化システム。
    、ビデオ符号化システム。
  16. 請求項1315のいずれか一項に記載のビデオ符号化システムにおいて、さらに、前記フレームバッファから少なくとも1個の圧縮したデータブロックを読み出し、また、前記ビデオ符号化システムから要求されたとき、前記少なくとも1個の圧縮したデータブロックを解凍する解凍エンジンを備えた、ビデオ符号化システム。
  17. データブロックのシーケンスを含む圧縮したフォーマットで参照フレームを記憶するフレームバッファを有するビデオ符号化システムであって、各データブロックは、予め定義した符号化処理パターンの識別情報を組み込んだ2個のデータ値を含むものとし、前記2個のデータ値は6〜7ビット長とし、前記予め定義した符号化処理パターンの識別情報は、符号化モードの識別情報を備え、前記ビデオ符号化システムは解凍エンジンを備え、前記解凍エンジンは、
    a)前記フレームバッファにおける前記記憶したデータブロックのシーケンスから、データブロックを読み出すステップ
    b)前記ステップa)で読み出したデータブロックから、前記符号化モード及び前記符号化処理パターンの、前記識別情報を抽出するステップ
    c)前記ステップa)で読み出したデータブロックから、前記2個のデータ値を抽出するステップ
    d)8ビット長になるように、前記ステップc)で抽出した前記2個のデータ値のそれぞれに、前記符号化モードに基づき、1つまたは2つのゼロを追加するステップ、
    )前記識別した符号化処理パターンにしたがって、4個の値のデータブロックに前記ステップd)でゼロが追加された2個のデータ値を再構成することによって、圧縮していないデータブロックを再構成するステップ、
    を実行するよう構成された、ビデオ符号化システム。
  18. 請求項17に記載のビデオ符号化システムにおいて、前記再構成されたデータブロックは、2個のx軸要素×2個のy軸要素からなるブロックとした、ビデオ符号化システム。
  19. 請求項17または18に記載のビデオ符号化システムにおいて、前記参照フレームは、3個の映像成分を含む、ビデオ符号化システム。
  20. 請求項19に記載のビデオ符号化システムにおいて、前記成分は、Y、UおよびV成分とした、ビデオ符号化システム。
JP2010545492A 2008-02-08 2009-02-06 参照フレームの圧縮を伴うビデオ符号化システム Active JP5399416B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB0802310.3 2008-02-08
GB0802310A GB2457262A (en) 2008-02-08 2008-02-08 Compression / decompression of data blocks, applicable to video reference frames
PCT/EP2009/051415 WO2009098315A1 (en) 2008-02-08 2009-02-06 A video coding system with reference frame compression

Publications (2)

Publication Number Publication Date
JP2011511592A JP2011511592A (ja) 2011-04-07
JP5399416B2 true JP5399416B2 (ja) 2014-01-29

Family

ID=39204438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010545492A Active JP5399416B2 (ja) 2008-02-08 2009-02-06 参照フレームの圧縮を伴うビデオ符号化システム

Country Status (7)

Country Link
US (1) US20110002396A1 (ja)
EP (1) EP2250815A1 (ja)
JP (1) JP5399416B2 (ja)
KR (1) KR20100117107A (ja)
CN (1) CN101971633A (ja)
GB (1) GB2457262A (ja)
WO (1) WO2009098315A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6049017B2 (ja) 2010-04-07 2016-12-21 リグオリ,ヴィンチェンツォLIGUORI,Vincenzo メモリ要求低減ビデオ送信システム
US8594177B2 (en) * 2010-08-31 2013-11-26 Arm Limited Reducing reference frame data store bandwidth requirements in video decoders
JP5573516B2 (ja) * 2010-09-06 2014-08-20 富士通株式会社 画像処理装置
US8228216B2 (en) 2010-09-08 2012-07-24 Hewlett-Packard Development Company, L.P. Systems and methods for data compression
CN103329527B (zh) 2011-01-12 2017-03-01 西门子公司 在视频编码器中参考图像的压缩和解压缩
KR101307406B1 (ko) * 2011-08-05 2013-09-11 한양대학교 산학협력단 참조 프레임을 압축하여 저장하는 영상 부호화/복호화 장치
JP5597175B2 (ja) * 2011-09-26 2014-10-01 株式会社東芝 画像圧縮装置及び画像処理システム
US9251116B2 (en) * 2011-11-30 2016-02-02 International Business Machines Corporation Direct interthread communication dataport pack/unpack and load/save
US20140092969A1 (en) * 2012-10-01 2014-04-03 Mediatek Inc. Method and Apparatus for Data Reduction of Intermediate Data Buffer in Video Coding System
KR101834236B1 (ko) 2013-04-02 2018-03-06 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
CN104371808A (zh) * 2014-10-29 2015-02-25 合肥市华阳工程机械有限公司 一种抗磨损防锈油
US10798396B2 (en) 2015-12-08 2020-10-06 Samsung Display Co., Ltd. System and method for temporal differencing with variable complexity
US10418002B2 (en) * 2016-10-18 2019-09-17 Mediatek Inc. Merged access units in frame buffer compression
CN108804508B (zh) * 2017-04-25 2022-06-07 联发科技股份有限公司 一种存储输入图像的方法及系统
CN108810556B (zh) * 2017-04-28 2021-12-24 炬芯科技股份有限公司 压缩参考帧的方法、装置及芯片
CN111194552A (zh) * 2017-08-04 2020-05-22 英托皮克斯公司 运动补偿参考帧压缩

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4281312A (en) * 1975-11-04 1981-07-28 Massachusetts Institute Of Technology System to effect digital encoding of an image
GB2190560B (en) * 1986-05-08 1990-06-20 Gen Electric Plc Data compression
JPH0342969A (ja) * 1989-07-10 1991-02-25 Canon Inc カラー画像情報符号化方式
JPH04229790A (ja) * 1990-12-25 1992-08-19 Sony Corp 画像データの伝送装置および画像データの伝送方法
US5434623A (en) * 1991-12-20 1995-07-18 Ampex Corporation Method and apparatus for image data compression using combined luminance/chrominance coding
US5440346A (en) * 1993-06-16 1995-08-08 Intel Corporation Mode selection for method and system for encoding images
JPH07143481A (ja) * 1993-11-17 1995-06-02 Fujitsu Ltd 符号データのデータ量削減方法および装置
FI97096C (fi) * 1994-09-13 1996-10-10 Nokia Mobile Phones Ltd Videonkompressiomenetelmä
JPH08116539A (ja) * 1994-10-17 1996-05-07 Hitachi Ltd 動画像符号化装置と動画像符号化方法
US5552832A (en) * 1994-10-26 1996-09-03 Intel Corporation Run-length encoding sequence for video signals
JPH08275153A (ja) * 1995-03-29 1996-10-18 Sharp Corp 画像圧縮装置および画像復元装置
JP3575508B2 (ja) * 1996-03-04 2004-10-13 Kddi株式会社 符号化動画像再生装置
JP3918263B2 (ja) * 1997-01-27 2007-05-23 ソニー株式会社 圧縮符号化装置および符号化方法
JP3384727B2 (ja) * 1997-11-05 2003-03-10 三洋電機株式会社 画像復号装置
JPH11146394A (ja) * 1997-11-05 1999-05-28 Fuji Xerox Co Ltd 画像分析装置および画像符号化復号装置
GB2362055A (en) * 2000-05-03 2001-11-07 Clearstream Tech Ltd Image compression using a codebook
EP1198139A1 (en) * 2000-10-13 2002-04-17 Matsushita Electric Industrial Co., Ltd. Method and apparatus for encoding video fields
WO2003043347A1 (en) * 2001-11-16 2003-05-22 Ntt Docomo, Inc. Image encoding method, image decoding method, image encoder, image decode, program, computer data signal, and image transmission system
WO2003092169A1 (en) * 2002-04-26 2003-11-06 Ntt Docomo, Inc. Signal encoding method, signal decoding method, signal encoding device, signal decoding device, signal encoding program, and signal decoding program
TWI273832B (en) * 2002-04-26 2007-02-11 Ntt Docomo Inc Image encoding device, image decoding device, image encoding method, image decoding method, image decoding program and image decoding program
US7088777B2 (en) * 2002-11-22 2006-08-08 Microsoft Corp. System and method for low bit rate watercolor video
JP4213646B2 (ja) * 2003-12-26 2009-01-21 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。
US7426296B2 (en) * 2004-03-18 2008-09-16 Sony Corporation Human skin tone detection in YCbCr space
US8503521B2 (en) * 2007-01-16 2013-08-06 Chih-Ta Star SUNG Method of digital video reference frame compression

Also Published As

Publication number Publication date
US20110002396A1 (en) 2011-01-06
WO2009098315A1 (en) 2009-08-13
CN101971633A (zh) 2011-02-09
JP2011511592A (ja) 2011-04-07
GB2457262A (en) 2009-08-12
GB0802310D0 (en) 2008-03-12
KR20100117107A (ko) 2010-11-02
EP2250815A1 (en) 2010-11-17

Similar Documents

Publication Publication Date Title
JP5399416B2 (ja) 参照フレームの圧縮を伴うビデオ符号化システム
KR101266577B1 (ko) 화상 처리 방법 및 장치
US8873625B2 (en) Enhanced compression in representing non-frame-edge blocks of image frames
JP2017184250A (ja) 係数圧縮を用いて復号するための装置及び方法
US20180014036A1 (en) Method and apparatus for encoding/decoding images considering low frequency components
US10225569B2 (en) Data storage control apparatus and data storage control method
US20190068981A1 (en) Storing and retrieving lossy-compressed high bit depth image data
Kuo et al. A hybrid algorithm for effective lossless compression of video display frames
US20200195933A1 (en) Method for encoding and decoding images, device for encoding and decoding images and corresponding computer programs
TWI479456B (zh) 使用誤差平面編碼的數據壓縮方法及裝置
CN108347602B (zh) 用于无损压缩视频数据的方法和装置
JP2010098352A (ja) 画像情報符号化装置
KR102267792B1 (ko) 이미지 블록에 관한 픽셀-도메인 전처리 동작들에 기초한 이미지 블록 코딩
JP2015019364A (ja) 画像圧縮装置及び方法
CN116866591A (zh) 一种图像编码方法、装置及计算机设备、介质
US20150281689A1 (en) Method of coding and decoding images, a coding and decoding device, and corresponding computer programs
US10045022B2 (en) Adaptive content dependent intra prediction mode coding
CN106954074B (zh) 一种视频数据处理方法和装置
TWI795635B (zh) 圖像解碼裝置、圖像解碼方法及程式
US20160057435A1 (en) Apparatus and method for encoding
KR20150096353A (ko) 이미지 인코딩 시스템, 디코딩 시스템 및 그 제공방법
Singh et al. A brief introduction on image compression techniques and standards
US11515961B2 (en) Encoding data arrays
Sathappan et al. Block based prediction with Modified Hierarchical Prediction image coding scheme for Lossless color image compression
JP3781012B2 (ja) 画像データ圧縮方法、画像データ伸長方法、および画像データ伸長回路

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121030

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130129

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130226

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130305

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130328

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131023

R150 Certificate of patent or registration of utility model

Ref document number: 5399416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250