JP3824578B2 - 固定演算量を有する動映像の符号化方法及びその装置 - Google Patents

固定演算量を有する動映像の符号化方法及びその装置 Download PDF

Info

Publication number
JP3824578B2
JP3824578B2 JP2002353026A JP2002353026A JP3824578B2 JP 3824578 B2 JP3824578 B2 JP 3824578B2 JP 2002353026 A JP2002353026 A JP 2002353026A JP 2002353026 A JP2002353026 A JP 2002353026A JP 3824578 B2 JP3824578 B2 JP 3824578B2
Authority
JP
Japan
Prior art keywords
discrete cosine
cosine transform
complexity
unit
motion estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002353026A
Other languages
English (en)
Other versions
JP2003259372A (ja
Inventor
秉哲 宋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2003259372A publication Critical patent/JP2003259372A/ja
Application granted granted Critical
Publication of JP3824578B2 publication Critical patent/JP3824578B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は動映像符号化システムに係り、特に、演算複雑度を一定に維持する動映像符号化方法及びその装置に関する。
【０００２】
【従来の技術】
パソコンのＣＰＵの性能が向上され、且つ、高性能のメディアプロセッサが開発されるに伴い、既存にハードウェアにより具現されていた動映像の符号化技術が次第にソフトウェアにより具現されてきている。これにより、動映像をリアルタイムにて圧縮して復元するためには、計算量を効果的に減らし得る方案が要される。例えば、Ｈ．２６３動映像エンコーダにおいて、ｎ−ステップ探索を適用して動きを推定するとしたとき、離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、以下、ＤＣＴ）／逆離散コサイン変換（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ 、以下、ＩＤＣＴ）モジュールが全体のエンコーダにおいて占める割合が平均的に３０％ほど高い。この演算複雑度を減らすために、従来のエンコーダは、ＤＣＴスキップ技術を用いていた。
【０００３】
図１は、従来のＤＣＴスキップ技術を適用した動映像符号化システムを示すブロック図である。
まず、入力される映像データはＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）単位で構成される。ＤＣＴ部１２０は、映像データの空間冗長性を得るために、８×８ブロック単位にＤＣＴを行う。量子化部（Ｑ）１３０は、ＤＣＴ部１２０においてＤＣＴされた映像データを量子化する。逆量子化部（ＩＱ）１５０は、Ｑ １３０において量子化された映像データを逆量子化する。ＩＤＣＴ部１６０は、ＩＱ １５０において逆量子化された映像データをＩＤＣＴする。フレームメモリ１７０は、ＩＤＣＴ部１６０においてＩＤＣＴされた映像データをフレーム単位に貯蔵する。動き推定（ＭＥ）部１８０は、入力される現在フレームの映像データ及びフレームメモリ１７０に貯蔵された以前のフレームの映像データを用いて動きベクトル（ＭＶ）及びマクロブロック当たり絶対差の和（ＳＡＤ：ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）を推定する。可変長符号化（ＶＬＣ）部１４０は、ＭＥ部１８０において推定されたＭＶにより量子化された映像データの統計的な冗長性を除去する。
【０００４】
ＤＣＴスキップ部１１０は、ＭＥ部１８０において推定されたブロック当たりＳＡＤ及びＱ １３０において生じる量子化パラメータ（ＱＰ）をしきい値Ｔと比較し、ＤＣＴ部１２０に８×８ブロック単位のＤＣＴスキップ情報を与える。すなわち、ＤＣＴスキップ部１１０は、ＳＡＤ／ＱＰがしきい値Ｔより小さければ、ＥＯＢ（ｅｎｄ ｏｆ ｂｌｏｃｋ）が０に近い可能性が高いために強制的にｎｏｔ−ｃｏｄｅｄを作る一方、ＳＡＤ／ＱＰがしきい値Ｔより大きければ、ＤＣＴ部１２０をしてＤＣＴを行わせる。しかし、所定のしきい値Ｔが映像シーケンス内において一定値に固定される場合、マクロブロックまたはフレーム別にＤＣＴ演算複雑度が変わる。特に、パソコンやメディアプロセッサにおいて具現されたソフトウェア動映像エンコーダの場合、ＤＣＴ演算複雑度がマクロブロックまたはフレーム別に変われば、プロセッサの限られた演算複雑度が原因となってリアルタイムエンコーディングが不能になるといった問題点がある。
【０００５】
【発明が解決しようとする課題】
本発明が解決しようとする技術的な課題は、ＭＥの演算量の変化分をＤＣＴモジュールに適用することにより、映像の特性に関係なく動映像エンコーダの演算複雑度を一定に維持する動映像符号化方法及びその装置を提供するところにある。
【０００６】
【課題を解決するための手段】
前記技術的な課題を解決するために、本発明の動映像符号化方法は、（ａ）映像データからＭＥ演算複雑度を計算して目標のＭＥ演算複雑度に対する変化分を推定する過程と、（ｂ）前記（ａ）過程において推定されたＭＥ演算複雑度に対する変化分に基づき目標のＤＣＴ複雑度を更新する過程と、（ｃ）前記（ｂ）過程において更新された目標のＤＣＴ演算複雑度に基づき映像データのＤＣＴスキップのためのしきい値を設定する過程と、（ｄ）前記（ｃ）過程において設定されたしきい値に基づき映像データに対するＤＣＴスキップを調節する過程とを含むことを特徴とする。
【０００７】
前記他の技術的な課題を達成するために、本発明の動映像符号化装置は、入力される映像データに対してブロック別にＤＣＴを行うＤＣＴ部と、前記ＤＣＴ部においてＤＣＴされた映像データを量子化する量子化部と、入力される映像データ及び以前のフレームの映像データを用いて動きベクトル及びマクロブロック当たりＳＡＤを演算するＭＥ部と、前記ＭＥ部の演算複雑度を計算して目標のＭＥ演算複雑度に対する変化分を推定し、該推定されたＭＥ演算複雑度に対する変化分に基づき目標のＤＣＴの演算複雑度を更新するＤＣＴ演算量計算部と、前記ＤＣＴ演算量計算部の更新された目標のＤＣＴの演算複雑度に基づきＤＣＴスキップのためのしきい値を設定し、ＭＥ部において生じるブロック当たりＳＡＤ及び量子化部において生じるＱＰを前記しきい値と比較してＤＣＴ部によるＤＣＴスキップを行うか否かを決めるＤＣＴスキップ部とを備えることを特徴とする。
【０００８】
【発明の実施の形態】
以下、添付した図面に基づき、本発明の好ましい実施の形態について説明する。
図２は、本発明に係る動映像符号化装置の全体ブロック図である。
図２を参照すれば、入力映像データは、８×８ブロック単位のフレームで構成される。
【０００９】
ＤＣＴ部２２０は、入力される映像データをＤＣＴスキップ部２９０において生じるＤＣＴスキップ制御信号に基づき８×８ブロック単位にＤＣＴするか、あるいはｎｏｔ−ｃｏｄｅｄとして処理する。Ｑ・２３０は、ＤＣＴ部２２０においてＤＣＴされた映像データを量子化する。ＶＬＣ部２４０は、量子化された映像データの統計的な冗長性を除去する。ＩＱ・２５０は、Ｑ・２３０において量子化された映像データを逆量子化する。ＩＤＣＴ部２６０は、ＩＱ・２５０において逆量子化された映像データを逆ＤＣＴする。フレームメモリ２７０は、ＩＤＣＴ部２６０においてＩＤＣＴされた映像データをフレーム単位に貯蔵する。ＭＥ部２８０は、入力される現在フレームの映像データ及びフレームメモリ２７０に貯蔵された以前のフレームの映像データを用いてＭＶ及びマクロブロック当たりＳＡＤを推定する。
【００１０】
ＤＣＴ演算量計算部２８４は、以前のフレームからＭＥ部２８０の全体演算複雑度を計算して目標のＭＥ演算複雑度に対する変化分を推定し、該推定されたＭＥ演算量の変化分に基づき目標のＤＣＴ演算複雑度を更新する。
ＤＣＴスキップ部２９０は、更新された目標のＤＣＴ演算複雑度に基づき現在フレームのＤＣＴスキップを行うためのしきい値Ｔｏｎ＋１を設定し、ＭＥ部２８０において推定されたマクロブロック当たりＳＡＤ及びＱ・２３０において推定されたＱＰをしきい値Ｔｏｎ＋１と比較してＤＣＴ部２２０にＤＣＴスキップ情報を与える。
【００１１】
図３は、図２のＤＣＴ演算量計算部２８４の詳細図である。
図３を参照すれば、ＭＥ演算量計算部３１０は、ＭＥ部２８０から入力されるマクロブロック当たり探索点の数の平均を取るか、あるいはマクロブロック当たり探索点の数の和を取って現在フレームの総ＭＥ演算複雑度Ｓｎを計算する。
目標のＤＣＴ演算量計算部３２０は、ＭＥ演算量計算部３１０において計算された以前のフレームの総ＭＥ演算複雑度Ｓｎと目標のＭＥ演算複雑度Ｓｔとを比較してＭＥ演算複雑度の変化分を抽出し、該ＭＥ演算複雑度の変化分を目標のＤＣＴ演算複雑度Ｃｔに加えた後に更新された目標のＤＣＴ演算複雑度Ｃ′ ｔを算出する。
【００１２】
図４は、図２のＤＣＴスキップ部２９０の詳細図である。
図４を参照すれば、しきい値計算部４１０は、ＭＥ演算複雑度の変化分の取り込まれた更新された目標のＤＣＴ演算複雑度Ｃ′ ｔに基づき現在フレームのしきい値Ｔｏｎ＋１を計算する。
【００１３】
ＤＣＴスキップ決定部４２０は、ＭＥ部２８０において推定されたマクロブロック当たりＳＡＤ及びＱ・２３０において推定されたＱＰを現在フレームのしきい値Ｔｏｎ＋１と比較し、ＤＣＴ部２２０によるＤＣＴスキップを行うか否かを決める。すなわち、ＤＣＴスキップ決定部４２０は、ＳＡＤ／ＱＰがしきい値Ｔｏｎ＋１より小さければ、ＥＯＢが０に近い可能性が高いために強制的にｎｏｔ−ｃｏｄｅｄを作る一方、ＳＡＤ／ＱＰがしきい値Ｔｏｎ＋１より大きければ、ＤＣＴ部２２０をしてＤＣＴを行わせる。
【００１４】
図５は、本発明に係る動映像符号化方法を示すフローチャートである。
まず、全体のエンコーダ演算複雑度に対する目標のＭＥ演算複雑度Ｓｔ及び目標のＤＣＴ演算複雑度Ｃｔを設定する。例えば、Ｈ．２６３動映像エンコーダにおいて、探索領域による目標のＭＥ演算複雑度Ｓｔ及び目標のＤＣＴ演算複雑度Ｃｔは、１を基準に各々０．３として設定する。
【００１５】
次に、第ｎ番目のフレームにおけるマクロブロック当たり探索点の数の平均を取って総ＭＥ演算複雑度Ｓｎを計算する（第５１０過程）。この時、通常の高速ＭＥ技法は、マクロブロック別に探索演算量が変わる。例えば、高速ＭＥ技法は、探索領域内の探索点の数が変わる方式と、ファスト・フル・サーチ（ｆａｓｔ ｆｕｌｌ ｓｅａｒｃｈ）のようにマクロブロック当たり必要な計算量を効果的に減らす方式とに大別できる。どちらの方式にせよ、毎フレーム単位にＭＥが占める演算複雑度が計算可能である。
【００１６】
次に、目標のＭＥ演算複雑度Ｓｔから以前のフレームのＭＥ演算複雑度Ｓ（ｎ）を引いてＭＥ演算複雑度の変化分を抽出する（第５２０過程）。すなわち、以前のフレームにおけるＭＥの相対的な演算複雑度が目標の演算複雑度Ｓｔより高くなったか否かをチェックする。これは、連続フレーム（例えば、以前のフレーム及び現在のフレーム）におけるＭＥ演算量の割合は類似しているという特性による。
【００１７】
次に、ＭＥ演算複雑度の変化分Ｓｔ−Ｓ（ｎ）を目標のＤＣＴ演算複雑度Ｃｔに加えて更新された目標ＤＣＴ演算複雑度Ｃ′ ｔを推定する（第５３０過程）。この時、目標のＭＥ演算複雑度Ｓｔまたは以前のフレームのＭＥ推定演算複雑度Ｓ（ｎ）は、マクロブロック当たり探索点の数の平均であり、目標のＤＣＴ演算複雑度Ｃｔは、マクロブロック当たり総ＤＣＴ遂行ブロック数である。そして、１探索点の処理にかかる演算複雑度と８×８ＤＣＴ演算複雑度とが同じであるという仮定下でＭＥ演算複雑度の変化分Ｓｔ−Ｓ（ｎ）を元の目標のＤＣＴ演算複雑度Ｃｔに加える。また、１探索点の処理にかかる演算複雑度と８×８ＤＣＴ演算複雑度とが異なる場合、Ｃｔ＋ｗ｛Ｓｔ−Ｓ（ｎ）｝のように、演算複雑度の変化分Ｓｔ−Ｓ（ｎ）に適当な重み付け値ｗをかける。
【００１８】
次に、更新された目標のＤＣＴ演算複雑度Ｃ′ ｔに基づき現在フレームのＤＣＴスキップを制御する現在フレームのしきい値Ｔｏｎ＋１を設定する（第５４０過程）。
現在フレームのしきい値Ｔｏｎ＋１を計算するために、下記のような導出過程が必要である。
【００１９】
ＤＣＴ複雑度は、量子化係数の逆数に比例するという特性に基づき下記式１のように表わせる。この時、ＤＣＴ複雑度は、ＤＣＴを行う確率またはＤＣＴ演算複雑度であって、ＤＣＴ遂行ブロックの数で決定される。
【数３】
Figure 0003824578
（ここで、Ｔ０は、しきい値であり、Ｑは、量子化係数である）。
【００２０】
前記式１から、第ｎ番目のフレームの場合、
【数４】
Figure 0003824578
が得られる。
また、前記式１から、第（ｎ＋１）番目のフレームの好ましいしきい値は、下記式２のように表わせる。
【数５】
Figure 0003824578
（ここで、Ｃｔは、目標のＤＣＴ複雑度である。）
【００２１】
このため、前記式２は、下記式３のように表わせる。
【数６】
Figure 0003824578
前記式３をまとめれば、下記式４のように表わせる。
【数７】
Figure 0003824578
前記式４は、僅かな流動性をおくために、下記式５のように表わせる。
【数８】
Figure 0003824578
定数ｋによって収斂速度が変わる。前記式５を参照すれば、現在フレームのしきい値Ｔｏｎ＋１は、以前のフレームにおけるしきい値Ｔｏｎ、量子化係数Ｑｎ、Ｑｎ＋１、及び以前のフレームのＤＣＴ複雑度Ｃｎに基づき求められる。
【００２２】
従って本発明において適用される現在フレームのしきい値Ｔｏｎ＋１は、前記式５の目標のＤＣＴ複雑度ＣｔをＣｔ＋Ｓｔ−Ｓｎに取り替えた更新された目標のＤＣＴ演算複雑度Ｃ′ ｔを適用し、下記式６のように表わす。
【数９】
Figure 0003824578
（ここで、Ｔｏｎは、以前のフレームのしきい値であり、Ｑｎは、以前のフレームの量子化係数であり、Ｑｎ＋１は、現在フレームの量子化係数であり、Ｃｎは、以前のフレームのＤＣＴ演算複雑度であり、ｋは、定数であり、そしてＣ′ ｔは、更新された目標のＤＣＴ演算複雑度である。）
【００２３】
次に、ＭＥ中及び量子化中に生じるブロック当たりＳＡＤ及び量子化パラメータＱｎ＋１を現在フレームのしきい値Ｔｏｎ＋１と比較する（第５５０過程）。
次に、ＳＡＤ／量子化パラメータＱｎ＋１がしきい値Ｔｏｎ＋１より小さければ、該当ブロックのＤＣＴを行わずに強制的にｎｏｔ−ｃｏｄｅｄを作る一方（第５６０過程）、ＳＡＤ／量子化パラメータＱｎ＋１がしきい値Ｔｏｎ＋１より大きければ、ＤＣＴを行う（第５７０過程）。
【００２４】
次に、入力される動映像の符号化が終わるまで前記過程を繰り返し行う。
結局、本発明は、ＭＥ部２８０の演算複雑度の変化分をＤＣＴスキップモジュールに適用することにより、エンコーダの全体的な計算量を目標の演算複雑度Ｃｔ＋Ｓｔに近く維持できる。
本発明は、前記実施の形態に限定されることなく、本発明の思想内であれば、当業者による変形が可能であるということは言うまでもない。
【００２５】
本発明はまた、コンピュータにて読取り可能な記録媒体にコンピュータにて読取り可能なコードとして具現可能である。コンピュータにて読取り可能な記録媒体は、コンピュータシステムにより読取り可能なデータが貯蔵されるあらゆる種類の記録装置を含む。コンピュータにて読取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、ハードディスク、フロッピー（登録商標）ディスク、フラッシュメモリ、光データ貯蔵装置などがあり、またキャリアウェーブ（例えば、インターネットを通した伝送）の形で具現されるものも含む。また、コンピュータにて読取り可能な記録媒体は、ネットワークにより結ばれたコンピュータシステムに分散され、分散方式によりコンピュータにて読取り可能なコードとして貯蔵されて実行できる。
【００２６】
【発明の効果】
上述したように、本発明によれば、動映像エンコーダのＭＥ計算の複雑度を考慮したＤＣＴスキップ方法を適用することにより、任意の高速ＭＥ技法が用いられても全体の符号化演算複雑度を一定に維持できる。
【図面の簡単な説明】
【図１】 従来のＤＣＴスキップ技術を適用した動映像符号化システムを示すブロック図である。
【図２】 本発明に係る動映像符号化装置の全体ブロック図である。
【図３】 図２のＤＣＴ演算量計算部の詳細図である。
【図４】 図２のＤＣＴスキップ部の詳細図である。
【図５】 本発明に係る動映像符号化方法を示すフローチャートである。
【符号の説明】
２２０…ＤＣＴ
２４０…ＶＬＣ
２７０…フレームメモリ
２８４…ＤＣＴ演算量計算部
２９０…ＤＣＴスキップ部
３１０…ＭＥ演算量計算部
３２０…目標のＤＣＴ演算量計算部
４１０…しきい値計算部
４２０…ＤＣＴスキップ決定部

Claims (2)

  1. 動映像の符号化方法において、
    （ａ）映像データ中のマクロブロック当たりの探索点の数の平均または和を取ることにより動き推定演算複雑度を計算して目標の動き推定演算複雑度に対する変化分を推定する過程と、
    （ｂ）前記（ａ）過程において推定された動き推定演算複雑度に対する変化分を目標のマクロブロック当たり総離散コサイン変換遂行ブロック数である離散コサイン変換演算複雑度に加えることによって目標の離散コサイン変換演算複雑度を更新する過程と、
    （ｃ）前記（ｂ）過程において更新された目標の離散コサイン変換演算複雑度に基づき映像データの離散コサイン変換スキップのためのしきい値を設定する過程と、
    （ｄ）前記（ｃ）過程において設定されたしきい値に基づき映像データに対する離散コサイン変換スキップを調節する過程と
    を含み、
    前記（ｃ）過程において、現在フレームのしきい値は、
    Figure 0003824578
     （ここで、Ｔｏｎは、以前のフレームのしきい値であり、Ｑｎは、以前のフレームの量子化係数であり、Ｑｎ＋１は、現在フレームの量子化係数であり、Ｃｎは、以前のフレームの離散コサイン変換演算複雑度であり、ｋは、定数であり、そしてＣ′ ｔは、更新された目標の離散コサイン変換演算複雑度である。）
    として決められ、
    前記（ｄ）過程において、前記しきい値がＳＡＤ／Ｑｎ＋１より大きければ離散コサイン変換をスキップし、前記しきい値がＳＡＤ／Ｑｎ＋１より小さければ離散コサイン変換を行い、
    前記（ａ）過程において、動き推定演算複雑度に対する変化分は、目標の動き推定演算複雑度から以前のフレームの動き推定演算複雑度を引くことにより得られることを特徴とする動映像符号化方法。
  2. 動映像符号化装置において、
    入力される映像データに対してブロック別に離散コサイン変換を行う離散コサイン変換部と、
    前記離散コサイン変換部において離散コサイン変換された映像データを量子化する量子化部と、
    入力される映像データ及び以前のフレームの映像データを用いて動きベクトル及びマクロブロック当たりＳＡＤを演算する動き推定部と、
    前記動き推定部の演算複雑度を計算して目標の動き推定演算複雑度に対する変化分を推定し、該推定された動き推定演算複雑度に対する変化分に基づき目標のマクロブロック当たり総離散コサイン変換遂行ブロック数である離散コサイン変換の演算複雑度を更新する離散コサイン変換演算量計算部と、
    前記離散コサイン変換演算量計算部の更新された目標の離散コサイン変換の演算複雑度に基づき離散コサイン変換スキップのためのしきい値を設定し、動き推定部において生じるブロック当たりＳＡＤ及び量子化部において生じる量子化パラメータを前記しきい値と比較して離散コサイン変換部による離散コサイン変換スキップを行うか否かを決める離散コサイン変換スキップ部と
    を備え、
    前記離散コサイン変換演算量計算部は、
    前記動き推定部から入力される各マクロブロック当たり探索点の数を計算して以前のフレームから総動き推定演算複雑度を計算する動き推定演算量計算器と、
    前記動き推定演算量計算器において計算された以前のフレームの総動き推定演算複雑度を目標の動き推定演算複雑度から引いて動き推定演算複雑度の変化分を抽出し、該動き推定演算の複雑度の変化分を目標の離散コサイン変換演算複雑度に加えて更新された目標の離散コサイン変換演算複雑度を算出する目標の離散コサイン変換演算量計算器と
    を備え、
    前記離散コサイン変換スキップ部は、
    前記更新された目標の離散コサイン変換演算複雑度に基づき現在フレームのしきい値を計算するしきい値計算部と、
    前記動き推定部において生じるブロック当たりＳＡＤ及び前記量子化部において生じる量子化パラメータを前記しきい値計算部のしきい値と比較して前記離散コサイン変換部による離散コサイン変換スキップを行うか否かを決める離散コサイン変換スキップ決定部と
    を備え、
    上記現在フレームのしきい値は次式で表され、
    Figure 0003824578
    （ここで、Ｔｏｎ＋１は、現在フレームのしきい値であり、Ｔｏｎは、以前のフレームのしきい値であり、Ｑｎは、以前のフレームの量子化係数であり、Ｑｎ＋１は、現在フレームの量子化係数であり、Ｃｎは、以前のフレームの離散コサイン変換演算複雑度であり、ｋは、定数であり、そしてＣ′ ｔは、更新された目標の離散コサイン変換演算複雑度である）
    前記離散コサイン変換スキップ部、および前記離散コサイン変換スキップ決定部において、前記しきい値がＳＡＤ／Ｑｎ＋１より大きければ離散コサイン変換をスキップし、前記しきい値がＳＡＤ／Ｑｎ＋１より小さければ離散コサイン変換を行うことを特徴とする動映像符号化装置。
JP2002353026A 2002-02-19 2002-12-04 固定演算量を有する動映像の符号化方法及びその装置 Expired - Fee Related JP3824578B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20020008759A KR100846769B1 (ko) 2002-02-19 2002-02-19 고정 연산량을 갖는 동영상 부호화 방법 및 그 장치
KR2002-008759 2002-02-19

Publications (2)

Publication Number Publication Date
JP2003259372A JP2003259372A (ja) 2003-09-12
JP3824578B2 true JP3824578B2 (ja) 2006-09-20

Family

ID=27725779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002353026A Expired - Fee Related JP3824578B2 (ja) 2002-02-19 2002-12-04 固定演算量を有する動映像の符号化方法及びその装置

Country Status (5)

Country Link
US (1) US7123654B2 (ja)
JP (1) JP3824578B2 (ja)
KR (1) KR100846769B1 (ja)
CN (1) CN1263311C (ja)
DE (1) DE10253383B4 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4610195B2 (ja) 2001-12-17 2011-01-12 マイクロソフト コーポレーション スキップマクロブロックコード化
KR100833228B1 (ko) * 2002-02-21 2008-05-28 삼성전자주식회사 고정 연산량을 갖는 동영상 부호화 방법 및 그 장치
US7224731B2 (en) * 2002-06-28 2007-05-29 Microsoft Corporation Motion estimation/compensation for screen capture video
US7940843B1 (en) * 2002-12-16 2011-05-10 Apple Inc. Method of implementing improved rate control for a multimedia compression and encoding system
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7606308B2 (en) * 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
US7706440B2 (en) * 2005-02-08 2010-04-27 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Method for reducing bit rate requirements for encoding multimedia data
US20060233258A1 (en) * 2005-04-15 2006-10-19 Microsoft Corporation Scalable motion estimation
US9077960B2 (en) 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
US7929599B2 (en) 2006-02-24 2011-04-19 Microsoft Corporation Accelerated video encoding
US8155195B2 (en) * 2006-04-07 2012-04-10 Microsoft Corporation Switching distortion metrics during motion estimation
US8494052B2 (en) * 2006-04-07 2013-07-23 Microsoft Corporation Dynamic selection of motion estimation search ranges and extended motion vector ranges
US20070268964A1 (en) * 2006-05-22 2007-11-22 Microsoft Corporation Unit co-location-based motion estimation
US7751631B2 (en) * 2006-12-22 2010-07-06 Sony Corporation Bypass using sum of absolute transformed differences value (SATD) in a video coding process
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
TW201028018A (en) * 2009-01-07 2010-07-16 Ind Tech Res Inst Encoder, decoder, encoding method and decoding method
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
KR101791158B1 (ko) * 2010-07-16 2017-10-27 한국전자통신연구원 계층적 가변 블록 변환이 가능한 부호화 방법 및 장치 그리고 복호화 방법 및 장치
KR101763113B1 (ko) * 2010-12-06 2017-08-01 에스케이 텔레콤주식회사 노이즈성분을 위한 공간영역에서의 영상 부호화/복호화 방법 및 장치
US10264283B2 (en) * 2011-10-18 2019-04-16 Kt Corporation Method and apparatus for decoding a video signal using adaptive transform
KR101542585B1 (ko) * 2011-10-19 2015-08-06 주식회사 케이티 영상 부호화/복호화 방법 및 그 장치
GB2503875B (en) * 2012-06-29 2015-06-10 Canon Kk Method and device for encoding or decoding an image
CN105594208A (zh) * 2013-10-11 2016-05-18 索尼公司 解码装置、解码方法、编码装置以及编码方法
KR102185857B1 (ko) 2014-02-13 2020-12-02 삼성전자주식회사 영상 부호화, 복호화 방법 및 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0456942A (ja) 1990-06-26 1992-02-24 Matsushita Electric Ind Co Ltd 映像投写用スクリーン
JP3084175B2 (ja) * 1993-06-18 2000-09-04 シャープ株式会社 画像圧縮装置
JPH10271514A (ja) * 1997-03-23 1998-10-09 Tadayoshi Enomoto 動画像情報の信号処理方法及びその装置
JP2000059767A (ja) 1998-08-06 2000-02-25 Sony Corp 画像符号化装置及び方法
US20020015513A1 (en) * 1998-07-15 2002-02-07 Sony Corporation Motion vector detecting method, record medium on which motion vector calculating program has been recorded, motion detecting apparatus, motion detecting method, picture encoding apparatus, picture encoding method, motion vector calculating method, record medium on which motion vector calculating program has been recorded
KR100295327B1 (ko) * 1998-12-03 2001-07-12 구자홍 적응적 임계치를 이용한 움직임 추정 장치
SG82613A1 (en) * 1999-05-21 2001-08-21 Inst Of Microelectronics Dynamic load-balancing between two processing means for real-time video encoding
JP2001036908A (ja) * 1999-07-15 2001-02-09 Oki Electric Ind Co Ltd 動画像圧縮装置
US6567469B1 (en) * 2000-03-23 2003-05-20 Koninklijke Philips Electronics N.V. Motion estimation algorithm suitable for H.261 videoconferencing applications
KR100833228B1 (ko) * 2002-02-21 2008-05-28 삼성전자주식회사 고정 연산량을 갖는 동영상 부호화 방법 및 그 장치

Also Published As

Publication number Publication date
KR20030069282A (ko) 2003-08-27
JP2003259372A (ja) 2003-09-12
DE10253383A1 (de) 2003-09-04
DE10253383B4 (de) 2007-02-22
US7123654B2 (en) 2006-10-17
US20030156643A1 (en) 2003-08-21
KR100846769B1 (ko) 2008-07-16
CN1263311C (zh) 2006-07-05
CN1440202A (zh) 2003-09-03

Similar Documents

Publication Publication Date Title
JP3824578B2 (ja) 固定演算量を有する動映像の符号化方法及びその装置
JP3854933B2 (ja) 固定演算量を有する動映像符号化方法及びその装置
JP4221655B2 (ja) 符号化装置および符号化方法、プログラム、並びに記録媒体
KR20050119422A (ko) 움직임 보상에 기반한 입력 영상의 노이즈 예측 및 그장치와, 이를 사용한 노이즈 제거 및 동영상 부호화 방법,이를 수행하기 위한 프로그램이 기록된 기록 매체
JP2006511113A (ja) 選択されたマクロブロックにおける動き推定のスキップを伴うビデオエンコーディング
JP4494803B2 (ja) 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置
JP3846424B2 (ja) 画像信号量子化装置およびその方法
KR20040007818A (ko) 동영상 부호화를 위한 ｄｃｔ연산량 조절 방법 및 그 장치
KR20070000702A (ko) 탐색영역 재설정을 이용한 고속 움직임 예측 장치 및 방법
JP3858520B2 (ja) 動画像符号化装置及びその方法
JP2013532439A (ja) 変換係数ヒストグラムに基づくビデオレート制御
JP2768260B2 (ja) 画像符号化制御方式
JP2005045736A (ja) 画像信号符号化方法及び装置、符号化制御装置並びにプログラム
US20020106021A1 (en) Method and apparatus for reducing the amount of computation of the video images motion estimation
JP2005168028A (ja) 絶対差演算装置とそれを用いた動き推定装置及び動映像符号化装置
JP3200518B2 (ja) 画像信号符号化装置
JP4034793B2 (ja) 補完映像を生成してデブロッキング処理に用いる映像圧縮装置及び方法
JP4127006B2 (ja) 画像信号の符号化装置および符号化方法
CN102202220A (zh) 编码设备及其控制方法
JP2891250B2 (ja) 動画像符号化方法および装置
KR20030071920A (ko) Ｄｃｔ계산량을 감소시키는 동화상 부호화 방법 및 그 장치
JP2004242055A (ja) 信号処理装置および方法、記録媒体、並びにプログラム
JPH06350999A (ja) 画像データ圧縮装置
KR20050052756A (ko) 움직임 추정 방법
JPH07321664A (ja) 量子化制御装置、量子化制御方法、及び符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20021204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050517

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050815

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051004

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060627

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090707

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100707

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110707

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110707

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120707

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120707

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130707

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees