JP4050754B2 - ビデオエンコーダ及び動画像信号の符号化方法 - Google Patents

ビデオエンコーダ及び動画像信号の符号化方法 Download PDF

Info

Publication number
JP4050754B2
JP4050754B2 JP2005084777A JP2005084777A JP4050754B2 JP 4050754 B2 JP4050754 B2 JP 4050754B2 JP 2005084777 A JP2005084777 A JP 2005084777A JP 2005084777 A JP2005084777 A JP 2005084777A JP 4050754 B2 JP4050754 B2 JP 4050754B2
Authority
JP
Japan
Prior art keywords
prediction mode
image signal
evaluation value
pixel
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005084777A
Other languages
English (en)
Other versions
JP2006270437A (ja
Inventor
美智代 森本
義浩 菊池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2005084777A priority Critical patent/JP4050754B2/ja
Priority to EP20050102421 priority patent/EP1705920B1/en
Priority to US11/089,648 priority patent/US7688893B2/en
Publication of JP2006270437A publication Critical patent/JP2006270437A/ja
Application granted granted Critical
Publication of JP4050754B2 publication Critical patent/JP4050754B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Description

本発明は、ビデオエンコーダ及び動画像信号の符号化方法に関する。
動画像の圧縮符号化技術として代表的なＭＰＥＧ方式では、インター予測（動き補償予測）、イントラ予測、離散コサイン変換（ＤＣＴ）及び可変長符号化を組み合わせて符号化を行う。イントラ予測では、符号化対象ブロックの画素値を周囲の参照ブロックの画素値から予測し、予測値に対する実際の画素値の誤差である予測誤差を符号化する。
一方、ＭＰＥＧ方式をさらに発展させたＨ．２６４／ＡＶＣと呼ばれる動画像符号化規格が制定されている。Ｈ．２６４／ＡＶＣでは、複雑な画像については４×４画素のブロック単位のイントラ予測（４×４画素イントラ予測という）を行い、平坦な画像については１６×１６画素のマクロブロック単位のイントラ予測（１６×１６画素イントラ予測という）を行うことで、符号化効率を向上させている。４×４画素イントラ予測においては、ブロック毎にモード０からモード８までの９つの予測モードのうちから一つのモードを選択して決定する。
「H. 264符号化におけるIntra予測方式の効率化に関する一検討」KDDI研究所 高木幸一他 2004年映像情報メディア学会冬季大会 12-3（非特許文献１）は、マクロブロック単位の符号化用予測モードの決定プロセスにおいて、４×４画素イントラ予測モードに対する評価値の計算手法を開示している。この手法によると、原画像信号すなわち符号化対象の動画像信号を参照画像信号として用いて前記評価値を求め、この評価値から最適な符号化用予測モードを決定する。さらに、非特許文献１ではレート・歪最適化（rate distortion optimization：ＲＤＯ）：offモードにおけるモード評価値を用いた場合の、低レート時のモードを表す符号の符号量の影響について述べている。
Joint Model Reference Encoding Methods and Decoding Concealment Methods JVT-J049 2004-03-02（非特許文献２）には、Ｈ．２６４／ＡＶＣにおいて予測モードに対する評価値を求めるために、予測誤差に関する差分絶対値和（sum of absolute difference：ＳＡＤ）あるいは、予測誤差をアダマール変換した値の絶対値和（sum of absolute transformed difference：ＳＡＴＤ）を用いる方法が開示されている。
「H. 264符号化におけるIntra予測方式の効率化に関する一検討」KDDI研究所 高木幸一他 2004年映像情報メディア学会冬季大会 12-3 Joint Model Reference Encoding Methods and Decoding Concealment Methods JVT-J049 2004-03-02
非特許文献１によると、４×４画素イントラ予測モードに対する評価値を求める際に参照画像信号として原画像信号を用いるため、参照画像信号として局部復号画像信号を用いる一般的な手法に比較して、マクロブロック単位の符号化用予測モードの決定に要する計算量が大きく低減される。しかし、原画像信号を参照画像信号として用いると、４×４画素ブロックの位置によっては局部復号画像信号を参照画像信号として用いた場合との誤差が大きくなる。このため必ずしも正しい評価値は得られず、的確な予測モードを決定できない可能性がある。
本発明は、少ない計算量によってマクロブロック単位の符号化用予測モードを的確に決定できる、Ｈ．２６４／ＡＶＣに適したビデオエンコーダ及び動画像信号の符号化方法を提供することを目的とする。
本発明の第１の観点によると、前記動画像信号を参照画像信号として用いて予測方向の異なる複数の４×４画素イントラ予測モードのそれぞれに対する一次評価値を複数の４×４画素ブロック毎に計算する手段と、前記一次評価値に対して前記４×４画素ブロックの各々の位置に応じた評価係数を用いた重み付け加算を適用することにより、前記４×４画素イントラ予測モードのそれぞれに対する二次評価値をマクロブロック毎に計算する手段と、前記二次評価値を用いて前記マクロブロック毎の符号化用予測モードを決定する手段、及び前記符号化用予測モードに従って前記動画像信号を符号化する手段を具備する、動画像信号を符号化するビデオエンコーダを提供する。
本発明の第２の観点によると、予測誤差信号に対して簡略化直交変換を行って変換画像信号を生成する変換手段と、前記変換画像信号と予測画像信号との加算画像信号を参照画像信号として用いて予測方向の異なる複数の４×４画素イントラ予測モードのそれぞれに対する一次評価値を複数の４×４画素ブロック毎に計算する手段と、前記一次評価値に対して前記４×４画素ブロックの各々の位置に応じた評価係数を用いた重み付け加算を適用することにより、前記４×４画素イントラ予測モードのそれぞれに対する二次評価値をマクロブロック毎に計算する手段と、前記二次評価値を用いて前記マクロブロック毎の符号化用予測モードを決定する手段、及び前記符号化用予測モードに従って前記動画像信号を符号化する手段を具備することを特徴とする、動画像信号を符号化するビデオエンコーダを提供する。
本発明の第３の観点によると、前記符号化用予測モードを決定する手段は、前記一次評価値に従って一つの４×４画素イントラ予測モード候補を決定する手段と、前記二次評価値を用いて１６×１６画素イントラ予測モードと前記４×４画素イントラ予測モードのいずれか一方を選択する第１のモード選択手段、及び前記イントラ予測モードと前記インター予測モードのいずれか一方を選択する第２のモード選択手段を有し、前記第１の選択手段の選択結果と前記第２の選択手段の選択結果及び前記４×４画素イントラ予測モード候補に従って前記符号化用予測モードを決定することを特徴とする。
本発明の第４の観点によると、前記符号化用予測モードを決定する手段は、前記第１のモード選択手段により前記４×４画素イントラ予測モードが選択され、かつ前記第２の選択手段によりイントラ予測モードが選択された場合に、前記４×４画素イントラ予測モード候補を用いて前記複数の４×４画素イントラ予測モードを少なくとも一つのモードに絞り込む予測モード絞り込み手段と、及び前記予測モード絞り込み手段により二つ以上のモードが絞り込まれた場合に該二つ以上のモードに従って、局部復号画像信号を参照画像信号として用いて該二つ以上のモードのそれぞれに対する三次評価値を計算する手段をさらに有し、前記三次評価値に従って一つの４×４画素イントラ予測モードを前記符号化用予測モードとして決定することを特徴とする。
本発明によれば、動画像信号を参照画像信号として、あるいは簡略化直交変換により得られる画像信号を参照画像信号として用いて各４×４画素イントラ予測モードに対する一次評価値をブロック毎に計算した後、ブロックの位置に応じた評価係数を用いた重み付け加算を用いて二次評価値をマクロブロック毎に計算する。この二次評価値を用いてマクロブロック毎の符号化用予測モードを決定することにより、少ない計算量でモード決定を行うことができる。
さらに、一次評価値に従って得られる４×４画素イントラ予測モード候補を参考にして絞り込んだ４×４画素イントラ予測モードから、局部復号画像信号を参照画像信号として用いて符号化用の４×４画素イントラ予測モードを的確に決定することができる。
以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の第１の実施形態に従うビデオエンコーダを示している。ビデオエンコーダには、この例では例えばフレーム単位で動画像信号１０１が入力される。動画像信号１０１は減算器１１に入力され、減算器１１により予測画像信号１１２との差分である予測誤差信号１０２が生成される。予測誤差信号１０２に対して離散コサイン（ＤＣＴ）／量子化ユニット１２によりＤＣＴ及び量子化が施される。量子化されたＤＣＴ係数情報１０３は、逆離散コサイン（ＩＤＣＴ）／逆量子化ユニット１５とエントロピー符号化器２２に入力される。
量子化されたＤＣＴ係数情報１０３は、ＩＤＣＴ／逆量子化ユニット１５により処理され、これによって予測誤差信号１０３に対応した信号１０４が生成される。ＩＤＣＴ／逆量子化ユニット１５はＤＣＴ／量子化ユニット１２の処理と逆の処理である逆ＤＣＴ及び逆量子化を行う。ＩＤＣＴ／逆量子化ユニット１５からの出力信号１０４は、加算器１６において予測画像信号１１２と加算され、これによって局部復号画像信号が生成される。局部復号画像信号は参照画像メモリ１８に参照画像信号１０６として与えられ、符号化対象画像である動画像信号１０１の前後の複数フレームの参照画像信号が順次記憶される。
イントラ予測器１７は、予測モード決定部１９によって決定されたモードでイントラ予測を行い、イントラ予測画像信号１０５を生成する。イントラ予測器１７には、モード決定部１９によって制御されるスイッチ２０を介して、動画像信号１０１または参照画像メモリ１８から読み出される参照画像信号１０７のいずれかがイントラ予測のための参照画像信号１０８として与えられる。
参照画像メモリ１８から読み出される参照画像信号１０７は、デブロッキングフィルタ２１によってフィルタリングされる。フィルタリング後の参照画像信号１０９は、インター予測器２２に入力される。インター予測器２２では、フィルタリング後の複数フレームの参照画像信号と動画像信号１０１との間の動きベクトルの検出と、インター予測（すなわち動きベクトルによる動き補償予測）を行い、動きベクトル情報１１０とフレーム単位のインター予測画像信号１１１を生成する。
モード選択スイッチ２３は、イントラ予測モード時にはイントラ予測画像信号１０５を選択し、インター予測モード（動き補償予測モード）時にはインター予測画像信号１１１を選択する。モード選択スイッチ２３によって選択された予測画像信号１１２は、減算器１１及び加算器１６に入力される。
エントロピー符号化器２４は、ＤＣＴ／量子化ユニット１２から出力される量子化されたＤＣＴ係数情報１０３、インター予測器２２から出力される動きベクトル情報１１０、及び予測モード決定部１９から出力される符号化用予測モード情報１１３に対して例えば算術符号化のようなエントロピー符号化を施し、情報１０３，１１０及び１１３の各々に対応する可変長符号の符号列１１４を生成する。可変長符号列１１４は、図示しない後段の多重化器にシンタックス用データとして与えられ、シンタックス用データが多重化されることにより符号化ビットストリームが生成される。符号化ビットストリームは図示しない出力バッファにより平滑化された後、図示しない送信ユニットへ送出される。
符号化制御部２５は、例えば動画像信号１０１のアクティビティや前記出力バッファのバッファ量を示す情報１１５をモニタし、バッファ量が一定となるようにＤＣＴ／量子化ユニット１２及びＩＤＣＴ／逆量子化ユニット１５における量子化パラメータの制御とエントロピー符号化器２４の制御を行う。
＜予測モード決定部１９について＞
次に、予測モード決定部１９について説明する。予測モード決定部１９は、予測モードをインター予測モードにするか、イントラ予測モードにするかの決定と、イントラ予測モードにする場合に４×４画素イントラ予測モードにするか、１６×１６画素イントラ予測モードにするかの決定を行う。予測モード決定部１９の機能は、例えばＣＰＵによる演算処理によって実現される。
図２は、４×４画素イントラ予測モードの決定において参照画像信号として原画像信号を用いた場合の参照可能領域と１６個の４×４画素ブロック０〜１５との関係を示している。ブロック０〜１５の全体は、１６×１６画素のマクロブロックに相当する。ブロック０，１，２，４，５，８，１０は、原画像の参照可能領域の画素（参照可能画素）に隣接している。すなわち、ブロック０は上、左及び左上に隣接する画素を参照可能であり、ブロック１，４，５は上に隣接する画素を参照可能であり、ブロック２，８，１０は左に隣接する画素を参照可能である。図３は、一つの現ブロックの画素ａ〜ｐと、隣接する参照可能画素との関係を示している。
一方、他のブロック３，６，７，９，１１，１２，１３，１４，１５は、参照可能な画素に隣接していないため、参照画像信号に局部復号画像信号を用いた場合に比較して、予測モードの決定時に計算される評価値の誤差は大きくなる。特に、右下のブロック１５に近づくほど、その誤差は増大する。
そこで、本発明の一実施形態では例えば図４（Ａ）及び図４（Ｂ）に示されるように、１６個の４×４画素ブロックの位置に応じた評価係数によって、評価値に対して重み付けを行う。図４（Ａ）の例では、各ブロックをそれぞれが参照可能な画素数に応じてグループ分けし、グループ毎に固有の評価係数を定める。すなわち、参照可能な画素数が多いブロックのグループに対しては評価係数を大きくし、参照可能な画素数が少ないブロックのグループに対しては評価係数を小さくする。図４（Ｂ）の例では、図４（Ａ）のようにブロックをグループ分けせず、各ブロックに対して個別に評価係数を定める。図４（Ａ）及び図４（Ｂ）のいずれの場合も、基本的に参照可能な画素数が多いほど、すなわち左上のブロックに近いブロックほど評価係数は大きく定められ、参照可能な画素数が小さいほど、すなわち右下のブロックに近いブロックほど評価係数は小さく定められる。
Ｈ．２６４／ＡＶＣで良く知られているように、４×４画素イントラ予測モードには９つのモードが存在する。これらのうちモード２は、上隣接参照画素Ａ，Ｂ，Ｃ，Ｄ及び左隣接参照画素Ｉ，Ｊ，Ｋ，Ｌの画素値の平均値を予測値とするモードである。モード２以外のモード０，１，３〜８は図５に示すように予測方向が異なっている。
以上の点を踏まえて、予測モード決定部１９の詳細な動作を図６〜図９を参照して説明する。
＜マクロブロック単位の信号処理＞
図６は、マクロブロック（ＭＢ）単位の予測モード決定処理を含めた信号処理の概要を示している。まず、ステップＳ１０１でマクロブロック単位のイントラ予測用の参照画像を設定した後、１６×１６画素イントラ予測モードを決定する（ステップＳ１０２）。この際、決定された１６×１６画素イントラ予測モードに対する評価値Ｊ(intra 16×16)を例えば非特許文献２に記載された方法により算出する。
次に、４×４画素イントラ予測モード候補を後に図７を用いて後述する方法により決定すると共に、決定した４×４画素イントラ予測モード候補に対する評価値（二次評価値）Ｊ(intra 4×4)を求める（ステップＳ１０３）。
次に、輝度のイントラ予測モードとして、１６×１６画素イントラ予測モードと４×４画素イントラ予測モードのいずれか一方を選択する（ステップＳ１０４）。例えば、ステップＳ１０２で計算された評価値Ｊ(intra 16×16）とステップＳ１０３で計算された評価値Ｊ(intra 4×4)を比較し、Ｊ(intra 16×16）＜Ｊ(intra 4×4)であれば１６×１６画素イントラ予測モードを選択し、Ｊ(intra 16×16）＞Ｊ(intra 4×4)であれば４×４画素イントラ予測モードを選択する。
次に、インター予測モードに対する評価値Ｊ(inter)を参照して、マクロブロック単位の予測モードを選択する（ステップＳ１０５）。選択されたマクロブロック単位の予測モードを判定する（ステップＳ１０６）。マクロブロック単位の予測モードとしてインター予測モードが選択された場合は、予測誤差信号１０２の輝度及び色差についてＤＣＴ／量子化ユニット１２によってＤＣＴと量子化（Ｑ）を行い（ステップＳ１０７)、さらにＩＤＣＴ／逆量子化ユニット１５によって輝度及び色差の逆ＤＣＴと逆量子化を行い（ステップＳ１０８）、信号１０４を生成する。次に、インター予測器２２から出力される予測画像信号１１１をモード選択スイッチ２３により選択して予測画像信号１１２とし、信号１０４と予測画像信号１１２を加算器１６により加算して、輝度及び色差のイントラ予測用の参照画像信号１０６を作成する（ステップＳ１１０）。この後、参照画像信号１０６を参照画像メモリ１８に書き込み、さらにデブロッキングフィルタ１９によりフィルタリングすることで、インター予測用の参照画像信号１０９を生成する。
一方、ステップＳ１０５でマクロブロック単位の予測モードとしてイントラ予測モードが選択された場合は、選択されたモードが４×４画素イントラ予測モードかそうでないかを調べる（ステップＳ１１１）。４×４画素イントラ予測モードでない場合は、色差のイントラ予測モードを決定し（ステップＳ１１２）、ステップＳ１０７及びステップＳ１０８に移る。次に、イントラ予測器１７から出力される予測画像信号１０５をモード選択スイッチ２３により選択して予測画像信号１１２とし、信号１０４と予測画像信号１１２を加算器１６により加算して、輝度及び色差のイントラ予測用の参照画像信号１０６を作成する（ステップＳ１１０）。この後、参照画像信号１０６を参照画像メモリ１８に書き込み、さらにデブロッキングフィルタ１９によりフィルタリングすることで、インター予測用の参照画像信号１０９を生成する。４×４画素イントラ予測モードの場合は、図８を用いて後述する方法により４×４画素イントラ予測モードを決定する（ステップＳ１１３）。
次に、色差のイントラ予測モードを決定し（ステップＳ１１４）、引き続きステップＳ１０７〜Ｓ１０９と同様の手順により色差のＤＣＴと量子化（ステップＳ１１５）、色差の逆量子化と逆ＤＣＴ（ステップＳ１１６）を行い、色差のイントラ予測用参照画像信号１０６を作成する。
＜４×４画素イントラ予測モード候補の決定＞
次に、図７を参照して図６中のステップＳ１０３の処理について説明する。まず、ステップＳ２０１でブロック番号（ｂＮｕｍ）をｂＮｕｍ＝０に設定し、動画像信号１０１（原画像信号）上にｂＮｕｍ＝０のブロックに対応させて、４×４画素単位の参照画素の設定を行う（ステップＳ２０２）。次に、９つの４×４画素イントラ予測モードの番号ｉＭｏｄｅをｉＭｏｄｅ＝０に設定し（ステップＳ２０３）、４×４画素イントラ予測モードを選択する（ステップＳ２０４）。選択された４×４画素イントラ予測モードに対する評価値（一次評価値）を非特許文献１に記載された方法に従って、例えば次の数式（１）または（２）により計算する（ステップＳ２０５）。
Ｊ＝ＳＡＤ＋λ＊Ｒ （１）
Ｊ＝ＳＡＴＤ＋λ＊Ｒ （２）
ここで、Ｊは一次評価値を表し、ＳＡＤは４×４画素イントラ予測モードによる予測誤差の絶対値和（sum of absolute difference）を表し、λは定数を表し、Ｒは符号化用予測モードを表す符号の符号量を表す。λは一般に量子化パラメータＱＰの関数である。ＳＡＴＤは４×４画素イントラ予測モードによる予測誤差をアダマール変換した値の絶対値和（sum of absolute transformed difference）をそれぞれ表す。ＳＡＤ及びＳＡＴＤについては、前記非特許文献２に詳しく説明されている。
この後、ｉＭｏｄｅを１インクリメントし（ステップＳ２０６）、ｉＭｏｄｅ＝８となるまでステップＳ２０４〜Ｓ２０５の処理を繰り返す。ｉＭｏｄｅ＝０〜８の４×４画素イントラ予測モードのうち、ステップＳ２０５で計算された評価値が最小のモードを４×４画素イントラ予測モードの候補として決定する（ステップＳ２０７）。この後、ｂＮｕｍを１インクリメントし（ステップＳ２０８）、ｂＮｕｍ＝１５となるまでステップＳ２０２〜Ｓ２０７の処理を繰り返すことにより、全ての４×４画素ブロックについて４×４画素イントラ予測モードの候補を求める。
次に、以上により得られた各ブロックの４×４画素イントラ予測モード候補に対して、評価値（二次評価値）を計算する（ステップＳ２０９）。この二次評価値の計算に際しては、４×４画素イントラ予測モード候補に対してステップＳ２０５で計算された一次評価値に対して、ｂＮｕｍすなわち４×４画素ブロックの位置に応じた図４（Ａ）あるいは図４（Ｂ）に示したような評価係数により重み付けを行う。この二次評価値の計算は、以下の数式（３）で表される。
Figure 0004050754
ここで、Ｅは二次評価値を表し、Ｊｉは第ｉ番目の４×４画素ブロックにおける一次評価値を表す。ｗｉは第ｉ番目の４×４画素ブロックの位置に応じた評価係数（重み係数）であり、例えば基本的に右下の４×４画素ブロックに近いブロックほど小さく定められる。従って、二次評価値は４×４画素ブロックの位置の違いによる誤差を補償しているため、より高い信頼性を持つ。
＜４×４画素イントラ予測モードの決定＞
次に、図８を参照して図６中のステップＳ１１３の処理について説明する。まず、ステップＳ３０１でブロック番号ｂＮｕｍをｂＮｕｍ＝０に設定し、動画像信号１０１（原画像信号）上にｂＮｕｍ＝０のブロックに対応させて、４×４画素単位の参照画素の設定を行う（ステップＳ３０２）。次に、図７中のステップＳ２０１〜Ｓ２０８で得られた４×４画素イントラ予測モード候補を参考にして、図９を用いて後述する方法により４×４画素イントラ予測モードの数を絞り込む（ステップＳ３０３）。具体的には、４×４画素イントラ予測モードを上記モード候補とそれに隣接する予測モード（以後、隣接モードという）に絞り込む。例えば図５上で４×４画素イントラモード候補がモード６であれば、隣接モードはモード１とモード４に相当する。
次に、ｉ＝０に設定し（ステップＳ３０４）、ステップＳ３０３で絞り込まれたモードで４×４画素イントラ予測を行う（ステップＳ３０５）。ステップＳ３０５では、図１においてスイッチ２０を下側に切り替えることにより、参照画像メモリ１８から読み出される局部復号画像信号１０７を参照画像信号として用いる。ステップＳ３０５で用いる４×４画素イントラ予測モードについて、例えば数式（１）または（２）により評価値（三次評価値）を計算する（ステップＳ３０６）。この後、ｉを１インクリメントし（ステップＳ３０７）、ｉが絞り込み数ｍｏｄｅＮｕｍに達するまで、すなわちｉ＝（ｍｏｄｅＮｕｍ−１）となるまでステップＳ３０５〜Ｓ３０６の処理を繰り返す。
ステップＳ３０４〜Ｓ３０７の処理が終了すると、ステップＳ３０６で計算された三次評価値が最小となる、ｂＮｕｍ＝０のブロックの４×４画素イントラ予測モードを最終的に決定する（ステップＳ３０８）。次に、４×４画素単位の輝度のＤＣＴと量子化（ステップＳ３０９）、４×４画素単位の輝度の逆量子化と逆ＤＣＴ（ステップＳ３１０）を順次行い、４×４画素単位の輝度のイントラ予測用参照画像信号を作成する（ステップＳ３１１）。この後、ｂＮｕｍを１インクリメントし（ステップＳ３１２）、ｂＮｕｍ＝１５となるまでステップＳ３０２〜Ｓ３１２の処理を繰り返すことにより、最終的に全ての４×４画素ブロックについて４×４画素イントラ予測モードを求める。
＜４×４画素イントラ予測モード数の絞り込み＞
次に、図９を参照して図８中のステップＳ３０３の処理について説明する。まず、４×４画素ブロックのブロック番号ｂＮｕｍが０かどうかを判定し（ステップＳ４０１）、ｂＮｕｍ０であれば絞り込み数ｍｏｄｅＮｕｍを１に設定し、４×４画素イントラ予測モード候補を最終的な４×４画素イントラ予測モードに決定する（ステップＳ４０２）。
ｂＮｕｍが０でない場合は、４×４画素イントラ予測モードがＤＣモードかどうかを判定し（ステップＳ４０３）、ＤＣモードであれば、ステップＳ４０４に進む。ステップＳ４０４では、例えば（例１）のようにｍｏｄｅＮｕｍを１にしてＤＣモードを絞り込みモードとするか、あるいは（例２）のようにｍｏｄｅＮｕｍを３にしてＤＣモード、水平モード及び垂直モードを絞り込みモードとする。
ステップＳ４０３において４×４画素イントラ予測モード候補がＤＣモードでなければ、ステップＳ４０５に進む。ステップＳ４０５では、例えば（例１）のようにｍｏｄｅＮｕｍを３にして、４×４画素イントラ予測モード候補と図５で説明した２個の隣接モードを絞り込みモードとする。または、（例２）のようにｍｏｄｅＮｕｍを４にしてＤＣモード、４×４画素イントラ予測モード候補及び２個の隣接モードを絞り込みモードとする。またあるいは、（例３）のようにｍｏｄｅＮｕｍを４×４画素ブロックの位置に応じた前記評価係数に従って決定し、少なくともＤＣモード、４×４画素イントラ予測モード候補及び２個の隣接モードを絞り込みモードとし、ｍｏｄｅＮｕｍに応じて絞り込みモードにさらに他のモードを加える。
以上のように第１の実施形態では原画像信号、すなわち符号化対象の動画像信号を参照画像信号として用いて、各４×４画素イントラ予測モードに対する一次評価値をブロック毎に計算した後、ブロックの位置に応じた評価係数を用いた重み付け加算を用いて二次評価値をマクロブロック毎に計算する。この二次評価値を用いてマクロブロック毎の符号化用予測モードを決定することにより、少ない計算量でモード決定を行うことができる。
さらに、一次評価値に従って得られる４×４画素イントラ予測モード候補を参考にして絞り込んだ４×４画素イントラ予測モードから、局部復号画像信号を参照画像信号として用いて符号化用の４×４画素イントラ予測モードを的確に決定することができる。
次に、本発明の第２の実施形態について説明する。図１０は、本発明の第２の実施形態に従うビデオエンコーダを示している。図１に示した第１の実施形態に従うビデオエンコーダとの相違点を説明すると、図１０のビデオエンコーダにおいては、図１中のスイッチ２０が削除され、スイッチ３１、スイッチ３２及びアダマール変換器３３が追加されている。
スイッチ３１は、通常は減算器１１から出力される予測誤差信号１０２をＤＣＴユニット１２に供給し、予測モード決定部１９が４×４画素イントラ予測モード候補を決定する際には予測誤差信号１０２をアダマール変換器３３に供給する。スイッチ３２は、通常はＩＤＣＴユニット１５から出力される信号１０４を加算器１６に供給し、予測モード決定部１９が４×４画素イントラ予測モード候補を決定する際にはアダマール変換器３３からの変換画像信号１２０を加算器１６に供給する。
アダマール変換器３３は、予測誤差信号１０２に対して簡略化直交変換の一つであるアダマール変換を行って変換画像信号を生成する。アダマール変換は、加減算のみで実現される簡略化直交変換であり、必要な計算量はＤＣＴ／ＩＤＣＴに比較して格段に小さい。簡略化直交変換とは、計算量がＤＣＴ／ＩＤＣＴに比較して小さい直交変換という意味であり、簡略化直交変換はアダマール変換に特に限られるものではない。予測モード決定部１９が４×４画素イントラ予測モード候補を決定する際、アダマール変換器３３から出力される変換画像信号１２０はスイッチ３２を生かして加算器１６に供給される。加算器１６で変換画像信号１２０とイントラ予測器１７からの予測画像信号１０５との加算画像信号が生成され、加算画像信号が参照画像信号１０６として参照画像メモリ１８に記憶される。
第２の実施形態におけるマクロブロック単位の信号処理は、基本的に第１の実施形態と同様であり、図６に示された通りである。第２の実施形態では、＜４×４画素イントラ予測モード候補の決定＞の処理が第１の実施形態と異なる。
そこで、図１１を参照して図６中のステップＳ１０３の第２の実施形態に従う処理について説明する。まず、まず、ステップＳ５０１でブロック番号（ｂＮｕｍ）を０に設定し、図１０においてスイッチ３１は予測誤差信号１０２をアダマール変換器３３に供給する状態とし、スイッチ３２はアダマール変換器３３からの変換画像信号１２０を加算器１６に供給する状態にして、前記加算画像信号を参照画像信号（擬似参照画像信号という）とする。擬似参照画像信号上にｂＮｕｍ＝０のブロックに対応させて、４×４画素単位の参照画素の設定を行う（ステップＳ５０２）。次に、９つの４×４画素イントラ予測モードの番号ｉＭｏｄｅをｉＭｏｄｅ＝０に設定し（ステップＳ５０３）、４×４画素イントラ予測モードを選択する（ステップＳ５０４）。次に、選択された４×４画素イントラ予測モードに対する評価値を例えば前記の数式（１）または（２）により計算する（ステップＳ５０５）。
この後、ｉＭｏｄｅを１インクリメントし（ステップＳ５０６）、ｉＭｏｄｅ＝８となるまでステップＳ５０４〜Ｓ５０５の処理を繰り返す。ｉＭｏｄｅ＝０〜８の４×４画素イントラ予測モードのうち、ステップＳ５０５で計算された評価値が最小のモードを４×４画素イントラ予測モードの候補として決定する（ステップＳ５０７）。
次に、アダマール変換器３３により４×４画素単位のアダマール変換を行い（ステップＳ５０８）、４×４画素単位の輝度のイントラ予測用参照画像を作成する（ステップＳ５０９）。この後、ｂＮｕｍを１インクリメントし（ステップＳ５１０）、ｂＮｕｍ＝１５となるまでステップＳ５０２〜Ｓ２０９の処理を繰り返すことにより、全ての４×４画素ブロックについて４×４画素イントラ予測モードの候補を求める。
次に、以上により得られた各ブロックの４×４画素イントラ予測モード候補に対して、評価値を再計算する（ステップＳ５１１）。この再計算は、第１の実施形態と同様に４×４画素イントラ予測モード候補に対してステップＳ２０５で計算された評価値に対して、ｂＮｕｍすなわち４×４画素ブロックの位置に応じた図４（Ａ）あるいは図４（Ｂ）に示したような評価係数により重み付けを行う。
以上のように第２の実施形態ではアダマール変換のような簡略化直交変換を用いて生成される画像信号を参照画像信号として用いて、各４×４画素イントラ予測モードに対する一次評価値をブロック毎に計算した後、ブロックの位置に応じた評価係数を用いた重み付け加算を用いて二次評価値をマクロブロック毎に計算する。以後、第１の実施形態と同様に二次評価値を用いてマクロブロック毎の符号化用予測モードを決定することにより、少ない計算量でモード決定を行うことができる。
図１２は、図１中の予測モード決定部１９のうち４×４画素イントラ予測モードの決定に関わる機能を表したブロック図である。一次評価値計算部４１は、図７中のステップＳ２０３〜Ｓ２０６の処理、または図１１中のステップＳ５０３〜Ｓ５０６の処理を行う。すなわち、原画像信号１０１、または変換画像信号１２０と予測画像信号１０５との加算画像信号を４×４画素イントラ予測モードの決定のための参照画像信号２０１として用いて、予測モード０〜８のそれぞれに対する一次評価値を例えば数式（１）または数式（２）により計算する。
４×４画素イントラ予測モード候補決定部４２は、図７中のステップＳ２０１〜Ｓ２０７の処理、または図１１中のステップＳ５０１〜Ｓ５０７の処理を行う。すなわち、一次評価値計算部４１によって図７中のステップＳ２０３〜Ｓ２０６の処理、または図１１中のステップＳ５０３〜Ｓ５０６の処理により計算される一次評価値に従って、１６個の４×４画素ブロックについて４×４画素イントラ予測モード候補を決定する。決定された４×４画素イントラ予測モード候補は、二次評価値計算部４３と予測モード絞り込み部４４に与えられる。
二次評価値計算部４３は、図７中のステップＳ２０９の処理、または図１１中のステップＳ５１１の処理を行う。すなわち、図７中のステップＳ２０５、または図１１中のステップＳ５０５で計算された一次評価値に対して、例えば数式（３）の再計算を行い、図７中のステップＳ２０７、または図１１中のＳ５０７で決定された４×４画素イントラ予測モード候補に対する二次評価値を求める。
第１モード選択部４４、第２モード選択部４５、予測モード絞り込み部４６、三次評価値計算部４７及び４×４画素イントラ予測モード決定部４８により、マクロブロック単位の符号化用予測モードを決定する。第１モード選択部４４は、図６中のステップＳ１０４の処理を行う。すなわち、４×４画素イントラ予測モード候補に対する二次評価値と、１６×１６画素イントラ予測モードに対する評価値２０２を比較して、輝度のイントラ予測モードとして４×４画素イントラ予測モードと１６×１６画素イントラ予測モードのいずれかを選択する。第２モード選択部４５は、図６中のステップＳ１０５の処理を行う。すなわち、４×４画素イントラ予測モード候補に対する二次評価値と、インター予測モードに対する評価値２０３を比較して、マクロブロック単位の予測モードとしてイントラ予測モードとインター予測モードのいずれかを選択する。
予測モード絞り込み部４６、三次評価値計算部４７及び４×４画素イントラ予測モード決定部４８は、図７、または図１１に示した処理を行って、最終的な４×４画素イントラ予測モードを決定する。まず、予測モード絞り込み部４６は図８中のステップＳ３０３の処理を例えば図９のような手順によって行い、４×４画素イントラ予測モード候補を参照して予測モード０〜８を少なくとも一つのモードに絞り込む。予測モード絞り込み部４６により一つのモードが絞り込まれた場合は、その一つのモードが最終的な４×４画素イントラ予測モード２０５として出力される。
三次評価値計算部４７は、予測モード絞り込み部４４により二つ以上のモードが絞り込まれた場合には、三次評価値計算部４７により局部復号画像信号を参照画像信号として用いて、絞り込まれたモードのそれぞれに対する三次評価値を敬作する。４×４画素イントラ予測モード決定部４８は、三次評価値に従って一つの４×４画素イントラ予測モードを符号化用予測モード２０６として決定する。なお、４×４画素イントラ予測モード候補決定部４２により決定された候補を最終的な４×４画素イントラ予測モード２０４として用いてもよい。
図１３は、本発明の応用例である携帯電話機のような携帯無線端末装置を示している。受信時には、図示しないキャリア通信網に含まれる基地局から送信される無線周波数（ＲＦ）信号がアンテナ５０により受信され、受信信号はデュプレクサ５１を介して受信ユニット５２に入力される。受信ユニット５１は受信信号に対して増幅、周波数変換（ダウンコンバート）及びアナログ−ディジタル変換などの処理を施し、中間周波数（ＩＦ）信号を生成する。受信ベースバンド信号は、符号分割多元接続（code division multiple access：ＣＤＭＡ）コーデック５４に入力され、直交復調及び逆拡散の処理を受けて受信データとされる。受信データは、受信されたＲＦ信号が音声信号の場合は音声コーデック５５によって所定の音声復号化方式に従って伸張処理され、さらにディジタル−アナログ変換により復号されてアナログ音声信号とされる。アナログ音声信号は電力増幅器５８６を介してスピーカ３７に供給され、ここから音声として出力される。
一方、送信時にはユーザの発声音声がマイクロフォン５８により音声信号として検出される。音声信号は前置増幅器５９で増幅された後、音声コーデック５５によりディジタル化され、かつ所定の音声符号化方式に従って圧縮処理されることによって、送信音声データとされる。送信音声データはＣＤＭＡコーデック５４に入力され、拡散処理及び直交変調の処理を受ける。直交変調信号は送信ユニット５３によりディジタル−アナログ変換、周波数変換（アップコンバート）を受けてＲＦ信号に変換され、さらに電力増幅器により増幅された後、デュプレクサ５１を介してアンテナ５０に供給されることにより、電波として空間に放射され、前記基地局に向けて送信される。
中央演算処理装置（ＣＰＵ）でなる制御ユニット６０は、各部の制御及び種々の演算や映像・文字情報の処理を司る部分であり、ここにはＣＤＭＡコーデック５４及び音声コーデック５５の他、キー入力部６１、ディスプレイ６２、ビデオコーデック６３及びカメラ（イメージングデバイス）６４が接続されている。図示しないバッテリから制御ユニット６０の制御下で各部に電源が供給される。
ビデオコーデック６３は、Ｈ．２６４／ＡＶＣに準拠しており、図１あるいは図１０に示したビデオエンコーダと図示しないビデオデコーダを含む。ビデオエンコーダは、例えばカメラ６４によって得られる動画像信号を符号化し、符号化ビットストリームを生成する。符号化ビットストリームは制御ユニット６０の制御下でＣＤＭＡコーデック５４に供給され、送信ユニット５３、デュプレクサ５１及びアンテナ５０を介して前記基地局に向けて送信される。このときカメラ６４によって得られる動画像信号を制御ユニット６０により処理してディスプレイ６２に供給することによって、撮影された画像をモニタすることもできる。
前記受信データが圧縮された動画像信号である場合、受信データはＣＤＭＡコーデック５４により符号化ビットストリームとされ、ビデオデコーダに入力される。ビデオデコーダは、符号化ビットストリームを復号して動画像信号を生成する。ビデオデコーダにより生成される動画像信号は、制御ユニット６０の制御下でディスプレイ６２に供給されることによって画像として表示される。
ビデオエンコーダで必要な処理の一部（例えば予測モードの決定）や、ビデオデコーダで必要な処理の一部は、制御ユニット６０のＣＰＵにおいてソフトウェア処理で実現される。本発明の前記実施形態に従うビデオエンコーダは、前述したようにイントラ予測モードの決定に必要な処理量が大きく減少するため、ビデオコーデック６３及び制御ユニット６０の負担が軽減される。この結果、図１３のような無線端末装置の小型化、低消費電力化に寄与することができる。
本発明の第１の実施形態に従うビデオエンコーダを示すブロック図 ４×４画素イントラ予測モードにおける４×４画素ブロックと参照可能な画素との関係を示す図 ４×４画素ブロックの各画素と参照可能な画素との関係を示す図 第１及び第２の実施形態で用いる評価係数の例を示す図 ９つの４×４画素イントラ予測モードについて説明する図 第１の実施形態におけるマクロブロック単位の信号処理について説明するフローチャート 図６中のステップＳ１０３の４×４画素イントラ予測モード候補決定及び評価値計算処理の詳細を説明するフローチャート 図６中のステップＳ１１３の４×４画素イントラ予測モード決定処理の詳細を説明するフローチャート 図８中のステップＳ３０３のイントラ予測モード数の絞り込み処理の詳細を説明するフローチャート 本発明の第２の実施形態に従うビデオエンコーダを示すブロック図 第２の実施形態における４×４画素イントラ予測モード候補決定及び評価値計算処理の詳細を説明するフローチャート 本発明の実施形態に従う４×４画素イントラ予測モード決定に関わる機能を表したブロック図 本発明の実施形態に従うビデオエンコーダを含む携帯無線端末装置の例を示すブロック図
符号の説明
１１…減算器；
１２…ＤＣＴ／量子化ユニット；
１５…ＩＤＣＴ／逆量子化ユニット；
１６…加算器；
１７…イントラ予測器；
１８…参照画像メモリ；
１９…予測モード決定部；
２０…参照画像信号切替スイッチ；
２１…デブロッキングフィルタ；
２２…インター予測器；
２３…予測画像信号切替スイッチ；
２４…エントロピー符号化器；
２５…符号化制御部
３１，３２…スイッチ；
３３…アダマール変換器；
４１…一次評価値計算部；
４２…４×４画素イントラ予測モード候補決定部；
４３…二次評価値計算部；
４４…第１モード選択部；
４５…第２モード選択部；
４６…予測モード絞り込み部；
４７…三次評価値計算部；
４８…４×４画素イントラ予測モード決定部

Claims (11)

  1. 動画像信号を符号化するビデオエンコーダにおいて、
    前記動画像信号を参照画像信号として用いて、予測方向の異なる複数の４×４画素イントラ予測モードのそれぞれに対する一次評価値を複数の４×４画素ブロック毎に計算する手段と、
    前記一次評価値に対して前記４×４画素ブロックの各々の位置に応じた評価係数を用いた重み付け加算を適用することにより、前記４×４画素イントラ予測モードのそれぞれに対する二次評価値をマクロブロック毎に計算する手段と、
    前記二次評価値を用いて前記マクロブロック毎の符号化用予測モードを決定する手段、及び
    前記符号化用予測モードに従って前記動画像信号を符号化する手段を具備するビデオエンコーダ。
  2. 動画像信号を符号化するビデオエンコーダにおいて、
    予測誤差信号に対して簡略化直交変換を行って変換画像信号を生成する変換手段と、
    前記変換画像信号と予測画像信号との加算画像信号を参照画像信号として用いて、予測方向の異なる複数の４×４画素イントラ予測モードのそれぞれに対する一次評価値を複数の４×４画素ブロック毎に計算する手段と、
    前記一次評価値に対して前記４×４画素ブロックの各々の位置に応じた評価係数を用いた重み付け加算を適用することにより、前記４×４画素イントラ予測モードのそれぞれに対する二次評価値をマクロブロック毎に計算する手段と、
    前記二次評価値を用いて前記マクロブロック毎の符号化用予測モードを決定する手段、及び
    前記符号化用予測モードに従って前記動画像信号を符号化する手段を具備することを特徴とするビデオエンコーダ。
  3. 動画像信号を符号化するビデオエンコーダにおいて、
    局部復号画像信号がある場合はこの局部復号画像信号を参照画像信号として用い、局部復号画像信号が無い場合は前記動画像信号を参照画像信号として用いて、予測方向の異なる複数の４×４画素イントラ予測モードのそれぞれに対する一次評価値を複数の４×４画素ブロック毎に計算する手段と、
    前記一次評価値に対して前記４×４画素ブロックの各々の位置に応じた評価係数を用いた重み付け加算を適用することにより、前記４×４画素イントラ予測モードのそれぞれに対する二次評価値をマクロブロック毎に計算する手段と、
    前記二次評価値を用いて前記マクロブロック毎の符号化用予測モードを決定する手段、及び
    前記符号化用予測モードに従って前記動画像信号を符号化する手段を具備するビデオエンコーダ。
  4. 前記一次評価値を計算する手段は、前記一次評価値を以下の数式により計算することを特徴とする請求項１乃至３のいずれか１項記載のビデオエンコーダ。
    Ｊ＝ＳＡＤ＋λ＊Ｒ
    ここで、Ｊは前記一次評価値、ＳＡＤは前記４×４画素イントラ予測モードによる予測誤差の絶対値和（sum of absolute difference）、λは定数、Ｒは前記符号化用予測モードを表す符号の符号量をそれぞれ表す。
  5. 前記一次評価値を計算する手段は、前記一次評価値を以下の数式により計算することを特徴とする請求項１乃至３のいずれか１項記載のビデオエンコーダ。
    Ｊ＝ＳＡＴＤ＋λ＊Ｒ
    ここで、Ｊは前記一次評価値、ＳＡＴＤは前記４×４画素イントラ予測モードによる予測誤差をアダマール変換した値の絶対値和（sum of absolute transformed difference）、λは定数、Ｒは前記符号化用予測モードを表す符号の符号量をそれぞれ表す。
  6. 前記二次評価値を計算する手段は、前記二次評価値を下記の数式により計算することを特徴とする請求項１乃至３のいずれか１項記載のビデオエンコーダ。
    Figure 0004050754
     ここで、Ｅは前記二次評価値、ｉは前記４×４画素ブロックの番号、Ｊｉは前記一次評価値、ｗｉは前記評価係数をそれぞれ表す。
  7. 前記評価係数は、前記複数の４×４画素ブロックのうち右下のブロックに近いブロックほど小さく定められることを特徴とする請求項１乃至３または６のいずれか１項記載のビデオエンコーダ。
  8. 前記符号化用予測モードを決定する手段は、前記一次評価値に従って一つの４×４画素イントラ予測モード候補を決定する手段と、前記二次評価値を用いて１６×１６画素イントラ予測モードと前記４×４画素イントラ予測モードのいずれか一方を選択する第１のモード選択手段、及び前記イントラ予測モードとインター予測モードのいずれか一方を選択する第２のモード選択手段を有し、前記第１の選択手段の選択結果と前記第２の選択手段の選択結果及び前記４×４画素イントラ予測モード候補に従って前記符号化用予測モードを決定することを特徴とする請求項１乃至３のいずれか１項記載のビデオエンコーダ。
  9. 前記符号化用予測モードを決定する手段は、前記第１のモード選択手段により前記４×４画素イントラ予測モードが選択され、かつ前記第２の選択手段によりイントラ予測モードが選択された場合に、前記４×４画素イントラ予測モード候補を用いて前記複数の４×４画素イントラ予測モードを少なくとも一つのモードに絞り込む予測モード絞り込み手段と、及び前記予測モード絞り込み手段により二つ以上のモードが絞り込まれた場合に該二つ以上のモードに従って、局部復号画像信号を参照画像信号として用いて該二つ以上のモードのそれぞれに対する三次評価値を計算する手段をさらに有し、前記三次評価値に従って一つの４×４画素イントラ予測モードを前記符号化用予測モードとして決定することを特徴とする請求８記載のビデオエンコーダ。
  10. 動画像信号を符号化する方法において、
    前記動画像信号を参照画像信号として用いて、予測方向の異なる複数の４×４画素イントラ予測モードのそれぞれに対する一次評価値を複数の４×４画素ブロック毎に計算するステップと、
    前記一次評価値に対して前記４×４画素ブロックの各々の位置に応じた評価係数を用いた重み付け加算を適用することにより、前記４×４画素イントラ予測モードのそれぞれに対する二次評価値をマクロブロック毎に計算するステップと、
    前記二次評価値を用いて前記マクロブロック毎の符号化用予測モードを決定するステップ、及び
    前記符号化用予測モードに従って前記動画像信号を符号化するステップを具備する動画像信号の符号化方法。
  11. 動画像信号を符号化する方法において、
    局部復号画像信号がある場合はこの局部復号画像信号を参照画像信号として用い、局部復号画像信号が無い場合は前記動画像信号を参照画像信号として用いて、予測方向の異なる複数の４×４画素イントラ予測モードのそれぞれに対する一次評価値を複数の４×４画素ブロック毎に計算するステップと、
    前記一次評価値に対して前記４×４画素ブロックの各々の位置に応じた評価係数を用いた重み付け加算を適用することにより、前記４×４画素イントラ予測モードのそれぞれに対する二次評価値をマクロブロック毎に計算するステップと、
    前記二次評価値を用いて前記マクロブロック毎の符号化用予測モードを決定するステップ、及び
    前記符号化用予測モードに従って前記動画像信号を符号化するステップを具備する動画像信号の符号化方法。
JP2005084777A 2005-03-23 2005-03-23 ビデオエンコーダ及び動画像信号の符号化方法 Expired - Fee Related JP4050754B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005084777A JP4050754B2 (ja) 2005-03-23 2005-03-23 ビデオエンコーダ及び動画像信号の符号化方法
EP20050102421 EP1705920B1 (en) 2005-03-23 2005-03-24 Video encoder and portable radio terminal device
US11/089,648 US7688893B2 (en) 2005-03-23 2005-03-25 Video encoder and portable radio terminal device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005084777A JP4050754B2 (ja) 2005-03-23 2005-03-23 ビデオエンコーダ及び動画像信号の符号化方法

Publications (2)

Publication Number Publication Date
JP2006270437A JP2006270437A (ja) 2006-10-05
JP4050754B2 true JP4050754B2 (ja) 2008-02-20

Family

ID=36758316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005084777A Expired - Fee Related JP4050754B2 (ja) 2005-03-23 2005-03-23 ビデオエンコーダ及び動画像信号の符号化方法

Country Status (3)

Country Link
US (1) US7688893B2 (ja)
EP (1) EP1705920B1 (ja)
JP (1) JP4050754B2 (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1605706A2 (en) * 2004-06-09 2005-12-14 Broadcom Corporation Advanced video coding (AVC) intra prediction scheme
KR20060070400A (ko) * 2004-12-20 2006-06-23 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100727972B1 (ko) * 2005-09-06 2007-06-14 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100667815B1 (ko) * 2005-09-22 2007-01-12 삼성전자주식회사 영상 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기위한 프로그램이 기록된 기록 매체
KR100873636B1 (ko) * 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
FR2893808A1 (fr) * 2005-11-22 2007-05-25 Thomson Licensing Sas Procede et dispositif de codage d'une image video
KR100739790B1 (ko) * 2006-02-02 2007-07-13 삼성전자주식회사 인트라 예측 모드 결정 방법 및 장치
US8270492B2 (en) * 2006-05-12 2012-09-18 Panasonic Corporation Moving picture decoding device
JP4787100B2 (ja) * 2006-07-27 2011-10-05 パナソニック株式会社 画像符号化装置
JP4690966B2 (ja) * 2006-08-11 2011-06-01 株式会社東芝 動画像符号化装置
US9872045B2 (en) 2006-10-16 2018-01-16 Conversant Wireless Licensing S.A R.L. Method, electronic device, system, computer program product and circuit assembly for reducing error in video coding
EP3002939A3 (en) * 2006-11-24 2016-06-08 NEC Corporation Coding and decoding device, coding and decoding method and program
JP4901450B2 (ja) * 2006-12-19 2012-03-21 株式会社東芝 動画像符号化装置
JP4908180B2 (ja) * 2006-12-20 2012-04-04 株式会社東芝 動画像符号化装置
FR2910768A1 (fr) * 2006-12-21 2008-06-27 Thomson Licensing Sas Procede et dispositif d'attribution d'un type de codage, et procede et dispositif de codage et de transcodage associes.
JP4635016B2 (ja) * 2007-02-16 2011-02-16 株式会社東芝 情報処理装置およびインター予測モード判定方法
US8233537B2 (en) * 2007-03-19 2012-07-31 Texas Instruments Incorporated Efficient implementation of H.264 4 by 4 intra prediction on a VLIW processor
CN103338365B (zh) 2007-06-29 2017-04-12 夏普株式会社 图像编码装置、图像编码方法、图像译码装置、图像译码方法
JP4922101B2 (ja) * 2007-08-21 2012-04-25 株式会社東芝 情報処理装置およびインター予測モード判定方法
US20090060039A1 (en) * 2007-09-05 2009-03-05 Yasuharu Tanaka Method and apparatus for compression-encoding moving image
CN101637026B (zh) 2007-09-12 2012-03-28 索尼株式会社 图像处理装置和方法
TWI392372B (zh) * 2007-09-12 2013-04-01 Sony Corp Image processing apparatus and image processing method
JP5212373B2 (ja) 2007-09-12 2013-06-19 ソニー株式会社 画像処理装置及び画像処理方法
US8467451B2 (en) * 2007-11-07 2013-06-18 Industrial Technology Research Institute Methods for selecting a prediction mode
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
US20090274213A1 (en) * 2008-04-30 2009-11-05 Omnivision Technologies, Inc. Apparatus and method for computationally efficient intra prediction in a video coder
JP2009290498A (ja) * 2008-05-29 2009-12-10 Renesas Technology Corp 画像符号化装置及び画像符号化方法
KR101633459B1 (ko) * 2009-08-10 2016-06-24 삼성전자주식회사 컬러 간의 상관 관계를 이용한 영상 데이터 인코딩 장치 및 방법, 그리고 영상 데이터 디코딩 장치 및 방법
AU2015200436B2 (en) * 2010-04-05 2015-10-08 Samsung Electronics Co., Ltd. Determining intra prediction mode of image coding unit and image decoding unit
KR101503269B1 (ko) 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
US9462272B2 (en) * 2010-12-13 2016-10-04 Electronics And Telecommunications Research Institute Intra prediction method and apparatus
WO2012081895A1 (ko) 2010-12-13 2012-06-21 한국전자통신연구원 인트라 예측 방법 및 그 장치
JP5713719B2 (ja) 2011-02-17 2015-05-07 株式会社日立国際電気 動画像符号化装置
KR20120140181A (ko) 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
JP2011205711A (ja) * 2011-07-14 2011-10-13 Canon Inc 画像処理装置およびその方法
CN107197309B (zh) * 2011-10-07 2020-02-18 英迪股份有限公司 对视频信号进行解码的方法
CN104247423B (zh) * 2012-03-21 2018-08-07 联发科技（新加坡）私人有限公司 可伸缩视频编码系统的帧内模式编码方法和装置
US9351016B2 (en) * 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
US9813709B2 (en) * 2012-09-28 2017-11-07 Nippon Telegraph And Telephone Corporation Intra-prediction encoding method, intra-prediction decoding method, intra-prediction encoding apparatus, intra-prediction decoding apparatus, program therefor and recording medium having program recorded thereon
BR112021011723A2 (pt) * 2018-12-21 2021-08-31 Huawei Technologies Co., Ltd. Método e aparelho de predição intra e codificador, decodificador, programa de computador, mídia de armazenamento não transitória, e fluxo de bits

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5786855A (en) * 1995-10-26 1998-07-28 Lucent Technologies Inc. Method and apparatus for coding segmented regions in video sequences for content-based scalability
CN100459715C (zh) * 1997-07-31 2009-02-04 日本胜利株式会社 数字视频信号块间预测编码/解码装置及编码/解码方法
EP1582063B1 (en) * 2003-01-07 2018-03-07 Thomson Licensing DTV Mixed inter/intra video coding of macroblock partitions
KR100750110B1 (ko) * 2003-04-22 2007-08-17 삼성전자주식회사 ４×４인트라 휘도 예측 모드 결정방법 및 장치
JP4690966B2 (ja) * 2006-08-11 2011-06-01 株式会社東芝 動画像符号化装置

Also Published As

Publication number Publication date
EP1705920A2 (en) 2006-09-27
EP1705920A3 (en) 2009-01-07
EP1705920B1 (en) 2013-12-11
US20060215763A1 (en) 2006-09-28
JP2006270437A (ja) 2006-10-05
US7688893B2 (en) 2010-03-30

Similar Documents

Publication Publication Date Title
JP4050754B2 (ja) ビデオエンコーダ及び動画像信号の符号化方法
JP4064973B2 (ja) ビデオエンコーダ及びこれを用いた携帯無線端末装置
AU2006338425B2 (en) Moving image encoding/decoding method and device and program
JP5102228B2 (ja) ビデオ符号化
JP4650173B2 (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
CN101889405B (zh) 用于执行运动估计的方法和装置
JP4501631B2 (ja) 画像符号化装置及び方法、画像符号化装置のコンピュータ・プログラム、並びに携帯端末
WO2010001917A1 (ja) 画像処理装置および方法
WO2011064990A1 (ja) 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
CN102223532B (zh) 在编码单元进行视讯编码时执行混成多重假设移动补偿预测的方法以及装置
KR20120027145A (ko) 화상 처리 장치 및 방법
JP2011507421A (ja) ビデオ符号化に対する改善された画素予測
KR20050074286A (ko) 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화프로그램
KR20070005848A (ko) 인트라 예측 모드 결정 방법 및 장치
JP5333449B2 (ja) 画像処理装置および方法、プログラム、並びに、記録媒体
KR20180023055A (ko) 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법 및 동화상 예측 복호 프로그램
JP2010258738A (ja) 画像処理装置および方法、並びにプログラム
JP4360093B2 (ja) 画像処理装置および符号化装置とそれらの方法
WO2010010943A1 (ja) 画像処理装置および方法
JP5326828B2 (ja) 動画像符号化装置及び動画像符号化方法
JP4994877B2 (ja) ビデオのフレームシーケンスにおけるマクロブロックの符号化モードを選択する方法及びシステム
CN113873257B (zh) 一种运动信息候选列表的构建方法、装置及其设备
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
JP4222274B2 (ja) 符号化モード選択装置及び符号化モード選択プログラム
JP4423968B2 (ja) 符号化装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071129

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101207

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111207

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121207

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121207

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131207

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees