JP4127818B2 - 動画像符号化方法及びその装置 - Google Patents

動画像符号化方法及びその装置 Download PDF

Info

Publication number
JP4127818B2
JP4127818B2 JP2003427893A JP2003427893A JP4127818B2 JP 4127818 B2 JP4127818 B2 JP 4127818B2 JP 2003427893 A JP2003427893 A JP 2003427893A JP 2003427893 A JP2003427893 A JP 2003427893A JP 4127818 B2 JP4127818 B2 JP 4127818B2
Authority
JP
Japan
Prior art keywords
encoding
prediction
coding
cost
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003427893A
Other languages
English (en)
Other versions
JP2005191706A (ja
Inventor
昭行 谷沢
晋一郎 古藤
健 中條
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2003427893A priority Critical patent/JP4127818B2/ja
Priority to US11/016,803 priority patent/US7751476B2/en
Publication of JP2005191706A publication Critical patent/JP2005191706A/ja
Application granted granted Critical
Publication of JP4127818B2 publication Critical patent/JP4127818B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、複数の符号化モードのいずれかを選択して符号化を行う動画像符号化方法、動画像符号化装置及びプログラムに関するものである。
複数の予測モードや、複数のブロック形状を持つ予測符号化を用いた動画像符号化方法が、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとのジョイントにより、ＩＴＵ−Ｔ
Ｒｅｃ．Ｈ．２６４及びＩＳＯ／ＩＥＣ １４４９６−１０として審議されている（以下、「Ｈ．２６４」という）。
このＨ．２６４のフレーム内予測符号化では、予測ブロック毎に４×４の予測ブロックと１６×１６の予測ブロックの形状が選択可能であり、また、複数の予測モードの中から１つの予測モードを選択して予測することが可能になっている。従来の符号化方式であるＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４のフレーム内予測符号化では、選べる予測モードが多くなかったが、Ｈ．２６４では予測ブロック形状が１６×１６画素ブロック、４×４画素ブロックと小ブロック化されており、豊富な予測モードの中から画像の特徴に応じて最適なモードを選択することが可能となっている。フレーム間予測符号化においては、従来は８×８画素ブロックサイズ以上の予測が用いられていたが、Ｈ．２６４では４×４画素ブロックサイズでの予測が可能で、さらに既に符号化された複数枚の参照画像からの動き補償により、従来方法よりも高精度な予測が可能となっている。このように、ブロック毎に選択可能な予測モードの数を増やし、より予測効率の高い符号化モードを選択することで、符号化効率の向上が図られている。
また、発生符号量を拘束条件として、ラグランジュ未定乗数法を用いて符号化制御を行うレート−歪み最適化方法が提案されている。これは、実際に符号化して得られる発生符号量と、符号化歪み（例えば、原画像とローカルデコード画像の二乗誤差、平均二乗誤差等）から、符号化効率の最も高い符号化モードを選択する方法である。
しかし、この方法の問題点として、符号化モード数及びブロック形状数が増大すると、モードの取り得る組み合わせの数だけ繰り返し符号化する必要が生じるため、実計算時間が増大する。
画素ブロック毎に符号化モードの適切な選択を行うことは重要であり、従来からモード選択方法に関する技術が提案されている。
(1) 予測誤差の小さい符号化モードを選択する方法（特許文献１参照）。
(2) 予測残差信号などから発生符号量を推定して、推定された発生符号量が最小となる符号化モードを選択する方法（特許文献２参照）。
(3) 各符号化モードについて、それぞれ実際に符号化を行ってみて、符号量が最小の符号化モードを選択する方法（特許文献１、特許文献３参照）。
(4) （３）の方法に加えて、各符号化モード毎に符号化歪み、すなわち復号化された画像と原画像との誤差を計算し、発生符号量と符号化歪みとのバランスにおいて、最適な符号化モードを選択する方法（非特許文献１参照）。
特開２００３−１５３２８０公報 特開平１０−２９０４６４号公報 特開平９−３２２１７６号公報 Thomas Wiegand and Berand Girod,"Multi-frame motion compensated prediction for video transmission",Kluwer Academic Publishers 2001
しかしながら、（１）や（２）の方法では、推測や予測に基づいて符号化モードの選択を行っているのでその選択が適切でない場合もあり、符号化効率の高い符号化を行えない場合がある。
これに対し、（３）や（４）の方法では、実際の符号化による符号量計測結果に基づいた選択を行っているので、符号化効率の高い符号化を行えることが一般に知られている。しかしながら、（３）や（４）の方法では、選択可能な符号化モード毎に、実際に符号化して発生符号量を計測しなければならず、符号化効率が改善する反面、符号化モード数が多い場合、符号化に必要な演算量やハードウェア規模が大きくなり、エンコーダのコスト増を招くという問題点がある。
そこで本発明は、上記に鑑みてなされたものであって、複数のモードの中からいずれかのモードを選択して動画像符号化を行う際に、処理負担等の増加を抑えつつ、かつ、好適なモード選択をなすことができる動画像符号化方法、動画像符号化装置及びプログラムを提供することを目的とする。
請求項１に係る発明は、入力画像信号を複数の画素ブロックに分割し、これら分割した画素ブロック毎に複数の符号化モードから１つのモードを選択し、この選択された符号化モードによって前記画素ブロックを符号化する動画像符号化方法において、前記画素ブロックに対応する入力画像信号に基づいて前記複数の符号化モードの各々の方式にしたがって予測信号と符号化モード情報とを生成する予測信号生成ステップと、前記符号化モード毎に生成された予測信号と前記画素ブロックに対応する入力画像信号とから予測残差信号を生成する予測残差信号生成ステップと、前記符号化モード毎の予測残差信号を符号化するためのコストである符号化コストを前記予測残差信号とその符号化モード情報から推定した簡易符号化コストを計算する簡易符号化コスト計算ステップと、前記画素ブロックの予測残差信号を符号化する際の量子化ステップ幅に応じて所定の候補数を決定し、また、前記計算した複数の簡易符号化コストを小さい順に並べ、さらに、この並べた中から最も小さい簡易符号化コストを有する符号化モードを前記決定された所定の候補数だけ符号化モード候補として選択する第１符号化モード選択ステップと、前記選択された複数の符号化モード候補に対して符号化処理を行い、符号化歪みと符号量を計測して詳細符号化コストを計算する詳細符号化コスト計測ステップと、前記複数の符号化モード候補の中から、前記計測された詳細符号化コストに基づいて、いずれか１つの符号化モードを選択する第２符号化モード選択ステップと、を具備することを特徴とする動画像符号化方法である。
本発明によれば、複数の符号化モードの中からいずれかのモードを選択して動画像符号化を行う際に、処理負担等の増加を抑えつつ、かつ好適なモード選択をなすことができるという効果を奏する。
以下に添付図面を参照して、この発明に係る動画像符号化方法及び動画像符号化装置の最良な実施形態を詳細に説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係わる動画像符号化装置の構成を示すブロック図である。
（１）動画像符号化装置の構成
図１によると、動画像信号は符号化部１１０に入力される。この符号化部１１０の減算器１０１は入力信号を直交変換する直交変換部（例えば離散コサイン変換器）１０２及び直交変換係数（ＤＣＴ係数）を量子化する量子化部１０３を介して可変長符号化部１１２に接続される。量子化部１０３の出力端は局部復号器を構成する逆量子化部１０４、逆直交変換部１０５、加算器１０６を介してフレームメモリ１０７に接続される。フレームメモリ１０７の出力端は後述する予測信号生成部１０８の入力端に接続される。予測信号生成部１０８の出力端は後述するＭＢ（マクロブロック）予測モード選択部１０９に接続される。このＭＢ予測モード選択部１０９の出力端は減算器１０１及び加算器１０６に夫々接続される。
可変長符号化部１１２の出力端は多重化部１１３を介して出力バッファ１１４に接続される。符号化制御部１１１は符号化部１１０を制御するために設けられている。
上記構成において、入力動画像信号は、複数の画素ブロックに分割され、画素ブロック毎に予測画像生成部１０８に入力される。予測画像生成部１０８では、フレームメモリ１０７に記録された参照フレームを用いて、複数の予測モードの中から最適な予測モードが選択され、選ばれた予測モードを用いて予測画素信号が生成される。予測画素信号に基づいてＭＢ予測モード選択部１０９により最適な予測モードが選択される。すなわち、予測画像生成部１０８により選択された最適予測モードにより生成された予測画素信号に基づいてＭＢ予測モード選択部１０９はフレーム間予測モード及びフレーム内予測モードの一方の最適な予測モードを選択する。選択された予測モードに対応する予測画素信号が減算器１０１に入力される。減算器１０１により予測画素信号と入力画像信号との予測残差信号が計算される。この予測残差信号は直交変換部１０２に入力され、直交変換（例えばＤＣＴ変換）される。
直交変換係数は量子化部１０３により量子化され、量子化された直交変換係数は、ＭＢ予測モード選択部１０９から出力される予測モード情報、量子化係数等の予測方法に関する情報とともに、可変長符号化部１１２により可変長符号化される。これらの符号化データは多重化部１１３により多重化され、出力バッファ１１４を通して符号化データとして出力される。
また、量子化された直交変換係数は、逆量子化部１０４及び逆直交変換部１０５を介して局部復号される。局部復号信号、すなわち復号予測残差信号は加算器１０６において予測信号と加算されて、参照フレームとしてフレームメモリ１０７へと保存される。
符号化制御部１１１は発生符号量のフィードバック制御及び量子化特性制御などを行い、発生符号量の制御を行うレート制御や、予測部の制御、符号化全体の制御を行う。
これら各部の機能は、コンピュータに記憶されたプログラムによって実現される。
（２）符号化方式
次に図２を用いて、具体的な符号化方式の説明を行う。
本実施形態では、マクロブロック毎に複数のブロック形状があり、各々が複数の予測モードを持っている予測符号化に関する。
（２−１）予測信号生成部１０８の動作説明
図２は、予測信号生成部１０８の内部構造を示すものである。
予測信号生成部１０８は符号化制御部１１１によって制御され、ある符号化モードで符号化されるときに、図１のフレームメモリ１０７に蓄積されていた参照画素信号２０４と入力画像信号２０５が予測制御部２０１へと入力される。
予測制御部２０１では、符号化制御部１１１からのピクチャタイプ情報、或いはスライスタイプ情報に応じてフレーム内符号化部２０２、もしくはフレーム間符号化部２０３に参照画素信号２０４、入力画像信号２０５を入力する。
フレーム内符号化部２０２及びフレーム間符号化部２０３は、それぞれ符号化処理を行い、予測画素信号２０６、予測モード情報２０７、直交変換係数２０８を出力する。
（２−２）フレーム内符号化部２０２、フレーム間符号化部２０３の動作説明
図３は、図２のフレーム内符号化部２０２、もしくはフレーム間符号化部２０３の内部構造を示すものである。
図２で与えられた参照画素信号２０４は予測部３０１へと入力され予測画素信号３１２を生成する。前記符号化モードで予測された予測画素信号３１２は減算器３０７で入力画像信号２０５から減算されて、予測残差信号３０８となり、候補選択部３０２に入り、これらの予測画素信号３１２と入力画素信号２０５を用いて前記候補選択部３０２では符号化する予測モードを選択する。同時に予測画素信号３１２も候補選択部３０２へと入力される。
ここで予測残差信号がHadamard Transform部（以下、「ＨＴ部」という）３１７へと入力され、アダマール変換され、変換残差信号として候補選択部３０２へ入力されても良い。
予測残差信号３０８は直交変換部３０３にて直交変換され、変換係数は量子化部３０４にて量子化される。量子化された変換係数は可変長符号化され、ビットストリームデータとして出力されるとともに、可変長符号化時に計測された発生符号量Ｒ３１３が画素ブロック予測モード決定部３１５へと入力される。
一方、前記量子化部３０４で量子化された変換係数は逆量子化部３０５にて逆量子化され、さらに直交変換係数２０８は逆直交変換部３０６にて逆変換されて量子化後の残差信号となり、加算器３０９を介して予測画素信号３１２と加算され、復号画素信号３１６となる。
画素ブロック予測モード決定部３１５では、可変長符号化部３１０で計測される発生符号量Ｒ３１３と符号化歪み算出部３１１で計測される符号化歪みＤ３１４から、ラグランジュ未定乗数法を用いて各予測モードのラグランジュコストを計算し、コスト最小となる予測モードを最適予測モードとして選択し、そのときの予測モード情報２０７及び符号化された直交変換係数２０８が符号化され多重化される。
（３）モード判定の処理
図１のＭＢ予測モード選択部１０９及び図３の画素ブロック予測モード決定部３１５のモード判定では、ラグランジュの未定乗数法に基づくレート−歪み最適化を用いる。
ここでラグランジュコストをＪ、発生符号量をＲ及び符号化歪みをＤとする。λはラグランジュ乗数であり、量子化ステップに依存する。
Figure 0004127818
ラグランジュ未定乗数法は、ある拘束条件を持つ最大化問題を拘束条件無しの最大化問題へと帰着させる手法である。符号化歪みＤは、予測残差信号３０８を直交変換、量子化し、逆量子化し、逆直交変換した後に予測画素信号３１２と加算されて得られる復号画素信号３１６と入力画像信号２０５との二乗誤差として計算される。また発生符号量Ｒは量子化した直後の直交変換係数を用いて可変長符号化した後に得られるため、複数のモード、或いはブロック形状を有する場合、計算負荷が増大する。
第１のモード判定部では、画素ブロック毎の入力画像信号及び符号化モードにて予測された予測画素信号を用いて、前記画素ブロックの予測残差信号３０８を計算する。この予測残差信号３０８の絶対誤差値（ＳＡＤ）と符号化時の副情報を用いて複数ある予測モードを推定する。この推定された符号化モードの中から最適なモード選択を行うことを特徴としている。これにより、ブロック形状毎、または、符号化モード毎に、選択する予測モードの数を変更することが可能となる。
第２のモード判定部では、最適候補群として選択された予測モードのみを直交変換、量子化、逆量子化、逆直交変換、及び符号化すればよいため、予測モードループ内での直交変換、量子化、逆量子化、逆直交変換、符号化等の処理を省き、また可変長符号化部３１０、符号化歪み算出部３１１での演算量を大幅に減少することが可能である。
ここで予測モードｉに対する予測残差信号３０８の絶対誤差は次式で計算される。
Figure 0004127818
ｋはマクロブロック内の画素番号である。例えばＨ．２６４のフレーム内符号化が選択された場合、前記符号化モード情報を符号化するための符号量は符号化モードによって異なっている。またフレーム間符号化では、各ブロック形状、参照フレーム番号、及び選択されたＭＶによって符号化モードの符号量が異なる。このような副情報を詳細符号化コストの符号量に対応して簡易符号化コストの簡易符号量として、判定式に導入し、次式のモード判定式を用いる。副情報はその符号化モードを選択したときの、符号化モード自身の符号量を表している。
Figure 0004127818
ここでλｅｆｆｅｃｔはラグランジュ乗数を表し、数１のλとは値が異なる。
それぞれの予測モードｉに対して簡易符号化コストを計算し、この簡易符号化コストから候補選択を行う。つまり、選択されない予測モードは図３の第１のモード判定で符号化されないため、大幅な演算量の低減が見込める。さらに、簡易符号化コストはフレーム内符号化及びフレーム間符号化などの符号化モードに依存しない、予測残差信号と簡易符号量を元に計算することが可能である。このため本方式の実装及び開発に関するハードウェアコストの削減が実現できる。
（４）符号化モード候補の選択方法
符号化モード候補の選択に関する第１の実施形態について説明する。
本実施形態では、量子化ステップ幅に応じて選択する候補の個数を適応的に変更できるようにしたものである。
符号化モード毎の詳細符号化コストを推定するものとして上記の簡易符号化コストを計算し、コストの値に応じて適応的に選択する候補の数を変える。この場合、量子化ステップの値によって、簡易符号化コストが大きいか、小さいかの判断を行う。
例えば、ある量子化ステップにて計算された１つの符号化モードの簡易符号化コストが他の符号化モードの簡易符号化コストよりも大幅に小さければ、その符号化モードが好適であると判断し、他の符号化モードは計算しない。
一方、計算された符号化モードがどれも似たような値を取る場合は、それらは候補として残し、第１のモード判定を終了する。
これにより第２のモード判定ではラグランジュコストを求め、レート−歪み最適化によって最適な符号化モードが選ばれる。
このように、簡易符号化コストを計算し、その値に応じて適応的に選択する候補の数を変える事により、符号化効率を落とすことなく、高速に符号化できる。
以下、符号化モード候補の選択方法を詳しく説明する。
（４−１）第１選択方法
符号化モード候補の第１選択方法について説明する。
第１選択方法では、量子化ステップ幅に応じて選択する候補の個数を変更できるようにしたものである。
例として図４右にこの実施形態の例を示す。簡易符号化コストを昇順に並べ、上位から予め決められた個数だけ候補を選択する。
符号化モード毎に量子化ステップ幅に対する簡易符号化コストとラグランジュコストの相関が異なるため、簡易符号化コストで選ばれた選択候補の中に、ラグランジュコストで選択されるべき候補が残っているならば、符号化効率は低下しない。このため、量子化ステップ幅に応じて、選択する候補の個数を調節することによって、符号化効率を落とすことなく、選択されない候補の符号化及び量子化、直交変換等の演算量を削減することができる。
ラグランジュコストを用いたモード判定において、ラグランジュ乗数は量子化ステップに依存した指数関数的な振る舞いをするように調整される。一般に、量子化ステップの値が小さいと、残差の符号化に係る時間が増大し、全体の演算量は増える傾向にあり、大きいと量子化により残差の符号量が少なくなるため符号化に消費される時間が減る。
量子化ステップ幅に応じて候補数を選択するために、上述したラグランジュコストと簡易符号化コストの相関を予め調べる必要がある。全量子化ステップ幅において、相関が変わらない場合、候補数は固定でよい。例えばＨ．２６４などの符号化方式の場合、フレーム内符号化の簡易符号化コストとラグランジュコストのコスト相関は量子化ステップが小さいときに小さくなり、量子化ステップが大きくなると相関も大きくなる傾向がある。一方、フレーム間符号化に関しては、簡易符号化コストとラグランジュコストのコスト相関は量子化ステップにあまり依存しない。よって、選択候補の個数を固定として良い。予め候補数を決める例を図１９（ａ）（ｂ）を用いて示す。
図１９（ａ）（ｂ）の縦軸は簡易符号化コストで上位２つを選択したときに、その２つがラグランジュコスト評価で選択されるかされないかを示す候補正解率の例である。候補正解率１００％とは、簡易符号化コストで選択された符号化モードが完全にラグランジュコストで選択された符号化モードと一致していることを示し、符号化結果が１００％一致することを示す。簡易符号化コストで選択される符号化モードと詳細符号化コストで選択される符号化モードが合致するかを表す候補正解率は画像、または画像サイズにあまり影響を受けず、量子化ステップ幅の値に強く依存している。このため、予め符号化モード毎の量子化ステップ依存性を調べておくことにより、画像に対してより頑健な符号化が実現できる。
図１９（ａ）は正解率が右上がりで上がっている。このような場合、量子化ステップが小さい領域では候補数を増やし、大きい領域では候補数を減らすことによって符号化効率を落とすことなく、演算量を削減できる。
図１９（ｂ）の場合、量子化ステップが小さい領域では候補数を減らし、大きい領域では候補数を増やすことで符号化効率を維持できる。
このように各々のモード判定で、予め量子化ステップに応じた簡易符号化コストとラグランジュコストの相関を調べ、さらに簡易符号化コストで選択されるモードと詳細符号化コストで選択されるモードが合致するかの正解率を調べ、量子化ステップの領域毎の候補選択数を変えることにより、全ビットレート帯において安定して高速な符号化が可能となり、且つ符号化効率を落とすことなく実現できる。
（４−２）第２選択方法
符号化モード候補の第２選択方法について説明する。
第２選択方法では、選択する符号化モード候補数を、量子化ステップに応じて単調に変動させる。
例えば、Ｈ．２６４などの符号化方式の場合、フレーム内符号化のコスト相関は量子化ステップが小さいときに小さくなり、量子化ステップが大きくなると相関も大きくなる傾向がある。
つまり、高ビットレートでは候補数を増やし、低ビットレートでは候補を減らすことにより、符号化効率を落とすことなく符号化が可能である。一方、様々な符号化モードが混在するレベルでのモード判定においては、量子化ステップの値に応じて選択されやすい符号化モードが存在する。
例えば、Ｈ．２６４のフレーム内符号化において、４×４ブロックサイズ予測はブロックが小さく詳細な予測が可能であるため、量子化ステップが小さい領域で非常に選択されやすい傾向がある。
しかし、符号化モード自身の符号量が多いため、量子化ステップが大きい領域では選択されにくい。つまり、量子化ステップが小さい領域ではほとんど４×４予測を選べば、符号化効率は落ちない。一方、大画素ブロックサイズ予測である１６×１６ブロックサイズ予測ではブロックサイズが大きく、選択できる予測モードも少ないため、予測精度は４×４ブロックサイズ予測に比べると高くない。しかし、符号化モード自身の符号量が少ないため、量子化ステップが大きくなると選択されやすくなる。よって、量子化ステップ大の領域では４×４ブロックサイズ予測と１６×１６ブロックサイズ予測が適度に混在し、モード判定が難しくなる。このように様々な符号化モードが混在するモード判定においては、量子化ステップが大きくなるにつれ、候補数を単調に増やすことで、符号化モードが取り得る候補を増やし、符号化効率を維持する。
（５）第１の実施形態の変更例
第１の実施形態の変更例について説明する。
本変更例では、簡易符号化コストが閾値関数より小さい予測モードのみを選択する。この閾値は量子化ステップに依存し、上述した第１の実施形態と同様、全量子化ステップ値帯において演算量の削減と安定した符号化を維持する。
このモード選択の概略を図４左で表す。複数の予測モードに対して計算されたコストの大きさがある閾値よりも大きい場合は、最適候補となり得る確率が低いと判断される。つまり、予測残差が大きいために、符号化後の画質が悪くなり、あるいは符号量が大きくなることが予め推測される。この閾値は量子化ステップとともに変化する値を取り、例えば、量子化ステップＱＰに対する減少関数となる。例として次式を示す。
Figure 0004127818
ここでθｔｈは前記閾値を表している。ＱＰが小さい場合、ラグランジュ乗数λが小さくなり、符号化歪みの小さい符号化モードが選ばれやすくなり、予測残差の小さい予測モードが最適モードに選ばれる可能性が高いため、閾値θｔｈを大きく取り候補数を減らすことによって、演算量の大幅な削減を行う。逆に、ＱＰが大きい場合には選択する予測モードを多く取り、複数の候補から最適な符号化モードを選ぶことにより、画質劣化が少なくなるよう調整するべきである。また、ＱＰが大きくなると量子化により、符号量が減少し、必要とされる演算量が減少するため、符号化モードを多く選択したとしても、演算量の増大が少ない。このように量子化ステップＱＰによって選択する予測モードの候補数を調整することによって、画質を維持したままモード判定に費やす演算量を大幅に削減し、且つ全量子化ステップ帯において安定した符号化を行うことが可能である。
（５−１）符号化処理
図１５は、本実施形態で符号化する場合の処理のフローチャートを表している。
図１５に示すフローチャートによると、先ず、最小コストを更新する変数ｍｉｎ＿ｃｏｓｔを初期化する（ステップ０１）。符号化制御によって予測信号生成（ステップ０２）が実施されると、算出された予測値と入力画像０３、さらにその符号化モードの符号量を用いて簡易符号化コスト計算を行う（ステップ０４）。計算された簡易符号化コストに基づいて第１の実施形態及び第２，３の実施形態に基づいた第１の予測モード選択（ステップ０５）を行い、この第１の予測モード選択で選ばれたモードに対して、予測モードループにおいて、直交変換（ステップ０６）、量子化（ステップ０７）、逆量子化（ステップ０８）、逆直交変換（ステップ１０）、可変長符号化（ステップ１１）及び符号化歪み計算（ステップ１３）が順次行われる。
この後、可変長符号化によって得られた符号量Ｒ１２、さらに符号化歪み計算で得られた符号化歪みＤ１４に基づきラグランジュコスト評価が行われ（ステップ１５）、前記予測モードのｍｉｎ＿ｃｏｓｔ＞Ｊが判定される（ステップ１６）。この判定がＹＥＳであると、最小コストが更新され（ステップ１７）、予測モードが更新される（ステップ１８）。これにより第２の選択ステップにおける最適符号化モードが１つに絞られる。
予測モード更新後及びｍｉｎ＿ｃｏｓｔ＞Ｊの判定がＮＯのとき、予測終了が決定される（ステップ１９）。ステップ０５〜１８の予測モードループがモード選択により選ばれた予測モードの数だけ繰り返されると、予測ループが終了する。その後、参照画素が更新され（ステップ２０）、処理は終了する。
この後、前記予測モードで得られた復号画像信号が参照画素信号としてメモリに保存され、次のマクロブロックの予測に利用される。
（５−２）グランジュコストを計算してモード判定を行う処理
一方、発生符号量と符号化歪みを実測し、これらを基にグランジュコストを計算し、モード判定を行う方式は図５に示す形態であり、このときの処理過程は図１６のフローチャートに示される。
（５−２−１）フレーム内符号化部２０２とフレーム間符号化部２０３の構成
図５は図２のフレーム内符号化部２０２（及びフレーム間符号化部２０３）を示す。
これによると、参照画素信号２０４が予測部５０１へ入力されると、予測部５０１は予測画素信号５１２を出力する。予測画素信号５１２は減算器５０９により入力画像信号２０５から減算され、残差信号５１１が生成される。この残差信号５１１は直交変換部５０２によって直交変換（例えばＤＣＴなど）される。直交変換により得られた直交変換係数は量子化部５０３によって量子化される。量子化変換係数は可変長符号化部５０６へと送られ、ここで可変長符号化されて発生符号量Ｒ（５１３）が求められる。
また、量子化直交変換係数は逆量子化部５０４によって逆量子化され、さらに逆直交変換部５０５によって復号化され、局部復号信号が生成される。この局部復号信号は予測部５０１から得られる予測画素信号５１２と加算される。加算結果は復号画素信号５１６として符号化歪み算出部５０７へと入力される。符号化歪み算出部５０７は入力画像信号２０５と復号画素信号５１６とに基づいて符号化歪みＤ（５１４）を算出する。符号化歪みＤ（５１４）と発生符号量Ｒ（５１３）は予測モード決定部５０８へ入力される。
予測モード決定部５０８はラグランジュ未定乗数法を用いて符号化歪みＤ（５１４）と発生符号量Ｒ（５１３）からラグランジュコストを算出し、コスト最小の予測モードを最終予測モードとして、復号画素信号５１６、直交変換係数２０７を出力する。
（５−２−２）処理方法
図１６に示すフローチャートによると、先ず、最小コストを更新する変数ｍｉｎ＿ｃｏｓｔを初期化する（ステップ０１）。予測（ステップ０２）が実施されると、予測モードループにおいて、直交変換（ステップ０５）、量子化（ステップ０６）、逆量子化（ステップ０７）、逆直交変換（ステップ０９）、可変長符号化（ステップ１０）及び符号化歪み計算（ステップ１２）が順次行われる。この場合、予測モードが増えるとそれに伴って演算量が増大する反面、正確な符号量Ｒ１１と符号化歪みＤ１３が計算でき、符号化効率の高い高画質な符号化画像が得られる。
この後、符号化歪みＤに基づきコスト評価が行われ（ステップ１４）、ｍｉｎ＿ｃｏｓｔ＞Ｊが判定される（ステップ１５）。この判定がＹＥＳであると、最小コストが更新され（ステップ１６）、予測モードが更新される（ステップ１７）。
予測モード更新後及びｍｉｎ＿ｃｏｓｔ＞Ｊの判定がＮＯのとき、予測終了が決定される（ステップ１８）。ステップ０２〜１８の予測モードループが予測モードの数だけ繰り返されると、予測ループが終了する。その後、参照画素が更新され（ステップ１９）、処理は終了する。
レート−歪み最適化モード判定は、符号化モード全てを符号化し、符号化歪みと符号量を算出することでラグランジュコストを計測し、コスト最小を与える符号化モードを最適符号化モードと判断する。図１６では予測モードループが予測（ステップ０２）から予測終了判定（ステップ１８）まで含まれているため、全予測が終了するまで、直交変換、量子化、逆量子化、逆直交変換、符号化等を繰り返し、膨大な演算量を必要とする事がわかる。
（第２の実施形態）
次に、予測制御部２０１でフレーム内符号化が選択されたときの第２の実施形態について説明する。
本実施形態は、先ず、複数の符号化済みの隣接ブロックから算出された予測方向を持つ予測モードを最初に行い、次に複数の予測方向を間引いた予測モードで簡易符号化コストを計算してコストが最小となるような予測方向である優位方向を決定し、優位と判断された方向に対して、隣り合う予測方向、つまり、選択された前記優位方向近傍の角度を持つ予測モードに対して簡易符号化コストを計算し、これら選択された予測方向全ての中から、簡易符号化コストが最小になる予測モードを選択することで予測画像生成の演算量を減らすことを特徴としている。
例えば、Ｈ．２６４等のフレーム内予測における輝度信号では１マクロブロックに１６個の４×４画素ブロックを持つものと、１個の１６×１６画素ブロックを持つものの２通りが提案されている。４×４画素ブロックには９つの予測モード、１６×１６画素ブロックには４つの予測モードがある。
図６にＨ．２６４のフレーム内予測に用いられるマクロブロックのブロック形状を図示する。Ｈ．２６４等では、符号化対象フレームを１６×１６画素のマクロブロックに分割し、さらにフレーム内予測ではマクロブロックを４×４画素へと分割する。４×４画素ブロックの場合、前記フレーム内予測は４×４予測が順次１６回行われることとなる。
図７はＨ．２６４のフレーム内予測の４×４画素ブロックにおける全予測モード、すなわち、垂直予測モード、水平予測モード、ＤＣ予測モード、直交左下予測モード、直交右下予測モード、垂直右予測モード、水平下予測モード、垂直左予測モード及び水平上予測モードを示している。記号Ａ〜Ｍは既に符号化されている参照画素信号である。
例えば、垂直予測モードは垂直方向に沿ってそれぞれ既に符号化済みの参照画素Ａ、Ｂ、Ｃ、Ｄから予測する。ＤＣ予測モードは参照画素Ａ〜ＤとＪ〜Ｍまでの平均値を求め、この平均値により４×４ブロックの全画素が予測される。図１１はこれらの予測方向に対応する予測番号を示している。
図８はＨ．２６４の１６×１６画素ブロックにおける全予測モード、すなわち垂直予測、水平予測、ＤＣ予測、平面予測を表している。記号Ｈ，Ｖは既に符号化されている水平、垂直参照画素信号である。
（１）符号化制御部１１１の処理
符号化制御部１１１によりフレーム内符号化が選択されたときの処理をＨ．２６４のフレーム内符号化の４×４予測を例として図９を用いて説明する。
符号化制御部１１１によって制御され、フレーム内予測（４×４予測）が選択されたときに、フレームメモリ１０７に蓄積されていた参照画素信号２０４が後述する予測モード階層化部９０１へと入力される。この予測モード階層化部９０１は、第１のモード判定部９０４内の閉ループとなっており、４×４予測部で生成された予測画素信号９１１をもとに、４×４予測の予測モードの選択を行う。予測モード階層化部９０１から出力された予測画素信号９１１は減算器９０９により、入力画像信号２０５から減算されて予測残差信号９１０となり、４×４候補選択部９０２へと入力されている。ここで、予測残差信号はＨＴ部９２３にてアダマール変換され、変換残差信号を作成しても良い。
予測残差信号、もしくは変換残差信号をもとに４×４候補選択部９０２では好適予測モードの選択を行う。予測モード階層化部９０１で選択される予測モードは４×４候補選択部９０２によって制御されており、現在の予測状態に応じて上述した簡易符号化コストを計算し、次の予測モードを制御している。
４×４予測部９０３で生成された予測画素信号９１１は４×４候補選択部９０２へと接続されており、１つ、或いは複数の予測モードが選択され、第２のモード判定部へと渡される。
第２のモード判定部は図３で説明したものとまったく同一である。但し、第１のモード判定部で選択されている最適予測モード（一候補）に対してのみ処理を行ってもよく、１つのモードのみを符号化すればよいため、従来のラグランジュ未定乗数法に比べてはるかに高速である。
また、別の実施形態では、図９の第１のモード選択部で得られた複数の予測モードを図３の第１のモード判定部へと接続し、さらに階層化しても良い。
第１のモード判定部では４×４予測の特性を用いて階層化を行う。前述したようにＨ．２６４の４×４予測では、ＤＣ予測を除くと予測方向に応じて８つの予測モードが用意されており、２２．５度の間隔で予測が可能である。
（２）処理方法
図１７に示すフローチャートによると、先ず、最小コストを更新する変数ｍｉｎ＿ｃｏｓｔを初期化する（ステップ０１）。符号化モード情報を符号化するための符号量が小さいモードとして、隣接ブロックで選択された予測モードから算出されたモードの予測を行う（ステップ０２）。生成された予測画素信号と入力画像０３を用いて簡易符号化コストを計算する（ステップ０４）。ｃｏｓｔ＜Ｔｈ１の判定を行い（ステップ０５）、ＹＥＳ、つまり閾値Ｔｈ１より簡易符号化コストが小さければ、前記予測モードを最適予測モードと決定し（ステップ１６）、階層化処理は終了する。
もし判定がＮＯであれば、図６の０，１，３，４に前記当する予測、すなわち垂直予測、水平予測、直交左下予測、直交右下予測のそれぞれ図１１の中心に対して９０°、０°、２２５°及び−４５°の方向に対応する予測を行う（ステップ０６）。上記生成された予測画素信号と入力画像を用いて各々に対応する簡易符号化コストの計算を行う（ステップ０７）。水平予測コストと垂直予測コストの絶対差分値である９０°方向の差分値と直交左下予測コストと直交右下予測コストの絶対差分値である４５°方向の差分値を計算し、判定を行う（ステップ０８）。差分値がともにＴｈ２より小さい場合、方向相関が小さいと判断できるためＤＣ予測を行う（ステップ１１）。判定がＮＯのとき、ある方向の符号化コストが最小となり、優位な予測が存在するためこれら４つのコストのうち、もっともコストが小さい予測を決定し、その方向に対して隣接する予測方向である＋２２．５°と−２２．５°方向の予測を行う（ステップ１０）。つまり優位方向が図６で示される４の予測方向の場合、その方向を基準として＋２２．５°と−２２．５°に対応する５，６の予測モードの予測を行う。上記生成された予測画素信号と入力画像を用いて各々に対応する簡易符号化コストの計算を行う（ステップ１２）。このステップまでに生成された全予測モード中でｃｏｓｔ＜ｍｉｎ＿ｃｏｓｔ？判定を行う（ステップ１３）。この判定がＹＥＳの場合、ｍｉｎ＿ｃｏｓｔと予測モードの更新を行う（ステップ１４）。判定がＮＯの場合、ｍｉｎ＿ｃｏｓｔ及び予測モードは更新されず、次の予測モードを調べる。予測終了判定を行い（ステップ１５）、この判定がＹＥＳの場合、最適予測モードを決定し（ステップ１６）、処理は終了する。このようにして選択された予測モードの中で最もコストが小さい予測モードを探索する。
予測の方向に応じて大きく分けると、（ステップ０２）（ステップ０６）（ステップ１０）の３つの予測ステップから構成されており、ベストケースで１回、ワーストケースで７回の予測回数となる。閾値Ｔｈ１は量子化ステップによって変化する値を取り、４×４予測と１６×１６予測の符号量と残差のトレードオフを改善するように調整されるべきである。つまり、量子化値が小さい領域ではでは４×４予測よりも１６×１６予測が選ばれやすくなるため、Ｔｈ１が大きな値を取ることで、４×４予測が高速に実行される。一方、量子化値が大きい領域ではでは４×４予測が支配的となるため、Ｔｈ１は０に近い値をとり、精度を上げるべきである。
（３）第２の実施形態の変更例
本変更例では、図１７のフローチャートにおいて、隣接ブロックの予測モードから計測される予測モードを実行する一連のステップ、すなわちステップ０２、ステップ０４、ステップ０５は省略することも可能である。
（第３の実施形態）
次に１６×１６予測のモード選択における第３の実施形態について説明する。
本実施形態では、小画素ブロックである４×４画素ブロックのモード判定を先に実行することで、大画素ブロックでは、小画素ブロックのモード情報を利用するものである。
（１）第１モード判定部１００６の構成
図１０は１６×１６予測が選択されたときの第１モード判定部１００６を示している。第２モード判定部は図３と変わらないため、第１モード判定部１００６のみ図示している。
１６×１６予測では処理を高速化するために、４×４予測で定められた４×４予測モード情報１００１を用いる。予測モード分散計算部１００２では、前記４×４予測モード情報１００１の分散を計算する。さらに予測モード頻度計算部１００３では、１６個のモードインデックスの重み付き頻度を計算する。これら２つの指標を用いて１６×１６予測制御部１００４では、予測するモードを選択し、１６×１６予測部１００５にて、１６×１６予測画素信号を生成する。
４×４予測モード情報の分散σ２が小さいとき、各々の４×４画素ブロックで予測モードが揃っているため、その予測と似た１６×１６予測を選ぶことが望まれる。また分散σ２が大きいときは、それぞれが異なる向きを取っているため、平面予測あるいはＤＣ予測が当たる可能性が高くなる。垂直方向の重み付け頻度をＨｈｉｓｔ、水平方向の重み付け頻度をＶｈｉｓｔとすると、各頻度は次式で算出される。
Figure 0004127818
Figure 0004127818
ここでＭｓは４×４予測モード情報であり、ｓは４×４画素ブロックのインデックスである。またａ，ｂ，ｃは各々定数である。Ｈｈｉｓｔが閾値θＭより大きいとき、垂直方向の相関が強いことが判るため、１６×１６予測の垂直予測を選択し、予測画像生成及び符号化コストを計算する。ここで分散が閾値θσ２より大きければ、平面予測も同時に選択し、予測画像生成及び符号化コスト計算をする（なお、θの添え字の「σ２」は、添え字の状態で正確に表現できないので、正確に再表現すると「σ２」である。）。同様にＶｈｉｓｔが閾値θＭより大きいときは水平方向の相関が強いことが判るので水平方向を選択し、予測画像生成及び符号化コスト計算を行う。こちらも分散が閾値θσ２より大きければ、平面予測を選択し、予測画像生成及び符号化コスト計算を行う。ＨｈｉｓｔとＶｈｉｓｔのどちらも閾値より大きいときはそれぞれ予測を行う。またＨｈｉｓｔとＶｈｉｓｔの差分値が閾値θｐｒｅｄより小さい場合は、ＤＣ予測と平面予測の両方を行う。このように４×４予測のモード情報による頻度ヒストグラムと分散を用いて１６×１６予測のモード選択を行うことにより、予測信号生成に必要とされる演算量を抑え、ハードウェアコストを削減することが可能である。ここで、それぞれの閾値が量子化ステップの値によって可変であっても良い。
４×４予測が２２．５°づつの予測方向を持っているのに対して、１６×１６予測は９０度の予測、すなわち垂直予測、水平予測と平面予測、ＤＣ予測しかない。そこで、垂直予測と水平予測の判定精度を上げるために、数６のａ，ｂ，ｃを重み付けする。この場合、ａ，ｂ，ｃはａ＞ｂ＞ｃ＞０の関係を満たす。
また、平面予測を推測するため、対角方向の重み付け頻度を考慮しても良い。
Figure 0004127818
（第４の実施形態）
次にフレーム内符号化とフレーム間符号化が混在する符号化方式の場合についての第４の実施形態について述べる。
一般的にフレーム間符号化は動き補償予測を行い、時間方向の圧縮を行うため、フレーム内符号化に比べて符号量が少ない。フレーム内／間符号化モードが混在する例として図１４に示す。
フレーム内符号化ピクチャであるＩ−ピクチャは全ＭＢがフレーム内予測符号化によって符号化されるため、演算量が少ないのに対して、フレーム間符号化ピクチャであるＰ−ピクチャ（あるいは双方向予測が可能なＢ−ピクチャ）では、ＭＢ毎にフレーム内符号化ＭＢとフレーム間符号化ＭＢが混在する。フレーム間符号化ＭＢはフレーム内符号化ＭＢに比べて演算量が多く、さらにＰ−ピクチャ（Ｂ−ピクチャ）では一般的に、フレーム内符号化よりも符号量が少ないフレーム間符号化モードが選択されることが多い。そこでフレーム間符号化ピクチャ、或いはフレーム間符号化スライスで行われるフレーム間符号化は高精度なモード判定を行い、フレーム内符号化は簡易的なモード判定を行い高速化する。
例えば、フレーム内符号化を上述したラグランジュコストを用いない簡易符号化コストによるモード判定を行うことで、符号化効率を低下させずに高速化することが可能である。
図１２にこの実施形態の一例を示す。
図１２はフレーム内符号化部２０２の内部構造を示している。
フレーム内予測制御部１２０１はラグランジュコストフレーム内符号化１２０２と簡易符号化コストフレーム内符号化１２０３にそれぞれ接続されており、入力として参照画素信号２０４と入力画像信号を受け取る。フレーム内予測制御部１２０１は符号化制御部１１１から現在のスライスタイプを受け取り、前記スライスタイプがフレーム内符号化ピクチャ、及びフレーム内符号化スライスのときは、ラグランジュコストフレーム内符号化１２０２が選択され、ラグランジュコストを用いた高精度なモード判定による符号化が行われる。一方、フレーム間符号化ピクチャ、及びフレーム間符号化スライスが選択されている場合、簡易符号化コストフレーム内符号化１２０３が選択され、簡易符号化コストを用いた高速なモード判定による符号化を行う。このように、ピクチャタイプ及びスライスタイプによりフレーム内符号化部のモード判定を切り替えることにより、符号化効率を低下させずに、好適な符号化を行うことが可能である。
（第５の実施形態）
第５の実施形態では、フレーム内符号化とフレーム間符号化が混在する符号化方式の場合について、マクロブロック毎にまず、簡易的なモード判定を行い、フレーム内符号化かフレーム間符号化のどちらを行うかを判断する方式について説明する。
（１）予測信号生成部１０８の構成
図１３はこの実施形態の概略を示しており、図１の予測信号生成部１０８の内部構造が示されている。また図１８にフローチャートを示す。
予測制御部１３０１は簡易フレーム内符号化１３０２と接続されており、参照画素信号２０４と入力画像信号２０５を入力として、符号化制御を行う。簡易フレーム内符号化１３０２、及び簡易フレーム間符号化１３０３は参照画素信号２０４と入力画像信号２０５を入力とし、予測信号を生成し、簡易符号化コスト１３０７を計測する。これらは予測モード決定部１３０４と接続されており、予測モード決定部はフレーム内符号化１３０５、及びフレーム間符号化１３０６と接続されている。
簡易フレーム内符号化１３０２では、フレーム内予測を行い、簡易符号化コストを用いたモード判定によってコストを計測する。その後、簡易フレーム間符号化１３０３では、フレーム間予測を行い、簡易符号化コストを用いたモード判定によってコストを計測する。簡易フレーム内符号化１３０２と簡易フレーム間符号化１３０３はそれぞれ、予測画素信号２０６と簡易符号化コスト１３０７を予測モード決定部１３０４へと出力する。予測モード決定部１３０４では、入力された簡易符号化コスト１３０７を用いてフレーム内／フレーム間符号化を判定し、好適モードと判断されたフレーム内／フレーム間符号化モードで、最終的な符号化を行う。簡易フレーム内符号化と簡易フレーム間符号化はどちらを先に行っても良い。
フレーム内符号化及びフレーム間符号化では、レート−歪み最適化を用いたモード判定を用いて符号化効率を維持する。このようにマクロブロック毎に、簡易符号化コストを用いて高速に好適な符号化モードを事前判断し、選ばれた符号化モードではラグランジュコストを用いて最適な符号化モードを選択することにより、符号化効率を落とすことなく、高速な符号化が可能である。
（２）処理方法
図１８によると、先ず、現在のスライスタイプ判定を行う（ステップ０１）。この判定がフレーム内符号化スライス（Ｉ−スライス）の場合、フレーム間符号化は行われないため、フレーム内符号化を行う（ステップ１０）。判定がフレーム間符号化スライス（Ｐ−スライス、Ｂ−スライス）の場合、最小簡易符号化コストを更新する変数ｍｉｎ＿ｃｏｓｔを初期化する（ステップ０２）。入力画像０３とメモリ０７から与えられる参照画素信号から、簡易フレーム内符号化を行う（ステップ０４）。計測された最小簡易符号化コストを用いてｍｉｎ＿ｃｏｓｔを更新する（ステップ０５）。さらに簡易フレーム間符号化を行う（ステップ０６）。ここで計測されたフレーム間符号化の最小簡易符号化コストがｍｉｎ＿ｃｏｓｔより小さいかどうかを判定する（ステップ０８）。この判定がＹＥＳの場合、フレーム間符号化を行い（ステップ０９）、レート−歪み最適化を用いて最適符号化モードを決定する（ステップ１１）。判定がＮＯの場合、フレーム内符号化が実行され（ステップ１０）、最適符号化モードが決定される（ステップ１１）。
以上のように、本発明は、動画像を圧縮して送信、記録等する技術に有用である。
本発明の第１の実施形態に係わる動画像符号化装置の構成を示すブロック図である。 第１の実施形態に係わる予測信号生成部の内部構造を示すブロック図である。 第１の実施形態に係わる予測信号生成部の詳細構造を示すブロック図である。 第１の実施形態に係わる予測モードの選択方法の例を示す図である。 第１の実施形態の変更例に係わるレート−歪み最適化モード判定を行う例を示す図である。 第２の実施形態に係わる画素ブロックの分割例と予測モードを示す図である。 第２の実施形態に係わるＨ．２６４における４×４画素ブロックの予測モード例を示す図である。 第２の実施形態に係わるＨ．２６４における１６×１６画素ブロックの予測モード例を示す図である。 第２の実施形態に係わるＨ．２６４のフレーム内符号化４×４予測の高速化に関する例を示すブロック図である。 第３の実施形態に係わるＨ．２６４のフレーム内符号化１６×１６予測の高速化に関する例を示すブロック図である。 第２の実施形態に係わるＨ．２６４の４×４予測の予測方向の例を示すブロック図である。 第４の実施形態に係わる予測信号生成部のフレーム内符号化の高速化処理の例を示すブロック図である。 第５の実施形態に係わる予測信号生成部の高速化処理の例を示すブロック図である。 第４の実施形態に係わるフレーム内／間符号化スライス混在の例を示すブロック図である。 第１の実施形態の変更例に係わる簡易符号化コストを用いた高速符号化処理の例を示すフローチャートである。 第１の実施形態の変更例に係わるレート−歪み最適化を用いた符号化処理の例を示すフローチャートである。 第２の実施形態に係わる階層化サーチを用いたフレーム内高速符号化の例を示すフローチャートである。 第５の実施形態に係わるフレーム内／間混在符号化における高速符号化の例を示すフローチャートである。 （ａ）（ｂ）は第１の実施形態に係わる量子化ステップと候補正解率の関係を示すグラフである。
符号の説明
１０１ 減算器
１０２ 直交変換部
１０３ 量子化部
１０４ 逆量子化部
１０５ 逆直交変換部
１０６ 加算器
１０７ フレームメモリ
１０８ 予測信号生成部
１０９ ＭＢ予測モード選択部
１１０ 符号化部
１１１ 符号化制御部
１１２ 可変長符号化部
１１３ 多重化部
１１４ 出力バッファ

Claims (12)

  1. 入力画像信号を複数の画素ブロックに分割し、これら分割した画素ブロック毎に複数の符号化モードから１つのモードを選択し、この選択された符号化モードによって前記画素ブロックを符号化する動画像符号化方法において、
    前記画素ブロックに対応する入力画像信号に基づいて前記複数の符号化モードの各々の方式にしたがって予測信号と符号化モード情報とを生成する予測信号生成ステップと、
    前記符号化モード毎に生成された予測信号と前記画素ブロックに対応する入力画像信号とから予測残差信号を生成する予測残差信号生成ステップと、
    前記符号化モード毎の予測残差信号を符号化するためのコストである符号化コストを前記予測残差信号とその符号化モード情報から推定した簡易符号化コストを計算する簡易符号化コスト計算ステップと、
    前記画素ブロックの予測残差信号を符号化する際の量子化ステップ幅に応じて所定の候補数を決定し、また、前記計算した複数の簡易符号化コストを小さい順に並べ、さらに、この並べた中から最も小さい簡易符号化コストを有する符号化モードを前記決定された所定の候補数だけ符号化モード候補として選択する第１符号化モード選択ステップと、
    前記選択された複数の符号化モード候補に対して符号化処理を行い、符号化歪みと符号量を計測して詳細符号化コストを計算する詳細符号化コスト計測ステップと、
    前記複数の符号化モード候補の中から、前記計測された詳細符号化コストに基づいて、いずれか１つの符号化モードを選択する第２符号化モード選択ステップと、
    を具備することを特徴とする動画像符号化方法。
  2. 前記第１符号化モード選択ステップにおいて、
    前記簡易符号化コストと前記詳細符号化コストとが合致したか否かの候補正解率と、前記量子化ステップ幅との相関関係に基づいて所定の候補数を決定することを特徴とする請求項１記載の動画像符号化方法。
  3. 前記第１符号化モード選択ステップにおいて、
    前記候補数を前記量子化ステップ幅に対応して増加または減少させて、所定の候補数を決定することを特徴とする請求項１記載の動画像符号化方法。
  4. 前記第１符号化モード選択ステップにおいて、
    前記量子化ステップに対応して単調に変動する閾値関数を用いて、前記閾値関数で計算された値より前記簡易符号化コストが小さい候補を選択して、所定の候補数を決定することを特徴とする請求項１記載の動画像符号化方法。
  5. 入力画像信号を複数の画素ブロックに分割し、これら分割した画素ブロック毎に複数の符号化モードから１つのモードを選択し、この選択された符号化モードによって前記画素ブロックを符号化する動画像符号化装置において、
    前記画素ブロックに対応する入力画像信号に基づいて前記複数の符号化モードの各々の方式にしたがって予測信号と符号化モード情報とを生成する予測信号生成手段と、
    前記符号化モード毎に生成された予測信号と前記画素ブロックに対応する入力画像信号とから予測残差信号を生成する予測残差信号生成手段と、
    前記符号化モード毎の予測残差信号を符号化するためのコストである符号化コストを前記予測残差信号とその符号化モード情報から推定した簡易符号化コストを計算する簡易符号化コスト計算手段と、
    前記画素ブロックの予測残差信号を符号化する際の量子化ステップ幅に応じて所定の候補数を決定し、また、前記計算した複数の簡易符号化コストを小さい順に並べ、さらに、この並べた中から最も小さい簡易符号化コストを有する符号化モードを前記決定された所定の候補数だけ符号化モード候補として選択する第１符号化モード選択手段と、
    前記選択された複数の符号化モード候補に対して符号化処理を行い、符号化歪みと符号
    量を計測して詳細符号化コストを計算する詳細符号化コスト計測手段と、
    前記複数の符号化モード候補の中から、前記計測された詳細符号化コストに基づいて、
    いずれか１つの符号化モードを選択する第２符号化モード選択手段と、
    を具備することを特徴とする動画像符号化装置。
  6. 前記第１符号化モード選択手段において、
    前記簡易符号化コストと前記詳細符号化コストとが合致したか否かの候補正解率と、前記量子化ステップ幅との相関関係に基づいて所定の候補数を決定することを特徴とする請求項５記載の動画像符号化装置。
  7. 前記第１符号化モード選択手段において、
    前記候補数を前記量子化ステップ幅に対応して増加または減少させて、所定の候補数を決定
    することを特徴とする請求項５記載の動画像符号化装置。
  8. 前記第１符号化モード選択手段において、
    前記量子化ステップに対応して単調に変動する閾値関数を用いて、前記閾値関数で計算された値より前記簡易符号化コストが小さい候補を選択して、所定の候補数を決定することを特徴とする請求項５記載の動画像符号化装置。
  9. 入力画像信号を複数の画素ブロックに分割し、これら分割した画素ブロック毎に複数の符号化モードから１つのモードを選択し、この選択された符号化モードによって前記画素ブロックを符号化する動画像符号化装置をコンピュータによって実現するためのプログラムにおいて、
    前記画素ブロックに対応する入力画像信号に基づいて前記複数の符号化モードの各々の方式にしたがって予測信号と符号化モード情報とを生成する予測信号生成機能と、
    前記符号化モード毎に生成された予測信号と前記画素ブロックに対応する入力画像信号とから予測残差信号を生成する予測残差信号生成機能と、
    前記符号化モード毎の予測残差信号を符号化するためのコストである符号化コストを前記予測残差信号とその符号化モード情報から推定した簡易符号化コストを計算する簡易符号化コスト計算機能と、
    前記画素ブロックの予測残差信号を符号化する際の量子化ステップ幅に応じて所定の候補数を決定し、また、前記計算した複数の簡易符号化コストを小さい順に並べ、さらに、この並べた中から最も小さい簡易符号化コストを有する符号化モードを前記決定された所定の候補数だけ符号化モード候補として選択する第１符号化モード選択機能と、
    前記選択された複数の符号化モード候補に対して符号化処理を行い、符号化歪みと符号量を計測して詳細符号化コストを計算する詳細符号化コスト計測機能と、
    前記複数の符号化モード候補の中から、前記計測された詳細符号化コストに基づいて、いずれか１つの符号化モードを選択する第２符号化モード選択機能と、を実現することを特徴とする動画像符号化方法のプログラム。
  10. 前記第１符号化モード選択機能において、
    前記簡易符号化コストと前記詳細符号化コストとが合致したか否かの候補正解率と、前記量子化ステップ幅との相関関係に基づいて所定の候補数を決定することを特徴とする請求項９記載の動画像符号化方法のプログラム。
  11. 前記第１符号化モード選択機能において、
    前記候補数を前記量子化ステップ幅に対応して増加または減少させて、所定の候補数を決定することを特徴とする請求項９記載の動画像符号化方法のプログラム。
  12. 前記第１符号化モード選択機能において、
    前記量子化ステップに対応して単調に変動する閾値関数を用いて、前記閾値関数で計算された値より前記簡易符号化コストが小さい候補を選択して、所定の候補数を決定することを特徴とする請求項９記載の動画像符号化方法のプログラム。
JP2003427893A 2003-12-24 2003-12-24 動画像符号化方法及びその装置 Expired - Fee Related JP4127818B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003427893A JP4127818B2 (ja) 2003-12-24 2003-12-24 動画像符号化方法及びその装置
US11/016,803 US7751476B2 (en) 2003-12-24 2004-12-21 Moving picture coding method and moving picture coding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003427893A JP4127818B2 (ja) 2003-12-24 2003-12-24 動画像符号化方法及びその装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2007137617A Division JP2007267414A (ja) 2007-05-24 2007-05-24 フレーム内画像符号化方法及びその装置
JP2007137623A Division JP2007251996A (ja) 2007-05-24 2007-05-24 動画像符号化方法及びその装置

Publications (2)

Publication Number Publication Date
JP2005191706A JP2005191706A (ja) 2005-07-14
JP4127818B2 true JP4127818B2 (ja) 2008-07-30

Family

ID=34746837

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003427893A Expired - Fee Related JP4127818B2 (ja) 2003-12-24 2003-12-24 動画像符号化方法及びその装置

Country Status (2)

Country Link
US (1) US7751476B2 (ja)
JP (1) JP4127818B2 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7027982B2 (en) * 2001-12-14 2006-04-11 Microsoft Corporation Quality and rate control strategy for digital audio
US7386048B2 (en) 2002-05-28 2008-06-10 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode organization
US7742525B1 (en) 2002-07-14 2010-06-22 Apple Inc. Adaptive motion estimation
US7343291B2 (en) * 2003-07-18 2008-03-11 Microsoft Corporation Multi-pass variable bitrate media encoding
US7383180B2 (en) * 2003-07-18 2008-06-03 Microsoft Corporation Constant bitrate media encoding techniques
JP4127818B2 (ja) * 2003-12-24 2008-07-30 株式会社東芝 動画像符号化方法及びその装置
US7792188B2 (en) 2004-06-27 2010-09-07 Apple Inc. Selecting encoding types and predictive modes for encoding video data
US20050286777A1 (en) * 2004-06-27 2005-12-29 Roger Kumar Encoding and decoding images
JP2006080925A (ja) * 2004-09-09 2006-03-23 Toshiba Corp 動画符号化装置、動画符号化方法および動画符号化プログラム
WO2006052577A2 (en) * 2004-11-04 2006-05-18 Thomson Licensing Method and apparatus for fast mode decision of b-frames in a video encoder
KR100708118B1 (ko) * 2005-01-07 2007-04-16 삼성전자주식회사 복수개의 변형 곱셈 테이블을 이용한 동영상 부호화 및복호화 장치와 그 방법, 및 이를 구현하기 위한프로그램이 기록된 기록 매체
KR100703748B1 (ko) * 2005-01-25 2007-04-05 삼성전자주식회사 다 계층 기반의 비디오 프레임을 효율적으로 예측하는 방법및 그 방법을 이용한 비디오 코딩 방법 및 장치
US8218949B2 (en) * 2005-04-22 2012-07-10 Panasonic Corporation Video information recording device, video information recording method, and recording medium containing the video information recording program
JP4713972B2 (ja) * 2005-07-27 2011-06-29 株式会社東芝 符号化装置
KR100873636B1 (ko) 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
JP5219062B2 (ja) * 2006-04-10 2013-06-26 株式会社メガチップス 画像データの生成方法
KR20130006537A (ko) 2006-04-28 2013-01-16 가부시키가이샤 엔티티 도코모 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램
WO2007139266A1 (en) * 2006-06-01 2007-12-06 Electronics And Telecommunications Research Institute Method and apparatus for video coding on pixel-wise prediction
JP4752631B2 (ja) * 2006-06-08 2011-08-17 株式会社日立製作所 画像符号化装置、及び画像符号化方法
US8135063B2 (en) * 2006-09-08 2012-03-13 Mediatek Inc. Rate control method with frame-layer bit allocation and video encoder
KR100845303B1 (ko) * 2006-09-29 2008-07-10 한국전자통신연구원 고속 부호화를 위한 되먹임 구조를 가진 동영상 압축부호화 장치 및 최적 모드 결정 방법
FR2908007A1 (fr) 2006-10-31 2008-05-02 Thomson Licensing Sas Procede de codage d'une sequence d'images
US8804829B2 (en) * 2006-12-20 2014-08-12 Microsoft Corporation Offline motion description for video generation
JP5188875B2 (ja) 2007-06-04 2013-04-24 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
US8488668B2 (en) * 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
US8571104B2 (en) * 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
TWI392372B (zh) * 2007-09-12 2013-04-01 Sony Corp Image processing apparatus and image processing method
CN101637026B (zh) * 2007-09-12 2012-03-28 索尼株式会社 图像处理装置和方法
US8325800B2 (en) 2008-05-07 2012-12-04 Microsoft Corporation Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers
US8379851B2 (en) 2008-05-12 2013-02-19 Microsoft Corporation Optimized client side rate control and indexed file layout for streaming media
US8761253B2 (en) * 2008-05-28 2014-06-24 Nvidia Corporation Intra prediction mode search scheme
US7925774B2 (en) 2008-05-30 2011-04-12 Microsoft Corporation Media streaming using an index file
EP2131540B1 (en) * 2008-06-04 2013-09-18 Sony Corporation New frame structure for multi-carrier systems
EP2144432A1 (en) * 2008-07-08 2010-01-13 Panasonic Corporation Adaptive color format conversion and deconversion
US8265140B2 (en) 2008-09-30 2012-09-11 Microsoft Corporation Fine-grained client-side control of scalable media delivery
JP5158003B2 (ja) * 2009-04-14 2013-03-06 ソニー株式会社 画像符号化装置と画像符号化方法およびコンピュータ・プログラム
KR101733735B1 (ko) * 2009-12-07 2017-05-08 에스케이 텔레콤주식회사 쌍예측을 이용한 멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체
EP2664147B1 (en) 2011-01-13 2020-03-11 Canon Kabushiki Kaisha Image coding apparatus, image coding method, and program, and image decoding apparatus, image decoding method, and program
JP5939251B2 (ja) * 2011-06-22 2016-06-22 日本電気株式会社 動画像符号化方法及び動画像符号化装置並びにプログラム
GB2494468B (en) * 2011-09-12 2014-01-15 Canon Kk Method and device for encoding or decoding information representing prediction modes
US9781449B2 (en) * 2011-10-06 2017-10-03 Synopsys, Inc. Rate distortion optimization in image and video encoding
US9338463B2 (en) 2011-10-06 2016-05-10 Synopsys, Inc. Visual quality measure for real-time video processing
KR101768401B1 (ko) * 2012-01-13 2017-08-14 샤프 가부시키가이샤 화상 복호 장치
JP5937946B2 (ja) * 2012-10-16 2016-06-22 日本電信電話株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
JP6130648B2 (ja) * 2012-11-08 2017-05-17 日本放送協会 画像符号化装置及び画像符号化プログラム
TW201419862A (zh) * 2012-11-13 2014-05-16 Hon Hai Prec Ind Co Ltd 影像切割系統及方法
CN105578180B (zh) * 2014-10-16 2019-01-15 联想(北京)有限公司 一种编码方法及装置
EP3032830A1 (en) * 2014-12-08 2016-06-15 Thomson Licensing Differential coding of intra modes
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
WO2016125604A1 (ja) * 2015-02-06 2016-08-11 ソニー株式会社 画像符号化装置および方法
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
JP2018078545A (ja) * 2016-10-07 2018-05-17 財團法人工業技術研究院Ｉｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 画面内予測の予測モードを選択する方法、ビデオ符号化デバイス及び画像処理装置
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963673A (en) * 1995-12-20 1999-10-05 Sanyo Electric Co., Ltd. Method and apparatus for adaptively selecting a coding mode for video encoding
JPH09322176A (ja) 1995-12-20 1997-12-12 Sanyo Electric Co Ltd 符号化モード選択方法、動画像符号化装置、符号化方法、記録方法、及び伝送方法
JPH10290464A (ja) 1997-04-14 1998-10-27 Kokusai Denshin Denwa Co Ltd <Kdd> 符号化モード判定装置
JP3938679B2 (ja) 2001-11-15 2007-06-27 Ｋｄｄｉ株式会社 最適符号化モード選択型動画像符号化方式
WO2004025943A2 (en) * 2002-04-23 2004-03-25 Nokia Corporation Method and device for indicating quantizer parameters in a video coding system
US7236524B2 (en) * 2002-05-28 2007-06-26 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode communication
JP3977716B2 (ja) * 2002-09-20 2007-09-19 株式会社東芝 動画像符号化／復号化方法及び装置
JP2005151391A (ja) * 2003-11-19 2005-06-09 Toshiba Corp 動画像符号化方法、動画像符号化装置およびプログラム
JP4127818B2 (ja) * 2003-12-24 2008-07-30 株式会社東芝 動画像符号化方法及びその装置

Also Published As

Publication number Publication date
US7751476B2 (en) 2010-07-06
JP2005191706A (ja) 2005-07-14
US20050157784A1 (en) 2005-07-21

Similar Documents

Publication Publication Date Title
JP4127818B2 (ja) 動画像符号化方法及びその装置
JP2007267414A (ja) フレーム内画像符号化方法及びその装置
US7764738B2 (en) Adaptive motion estimation and mode decision apparatus and method for H.264 video codec
US7856053B2 (en) Image coding control method and device
RU2720975C2 (ru) Способ кодирования и декодирования изображений, устройство кодирования и декодирования и соответствующие компьютерные программы
US9326002B2 (en) Method and an apparatus for decoding a video
US7609765B2 (en) Fast multi-frame motion estimation with adaptive search strategies
US8948243B2 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
US20060050786A1 (en) Moving picture coding apparatus and computer program product
US20050069211A1 (en) Prediction method, apparatus, and medium for video encoder
KR20070011225A (ko) 인터-코딩에 사용된 기준 화상의 수를 최소화하기 위한방법 및 장치
US20050276331A1 (en) Method and apparatus for estimating motion
US8189667B2 (en) Moving picture encoding apparatus
CN102271257A (zh) 图像处理设备和方法及程序和计算机可读介质
KR20050053297A (ko) 동영상 부호화 방법 및 장치
JP2006157881A (ja) 可変長符号化装置及びその方法
KR20050074286A (ko) 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화프로그램
KR20050089838A (ko) 선택된 매크로블록에 대한 스킵 모션 추정으로 비디오인코딩하는 방법
KR101623064B1 (ko) 영상 부호화 장치, 영상 부호화 방법 및 영상 부호화 프로그램
KR20070037530A (ko) 변환 영역에서의 ｄｃ 계수 예측 방법 및 장치
JP4130617B2 (ja) 動画像符号化方法および動画像符号化装置
KR100708182B1 (ko) 동영상 부호화기의 비트율 제어 장치 및 방법
JP2007251996A (ja) 動画像符号化方法及びその装置
JP4964689B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP4281667B2 (ja) 画像符号化装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070403

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080122

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080325

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080325

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080509

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080512

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120523

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120523

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130523

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130523

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140523

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees