JP6056122B2 - 画像符号化装置と画像復号装置およびその方法とプログラム - Google Patents

画像符号化装置と画像復号装置およびその方法とプログラム Download PDF

Info

Publication number
JP6056122B2
JP6056122B2 JP2011153183A JP2011153183A JP6056122B2 JP 6056122 B2 JP6056122 B2 JP 6056122B2 JP 2011153183 A JP2011153183 A JP 2011153183A JP 2011153183 A JP2011153183 A JP 2011153183A JP 6056122 B2 JP6056122 B2 JP 6056122B2
Authority
JP
Japan
Prior art keywords
quantization parameter
unit
block
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011153183A
Other languages
English (en)
Other versions
JP2012170042A (ja
JP2012170042A5 (ja
Inventor
健治 近藤
健治 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011153183A priority Critical patent/JP6056122B2/ja
Priority to TW101100845A priority patent/TWI495350B/zh
Priority to BR112013018305-5A priority patent/BR112013018305B1/pt
Priority to CN201280005652.3A priority patent/CN103329536B/zh
Priority to MYPI2013002389A priority patent/MY158425A/en
Priority to KR1020137018559A priority patent/KR101858289B1/ko
Priority to SG10201406196PA priority patent/SG10201406196PA/en
Priority to PCT/JP2012/050456 priority patent/WO2012102088A1/ja
Priority to RU2017102010A priority patent/RU2719453C1/ru
Priority to CN201910962897.9A priority patent/CN110839154A/zh
Priority to EP12738835.3A priority patent/EP2645717A4/en
Priority to EP19152767.0A priority patent/EP3512198A1/en
Priority to MX2013008289A priority patent/MX2013008289A/es
Priority to CN201710014238.3A priority patent/CN106878738B/zh
Priority to CN201710014850.0A priority patent/CN107087190B/zh
Priority to CA2823024A priority patent/CA2823024C/en
Priority to CN201710014960.7A priority patent/CN107087191B/zh
Priority to RU2013132921A priority patent/RU2615675C2/ru
Priority to KR1020187013098A priority patent/KR101965119B1/ko
Priority to US13/994,247 priority patent/US9560348B2/en
Priority to CN201910959554.7A priority patent/CN110602497B/zh
Priority to SG2013054408A priority patent/SG191994A1/en
Priority to MYPI2015002623A priority patent/MY177870A/en
Priority to AU2012210001A priority patent/AU2012210001B2/en
Publication of JP2012170042A publication Critical patent/JP2012170042A/ja
Priority to ZA2013/04818A priority patent/ZA201304818B/en
Priority to US13/943,028 priority patent/US8787453B2/en
Priority to MX2014014704A priority patent/MX336094B/es
Priority to CO13174125A priority patent/CO6731124A2/es
Publication of JP2012170042A5 publication Critical patent/JP2012170042A5/ja
Priority to US15/248,864 priority patent/US10419761B2/en
Priority to AU2016234951A priority patent/AU2016234951B2/en
Publication of JP6056122B2 publication Critical patent/JP6056122B2/ja
Application granted granted Critical
Priority to AU2018201382A priority patent/AU2018201382B2/en
Priority to AU2019200515A priority patent/AU2019200515B2/en
Priority to US16/460,548 priority patent/US20190327471A1/en
Priority to RU2020108486A priority patent/RU2020108486A/ru
Priority to RU2020108522A priority patent/RU2020108522A/ru
Priority to AU2020203010A priority patent/AU2020203010B2/en
Priority to US16/918,459 priority patent/US20200336743A1/en
Priority to AU2021201931A priority patent/AU2021201931A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/008—Vector quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Description

この技術は、画像符号化装置と画像復号装置およびその方法とプログラムに関する。詳しくは、量子化パラメータの符号化効率を向上させる。
近年、画像情報をディジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を行う装置、例えば離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ等の方式に準拠した装置が、放送局や一般家庭において普及しつつある。
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）は、汎用画像符号化方式として定義されており、プロフェッショナル用途およびコンシューマー用途の広範なアプリケーションに現在広く用いられている。ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。また、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
また、ＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われて、Ｈ．２６４およびＭＰＥＧ−４ Ｐａｒｔ１０（以下「Ｈ．２６４／ＡＶＣ（Advanced Video Coding)」と記す）という名の下に国際標準となった。
このＭＰＥＧやＨ．２６４／ＡＶＣでは、マクロブロックを量子化する際に、量子化ステップの大きさを変えて、圧縮率を一定とすることが可能とされている。また、ＭＰＥＧでは、量子化ステップに比例した量子化パラメータが用いられており、Ｈ．２６４／ＡＶＣでは量子化ステップが２倍となるとき、パラメータ値が「６」増加する量子化パラメータが用いられている。ＭＰＥＧやＨ．２６４／ＡＶＣでは、量子化パラメータを符号化することが行われている（特許文献１参照）。
特開２００６−０９４０８１号公報
ところで、量子化パラメータの符号化処理では、例えばデコード順序が図１に示すようにラスタスキャンであるとき、スライスの先頭のマクロブロックにおいて初期値の量子化パラメータSliceQPYが用いられる。その後、矢印が示すデコード順序で処理されて、左側に位置するマクロブロックとの量子化パラメータの差分値（mb_qp_delta）によって、当該マクロブロックの量子化パラメータが更新される。したがって、デコード順が右端のブロックから左端のブロックに移動したとき、画像が異なることから差分値が大きくなって符号化効率が悪化する場合がある。また、左側に位置するマクロブロックとの差分値が大きい場合も符号化効率が悪化する。
さらに、画像圧縮技術では、Ｈ．２６４／ＡＶＣ方式よりもさらに高い符号化効率を実現するＨＥＶＣ（High Efficiency Video Coding）の規格化も検討されている。このＨＥＶＣでは、マクロブロックの概念を拡張したコーディングユニット（ＣＵ：Coding Unit）と呼ばれる基本単位が定義されている。図２に示す各ブロックがコーディングユニットである場合、デコード順序は数字が「０」から順次増加するブロックの順序とされる。このようにデコード順序がラスタスキャンでない場合、例えばブロック「７」からブロック「８」、ブロック「１５」からブロック「１６」のように移動すると、空間的な距離が離れるため差分値が大きくなることが考えられる。
そこで、本技術では、量子化パラメータの符号化効率を向上させることを目的とする。
この技術の第１の側面は、予測量子化パラメータに対する差分を示す差分情報をストリーム情報から取り出す情報取得部と、復号対象ブロックの左側に隣接するブロックと上側に隣接するブロックとが参照可能な場合、前記左側に隣接するブロックの量子化パラメータと、前記上側に隣接するブロックの量子化パラメータとの平均値を用いて、前記復号対象ブロックの予測量子化パラメータを算出し、前記左側に隣接するブロックが参照不可能で、前記上側に隣接するブロックが参照可能な場合、前記上側に隣接するブロックの量子化パラメータを用いて、前記復号対象ブロックの予測量子化パラメータを算出し、前記左側に隣接するブロックが参照可能で、前記上側に隣接するブロックが参照不可能な場合、前記左側に隣接するブロックの量子化パラメータを用いて、前記復号対象ブロックの予測量子化パラメータを算出し、前記左側に隣接するブロックと、前記上側に隣接するブロックとが参照不可能な場合、前記ストリーム情報のピクチャーパラメータセットに含まれている情報と、前記ストリーム情報のスライスヘッダに含まれている情報とに基づいて算出されたスライスにおける量子化パラメータ初期値を、前記復号対象ブロックの予測量子化パラメータとして設定し、前記差分情報と、前記復号対象ブロックの予測量子化パラメータとを用いて、前記復号対象ブロックの量子化パラメータを算出する量子化パラメータ算出部とを有する画像復号装置にある。
この技術の第２の側面は、情報取得部で、予測量子化パラメータに対する差分を示す差分情報をストリーム情報から取り出す工程と、量子化パラメータ算出部で、復号対象ブロックの左側に隣接するブロックと上側に隣接するブロックとが参照可能な場合、前記左側に隣接するブロックの量子化パラメータと、前記上側に隣接するブロックの量子化パラメータとの平均値を用いて、前記復号対象ブロックの予測量子化パラメータを算出し、前記左側に隣接するブロックが参照不可能で、前記上側に隣接するブロックが参照可能な場合、前記上側に隣接するブロックの量子化パラメータを用いて、前記復号対象ブロックの予測量子化パラメータを算出し、前記左側に隣接するブロックが参照可能で、前記上側に隣接するブロックが参照不可能な場合、前記左側に隣接するブロックの量子化パラメータを用いて、前記復号対象ブロックの予測量子化パラメータを算出し、前記左側に隣接するブロックと、前記上側に隣接するブロックとが参照不可能な場合、前記ストリーム情報のピクチャーパラメータセットに含まれている情報と、前記ストリーム情報のスライスヘッダに含まれている情報とに基づいて算出されたスライスにおける量子化パラメータ初期値を、前記復号対象ブロックの予測量子化パラメータとして設定し、前記差分情報と、前記復号対象ブロックの予測量子化パラメータとを用いて、前記復号対象ブロックの量子化パラメータを算出する工程とを含む画像復号方法にある。
この技術の第３の側面は、予測量子化パラメータに対する差分を示す差分情報をストリーム情報から取り出す手順と、復号対象ブロックの左側に隣接するブロックと上側に隣接するブロックとが参照可能な場合、前記左側に隣接するブロックの量子化パラメータと、前記上側に隣接するブロックの量子化パラメータとの平均値を用いて、前記復号対象ブロックの予測量子化パラメータを算出し、前記左側に隣接するブロックが参照不可能で、前記上側に隣接するブロックが参照可能な場合、前記上側に隣接するブロックの量子化パラメータを用いて、前記復号対象ブロックの予測量子化パラメータを算出し、前記左側に隣接するブロックが参照可能で、前記上側に隣接するブロックが参照不可能な場合、前記左側に隣接するブロックの量子化パラメータを用いて、前記復号対象ブロックの予測量子化パラメータを算出し、前記左側に隣接するブロックと、前記上側に隣接するブロックとが参照不可能な場合、前記ストリーム情報のピクチャーパラメータセットに含まれている情報と、前記ストリーム情報のスライスヘッダに含まれている情報とに基づいて算出されたスライスにおける量子化パラメータ初期値を、前記復号対象ブロックの予測量子化パラメータとして設定し、前記差分情報と、前記復号対象ブロックの予測量子化パラメータとを用いて、前記復号対象ブロックの量子化パラメータを算出する手順とをコンピュータで実行させるプログラムにある。
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
この技術によれば、差分情報が含まれるストリーム情報を復号する場合、復号対象ブロックに対して隣接する復号済みのブロックの量子化パラメータから予測量子化パラメータが選択されて、予測量子化パラメータと差分情報から復号対象ブロックの量子化パラメータが算出される。したがって、量子化パラメータの符号化効率を向上させてストリーム情報が生成されても、このストリーム情報を復号する場合には予測量子化パラメータと差分情報に基づき量子化パラメータが復元されて正しく復号処理を行うことができる。
デコード順序がラスタスキャンである場合を示した図である。 デコード順序がラスタスキャンでない場合を例示した図である。 画像符号化装置の構成を示す図である。 情報生成部の構成を示す図である。 コーディングユニットの階層構造を例示した図である。 画像符号化装置の動作を示すフローチャートである。 予測処理を示すフローチャートである。 イントラ予測処理を示すフローチャートである。 インター予測処理を示すフローチャートである。 情報生成部の動作を説明するための図である。 情報生成部の動作例を示す図である。 符号化における量子化パラメータについての処理を示すフローチャートである。 シーケンスパラメータセットを例示した図である。 フレーム符号化処理を示すフローチャートである。 ピクチャパラメータセットを例示した図である。 スライスヘッダを例示した図である。 スライス符号化処理を示すフローチャートである。 画像復号装置の構成を示した図である。 量子化パラメータ算出部の構成を示す図である。 画像復号装置の動作を示すフローチャートである。 予測画像生成処理を示すフローチャートである。 復号における量子化パラメータについての処理を示すフローチャートである。 画像符号化装置の他の動作を説明するためのフローチャートである。 暗黙的に量子化パラメータを予測する場合の動作例を示す図である。 暗黙的に量子化パラメータを予測する場合のフローチャート例である。 暗黙的に量子化パラメータを予測する場合の他の動作例を示している。 プログラムを例示した図である。 画像復号装置の他の動作を説明するためのフローチャートである。 コンピュータ装置の概略構成を例示した図である。 テレビジョン装置の概略構成を例示した図である。 携帯電話機の概略構成を例示した図である。 記録再生装置の概略構成を例示した図である。 撮像装置の概略構成を例示した図である。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像符号化装置の構成
２．画像符号化装置の動作
３．量子化パラメータに基づく識別情報と差分情報の生成動作
４．画像復号装置の構成
５．画像復号装置の動作
６．画像符号化装置と画像復号装置の他の動作
７．ソフトウェア処理の場合
８．電子機器に適用した場合
＜１．画像符号化装置の構成＞
図３は、画像符号化装置の構成を示している。画像符号化装置１０は、アナログ／ディジタル変換部（Ａ／Ｄ変換部）１１、画面並べ替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８を備えている。さらに、画像符号化装置１０は、逆量子化部２１、逆直交変換部２２、加算部２３、デブロッキングフィルタ２４、フレームメモリ２６、イントラ予測部３１、動き予測・補償部３２、予測画像・最適モード選択部３３を備えている。
Ａ／Ｄ変換部１１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ１２に出力する。
画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部１３とレート制御部１８およびイントラ予測部３１と動き予測・補償部３２に出力する。
減算部１３には、画面並べ替えバッファ１２から出力された画像データと、後述する予測画像・最適モード選択部３３で選択された予測画像データが供給される。減算部１３は、画面並べ替えバッファ１２から出力された画像データと予測画像・最適モード選択部３３から供給された予測画像データとの差分である予測誤差データを算出して、直交変換部１４に出力する。
直交変換部１４は、減算部１３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部１４は、直交変換処理を行うことにより得られた変換係数データを量子化部１５に出力する。
量子化部１５には、直交変換部１４から出力された変換係数データと、後述する情報生成部１９から量子化パラメータ（量子化スケール）が供給されている。量子化部１５は変換係数データの量子化を行い、量子化データを可逆符号化部１６と逆量子化部２１に出力する。また、量子化部１５は、レート制御部１８で設定された量子化パラメータに応じて量子化データのビットレートを変化させる。
可逆符号化部１６には、量子化部１５から量子化データ、後述する情報生成部１９から識別情報と差分情報、イントラ予測部３１から予測モード情報や動き予測・補償部３２から予測モード情報と差分動きベクトル等が供給される。また、予測画像・最適モード選択部３３から最適モードがイントラ予測であるかインター予測であるかを示す情報が供給される。なお、予測モード情報には、イントラ予測またはインター予測に応じて、予測モードや動き予測ユニットのブロックサイズ情報等が含まれる。
可逆符号化部１６は、量子化データに対して例えば可変長符号化または算術符号化等により可逆符号化処理を行い、ストリーム情報を生成して蓄積バッファ１７に出力する。また、可逆符号化部１６は、最適モードがイントラ予測である場合、イントラ予測部３１から供給された予測モード情報の可逆符号化を行う。また、可逆符号化部１６は、最適モードがインター予測である場合、動き予測・補償部３２から供給された予測モード情報や差分動きベクトル等の可逆符号化を行う。さらに、可逆符号化部１６は、量子化パラメータに関する情報例えば差分情報等の可逆符号化を行う。可逆符号化部１６は、可逆符号化後の情報をストリーム情報に含める。
蓄積バッファ１７は、可逆符号化部１６からのストリーム情報を蓄積する。また、蓄積バッファ１７は、蓄積したストリーム情報を伝送路に応じた伝送速度で出力する。
レート制御部１８は、蓄積バッファ１７の空き容量の監視を行い、空き容量が少なくなっている場合には量子化データのビットレートが低下して、空き容量が十分大きい場合には量子化データのビットレートが高くなるように量子化パラメータを設定する。また、レート制御部１８は、画面並べ替えバッファから供給された画像データを用いて画像の複雑度、例えば画素値の分散を示す情報であるアクティビティを検出する。レート制御部１８は、画像の複雑度の検出結果に基づき、例えば画素の分散値が低い画像部分は粗い量子化で、そうでない部分は細かい量子化となるように量子化パラメータを設定する。レート制御部１８は、設定した量子化パラメータを、情報生成部１９に出力する。
情報生成部１９は、レート制御部１８から供給された量子化パラメータを量子化部１５に出力する。また、情報生成部１９は、符号化対象ブロックに対して空間的または時間的に隣接する符号化済みのブロックの量子化パラメータを選択候補とする。情報生成部１９は、レート制御部１８で設定された量子化パラメータに応じて選択候補から量子化パラメータを選択して予測量子化パラメータとする。さらに、情報生成部１９は、選択した量子化パラメータに対応する識別情報、すなわち選択候補から予測量子化パラメータを選択するための識別情報と、予測量子化パラメータと設定された量子化パラメータとの差分を示す差分情報を生成する。
図４は、情報生成部の構成を示している。情報生成部１９は、量子化パラメータメモリ部１９１と差分演算部１９２を有している。情報生成部１９は、レート制御部１８から供給された量子化パラメータを量子化部１５に出力する。また、情報生成部１９は、レート制御部１８から供給された量子化パラメータを量子化パラメータメモリ部１９１と差分演算部１９２に供給する。
量子化パラメータメモリ部１９１は、供給された量子化パラメータを記憶する。差分演算部１９２は、量子化パラメータメモリ部１９１に記憶されている符号化済みのブロックの量子化パラメータから、符号化対象ブロックに対して空間的または時間的に周囲の符号化済みであるブロックの量子化パラメータを選択候補として読み出す。また、少なくとも量子化パラメータが重複するブロック、または量子化パラメータを用いた量子化が行われないブロック例えば量子化部１５で量子化する変換係数データが全て「０」であるブロックを選択候補から除外する。また、差分演算部１９２は、後述する動き予測・補償部３２と予測画像・最適モード選択部３３からの情報に基づきスキップ処理を行うと判別したブロック（以下「スキップブロック」という）を選択候補から除外する。
差分演算部１９２は、符号化対象ブロックの量子化パラメータすなわちレート制御部１８から供給された量子化パラメータに応じて、選択候補から量子化パラメータを選択して予測量子化パラメータとする。さらに、差分演算部１９２は、選択候補から予測量子化パラメータを選択するための識別情報と、予測量子化パラメータと符号化対象ブロックの量子化パラメータの差分を示す差分情報を生成して可逆符号化部１６に出力する。
図３に戻り、逆量子化部２１は、量子化部１５から供給された量子化データの逆量子化処理を行う。逆量子化部２１は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部２２に出力する。
逆直交変換部２２は、逆量子化部２１から供給された変換係数データの逆直交変換処理を行い、得られたデータを加算部２３に出力する。
加算部２３は、逆直交変換部２２から供給されたデータと予測画像・最適モード選択部３３から供給された予測画像データを加算して復号画像データを生成して、デブロッキングフィルタ２４とイントラ予測部３１に出力する。なお、復号画像データは参照画像の画像データとして用いられる。
デブロッキングフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ２４は、加算部２３から供給された復号画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の復号画像データをフレームメモリ２６に出力する。
フレームメモリ２６は、デブロッキングフィルタ２４から供給されたフィルタ処理後の復号画像データを保持する。フレームメモリ２６に保持された復号画像データは、動き予測・補償部３２に参照画像データとして供給される。
イントラ予測部３１は、画面並べ替えバッファ１２から供給された符号化対象画像の入力画像データと加算部２３から供給された参照画像データを用いて、候補となる全てのイントラ予測モードで予測を行い、最適イントラ予測モードを決定する。イントラ予測部３１は、例えば各イントラ予測モードでコスト関数値を算出して、算出したコスト関数値に基づき符号化効率が最良となるイントラ予測モードを最適イントラ予測モードとする。イントラ予測部３１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。さらに、イントラ予測部３１は、最適イントラ予測モードを示す予測モード情報を可逆符号化部１６に出力する。
動き予測・補償部３２は、画面並べ替えバッファ１２から供給された符号化対象画像の入力画像データとフレームメモリ２６から供給された参照画像データを用いて、候補となる全てのインター予測モードで予測を行い、最適インター予測モードを決定する。動き予測・補償部３２は、例えば各インター予測モードでコスト関数値を算出して、算出したコスト関数値に基づき符号化効率が最良となるインター予測モードを最適インター予測モードとする。動き予測・補償部３２は、最適インター予測モードで生成された予測画像データと最適インター予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。さらに、動き予測・補償部３２は、最適インター予測モードに関する予測モード情報を可逆符号化部１６と情報生成部１９に出力する。
予測画像・最適モード選択部３３は、イントラ予測部３１から供給されたコスト関数値と動き予測・補償部３２から供給されたコスト関数値を比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部３３は、最適モードで生成した予測画像データを減算部１３と加算部２３に出力する。さらに、予測画像・最適モード選択部３３は、最適モードがイントラ予測モードであるかインター予測モードであるかを示す情報を可逆符号化部１６と情報生成部１９に出力する。なお、予測画像・最適モード選択部３３は、スライス単位でイントラ予測またはインター予測の切り替えを行う。
＜２．画像符号化装置の動作＞
画像符号化装置では、例えばＨ．２６４／ＡＶＣ方式よりもマクロブロックの大きさを拡張して符号化処理を行う。図５はコーディングユニットの階層構造を例示している。なお、図５では、最大サイズが１２８画素×１２８画素、階層の深さ（Depth）が「５」である場合を示している。例えば、階層の深さが「０」である場合、２Ｎ×２Ｎ（Ｎ＝６４画素）のブロックがコーディングユニットＣＵ0とされる。また、split flag＝１とすると、コーディングユニットＣＵ0は４つの独立したＮ×Ｎのブロックに分割されて、Ｎ×Ｎのブロックが１つ下の階層のブロックとされる。すなわち、階層の深さが「１」とされて、２Ｎ×２Ｎ（Ｎ＝３２画素）のブロックがコーディングユニットＣＵ1とされる。同様に、split flag＝１とされると、４つの独立したブロックに分割される。さらに、最も深い階層である深さ「４」の場合、２Ｎ×２Ｎ（Ｎ＝４画素）のブロックがコーディングユニットＣＵ4とされて、８画素×８画素がコーディングユニットＣＵの最小サイズとなる。また、ＨＥＶＣでは、コーディングユニットを分割して予測用の基本単位である予測ユニット（ＰＵ：Prediction Unit）や、変換や量子化のための基本単位であるトランスフォームユニット（ＴＵ：Transform Unit）が定義されている。
次に、画像符号化装置の動作について、図６に示すフローチャートを用いて説明する。ステップＳＴ１１において、Ａ／Ｄ変換部１１は入力された画像信号をＡ／Ｄ変換する。
ステップＳＴ１２において画面並べ替えバッファ１２は、画像並べ替えを行う。画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１より供給された画像データを記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
ステップＳＴ１３において減算部１３は、予測誤差データの生成を行う。減算部１３は、ステップＳＴ１２で並べ替えられた画像の画像データと予測画像・最適モード選択部３３で選択された予測画像データとの差分を算出して予測誤差データを生成する。予測誤差データは、元の画像データに比べてデータ量が小さい。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
ステップＳＴ１４において直交変換部１４は、直交変換処理を行う。直交変換部１４は、減算部１３から供給された予測誤差データを直交変換する。具体的には、予測誤差データに対して離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数データを出力する。
ステップＳＴ１５において量子化部１５は、量子化処理を行う。量子化部１５は、変換係数データを量子化する。量子化に際しては、後述するステップＳＴ２５の処理で説明されるように、レート制御が行われる。
ステップＳＴ１６において逆量子化部２１は、逆量子化処理を行う。逆量子化部２１は、量子化部１５により量子化された変換係数データを量子化部１５の特性に対応する特性で逆量子化する。
ステップＳＴ１７において逆直交変換部２２は、逆直交変換処理を行う。逆直交変換部２２は、逆量子化部２１により逆量子化された変換係数データを直交変換部１４の特性に対応する特性で逆直交変換する。
ステップＳＴ１８において加算部２３は、参照画像データの生成を行う。加算部２３は、予測画像・最適モード選択部３３から供給された予測画像データと、この予測画像と対応する位置の逆直交変換後のデータを加算して、復号データ（参照画像データ）を生成する。
ステップＳＴ１９においてデブロッキングフィルタ２４は、フィルタ処理を行う。デブロッキングフィルタ２４は、加算部２３より出力された復号画像データをフィルタリングしてブロック歪みを除去する。
ステップＳＴ２０においてフレームメモリ２６は、参照画像データを記憶する。フレームメモリ２６はフィルタ処理後の復号データ（参照画像データ）を記憶する。
ステップＳＴ２１においてイントラ予測部３１と動き予測・補償部３２は、それぞれ予測処理を行う。すなわち、イントラ予測部３１は、イントラ予測モードのイントラ予測処理を行い、動き予測・補償部３２は、インター予測モードの動き予測・補償処理を行う。予測処理は、図７を参照して後述するが、この処理により、候補となる全ての予測モードでの予測処理がそれぞれ行われ、候補となる全ての予測モードでのコスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードが選択され、選択された予測モードで生成された予測画像とそのコスト関数および予測モード情報が予測画像・最適モード選択部３３に供給される。
ステップＳＴ２２において予測画像・最適モード選択部３３は、予測画像データの選択を行う。予測画像・最適モード選択部３３は、イントラ予測部３１および動き予測・補償部３２より出力された各コスト関数値に基づいて、符号化効率が最良となる最適モードを決定する。すなわち、予測画像・最適モード選択部３３では、例えば図５に示す各階層から符号化効率が最良となるコーディングユニットと該コーディングユニットにおける予測ユニットのブロックサイズ、およびイントラ予測とインター予測のいずれかを行うか決定する。さらに、予測画像・最適モード選択部３３は、決定した最適モードの予測画像データを、減算部１３と加算部２３に出力する。この予測画像データが、上述したように、ステップＳＴ１３，ＳＴ１８の演算に利用される。
ステップＳＴ２３において可逆符号化部１６は、可逆符号化処理を行う。可逆符号化部１６は、量子化部１５より出力された量子化データを可逆符号化する。すなわち、量子化データに対して可変長符号化や算術符号化等の可逆符号化が行われて、データ圧縮される。また、可逆符号化部１６は、ステップＳＴ２２で選択された予測画像データに対応する予測モード情報等の可逆符号化を行い、量子化データを可逆符号化して生成されたストリーム情報に、予測モード情報等の可逆符号化データが含められる。
ステップＳＴ２４において蓄積バッファ１７は、蓄積処理を行う。蓄積バッファ１７は、可逆符号化部１６から出力されるストリーム情報を蓄積する。この蓄積バッファ１７に蓄積されたストリーム情報は、適宜読み出されて伝送路を介して復号側に伝送される。
ステップＳＴ２５においてレート制御部１８は、レート制御を行う。レート制御部１８は、蓄積バッファ１７でストリーム情報を蓄積する場合、オーバーフローまたはアンダーフローが蓄積バッファ１７で発生しないように、量子化部１５の量子化動作のレートを制御する。
次に、図７のフローチャートを参照して、図６のステップＳＴ２１における予測処理を説明する。
ステップＳＴ３１において、イントラ予測部３１はイントラ予測処理を行う。イントラ予測部３１は符号化対象の予測ユニットの画像を、候補となる全てのイントラ予測モードでイントラ予測する。なお、イントラ予測において参照される復号画像の画像データは、デブロッキングフィルタ２４でブロッキングフィルタ処理が行われる前の復号画像データが用いられる。このイントラ予測処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、全てのイントラ予測モードの中から、符号化効率が最良となる１つのイントラ予測モードが選択される。
ステップＳＴ３２において、動き予測・補償部３２はインター予測処理を行う。動き予測・補償部３２は、フレームメモリ２６に記憶されているデブロッキングフィルタ処理後の復号画像データを用いて、候補となるインター予測モードのインター予測処理を行う。このインター予測処理により、候補となる全てのインター予測モードで予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、全てのインター予測モードの中から、符号化効率が最良となる１つのインター予測モードが選択される。
次に、図８のフローチャートを参照して、図７におけるステップＳＴ３１のイントラ予測処理について説明する。
ステップＳＴ４１でイントラ予測部３１は、各予測モードのイントラ予測を行う。イントラ予測部３１は、ブロッキングフィルタ処理前の復号画像データを用いて、イントラ予測モード毎に予測画像データを生成する。
ステップＳＴ４２でイントラ予測部３１は、各予測モードでのコスト関数値を算出する。コスト関数値の算出は、例えばＨ．２６４／ＡＶＣ方式における参照ソフトウェアであるＪＭ（Joint Model）で定められているように、High Complexityモードか、Low Complexityモードのいずれかの手法に基づいて行う。
すなわち、High Complexityモードにおいては、候補となる全ての予測モードに対して、仮に可逆符号化処理までを行い、次の式（１）で表されるコスト関数値を各予測モードに対して算出する。
Cost(Mode∈Ω)=Ｄ+λ・Ｒ ・・・（１）
Ωは、当該予測ユニットの画像を符号化するための候補となる予測モードの全体集合を示している。Ｄは、予測モードで符号化を行った場合の予測画像と入力画像との差分エネルギー（歪み）を示している。Ｒは、直交変換係数や予測モード情報等を含んだ発生符号量、λは、量子化パラメータの関数として与えられるラグランジュ乗数である。すなわち、High Complexityモードにおいては、ステップＳＴ４２の処理として、候補となる全ての予測モードに対して、仮に可逆符号化処理までを行い、上述の式（１）で表されるコスト関数値を各予測モードに対して算出する。
一方、Low Complexityモードにおいては、候補となる全ての予測モードで、予測画像の生成、および差分動きベクトルや予測モード情報などを含むヘッダビットの生成等を行い、次の式（２）で表されるコスト関数値を算出する。
Cost(Mode∈Ω)=Ｄ+QP2Quant(QP)・Header＿Bit ・・・（２）
Ωは、当該予測ユニットの画像を符号化するための候補となる予測モードの全体集合を示している。Ｄは、予測モードで符号化を行った場合の予測画像と入力画像との差分エネルギー（歪み）を示している。Header＿Bitは、予測モードに対するヘッダビット、QP2Quantは、量子化パラメータの関数として与えられる関数である。すなわち、Low Complexityモードにおいては、ステップＳＴ４２の処理として、候補となる全ての予測モードに対して、予測画像の生成および動きベクトルや予測モード情報などのヘッダビットを用いて、上述の式（２）で表されるコスト関数値を各予測モードに対して算出する。
ステップＳＴ４３でイントラ予測部３１は、最適イントラ予測モードを決定する。イントラ予測部３１は、ステップＳＴ４２において算出されたコスト関数値に基づいて、それらの中から、コスト関数値が最小値である１つのイントラ予測モードを選択して最適イントラ予測モードに決定する。
次に、図９のフローチャートを参照して、図７におけるステップＳＴ３２のインター予測処理について説明する。
ステップＳＴ５１で動き予測・補償部３２は、動き検出処理を行う。動き予測・補償部３２は、動きベクトルを検出してステップＳＴ５２に進む。
ステップＳＴ５２で動き予測・補償部３２は、動き補償処理を行う。動き予測・補償部３２は、ステップＳＴ５１で検出した動きベクトルに基づき参照画像データを用いて動き補償を行い、予測画像データを生成する。
ステップＳＴ５３で動き予測・補償部３２は、コスト関数値の算出を行う。動き予測・補償部３２は、符号化対象である予測ユニットの入力画像データと、ステップＳＴ５２で生成した予測画像データ等を用いて、上述のようにコスト関数値を算出してステップＳＴ５４に進む。
ステップＳＴ５４で動き予測・補償部３２は、最適インター予測モードを決定する。動き予測・補償部３２は、ステップＳＴ５１からステップＳＴ５３までの処理を全てのインター予測モード毎に行う。動き予測・補償部３２は、予測モード毎に算出されたコスト関数値が最小値となる参照インデックス、コーディングユニットのブロックサイズ、当該コーディングユニットにおける予測ユニットのブロックサイズを判別して、最適インター予測モードを決定する。なお、コスト関数が最小となるモードの決定では、スキップモードでインター予測を行った場合のコスト関数値も用いる。
また、動き予測・補償部３２は、予測画像・最適モード選択部３３で最適インター予測モードが最適予測モードとして選択された場合、最適インター予測モードの予測画像データを減算部１３と加算部２３に供給できるように、予測画像データの生成を行う。
＜３．量子化パラメータに基づく識別情報と差分情報の生成動作＞
上述の画像符号化処理において、画像符号化装置１０は、ブロック毎に画像の複雑度に応じて適応量子化を行うように、量子化パラメータを設定する。また、画像符号化装置１０は、ステップＳＴ１５の量子化処理で用いる量子化パラメータの符号化効率を向上させるため、識別情報と差分情報を生成して可逆符号化してストリーム情報に含める。
次に、量子化パラメータの設定および識別情報と差分情報の生成について説明する。レート制御部１８は、例えばＭＰＥＧ２のＴＭ５で定められている符号量制御方式を用いて、量子化パラメータの設定を行う。
ＭＰＥＧ２のＴＭ５において定められているレート制御方式では、ステップ１〜ステップ３の処理が示されている。
ステップ１では、ＧＯＰ（Group Of Pictures）内の各ピクチャに対する割当符号量を、割当対象ピクチャを含めて、まだ符号化されていないピクチャに対して、割当られるビット量Ｒを基にして配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返す。その際、以下の２つの仮定を用いて、各ピクチャへの符号量割当を行っている。
第１の仮定は、各ピクチャを符号化する際に用いる、平均量子化スケールコードと発生符号量との積は、画面が変化しない限り、ピクチャタイプ毎に一定となるという仮定である。
そこで、各ピクチャを符号化した後、ピクチャタイプ毎に、画面の複雑さを表す媒介変数Ｘ Ｉ ，Ｘ Ｐ ，Ｘ Ｂ （Global Complexity Measure）を式（３）〜（５）により更新する。この媒介変数により、次のピクチャを符号化する際の量子化スケールコードと発生符号量の関係を推定できる。
Ｘ Ｉ ＝Ｓ Ｉ ・Ｑ Ｉ ・・・（３）
Ｘ Ｐ ＝Ｓ Ｐ ・Ｑ Ｐ ・・・（４）
Ｘ Ｂ ＝Ｓ Ｂ ・Ｑ Ｂ ・・・（５）
ここで、Ｓ Ｉ ，Ｓ Ｐ ，Ｓ Ｂ は、ピクチャ符号化時の発生符号化ビット、Ｑ Ｉ ，Ｑ Ｐ ，Ｑ Ｂ は、ピクチャ符号化時の平均量子化スケールコードである。また、初期値は、目標符号量であるbit_rate［bits/sec］を用いて、式下記（６），（７），（８）で示される値とする。
Ｘ Ｉ ＝１６０×bit_rate／１１５ ・・・（６）
Ｘ Ｐ ＝１６０×bit_rate／１１５ ・・・（７）
Ｘ Ｂ ＝１６０×bit_rate／１１５ ・・・（８）
第２の仮定は、Ｉピクチャの量子化スケールコードを基準としたＰ，Ｂピクチャの量子化スケールコードの比率Ｋ Ｐ ，Ｋ Ｂ が、式（９）に定める値になるとき、常に全体の画質が最適化されると仮定する。
Ｋ Ｐ ＝１．０；Ｋ Ｂ ＝１．４ ・・・（９）
すなわち、Ｂピクチャの量子化スケールコードは、Ｉ，Ｐピクチャの量子化スケールコードの常に１．４倍としている。これは、ＢピクチャをＩ，Ｐピクチャに比較して多少粗めに量子化することにより、Ｂピクチャで節約できる符号量をＩ，Ｐピクチャに加えると、Ｉ，Ｐピクチャの画質が改善されるとともに、これを参照するＢピクチャの画質をも向上させることを想定している。
上記２つの仮定より、ＧＯＰ中の各ピクチャに対する割当符号量（Ｔ Ｉ ，Ｔ Ｐ ，Ｔ Ｂ ）、式（１０），（１１），（１２）で示される値となる。なお、picture_rateは、当該シーケンスにおける、１秒あたり表示されるピクチャの数を示している。
Figure 0006056122
ここで、Ｎ Ｐ ，Ｎ Ｂ は、ＧＯＰ内でまだ符号化されていない、Ｐ，Ｂピクチャの枚数である。すなわち、ＧＯＰ内の未符号化ピクチャのうち、割当対象となるピクチャと、異なるピクチャタイプのものに関しては、上述の画質最適化条件の元、そのピクチャの発生する符合量が、割当対象ピクチャの発生符号量の何倍となるかを推定する。次に、未符号化ピクチャ全体の発生する推定発生符号量が、割当対象ピクチャの何枚分の符号量に相当するかを求める。例えば、Ｔ Ｉ に関する式の、第１引数の分母第２項、Ｎ ｐ Ｘ ｐ ／Ｘ Ｉ Ｋ Ｐ は、ＧＯＰ内の、Ｎ Ｐ 枚の未符号化ピクチャが、Ｉピクチャに換算すると何枚分に換算するかを表している。また、Ｎ Ｐ に、Ｐピクチャに対する発生符号量の、Ｉピクチャの発生符号量に対する割合Ｓ Ｐ ／Ｓ Ｉ を乗じて、上述のようにＸ Ｉ ，Ｘ Ｐ ，Ｋ Ｐ で表すことにより得られる。
割当対象ピクチャに対するビット量は、未符号化ピクチャに対する割当符号量Ｒを、この枚数で割ることによって得られる。但し、ヘッダなどに、固定的に必要となる符号量を考慮して、その値に下限を設定している。
このようにして求めた割当符号量を基にして、各ピクチャをステップ１，２にしたがって符号化する毎に、ＧＯＰ内の未符号化ピクチャに対して割当られる符号量Ｒを、式（１３）により更新する。
Ｒ＝Ｒ−Ｓ Ｉ ，Ｐ，Ｂ ・・・（１３）
また、ＧＯＰの最初のピクチャを符号化する際には、以下の式（１４）により、Ｒを更新する。
Figure 0006056122
 なお、ＮはＧＯＰ内のピクチャ数である。また、シーケンス最初でのＲの初期値は０とする。
次に、ステップ２について述べる。ステップ２では、ステップ１で求めた、各ピクチャに対する割当符号量（Ｔ Ｉ ，Ｔ Ｐ ，Ｔ Ｂ ）を、実際の符号量に一致させるため量子化スケールコードを求める。量子化スケールコードは、ピクチャタイプ毎に、独立に設定した３種類の仮想バッファの容量を基に、マクロブロック単位のフィードバック制御により求める。
まず、ｊ番目のマクロブロック符号化に先立ち、仮想バッファの占有量を式（１５）〜（１７）により求める。
Figure 0006056122
ｄ ０ Ｉ ，ｄ ０ Ｐ ，ｄ ０ Ｂ は、各仮想バッファの初期占有量、Ｂｊは、ピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量、ＭＢｃｎｔは、１ピクチャ内のマクロブロック数である。
各ピクチャ符号化終了時の仮想バッファ占有量（ｄＭＢｃｎｔ Ｉ ，ｄＭＢｃｎｔ Ｐ ，ｄＭＢｃｎｔ Ｂ ）は、それぞれ同一のピクチャタイプで、次のピクチャに対する仮想バッファ占有量の初期値（ｄ ０ Ｉ ，ｄ ０ Ｐ ，ｄ ０ Ｂ ）として用いられる。
次に、ｊ番目のマクロブロックに対する参照量子化スケールコードＱ ｊ を式（１８）により算出する。
Figure 0006056122

ｒはリアクションパラメータと呼ばれるフィードバックループの応答速度を制御する媒介変数で、式（１９）により与えられる。
Figure 0006056122
なお、シーケンスの最初における仮想バッファ初期値は式（２０）により与えられる。
Figure 0006056122
次に、ステップ３について述べる。アクティビティは、原画の輝度信号画素値を用い、例えばフレームＤＣＴモードにおける４個の８×８ブロックと、フィールドＤＣＴ符号化モードにおける４個の８×８ブロックとの合計８個のブロックの画素値を用いて、式（２１）〜（２３）により与えられる。
Figure 0006056122
式（２１）に示すvar_sblkは、各画素の画素データとその平均値との差分の自乗和であり、当該８×８ブロックの画像が複雑になるにしたがって値が大きくなる。式（２２），（２３）のＰ ｋ は、原画の輝度信号ブロック内画素値である。式（２２）において最小値（min）を採るのは、１６×１６のマクロブロック内の一部だけでも平坦部分のある場合には量子化を細かくするためである。さらに、式（２４）により、その値が０．５〜２の範囲をとる正規化アクティビティＮａｃｔ ｊ を求める。
Figure 0006056122
avg_actは、直前に符号化したピクチャでのアクティビティの平均値である。視覚特性を考慮した量子化スケールコードｍｑｕａｎｔ ｊ は、参照量子化スケールコードＱ ｊ を基に式（２５）により与えられる。
Figure 0006056122
レート制御部１８は、上述のようにして算出した量子化スケールコードmquantjを量子化パラメータとして出力する。また、スライス境界に位置するマクロブロックについても、上述した手法で、スライス境界以外に位置するマクロブロックと同様に、量子化パラメータを生成する。なお、量子化パラメータは、上述のようにアクティビティに基づいて決定する場合に限らず、コスト関数値が小さくなるように決定してもよい。
なお、上述のＭＰＥＧ２のＴＭ５において定められているレート制御方式の説明では、マクロブロック単位で処理が行われる場合について説明している。このため、量子化パラメータの切り替えが可能なブロック単位で同様な処理を行うことで、量子化パラメータの切り替えが可能なブロック毎に量子化パラメータを設定できる。
次に、量子化パラメータの符号化効率を向上させるために用いる情報の生成動作について説明する。情報生成部１９は、符号化対象ブロックに対して空間的または時間的に隣接する符号化済みの量子化パラメータを選択候補とする。また、情報生成部１９は、符号化対象ブロックに対して設定された量子化パラメータに応じて選択候補から量子化パラメータを選択して予測量子化パラメータとする。さらに、情報生成部１９は、選択候補から予測量子化パラメータを選択するための識別情報と、予測量子化パラメータと符号化対象ブロックに設定された量子化パラメータとの差分を示す差分情報を生成する。
図１０は、情報生成部の動作を説明するための図であり、符号化対象フレームと、表示順序で最も時間の近い符号化済みフレームを示している。符号化対象フレームにおける符号化対象ブロックの量子化パラメータを例えば「ＱＰ_O」とする。また、左に隣接する符号化済みブロックの量子化パラメータを例えば「ＱＰ_A」とする。同様に、上、右上、左上、左下に隣接する符号化済みブロックの量子化パラメータを例えば「ＱＰ_B」「ＱＰ_C」「ＱＰ_D」「ＱＰ_E」とする。また、時間的に隣接する符号化済みブロックの量子化パラメータを「ＱＰ_T」とする。なお、符号化対象フレームにおける符号化対象ブロックの符号化を行うとき、量子化パラメータ「ＱＰ_A」〜「ＱＰ_E」，「ＱＰ_T」は、量子化パラメータメモリ部１９１に記憶されている。また、各ブロックは、量子化パラメータを変えられる最小単位のブロックとする。
差分演算部１９２は、符号化対象ブロックと隣接する符号化済みのブロックの量子化パラメータを選択候補として、符号化対象ブロックに設定された量子化パラメータとの差分が最も小さい量子化パラメータを選択候補から選択して予測量子化パラメータとする。差分演算部１９２は、選択候補から予測量子化パラメータを選択するための識別情報と、予測量子化パラメータと符号化対象ブロックの量子化パラメータとの差分を示す差分情報を生成する。
図１１は、情報生成部の動作例を示す図である。なお、スキップブロックや残差情報がないためブロックに対して量子化パラメータが設定されていない場合を「−」として示している。
符号化対象ブロックをブロックＢＫOとすると、符号化済みブロックの量子化パラメータは、「ＱＰ_A＝３２」，「ＱＰ_B＝４０」，「ＱＰ_C＝４０」，「ＱＰ_D＝３５」，「ＱＰ_E＝−」，「ＱＰ_T＝３１」となる。ここで、情報生成部１９は、スキップブロックや残差情報がないため量子化パラメータが設定されていないブロックおよび量子化パラメータが重複するブロックを候補から除外する。したがって、選択候補は、量子化パラメータ「ＱＰ_A＝３２」，「ＱＰ_B＝４０」，「ＱＰ_D＝３５」，「ＱＰ_T＝３１」の符号化済みブロックとなる。また、情報生成部１９は、選択候補に対して予め識別情報例えばインデックス番号を設定する。識別情報は、隣接する符号化済みのブロックに対して設定してもよく、隣接する符号化済みのブロックの量子化パラメータに対して設定してもよい。
隣接する符号化済みのブロックに対して識別情報を設定する場合、情報生成部１９は、隣接する符号化済みのブロックを所定の並び順として、並び順にインデックス番号を予め設定する。所定の並び順は、例えば左側に隣接する符号化済みのブロックと、上側に隣接する符号化済みのブロックと、時間的に隣接する符号化済みのブロックのいずれかを優先させた並び順とする。また、情報生成部１９は、並び順を切り替え可能としてもよい。並び順を切り替え可能とする場合、どのような並び順であるかを示す情報をストリーム情報に含める。また、可逆符号化部１６と情報生成部１９は、優先させたブロックの識別情報を符号化したときの符号量が少なくなるように識別情報の設定や可逆符号化を行う。
差分演算部１９２は、選択候補から符号化対象ブロックの量子化パラメータとの差分が最も小さくなる候補を選択して、選択した候補に対して設定されている識別情報を用いることで、選択候補から予測量子化パラメータを選択するための識別情報の生成を行う。また、差分演算部１９２は、選択した候補の量子化パラメータである予測量子化パラメータと符号化対象ブロックの量子化パラメータとの差分を示す差分情報を生成する。例えば、図１１において左側に隣接する符号化済みのブロックを優先させた場合、情報生成部１９は、「０（インデックス番号）：ＱＰ_Aのブロック」「１：ＱＰ_Bのブロック」「２：ＱＰ_Dのブロック」「３：ＱＰ_Tのブロック」とする。また、例えば符号化対象ブロックの量子化パラメータが「３３」であると、差分演算部１９２は、符号化対象ブロックの量子化パラメータとの差分が最も小さいブロックのインデックス番号を、選択候補から予測量子化パラメータを選択するための識別情報「０（インデックス番号）」とする。また、差分演算部１９２は、予測量子化パラメータと符号化対象ブロックの量子化パラメータとの差分を示す差分情報「１（＝３３−３２）」を生成する。
このように、隣接する符号化済みのブロックに対して識別情報を設定することで、量子化パラメータの符号化効率を高めることが可能となる。例えば左側のブロックを優先させて、量子化パラメータ「ＱＰ_A」「ＱＰ_B」「ＱＰ_C」「ＱＰ_D」「ＱＰ_E」「ＱＰ_T」のブロック順とすると、左側のブロックの画像と近似している符号化対象ブロックが多い画像でデータ量が少なくなる。また、上側のブロックを優先させて量子化パラメータ「ＱＰ_B」「ＱＰ_A」「ＱＰ_C」「ＱＰ_D」「ＱＰ_E」「ＱＰ_T」のブロック順とすると、上側のブロックの画像と近似している符号化対象ブロックが多い画像でデータ量が少なくなる。さらに、時間的に隣接するブロックを優先させて量子化パラメータ「ＱＰ_T」「ＱＰ_A」「ＱＰ_B」「ＱＰ_C」「ＱＰ_D」「ＱＰ_E」のブロック順とすると、時間的に隣接するブロックの画像と近似している符号化対象ブロックが多い画像、すなわち静止している被写体が多い画像でデータ量が少なくなる。
隣接する符号化済みのブロックの量子化パラメータに対して予め識別情報を設定する場合、情報生成部１９は、隣接する符号化済みのブロックを所定の並び順としてインデックス番号を設定する。例えば、情報生成部１９は、パラメータ値が小さい量子化パラメータから順に並べてインデックス番号を設定する。すなわち、図１１の場合、情報生成部１９は、「０（インデックス番号）：３２（量子化パラメータ）」「１：４０」「２：３５」「３：３１」のようにインデックス番号を設定する。
差分演算部１９２は、選択候補から符号化対象ブロックの量子化パラメータとの差分が最も小さくなる候補を選択して、選択した候補に対して設定されている識別情報を用いることで、選択候補から予測量子化パラメータを選択するための識別情報の生成を行う。また、差分演算部１９２は、予測量子化パラメータと符号化対象ブロックの量子化パラメータとの差分を示す差分情報を生成する。例えば、符号化対象ブロックの量子化パラメータが「３３」であると、差分演算部１９２は、識別情報として「０（インデックス番号）」と差分情報「１（＝３３−３２）」を生成する。
また、選択候補がない場合、差分演算部１９２は、スライスにおける初期値の量子化パラメータSliceQPYと設定された量子化パラメータとの差分を示す差分情報を生成する。
図１２は、符号化における量子化パラメータについての処理を示すフローチャートである。ステップＳＴ６１で画像符号化装置１０は、量子化パラメータユニット最小サイズ（MinQpUnitSize）を求めるための情報を生成する。量子化パラメータユニット最小サイズは、適応的に量子化パラメータが切り替えられる最小のサイズである。
画像符号化装置１０は、量子化パラメータユニット最小サイズ（MinQpUnitSize）を求めるための情報として、例えばトランスフォームユニット最小サイズ（MinTransformUnitSize）との差分を用いる。
量子化パラメータユニット最小サイズ（MinQpUnitSize）は、式（２６）によって決定される。
MinQpUnitSize＝1<<(log2_min_transform_unit_size_minus2
＋log2_min_qp_unit_size_offset＋2) ・・・（２６）
なお、式（２６）における「log2_min_transform_unit_size_minus2」は、トランスフォームユニット最小サイズ（MinTransformUnitSize）を決めるパラメータである。
トランスフォームユニット最小サイズ（MinTransformUnitSize）は、式（２７）によって決定される。
MinTransformUnitSize＝1<<(log2_min_transform_unit_size_minus2
＋2)・・・（２７）
量子化パラメータユニット最小サイズ（MinQpUnitSize）とトランスフォームユニット最小サイズ（MinTransformUnitSize）との差分は、式（２６）（２７）から明らかなように、「log2_min_qp_unit_size_offset」に相当する。なお、量子化パラメータは、トランスフォームユニット（ＴＵ）単位で用いられる。すなわちトランスフォームユニット内では量子化パラメータが変わらない。
また、量子化パラメータユニット最小サイズ（MinQpUnitSize）は、コーディングユニットサイズに応じて決定するようにしてもよい。この場合、画像符号化装置１０は、量子化パラメータユニット最小サイズ（MinQpUnitSize）を求めるための情報として、例えばコーディングユニットCＵの最小サイズを規定する情報（log2_min_coding_block_size_minus3）、およびコーディングユニットＣＵの最大サイズを規定する情報（log2_diff_max_min_coding_block_size）を用いる。なお、コーディングユニットＣＵの最大サイズ「log2MaxCUSize」は式（２８）となる。
log2MaxCUSize ＝ log2_min_coding_block_size_minus 3 + 3
+ log2_diff_max_min_coding_block_size ・・・（２８）
量子化パラメータユニット最小サイズの対数値（log2MinQpUnitSize）は、式（２９）によって決定される。
log2MinQpUnitSize＝ log2_min_coding_block_size_minus 3 + 3
+ log2_diff_max_min_coding_block_size
- log2_min_qp_unit_size_offset ・・・（２９）
したがって、「log2_min_qp_unit_size_offset」を大きすれば量子化パラメータユニット最小サイズが小さくなる。例えば、コーディングユニットCＵの最小サイズが「８×８」で最大サイズが「６４×６４」の場合、「log2_min_qp_unit_size_offset」を「１」とすれば量子化パラメータユニット最小サイズは「３２×３２」となる。また、「log2_min_qp_unit_size_offset」を「２」とすれば量子化パラメータユニット最小サイズは「１６×１６」となる。
ステップＳＴ６２で画像符号化装置１０は、生成された情報をストリーム情報に含める処理を行う。画像符号化装置１０は、「log2_min_qp_unit_size_offset」やトランスフォームユニット最小サイズ（MinTransformUnitSize）を決めるパラメータである「log2_min_qp_unit_size_offset」をストリーム情報に含めてステップＳＴ６３に進む。また、コーディングユニットサイズに応じて量子化パラメータユニット最小サイズを決定する場合は、「log2_min_coding_block_size_minus3」「log2_diff_max_min_coding_block_size」「log2_min_qp_unit_size_offset」をストリーム情報に含める。画像符号化装置１０は、生成された情報を、例えばＲＢＳＰ(raw byte sequence payload)のシンタックスとして定義されているシーケンスパラメータセット（SPS：sequence parameter set）に含める。なお、なお、図１３はシーケンスパラメータセットを例示している。
ステップＳＴ６３で画像符号化装置１０は、符号化するフレームが存在するか判別する。画像符号化装置１０は、符号化するフレームが存在する場合はステップＳＴ６４に進み図１４に示すフレーム符号化処理を行い、存在しない場合は符号化処理を終了する。
図１４のフレーム符号化処理において、ステップＳＴ７１で画像符号化装置１０は符号化するスライスが存在するか判別する。画像符号化装置１０は、符号化するスライスが存在する場合はステップＳＴ７２に進み、存在しない場合は当該フレームの符号化処理を終了する。
ステップＳＴ７２で画像符号化装置１０は、符号化するスライスの量子化パラメータを決定する。画像符号化装置１０は、目標符号量となるようにスライスにおける初期値の量子化パラメータを決定してステップＳＴ７３に進む。
ステップＳＴ７３で画像符号化装置１０は、「slice_qp_delta」を算出する。スライスにおける初期値の量子化パラメータSliceQPYは、式（３０）に示す関係を有しており、「pic_init_qp_minus26」は、予めユーザ等によって設定される。したがって、画像符号化装置１０は、ステップＳＴ７２よって決定された量子化パラメータとなるように「slice_qp_delta」を算出してステップＳＴ７４に進む。
SliceQPY＝２６＋pic_init_qp_minus26＋slice_qp_delta ・・・（３０）
ステップＳＴ７４で画像符号化装置１０は、「slice_qp_delta」と「pic_init_qp_minus26」をストリーム情報に含める。画像符号化装置１０は、算出した「slice_qp_delta」をストリーム情報の例えばスライスヘッダに含める。また、画像符号化装置１０は、設定されている「pic_init_qp_minus26」をストリーム情報の例えばピクチャパラメータセットに含める。このように、「slice_qp_delta」と「pic_init_qp_minus26」をストリーム情報に含めことで、ストリーム情報の復号を行う画像復号装置では、式（３０）の演算を行うことで、スライスにおける初期値の量子化パラメータSliceQPYを算出できる。なお、図１５はシーケンスパラメータセット、図１６はスライスヘッダを例示している。
ステップＳＴ７５で画像符号化装置１０は、スライス符号化処理を行う。図１７はスライス符号化処理を示すフローチャートである。
図１７のステップＳＴ８１で画像符号化装置１０は、符号化するコーディングユニットＣＵが存在するか判別する。画像符号化装置１０は、符号化処理するスライスにおいて、符号化処理が行われていないコーディングユニットが存在する場合はステップＳＴ８２に進む。また、画像符号化装置１０は、スライス内の全てのコーディングユニットの符号化処理が完了している場合は、スライス符号化処理を終了する。
ステップＳＴ８２で画像符号化装置１０は、符号化するコーディングユニットＣＵにトランスフォームユニットＴＵが存在するか判別する。画像符号化装置１０は、トランスフォームユニットが存在する場合はステップＳＴ８３に進み、トランスフォームユニットが存在しない場合はステップＳＴ８７に進む。例えば量子化パラメータを用いて量子化する係数が全て「０」である場合やスキップブロックである場合はステップＳＴ８７に進む。
ステップＳＴ８３で画像符号化装置１０は、符号化するコーディングユニットＣＵの量子化パラメータを決定する。画像符号化装置１０のレート制御部１８は、上述のようにコーディングユニットの画像の複雑さに応じて、あるいはコスト関数値が小さくなるように量子化パラメータを決定してステップＳＴ８４に進む。
ステップＳＴ８４で画像符号化装置１０は、選択候補に識別情報を設定する。画像符号化装置１０の情報生成部１９は、符号化するコーディングユニットに対して空間的または時間的に周囲の符号化済みのコーディングの量子化パラメータを選択候補とする。また、情報生成部１９は、スキップブロックや残差情報がないためブロックに対して量子化パラメータが設定されていない場合、および量子化パラメータが他の候補と等しい場合、これらを選択候補から除外する。画像符号化装置１０は、選択候補に対して識別情報例えばインデックス（ref_qp_block_index）を設定してステップＳＴ８５に進む。
ステップＳＴ８５で画像符号化装置１０は、識別情報と差分情報を生成する。画像符号化装置１０の情報生成部１９は、符号化対象のコーディングユニットの量子化パラメータとの差分が最も小さくなる候補を選択候補から選択して予測量子化パラメータとする。情報生成部１９は、選択した候補のインデックス（ref_qp_block_index）を、選択候補から予測量子化パラメータを選択するための識別情報として用いることで識別情報の生成を行う。また、情報生成部１９は、予測量子化パラメータと符号化するコーディングユニットの量子化パラメータとの差分（qb_qp_delta）を差分情報としてステップＳＴ８６に進む。ここで、判別した候補のインデックス（ref_qp_block_index）で示される予測量子化パラメータを「ref_qp（ref_qp_block_index）」とすると、符号化対象のコーディングユニットの量子化パラメータ（CurrentQP）は、式（３１）に示す関係となる。
CurrentQP＝qb_qp_delta＋ref_qp（ref_qp_block_index） ・・・（３１）
ステップＳＴ８６で画像符号化装置１０は、識別情報と差分情報をストリーム情報に含める。画像符号化装置１０の可逆符号化部１６は、情報生成部１９で生成された識別情報と差分情報を可逆符号化してストリーム情報に含めてステップＳＴ８７に進む。
ステップＳＴ８７で画像符号化装置１０は、決定された量子化パラメータを用いてコーディングユニットについての量子化を量子化部１５で行いステップＳＴ８１に戻る。
このように、画像符号化装置１０は、符号化対象ブロックに対して空間的または時間的に隣接する符号化済みのブロックの量子化パラメータから、符号化対象ブロックの量子化パラメータとの差分が最も小さくなる候補を予測量子化パラメータとして選択する。また、画像符号化装置１０は、選択した量子化パラメータに対応する識別情報を生成する。さらに、画像符号化装置１０は、予測量子化パラメータと符号化対象ブロックの量子化パラメータとの差分を示す差分情報を生成する。画像符号化装置１０は、生成した識別情報と差分識別をストリーム情報に含める。このように、差分が最も小さくなる候補が予測量子化パラメータとして選択されることから、予測量子化パラメータと符号化対象ブロックの量子化パラメータとの差分が大きな値となってしまうことを防止することが可能となる。したがって、画像符号化装置１０は、量子化パラメータの符号化効率を向上させることができる。
＜４．画像復号装置の構成＞
次に、画像符号化装置から出力されるストリーム情報の復号処理を行う画像復号装置について説明する。入力画像を符号化して生成されたストリーム情報は、所定の伝送路や記録媒体等を介して画像復号装置に供給されて復号される。
図１８は、ストリーム情報の復号処理を行う画像復号装置の構成を示している。画像復号装置５０は、蓄積バッファ５１、可逆復号部５２、逆量子化部５３、逆直交変換部５４、加算部５５、デブロッキングフィルタ５６、画面並べ替えバッファ５７、ディジタル／アナログ変換部（Ｄ／Ａ変換部）５８を備えている。さらに、画像復号装置５０は、量子化パラメータ算出部５９、フレームメモリ６１、イントラ予測部７１、動き補償部７２、セレクタ７３を備えている。
蓄積バッファ５１は、伝送されてきたストリーム情報を蓄積する。可逆復号部５２は、蓄積バッファ５１より供給されたストリーム情報を、図３の可逆符号化部１６の符号化方式に対応する方式で復号する。
可逆復号部５２は、情報取得部として動作を行いストリーム情報から種々の情報を取得する。例えば、可逆復号部５２は、ストリーム情報を復号して得られた予測モード情報をイントラ予測部７１や動き補償部７２に出力する。また、可逆復号部５２は、ストリーム情報を復号して得られた差分動きベクトルや閾値または閾値生成情報を動き補償部７２に出力する。また、可逆復号部５２は、ストリーム情報を復号して得られた量子化パラメータに関する情報例えば差分情報等を量子化パラメータ算出部５９に出力する。さらに、可逆復号部５２は、ストリーム情報を復号して得られた量子化データを逆量子化部５３に出力する。
逆量子化部５３は、量子化パラメータ算出部５９から供給された量子化パラメータを用いて、図３の量子化部１５の量子化方式に対応する方式で、可逆復号部５２から供給された量子化データの逆量子化を行う。逆直交変換部５４は、図３の直交変換部１４の直交変換方式に対応する方式で逆量子化部５３の出力を逆直交変換して加算部５５に出力する。
加算部５５は、逆直交変換後のデータとセレクタ７３から供給される予測画像データを加算して復号画像データを生成してデブロッキングフィルタ５６とイントラ予測部７１に出力する。
デブロッキングフィルタ５６は、加算部５５から供給された復号画像データに対してデブロッキングフィルタ処理を行い、ブロック歪みを除去してからフレームメモリ６１に供給し蓄積させるとともに、画面並べ替えバッファ５７に出力する。
画面並べ替えバッファ５７は、画像の並べ替えを行う。すなわち、図３の画面並べ替えバッファ１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられて、Ｄ／Ａ変換部５８に出力される。
Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７から供給された画像データをＤ／Ａ変換し、図示せぬディスプレイに出力することで画像を表示させる。
量子化パラメータ算出部５９は、可逆復号部５２から供給された情報に基づき量子化パラメータを復元して逆量子化部５３に出力する。図１９は、量子化パラメータ算出部の構成を示しており、量子化パラメータ算出部５９は演算部５９１と量子化パラメータメモリ部５９２を有している。
演算部５９１は、可逆復号部５２から供給された情報と量子化パラメータメモリ部５９２に記憶されている量子化パラメータを用いて、復号対象ブロックで行われている符号化における量子化で用いられた量子化パラメータを復元して逆量子化部５３に出力する。また、演算部５９１は、復号対象ブロックの量子化パラメータを量子化パラメータメモリ部５９２に記憶させる。
演算部５９１は、例えばピクチャパラメータセットから取り出した「pic_init_qp_minus26」と、スライスヘッダから取り出した「slice_qp_delta」を用いて、式（３０）の演算を行い、量子化パラメータSliceQPYを算出して逆量子化部５３に出力する。
また、演算部５９１は、可逆復号部５２から供給された識別情報および差分情報と、量子化パラメータメモリ部５９２に記憶されている復号済みのブロックの量子化パラメータを用いて、復号対象ブロックの量子化パラメータを算出する。演算部５９１は、算出した量子化パラメータを逆量子化部５３に出力する。この場合、演算部５９１は、量子化パラメータメモリ部５９２に記憶されている復号済みのブロックの量子化パラメータから、復号対象ブロックに対して空間的または時間的に周囲の復号済みであるブロックの量子化パラメータを読み出す。演算部５９１は、差分演算部１９２と同様にして選択候補を設定する。例えば演算部５９１は、少なくとも量子化パラメータが重複するブロックまたは量子化パラメータを用いた逆量子化が行われないブロックを除外して選択候補とする。さらに、演算部５９１は、各候補の量子化パラメータに対して差分演算部１９２と等しい識別情報例えばインデックス（ref_qp_block_index）を設定する。すなわち、演算部５９１は、隣接する復号済みのブロックを所定の並び順として、インデックス（ref_qp_block_index）を設定する。演算部５９１は、可逆復号部５２から供給された識別情報に対応する量子化パラメータ「ref_qp（ref_qp_block_index）」、すなわち予測量子化パラメータと、可逆復号部５２から供給された差分情報で示された差分（qb_qp_delta）を用いて式（３１）の演算を行う。演算部９１は、算出した量子化パラメータ（CurrentQP）を復号対象の量子化パラメータとして逆量子化部５３に出力する。また、選択候補がない場合、演算部５９１は、スライスにおける初期値の量子化パラメータを逆量子化部５３に出力する。
また、演算部５９１は、ストリーム情報からブロックの並び順を指定する情報が取り出されている場合、復号済みのブロックを指定された並び順として、インデックス（ref_qp_block_index）を設定する。このようにすれば、画像符号化装置１０で並び順が変更されても、画像復号装置５０は、画像符号化装置１０で用いられた量子化パラメータを復元できる。
図１８に戻り、フレームメモリ６１は、デブロッキングフィルタ２４でフィルタ処理が行われた後の復号画像データを参照画像データとして記憶する。
イントラ予測部７１は、可逆復号部５２から供給された予測モード情報と加算部５５から供給された復号画像データに基づいて予測画像データの生成を行い、生成した予測画像データをセレクタ７３に出力する。
動き補償部７２は、可逆復号部５２から供給された予測モード情報や差分動きベクトルに基づきフレームメモリ６１から参照画像データを読み出して動き補償を行い、予測画像データを生成する。動き補償部７２は、生成した予測画像データをセレクタ７３に出力する。また、動き補償部７２は、動きベクトルの大きさに応じて、フィルタ特性を切り替えて予測画像データの生成を行う。
セレクタ７３は、可逆復号部５２から供給された予測モード情報に基づき、イントラ予測である場合はイントラ予測部７１、インター予測である場合は動き補償部７２を選択する。セレクタ７３は、選択されたイントラ予測部７１または動き補償部７２で生成された予測画像データを加算部５５に出力する。
セレクタ７３は、可逆復号部５２から供給された予測モード情報に基づき、イントラ予測である場合はイントラ予測部７１、インター予測である場合は動き補償部７２を選択する。セレクタ７３は、選択されたイントラ予測部７１または動き補償部７２で生成された予測画像データを加算部５５に出力する。
＜５．画像復号装置の動作＞
次に、図２０のフローチャートを参照して、画像復号装置５０の動作について説明する。
ステップＳＴ９１で蓄積バッファ５１は、供給されたストリーム情報を蓄積する。ステップＳＴ９２で可逆復号部５２は、可逆復号処理を行う。可逆復号部５２は、蓄積バッファ５１から供給されるストリーム情報を復号する。すなわち、図３の可逆符号化部１６により符号化された各ピクチャの量子化データが得られる。また、可逆復号部５２、ストリーム情報に含まれている予測モード情報等の可逆復号を行い、得られた予測モード情報がイントラ予測モードに関する情報である場合、予測モード情報をイントラ予測部７１に出力する。また、可逆復号部５２は、予測モード情報がインター予測モードに関する情報である場合、予測モード情報を動き補償部７２に出力する。さらに、可逆復号部５２は、ストリーム情報を復号して得られた差分動きベクトルや閾値または閾値生成情報を動き補償部７２に出力する。
ステップＳＴ９３において逆量子化部５３は、逆量子化処理を行う。逆量子化部５３は、可逆復号部５２により復号された量子化データを、図３の量子化部１５の特性に対応する特性で逆量子化する。
ステップＳＴ９４において逆直交変換部５４は、逆直交変換処理を行う。逆直交変換部５４は、逆量子化部５３により逆量子化された変換係数データを、図３の直交変換部１４の特性に対応する特性で逆直交変換する。
ステップＳＴ９５において加算部５５は、復号画像データの生成を行う。加算部５５は、逆直交変換処理を行うことにより得られたデータと、後述するステップＳＴ９９で選択された予測画像データを加算して復号画像データを生成する。これにより元の画像が復号される。
ステップＳＴ９６においてデブロッキングフィルタ５６は、フィルタ処理を行う。デブロッキングフィルタ５６は、加算部５５より出力された復号画像データのデブロッキングフィルタ処理を行い、復号画像に含まれているブロック歪みを除去する。
ステップＳＴ９７においてフレームメモリ６１は、復号画像データの記憶処理を行う。なお、フレームメモリ６１に記憶された復号画像データや加算部５５から出力される復号画像データは、参照画像データとして予測画像データの生成で用いられる。
ステップＳＴ９８においてイントラ予測部７１と動き補償部７２は、予測画像生成処理を行う。イントラ予測部７１と動き補償部７２は、可逆復号部５２から供給される予測モード情報に対応してそれぞれ予測画像生成処理を行う。
すなわち、可逆復号部５２からイントラ予測の予測モード情報が供給された場合、イントラ予測部７１は、予測モード情報に基づいて予測画像データを生成する。また、可逆復号部５２からインター予測の予測モード情報が供給された場合、動き補償部７２は、予測モード情報に基づき動き補償を行い、予測画像データを生成する。
ステップＳＴ９９において、セレクタ７３は予測画像データの選択を行う。セレクタ７３は、イントラ予測部７１から供給された予測画像と動き補償部７２から供給された予測画像データの選択を行い、選択した予測画像データを加算部５５に供給して、上述したように、ステップＳＴ９５において逆直交変換部５４の出力と加算させる。
ステップＳＴ１００において画面並べ替えバッファ５７は、画像並べ替えを行う。すなわち画面並べ替えバッファ５７は、図３の画像符号化装置１０の画面並べ替えバッファ１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
ステップＳＴ１０１において、Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７からの画像データをＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
次に、図２１のフローチャートを参照して、図２０のステップＳＴ９８の予測画像生成処理について説明する。
ステップＳＴ１１１で可逆復号部５２は、復号対象ブロックがイントラ符号化されているか否かを判定する。可逆復号部５２は、可逆復号を行うことにより得られた予測モード情報がイントラ予測の予測モード情報である場合、予測モード情報をイントラ予測部７１に供給してステップＳＴ１１２に進む。また、可逆復号部５２は、予測モード情報がインター予測の予測モード情報である場合、予測モード情報を動き補償部７２に供給してステップＳＴ１１３に進む。
ステップＳＴ１１２でイントラ予測部７１は、イントラ予測画像生成処理を行う。イントラ予測部７１は、加算部５５から供給されたデブロックフィルタ処理前の復号画像データと予測モード情報を用いてイントラ予測を行い、予測画像データを生成する。
ステップＳＴ１１３で動き補償部７２は、インター予測画像生成処理を行う。動き補償部７２は、可逆復号部５２から供給された予測モード情報等の情報に基づいて、フレームメモリ６１から参照画像データを読み出して予測画像データの生成を行う。
図２２は、復号における量子化パラメータについての処理を示すフローチャートである。ステップＳＴ１２１で画像復号装置５０は、量子化パラメータユニット最小サイズを求めるための情報の取り出しを行う。画像復号装置５０は、符号化パラメータユニット最小サイズを求めるための情報、例えば「log2_min_qp_unit_size_offset」をストリーム情報から取り出してステップＳＴ１２２に進む。
ステップＳＴ１２２で画像復号装置５０は、量子化パラメータユニット最小サイズを算出する。画像復号装置５０は、「log2_min_qp_unit_size_offset」と、トランスフォームユニット最小サイズ（MinTransformUnitSize）を決めるパラメータ「log2_min_transform_unit_size_minus2」を用いて式（２６）の演算を行い、量子化パラメータユニット最小サイズ（MinQpUnitSize）を算出する。また、画像復号装置５０は、式（２９）の演算によって量子化パラメータユニット最小サイズ（MinQpUnitSize）を算出してもよい。
ステップＳＴ１２３で画像復号装置５０は、復号するフレームが存在するか判別する。画像復号装置５０は、復号するフレームが存在する場合にはステップＳＴ１２４に進み、復号するフレームが存在しない場合には処理を終了する。
ステップＳＴ１２４で画像復号装置５０は、復号するスライスが存在するか判別する。画像復号装置５０は、復号するスライスが存在する場合にはステップＳＴ１２５に進み、復号するスライスが存在しない場合にはステップＳＴ１２３に戻る。
ステップＳＴ１２５で画像復号装置５０は、スライスにおける初期値の量子化パラメータを求めるための情報の取り出しを行う。画像復号装置５０の可逆復号部５２は、例えばピクチャパラメータセット（PPS：picture parameter set）から「pic_init_qp_minus26」を取り出す。またスライスヘッダから「slice_qp_delta」を取り出してステップＳＴ１２６に進む。
ステップＳＴ１２６で画像復号装置５０は、スライスにおける初期値の量子化パラメータを算出する。画像復号装置５０の量子化パラメータ算出部５９は、「pic_init_qp_minus26」と「slice_qp_delta」を用いて式（３０）の演算を行い、量子化パラメータSliceQPYを算出してステップＳＴ１２７に進む。
ステップＳＴ１２７で画像復号装置５０は、復号するコーディングユニットＣＵが存在するか判別する。画像復号装置５０は、復号するコーディングユニットが存在する場合にはステップＳＴ１２８に進み、存在しない場合にはステップＳＴ１２４に戻る。
ステップＳＴ１２８で画像復号装置５０は、選択候補に識別情報を設定する。画像復号装置５０の量子化パラメータ算出部５９は、画像符号化装置１０の情報生成部１９と同様にして、選択候補に識別情報を設定する。すなわち、量子化パラメータ算出部５９は、復号するコーディングユニットに対して空間的または時間的に周囲の復号済みのコーディングの量子化パラメータを候補とする。また、量子化パラメータ算出部５９は、スキップブロックや残差情報がないためブロックに対して量子化パラメータが設定されていない場合、および量子化パラメータが他の候補と等しい場合、候補から除外する。量子化パラメータ算出部５９は、各候補の量子化パラメータに対して画像符号化装置１０と等しい識別情報例えばインデックス（ref_qp_block_index）を設定してステップＳＴ１２９に進む。
ステップＳＴ１２９で画像復号装置５０は、識別情報と差分情報を取得する。画像復号装置５０の可逆復号部５２は、画像符号化装置１０でストリーム情報に含められた識別情報と差分情報、すなわちインデックス（ref_qp_block_index）と差分（qb_qp_delta）を取り出す。可逆復号部５２は、取り出した識別情報と差分情報を量子化パラメータ算出部５９に供給してステップＳＴ１３０に進む。
ステップＳＴ１３０で画像復号装置５０は、識別情報と差分情報を用いて量子化パラメータの算出を行う。画像復号装置５０の量子化パラメータ算出部５９は、識別情報であるインデックス（ref_qp_block_index）に対応する量子化パラメータ「ref_qp（ref_qp_block_index）」と、差分情報である差分（qb_qp_delta）を用いて、式（３１）の演算を行う。すなわち、予測量子化パラメータに対して差分を加算することで、復号対象のコーディングユニットの量子化パラメータを算出する。量子化パラメータ算出部５９は、算出された復号対象のコーディングユニットの量子化パラメータ（CurrentQP）を逆量子化部５３に出力してステップＳＴ１２４に戻る。
このように、ストリーム情報に含まれた識別情報と差分情報を利用することで、ストリーム情報に各ブロックの量子化パラメータが含まれていなくとも復号対象ブロックに関する量子化パラメータを復元することができる。すなわち、画像符号化装置１０で識別情報と差分情報を用いることで量子化パラメータの符号化効率が向上されていても、画像復号装置５０では、各ブロックに関する量子化パラメータを復元して正しく復号処理を行い復号画像を生成できる。
＜６．画像符号化装置と画像復号装置の他の動作＞
上述の画像符号化装置と画像復号装置の動作では、符号化対象ブロックに対して空間的または時間的に隣接する符号化済みのブロックの量子化パラメータを選択候補とする。また、符号化対象ブロックに対して設定された量子化パラメータに応じて選択候補から選択した量子化パラメータを予測量子化パラメータとする。さらに、選択候補から予測量子化パラメータを選択するための識別情報と、予測量子化パラメータと符号化対象ブロックに対して設定された量子化パラメータとの差分を示す差分情報をストリーム情報に含めることで、量子化パラメータの符号化効率の向上がはかられている。
しかし、選択候補は空間的または時間的に隣接する符号化済みのブロックの量子化パラメータに限らず、最後に更新された量子化パラメータを選択候補に含めてもよい。最後に更新された量子化パラメータを選択候補に含めることで、後述するように、空間的または時間的に隣接する符号化済みのブロックが逆量子化を伴わないブロックであっても、符号化対象ブロックに近い位置のブロックの量子化パラメータを予測量子化パラメータとして設定できる。さらに、選択候補の量子化パラメータから暗黙的または明示的に量子化パラメータを予測して、予測した量子化パラメータと符号化対象ブロックの量子化パラメータとの差分を示す差分情報を生成してもよい。
次に、画像符号化装置と画像復号装置の他の動作として、量子化パラメータユニット最小サイズ（MinQpUnitSize）を、コーディングユニットサイズに応じて決定して、選択候補の量子化パラメータから暗黙的または明示的に予測量子化パラメータを選択する場合について説明する。以下、上述の画像符号化装置と画像復号装置に対する相違部分について説明する。
画像符号化装置は、選択候補の量子化パラメータから暗黙的または明示的に予測量子化パラメータを選択する場合、量子化パラメータを暗黙的に決定するか明示的に決定するかを示す判別情報「qp_explicit_flag」をストリーム情報に含める。また、画像符号化装置と画像復号装置で、量子化パラメータを暗黙的に決定するか明示的に決定するか予め決めておくようにしてもよい。
暗黙的に量子化パラメータを決定するとは、選択候補から予測量子化パラメータを選択するための識別情報を画像符号化装置から画像復号装置に供給することなく、画像復号装置で画像符号化装置と等しい予測量子化パラメータを選択できることを意味する。具体的には、選択候補から予め決められた優先順位に基づいて量子化パラメータ選択して予測量子化パラメータを決定する方法、選択候補の量子化パラメータの統計値を予測量子化パラメータとする方法、現在のブロックからの距離に応じて選択候補の量子化パラメータの重み付けを行い、重み付け後の量子化パラメータの統計値を予測量子化パラメータとする方法等が用いられる。
明示的に量子化パラメータを決定するとは、選択候補から予測量子化パラメータを選択するための識別情報を画像符号化装置から画像復号装置に供給することで、画像復号装置が画像符号化装置と等しい予測量子化パラメータを選択できることを意味する。具体的には、画像符号化装置で選択候補を指定するインデックス情報を計算してストリーム情報に含めて、画像復号装置では、予測量子化パラメータとしてインデックス情報で示された選択候補の量子化パラメータを用いる方法、量子化が行われないブロックに対してインデックス情報を含めない方法等が用いられる。
図２３は、画像符号化装置の他の動作を説明するためのフローチャートであり、スライス符号化処理を示している。ステップＳＴ１４１で画像符号化装置１０は、符号化するコーディングユニットＣＵが存在するか判別する。画像符号化装置１０は、符号化処理するスライスにおいて、符号化処理が行われていないコーディングユニットが存在する場合はステップＳＴ１４２に進む。また、画像符号化装置１０は、スライス内の全てのコーディングユニットの符号化処理が完了している場合は、スライス符号化処理を終了する。
ステップＳＴ１４２で画像符号化装置１０は、コーディングユニットＣＵの分割を行う。画像符号化装置１０は、図５に示すようにコーディングユニットの分割を行い、コスト関数値が小さくなるコーディングユニットのサイズを決定してステップＳＴ１４３に進む。また、画像符号化装置１０は、コスト関数値が小さくなるコーディングユニットのサイズを判別可能とするため、図５に示すsplit flagに相当する「split_coding_unit_flag」をストリーム情報に含める。例えば「Coding tree syntax」に含める。
ステップＳＴ１４３で画像符号化装置１０は、符号化するコーディングユニットＣＵは、逆量子化を伴うか判別する。画像符号化装置１０は、符号化するコーディングユニットＣＵが、復号を行うときに量子化パラメータを用いた逆量子化を行う必要のないモード、例えばスキップモードやＩ＿ＰＣＭモード、ダイレクトモード（CBP(Coded Block Pattern)＝０）のブロックである場合にステップＳＴ１４１に戻り、逆量子化を行うブロックである場合にステップＳＴ１４４に進む。
ステップＳＴ１４４で画像符号化装置１０は、コーディングユニットＣＵのサイズが「log2MinQpUnitSize」以上であるか判別する。画像符号化装置１０は、コーディングユニットのサイズが「log2MinQpUnitSize」以上である場合、ステップＳＴ１４５に進む。また、画像符号化装置１０は、コーディングユニットのサイズが「log2MinQpUnitSize」以上でない場合はステップＳＴ１５２に進む。
ステップＳＴ１４５で画像符号化装置１０は、符号化するコーディングユニットＣＵの量子化パラメータＱＰを決定する。画像符号化装置１０のレート制御部１８は、上述のようにコーディングユニットの画像の複雑さに応じて、あるいはコスト関数値が小さくなるように量子化パラメータを決定してステップＳＴ１４６に進む。
ステップＳＴ１４６で画像符号化装置１０は、暗黙的または明示的のいずれで量子化パラメータを予測するかを識別可能とするための判別情報「qp_explicit_flag」が「１」であるか判別する。画像符号化装置１０は、判別情報「qp_explicit_flag」が「１」であり、明示的に量子化パラメータを予測する場合にはステップＳＴ１４７に進む。また、画像符号化装置１０は、判別情報「qp_explicit_flag」が「０」であり、暗黙的に量子化パラメータを予測する場合にはステップＳＴ１４９に進む。画像符号化装置１０は、例えば判別情報「qp_explicit_flag」を「１」とした場合のコスト関数値と、判別情報「qp_explicit_flag」を「０」とした場合のコスト関数値を比較する。画像符号化装置１０は、比較結果に基づき符号化効率が高くなるように判別情報「qp_explicit_flag」の値を設定する。また、ユーザによって判別情報「qp_explicit_flag」が設定可能である場合、画像符号化装置１０は、ユーザの指示に応じて判別情報「qp_explicit_flag」を設定する。
ステップＳＴ１４７で画像符号化装置１０は、識別情報の生成を行う。画像符号化装置１０は、上述のように情報生成部１９で符号化対象のコーディングユニットの量子化パラメータとの差分が最も小さくなる候補を選択候補から選択して予測量子化パラメータとする。画像符号化装置１０は、例えば、符号化対象ブロックに対して空間的または時間的に隣接する符号化済みのブロックの量子化パラメータ、最後に更新された量子化パラメータ、スライスの先頭ブロックで設定された量子化パラメータを選択候補とする。画像符号化装置１０は、選択候補から符号化対象のコーディングユニットの量子化パラメータとの差分が最も小さくなる候補を選択して予測量子化パラメータとする。さらに情報生成部１９は、選択した候補のインデックス（ref_qp_block_index）を、選択候補から予測量子化パラメータを選択するための識別情報としてステップＳＴ１４８に進む。
ステップＳＴ１４８で画像符号化装置１０は、識別情報をストリーム情報に含める。画像符号化装置１０は、ステップＳＴ１４７で生成した識別情報をストリーム情報に含めてステップＳＴ１５０に進む。
ステップＳＴ１４９で画像符号化装置１０は、暗黙的に予測量子化パラメータｄＱＰを決定する。すなわち、画像符号化装置１０は、画像復号装置５０と等しい方法で量子化パラメータを予測する。量子化パラメータを予測する方法としては、例えば予め決められた優先順位に基づいて予測量子化パラメータを決定する。また、候補となる複数の量子化パラメータの統計値を予測量子化パラメータとしてもよい。さらに、現在のブロックからの距離に応じて重み付けが行われた候補の量子化パラメータの統計値を予測量子化パラメータとする方法等を用いることもできる。画像符号化装置１０は、予測量子化パラメータを算出してステップＳＴ１５０に進む。
ステップＳＴ１５０で画像符号化装置１０は、差分情報を生成する。画像符号化装置１０は、ステップＳＴ１４７で生成した識別情報で示された予測量子化パラメータとステップＳＴ１４５で決定された量子化パラメータとの差分、またはステップＳＴ１４９で決定された予測量子化パラメータとステップＳＴ１４５で決定された量子化パラメータとの差分を算出する。画像符号化装置１０は、算出された差分を示す差分情報を生成してステップＳＴ１５１に進む。
ステップＳＴ１５１で画像符号化装置１０は、差分情報と判別情報をストリーム情報に含める。画像符号化装置１０は、ステップＳＴ１５１で生成した差分情報とステップＳＴ１４６で用いた判別情報「qp_explicit_flag」をストリーム情報に含める。画像符号化装置１０は、例えばシーケンスパラメータセットあるいはピクチャパラメータセット、スライスヘッダ等のいずれかに判別情報を含めてステップＳＴ１５２に進む。
ステップＳＴ１５２で画像符号化装置１０は、コーディングユニットＣＵの量子化を行う。画像符号化装置１０は、決定されている量子化パラメータを用いてコーディングユニットの量子化を行いステップＳＴ１４１に戻る。
図２４は、暗黙的に量子化パラメータを予測する場合の動作例、図２５は、暗黙的に量子化パラメータを予測する場合のフローチャート例を示している。なお、説明を簡単とするため、選択候補は３つの場合を示している。
図２４の（Ａ）に示すように、符号化対象フレームにおける符号化対象ブロックの量子化パラメータは例えば「ＱＰ_O」とする。また、３つの候補は、左に隣接する符号化済みブロックの量子化パラメータ「ＱＰ_A」、隣接する符号化済みブロックの量子化パラメータ「ＱＰ_B」、デコード済みのコーディングユニットの量子化パラメータ「ＱＰ_LS」とする。
図２５において、ステップＳＴ１６１で画像符号化装置１０は、量子化パラメータ「ＱＰ_A」「ＱＰ_B」が参照可能であるか判別する。画像符号化装置１０は、左に隣接する符号化済みブロックおよび上に隣接する符号化済みブロックが、逆量子化を行う必要のないモード、例えばスキップモードやＩ＿ＰＣＭモード、ダイレクトモード（CBP(Coded Block Pattern)＝０）のブロックでない場合、参照可能と判別してステップＳＴ１６２に進む。また、画像符号化装置１０は、量子化パラメータ「ＱＰ_A」と量子化パラメータ「ＱＰ_B」の少なくともいずれかが逆量子化を行う必要のないモードである場合、ステップＳＴ１６３に進む。
ステップＳＴ１６２で画像符号化装置１０は、量子化パラメータ「ＱＰ_A」「ＱＰ_B」の平均値を予測量子化パラメータｄＱＰとする。すなわち、図２４の（Ｂ）に示すように、量子化パラメータ「ＱＰ_A」「ＱＰ_B」が参照可能である場合は、量子化パラメータ「ＱＰ_A」「ＱＰ_B」の平均値「（ＱＰ_A＋ＱＰ_B＋１）／２」を予測量子化パラメータｄＱＰとする。
ステップＳＴ１６３で画像符号化装置１０は、量子化パラメータ「ＱＰ_A」が参照可能であるか判別する。画像符号化装置１０は、左に隣接する符号化済みブロックが逆量子化を行う必要のないモードでない場合、参照可能と判別してステップＳＴ１６４に進む。また、画像符号化装置１０は、左に隣接する符号化済みブロックが逆量子化を行う必要のないモードである場合、参照可能でないと判別してステップＳＴ１６５に進む。
ステップＳＴ１６４で画像符号化装置１０は、量子化パラメータ「ＱＰ_A」を予測量子化パラメータｄＱＰとする。すなわち、図２４の（Ｃ）に示すように、量子化パラメータ「ＱＰ_A」が参照可能であり、量子化パラメータ「ＱＰ_B」が参照可能でない場合、量子化パラメータ「ＱＰ_A」を予測量子化パラメータｄＱＰとする。なお、図２４および後述する図２６では、逆量子化を行う必要のないモードのブロック、すなわち参照可能でないブロックを斜線で示す。
ステップＳＴ１６５で画像符号化装置１０は、量子化パラメータ「ＱＰ_B」が参照可能であるか判別する。画像符号化装置１０は、上に隣接する符号化済みブロックが、逆量子化を行う必要のないモードでない場合、参照可能と判別してステップＳＴ１６６に進む。また、画像符号化装置１０は、上に隣接する符号化済みブロックが、逆量子化を行う必要のないモードである場合、参照可能でないと判別してステップＳＴ１６７に進む。
ステップＳＴ１６６で画像符号化装置１０は、量子化パラメータ「ＱＰ_B」を予測量子化パラメータｄＱＰとする。すなわち、図２４の（Ｄ）に示すように、量子化パラメータ「ＱＰ_B」が参照可能であり、量子化パラメータ「ＱＰ_A」が参照可能でない場合、量子化パラメータ「ＱＰ_B」を予測量子化パラメータｄＱＰとする。
ステップＳＴ１６７で画像符号化装置１０は、量子化パラメータ「ＱＰ_LS」を予測量子化パラメータｄＱＰとする。図２４の（Ｅ）に示すように、左の隣接ブロックと上の隣接ブロックが逆量子化を行う必要のないモードである場合、量子化パラメータ「ＱＰ_LS」を予測量子化パラメータｄＱＰとする。
図２６は、暗黙的に量子化パラメータを予測する場合の他の動作例を示している。例えば、図２４の（Ｅ）に示すように、左の隣接ブロックと上の隣接ブロックが逆量子化を行う必要のないモードである場合、選択候補を増やして予測量子化パラメータの生成を行うようにしてもよい。例えば、図２６の（Ａ）に示すように、右上に隣接する符号化済みブロックの量子化パラメータ「ＱＰ_C」、左上に隣接する符号化済みブロックの量子化パラメータ「ＱＰ_D」、左下に隣接する符号化済みのブロックの量子化パラメータ「ＱＰ_E」を選択候補に追加する。
画像符号化装置１０は、図２６の（Ｂ）に示すように、量子化パラメータ「ＱＰ_C」「ＱＰ_D」「ＱＰ_E」が参照可能である場合は、量子化パラメータ「ＱＰ_C」「ＱＰ_D」の平均値「（ＱＰ_C＋ＱＰ_D＋１）／２」、またはメディアンを予測量子化パラメータｄＱＰとする。
画像符号化装置１０は、図２６の（Ｃ）に示すように、量子化パラメータ「ＱＰ_C」「ＱＰ_D」が参照可能である場合は、量子化パラメータ「ＱＰ_C」「ＱＰ_D」の平均値「（ＱＰ_C＋ＱＰ_D＋１）／２」を予測量子化パラメータｄＱＰとする。
画像符号化装置１０は、図２６の（Ｄ）に示すように、量子化パラメータ「ＱＰ_D」「ＱＰ_E」が参照可能である場合は、量子化パラメータ「ＱＰ_D」「ＱＰ_E」の平均値「（ＱＰ_D＋ＱＰ_E＋１）／２」を予測量子化パラメータｄＱＰとする。
画像符号化装置１０は、図２６の（Ｅ）に示すように、量子化パラメータ「ＱＰ_C」「ＱＰ_E」が参照可能である場合は、量子化パラメータ「ＱＰ_C」「ＱＰ_E」の平均値「（ＱＰ_C＋ＱＰ_E＋１）／２」を予測量子化パラメータｄＱＰとする。
画像符号化装置１０は、図２６の（Ｆ）に示すように、量子化パラメータ「ＱＰ_C」「ＱＰ_D」「ＱＰ_E」が参照可能でない場合、量子化パラメータ「ＱＰ_LS」を予測量子化パラメータｄＱＰとする。なお、図２７は、図２４の（Ｂ）〜（Ｄ）と図２６の（Ｂ）〜（Ｆ）の動作を行うプログラムを示している。
また、図２６の（Ｇ）〜（Ｉ）に示すように、参照可能な量子化パラメータが１つである場合は、この参照可能な量子化パラメータを予測量子化パラメータｄＱＰとして用いるようにしてもよい。
このように、画像符号化装置１０は、符号化対象ブロックに対して空間的または時間的に隣接する符号化済みのブロック等の量子化パラメータを選択候補として、設定された量子化パラメータに応じて選択候補から予測量子化パラメータを選択する。また、画像符号化装置１０は、選択候補から予測量子化パラメータを選択するための識別情報を生成する。さらに、画像符号化装置１０は、予測量子化パラメータと符号化対象ブロックに設定された量子化パラメータとの差分を示す差分情報を生成する。画像符号化装置１０は、生成した識別情報と差分識別をストリーム情報に含める。このような処理を行うことで、符号化対象ブロックの量子化パラメータと予測量子化パラメータとの差分が大きな値となってしまうことを防止することが可能となる。このため、画像符号化装置１０は、量子化パラメータの符号化効率を向上させることができる。
また、暗黙的に量子化パラメータを予測する場合、選択候補から予測量子化パラメータを選択するための識別情報をストリーム情報に含めることなく、画像復号装置５０で画像符号化装置１０と等しい予測量子化パラメータを用いることができる。さらに、判別情報をストリーム情報に含めることで、明示的な予測量子化パラメータの予測と暗黙的な量子化パラメータの予測を適用的に切り替えることが可能となる。
図２８は、画像復号装置の他の動作を説明するためのフローチャートである。画像復号装置５０は、図２２のステップＳＴ１２７において、復号するコーディングユニットが存在すると判別された場合、ステップＳＴ１７１からの処理を行い、コーディングユニットの復号を行う。
ステップＳＴ１７１で画像復号装置５０は、情報の取り出しを行う。画像復号装置５０は、ストリーム情報からコーディングユニットの復号に用いる情報を抽出する。例えば、コーディングユニットのサイズを判別可能とするための情報「Coding tree syntax」や量子化パラメータユニット最小サイズを判別可能とするための情報「log2_min_qp_unit_size_offset」、判別情報「qp_explicit_flag」等を取り出してステップＳＴ１７２に進む。
ステップＳＴ１７２で画像復号装置５０は、コーディングユニットＣＵの分割を行う。画像復号装置５０は、ストリーム情報に含まれている「split_coding_unit_flag」等に基づきコーディングユニットＣＵの分割を行いステップＳＴ１７３に進む。
ステップＳＴ１７３で画像復号装置５０は、復号するコーディングユニットＣＵが、逆量子化を伴うか判別する。画像復号装置５０は、復号するコーディングユニットＣＵが、量子化パラメータを用いた逆量子化を行うモードである場合はステップＳＴ１７４に進み、量子化パラメータを用いた逆量子化を行う必要がないモードである場合は復号処理を終了する。
ステップＳＴ１７４で画像復号装置５０は、コーディングユニットＣＵのサイズが「log2MinQpUnitSize」以上であるか判別する。画像復号装置５０は、コーディングユニットのサイズが「log2MinQpUnitSize」以上である場合、ステップＳＴ１７５に進む。また、画像復号装置５０は、コーディングユニットのサイズが「log2MinQpUnitSize」以上でない場合はステップＳＴ１８０に進む。
ステップＳＴ１７５で画像復号装置５０は、判別情報「qp_explicit_flag」が「１」であるか判別する。画像復号装置５０は、ストリーム情報に含まれている判別情報「qp_explicit_flag」が「１」とされており、明示的に量子化パラメータを予測する場合にはステップＳＴ１７６に進む。また、画像復号装置５０は、判別情報「qp_explicit_flag」が「０」であり、暗黙的に量子化パラメータを予測する場合にはステップＳＴ１７８に進む。
ステップＳＴ１７６で画像復号装置５０は、ストリーム情報からインデックス（ref_qp_block_index）を取り出してステップＳＴ１７７に進む。
ステップＳＴ１７７で画像復号装置５０は、予測量子化パラメータｄＱＰを決定する。画像復号装置５０は、画像符号化装置１０と等しい選択候補の量子化パラメータからインデックス（ref_qp_block_index）に基づいて量子化パラメータを選択して、選択した量子化パラメータを予測量子化パラメータｄＱＰに決定してステップＳＴ１７９に進む。
ステップＳＴ１７８で画像復号装置５０は、暗黙的に予測量子化パラメータｄＱＰを決定する。画像復号装置５０は、画像符号化装置１０と等しい方法で量子化パラメータを予測する。量子化パラメータを予測する方法としては、例えば予め決められた優先順位に基づいて量子化パラメータを決定する。また、候補となる複数の量子化パラメータの統計値を予測量子化パラメータとしてもよい。さらに、現在のブロックからの距離に応じて重み付けが行われた候補の量子化パラメータの統計値を予測量子化パラメータとする方法等を用いることもできる。画像復号装置５０は、量子化パラメータを予測してステップＳＴ１７９に進む。
ステップＳＴ１７９で画像復号装置５０は、当該コーディングユニットＣＵの量子化パラメータＱＰを計算する。画像復号装置５０はストリーム情報から差分情報「qb_qp_delta」を取得して、この差分情報と予測量子化パラメータｄＱＰを加算して、復号対象のコーディングユニットの量子化パラメータを算出してステップＳＴ１８０に進む。
ステップＳＴ１８０で画像復号装置５０は、コーディングユニットの逆量子化を行う。画像復号装置５０は、決定されている量子化パラメータを用いてコーディングユニットの逆量子化を行う。
このようにすれば、画像復号装置５０は、画像符号化装置で用いられている量子化パラメータと等しい量子化パラメータを用いて画像の復号を行うことができる。
＜７．ソフトウェア処理の場合＞
上述の一連の処理は、ハードウェア、またはソフトウェア、または両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることも可能である。
図２９は、上述した一連の処理をプログラムにより実行するコンピュータ装置の概略構成を例示した図である。コンピュータ装置８０のＣＰＵ８０１は、ＲＯＭ８０２、または記録部８０８に記録されているプログラムにしたがって各種の処理を実行する。
ＲＡＭ８０３には、ＣＰＵ８０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ８０１、ＲＯＭ８０２、およびＲＡＭ８０３は、バス８０４により相互に接続されている。
ＣＰＵ８０１にはまた、バス８０４を介して入出力インタフェース８０５が接続されている。入出力インタフェース８０５には、タッチパネルやキーボード、マウス、マイクロホンなどの入力部８０６、ディスプレイなどよりなる出力部８０７が接続されている。ＣＰＵ８０１は、入力部８０６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ８０１は、処理の結果を出力部８０７に出力する。
入出力インタフェース８０５に接続されている記録部８０８は、例えばハードディスクからなり、ＣＰＵ８０１が実行するプログラムや各種のデータを記録する。通信部８０９は、インターネットやローカルエリアネットワークなどのネットワークやディジタル放送といった有線または無線の通信媒体を介して外部の装置と通信する。また、コンピュータ装置８０は、通信部８０９を介してプログラムを取得し、ＲＯＭ８０２や記録部８０８に記録してもよい。
ドライブ８１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８５が装着された場合、それらを駆動して、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じてＲＯＭ８０２やＲＡＭ８０３または記録部８０８に転送される。
ＣＰＵ８０１は、上述した一連の処理を行うプログラムを読み出して実行して、記録部８０８やリムーバブルメディア８５に記録されている画像信号や、通信部８０９を介して供給された画像信号の符号化処理やストリーム情報の復号処理を行う。
＜８．電子機器に適用した場合＞
また、以上においては、符号化方式／復号方式としてＨ．２６４／ＡＶＣ方式が用いられたが、本技術は、その他の動き予測・補償処理を行う符号化方式／復号方式を用いる画像符号化装置／画像復号装置に適用することもできる。
さらに、本技術は、例えば、ＭＰＥＧ，Ｈ．２６ｘ等のように符号化処理を行うことで得られたストリーム情報を、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、または、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。
次に、上述した画像符号化装置１０や画像復号装置５０が適用された電子機器について説明する。
図３０は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９０は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９０は、制御部９１０、ユーザインタフェース部９１１等を有している。
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られたストリームをデマルチプレクサ９０３に出力する。
デマルチプレクサ９０３は、ストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に出力する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
デコーダ９０４は、パケットの復号処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行い、スピーカ９０８に供給することで音声出力を行う。
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
制御部９１０は、ＣＰＵ（Central Processing Unit）やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９０がユーザ操作に応じた動作となるように各部を制御する。
なお、テレビジョン装置９０では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
このように構成されたテレビジョン装置では、デコーダ９０４に本願の画像復号装置（画像復号方法）の機能が設けられる。このため、放送局側の画像符号化処理において、量子化パラメータを伝送するために必要とされる符号量を削減する処理が行われても、テレビジョン装置で正しく量子化パラメータを復元して復号画像を生成することができる。
図３１は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
携帯電話機９２は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行い、スピーカ９２４に出力する。
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
なお、携帯電話機９２は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、ストリーム情報を生成する。
多重分離部９２８は、画像処理部９２７で生成されたストリーム情報と、音声コーデック９２３から供給された音声データを所定の方式で多重化して、通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、ストリーム情報を画像処理部９２７、音声データを音声コーデック９２３に供給する。
画像処理部９２７は、ストリーム情報の復号処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
このように構成された携帯電話装置では、画像処理部９２７に本願の機能が設けられる。したがって、例えば画像を符号化処理して送信する場合に、データを削減できる。また、受信した画像の復号処理において、量子化パラメータを復元して復号画像を生成することができる。
図３２は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
記録再生装置９４は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られたストリーム情報をセレクタ９４６に出力する。
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていない場合所定の方式で符号化処理を行い、ストリーム情報をセレクタ９４６に出力する。
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙディスク等である。
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかのストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力されたストリームをデコーダ９４７に供給する。
デコーダ９４７は、ストリームの復号処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４がユーザ操作に応じた動作となるように各部を制御する。
このように構成された記録再生装置では、エンコーダ９４３に本願の機能が設けられる。したがって、例えば画像を符号化処理して記録する場合に、記録するデータ量を削減できる。また、記録された画像の復号処理において、量子化パラメータを復元して復号画像を生成することができる。
図３３は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
撮像装置９６は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成されたストリーム情報を外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給されたストリーム情報の復号処理を行う。画像データ処理部９６４は、復号処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７からストリーム情報を読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給されるストリーム情報や画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６がユーザ操作に応じた動作となるように各部を制御する。
このように構成された撮像装置では、画像データ処理部９６４に本願の機能が設けられる。したがって、撮像画像を符号化処理してメモリ部９６７や記録メディア等に記録する場合に、記録するデータ量を削減できる。また、記録された画像の復号処理において、量子化パラメータを復元して復号画像を生成できる。
さらに、本技術は、上述した実施の形態に限定して解釈されるべきではない。この実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
また、本技術の画像符号化装置と画像復号装置は、以下のような構成も取ることができる。
（１） 符号化対象ブロックに対して量子化パラメータを設定する制御部と、
前記符号化対象ブロックに対して空間的または時間的に隣接する符号化済みブロックの量子化パラメータを選択候補として、該選択候補から前記設定された量子化パラメータに応じて予測量子化パラメータを選択し、該予測量子化パラメータと前記設定された量子化パラメータとの差分を示す差分情報を生成する情報生成部と、
前記設定された量子化パラメータを用いて前記符号化対象ブロックの符号化処理を行い生成されたストリーム情報に、前記差分情報を含める符号化部と
を有する画像符号化装置。
（２） 前記情報生成部は、前記設定された量子化パラメータとの差分が最も小さい量子化パラメータを前記予測量子化パラメータとして選択する（１）に記載の画像符号化装置。
（３） 前記情報生成部は、前記隣接する符号化済みのブロックを所定の並び順として、前記選択した量子化パラメータに対応するブロックの順番を示す識別情報を生成し、
前記符号化部は、前記ストリーム情報に前記識別情報を含める（２）に記載の画像符号化装置。
（４） 前記情報生成部は、左側に隣接する符号化済みのブロックと、上側に隣接する符号化済みのブロックと、時間的に隣接する符号化済みのブロックのいずれかを優先させた並び順とする（３）に記載の画像符号化装置。
（５） 前記情報生成部は、前記隣接する符号化済みのブロックの並び順を切り替え可能とする（３）または（４）に記載の画像符号化装置。
（６） 前記情報生成部は、予め設定された順序で選択候補の判定を行い、判定結果に基づいて前記予測量子化パラメータを選択する（１）に記載の画像符号化装置。
（７） 前記情報生成部は、前記設定された量子化パラメータとの差分が最も小さい量子化パラメータを前記予測量子化パラメータとして選択する処理と、予め設定された順序で選択候補の判定を行い判定結果に基づいて前記予測量子化パラメータを選択する処理を選択可能として、選択した処理を示す判別情報を生成し、
前記符号化部は、前記判別情報を前記ストリーム情報に含める（１）に記載の画像符号化装置。
（８） 前記情報生成部は、前記隣接する符号化済みのブロックから、少なくとも量子化パラメータが重複するブロックまたは量子化パラメータを用いた量子化が行われないブロックを除外して選択候補とする（１）乃至（７）のいずれかに記載の画像符号化装置。
（９） 前記情報生成部は、前記選択候補がない場合、スライスにおける初期値の量子化パラメータと前記設定された量子化パラメータとの差分を示す差分情報を生成する（１）乃至（８）のいずれかに記載の画像符号化装置。
（１０） 前記情報生成部は、前記選択候補に最後に更新された量子化パラメータを含める（１）乃至（９）のいずれかに記載の画像符号化装置。
（１１） 復号対象ブロックに対して空間的または時間的に隣接する復号済みブロックの量子化パラメータを選択候補として、該選択候補から選択された予測量子化パラメータに対する差分を示す差分情報をストリーム情報から取り出す情報取得部と、
前記予測量子化パラメータと前記差分情報から、前記復号対象ブロックの量子化パラメータを算出する量子化パラメータ算出部と
を有する画像復号装置。
（１２） 前記量子化パラメータ算出部は、前記隣接する復号済みのブロックを所定の並び順として、前記ストリーム情報に含まれている識別情報で示された順番の量子化パラメータを前記予測量子化パラメータに設定する（１１）に記載の画像復号装置。
（１３） 前記量子化パラメータ算出部は、予め設定された順序で選択候補の判定を行い、判定結果に基づいて前記予測量子化パラメータを設定する（１１）に記載の画像復号装置。
（１４） 前記量子化パラメータ算出部は、前記ストリーム情報に含まれている識別情報で示された順番の量子化パラメータを前記予測量子化パラメータに設定する処理と、予め設定された順序で選択候補の判定を行い判定結果に基づいて前記予測量子化パラメータを設定する処理のいずれかを、前記ストリーム情報に含まれている判別情報に基づいて選択する（１１）に記載の画像復号装置。
（１５） 前記量子化パラメータ算出部は、前記隣接する復号済みのブロックから、少なくとも量子化パラメータが重複するブロックまたは量子化パラメータを用いた逆量子化が行われないブロックを除外して前記選択候補とする（１１）乃至（１４）のいずれかに記載の画像符号化装置。
（１６） 前記量子化パラメータ算出部は、前記選択候補がない場合、スライスにおける初期値の量子化パラメータを前記予測量子化パラメータとする（１１）乃至（１５）のいずれかに記載の画像復号装置。
（１７） 前記量子化パラメータ算出部は、前記選択候補に最後に更新された量子化パラメータを含める（１１）乃至（１６）のいずれかに記載の画像復号装置。
（１８） 前記量子化パラメータ算出部は、前記予測量子化パラメータに対して前記差分情報が示す差分を加算して前記復号対象ブロックの量子化パラメータを算出する（１１）乃至（１７）のいずれかに記載の画像復号装置。
この技術の画像符号化装置と画像復号装置およびその方法とプログラムでは、符号化対象ブロックに対して空間的または時間的に隣接する符号化済みのブロックの量子化パラメータが選択候補とされて、選択候補から符号化対象ブロックに対して設定された量子化パラメータに応じて予測量子化パラメータが選択される。この予測量子化パラメータと符号化対象ブロックに対して設定された量子化パラメータとの差分を示す差分情報が生成される。したがって、量子化パラメータの差分が大きな値となってしまうことを防止することが可能となり、量子化パラメータの符号化効率を向上させることができる。また、差分情報が含まれるストリーム情報を復号する場合、復号対象ブロックに対して空間的または時間的に隣接する復号済みのブロックの量子化パラメータから予測量子化パラメータが選択されて、予測量子化パラメータと差分情報から復号対象ブロックの量子化パラメータが算出される。したがって、量子化パラメータの符号化効率を向上させてストリーム情報が生成されても、このストリーム情報を復号する場合には予測量子化パラメータと差分情報に基づき量子化パラメータが復元されて正しく復号処理を行うことができる。このため、ブロック単位で符号化を行うことにより得られたストリーム情報を、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して送受信する機器、または光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する機器等に適している。
１０・・・画像符号化装置、１１・・・Ａ／Ｄ変換部、１２，５７・・・画面並べ替えバッファ、１３・・・減算部、１４・・・直交変換部、１５・・・量子化部、１６・・・可逆量子化部、１７，５１・・・蓄積バッファ、１８・・・レート制御部、１９・・・情報生成部、２１，５３・・・逆量子化部、２２，５４・・・逆直交変換部、２３，５５・・・加算部、２４，５６・・・デブロッキングフィルタ、２６，６１・・・フレームメモリ、３１，７１・・・イントラ予測部、３２・・・動き予測・補償部、３３・・・予測画像・最適モード選択部、５０・・・画像復号装置、５２・・・可逆復号部、５８・・・Ｄ／Ａ変換部、５９・・・量子化パラメータ算出部、６２，７３・・・セレクタ、７２・・・動き補償部、８０・・・コンピュータ装置、９０・・・テレビジョン装置、９２・・・携帯電話機、９４・・・記録再生装置、９６・・・撮像装置、１９１・・・量子化パラメータメモリ部、１９２・・・差分演算部、５９１・・・演算部、５９２・・・量子化パラメータメモリ部

Claims (22)

  1. 予測量子化パラメータに対する差分を示す差分情報をストリーム情報から取り出す情報取得部と、
    復号対象ブロックの左側に隣接するブロックと上側に隣接するブロックとが参照可能な場合、前記左側に隣接するブロックの量子化パラメータと、前記上側に隣接するブロックの量子化パラメータとの平均値を用いて、前記復号対象ブロックの予測量子化パラメータを算出し、前記左側に隣接するブロックが参照不可能で、前記上側に隣接するブロックが参照可能な場合、前記上側に隣接するブロックの量子化パラメータを用いて、前記復号対象ブロックの予測量子化パラメータを算出し、前記左側に隣接するブロックが参照可能で、前記上側に隣接するブロックが参照不可能な場合、前記左側に隣接するブロックの量子化パラメータを用いて、前記復号対象ブロックの予測量子化パラメータを算出し、前記左側に隣接するブロックと、前記上側に隣接するブロックとが参照不可能な場合、前記ストリーム情報のピクチャーパラメータセットに含まれている情報と、前記ストリーム情報のスライスヘッダに含まれている情報とに基づいて算出されたスライスにおける量子化パラメータ初期値を、前記復号対象ブロックの予測量子化パラメータとして設定し、前記差分情報と、前記復号対象ブロックの予測量子化パラメータとを用いて、前記復号対象ブロックの量子化パラメータを算出する量子化パラメータ算出部と、
    を有する画像復号装置。
  2. 前記ブロックはコーディングユニットであり、前記コーディングユニットは階層構造とされている請求項１記載の画像復号装置。
  3. 前記算出された量子化パラメータを用いて前記復号対象ブロックの逆量子化を行う逆量子化部をさらに有する請求項１または請求項２記載の画像復号装置。
  4. 前記算出された量子化パラメータを用いて前記復号対象ブロックの復号処理を行うことにより得られた映像データに対して映像処理を行う映像信号処理部をさらに有する請求項１乃至請求項３の何れかに記載の画像復号装置。
  5. 前記映像信号処理部は、前記映像処理としてノイズ除去を行う請求項４記載の画像復号装置。
  6. 前記映像信号処理部で処理された映像データに基づき映像表示を行う表示部をさらに有する請求項４または請求項５に記載の画像復号装置。
  7. ストリームから所望のパケットを抽出するデマルチプレクサをさらに有し、
    前記情報取得部と前記量子化パラメータ算出部は、前記デマルチプレクサで抽出されたパケットのデータを用いて処理を行う請求項４乃至請求項６の何れかに記載の画像復号装置。
  8. 受信された信号から所望のチャンネルを選局して得られたストリームを前記デマルチプレクサに出力するチューナをさらに有する請求項７記載の画像復号装置。
  9. 前記算出された量子化パラメータを用いて前記復号対象ブロックの復号処理を行うことにより得られた音声データに対して音声処理を行う音声信号処理部をさらに有する請求項１乃至請求項３の何れかに記載の画像復号装置。
  10. 前記音声信号処理部は、前記音声処理としてノイズ除去を行う請求項９記載の画像復号装置。
  11. 情報取得部で、予測量子化パラメータに対する差分を示す差分情報をストリーム情報から取り出す工程と、
    量子化パラメータ算出部で、復号対象ブロックの左側に隣接するブロックと上側に隣接するブロックとが参照可能な場合、前記左側に隣接するブロックの量子化パラメータと、前記上側に隣接するブロックの量子化パラメータとの平均値を用いて、前記復号対象ブロックの予測量子化パラメータを算出し、前記左側に隣接するブロックが参照不可能で、前記上側に隣接するブロックが参照可能な場合、前記上側に隣接するブロックの量子化パラメータを用いて、前記復号対象ブロックの予測量子化パラメータを算出し、前記左側に隣接するブロックが参照可能で、前記上側に隣接するブロックが参照不可能な場合、前記左側に隣接するブロックの量子化パラメータを用いて、前記復号対象ブロックの予測量子化パラメータを算出し、前記左側に隣接するブロックと、前記上側に隣接するブロックとが参照不可能な場合、前記ストリーム情報のピクチャーパラメータセットに含まれている情報と、前記ストリーム情報のスライスヘッダに含まれている情報とに基づいて算出されたスライスにおける量子化パラメータ初期値を、前記復号対象ブロックの予測量子化パラメータとして設定し、前記差分情報と、前記復号対象ブロックの予測量子化パラメータとを用いて、前記復号対象ブロックの量子化パラメータを算出する工程と
    を含む画像復号方法。
  12. 前記ブロックはコーディングユニットであり、前記コーディングユニットは階層構造とされている請求項１１記載の画像復号方法。
  13. 逆量子化部で前記算出された量子化パラメータを用いて前記復号対象ブロックの逆量子化を行う工程を、さらに含む請求項１１または請求項１２記載の画像復号方法。
  14. 映像信号処理部で前記算出された量子化パラメータを用いて前記復号対象ブロックの復号処理を行うことにより得られた映像データに対して映像処理を行う工程を、さらに含む請求項１１乃至請求項１３の何れかに記載の画像復号方法。
  15. 前記映像信号処理部で前記映像処理としてノイズ除去を行う工程を、さらに含む請求項１４記載の画像復号方法。
  16. 表示部で前記映像信号処理部で処理された映像データに基づき映像表示を行う工程を、さらに含む請求項１４または請求項１５に記載の画像復号方法。
  17. デマルチプレクサでストリームから所望のパケットを抽出する工程をさらに含み、
    前記情報取得部と前記量子化パラメータ算出部は、前記デマルチプレクサで抽出されたパケットのデータを用いて処理を行う請求項１４乃至請求項１６の何れかに記載の画像復号方法。
  18. チューナで受信された信号から所望のチャンネルを選局して得られたストリームを前記デマルチプレクサに出力する工程を、さらに含む請求項１７記載の画像復号方法。
  19. 音声信号処理部で前記算出された量子化パラメータを用いて前記復号対象ブロックの復号処理を行うことにより得られた音声データに対して音声処理を行う工程を、さらに含む請求項１１乃至請求項１３の何れかに記載の画像復号方法。
  20. 前記音声信号処理部で前記音声処理としてノイズ除去を行う工程を、さらに含む請求項１９記載の画像復号方法。
  21. 予測量子化パラメータに対する差分を示す差分情報をストリーム情報から取り出す手順と、
    復号対象ブロックの左側に隣接するブロックと上側に隣接するブロックとが参照可能な場合、前記左側に隣接するブロックの量子化パラメータと、前記上側に隣接するブロックの量子化パラメータとの平均値を用いて、前記復号対象ブロックの予測量子化パラメータを算出し、前記左側に隣接するブロックが参照不可能で、前記上側に隣接するブロックが参照可能な場合、前記上側に隣接するブロックの量子化パラメータを用いて、前記復号対象ブロックの予測量子化パラメータを算出し、前記左側に隣接するブロックが参照可能で、前記上側に隣接するブロックが参照不可能な場合、前記左側に隣接するブロックの量子化パラメータを用いて、前記復号対象ブロックの予測量子化パラメータを算出し、前記左側に隣接するブロックと、前記上側に隣接するブロックとが参照不可能な場合、前記ストリーム情報のピクチャーパラメータセットに含まれている情報と、前記ストリーム情報のスライスヘッダに含まれている情報とに基づいて算出されたスライスにおける量子化パラメータ初期値を、前記復号対象ブロックの予測量子化パラメータとして設定し、前記差分情報と、前記復号対象ブロックの予測量子化パラメータとを用いて、前記復号対象ブロックの量子化パラメータを算出する手順と
    をコンピュータで実行させるプログラム。
  22. 予測量子化パラメータに対する差分を示す差分情報をストリーム情報から取り出す手順と、
    復号対象ブロックの左側に隣接するブロックと上側に隣接するブロックとが参照可能な場合、前記左側に隣接するブロックの量子化パラメータと、前記上側に隣接するブロックの量子化パラメータとの平均値を用いて、前記復号対象ブロックの予測量子化パラメータを算出し、前記左側に隣接するブロックが参照不可能で、前記上側に隣接するブロックが参照可能な場合、前記上側に隣接するブロックの量子化パラメータを用いて、前記復号対象ブロックの予測量子化パラメータを算出し、前記左側に隣接するブロックが参照可能で、前記上側に隣接するブロックが参照不可能な場合、前記左側に隣接するブロックの量子化パラメータを用いて、前記復号対象ブロックの予測量子化パラメータを算出し、前記左側に隣接するブロックと、前記上側に隣接するブロックとが参照不可能な場合、前記ストリーム情報のピクチャーパラメータセットに含まれている情報と、前記ストリーム情報のスライスヘッダに含まれている情報とに基づいて算出されたスライスにおける量子化パラメータ初期値を、前記復号対象ブロックの予測量子化パラメータとして設定し、前記差分情報と、前記復号対象ブロックの予測量子化パラメータとを用いて、前記復号対象ブロックの量子化パラメータを算出する手順と
    を前記コンピュータで実行させるプログラムを記録した記録媒体。
JP2011153183A 2011-01-24 2011-07-11 画像符号化装置と画像復号装置およびその方法とプログラム Active JP6056122B2 (ja)

Priority Applications (38)

Application Number Priority Date Filing Date Title
JP2011153183A JP6056122B2 (ja) 2011-01-24 2011-07-11 画像符号化装置と画像復号装置およびその方法とプログラム
TW101100845A TWI495350B (zh) 2011-01-24 2012-01-09 Image decoding method and information processing device
AU2012210001A AU2012210001B2 (en) 2011-01-24 2012-01-12 Image decoding device, image encoding device, and method thereof
SG2013054408A SG191994A1 (en) 2011-01-24 2012-01-12 Image decoding device, image encoding device, and method thereof
KR1020137018559A KR101858289B1 (ko) 2011-01-24 2012-01-12 화상 복호 장치 및 화상 복호 방법
SG10201406196PA SG10201406196PA (en) 2011-01-24 2012-01-12 Image Decoding Device, Image Encoding Device, And Method Thereof
PCT/JP2012/050456 WO2012102088A1 (ja) 2011-01-24 2012-01-12 画像復号装置と画像符号化装置およびその方法
RU2017102010A RU2719453C1 (ru) 2011-01-24 2012-01-12 Способ кодирования изображения и устройство обработки информации
CN201280005652.3A CN103329536B (zh) 2011-01-24 2012-01-12 图像解码装置、图像编码装置及其方法
EP12738835.3A EP2645717A4 (en) 2011-01-24 2012-01-12 IMAGE DECODING DEVICE, IMAGE ENCODING DEVICE AND CORRESPONDING METHODS
EP19152767.0A EP3512198A1 (en) 2011-01-24 2012-01-12 Image decoding device, image encoding device, and method thereof
MX2013008289A MX2013008289A (es) 2011-01-24 2012-01-12 Dispositivo de decodificacion de imagenes, dispositivo de codificacion de imagenes, y metodo de los mismos.
CN201710014238.3A CN106878738B (zh) 2011-01-24 2012-01-12 图像编码方法和信息处理设备
MYPI2015002623A MY177870A (en) 2011-01-24 2012-01-12 Image decoding device, image encoding device, and method thereof
CA2823024A CA2823024C (en) 2011-01-24 2012-01-12 Image decoding device, image encoding device, and method thereof
CN201710014960.7A CN107087191B (zh) 2011-01-24 2012-01-12 图像解码方法和图像处理设备
RU2013132921A RU2615675C2 (ru) 2011-01-24 2012-01-12 Устройство декодирования изображения, устройство кодирования изображения и способ работы устройств
KR1020187013098A KR101965119B1 (ko) 2011-01-24 2012-01-12 화상 부호화 장치 및 화상 부호화 방법
US13/994,247 US9560348B2 (en) 2011-01-24 2012-01-12 Image decoding device, image encoding device, and method thereof using a prediction quantization parameter
CN201910959554.7A CN110602497B (zh) 2011-01-24 2012-01-12 图像解码装置、图像解码方法及非暂态计算机可读介质
BR112013018305-5A BR112013018305B1 (pt) 2011-01-24 2012-01-12 Método de decodificação de imagem, aparelho de processamento de informação, e, meio não-transitório legível por máquina
CN201710014850.0A CN107087190B (zh) 2011-01-24 2012-01-12 图像编码装置、图像编码方法及图像解码装置
CN201910962897.9A CN110839154A (zh) 2011-01-24 2012-01-12 图像解码方法、图像处理设备及非暂态计算机可读介质
MYPI2013002389A MY158425A (en) 2011-01-24 2012-01-12 Image decoding device, image encoding device, and method thereof
ZA2013/04818A ZA201304818B (en) 2011-01-24 2013-06-27 Image decoding device,image encoding device,and method thereof
US13/943,028 US8787453B2 (en) 2011-01-24 2013-07-16 Image decoding device, image encoding device, and method thereof
MX2014014704A MX336094B (es) 2011-01-24 2013-07-17 Dispositivo de decodificacion de imagenes, dispositivo de codificacion de imagenes, y metodo de los mismos.
CO13174125A CO6731124A2 (es) 2011-01-24 2013-07-23 Dispositivo de decodificación de imagen, dispositivo de codificación y método del mismo
US15/248,864 US10419761B2 (en) 2011-01-24 2016-08-26 Image decoding device, image encoding device, and method thereof
AU2016234951A AU2016234951B2 (en) 2011-01-24 2016-09-29 Image decoding device, image encoding device, and method thereof
AU2018201382A AU2018201382B2 (en) 2011-01-24 2018-02-26 Image decoding device, image encoding device, and method thereof
AU2019200515A AU2019200515B2 (en) 2011-01-24 2019-01-25 Image decoding device, image encoding device, and method thereof
US16/460,548 US20190327471A1 (en) 2011-01-24 2019-07-02 Image decoding device, image encoding device, and method thereof
RU2020108522A RU2020108522A (ru) 2011-01-24 2020-02-27 Способ кодирования изображения и устройство обработки информации
RU2020108486A RU2020108486A (ru) 2011-01-24 2020-02-27 Способ кодирования изображения и устройство обработки информации
AU2020203010A AU2020203010B2 (en) 2011-01-24 2020-05-06 Image decoding device, image encoding device, and method thereof
US16/918,459 US20200336743A1 (en) 2011-01-24 2020-07-01 Image decoding device, image encoding device, and method thereof
AU2021201931A AU2021201931A1 (en) 2011-01-24 2021-03-28 Image decoding device, image encoding device, and method thereof

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011011861 2011-01-24
JP2011011861 2011-01-24
JP2011153183A JP6056122B2 (ja) 2011-01-24 2011-07-11 画像符号化装置と画像復号装置およびその方法とプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016236532A Division JP2017079485A (ja) 2011-01-24 2016-12-06 画像符号化装置と画像符号化方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2012170042A JP2012170042A (ja) 2012-09-06
JP2012170042A5 JP2012170042A5 (ja) 2014-08-21
JP6056122B2 true JP6056122B2 (ja) 2017-01-11

Family

ID=46580661

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011153183A Active JP6056122B2 (ja) 2011-01-24 2011-07-11 画像符号化装置と画像復号装置およびその方法とプログラム

Country Status (16)

Country Link
US (5) US9560348B2 (ja)
EP (2) EP2645717A4 (ja)
JP (1) JP6056122B2 (ja)
KR (2) KR101965119B1 (ja)
CN (6) CN107087191B (ja)
AU (6) AU2012210001B2 (ja)
BR (1) BR112013018305B1 (ja)
CA (1) CA2823024C (ja)
CO (1) CO6731124A2 (ja)
MX (2) MX2013008289A (ja)
MY (2) MY177870A (ja)
RU (4) RU2615675C2 (ja)
SG (2) SG10201406196PA (ja)
TW (1) TWI495350B (ja)
WO (1) WO2012102088A1 (ja)
ZA (1) ZA201304818B (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101474756B1 (ko) * 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
JP6056122B2 (ja) * 2011-01-24 2017-01-11 ソニー株式会社 画像符号化装置と画像復号装置およびその方法とプログラム
WO2012120822A1 (en) 2011-03-09 2012-09-13 Canon Kabushiki Kaisha Image coding apparatus, method for coding image, program therefor, image decoding apparatus, method for decoding image, and program therefor
JP2013034037A (ja) * 2011-03-09 2013-02-14 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9112526B2 (en) * 2011-06-15 2015-08-18 Sony Corporation Binarization of DQP using separate absolute value and sign (SAVS) in CABAC
JP6154588B2 (ja) * 2012-08-23 2017-06-28 日本放送協会 画像符号化装置、画像復号装置及びプログラム
JP5937926B2 (ja) * 2012-08-30 2016-06-22 日本放送協会 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
US20150237378A1 (en) * 2014-02-20 2015-08-20 Mediatek Inc. Method for controlling sample adaptive offset filtering applied to different partial regions in one frame based on different weighting parameters and related sample adaptive offset filter
MX2016012455A (es) 2014-03-25 2017-07-28 6115187 Canada Inc D/B/A Immervision Inc Definicion automatizada del comportamiento del sistema o experiencia del usuario mediante grabacion, intercambio y procesamiento de la informacion asociada con imagen gran angular.
JP6532222B2 (ja) 2014-11-28 2019-06-19 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US10264257B2 (en) * 2015-06-30 2019-04-16 Texas Instruments Incorporated Video encoding
WO2017204427A1 (ko) * 2016-05-23 2017-11-30 가온미디어 주식회사 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법
US10904531B2 (en) * 2017-03-23 2021-01-26 Qualcomm Incorporated Adaptive parameters for coding of 360-degree video
CN106851274B (zh) * 2017-03-31 2019-08-06 北京奇艺世纪科技有限公司 差分量化参数的确定方法、确定系统及视频编码器
US10506196B2 (en) * 2017-04-01 2019-12-10 Intel Corporation 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics
WO2019050300A1 (ko) * 2017-09-06 2019-03-14 가온미디어 주식회사 효과적인 차분양자화 파라미터 전송 기반 영상 부/복호화 방법 및 장치
CN109660825B (zh) 2017-10-10 2021-02-09 腾讯科技（深圳）有限公司 视频转码方法、装置、计算机设备及存储介质
WO2019082770A1 (en) * 2017-10-24 2019-05-02 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR DETERMINING PREDICTIVE QUANTIFICATION PARAMETER VALUES
CN109688409B (zh) * 2018-12-28 2021-03-02 北京奇艺世纪科技有限公司 一种视频编码方法及装置
CN113940076A (zh) * 2019-06-06 2022-01-14 北京字节跳动网络技术有限公司 应用隐式变换选择
US11818479B2 (en) 2020-05-14 2023-11-14 Board Of Trustees Of Michigan State University Sigma Delta quantization for images
US11259055B2 (en) * 2020-07-10 2022-02-22 Tencent America LLC Extended maximum coding unit size
US20220108488A1 (en) * 2020-10-07 2022-04-07 Qualcomm Incorporated Angular mode and in-tree quantization in geometry point cloud compression

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3845913B2 (ja) * 1996-10-11 2006-11-15 ソニー株式会社 量子化制御方法および量子化制御装置
EP0923243B1 (en) * 1997-07-25 2010-09-15 Sony Corporation Editing device, editing method, splicing device, splicing method, encoding device, and encoding method
JP2003101416A (ja) * 2001-09-19 2003-04-04 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
MXPA03006715A (es) 2001-11-29 2003-10-24 Matsushita Electric Ind Co Ltd Metodo para la remocion de la distorsion de la codificacion, metodo codificador de video, metodo descodificador de video y aparato y programa para los mismos.
AU2003226585A1 (en) * 2002-04-23 2003-11-10 Nokia Corporation Method and device for indicating quantizer parameters in a video coding system
KR100936034B1 (ko) * 2003-08-11 2010-01-11 삼성전자주식회사 블록 단위로 부호화된 디지털 영상의 블로킹 현상을제거하는 방법 및 그 영상재생장치
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
JP2005124001A (ja) 2003-10-17 2005-05-12 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
US7280595B1 (en) * 2003-10-21 2007-10-09 Redrock Semiconductor, Ltd. Post-inverse-quantization AC prediction with a unified variable-length-decoding and inverse-quantization stage
US20050111545A1 (en) * 2003-11-25 2005-05-26 Ram Prabhakar Dynamic packet size control for MPEG-4 data partition mode
JP4529615B2 (ja) 2004-09-24 2010-08-25 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
KR100703749B1 (ko) * 2005-01-27 2007-04-05 삼성전자주식회사 잔차 재 추정을 이용한 다 계층 비디오 코딩 및 디코딩방법, 이를 위한 장치
US8548055B2 (en) * 2005-03-10 2013-10-01 Qualcomm Incorporated Encoding of multimedia data
JP4784188B2 (ja) * 2005-07-25 2011-10-05 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
BRPI0619193A2 (pt) * 2005-11-30 2011-09-20 Toshiba Kk Toshiba Corp método de codificação de imagem / decodificação de imagem, aparelho de codificação de imagem / decodificação de imagem
CN101039432A (zh) * 2006-03-16 2007-09-19 华为技术有限公司 在编码过程中实现自适应量化的方法及装置
CN101127900A (zh) * 2006-08-17 2008-02-20 上海乐金广电电子有限公司 利用基本层的图像信号的编码/解码方法及装置
KR100823287B1 (ko) 2007-01-03 2008-04-21 삼성전자주식회사 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
US8718139B2 (en) * 2007-01-12 2014-05-06 Mitsubishi Electric Corporation Image decoding device and image decoding method
JP4823960B2 (ja) * 2007-04-12 2011-11-24 ソニー株式会社 再生制御方法および受信装置
CN101569198A (zh) * 2007-05-07 2009-10-28 松下电器产业株式会社 解码装置以及解码方法
WO2009001793A1 (ja) 2007-06-26 2008-12-31 Kabushiki Kaisha Toshiba 画像符号化と画像復号化の方法及び装置
TWI410139B (zh) * 2007-09-12 2013-09-21 Sony Corp Image processing apparatus and image processing method
JP2009094828A (ja) 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
JPWO2009051010A1 (ja) * 2007-10-15 2011-03-03 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
KR20090041944A (ko) * 2007-10-25 2009-04-29 (주)씨앤에스 테크놀로지 인근 블록의 모드정보를 이용한 움직임 추정 방법 및 장치
CN101159871B (zh) 2007-11-12 2010-08-04 中兴通讯股份有限公司 宏块组级视频码率控制方法
CN101202915A (zh) * 2007-12-06 2008-06-18 北京大学深圳研究生院 一种帧内预测模式的选择方法及装置
CN101911706A (zh) * 2008-01-09 2010-12-08 三菱电机株式会社 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
US8335385B2 (en) * 2008-01-21 2012-12-18 Telefonaktiebolaget Lm Ericsson (Publ) Pixel block processing
US8542730B2 (en) * 2008-02-22 2013-09-24 Qualcomm, Incorporated Fast macroblock delta QP decision
US20090238479A1 (en) * 2008-03-20 2009-09-24 Pawan Jaggi Flexible frame based energy efficient multimedia processor architecture and method
JP4650512B2 (ja) 2008-03-28 2011-03-16 セイコーエプソン株式会社 画像符号化装置及び集積回路装置
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
JP5472105B2 (ja) * 2008-06-27 2014-04-16 ソニー株式会社 画像処理装置及び画像処理方法
EP2141927A1 (en) * 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding
US8831103B2 (en) * 2008-10-02 2014-09-09 Sony Corporation Image processing apparatus and method
JP5001964B2 (ja) 2009-02-18 2012-08-15 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、方法およびプログラム、並びに、画像復号装置、方法およびプログラム
KR101624649B1 (ko) 2009-08-14 2016-05-26 삼성전자주식회사 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
JP2011259204A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号装置およびその方法とプログラム
KR101979816B1 (ko) * 2010-06-10 2019-05-17 톰슨 라이센싱 복수의 이웃 양자화 파라미터들로부터 양자화 파라미터 예측 변수들을 결정하기 위한 방법들 및 장치
CN101888550A (zh) * 2010-06-28 2010-11-17 中兴通讯股份有限公司 一种slice头信息中量化参数编码方法和装置
JP6056122B2 (ja) * 2011-01-24 2017-01-11 ソニー株式会社 画像符号化装置と画像復号装置およびその方法とプログラム
CN102685478B (zh) 2011-03-11 2015-04-29 华为技术有限公司 编码方法以及装置、解码方法以及装置
MY186854A (en) * 2011-03-11 2021-08-26 Sony Corp Image processing apparatus and method
US20130033001A1 (en) * 2011-08-07 2013-02-07 Luck Kent W Game of Craps
JP2013102297A (ja) * 2011-11-07 2013-05-23 Canon Inc 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
TWI685249B (zh) * 2011-12-21 2020-02-11 日商Ｊｖｃ建伍股份有限公司 動態影像編碼裝置、動態影像編碼方法、及儲存有動態影像編碼程式之記錄媒體
CN105637769B (zh) * 2013-10-15 2018-01-02 三菱电机株式会社 数字广播接收装置以及选台方法
US9473628B2 (en) * 2014-07-17 2016-10-18 Verizon Patent And Licensing Inc. Method and system for providing communication hold status management

Also Published As

Publication number Publication date
RU2013132921A (ru) 2015-01-27
AU2019200515A1 (en) 2019-02-14
US8787453B2 (en) 2014-07-22
JP2012170042A (ja) 2012-09-06
AU2016234951B2 (en) 2018-01-04
AU2020203010A1 (en) 2020-05-28
CA2823024A1 (en) 2012-08-02
TW201242377A (en) 2012-10-16
CN110602497B (zh) 2021-11-30
CN110839154A (zh) 2020-02-25
AU2018201382A1 (en) 2018-03-15
CN106878738B (zh) 2019-11-08
KR20180053425A (ko) 2018-05-21
CA2823024C (en) 2018-01-02
US9560348B2 (en) 2017-01-31
AU2020203010B2 (en) 2021-01-28
AU2016234951A1 (en) 2016-10-13
CN110602497A (zh) 2019-12-20
CN107087191A (zh) 2017-08-22
CN107087190B (zh) 2020-04-21
SG191994A1 (en) 2013-08-30
AU2012210001B2 (en) 2016-07-21
MX336094B (es) 2016-01-08
US20130301710A1 (en) 2013-11-14
EP2645717A1 (en) 2013-10-02
RU2615675C2 (ru) 2017-04-06
KR101858289B1 (ko) 2018-05-15
MY158425A (en) 2016-10-14
US20180063530A1 (en) 2018-03-01
EP2645717A4 (en) 2016-07-27
CN107087191B (zh) 2020-01-07
BR112013018305B1 (pt) 2022-10-11
RU2020108522A (ru) 2021-08-27
AU2021201931A1 (en) 2021-04-29
CN107087190A (zh) 2017-08-22
AU2019200515B2 (en) 2020-02-06
SG10201406196PA (en) 2014-12-30
CO6731124A2 (es) 2013-08-15
US20200336743A1 (en) 2020-10-22
WO2012102088A1 (ja) 2012-08-02
KR101965119B1 (ko) 2019-04-02
US20190327471A1 (en) 2019-10-24
US20130266233A1 (en) 2013-10-10
TWI495350B (zh) 2015-08-01
CN106878738A (zh) 2017-06-20
KR20140029381A (ko) 2014-03-10
ZA201304818B (en) 2013-09-25
AU2012210001A1 (en) 2013-07-04
CN103329536A (zh) 2013-09-25
MX2013008289A (es) 2013-09-13
MY177870A (en) 2020-09-23
RU2719453C1 (ru) 2020-04-17
US10419761B2 (en) 2019-09-17
CN103329536B (zh) 2017-02-15
RU2020108486A (ru) 2021-08-27
AU2018201382B2 (en) 2018-11-08
BR112013018305A2 (pt) 2020-07-28
EP3512198A1 (en) 2019-07-17

Similar Documents

Publication Publication Date Title
JP6056122B2 (ja) 画像符号化装置と画像復号装置およびその方法とプログラム
WO2011155364A1 (ja) 画像復号化装置と画像符号化装置およびその方法とプログラム
WO2012063878A1 (ja) 画像処理装置と画像処理方法
JP2018191334A (ja) 画像符号化装置と画像符号化方法およびプログラム
JP5387520B2 (ja) 情報処理装置と情報処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140709

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161121

R151 Written notification of patent or utility model registration

Ref document number: 6056122

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250