JP6196117B2 - 画像符号化装置及び画像復号装置 - Google Patents

Description

本実施形態は、複数のモードを利用した画像符号化装置、及び画像復号装置に関する。

変換・量子化を用いた画像符号化において所望の符号量にて符号化を行うために、過去の符号量から適応的に量子化スケールを切り替えるレート制御方式があった。従来のレート制御方式は、所望の符号量へと収束させることを目的としている。そのため、必ずしも目標の符号量以内に収束することを保証するものではなかった。

１パス符号化においては、符号化を行った結果、目標符号量を超過することが考えられる。ハードウェアによりエンコーダを構成する際にビットストリームのサイズを予め定義した場合、目標符号量を超過するとビットストリームが破たんするという問題がある。

ストリームバッファの破たんを回避する符号化方式が開示されている。マクロブロック単位で最小及び最大符号量を定め、符号化対象であるブロックにおいてもし最大符号量が発生したら、その後の全ブロックを最小符号量で符号化してもストリームバッファが破たんする場合には最小符号量での符号化を行う方式について述べられている。

上記方式では、当該ブロックで最大符号量が発生してもストリームバッファが破たんしないか否かにより符号化条件を切り替えている。一般的に、最小符号量での符号化は画質が大きく劣化するため選択されないことが望ましい。一方、上記方式では規定すべき最小符号量が大きいために最小符号量での符号化が選択されやすくなってしまうという問題がある。

特開２００８−２７１２１３号

"ＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５ （ＴＭ５）"， Ｄｏｃ． ＩＳＯ／ＩＥＣ−ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ０４００， Ａｐｒ． １９９３． Ｃｈａｐｔｅｒ１０， "Ｒａｔｅ Ｃｏｎｔｒｏｌ ａｎｄ Ｑｕａｎｔｉｚａｔｉｏｎ"

本発明が解決しようとする課題は、ストリームバッファの破たんを防ぎつつ、最小符号量での符号化が選択されにくくすることで、画質の劣化を抑える点にある。

上記の課題を解決するために、本実施形態は、入力画像に含まれる処理対象ブロックを可変長の符号量で符号化して第１の符号化データを生成する第１の符号化部と、前記処理対象ブロックを予め定められた符号量で符号化して第２の符号化データを生成する第２の符号化部と、前記処理対象ブロックに対して、前記第１の符号化部と前記第２の符号化部のいずれの符号化モードを用いるかを判定するモード判定部と、前記モード判定部の判定した前記符号化モードに従って、前記第１の符号化データと前記第２の符号化データの何れか一方を選択する選択部と、予め定めた条件を満たす場合、前記符号化モードを示すモード情報を符号化しないと判定する符号化判定部と、を備え、前記モード判定部は、処理対象ブロックを含む特定の単位において、前記処理対象ブロックの直前に符号化されたブロックまでに発生した累積符号量と、前記処理対象ブロックを前記第１の符号化モードで符号化して発生した符号量を合計した結果、前記特定の単位に含まれる残りのブロックを前記第２の符号化モードで符号化しても、予め定めた目標符号量を超過する場合に、前記第２の符号化部の符号化モードを用いると判定する、画像符号化装置を提供する。

本実施形態によれば、ストリームバッファの破たんを防ぎつつ、最小符号量での符号化が選択されにくくすることで、画質の劣化を抑えることができる。

画像符号化装置を示す図。 第１符号化部を示す図。 ローカルデコード生成部を示す図。 モード情報符号化部を示す図。 画像符号化装置の動作のタイミングを示すチャート。 画像符号化装置の動作のタイミングを示すフローチャート。 ブロックにおける符号化データのシンタクスの例を示す図。 累積された符号量の推移と符号化モード判定の関係を示す図。 画像復号装置を示す図。 画像復号装置の動作を示すフローチャート。 画像符号化装置の変更例を示す図。 ブロックにおける符号化データのシンタクスの例を示す図。 符号化装置におけるモード情報符号化判定の動作を示すフローチャート。 画像復号装置の変更例を示す図。 画像復号装置の変更例の動作例を示すフローチャート。 画像符号化装置及び画像復号装置のハードウェア構成を示す図。

図面を参照しながら本実施形態の画像符号化装置について詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作をするものとして、重複する説明を適宜省略する。

まず、各実施の形態に係る画像符号化装置及び画像復号装置のハードウェア構成の一例について図１６を用いて説明する。図画像符号化装置及び画像復号装置は、装置全体を制御するＣＰＵ（Central Processing Unit）などの制御部１と、各種データやプログラムを記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの主記憶部２と、各種データや各種プログラムを記憶するＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disk）ドライブ装置などの補助記憶部３と、これらを接続するバスとを備えている。また、画像符号化装置及び画像復号装置には、外部装置の通信を制御する通信Ｉ／Ｆ（Interface）４と、情報を表示する表示部５と、ユーザの指示入力を受け付けるキーボードやマウスなどの操作部６とが有線又は無線により各々接続される。符号化すべきデータ及び復号すべきデータは、補助記憶部３に保持されていても、通信Ｉ／Ｆ４を介して外部から入力されても、そのほかの方法で入力されるものであってもよい。

図１６は、通常のコンピュータを利用したハードウェア構成の一例を示している。各実施形態に係る画像符号化装置及び画像復号装置の機能の一部、又は全部を、ＬＳＩ（Large Scale Integration）などの集積回路又はＩＣ（Integrated Circuit）チップセットとして実現してもよい。画像符号化装置及び画像復号装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。

次に、このようなハードウェア構成において、画像符号化装置及び画像復号装置の機能的構成について、以下の各実施形態において図面を用いて説明する。

（第１の実施形態）
以下の実施形態においては、処理対象の入力画像において符号化処理を行う単位をブロック、符号量を保証すべき単位をセグメントと呼ぶ。セグメントには、少なくとも１つのブロックが含まれる。本実施形態の画像符号化装置１００は、各ブロックにおいて発生する符号量についての制限は行わないが、セグメント内で発生した総符号量については予め定めた所望の符号量以下となる様、入力画像の符号化を行う。各ブロックには、少なくとも１つの画素が含まれる。なお、ブロックの形状はどのような形であっても良い。また、各セグメントには少なくとも１つのブロックが含まれる。セグメントに含まれるブロックは任意の組み合わせであって構わない。例えば、異なるフレーム内のブロックが、同じセグメントに含まれる構成であっても良い。以下の実施形態では、ブロックには複数の画素が含まれ、セグメントには互いに空間的に隣接する複数のブロックが含まれる例について説明する。

図１は、画像符号化装置１００を示す図である。
画像符号化装置１００は、第１符号化部１０１、第２符号化部１０２、エントロピー符号化部１０３Ａ、エントロピー符号化部１０３Ｂ、ローカルデコード生成部１０４Ａ、ローカルデコード生成部１０４Ｂ、符号化モード判定部１０５、スイッチ１０６、スイッチ１０７、モード情報符号化部１０８及び符号化制御部１０９を有する。

第１符号化部１０１は、入力画像に含まれる符号化すべき対象ブロックに対して、変換・量子化による第１符号化モードの符号化処理を行い、第１の符号化データを生成する。第１符号化モードは、可変長の符号量で符号化するモードである。第１符号化部１０１は、生成された第１の符号化データをエントロピー符号化部１０３Ａ及びローカルデコード画像生成部１０４Ａへと送る。符号化処理の詳細については後述する。

第２符号化部１０２は、対象ブロックに対して、予め定められた符号量となる様な第２符号化モードの符号化処理を行い、第２の符号化データを生成する。第２符号化部１０２は、生成された第２の符号化データをエントロピー符号化部１０３Ｂ及びローカルデコード生成部１０４Bへと送る。

エントロピー符号化部１０３Ａ及び１０３Ｂは、それぞれが受け取った符号化データをエントロピー符号化し、ビットストリームを生成する。その際にエントロピー符号化部１０３Ａは、ビットストリームを生成した際に発生した符号量を示す符号量情報を符号化モード判定部１０５へと送る。

ローカルデコード生成部１０４Ａは、第１符号化部１０１から符号化データを受け取る。ローカルデコード生成部１０４Bは、第２符号化部１０２から符号化データを受け取る。ローカルデコード生成部１０４Ａ及び１０４Bは、それぞれが受け取った符号化データに対応する復号処理を行ってローカルデコード画像を生成し、スイッチ１０６へと送る。

符号化モード判定部１０５は、エントロピー符号化部１０３Ａより符号量情報を受け取る。符号化モード判定部１０６は、符号量情報に基づいて対象ブロックに対して、第１符号化モードまたは第２符号化モードのいずれを用いるかを示す符号化モード情報を設定する。それによって、第１符号化部１０１による符号化データが所望の符号量を超過する場合には第２符号化部１０２での符号化へ切り替えることができる。符号化モード判定部１０５は、符号化モード情報をスイッチ１０６、スイッチ１０７及びモード情報符号化部１０８へと送る。

スイッチ１０６は、ローカルデコード生成部１０４Ａとローカルデコード生成部１０４Ｂから第１符号化モードと第２符号化モードそれぞれのローカルデコード画像を受け取る。スイッチ１０６は、符号化モード判定部１０５が決定した符号化モード情報に従ったローカルデコード画像を選択して第１符号化部１０１及び第２符号化部１０２へと送る。符号化モード情報が、第１符号化モードを示す場合には、ローカルデコード生成部１０４Aが生成したローカルデコード画像を第１符号化部１０１及び第２符号化部１０２へと送る。また、符号化モード情報が、第２符号化モードを示す場合には、ローカルデコード生成部１０４Bが生成したローカルデコード画像を第１符号化部１０１及び第２符号化部１０２へと送る。送られたローカルデコード画像は後続のブロックを符号化する際に参照画像として予測に用いられる。

スイッチ１０７は、符号化モード判定部１０５より符号化モード情報を受け取る。スイッチ１０７は、符号化モード情報が第１符号化モードを示す場合には、エントロピー符号化部１０３Ａより第１の符号化モードで符号化されたビットストリームを受け取る。符号化モード情報が、第２符号化モードを示す場合には、エントロピー符号化部１０３Ｂから第２符号化モードのビットストリームを受け取る。スイッチ１０７は、受け取ったビットストリームを出力する。

モード情報符号化部１０８は、符号化モード判定部１０５より符号化モード情報を受け取る。モード情報符号化部１０８は符号化モード情報をエントロピー符号化する。モード情報符号化部１０８は、エントロピー符号化された符号化モード情報を、スイッチ１０７から出力されたビットストリームに重畳して出力する。モード情報符号化部１０８の動作の詳細については後述する。

符号化制御部１０９は、発生符号量のフィードバック制御及び量子化制御、予測方向の制御などを行なうことで、第１符号化部１０１及び第２符号化部１０２の制御を行なう。

第１符号化部１０１について図２を参照して詳細に説明する。
図２は、第１符号化部１０１の詳細を示す図である。第１符号化部１０１は、予測画像生成部１１０、減算部１１１及び変換・量子化部１１２を有する。
予測画像生成部１１０は、ローカルデコード生成部１０４Ａよりローカルデコード画像を受け取り、所定の予測処理を行って対象ブロックに対応する予測画像を生成する。予測画像生成部１１０は、減算部１１１へ予測画像を送る。予測画像生成部１１０は、予測処理として、どのような手法を用いても良いが、本実施形態では隣接するブロックからの空間予測を用いる例について説明する。例えば、Ｈ．２６４／ＡＶＣなどの既存コーデックと同様に、隣接するブロックの画素を用いて空間予測を行う。その際の空間予測の予測方向は、符号化制御部１０９が設定する。
減算部１１１は、入力画像の対象ブロックを受け取り、予測画像生成部１１０より対象ブロックに対応する予測画像を受け取る。減算部１１１は、対象ブロックの画素値から、予測画像の画素値を減じることで、予測誤差画像を生成する。生成された予測誤差画像は、変換・量子化部１１２へ送られる。

変換・量子化部１１２は減算部１１１より受け取った予測誤差画像に対して変換処理を行う。変換処理として、例えばＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などを用いた直交変換を行い、変換係数を生成する。なお、ウェーブレット変換や独立成分解析などの手法を用いて変換係数を生成しても良い。次に、変換・量子化部１１２は、符号化制御部１０９にて設定された量子化パラメータに基づいて変換係数を量子化し、符号化データを生成する。
以上のように、第１符号化部１０１は予測誤差画像に対して変換・量子化を行う、一般的な符号化方式により対象ブロックを符号化する。

ローカルデコード生成部１０４Ａについて、図３を参照して詳細に説明する。
図３は、ローカルデコード生成部１０４Ａの詳細を示す図である。ローカルデコード生成部１０４Ａは、予測画像生成部１１０、逆量子化・逆変換部１１３及び加算部１１４を有する。
逆量子化・逆変換部１１３は、第１符号化部１０１から符号化データを受け取る。逆量子化・逆変換部１１３は、符号化データに含まれる量子化後の直交変換係数に対して符号化制御部１０９にて設定される量子化パラメータに従って逆量子化を行う。逆量子化・逆変換部１１３は、逆量子化によって得られた変換係数に対して変換・量子化部１１２で行われた直交変換に対応する逆変換を行い、予測誤差画像を生成する。得られた予測誤差画像は加算部１１４へ送られる。

加算部１１４は、予測画像生成部１１０より予測画像を受け取り、逆量子化・逆変換部１１３より予測誤差画像を受け取る。加算部１１４は、予測画像と予測誤差画像とを加算し、ローカルデコード画像を生成する。加算部１１４は、得られたローカルデコード画像をスイッチ１０６に送る。後述する符号化モード判定部１０５が第１符号化モードを選択した場合、ローカルデコード画像は後続のブロックを予測するために用いられる。

予測画像生成部１１０は、図２に示した第１符号化部１０１の予測画像生成部１１０と同じ処理を行う。これにより、第１符号化部１０１とローカルデコード生成部１０４Ａとが、同一の予測画像を用いることができる。なお、ローカルデコード生成部１０４Ａが、予測画像生成部１１０を有さず、第１符号化部１０１または第２符号化部１０２が生成した予測画像をそのままローカルデコード生成部１０４Ａに送る構成であっても構わない。

モード情報符号化部１０８について、図４を参照して詳細に説明する。
図４は、モード情報符号化部１０８の詳細を示す図である。モード情報符号化部１０８は、エントロピー符号化部１１５、モード情報符号化判定部１１６及びスイッチ１１７を有する。

エントロピー符号化部１１５は、符号化モード判定部１０５より符号化モード情報を受け取る。エントロピー符号化部１１５は、符号化モード情報をエントロピー符号化してビットストリームを生成する。その後、生成されたビットストリームをスイッチ１１７へと送る。

モード情報符号化判定部１１６は、符号化モード判定部１０５より符号化モード情報を受け取る。モード情報符号化判定部１１６は、符号化モード情報を符号化するか否かの判定を行って判定結果をスイッチ１１７へと送る。判定方法については後述する。

スイッチ１１７は、エントロピー符号化部１１５より符号化モードを符号化したビットストリームを、モード情報符号化判定部１１６よりモード情報を符号化するか否かを示す判定結果を受け取る。判定結果がモード情報を符号化することを示す場合にビットストリームを出力し、そうでなければビットストリームを出力しない。

次に、画像符号化装置１００の動作について図５及び図６を用いて説明する。
図５は、画像符号化装置１００の動作タイミングチャートを示す。
画像符号化装置１００は、入力画像を受け取り、図５に示すタイミングチャートに従ってブロック毎にパイプラインで符号化処理を行う。図５の横軸は、時刻を示す。縦軸に記したブロック＃０〜＃３の順に順次符号化される。ブロック毎に（１）符号化制御部１０９が予測方向の決定と符号化モードを判定する、（２）第1符号化部１０１が符号化処理を実行し、ローカルデコード生成部１０４Aがローカルデコードを生成する、（３）エントロピー符号化部１０３Aがエントロピー符号化をする。画像符号化装置１００は、前述の３つの動作をそれぞれＮサイクル（Nは任意の自然数）のステージにて実行する。また、（３）の動作を行っているステージでは、並列的に、第２符号化部１０２が、符号化処理を実行し、エントロピー符号化部１０３Bがエントロピー符号化をする。その後、符号化モード判定部１０５が符号化モードを判定する。

処理手順の詳細については図６のフローチャートに従って説明する。
図６は、画像符号化装置１００の処理フローの一例を表している。
まず、画像符号化装置１００が入力画像中の対象ブロックに含まれる画素のデータを受け取り、符号化制御部１０９が第１符号化モードの予測方向を決定する（Ｓ１１０１）。第１符号化部１０１が空間予測及び変換・量子化処理による一般的な符号化を行う例について説明する。空間予測の予測方向は、任意の方法により決定して良い。本実施形態では、複数の予測方向の内、予測画像と入力画像との誤差が最も小さくなる予測方向を選択する例について述べる。
Ｓ１１０１が、図５に示された各ブロックの最初のステージにおいて実行される。

第１符号化部１０１の予測画像生成部１１０は、ローカルデコード画像に含まれる隣接ブロックの画素値から、符号化制御部１０９が決定した予測方向に従って予測画像を生成する（Ｓ１１０２）。減算部１１１は、入力画像から予測画像を減算することで予測誤差画像を生成する（Ｓ１１０３）。変換・量子化部１１２は、予測誤差画像に対して変換及び量子化処理を行うことで量子化後の変換係数を生成する（Ｓ１１０４）。変換・量子化部１１２は、第１符号化データを生成する（Ｓ１１０５）。第１符号化データには、量子化後の変換係数、予測方向、量子化パラメータなどの情報が含まれる。第１符号化データはローカルデコード生成部１０４Ａへ送られる。

ローカルデコード生成部１０４Ａは、第１符号化部１０１で行われた符号化処理に対応する方法で第１符号化データを復号し、ローカルデコード画像を生成する（Ｓ１１０６）。生成されたローカルデコード画像はスイッチ１０６へと送られる。
S１１０２〜Ｓ１１０６が、図５に示された各ブロックの２番目のステージにおいて実行される。

エントロピー符号化部１０３Ａは、第１符号化データに対して、エントロピー符号化を行うことで、ビットストリームを生成する（Ｓ１１０７）。

Ｓ１１０１〜１１０７において、第１符号化モードでの符号化が行われるが、入力画像は第２符号化部１０２にも入力され、第２符号化モードでも符号化される。
第２符号化部１０２における符号化方法としては任意の方法を用いて良いが、前述のように予め定められた符号量での符号化が求められる。さらに、第１符号化部１０１で発生しうる符号量と比較して十分小さな符号量で符号化できることが望ましい。本実施形態では、例えば量子化後の変換係数を符号化せず、予測画像をそのままローカルデコード画像とする方式について説明する。上述の条件を満たしていれば第２符号化部１０２の符号化方法はこれに限られるものではない。
第２符号化部１０２は、予測画像を生成する（Ｓ１１０８）。その後、第２符号化部１０２は第２符号化データを生成する（Ｓ１１０９）。なお、第２符号化部１０２における処理や第２符号化データの詳細については後述する。第２符号化データはローカルデコード生成部１０４Ｂへ送られる。

ローカルデコード生成部１０４Ｂは、第２符号化部１０２で行われた符号化処理に対応する方法で第２符号化データを復号し、ローカルデコード画像を生成する（Ｓ１１１０）。本実施形態では、予測画像がそのままローカルデコード画像となる。そのため、ローカルデコード生成部１０４Ｂは、第２符号化部１０２から受け取った予測画像をそのままローカルデコード画像としても良いし、第２符号化部１０２と同様の予測処理をして予測画像を生成しても良い。ローカルデコード画像はスイッチ１０６へ送られる。

また、第２符号化データはエントロピー符号化部１０３Ｂへ送られる。エントロピー符号化部１０３Ｂは、第２符号化データをエントロピー符号化することで、ビットストリームを生成する（Ｓ１１１１）。

Ｓ１１０７〜Ｓ１１１１が、図５に示された３番目のステージにおいて実行され、入力画像に対する符号化処理が行われる。本実施形態におけるブロックの符号化処理は以上の３ステージから構成される。図５に示すように処理順番が前後のブロックとは１ステージずつタイミングをずらして処理を行って、複数のブロックをパイプラインで処理する。各サイクルに含まれる処理については上述した例以外の処理であっても構わない。また、ステージ数も３以外の数であっても構わない。

以上の３ステージによる符号化が完了した後、符号化モードの判定が行われる。符号化モードの判定結果に応じて、上記の符号化処理により生成された第１符号化データのビットストリームと第２符号化データのビットストリームの何れかが出力される。

符号化モード判定部１０５はエントロピー符号化部１０３Ａより発生符号量を受け取り、対象ブロックに対する符号化モードの判定を行う（Ｓ１１１２）。符号化モード情報は、スイッチ１０６、スイッチ１０７及びモード情報符号化部１０８に送られる。符号化モード判定部１０５の処理の詳細は後述する。

符号化モード情報が第１符号化モードを示す場合には（Ｓ１１１３，ｙｅｓ）、スイッチ１０６は、ローカルデコード生成部１０４Ａから受け取った第１符号化モードのローカルデコード画像を、第１符号化部１０１と第２符号化部１０２に送る（Ｓ１１１４）。スイッチ１０７は、エントロピー符号化部１０３Ａから受け取った第１符号化モードのビットストリームを出力する（Ｓ１１１５）。

符号化モード情報が第２符号化モードを示す場合には（Ｓ１１１３，ｎｏ）、スイッチ１０６は、ローカルデコード生成部１０４Ｂから受け取った第２符号化モードのローカルデコード画像を、第１符号化部１０１、第２符号化部１０２に送る（Ｓ１１１６）。スイッチ１０７は、エントロピー符号化部１０３Ｂから受け取った第２符号化モードのビットストリームを出力する（Ｓ１１１７）。

モード情報符号化部１０８がモード情報を受け取ると、モード情報符号化判定部１１６がモード情報を符号化するか否かの判定を行う（Ｓ１１１８）。判定結果は、スイッチ１１７へと送られる。

判定結果がモード情報を符号化することを示す場合には（Ｓ１１１９，ｙｅｓ）、エントロピー符号化部１１５がモード情報を符号化してスイッチ１０７から出力される符号化データのビットストリームに重畳して出力する（Ｓ１１２０）。

判定結果がモード情報を符号化しないことを示す場合には（Ｓ１１１９，ｎｏ）、スイッチ１０７から出力されたビットストリームがそのまま符号化結果として出力される。Ｓ１１１９における処理の分岐はスイッチ１１７により実現することができる。

処理対象のセグメントに含まれるブロックすべての符号化が終了していない場合には（Ｓ１１２１，ｎｏ）、エントロピー符号化部１０３Ａは処理対象ブロックで発生した符号量を示す符号量情報を生成し、符号化モード判定部１０５へ出力する（Ｓ１１２２）。このとき、詳細は後述するが、符号化モード判定部１０５は受け取った符号量情報とセグメント全体に対して設定された所望の符号量との関係から、次のブロックにおける符号化モードを判定する。また、符号量情報は符号化制御部１０９にもフィードバックされ、量子化パラメータの設定などを行う際に利用される。

処理対象のセグメントに含まれるブロックすべての符号化が終わった場合（Ｓ１１２１，ｙｅｓ）、セグメントの符号化処理を終了する。

以上が画像符号化装置１００による符号化処理の説明である。

図７は、ブロックの符号化データにおけるシンタクスの一例を示す。図７のシンタクスでは、符号化データの先頭でＶＡＲＩＡＢＬＥ＿ＣＯＤＥＣ＿ＭＯＤＥが１である場合には符号化モードを示すｃｏｄｅｃ＿ｍｏｄｅが符号化される。そうでなければｃｏｄｅｃ＿ｍｏｄｅは符号化されず、ＭＯＤＥ＿２を示すように設定される。ｃｏｄｅｃ＿ｍｏｄｅは、例えば１ビットのフラグで表現することができる。尚、ＶＡＲＩＡＢＬＥ＿ＣＯＤＥＣ＿ＭＯＤＥは後述するモード情報符号化判定部１１６により設定されるパラメータである。

符号化モード情報が第１符号化部１０１による符号化を示す場合、つまりｃｏｄｅｃ＿ｍｏｄｅがＭＯＤＥ＿１である場合、直前のブロックにおける量子化パラメータと対象ブロックの量子化パラメータの差分であるｄｅｌｔａ＿ｑｐが符号化される。続いて空間予測の予測方向を示すｐｒｅｄ＿ｍｏｄｅが符号化される。ｄｅｌｔａ＿ｑｐ及びｐｒｅｄ＿ｍｏｄｅは、事前に取りうる値の範囲がわかっているため、例えば固定長での符号化を行って良い。固定長で符号化することでビットストリームに対する復号処理が簡易になるほか、シンタクスの値に偏りがない場合には可変長符号化と比較して符号化効率が向上する。量子化後の変換係数であるｃｏｅｆｆが可変長符号化される。尚、ＮＵＭ＿ＣＯＥＦＦは変換係数の数を示している。

一方、符号化モード情報が第２符号化部１０２による符号化を示す場合、即ちｃｏｄｅｃ＿ｍｏｄｅがＭＯＤＥ＿２である場合、第１符号化部１０１による符号化と同様にｐｒｅｄ＿ｍｏｄｅが符号化される。ただし、量子化後の変換係数については符号化しない。従って量子化パラメータを示すｄｅｌｔａ＿ｑｐについても符号化する必要はない。

このようなシンタクス構成とすることで、第２符号化部１０２での符号化は大きな画質低下を伴うが、第１符号化部１０１と比較して常に十分小さな符号量で符号化を行うことができる。上記のシンタクスは一例であり、一般的なコーデックと同様にシンタクスを追加、または一部のシンタクスを削除しても良い。例えば、第２符号化モードでは何も符号化せず、予め定めた所定の予測のみを行うこととしても良い。この場合には第２符号化データのビットストリームは存在せず、また符号量は常に０となる。また、画像中のコンポーネントによってシンタクスは変更されても構わない。

次に、符号化モード判定部１０５の動作について詳細に説明する。符号化モード判定部１０５は、エントロピー符号化部１０３Ａより発生した符号量を受け取り、セグメント内で発生した符号量を累積して保持する。保持している累積符号量と受け取った第１符号化モードで発生した符号量から、対象ブロックの符号化モードを判定する。

図８は符号量の推移と符号化モードの判定の関係を示す図である。図８を参照しながら、具体的な符号化モード判定部１０５の動作例を説明する。図８の横軸はセグメント内におけるブロックの番号を示し、縦軸は累積された符号量を示す。実線は、セグメント内の残りブロックをすべて第２符号化モードで符号化することを想定した場合に、ストリームバッファが破たんしない累積符号量の上限値を示す。細い破線は、目標符号量を示す。一般的に、ＣＢＲ（ｃｏｎｓｔａｎｔ ｂｉｔ ｒａｔｅ）での符号化を行う場合にはすべてのブロックで均等に符号量が発生することを目標とし、量子化パラメータの制御を行うことで目標符号量での符号化を図る。ただし、１パス符号化では事前に必ずしも目標の符号量を達成できない。
そのため、図８の、太い破線や、二点鎖線に示したようにブロック毎に符号量がばらつく。二点鎖線は、そのセグメント内の残りブロックをすべて第１符号化モードで符号化可能な場合の累積符号量の一例を示す図である。実際に発生した累積符号量が実線を下回っていれば、符号量を保証することができる。太い破線は、第２符号化モードが必要となる場合の累積符号量の一例を示す図である。実際に発生した累積符号量が実線を上回ってしまう場合には、第２符号化モードに切り替えなければ符号量を保証することができなくなる。太い鎖線で示した例では、第１符号化モードでの符号化により目標符号量を大きく上回る符号量が発生してしまっている。残りのブロックにおいて利用可能符号量限界に達するため、以降のブロックについてはすべて第２符号化モードで符号化することで符号量の上限を保証する。

上記の動作を行うため、符号化モード判定部１０５は式（１）、（２）により符号化モードを判定する。

まず、式（１）について説明する。Ｂ_{ｔａｒｇｅｔ}はセグメントにおける目標符号量である。Ｂ_{ａｖａｉｌａｂｌｅ}はセグメント内のこれから符号化を行うブロックのうち、対象ブロックを除く残りブロックにおける利用可能符号量である。Ｂ_{ｔｏｔａｌ}は対象ブロックの直前に符号化されたブロックまでの累積符号量を示す。また、Ｂ_{ｃｕｒｒｅｎｔ}は対象ブロックにおいて第１符号化モードで符号化した場合に発生する符号量と符号化モードを符号化する際に発生する符号量の和を示す。Ｂ_{ｔａｒｇｅｔ}から、Ｂ_{ｔｏｔａｌ}及びＢ_{ｃｕｒｒｅｎｔ}を減じることでＢ_{ａｖａｉｌａｂｌｅ}が算出できる。

ここでは、符号化モード判定時に対象ブロックの直前に符号化されたブロックまでの符号量がフィードバックされていることを想定して説明したが、符号化モード判定や符号量算出のタイミングによりフィードバックに遅延が生じる場合も想定される。そのような場合には、フィードバックできていないブロックについてはブロック単位の最大符号量、例えば非圧縮を想定して入力画像のビット量を推定値として用いても良い。遅延ブロック数は、パイプライン構成や処理内容に応じて適宜変更される。

次に、式（２）について説明する。Ｂ_ｍｉｎは第２符号化モードにより発生する符号量と符号化モードを符号化する際に発生する符号量の和を示す。Ｕ_ｌｅｆｔは残りブロックの数を示している。即ち、対象ブロックを第１符号化モードで符号化したとしても利用可能符号量の限界を下回る場合には第１符号化モードで符号化を行う。そうでなければ対象ブロック以降のすべてのブロックを第２符号化モードで符号化を行うことで符号量を保証する。上述のように、符号化モードの判定においては符号化モードを符号化する際に発生する符号量を用いる。ただし、後述するが、符号化モードを符号化するか否かは特定の条件によって切り替わる点に注意する必要がある。

次に、モード情報符号化部１０８の動作について詳細に説明する。モード情報符号化部１０８が符号化モード判定部１０５より符号化モードを受け取ると、モード情報符号化判定部１１６が符号化モード情報を符号化するか否かの判定を行う。ここで、判定には任意の方法を用いて良いが、後述する画像復号装置で同一の符号化モード情報が復元できる必要がある。本実施形態では、第１符号化モードが選択される場合及びセグメント内ではじめて第２符号化モードが選択される場合には、符号化モード情報を符号化するものとする。前述の通り、一度第２符号化モードが選択された場合、同一セグメントにおける残りブロックはすべて第２符号化モードが選択される。そのため、第２符号化モードが選択された場合には、残りブロックでは符号化モード情報を符号化しなくても第２符号化モードであることが自明であり、画像復号装置でも同様の判定が可能である。モード情報符号化判定部１１６がモード情報を符号化すると判定した場合にはエントロピー符号化部１１５により符号化された符号化モード情報が符号化モードストリームとして出力される。

図７のシンタクス例では、第２符号化モードが二度目以降選択される場合にはＶＡＲＩＡＢＬＥ＿ＣＯＤＥＣ＿ＭＯＤＥが０に、そうでなければ１に設定することで、上記の符号化処理が実現される。

ここでは符号化モードが２種類である場合について説明したが、例えば減色処理による符号化やＰＣＭによる符号化などを含む３種類以上の符号化モードを切り替えても良い。その場合にも、二度目以降の第２符号化モードでは符号化モード情報を符号化しないという規則で判定を行えば同様の効果を実現することができる。以上が画像符号化装置１００に関する処理である。

本実施形態では、通常の変換・量子化を行う第１の符号化モードに加え、符号量を一意に定めることができ、かつ第１の符号化モードと比較して小さな符号量にて符号化を行う第２の符号化モードを用意し、前記２つの符号化モードを切り替えることで所望の符号量を上回らないことを保証する。例えば、各符号化処理単位（ブロック）に対して通常は第１の符号化モードで符号化を行い、符号量を保証する単位（セグメント）において、残りのブロックをすべて第２の符号化モードで符号化しなければ符号量を保証できなくなることがわかった時点で第２の符号化モードによる符号化に切り替えることで、確実に符号量を保証することができる。また、上記のように符号化モード情報の符号化判定を行うことで第２の符号化モードにおけるオーバーヘッドを削減し、可能な限り第２の符号化モードが選択されないようにすることで、通常の符号化による画質を維持しつつセグメントにおける累積符号量の上限を保証することができる。

上記構成によって、ビットストリームの破たんを回避しつつストリームバッファのサイズを一意に定めることができる。また、最小符号量として規定されるオーバーヘッドを削減することで、ストリームバッファが破たんする直前まで通常の符号化を行うことができ、画質低下を抑制することができる。

（第２の実施形態）
本実施形態では、第１の実施形態における画像符号化装置１００に対応する画像復号装置２００について説明する。
図９は、本実施形態の画像復号装置２００を示す図である。

画像復号装置２００はモード情報復号判定部２０１、エントロピー復号部２０２、スイッチ２０３、第１復号部２０４、第２復号部２０５、スイッチ２０６及び復号制御部２０７を有する。

モード情報復号判定部２０１は、エントロピー復号部２０２より復号すべき対象ブロックの直前のブロックまでの符号化モード情報を受け取り、対象ブロックにおいて符号化モード情報を復号するか否かの判定を行う。その後、判定結果を符号化モード復号判定情報としてエントロピー復号部２０２へと送る。判定処理の詳細については後述する。
エントロピー復号部２０２は、入力されたビットストリームに対してエントロピー復号処理を行って符号化データを復元し、スイッチ２０３へと送る。また、このとき符号化モード情報を復元してモード情報復号判定部２０１、スイッチ２０３及びスイッチ２０６へと送る。
スイッチ２０３は、エントロピー復号部２０２より符号化データを受け取り、符号化モード情報に応じて第１復号部２０４または第２復号部２０５の何れかに送る。
第１復号部２０４は、第１符号化部１０１に対応する復号処理を行うことで復号画像を生成し、スイッチ２０６へと送る。復号処理の詳細については後述する。
第２復号部２０５は、第２符号化部１０２に対応する復号処理を行うことで復号画像を生成し、スイッチ２０６へと送る。
スイッチ２０６は、符号化モード情報に応じて第１復号部２０４または第２復号部２０５の何れかより復号画像を受け取り、外部に出力すると共に第１復号部２０４及び第２復号部２０５へと送る。送られた復号画像は後続のブロックを復号する際に参照画像として予測に用いられる。
符号化制御部１０９は、量子化制御や予測方向の制御などを行なうことで、第１復号部２０４及び第２復号部２０５の制御を行なう。

次に、本実施形態の画像復号装置２００の動作について図１０を用いて説明する。
図１０は、画像復号装置２００の処理フローを示す。画像復号装置２００にビットストリームが入力されると、図７のシンタクス構造に従って復号処理が行われる。

まず、モード情報復号判定部２０１は、符号化モードを復号するか否かの判定をする（S２１０１）。判定結果は符号化モード復号判定情報としてエントロピー復号部２０２へと送られる。尚、図７のシンタクス例ではＶＡＲＩＡＢＬＥ＿ＣＯＤＥＣ＿ＭＯＤＥに対応し、符号化モードを復号する場合にはＶＡＲＩＡＢＬＥ＿ＣＯＤＥ＿ＭＯＤＥは１に、そうでなければ０に設定される。

符号化モード復号判定情報が符号化モードを復号することを示す場合には（S２１０２，ｙｅｓ）、エントロピー復号部２０２は、符号化モードであるｃｏｄｅｃ＿ｍｏｄｅを復号する（S２１０３）。

一方、符号化モード復号判定情報が符号化モードを復号しないことを示す場合には（S２１０２，ｎｏ）、ｃｏｄｅｃ＿ｍｏｄｅはＭＯＤＥ＿２、即ち第２符号化モードを示すものと設定される（S２１０４）。決定された符号化モードは、符号化モード情報としてモード情報復号判定部２０１、スイッチ２０３及びスイッチ２０６へと送られる。

続いて、エントロピー復号部２０２は、図７のシンタクス例に基づき、符号化モード情報に従って残りのビットストリームを復号して符号化データを復元する（S２１０５）。符号化データはスイッチ２０３へと送られる。
スイッチ２０３は、エントロピー復号部２０２より符号化モード情報及び符号化データを受け取り、符号化モード情報に応じて符号化データを第１復号部２０４または第２復号部２０５の何れかに出力する。

ここで、符号化モード情報が第１符号化モードによる符号化を示す場合（S２１０６，ｙｅｓ）、符号化データは第１復号部２０４へと送られ復号処理が行われる。
第１符号化部１０１に対応した復号処理として、第１復号部２０４は、まず予測画像を生成する（S２１０７）。符号化データ中に含まれる予測方向に基づき、第１符号化部１０１と同一の予測画像を生成する。
次に、第１復号部２０４は、変換係数に対する逆量子化・逆変換処理を行うことで予測誤差画像を生成する（S２１０８）。
次に、第１復号部２０４は、S２１０７で生成された予測画像とS２１０８で生成された予測誤差画像とを加算することで、復号画像を生成する（S２１０９）。生成された復号画像はスイッチ２０６に送られる。

符号化モード情報が第２符号化モードによる符号化を示す場合（S２１０６，ｎｏ）、符号化データは第２復号部２０５へと送られ、復号される。
第２符号化部１０２に対応した復号処理として、第２復号部２０５は、第２符号化モードの予測画像を生成する（S２１１０）。図７のシンタクス例における予測方向に基づいて第２符号化部１０２と同一の予測画像を生成する必要がある。また、第１の実施形態で述べたように予測方向を符号化しない場合には予め画像符号化装置１００と画像復号装置２００で定めた共通の予測方向に基づく予測を行えば良い。
第２符号化部１０２は、予測画像を用いて復号画像を生成する（S２１１１）。本実施形態では、第１の実施形態に合わせて予測画像をそのまま復号画像として出力する。第１の実施形態に合わせて明示的に本ステップ（Ｓ２１１１）を設けたが、S２１１０で生成された予測画像をそのまま出力すれば良い。

Ｓ２１０７〜Ｓ２１０９または、Ｓ２１１０〜Ｓ２１１１において生成された復号画像はスイッチ２０６へと送られ、符号化モード情報に応じて外部に出力される。さらに、第１復号部２０４及び第２復号部２０５にも送られ、後続のブロックの予測を行う際に参照画像として用いられる。

処理対象のセグメントに含まれるブロックすべての復号が終了していない場合には（Ｓ２１１２，ｎｏ）、S２１０１に戻って後続のブロックの復号処理を行う。セグメント内のブロックすべての符号化が終わった場合（Ｓ２１１２，ｙｅｓ）、セグメントの復号処理を終了する。

次に、モード情報復号判定部２０１の動作について詳細に説明する。
モード情報復号判定部２０１は、第１の実施形態におけるモード情報符号化判定部１１６と同様の動作にてモード情報を復号するか否かを判定する。即ち、セグメント内のブロックに対して通常はモード情報を復号するものとし、復号した結果、セグメント内ではじめて第２符号化モードが選択された場合には後続のブロックについてはモード情報の復号処理を行わない。

このように、モード情報復号判定部２０１がモード情報符号化判定部１１６と同一の判定基準で符号化モードを復号するか否か判定することで、第２の符号化モードにおけるオーバーヘッドを削減しつつ、画像復号装置２００は画像符号化装置１００と同一の符号化モードを得ることが可能となる。

（第３の実施形態）
第１の実施形態の画像符号化装置１００は特定の条件を満たす場合には符号化モードを符号化しないことでオーバーヘッドを削減していた。ただし、初めて第２の符号化モードが選択されるまでは符号化モード情報を符号化し続けなければならなかった。そこで、本実施形態では常に符号化モードを符号化しない場合について説明する。

図１１は、画像符号化装置３００を示す図である。
画像符号化装置３００は、画像符号化装置１００からモード情報符号化部１０８を除き、符号化モード判定部１０５を符号化モード判定部１１８に変更ことで実現される。即ち、画像符号化装置３００は、第１符号化部１０１、第２符号化部１０２、エントロピー符号化部１０３Ａ、エントロピー符号化部１０３Ｂ、ローカルデコード生成部１０４Ａ、ローカルデコード生成部１０４Ｂ、符号化モード判定部１０５、スイッチ１０６、スイッチ１０７及び符号化制御部１０９を有し、これらは画像符号化装置１００において同一符号を付したものと同一の動作を行うため、これらについては説明を省略する。

符号化モード判定部１１８は、符号化モード判定部１０５と同様に累積した発生符号量に基づいて符号化モードの判定を行うが、判定方法が異なる。判定方法の詳細については後述する。
画像符号化装置３００は、モード情報を常に符号化しない点が画像符号化装置１００と異なる。図１２は本実施形態におけるブロックの符号化データにおけるシンタクスの一例を示す。図７とは符号化モードを符号化しない点が異なる。ただし、復号側では符号化側と同一の符号化モードを得る必要があるが、図１２に示したシンタクスの内容のみでは符号化モードを知ることはできない。従って、復号側でも符号化側と同様に符号量に基づいて符号化モードを判定する必要がある。なお、画像符号化装置３００と対応する画像復号装置４００の詳細については第４の実施形態で詳細に説明する。

第１の実施形態の符号化モード判定部１０５の判定方法では、復号装置が同一の符号化モード判定を行うことができないために、モード情報を符号化する必要があった。符号化モード判定部１０５は、式（１）によりセグメント内の利用可能符号量を算出して符号化モードの判定を行う。式（１）におけるＢ_{ｃｕｒｒｅｎｔ}は対象ブロックにおいて第１符号化モードで符号化した場合に発生する符号量と符号化モードを符号化する際に発生する符号量の和を示すが、復号装置ではＢ_{ｃｕｒｒｅｎｔ}を得ることができないためである。

そこで、本実施形態の符号化モード判定部１１８は式（１）に代わって式（３）により利用可能符号量を算出する。

式（３）におけるＢ_ｍａｘは第１符号化モードで理論的に発生しうる最大ビット数を示す。これは符号化装置及び復号装置で固定値として保持することが可能である。従って、式（２）、（３）を用いて符号化モード判定を行うことで符号化装置及び復号装置で同一の符号化モードを得ることができる。

符号化モードを常に符号化しない場合について説明したが、３つ以上の符号化モードが存在する場合には第２の符号化モード以外のモードを識別するために符号化モードを符号化しても良い。変形例として、第３の符号化モードとして減色処理による符号化を行うモードを備えた画像符号化装置について説明する。この場合には例えば画像符号化装置１００と同様にモード情報符号化部を備える必要があるが、符号化モードを符号化するか否かの判定方法が画像符号化装置１００とは異なる。

図１３は上述の例における符号化モードを符号化するか否かを判定する処理フローである。この例では、符号化モードが第２の符号化モードを示す場合（S３１０１）、符号化モードを符号化しない（S３１０２）。一方、符号化モードが第２の符号化モード以外を示す場合（S３１０１，ｎｏ）、即ち第１の符号化モードまたは第３の符号化モードの何れかを示す場合には符号化モードを符号化する（S３１０３）。第１の実施形態では、符号化モードが３つ存在する場合、はじめて第２の符号化モードが選択されるまでは常に３つの内の何れの符号化モードが選択されたのかを符号化するため、単純な固定長符号化では２ビット必要となる。一方、本実施の形態では第２の符号化モードが選択されない場合、第１の符号化モードまたは第３の符号化モードの何れかが選択されることが符号化装置及び復号装置で判定できるため、１ビットで符号化することができる。

上記のように、本実施の形態では第２の符号化モードが選択されているか否かを符号化装置及び復号装置で同様に判定することを前提として符号化モードを符号化する際に必要なオーバーヘッドを削減することができる。

（第４の実施形態）
本実施形態においては、第３の実施形態における画像符号化装置３００に対応する画像復号装置４００について説明する。
図１４は、本実施形態の画像復号装置４００を示す図である。
画像復号装置４００は画像復号装置２００におけるモード情報復号判定部２０１を画像符号化装置３００における符号化モード判定部１１８に変更することで実現される。即ち、画像符号化装置４００は、符号化モード判定部１１８、エントロピー復号部２０２、スイッチ２０３、第１復号部２０４、第２復号部２０５、スイッチ２０６及び復号制御部２０７を有し、これらは画像復号装置２００及び画像符号化装置３００において同一符号を付したものと同一の動作を行うため、これらについては説明を省略する。

次に、本実施形態の画像復号装置４００の動作について図１５を用いて説明する。
図１５は、画像復号装置４００の処理フローを示す。画像復号装置２００にビットストリームが入力されると、図１２のシンタクス構造に従って復号処理が行われる。

まず、符号化モード判定部１１８は、符号化モードの判定をする（S４１０１）。画像符号化装置１００及び３００と同様に式（２）、（３）に基づいて符号化モードの判定が行われる。これにより、画像符号化装置３００と同一の符号化モードを得ることが可能である。判定結果は符号化モード情報としてエントロピー復号部２０２、スイッチ２０３及びスイッチ２０６へと送られる。

以降、S４１０２〜Ｓ４１０９は図１０におけるS２１０５〜Ｓ２１１２と同様の処理を行う。
エントロピー符号化部２０２は、符号化モード判定部１１８より取得した符号化モード情報に基づき、図１２のシンタクス構造に従って符号化データを復号する（S４１０２）。復号された符号化データはスイッチ２０３へと送られる。
スイッチ２０３は、エントロピー復号部２０２より符号化モード情報及び符号化データを受け取り、符号化モード情報に応じて符号化データを第１復号部２０４または第２復号部２０５の何れかに出力する。
ここで、符号化モード情報が第１符号化モードによる符号化を示す場合（S４１０３，ｙｅｓ）、符号化データは第１復号部２０４へと送られ復号処理が行われる。
第１符号化部１０１に対応した復号処理として、まず予測画像を生成する（S４１０４）。符号化データ中に含まれる予測方向に基づき、第１符号化部１０１と同一の予測画像を生成する必要がある。
次に、変換係数に対する逆量子化・逆変換処理を行うことで予測誤差画像を生成する（S４１０５）。
S４１０４で生成された予測画像とS４１０５で生成された予測誤差画像とを加算することで、復号画像を生成する（S４１０６）。生成された復号画像はスイッチ２０６に送られる。

符号化モード情報が第２符号化モードによる符号化を示す場合（S４１０３，ｎｏ）、符号化データは第２復号部２０５へと送られ復号処理が行われる。
第２符号化部１０２に対応した復号処理として、まず、第２符号化モードの予測画像を生成する（S４１０７）。第２符号化部１０２と同一の予測画像を生成する必要がある。また、第１の実施形態で述べたように予測方向を符号化しない場合には予め画像符号化装置と画像復号装置で定めた共通の予測方向に基づく予測を行えば良い。
続いて、予測画像を用いて復号画像を生成する（S４１０８）。本実施形態では、第１の実施形態に合わせて予測画像をそのまま復号画像として出力する。
上述のように生成された復号画像はスイッチ２０６へと送られ、符号化モード情報に応じて外部に出力される。さらに、第１復号部及び第２復号部にも送られ、後続のブロックの予測を行う際に参照画像として用いられる。

処理対象のセグメントに含まれるブロックすべての復号が終了していない場合には（Ｓ４１０９，ｎｏ）、S４１０１に戻って後続のブロックの復号処理を行う。このとき、エントロピー復号部２０２は対象ブロックにおける符号量を符号化モード判定部１１８へとフィードバックする（S４１１０）。符号化モード判定部１１８はフィードバックされた符号量を累積し、式（２）、（３）を用いることで画像符号化装置３００と同様の符号化モード判定を行うことができる。
一方、セグメント内のブロックすべての符号化が終わった場合（Ｓ４１０９，ｙｅｓ）、セグメントの復号処理を終了する。

なお、画像符号化装置３００と同様に、３つ以上の符号化モードが存在する場合には第２の符号化モード以外のモードを識別するために符号化モードを復号する。画像符号化装置３００の変形例と対応する復号処理を行えばよいため、詳細な説明は、省略する。

上記のように、本実施の形態では第２の符号化モードが選択されているか否かを符号化装置及び復号装置で同様に判定することを前提として符号化モードを符号化する際に必要なオーバーヘッドを削減することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

画像符号化装置１００、３００
画像復号装置２００、４００
第１符号化部１０１
第２符号化部１０２
エントロピー符号化部１０３Ａ、１０３Ｂ、１１５
ローカルデコード生成部１０４Ａ、１０４Ｂ
符号化モード判定部１０５、１１８
スイッチ１０６、１０７、１１７、２０３、２０６
モード情報符号化部１０８
符号化制御部１０９
予測画像生成部１１０
変換・量子化部１１２
減算部１１１
逆量子化・逆変換部１１３
加算部１１４
モード情報符号化判定部１１６
モード情報復号判定部２０１
エントロピー復号部２０２
第１復号部２０４
第２復号部２０５
復号制御部２０７

Claims (8)

1. 入力画像に含まれる処理対象ブロックを可変長の符号量で符号化して第１の符号化データを生成する第１の符号化部と、
   前記処理対象ブロックを予め定められた符号量で符号化して第２の符号化データを生成する第２の符号化部と、
   前記処理対象ブロックに対して、前記第１の符号化部と前記第２の符号化部のいずれの符号化モードを用いるかを判定するモード判定部と、
   前記モード判定部の判定した前記符号化モードに従って、前記第１の符号化データと前記第２の符号化データの何れか一方を選択する選択部と、
   予め定めた条件を満たす場合、前記符号化モードを示すモード情報を符号化しないと判定する符号化判定部と、
   を備え、
   前記モード判定部は、処理対象ブロックを含む特定の単位において、前記処理対象ブロックの直前に符号化されたブロックまでに発生した累積符号量と、前記処理対象ブロックを前記第１の符号化部の符号化モードで符号化して発生した符号量を合計した結果、前記特定の単位に含まれる残りのブロックを前記第２の符号化部の符号化モードで符号化しても、予め定めた目標符号量を超過する場合に、前記第２の符号化部の符号化モードを用いると判定する、
   画像符号化装置。
2. 前記符号化判定部は、前記特定の単位において前記第２の符号化部の符号化モードが２度目に選択されるブロック以降のすべてのブロックにおいて符号化モードを符号化しないと判定する、
   請求項１記載の画像符号化装置。
3. 前記モード判定部は、前記累積符号量と、前記処理対象ブロックを前記第１の符号化部の符号化モードで符号化した場合に発生する最大符号量を合計した結果、前記特定の単位の残りのブロックをすべて前記第２の符号化部の符号化モードで符号化しても、予め定めた目標符号量を超過する場合に、前記第２の符号化部の符号化モードを用いると判定し、
   前記符号化判定部は、少なくとも前記第２の符号化部の符号化モードが選択されるブロックでは符号化モードを符号化しないと判定する、
   請求項１記載の画像符号化装置。
4. 前記第２の符号化部は、予測画像をそのままローカルデコード画像とする方式により前記第２の符号化データを生成する、
   請求項１記載の画像符号化装置。
5. 予め定めた条件を満たす場合、処理対象ブロックが可変長の符号量で符号化する第１の符号化方法と、予め定められた符号量で符号化する第２の符号化方法とを含むいずれの符号化モードで符号化されたかを示すモード情報を復号しないと判定する判定部と、
   前記判定部の判定結果が前記モード情報を復号すると判定した場合、ビットストリームを復号して前記モード情報を生成し、前記判定部の判定結果が前記モード情報を復号しないと判定した場合、予め定められた前記モード情報を設定し、前記モード情報が示す前記符号化モードに従って、ビットストリームをエントロピー復号した符号化データを生成するエントロピー復号部と、
   前記モード情報が前記第１の符号化方法で符号化されたことを示す場合、前記符号化データを前記第１の符号化方法に対応する第１の復号方法で復号する第１の復号部と、
   前記モード情報が前記第２の符号化方法で符号化されたことを示す場合、前記符号化データを前記第２の符号化方法に対応する第２の復号方法で復号する第２の復号部と、
   を備えることを特徴とする画像復号装置。
6. 前記判定部は、前記処理対象ブロックを含む特定の単位において前記第２の符号化方法の符号化モードが選択された場合に、以降のすべてのブロックにおいてモード情報を復号せず、前記第２の符号化方法の符号化モードが選択されたと判定する、
   請求項５記載の画像復号装置。
7. 前記判定部は、前記処理対象ブロックを含む特定の単位において、前記処理対象ブロックの直前に復号されたブロックまでに発生した累積符号量と、第１の符号化方法の符号化モードで符号化する場合に発生する最大符号量を合計した結果、前記特定の単位の残りのブロックがすべて前記第２の符号化方法の符号化モードで符号化されていても、予め定めた目標符号量を超過する場合に、前記第２の符号化方法の符号化モードが選択されたと判定し、
   少なくとも第２の符号化方法の符号化モードが選択された場合には前記モード情報を復号しない、
   請求項５記載の画像復号装置。
8. 前記第２の復号部は、予測画像をそのまま復号画像とする前記第２の復号方法により前記符号化データを復号する、
   請求項５記載の画像復号装置。