JP7121584B2 - 画像符号化装置及びその制御方法及びプログラム - Google Patents

Description

本発明は画像符号化技術、特にＤＰＣＭを用いた画像符号化技術に関するものである。

近年、デジタルビデオなどの撮像装置は高解像度化、高フレームレート化に伴って、システムで扱う画像データ量が著しく増加しており、画像メモリやバスインターフェース回路の高速化が必要となり、装置の高コスト化を招いている。そこで、画像メモリやバスインターフェースの前後で画像の圧縮符号化を行って、画像データ量を削減する事で回路の高速化を抑制する技術がある。この用途の画像符号化方式は回路規模が小型で、符号化遅延の小さい事が望まれる。そのため、従来のＪＰＥＧやＭＰＥＧ２に代表されるＤＣＴベースの符号化方式は不向きである。そこでＤＰＣＭベースの予測符号化方式での提案がされている（例えば特許文献１）。

特開２０１６－２１３５２８号公報

特許文献１に記載の符号化方法によれば、輝度信号と色差信号で表される画像のブロックの符号化において、輝度信号の複雑度が高く、色差信号が平坦なブロックの場合、そのブロックの輝度信号の画質劣化はあまり目立たないものの、色差信号の画質劣化が目立つというという問題が存在する。

本発明は上記課題に鑑みなされたものであり、輝度信号の複雑度が高く、色差信号が低いような画像であってもこれまでよりも画質劣化を抑制する符号化データを生成する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
輝度成分と色差成分で構成される画像データから、予め設定されたサイズのブロックを単位に入力し、当該ブロックを単位に符号化データを生成する画像符号化装置であって、
着目ブロック内の輝度成分、色差成分それぞれの複雑度を検出する検出手段と、
前記着目ブロック内の輝度成分、色差成分それぞれについて、互いに異なる複数の量子化パラメータを用いて仮のＤＰＣＭ符号化し、量子化パラメータ毎の符号量を求める第１の符号化手段と、
前記検出手段による検出の結果、前記第１の符号化手段で求めた量子化パラメータ毎の符号量、並びに、予め設定された目標符号量に基づき、前記着目ブロックに対してＤＰＣＭ符号化するか、ＰＣＭ符号化するか、並びに、ＤＰＣＭ符号化する場合には輝度成分に対して色差成分の量子化パラメータを小さくするためのオフセットを判定する判定手段と
該判定手段の判定の結果に基づき、前記着目ブロックから前記目標符号量の符号化データを生成する第２の符号化手段とを有し、
前記第２の符号化手段は、
該判定手段が、前記着目ブロックに対して前記ＰＣＭ符号化すると判定した場合、当該着目ブロックの輝度成分及び色差成分のデータをＰＣＭ符号化を行って、前記目標符号量の符号化データを生成し、
該判定手段が、前記着目ブロックに対して前記ＤＰＣＭ符号化し、前記オフセットを無しにすると判定した場合には、当該着目ブロックの輝度成分及び色差成分を同じ量子化パラメータを用いて、ＤＰＣＭ符号化して、前記目標符号量の符号化データを生成し、
該判定手段が、前記着目ブロックに対して前記ＤＰＣＭ符号化し、前記オフセットを設定すると判定した場合には、当該着目ブロックの輝度成分、前記色差成分に対して前記オフセットに従った量子化パラメータを用いて、ＤＰＣＭ符号化し、前記目標符号量の符号化データを生成することを特徴とする。

本発明によれば、単純な符号化処理でありながら、輝度成分の複雑度が高く、色差成分の複雑度が低いような画像に対して画質劣化を抑制でき、かつ、目標符号量の符号化データを生成することが可能になる。

実施形態の画像符号化装置のブロック構成図。 実施形態の画像復号装置のブロック構成図。 実施形態における符号化部のブロック構成図。 符号化対象のブロックの成分値の並びの例を示す図。 実施形態における符号化パラメータ決定部の処理内容を示すフローチャート。 実施形態における符号化パラメータ決定部における符号化モードの決定処理を示すフローチャート。 実施形態における目標符号量に対する量子化パラメータの決定処理を説明するための図。 実施形態における１ブロックの符号化データのデータ構造を示す図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下に示す実施形態における構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［第１の実施形態］
図１は、本実施形態に係る画像符号化装置の構成例を示すブロック図である。この画像符号化装置１００は、入力端子１０１、仮符号化処理部１１０、本符号化処理部１２０、および、出力端子１０２を有する。仮符号化処理部１１０は、複雑度検出部１１１、複数の符号化部１１２～１１４、符号化パラメータ決定部１１５から構成される。また、本符号化処理部１２０は、遅延部１２１、符号化部１２２、多重化部１２３、ＱＰ生成部１２４で構成されている。

本実施形態における画像符号化装置１００は、入力端子１０１から入力される画像データを符号化して符号化データを生成し、その符号化データを出力端子１０２よりストリームデータとして出力する。符号化対象の画像データは、予め設定されたブロック単位に入力端子１０１を介して入力されるものとする。また、符号化対象の画像データの信号フォーマットは、輝度成分Ｙ、色差成分Ｃｂ、ＣｒによるＹＣｂＣｒ４：２：２であり、各成分のビット深度は１０ビットとする。また実施形態では、符号化対象のブロックは、水平方向３２画素、垂直方向１画素の領域に対応する。そして、１ブロックに含まれる成分の内訳は、水平３２×垂直１画素分の輝度値Ｙ、水平１６×垂直１画素分の色差成分値Ｃｂ、および、水平１６×垂直１画素分の色差成分値Ｃｒの合計６４個の画素成分値で構成されるものとする。

なお、１つのブロック内の各成分は、ラスタースキャン順（画像の左から右方向に並んでいるものとする）に並んでいるものとする。また、実施形態において、画像データのビット数は１０ビットに限定されるものではなく、８ビット、１２ビットなどであってもよい。また、ブロックのサイズは水平３２画素×垂直１画素に限られるものではなく任意のサイズでよい。例えば水平８画素×垂直８画素のように２次元構造であってもかまわない。

本実施形態では、１ブロック分の画像データを６／１０の圧縮率で符号化されるものとして説明する。１ブロックには６４個の成分値が含まれ、各成分値は１０ビットとしているので、１ブロックのデータ量は、１０×６４＝６４０ビットであるので、１ブロックの符号化データの符号量は３８４ビット（＝６４０ビット×６／１０）になる。符号化対象のブロックの画像データの各成分は、図４に示すようにラスタースキャン順であって、Ｃｂ０、Ｙ０、Ｃｒ０、Ｙ１、・・・の順で多重化されて入力端子１０１を介し、画像符号化装置１００に入力されるものとする。

仮符号化処理部１１０内の符号化部１１１～１１４、および、本符号化処理部１２０内の符号化部１２２はともに同じ構成である。そこで、まず、図３を参照して、そのうちの１つを符号化部３００として説明する。

符号化部３００の外部からは、画像データ、量子化パラメータ（以降、ＱＰ）、符号化モードが入力されている。なお、ここで言う画像データは、図４に示す１ブロック内の各成分値であるが、便宜的に以下では各成分を、画素、画素データ、画素値としても説明する。

減算器３０１は、入力された画素値から、後述の予測値生成部３０５で生成された予測値を減算して、予測差分データを算出する。予測差分データは、正負の符号を持つデータであり、画素値の変動が比較的小さい平坦な部分では０付近の値となり、また、変動の大きいエッジ部分などでは大きな差分値になる。予測差分データは一般に０を中心としたラプラス分布の特性を持つ。

セレクタ３０７は２つの入力端子と１つの出力端子を有し、符号化モードに応じて、その２つの入力端子の一方に供給されたデータを選択し、出力端子より出力する。具体的には、セレクタ３０７は、ＤＰＣＭモードの場合は減算器３０１からの予測差分データを選択し、ＰＣＭモードの場合は入力された画素データを選択する。そして、セレクタ３０７は、選択したデータ（予測差分データまたは画素データ）を量子化部３０２に出力する。なお、符号化モードについては後述する。

量子化部３０２は、セレクタ３０７から出力されたデータを、設定されたＱＰに応じた量子化ステップ値を用いて量子化する。量子化部３０２は、量子化後のデータ（以降、量子化データ）を、逆量子化部３０３、可変長符号化部３０６および符号化部３００の外部に出力する。なお、量子化部３０２内には、外部から設定されるＱＰに対して実際に用いる量子化ステップ値（ただしゼロより大きい値）との関係を示すテーブルを保持しているものとする。ＱＰが大きくなればなるほど量子化ステップ値も大きくなる関係にある。

逆量子化部３０３は、量子化部３０２からの量子化データを、前記量子化部３０２と同じ量子化ステップ値を用いて逆量子する。

加算器３０４は、逆量子化された予測差分データと、後述の予測値とを加算し、復号値を算出する。

予測値生成部３０５は、符号化対象の画素値に対する予測値を、復号値から生成する。予測値生成部３０５には色成分Ｙ，Ｃｂ、Ｃｒそれぞれに少なくとも１画素分の復号値を保持するメモリ（保持手段）を有しており、符号化対象の成分値と同じ成分値の復号値を用いて予測値を生成する。例えば、符号化対象の成分値が輝度成分値の場合、その符号化対象の輝度成分値の左側（符号化済み）の最も近い輝度成分の復号値を、その予測値とする。なお、符号化ブロックの左端から３つの成分値については、それより左の復号値が存在しないので、所定の値を予測値として用いる。例えば信号レンジの中間値（ビット深度１０ビットの場合は中央の“５１２”）等をその所定の値として用いる。

可変長符号化部３０６は入力された量子化データに対して所定の可変長符号化方式による符号化を行って、画素毎に符号データと符号長（ビット数）を出力する。所定の可変長符号化方式とはハフマン符号、ゴロム符号などでよい。可変長符号化部３０６は、入力値が０の場合に最も短い符号長の符号データを出力し、入力値の絶対値が大きくなるほど、長い符号長の符号データを出力する。入力される予測差分データは前述のように０中心のラプラス分布特性であり、０付近の発生頻度が高く、予測差分データの絶対値が大きいほど発生頻度が低い。発生頻度の高い値に短い符号データを割り当て、発生頻度の低い値に長い符号データを割り当てる事により、符号化ブロック全体としては発生する符号長を小さくする事ができる所以である。

次に符号化モードについて説明する。実施形態における符号化部３００における符号化モードは、上記の通り、ＤＰＣＭモードとＰＣＭモードがある。ＤＰＣＭモードは減算器３０１で予測差分データを生成し、量子化部３０２で量子化し、可変長符号化部３０６で可変長符号化を行うモードであり、画像データやＱＰによって可変長の符号が生成される符号化モードである。一方、ＰＣＭモードは、入力された画像データをそのまま量子化部３０２で量子化して量子化データとして出力するモードであり、ＱＰによって固定長の符号が生成される符号化モードである。

以上、仮符号化処理部１１０内の符号化部１１１～１１４、本符号化処理部１２０内の符号化部１２２の構成と動作について説明した。次に、仮符号化処理部１１０について詳しく説明する。

符号化部１１２～１１４には、それぞれ異なるＱＰ（０～Ｎ）が設定されている。そして、符号化部１１２～１１４は、それぞれに設定されたＱＰに従って仮符号化を行い、生成される符号化データの符号長を符号化パラメータ決定部１１５に出力する。符号化対象の着目ブロック内の画素データは、図４に示すようにＣｂ０、Ｙ０、Ｃｒ０、Ｙ１・・・と１画素ずつ入力されるので、符号化部１１２～１１４それぞれは、この順番に符号した際に得られる符号長を出力することになる。

複雑度検出部１１１は、符号化対象の着目ブロックが示す画像の複雑度を、輝度成分と色差成分毎に算出し出力する。実施形態では、複雑度として分散を採用するものとする。したがって、輝度成分の複雑度は、輝度成分Ｙの画素値の分散となる。また、色差成分の複雑度は、成分値Ｃｂの分散と成分値Ｃｒの分散の平均値（平均分散）とする。複雑度検出部１１１は、算出された輝度成分の複雑度、色差成分の複雑度を符号化パラメータ決定部１１５に出力する。なお、ここでは複雑度として分散を求めるものとしたが、ブロック内での画素値の変動の程度を示す指標値であれば特にその種類は問わない。例えば演算を単純化させるために、精度が多少は落ちるが、成分値の最大値と最小値との差分を複雑度としてもよい。

符号化部１１２～１１４は前述の符号化部３００であり、量子化データ、符号データ、符号長を出力するが、この仮符号化処理部１１０は、各符号化部１１２～１１４から符号長のみを利用する。

符号化パラメータ決定部１１５は、符号化部１１２～１１４からの符号長と、複雑度検出部１１１からの輝度成分の複雑度と色差成分の複雑度を用いて、着目ブロックに対する符号化モード、最適なＱＰを決定する。特に、符号化パラメータ決定部１１５は、符号化モードとしてＤＰＣＭモードを決定した場合には、さらに、後述する色差優遇モードについても決定する。以下、符号化パラメータ決定部１１５における処理内容について詳細に説明する。

実施形態における、符号化パラメータ決定部１１５の処理手順について、図５を用いて説明する。なお、符号化パラメータ決定部１１５は、符号化部１１２～１１４に設定されているＱＰことを知っている（保持している）ものとする。

Ｓ５０１にて、符号化パラメータ決定部１１５は、着目ブロック内の各画素の符号長を、符号化部１１２～１１４から取得する。

次に、Ｓ５０２にて、符号化パラメータ決定部１１５は、取得した画素毎の符号長を累積して、着目ブロックの符号量を求める。ここで、符号化パラメータ決定部１１５は、量子化パラメータ毎（ＱＰ毎）に、輝度成分値（Ｙ０、Ｙ１，Ｙ２…）の符号量（符号長の合計）、色差成分値（Ｃｂ０，Ｃｒ０、Ｃｂ１，Ｃｒ１…）の符号量の算出を行う。ここで、ＱＰ値：ｑｐを要素とした場合、輝度成分の符号量をｂｌ＿ｓｉｚｅ＿ｙ［ｑｐ］、色差成分の符号量をｂｌ＿ｓｉｚｅ＿ｃ［ｑｐ］と定義する。符号化パラメータ決定部１１５内の不図示のメモリに、ｂｌ＿ｓｉｚｅ＿ｙ［ｑｐ］、色差成分の符号量をｂｌ＿ｓｉｚｅ＿ｃ［ｑｐ］を保持する。実施形態では、符号化パラメータが０乃至Ｎであるので、符号化パラメータ決定部１１５が有する不図示のメモリには、
ｂｌ＿ｓｉｚｅ＿ｙ［０］、ｂｌ＿ｓｉｚｅ＿ｃ［０］、
ｂｌ＿ｓｉｚｅ＿ｙ［１］、ｂｌ＿ｓｉｚｅ＿ｃ［１］、
：
ｂｌ＿ｓｉｚｅ＿ｙ［Ｎ］、ｂｌ＿ｓｉｚｅ＿ｃ［Ｎ］
が格納されることになる。

次に、Ｓ５０３にて、符号化パラメータ決定部１１５は、複雑度検出部１１１から着目ブロックの輝度成分の複雑度と色差成分の複雑度を取得する。ここで輝度成分の複雑度をｃｍｐｌｘ＿ｙ、色差成分の複雑度をｃｍｐｌｘ＿ｃと表現することとする。

Ｓ５０４にて、符号化パラメータ決定部１１５は、輝度成分の複雑度ｃｍｐｌｘ＿ｙ、色差成分の複雑度ｃｍｐｌｘ＿ｃを用いて色差優遇モードの有効／無効を決定する。

色差優遇モードが無効の場合は、輝度成分と色差成分は同じＱＰ値を用いて符号化され、輝度成分と色差成分の符号化誤差は同等となる。一方、色差優遇モードが有効の場合は輝度成分より色差成分に対して小さいＱＰ値を割り当て符号化する。つまり、輝度成分については或る程度の符号化誤差を許容する代わり、色差成分の符号化誤差を低減させるのが、色差優遇モード＝有効の場合である。

以下は、符号化パラメータ決定部１１５による、色差優遇モードの有効（ＴＲＵＥ）・無効（ＦＡＬＳＥ）の決定にかかる処理の具体例である。

符号化パラメータ決定部１１５は、輝度成分の複雑度ｃｍｐｌｘ＿ｙ、色差成分の複雑度ｃｍｐｌｘ＿ｃと、所定の輝度成分の複雑度の閾値ＴＨ＿ＣＭＰＬＸ＿Ｙ、所定の色差成分の複雑度の閾値ＴＨ＿ＣＭＰＬＸ＿Ｃを用いて、色差優遇モードｃａｒｅ＿ｍｏｄｅを以下の判定式により決定する。
if ((cmplx_y＞TH_CMPLX_Y) & (cmplx_c＜TH_CMPLX_C))
care_mode ＝ 有効（ＴＲＵＥ）
else
care_mode ＝ 無効（ＦＡＬＳＥ）

すなわち、輝度成分の複雑度ｃｍｐｌｘ＿ｙが所定の輝度成分の複雑度の閾値ＴＨ＿ＣＭＰＬＸ＿Ｙよりも大きく、かつ、色差成分の複雑度ｃｍｐｌｘ＿ｃが所定の色差成分の複雑度の閾値ＴＨ＿ＣＭＰＬＸ＿Ｃよりも小さい場合に、色差優遇モードを“有効”とし、それ以外の場合に、“無効”とする。

Ｓ５０５にて、符号化パラメータ決定部１１５は、輝度成分の符号量ｂｌ＿ｓｉｚｅ＿ｙ［ｑｐ］と、色差成分の符号量ｂｌ＿ｓｉｚｅ＿ｃ［ｑｐ］と、所定の色差ＱＰオフセット値ＯＦＦＳＥＴ＿ＱＰ＿Ｃ、並びに、Ｓ５０４で決定された色差優遇モード（有効or無効）に従って、着目ブロックの符号化における最適ＱＰを決定する。このＳ５０５の具体的な処理内容を図７のフローチャートに示す。

図６はＳ５０５の詳細な処理方法を示すフローチャートである。処理の概要としてはＱＰ毎の輝度成分と色差成分の符号量から着目ブロックの符号量を算出し、その符号量が目標符号量以下となる最も小さいＱＰを選定する事である。

Ｓ６０１にて、符号化パラメータ決定部１１５は、色差優遇モードｃａｒｅ＿ｍｏｄｅの有効（Ｔｒｕｅ）／無効（ＦＡＬＳＥ）を判定する。

色差優遇モードｃａｒｅ＿ｍｏｄｅが無効の場合、符号化パラメータ決定部１１５は処理をＳ６０２に進め、有効の場合は処理をＳ６０３に進める。

Ｓ６０２にて、符号化パラメータ決定部１１５は、変数ｏｆｆｓｅｔを値“０”に設定する。これは、色差優遇モードｃａｒｅ＿ｍｏｄｅが無効の場合、輝度成分に対するＱＰと色差成分に対するＱＰとを同じにする（オフセットを設けない）ためである。

Ｓ６０３にて、符号化パラメータ決定部１１５は、予め設定された所定の色差ＱＰオフセット値ＯＦＦＳＥＴ＿ＱＰ＿Ｃを変数ｏｆｆｓｅｔにセットする。これは輝度成分に対して色差成分の符号化誤差を小さくするためである。

次に、Ｓ６０４に進み、符号化パラメータ決定部１１５は、本処理において符号量算出に用いる変数ｑｐを“０”をセットすることで、初期化する。

Ｓ６０５には、符号化パラメータ決定部１１５は、次に色差成分用のＱＰである“ｑｐｃ”の算出を行う。色差成分用のＱＰ値“ｑｐｃ”は、ｑｐ値からｏｆｆｓｅｔを引いた数である。なお、負数にならないようＭＡＸ（）関数を用いて“０”にクリップさせている。色差優遇モードが無効の場合はｏｆｆｓｅｔ＝０となるのでｑｐ＝ｑｐｃとなる。色差優遇モードが有効の場合、ｑｐｃがｏｆｆｓｅｔ分、小さい値となる。ｑｐｃは以下のブロック全体の符号量の算出で用いられる。

Ｓ６０６にて、符号化パラメータ決定部１１５は着目ブロックの全体の符号量ｂｌ＿ｓｉｚｅ（ｑｐ）の算出を行う。

着目ブロックの全体の符号量ｂｌ＿ｓｉｚｅ（ｑｐ）は、輝度成分の符号量ｂｌ＿ｓｉｚｅ＿ｙ［ｑｐ］、色差成分の符号量ｂｌ＿ｓｉｚｅ＿ｃ［ｑｐｃ］と、符号化ブロック毎に必要なヘッダ情報の符号量ｂｌ＿ｓｉｚｅ＿ｈを加算する事により算出される。ここで色差成分の符号量の引数が「ｑｐｃ」となる点に注意されたい。

ヘッダ情報は例えば、符号化モードを示す１ビット、色差優遇モードが有効／無効かを示す１ビット、ＱＰ値を表す４ビットの計６ビットである。なお、ＱＰ値を表すビット数は、４ビットに限らず何ビットでも良い（ＱＰの最大値Ｎで決まる）。

次にＳ６０７にて、符号化パラメータ決定部１１５は、算出した着目ブロックの符号量ｂｌ＿ｓｉｚｅ（ｑｐ）が目標符号量ＴＡＲＧＥＴ＿ＳＩＺＥ（実施形態では３８４ビット）以下であるという条件を満たすか否か判定する。この条件を満たす場合、すなわち、符号化ブロックの符号量ｂｌ＿ｓｉｚｅ（ｑｐ）が目標符号量ＴＡＲＧＥＴ＿ＳＩＺＥ以下の場合、符号化パラメータ決定部１１５は処理をＳ６０８に移行する。

Ｓ６０８にて、符号化パラメータ決定部１１５は、この段階のｑｐ値が最適ＱＰとして変数ｓｅｌ＿ｑｐにｑｐ値をセットする。そして、Ｓ６１２にて、符号化パラメータ決定部１１５は、着目ブロックをＤＰＣＭ符号化するため、符号化モードｅｎｃ＿ｍｏｄｅをＤＰＣＭモードとして決定し、本処理を終了する。

一方、符号量ｂｌ＿ｓｉｚｅ（ｑｐ）が目標符号量ＴＡＲＧＥＴ＿ＳＩＺＥを超える場合、符号化パラメータ決定部１１５は処理をＳ６０９に移行する。このＳ６０９にて、符号化パラメータ決定部１１５は、ＱＰの許容最大値であるＭＡＸ＿ＱＰまで、ｑｐをインクリメントしたか否かを判定する。ＭＡＸ＿ＱＰまで到達していないと判定した場合、符号化パラメータ決定部１１５は処理をＳ６１０に進め、ｑｐを“１”だけ増加させ、ｑｐ値を更新する。そして、符号化パラメータ決定部１１５は、処理をＳ６０５に戻す。

上記処理を繰り返し、符号量ｂｌ＿ｓｉｚｅ（ｑｐ）が目標符号量ＴＡＲＧＥＴ＿ＳＩＺＥを超えると判定されたまま、ｑｐ値が許容最大ＱＰ値であるＭＡＸ＿ＱＰに到達してまった場合、符号化パラメータ決定部１１５は、処理をＳ６１１に進める。このＳ６１１にて、符号化パラメータ決定部１１５は、着目ブロックをＰＣＭ符号化するため、符号化モードｅｎｃ＿ｍｏｄｅをＰＣＭモードに設定し、本処理を終了する。

次に図７（ａ），（ｂ）を参照して具体的な符号量の一例を示しながら、最適ＱＰの選定について説明する。実施形態では、目標符号量ＴＡＲＧＥＴ＿ＳＩＺＥは３８４ビット、ＯＦＦＳＥＴ＿ＱＰ＿Ｃは８、ＭＡＸ＿ＱＰは１５であるものとする。

図７（ａ）は、着目ブロックに対して、ｏｆｆｓｅｔ＝０にし、ＱＰ：０～１５で仮符号化した際の輝度、色差それぞれの符号量及び合計符号量との関係を示している。ちょうど、着目ブロックに対し、符号化部１１２～１１３それぞれが符号化した際の輝度成分と色差成分の符号量を表していると考えると分かり易い。

着目ブロックに対して色差優遇モードｃｓａｒｅ＿ｍｏｄｅが“無効”と決定された場合、ヘッダ符号量、輝度成分符号量、色差成分符号量の合計が目標符号量の３８４以下となる最小のｑｐは、図７（ａ）から、合計が“３７９”ビットのｑｐ＝７の場合である。色差優遇モードが無効であるので、着目ブロック内の輝度、色差はともに同じｑｐ値を用いて量子化されることになる点に注意されたい。

図７（ｂ）は、色差優遇モードが“有効”の場合の、着目ブロックに対して、ＱＰ：０～１５で仮符号化した際の輝度、色差それぞれの符号量及び合計符号量との関係を示している。色差優遇モードが有効であるので、輝度成分の符号量に対し、色差成分の符号量はｑｐ－８だけずれた位置の符号量が示されている点に注意されたい。ｑｐが０～８の範囲で、色差成分の符号量が“１３５”となっているのは、ｑｐ－８の値が“０”にクリップされているためである。

さて、色差優遇モードが“有効”の場合、着目ブロックの符号量の合計が目標符号量の３８４以下となる最小のｑｐは、合計が３７８ビットのｑｐ＝１０の場合となる。

上記からわかるように、色差優遇モードが“無効”の場合は輝度成分、色差成分ともｑｐ＝７となるのに対して、色差優遇モードが“有効”の場合では輝度成分のｑｐは１０、色差成分のｑｐは２となることを意味する。つまり、色差優遇モードが“無効”の場合と比較して、輝度成分のＱＰが“３”高くなった代わりに、色差成分のＱＰは“５”低くなり、色差成分の符号化誤差を低減させる事ができる。

一般的な自然画の場合、輝度成分の複雑度と色差成分の複雑度は同程度であって、輝度成分と色差成分は同じＱＰ値を用いて符号化する事でそれぞれの符号化誤差は同等となり、主観的な画質評価においても輝度成分と色差成分は同等の画質となり好適と言える。しかし、輝度成分の複雑度が高く、色差成分の複雑度が低く、それが著しく差があるような場合、複雑度の高い輝度成分の画質劣化はあまり目立たないが、複雑度の低い色差成分の画質劣化が目立つというという現象が発生する。そこで、輝度成分の複雑度が高く、色差成分の複雑度が低い符号化ブロックは、色差優遇モードを有効にして符号化する事によって、色差成分の画質劣化を視覚的に目立たなくする効果がある。

上記のようにして、符号化パラメータ決定部１１５は、着目ブロックに対し、符号化モード、色差優遇モード、最適ＱＰ値を決定する。以降、これら符号化モード、色差優遇モード、最適ＱＰ値を、符号化パラメータと呼ぶ。そして、符号化パラメータ決定部１１５は決定した符号化パラメータを本符号化処理部１２０に出力する。

次に、実施形態における本符号化処理部１２０の処理内容について説明する。

符号化対象の着目ブロックの画像データは遅延部１２１に入力される。この遅延部１２は、上記の仮符号化処理部１００内の符号化パラメータ決定部１１５が符号化パラメータを決定するに要する時間だけ遅延させるものであり、少なくとも１ブロック分の容量を持つバッファメモリで構成すればよい。

これにより、符号化部１２２は、仮符号化処理部１００で決定した符号パラメータに従って、着目ブロックの符号化を行うことが可能になる。

符号化部１２２は、先に示した符号化部３００の構造を有し、仮符号化処理部１００で符号化パラメータを用いて、遅延部１２１で遅延して入力される着目ブロックの本符号化処理を実行する。この結果、符号化部１２２は、符号化パラメータ決定部１１５で算出したブロック符号量と同じ符号量の符号化データを生成し、多重化部１２３に出力することになる。

ＱＰ生成部１２４は、色差優遇モードが無効の場合、着目ブロック内の全画素（全成分）について、設定されたＱＰをそのまま符号化部１２２に供給する。

一方、色差優遇モードが有効の場合、ＱＰ生成部１２４は、色成分の種類に応じたＱＰを生成し、符号化部１２２に供給する。具体的には、ＱＰ生成部１２４は、輝度成分が符号化されるタイミングでは、設定されたＱＰを符号化部１２２に供給する。一方、色差成分が符号化されるタイミングでは、ＱＰ生成部１２４は、「ＱＰ－ＯＦＦＳＥＴ＿ＱＰ＿Ｃ」（実施形態では「ＱＰ－８」）を符号化部１２２に供給する。ただし、「ＱＰ－ＯＦＦＳＥＴ＿ＱＰ＿Ｃ」が負となる場合には、ＱＰ生成部１２４は“０”をＱＰとして符号化部１２２に供給する。

多重化部１２３は、符号化部１２２からの符号データ、符号長、量子化データ、符号化パラメータ決定部１１５からの符号化パラメータを入力し、ブロック毎に所定のフォーマットで多重化を行い、出力する。具体的な出力フォーマットを図８（ａ）、（ｂ）を参照して以下に説明する。

図８（ａ）は、符号化モードがＤＰＣＭモード時の１ブロック分の符号化データ構造を示している。ブロックの全体の符号化データ９０１（３８４ビット）は、ヘッダ部９０２（６ビット）と、ペイロードである画素データ部９０３（３７８ビット）から構成される。

ヘッダ部９０２は、符号化モード９０４（１ビット）、色差優遇モード９０５（１ビット）、最適ＱＰ値９０６（４ビット）で構成される。続いて画素データ部９０３には画素数分（６４画素分）の可変長の符号化データが格納される。なお、符号化モード９０４は、ＤＰＣＭモードであることを示す値（例えば“１”）を持つことになる。

なお、図８（ａ）のｑｐ＝７のように、輝度成分と色差成分の合計符号量“３７３”（＝３１２＋６１）ビットであり、ペイロード部として確保された“３７８”ビットに満たない場合には、後端に不足分のダミービットを付加することで、固定長の目標符号量の符号化データとする。

図８（ｂ）は符号化モードがＰＣＭモード時の符号化フォーマットのデータ構造を表す図である。ＰＣＭモードの場合、ブロックの全体の符号化データ９１１（３８４ビット）は、ヘッダ部９１２（１ビット）と、画素データ部９１３（３８３ビット）から構成される。ヘッダ部９１２には、ＰＣＭモードであること（非ＤＰＣＭモードであること）を示す値（例えば“０”）が格納される。そして、後続する画素データ部９１３には画素数分（６４画素分）のＰＣＭデータが格納される。

ここでＰＣＭモード時の符号化方法について説明する。ＰＣＭモードは、上記説明からわかるように、ＤＰＣＭモードでは目標符号量以下とならなかった場合（Ｓ６０９がＮｏと判定された場合）に用いられる符号化モードである。データ構造は図８（ｂ）に示すようにヘッダ部にＰＣＭモードを示す符号化モード１ビットと、画素データ部のＰＣＭデータで構成されている。ＰＣＭデータは全画素を固定長に量子化されたデータが格納される。１つのブロックには６４個の成分値が格納されているので、１成分当たり６ビットとすると、３８４（＝６×６４）ビット分必要になり、確保された３８３ビットより１ビット多くなってしまう。そこで、本実施形態では、輝度成分の最初の輝度成分Ｙ０を５ビットに量子化し、他の３１個の輝度成分値と、３２個の色差成分値については６ビットに量子化する。こうすることで、ヘッダ部１ビットと画素データ部３８３ビットあわせて３８４ビットに符号化データとすることができる。なお、５ビットにする輝度成分の位置は、最初とするではなく、中央、最後尾など、どこでもあってもかまわない。要するに、復号装置と共通の認識であればよい。

実施形態のＱＰ生成部１２４について更に詳しく説明する。ＱＰ生成部１２４は、符号化モードがＤＰＣＭモードで、かつ色差優遇モードが無効の場合は、輝度成分、色差成分を問わず、符号化パラメータ１１５が決定した最適ＱＰが適用されるようにＱＰを生成して出力する。そして、符号化モードがＤＰＣＭモードで、かつ色差優遇モードが有効の場合は、輝度成分のＱＰは符号化パラメータ１１５が決定した最適ＱＰを生成し、色差成分については、符号化パラメータ１１５が決定した最適ＱＰより所定のオフセット（ＯＦＦＳＥＴ＿ＱＰ＿Ｃ）分小さいＱＰが適用されるようにＱＰを生成して出力する。ただし、ＱＰ生成部１２４、オフセットを減じた値が負になる場合には、“０”を生成し出力する。

そして、符号化モードがＰＣＭモードの場合は、ＱＰ生成部１２４は、上記に述べたＰＣＭモード時の量子化がなされるようにＱＰを生成して出力する。例えば、輝度成分の最初の画素だけ５ビットに量子化されるＱＰが適用され、その他の画素に対しては６ビットに量子化されるＱＰが適用されるようにＱＰを生成して出力する。そして、ＰＣＭモードの場合、符号化部１２２は、量子化後のデータをそのまま符号化データとして出力すればよいであろう。

多重化部１２３は、上記のようにして生成されたヘッダ部と画素データ部とを多重化し、出力端子１０２を介して、不図示の画像メモリ、バスインターフェースに出力する。

次に、図２を参照して、実施形態における画像復号装置について説明する。同図は、画像復号装置のブロック構成図である。以下、本実施形態の画像復号化装置の構成例において各ブロックの動作について説明する。画像復号装置２００は、入力端子２０１、分離部２０３、可変長復号部２０４、加算器２０５、セレクタ２０６、逆量子化部２０７、予測部２０８、ＱＰ生成部２０９、および、出力端子２０２で構成されている。

不図示の画像メモリに格納された、画像符号化装置１００で生成された符号化データは、バスインターフェースを介して読み出され、入力端子２０１に入力され、分離部２０３に供給される。

分離部２０３は、入力したストリームデータを所定のフォーマットに従ってデコードして、符号化モード、色差優遇モード、ＱＰ値、符号データを分離し、処理サイクル毎に順次出力する。そして、先頭の１ビットがＰＣＭモードを示す場合、分離部２０３は、画素データが量子化データであると判定し、セレクタ２０６に出力する。また、先頭の１ビットがＤＰＣＭモードを示している場合、分離部２０３は、符号化画素データは可変長データとして可変長復号化部２０４に出力する。

可変長復号化部２０４は入力されたＤＰＣＭデータの可変長復号を行って復号して得た予測差分データを加算器２０５に出力する。

セレクタ２０６は符号化モードがＰＣＭモードの場合は、分離部２０３からの量子化データを選択する。また、符号化モードがＤＰＣＭモードの場合は、セレクタ２０６は可変長復号部２０４からの予測差分データを選択し、逆量子化部２０１７へ出力する。

ＱＰ生成部２０９は、分離部２０３でデコードされた符号化モード、最適ＱＰ値に応じて、符号化ブロックの成分毎のＱＰを生成して逆量子化部２０７へ出力する。生成されるＱＰ値は符号化装置１００におけるＱＰ生成部１２４と同じなので詳細な説明は省略する。

逆量子化部２０７はＱＰ値を用いて、セレクタ２０６からの予測差分データを逆量子化して、加算器２０５とセレクタ２０９に出力する。

加算器２０５は、後述の予測部２０８からの予測値と予測差分データを加算して復号値として、予測生成部２０８とセレクタ２０９に出力する。

予測値生成部２０８は復号値から予測値を生成する。予測値生成部２０８には色成分毎に少なくとも１個の復号値を保持する保持手段を有しており、符号化対象色成分と同じ色成分の復号値を用いて予測値が生成される。例えば、符号化対象が輝度成分Ｙである場合、同じ輝度成分であり、その左側（復号済み）で最も近い位置の復号値を予測値とする。なお、符号化ブロックの最初の画素は復号値が存在しないので、所定の値を予測値として用いる。例えば信号レンジの中間値（ビット深度１０ビットの場合は５１２）等を用いる。

セレクタ２０９は符号化モードがＰＣＭモードの場合は、逆量子化２０７からの、ＰＣＭ復号データを選択し、符号化モードがＤＰＣＭモードの場合は加算器２０５からのＤＰＣＭ復号値を選択して出力する。出力された復号データは出力端子２０２を介し、外部へと出力される。

以上説明したように本実施形態によれば、単純な符号化処理でありながら、輝度成分の複雑度が高く、色差成分の複雑度が低いような画像に対して画質劣化を抑制でき、かつ、目標符号量の符号化データを生成することが可能になる。

なお、上記実施形態に相当する処理や制御を、コンピュータプログラムで実現させても構わない。この場合、図１に示す各種処理部は、プログラムを構成するプロシージャや関数で実現することになる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…画像符号化装置、１０１…入力端子、１０２…出力端子、１１０…仮符号化処理部、１１１…複雑度検出部、１１２～１１４…符号化部、１１５…符号化パラメータ決定部、１２０…本符号化処理部、１２１…遅延部、１２２…ＱＰ生成部、１２３…符号化部、１２３…多重化部

Claims (7)

1. 輝度成分と色差成分で構成される画像データから、予め設定されたサイズのブロックを単位に入力し、当該ブロックを単位に符号化データを生成する画像符号化装置であって、
   着目ブロック内の輝度成分、色差成分それぞれの複雑度を検出する検出手段と、
   前記着目ブロック内の輝度成分、色差成分それぞれについて、互いに異なる複数の量子化パラメータを用いて仮のＤＰＣＭ符号化し、量子化パラメータ毎の符号量を求める第１の符号化手段と、
   前記検出手段による検出の結果、前記第１の符号化手段で求めた量子化パラメータ毎の符号量、並びに、予め設定された目標符号量に基づき、前記着目ブロックに対してＤＰＣＭ符号化するか、ＰＣＭ符号化するか、並びに、ＤＰＣＭ符号化する場合には輝度成分に対して色差成分の量子化パラメータを小さくするためのオフセットを判定する判定手段と、
   該判定手段の判定の結果に基づき、前記着目ブロックから前記目標符号量の符号化データを生成する第２の符号化手段とを有し、
   前記第２の符号化手段は、
   該判定手段が、前記着目ブロックに対して前記ＰＣＭ符号化すると判定した場合、当該着目ブロックの輝度成分及び色差成分のデータをＰＣＭ符号化を行って、前記目標符号量の符号化データを生成し、
   該判定手段が、前記着目ブロックに対して前記ＤＰＣＭ符号化し、前記オフセットを無しにすると判定した場合には、当該着目ブロックの輝度成分及び色差成分を同じ量子化パラメータを用いて、ＤＰＣＭ符号化して、前記目標符号量の符号化データを生成し、
   該判定手段が、前記着目ブロックに対して前記ＤＰＣＭ符号化し、前記オフセットを設定すると判定した場合には、当該着目ブロックの輝度成分、前記色差成分に対して前記オフセットに従った量子化パラメータを用いて、ＤＰＣＭ符号化し、前記目標符号量の符号化データを生成する
   ことを特徴とする画像符号化装置。
2. 前記検出手段は、前記着目ブロック内の輝度成分、色差成分の分散を、それぞれの成分の複雑度として検出することを特徴とする請求項１に記載の画像符号化装置。
3. 前記判定手段は、
   前記着目ブロック内の輝度成分の複雑度が予め設定された輝度成分の閾値より大きく、かつ、前記着目ブロック内の色差成分の複雑度が予め設定された色差成分の閾値より小さいという条件を満たすか否かを判定し、
   前記条件を満たすと判定した場合に前記オフセットを設定すると判定し、
   前記条件を満たさない場合に前記オフセットを無しにすると判定する
   ことを特徴とする請求項１又は２に記載の画像符号化装置。
4. １つのブロックの符号化データのヘッダ部のサイズをｂｌ＿ｓｉｚｅ＿ｈとし、
   第ｉ番目の量子化パラメータに従って前記着目ブロックの輝度成分をＤＰＣＭ符号化した際の符号量をｂｌ＿ｓｉｚｅ＿ｙ（ｉ）、色差成分をＤＰＣＭ符号化した際の符号量をｂｌ＿ｓｉｚｅ＿ｃ（ｉ）とし、
   前記目標符号量をＴＡＲＧＥＴ＿ＳＩＺＥとし、
   量子化パラメータの許容最大値をＮとし、
   オフセットを設定すると判定された場合に予め設定された値を持ち、オフセットを無しと判定された場合の値“０”を持つ値をｏｆｆｓｅｔと定義したとき、
   前記判定手段は、前記Ｎ以下であって、
   ＴＡＲＧＥＴ＿ＳＩＺＥ≧｛ｂｌ＿ｓｉｚｅ＿ｈ＋ｂｌ＿ｓｉｚｅ＿ｙ（ｊ）＋ｂｌ＿ｓｉｚｅ＿ｃ（ｊ－ｏｆｆｓｅｔ）｝
   を満たす最小の整数ｊを求め、
   前記着目ブロックの輝度成分に対する量子化パラメータをｊ、
   前記着目ブロックの色差成分に対する量子化パラメータをｊ－ｏｆｆｓｅｔ
   として判定することを特徴とする請求項１乃至３のいずれか１項に記載の画像符号化装置。
5. 前記判定手段は、前記Ｎ以下であって、
   ＴＡＲＧＥＴ＿ＳＩＺＥ≧｛ｂｌ＿ｓｉｚｅ＿ｈ＋ｂｌ＿ｓｉｚｅ＿ｙ（ｊ）＋ｂｌ＿ｓｉｚｅ＿ｃ（ｊ－ｏｆｆｓｅｔ）｝
   を満たす最小の整数ｊを求めることができなかった場合、前記着目ブロックに対してＰＣＭ符号化を行うと判定する
   ことを特徴とする請求項４に記載の画像符号化装置。
6. 輝度成分と色差成分で構成される画像データから、予め設定されたサイズのブロックを単位に入力し、当該ブロックを単位に符号化データを生成する画像符号化装置の制御方法であって、
   着目ブロック内の輝度成分、色差成分それぞれの複雑度を検出する検出工程と、
   前記着目ブロック内の輝度成分、色差成分それぞれについて、互いに異なる複数の量子化パラメータを用いて仮のＤＰＣＭ符号化し、量子化パラメータ毎の符号量を求める第１の符号化工程と、
   前記検出工程による検出の結果、前記第１の符号化工程で求めた量子化パラメータ毎の符号量、並びに、予め設定された目標符号量に基づき、前記着目ブロックに対してＤＰＣＭ符号化するか、ＰＣＭ符号化するか、並びに、ＤＰＣＭ符号化する場合には輝度成分に対して色差成分の量子化パラメータを小さくするためのオフセットを判定する判定工程と、
   該判定工程の判定の結果に基づき、前記着目ブロックから前記目標符号量の符号化データを生成する第２の符号化工程とを有し、
   前記第２の符号化工程では、
   該判定工程が、前記着目ブロックに対して前記ＰＣＭ符号化すると判定した場合、当該着目ブロックの輝度成分及び色差成分のデータをＰＣＭ符号化を行って、前記目標符号量の符号化データを生成し、
   該判定工程が、前記着目ブロックに対して前記ＤＰＣＭ符号化し、前記オフセットを無しにすると判定した場合には、当該着目ブロックの輝度成分及び色差成分を同じ量子化パラメータを用いて、ＤＰＣＭ符号化して、前記目標符号量の符号化データを生成し、
   該判定工程が、前記着目ブロックに対して前記ＤＰＣＭ符号化し、前記オフセットを設定すると判定した場合には、当該着目ブロックの輝度成分、前記色差成分に対して前記オフセットに従った量子化パラメータを用いて、ＤＰＣＭ符号化し、前記目標符号量の符号化データを生成する
   ことを特徴とする画像符号化装置の制御方法。
7. コンピュータが読み込み実行することで、前記コンピュータに、請求項１乃至５のいずれか１項に記載の装置の各手段として機能させるためのプログラム。

Images