JP2947444B2 - カラー画像符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】画像情報の伝送、表示、蓄積等に
於て画像信号をより少ない符合量でディジタル化する高
能率符号化装置に係わり、特にカラー画像を対象とする
符号化装置に関する。

【０００２】

【従来の技術】画像の高能率符号化では、離散コサイン
変換（以下、ＤＣＴとも記す）に代表される直交変換を
用いて、ブロック単位で符号化するのが一般的となって
いる。ブロックの大きさは８×８サンプルなどで、７２
０×４８０画素の画像なら一画面が９０×６０のブロッ
クに区切られることになる。また、４：２：２のディジ
タルコンポーネント信号規格（ＣＣＩＲ Ｒｅｃ．６０
１）では、色差信号は輝度信号に対して１／２にサブサ
ンプルされている。

【０００３】また、高能率符号化では、４：２：０と呼
ばれる垂直にも１／２にサブサンプルされている信号が
多く用いられる。このように輝度信号と色差信号とで
は、振幅とサンプル密度が異なるが、高能率符号化では
両者を同じように処理するのが一般的である。この場
合、再生画像に於て色差成分は輝度成分より劣化が大き
くなる。しかし、色差成分は輝度成分に対し、視覚的に
劣化が目立ち難いので、むしろ合理的な符号化となる。

【０００４】以下、従来の符号化装置について図４を基
に説明する。図４は従来の符号化装置の一例を示す構成
図である。図４に於いて、画像入力端子１より入力され
た画像信号は、ＤＣＴ５とアクティビティ検出器４１と
に与えられる。前記画像信号の入力は輝度信号（Ｙ）と
色差信号（Ｃｂ、Ｃｒ）が時分割で入力される。前記色
差信号Ｃｂは（Ｂ（青色信号）−Ｙ） であり、Ｃｒは
（Ｒ（赤色信号）−Ｙ） である。前記色差信号は垂
直、水平共に１／２にサブサンプルされているもので、
輝度信号１６×１６サンプルに色差信号８×８サンプル
が対応する。この様子を図６に示す。

【０００５】図６は輝度信号と色差信号のブロックを示
す図である。図６に於いて、ＤＣＴブロックが８×８サ
ンプルとすると１６×１６サンプルのＹ信号はＹ１、Ｙ
２、Ｙ３、Ｙ４の４ブロックに分割され、この４ブロッ
クに対して、前記Ｃｒの１ブロックとＣｂの１ブロック
とが対応することになり、量子化などの信号処理はこの
組み合わせの単位で行われる。図４に於いて、ＤＣＴ５
では、離散コサイン変換（ＤＣＴ）が行われ、変換され
た係数は量子化器７に与えられる。

【０００６】量子化器７では量子化制御器６から与えら
れるステップ幅で量子化され、固定長符号が可変長符号
化器８に与えられると共に、量子化ステップ幅の情報も
可変長符号化器８に与えられる。可変長符号化器８では
固定長符号が可変長符号化されて圧縮された符号とな
り、前記量子化ステップ幅の情報と多重化されバッファ
９に与えられる。バッファ９では可変長符号化により変
動した発生符号量が一定にされ、符号が符号出力端子１
０より出力される。また、バッファ９からはバッファ９
の充足度の情報が量子化制御器６に与えられる。

【０００７】一方、アクティビティ検出器４１では、入
力画像のブロック毎のアクティビティが検出される。こ
のアクティビティは具体的にはブロック内画素の分散値
などであり、検出されたアクティビティ情報は量子化制
御器６に与えられる。量子化制御器６では、バッファ９
の充足度の情報と前記アクティビティ情報とから量子化
ステップ幅が決められ、その情報が量子化器７に与えら
れる。前記量子化ステップ幅は、バッファ９に符号が多
く溜まっている場合には大きくされ、少ない場合には細
かくされる。また前記アクティビティが大きな場合には
量子化は粗くされ、小さな場合には細かくされる。

【０００８】以下、従来の復号装置について図５を基に
説明する。図５は従来の復号装置の一例を示す構成図で
ある。図５に於いて、符号入力端子５１より与えられた
符号はバッファ９に与えられる。バッファ９では、固定
転送速度で入力された符号が可変長復号処理に合わせて
可変速度で可変長復号器５２に与えられる。可変長復号
器５２では可変長符号が固定長に戻され、得られた固定
長符号と分離された量子化ステップ幅の情報とが逆量子
化器２４に与えられる。

【０００９】逆量子化器２４では、与えられた量子化ス
テップ幅の情報に合わせて固定長符号に対応する量子化
代表値が求められ、ＤＣＴ係数が再生される。このＤＣ
Ｔ係数は逆ＤＣＴ２５に与えられる。逆ＤＣＴ２５で
は、ＤＣＴの逆変換処理が行われ、再生された画像は画
像出力端子５３より出力される。

【００１０】

【発明が解決しようとする課題】カラ−画像の高能率符
号化では、輝度信号及び色差信号の信号形態で符号化さ
れるのが一般的である。しかし、撮像時のγ補正により
完全な定輝度原理の状態とはなっておらず、彩度（色の
濃さ）に応じて、輝度成分が色差信号となって伝送され
る。即ち色差信号の中に輝度信号が混入されて伝送され
る。これらについては、電子通信学会 技術報告ＩＥ７
６−９（１９７６）の第２９頁〜第３８頁 「現行カラ
ーカラーテレビ系の問題点と高品位カラーテレビ方式」
に説明されている。ここに色差信号は輝度信号と同じ振
幅に揃えるため振幅の圧縮がされており、さらにサブサ
ンプルされているので、輝度信号と色差信号を同じよう
に処理する高能率符号化では、輝度信号に対して色差信
号の方が劣化が大きくなる。

【００１１】このような状態でも、色差成分は視覚的に
誤差が検知され難いので問題ないが、色差信号となって
伝送される輝度成分の劣化が問題になる。結果として彩
度の高い部分では、多くの輝度成分が色差信号に混入し
て伝送され、その分輝度信号として伝送される割合が少
なくなり、輝度成分の劣化が大きくなって画質が低下す
る。また、肌色など人間の視覚特性で誤差が検知され易
い色では、同じ量子化誤差でも画質劣化が目立ち易い。
本発明のカラー画像符号化装置は上記問題点に鑑みてな
されたもので、その目的は、カラー画像の局部的な劣化
を補償した符号化装置を提供することである。具体的に
は、γ補正により彩度の高い部分で画質が劣化するのを
補償するようにした、或いは人間の色に対する視感度特
性を利用して画質を改善するようにしたカラー画像符号
化装置を提供することである。

【００１２】

【課題を解決するための手段】本発明のカラー画像符号
化装置は、輝度信号と色差信号とを夫々符号化する際
に、色差信号の絶対値に応じて量子化ステップ幅を変え
るようにしたカラー画像符号化装置である。即ち、画像
信号における輝度信号と色差信号とを符号化するカラー
画像符号化装置に於いて、前記色差信号の絶対値を求め
該絶対値を前記画像信号の彩度として検出する彩度検出
手段と、前記彩度が高いほど量子化ステップ幅を細かく
するようにした量子化手段とを備えてなるカラー画像符
号化装置である。また、前記彩度検出手段に於いて色差
信号の絶対値を求める際に、色差信号の低い周波数成分
に対する絶対値を検出するようにしたカラー画像符号化
装置である。さらに、本発明のカラー画像符号化装置
は、画像信号における輝度信号と２つの色差信号とを符
号化するカラー画像符号化装置に於いて、処理対象ブロ
ックにおける前記輝度信号と前記２つの色差信号のそれ
ぞれについて平均レベルを求め、該夫々の平均レベルに
対して、前記した夫々の信号ごとに定められた変換係数
を乗算し、得られる３値を乗算して、処理対象ブロック
の色相が所定の色相であるか否かを示す特定色適合度を
得る特定色検出手段と、前記処理対象ブロックの符号化
に際して、前記特定色適合度の値が大きいほど量子化ス
テップ幅を細かくするように制御する量子化制御手段と
を備えてなるカラー画像符号化装置である。

【００１３】

【作用】本発明では、色差信号の絶対値が検出され、そ
の値に応じて量子化ステップ幅が制御される。例えば、
色差信号の絶対値が大きな場合に量子化ステップ幅が細
かくされる。色差信号は色の濃さを表すものであり、そ
の絶対値が大きい部分は彩度の高い（色の濃い）部分で
ある。従って、色差信号の絶対値が大きな部分での量子
化では量子化ステップ幅が相対的に細かくされ、その部
分の画質が改善され、彩度が高いことによって生じてい
た輝度信号の画質劣化が補償される。また、人物の肌な
ど視覚的に画質劣化が目立ち易い色の部分で量子化ステ
ップ幅を相対的に小さくすることで、その部分の画質が
改善され、視覚的な劣化が目立ち難くなる。

【００１４】

【実施例】以下、本発明のカラー画像符号化装置の実施
例について説明するが、復号装置は図５に示す従来例装
置を用いるものとして説明する。以下に、本発明のカラ
ー画像符号化装置の第１の実施例について図１を基に説
明する。図１は本発明に係わるカラー画像符号化装置の
第１実施例を示す構成図である。 図１に於いて、図４
に示す従来例と同一機能で同一作用を呈するものには同
一の符号を付し、その説明を省略する。

【００１５】図１に示す第１実施例では、図４に示すア
クティビティ検出器４１の代わって、低域通過フィルタ
（ＬＰＦ）２とスイッチ３と彩度検出器４とで構成され
る彩度検出手段２０が設けられている点が構成上異な
る。量子化手段３０は従来例で述べた量子化制御器６と
量子化器７とからなるが、前記彩度検出手段２０の出力
が量子化制御器６に入力される。前記彩度検出手段２０
では色差信号の絶対値から画像信号の彩度が検出され、
前記量子化手段３０では、前記彩度検出手段の出力に応
じて量子化ステップ幅が制御される。

【００１６】図１に於いて、画像入力端子１より時分割
で入力された輝度信号（Ｙ）と色差信号（Ｃｒ、Ｃｂ）
は、ＤＣＴ５とスイッチ３とに与えられる。前記各信号
は夫々８ビットで、０から２５５の値を持つ。ＤＣＴ
５、量子化器７、可変長符号化器８、バッファ９の動作
は従来例と同じであり、圧縮された符号が符号出力端子
１０より出力される。スイッチ３は入力された画像信号
が色差信号のタイミングで接続され、色差信号のみが選
択的にＬＰＦ２に与えられる。ＬＰＦ２では色差信号の
８×８画素のブロックが４分割され、この分割された各
ブロックの４×４画素の平均値が求められる。この様子
が図７に示されている。

【００１７】図７はＬＰＦを介して平均値を検出する処
理ブロックを示す図である。図７に示すように、図６に
示す処理単位に於て、Ｃｂに対して平均値Ａb00,Ａb10,
Ａb01,Ａb11 の４値、Ｃｒに対して平均値Ａr00,Ａr10,
Ａr01,Ａr11 の４値が検出され、前記平均値８値が彩度
検出器４に与えられる。図１に於いて、彩度検出器４で
は、前記した平均値８値の夫々の絶対値が算出され、こ
の各絶対値の内の最大値Ｃmax が検出され、量子化制御
器６に与えられる。

【００１８】量子化制御器６では前記最大値Ｃmax から
適応量子化係数ＡＱが求められ、バッファ充足度で決ま
る量子化ステップ幅に前記ＡＱが乗じられて、最終的な
量子化ステップ幅が得られ、得られた量子化ステップ幅
は量子化器７に与えられる。前記適応量子化係数ＡＱと
前記最大値Ｃmax との関係は図８に示すような特性とな
っているが、前記ＡＱは、小さ過ぎると非常に多くの符
号が発生する可能性があるので、０．５乃至１とされ
る。本実施例では、画像の内容に応じて量子化ステップ
幅を制御する適応量子化処理が、色差信号に基づいて検
出が行われ、輝度信号と色差信号の両方の量子化に対し
て作用することになる。

【００１９】この適応量子化処理は輝度成分の劣化に対
する補償であるが、彩度が高い部分では輝度成分は輝度
信号と色差信号の両方で伝送されるので、両者に対して
量子化の制御を行うのが適切になる。なお、色差信号は
既にサブサンプルされているため、前記適応量子化処理
は輝度成分の劣化を完全に打ち消す形で補償するもので
はなく、彩度が高くない部分との画質バランスを改善す
るものである。また、従来例のように視覚特性に基くも
のではなく、あくまで信号処理に基くものである。

【００２０】以下に、本発明のカラー画像符号化装置の
第２の実施例について図２を基に説明する。図２は本発
明に係わるカラー画像符号化装置の第２実施例を示す構
成図である。 図２に示す実施例はフレーム間予測符号
化の場合であり、図１に示す第１実施例と対応する部分
には同一符号が付されている。図２に示す第２実施例で
は、図１に示す第１実施例に比し、フレーム間予測器２
１、予測信号減算器２２、予測信号加算器２３、逆ＤＣ
Ｔ２４、逆量子化器２５が設けられている点が構成上異
なる。

【００２１】図２に於いて、画像入力端子１より入力さ
れた画像信号は、予測信号減算器２２とスイッチ３とに
与えられる。予測信号減算器２２では、入力画像信号か
らフレーム間予測器２１によって供給される予測信号が
減算され、減算の結果得られた予測残差信号がＤＣＴ５
に与えられる。ＤＣＴ５、量子化器７、可変長符号化器
８、バッファ９の動作は従来例と同じであり、圧縮され
た符号が符号出力端子１０より出力される。量子化器７
から固定長符号が逆量子化器２５に与えられ、逆量子化
器２５では固定長符号が代表値に置き換えられてＤＣＴ
係数が再生される。この再生されたＤＣＴ係数は逆ＤＣ
Ｔ２４に与えられる。逆ＤＣＴ２４では、ＤＣＴの逆変
換処理が行われ、再生された予測残差信号は予測信号加
算器２３に与えられる。

【００２２】予測信号加算器２３では、フレーム間予測
器２１から与えられる予測信号が前記再生された予測残
差信号に加算されて再生画像信号となり、フレーム間予
測器２１に与えられる。フレーム間予測器２１では再生
画像信号が１フレーム遅延されて、フレーム間の予測信
号が生成され、それが予測信号減算器２２と予測信号加
算器２３とに与えられる。一方、ＬＰＦ２、スイッチ３
の動作は図１の場合と同じである。彩度検出器２６で
は、より正確な補償を行うために、図１に示す彩度検出
器４とはやや異なる処理が行われる。ＬＰＦ２で得られ
たＡbij 、Ａrij は次式によりＢijに変換され、４値の
Ｂijの中から最大値が求められる。ここで、αはＣｒ、
Ｃｂの値によって決められる補正係数で、同じ彩度でも
色によって劣化の程度が異なるので、それを補償するた
めに用いられる。

【００２３】 Ｂij＝α（｜Ａｂij｜＋｜Ａｒij｜） α＝０．５ Ｃｒ≧０ かつ Ｃｒ≧Ｃｂ （Ｒ
領域） α＝０．３ Ｃｂ＜０ かつ Ｃｒ＜０ （Ｇ
領域） α＝０．７ Ｃｂ≧０ かつ Ｃｂ＞Ｃｒ （Ｂ
領域） この実施例では適応量子化処理は、入力画像信号に対し
て検出が行われ、予測残差信号の量子化に対して作用す
ることになる。予測残差信号で検出を行っても彩度は検
出できないので、入力画像信号に基づいて検出が行われ
る。

【００２４】以下に、本発明のカラー画像符号化装置の
第３の実施例について図３を基に説明する。図３は本発
明に係わるカラー画像符号化装置の第３実施例を示す構
成図である。 図３に於いて、図１に示す構成図と同一
機能、同一作用を呈するものには同一の符号を付しその
説明を省略する。図３に示す構成図と図１に示す構成図
との違いは、彩度検出手段２０に代わって、低域通過フ
ィルタ（ＬＰＦ）３３と色判定器３１と最大値検出器４
Ａとからなる特定色検出手段４０が設けられている点で
あり、量子化手段３０Ａと量子化手段３０とでは入力信
号が異なるだけである。前記特定色検出手段４０では、
輝度信号と色差信号とから被符号化画像の各部の色相が
所定色相であるかどうかの判断がなされる。

【００２５】図３に於いて、画像入力端子１より入力さ
れた画像信号は、ＤＣＴ５とＬＰＦ３３に与えられる。
ＤＣＴ５、量子化器７、可変長符号化器８、バッファ９
の動作は従来例と同じであり、圧縮された符号が符号出
力端子１０より出力される。ＬＰＦ３３の動作は図１に
示すＬＰＦ２と基本的に同じであるが、ＬＰＦ３３では
色差信号の他に輝度信号についても８×８サンプルで平
均値が求められ、Ａy00,Ａy10,Ａy01,Ａy11 が色判定器
３１に与えられる。前記Ａyij （i,j は０か１）は各Ｄ
ＣＴブロックの平均値に相当する。ここでＡyij,Ａbij,
Ａrij に於いて、ｉ、ｊが同じものは同一部分での値で
ある。

【００２６】色判定器３１ではＡyij,Ａbij,Ａrij の３
値から、そのブロックの色が指定色（例えば肌色）かど
うかの判断がされる。この処理はＡyij,Ａbij,Ａrij の
３次元ベクトルで行うのが理想的であるが、その場合３
次元テーブルが必要となるので、次のような手法による
のが現実的である。即ち、前記Ａyij,Ａbij,Ａrij は、
図９に示すような変換特性に基づいてＴyij,Ｔbij,Ｔri
j に夫々変換される。前記変換特性について、各値が肌
色に相当する場合を例に説明する。肌色の場合では、前
記Ａb のレベルが２５６階調に於ける９６（０レベルで
ある１２８に対して−３２）前後、Ａr のレベルが同１
５２（０レベルである１２８に対して＋２４）前後であ
る。

【００２７】図９に示す変換特性では、Ａｙが８０から
１９２でＴｙが１となっており、他は傾斜を持って０に
落ちるものである。なお、Ｔを２値（０か１）とする
と、処理は簡単になる。このように変換された３値Ｔyi
j,Ｔbij,Ｔrij から、各ブロックの色適合度Ｍijが次式
によって求められ、最大値検出器４Ａに与えられる。 Ｍij＝Ｔyij ×Ｔbij ×Ｔrij ここで、Ｔyij,Ｔbij,Ｔrij が全て１の場合は指定色と
判断され、Ｍijは１となる。３種類のＴのいずれかが１
より小さい場合は指定色に準じる色と判断され、Ｍijは
０から１の間の値となり、ひとつでも０なら異なった色
と判断されＡＱは０となる。

【００２８】最大値検出器４Ａでは４値あるＭij中の最
大のものが求められ、Ｍmax として量子化制御器６に与
える。量子化制御器６では、次式によってＭmax から適
応量子化係数ＡＱが求められる。このＡＱに対してバッ
ファ充足度で決まる量子化ステップ幅が乗じられること
により最終的な量子化ステップ幅が得られ、それが量子
化器７に与えられる。 ＡＱ＝１−Ｍmax ／２ 本実施例は、肌色など特定の色に対して敏感であると言
った人間の視覚特性に基くもので、この点が第１実施例
や第２実施例と異なる。

【００２９】

【発明の効果】従来のカラー画像符号化装置では、輝度
信号と色差信号の処理系に於いて、撮像時のγ補正のた
めに完全な定輝度原理が成立せず、また色差信号は振幅
圧縮されサブサンプルされているので、輝度成分が色差
信号として伝送される彩度の高い（色の濃い）部分で
は、他の部分より劣化すると言う問題があった。本発明
のカラー画像符号化装置では、色差信号の絶対値から彩
度が検出され、この彩度に応じて量子化ステップ幅が制
御される。即ち、色差信号の絶対値が大きな場合には量
子化ステップ幅が細かくされることにより、彩度の高い
部分での劣化が補償されることになる。これにより、従
来劣化の目立っていた色の濃い部分でも、他の部分と同
等の画質となり、総合的な画質バランスが良くなる。ま
た、本発明のカラー画像符号化装置では、特定色の部分
で量子化ステップ幅が細かくされることにより、人物の
肌など視覚的に劣化が目立ち易い色の部分で画質が改善
される。前記したように本発明のカラー画像符号化装置
によれば、カラー画像の高能率符号化での画質が改善さ
れ、また画質を同等とした場合にはより少ない符号量で
符号化することが可能になると言う全体的な効果があ
る。

【図面の簡単な説明】

【図１】本発明に係わるカラー画像符号化装置の第１実
施例を示す構成図である。

【図２】本発明に係わるカラー画像符号化装置の第２実
施例を示す構成図である。

【図３】本発明に係わるカラー画像符号化装置の第３実
施例を示す構成図である。

【図４】従来の符号化装置の一例を示す構成図である。

【図５】従来の復号装置の一例を示す構成図である。

【図６】輝度信号と色差信号のブロックを示す図であ
る。

【図７】ＬＰＦを介して平均値を検出する処理ブロック
を示す図である。

【図８】適応量子化特性を示す図である。

【図９】色判定器での変換特性を示す図である。

【符号の説明】

２、３３ ＬＰＦ ３ スイッチ ４、２６ 彩度検出器 ４Ａ 最大値検出器 ５ ＤＣＴ ６ 量子化制御器 ７ 量子化器 ８ 可変長符号化器 ９ バッファ ２０ 彩度検出手段 ２１ フレーム間予測器 ２２ 予測信号減算器 ２３ 予測信号加算器 ２４ 逆ＤＣＴ ２５ 逆量子化器 ３０ 量子化手段 ３１ 色判定器 ４０ 特定色検出手段

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】画像信号における輝度信号と色差信号とを
   符号化するカラー画像符号化装置に於いて、 前記色差信号の絶対値を求め該絶対値を前記画像信号の
   彩度として検出する彩度検出手段と、 前記彩度が高いほど量子化ステップ幅を細かくするよう
   にした量子化手段とを備えてなるカラー画像符号化装
   置。
2. 【請求項２】前記彩度検出手段は、前記した各色差信号
   の低域周波数成分のみの絶対値を検出することを特徴と
   する請求項１記載のカラー画像符号化装置
3. 【請求項３】画像信号における輝度信号と２つの色差信
   号とを符号化するカラー画像符号化装置に於いて、 処理対象ブロックにおける前記輝度信号と前記２つの色
   差信号のそれぞれについて平均レベルを求め、該夫々の
   平均レベルに対して、前記した夫々の信号ごとに定めら
   れた変換係数を乗算し、得られる３値を乗算して、処理
   対象ブロックの色相が所定の色相であるか否かを示す特
   定色適合度を得る特定色検出手段と、 前記処理対象ブロックの符号化に際して、前記特定色適
   合度の値が大きいほど量子化ステップ幅を細かくするよ
   うに制御する量子化制御手段とを備えてなるカラー画像
   符号化装置。