JP3135015B2 - 画像符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像符号化装置に関
し、より詳細には、入力された画像信号、特に動画像か
ら顔領域を特定し符号化することにより、画像に含まれ
る情報量を削減し、通信回線を用いて画像伝送に使用す
る画像符号化伝送装置、あるいはＣＤ―ＲＯＭ等に記録
する画像符号化蓄積装置に関する。

【０００２】

【従来の技術】近年、ＩＳＤＮ（Integrated Services
Digital Network：サービス総合ディジタル網）の普及
により、新しい通信サービスとして画像通信サービスに
対する要求が高まっており、テレビ（ＴＶ）電話やテレ
ビ（ＴＶ）会議システムへの期待が大きい。一般に、テ
レビ電話やテレビ会議システムのように画像情報を伝送
する場合においては、画像の情報量が膨大なのに対し
て、伝送に用いる回線の回線速度やコストの点から、伝
送する画像の情報量を圧縮符号化し情報量を少なくして
伝送することが必要となってくる。圧縮するための符号
化方式の検討はいろいろ行われており、一部ではテレビ
電話やテレビ会議システム等で実用化されつつある。ま
た、さらに高度なサービスの提供を目指し、広帯域ＩＳ
ＤＮに代表される新たな通信ネットワークの検討も活発
に行われている。

【０００３】実用化されつつある画像の高能率符号化方
式として、画像を複数個のサンプルからなる小ブロック
に分割して、その各小ブロックの画像信号に対して、あ
るいは各小ブロックにおける各種予測誤差信号に対して
離散的コサイン変換等の直交変換を施し、その変換係数
を量子化して符号化伝送する、動き補償フレーム間予測
直交変換符号化方式がある。

【０００４】図７は、従来の画像符号化装置の構成図
で、図中、３１は符号化制御部、３２は減算部、３３は
直交変換部、３４は量子化部、３５は逆量子化部、３６
は逆直交変換部、３７は加算部、３８はフレームメモリ
部、３９は動き補償フレーム間予測部である。入力画像
信号は、画像フレーム毎に動き補償フレーム間予測部３
９によって動き補償フレーム間予測される。動き補償に
おける動きの検出は、フレームメモリ部３８に記憶され
た１フレーム前の画像信号と入力画像信号とを、ある大
きさのブロックに分割して、入力画像信号のブロックが
１フレーム前の画像信号のどの部分から動いてきたもの
かを検出するものである。動き補償フレーム間予測部３
９はこの動きの検出結果を利用して、フレームメモリ部
３８に格納された１フレーム前に符号化された画像フレ
ームを予測値として読み出し、減算部３２において入力
画像フレームとフレームメモリ部３８から読み出した予
測値との差を求めることによってフレーム間予測符号化
を行なうものである。続いて減算部３２から出力される
予測誤差信号は直交変換部３３に送られ、直交変換演算
が施される。

【０００５】直交変換部３３からは直交変換された直交
変換係数が出力され、量子化部３４で符号化制御部３１
から送られてくる量子化レベルで量子化され、情報量が
圧縮される。量子化部３４からの量子化出力は符号化結
果として外部へ出力されると共に、逆量子化部３５へも
送られる。逆量子化部３５では量子化部とは逆の処理が
行われて、直交変換係数が出力され、逆直交変換部３６
において逆直交変換演算が行われる。これら一連の演算
処理も動き補償における動き検出と同様に演算を効率的
に行なうために、画像をある大きさのブロックに分割し
て行われる。逆直交変換部３６の出力は加算部３７にお
いてフレームメモリ部３８から読みだされた予測値と加
算された後、フレームメモリ部３８に格納され、次の入
力画像フレームのフレーム間予測に使われる入力画像信
号は、この様にループ状の構成（符号化ループ）に従っ
て符号化される。

【０００６】

【発明が解決しようとする課題】前述のように、従来の
画像符号化装置では、直交変換した結果を量子化してい
るが、量子化時には情報量の削減のためにある程度の誤
差を許容しており、その誤差による画像品質の劣化が生
じる。また量子化の制御は発生する符号量と伝送容量に
よって制御されるため、分割されたブロック毎に量子化
の条件が変わり、符号化された画像を画面全体で見た場
合、処理単位であるブロックが目立つブロック歪や、ブ
ロック毎の画面の粗さにばらつきが発生し、画像品質が
劣化する。

【０００７】また、符号化対象ブロックの画像内容が伝
送あるいは蓄積するのに重要な部分であるかないかに係
わらず、どのブロックに対しても均等な符号化制御を行
ってしまうので重要な部分の画質を保持することができ
ず、全体的に画像を劣化させてしまう。また、送信側の
照明条件によって色情報は必ずしも受信側に最適なもの
となっておらず、例えば、肌色は蛍光灯下では白っぽく
なってしまい、電球下では赤っぽくなってしっまう。さ
らに、量子化部の全ての出力に対して逆量子化、逆直交
変換を行い、局部複号してフレームメモリに記憶させて
フレーム間予測符号化に使用しているため、広帯域通信
網などで回線における情報の紛失が発生した場合には、
フレーム間予測符号化が正常に機能せず、画像品質が著
しく低下するという問題点があった。

【０００８】本発明は、このような実情に鑑みてなされ
たもので、符号化対象画像における顔部分を認識し、色
情報を最適化するための色変換を行うことにより、符号
化画像品質が良好な画像を得られるように符号化を行う
ことのできる画像符号化装置を提供すること、また、通
信回線で情報の紛失が発生しても画像品質の著しい低下
を避けることができ、符号化画像品質が良好な画像を得
られるように符号化を行うことのできる画像符号化装置
を提供することを目的としている。

【０００９】

【課題を解決するための手段】本発明は、上記目的を達
成するために、入力された画像信号を小領域のブロック
に分割し、前記入力された画像信号とフレームメモリ手
段に記憶された画像信号からブロック毎の動き量をフレ
ーム毎に検出して予測符号化し、ブロック毎にブロック
内の平均輝度及び平均色度を算出し、ブロック毎にブロ
ック内の輝度の微分値を求め、フレーム単位でフレーム
全体の平均輝度を算出し、前記求められたブロック毎の
平均輝度の前記フレーム全体の平均輝度に対する割合を
求め、前記求められたブロック毎の動き量、ブロック毎
の平均輝度の前記フレーム全体の平均輝度に対する割
合、平均色度、輝度の微分値により顔領域を特定する顔
領域特定手段と、前記特定された顔領域における色情報
を最適値に色変換する色変換手段と、入力された画像信
号あるいは色変換されたデータと前記フレームメモリ手
段に記憶された画像信号との差をフレーム毎に求める減
算手段と、該減算手段から出力される予測誤差信号を直
交変換する直交変換手段と、該直交変換手段によって直
交変換された変換係数を量子化する量子化手段と、該量
子化手段における量子化レベルを制御するための符号化
制御手段と、前記量子化手段から出力される量子化出力
を逆量子化する逆量子化手段と、該逆量子化手段によっ
て逆量子化された変換係数を逆直交変換して画像信号を
得るための逆直交変換手段と、該逆直交変換手段から出
力される画像信号を次の画像フレームの予測符号化に用
いるために記憶しておく前記フレームメモリ手段と、前
記顔領域検出方法により特定された領域における、前記
量子化手段により量子化されたことによる量子化誤差を
再量子化する量子化誤差再量子化手段とを備える画像符
号化装置であることを特徴とする。

【００１０】

【作用】本発明に係わる画像符号化装置の顔領域特定手
段は、入力された画像信号を小領域のブロックに分割
し、入力された画像信号とフレームメモリに記憶された
画像信号からブロック単位でフレーム毎に動き量を検出
して予測符号化し、ブロック毎にブロック内の平均輝度
及び平均色度を算出し、ブロック毎にブロック内の輝度
の微分値を求め、フレーム単位でフレーム全体の平均輝
度を算出し、輝度、色度、動き量からなる空間及び輝
度、微分値、動き量からなる空間を設定し、前記求めら
れたブロック毎の動き量、フレームの平均輝度により正
規化されたブロック毎の平均輝度値（つまり、ブロック
毎の平均輝度のフレーム全体の平均輝度に対する割
合）、ブロック毎の平均色度値及び輝度の微分値からな
るベクトルが設定した顔領域に含まれるか否かにより顔
領域検出を行う。

【００１１】また、本発明に係わる画像符号化装置で
は、顔領域として検出されたブロックに対し、色分布が
視覚的に最適な肌色となっているかを判断し、最適な肌
色になっていない場合には線形変換により色変換を行っ
て最適な色分布にかえる。入力された画像信号、あるい
は前記色変換されたデータは、フレームメモリに記憶さ
れた画像信号をもとに予測符号化されて予測誤差信号が
直交変換される。直交変換された変換係数は、符号化制
御により設定された量子化レベルで量子化し、ループ内
符号化を行う。また、量子化されたデータを逆量子化
し、逆直交変換して画像信号を得る。さらに、顔領域検
出法により、特定された領域で、ループ内符号化におい
て量子化されたことによる量子化誤差を求め、該量子化
誤差を再量子化して、ループ内符号化での結果と共に符
号化フォーマットにまとめる。

【００１２】

【実施例】実施例について、図面を参照して以下に説明
する。図１は、本発明による顔領域検出方法の一実施例
を説明するための説明図で、図中、１はブロック分割
部、２はフレームメモリ部、３は動き量算出部、４はブ
ロック微分値算出部、５は輝度ブロック平均算出部、６
は正規化輝度算出部、７はフレーム平均輝度算出部、８
は赤色差ブロック平均算出部、９は青色差ブロック平均
算出部、１０はベクトル判定部である。

【００１３】本発明の特徴は、入力された画像信号を小
領域のブロックに分割し、ブロック毎にそのブロックの
動き量，フレーム全体の平均輝度によって正規化された
ブロック内の平均輝度（つまり、ブロック内の平均輝度
のフレーム全体の平均輝度に対する割合），ブロック内
の平均色度並びに輝度の微分値を求め、顔領域の特徴量
と比較して領域を判定する点である。顔の部分であるか
否かを判別する判別手段として、顔の形状認識等が挙げ
られるが、膨大な演算時間がかかるため、伝送あるいは
蓄積のための画像符号化装置にはそぐわない。

【００１４】以下に、本発明で用いた顔を判別する判別
方法について説明する。本発明では、顔の持つ特徴量と
して、以下の〜を利用し、顔を判別する。 顔の色は肌色である。 顔輪郭、眉、目、口などがあり、微分値量が多い。 テレビ電話やテレビ会議等で用いられる場合には顔の
輝度は高い状態である。 テレビ電話やテレビ会議等で用いられる場合には、動
きのある物体とては、 主に人物であり、特に顔の
動きが多い。

【００１５】顔の色は肌色であるから、横軸と縦軸それ
ぞれに２つの色差成分（Ｒ−Ｙ，Ｂ−Ｙ）をとると、そ
の分布は図２に示すように、ある一定に範囲の中におさ
まる。そこで、入力されたブロックのＲ−Ｙ成分の平均
値，Ｂ−Ｙ成分の平均値を求め、図２にあてはめて顔か
否かを判別すればよいが、必ずしも肌色が顔を示すとは
限らず、風景部分が肌色ということも有り得る。また、
輪郭部分を含むブロックには、肌色だけでなく、背景色
も含まれてしまう。

【００１６】一方、テレビ電話やテレビ会議等で用いら
れる場合には、一般に顔の情報を伝送することが重要と
されているため、顔に焦点のあった画像が多く、また、
照明等で明るい状態とされている。したがって、伝送さ
れる画像は、眉，目，口等がはっきりと映っているため
に顔部分の輝度の微分値は多く、かつ輝度も高くなる。
また、顔の情報の伝送が主な目的であるため、伝送され
る画像で動きがあるのは顔部分が主である。そこで、本
発明においては、以下の領域を顔領域と判定する。ある
輝度範囲にあり、肌色である程度動きがある領域。ある
輝度範囲で微分値が多く動きがある領域。

【００１７】本発明による顔領域特定手段について図１
に基づいて説明する。入力された信号は、ブロック分割
部１において輝度及び色差毎の小ブロックに分割され、
輝度は動き量算出部３において、フレームメモリ部２か
ら読み出された前フレームデータとの比較によって動き
を探索し、動き値Ｍを求める。また、ブロック微分値算
出部４において、ブロック毎の輝度の微分値の合計ＤＹ
を求める。かつ、輝度ブロック平均算出部５においてブ
ロックの平均輝度を求め、輝度変化に対応するため、フ
レーム平均輝度算出部７において算出された前フレーム
の平均輝度を用いて、正規化輝度算出部６において正規
化輝度Ｙを求める。つまり、フレーム全体の平均輝度に
対するブロック内の平均輝度の割合を求めることによ
り、無次元化された判定用のパラメータである正規化輝
度Ｙを得ている。また、赤色差ブロック平均算出部８及
び青色差ブロック平均算出部９において、前述の色差成
分の平均値Ｒ−Ｙ，Ｂ−Ｙを求める。求められた５つの
パラメータは、ベクトル判定部１０に入力され、ここで
顔を判別する。

【００１８】判別にあたっては、前述の５つのパラメー
タについて、図３に示すように、Ｒ−Ｙ，Ｂ−Ｙ，Ｙ，
Ｍの４次元のベクトル空間と、図４に示すように、Ｄ
Ｙ，Ｙ，Ｍの３次元のベクトル空間を考え、それぞれの
ベクトル空間について予め数々の画像データにより顔に
相当する部分の基準ベクトル領域を作成し、入力された
ブロックのベクトルが基準ベクトル領域にあるか否かを
判別する。ベクトル判定部１０では、図３において顔領
域と判定されたベクトルと、図４において顔領域と判定
されたベクトルの両方を顔領域と判定し、入力されたブ
ロックが顔領域か否かの判定結果がベクトル判定部１０
から出力される。

【００１９】図５は、本発明による画像符号化装置の構
成図で、図中、１１は符号化制御部、１２は減算部、１
３は直交変換部、１４は量子化部、１５は逆量子化部、
１６は逆直交変換部、１７は加算部、１８はフレームメ
モリ部、１９は動き補償フレーム間予測部、２０は領域
検出部、２１は誤差符号化制御部、２２は誤差量子化
部、２３は色判定・変換部である。

【００２０】図５において、符号化制御部１１，減算部
１２，直交変換部１３，量子化部１４，逆量子化部１
５，逆直交変換部１６，加算部１７，フレームメモリ部
１８，及び動き補償フレーム間予測部１９の動作は従来
例と同じである。本発明の画像符号化装置は、前述した
本発明の顔領域検出部２０と誤差符号化制御部２１と及
び誤差量子化部２２と色判定・変換部２３とを備えてい
る点が従来例と異なる。

【００２１】入力信号は、顔領域検出部２０においてブ
ロック単位に顔領域か否かの検出を行ない、検出結果を
誤差量子化部２２及び色判定・変換部２３へ出力する。
該色判定・変換部２３では、顔領域検出部２０からの検
出結果をもとに、入力信号が顔領域の時は、図６（ａ）
に示すように、その入力信号のベクトルと最適色座標と
を比較し、その差があるしきい値以上となったとき、色
信号の補正のために、図６（ｂ）の行列変換式によって
最適な色座標へと変換する。色変換に際しては、輝度値
はかえることなく、色信号のみで最適化する。これによ
り、受信側には顔領域が照明等による赤み／白み等がな
い、視覚的に良好な色として伝送されることになる。

【００２２】入力信号または色変換された信号は、符号
化ループで符号化される。誤差符号化制御部２１では、
顔領域の画質をより良くするために、符号化制御部１１
からの符号化ループ内で制御された量子化レベルに適応
して、顔領域における量子化レベルを符号化ループ内量
子化レベルよりも細かなレベルに制御，決定し、誤差量
子化部２２へ出力する。該誤差量子化部２２では、顔領
域検出部２０の検出結果を受け、顔領域のみ符号化ルー
プで符号化されたことによる符号化誤差を算出し、その
誤差を誤差符号化制御部２１からの誤差量子化レベルに
より符号化して出力する。このように、顔領域の誤差を
再量子化することにより、符号化ループのみで画像を伝
送する場合に比べて、符号化画像品質の向上することが
できる。

【００２３】次に、本発明の画像符号化装置を、広帯域
通信網などの情報の紛失が発生するような伝送路で使用
した場合について説明する。本発明の画像符号化装置に
よって符号化される情報は、量子化部１４からの出力と
誤差量子化部２２からの出力の２段階に階層化して考え
ることができる。かつ、誤差量子化部２２からの出力結
果は符号化ループ内に影響を与えない。従って、量子化
部１４の出力を優先的に誤差量子化部２２の出力を非優
先的に送ることとすれば、情報の紛失が起こった場合で
あっても、誤差量子化部２２の出力だけが紛失すること
になり、情報の紛失がフレーム間予測に与える影響をな
くすことができる。

【００２４】

【発明の効果】以上の説明から明らかなように、本発明
によると、以下のような効果がある。 （１）本発明の画像符号化装置では、顔領域特定手段が
ブロック毎にブロック内の平均輝度，平均色度及び輝度
の微分値を算出し、フレーム単位でフレーム全体の平均
輝度を算出し、ブロック毎の平均輝度のフレーム全体の
平均輝度に対する割合を求め、これらにより顔領域を特
定しているので、誤判定を招く恐れがなく顔領域に適応
した符号化を行うための指標を得ることができる。 （２）また、本発明の画像符号化装置では、顔領域特定
手段と、符号化ループ内での誤差を再量子化する誤差量
子化手段と、誤差を再量子化するための量子化レベルを
決定するための誤差符号化制御手段とを設けることによ
り、顔領域の誤判定を招く恐れがないとともに、符号化
出力をループ内の量子化手段の出力と誤差量子化手段の
出力との２段階に階層化することができ、符号化画像の
重要な顔領域における符号化ループでの画像品質の低下
に対して、誤差信号によって画像品質を向上することが
できる。また、画像を伝送する場合、ループ内の量子化
手段の出力を優先的に伝送すれば、情報の紛失の可能性
がある伝送路を使用しても、誤差信号のみが紛失するた
め、符号化ループのフレーム間予測に与える影響をなく
することができ、符号化画像品質の劣化を最小限に抑え
ることができる。

【図面の簡単な説明】

【図１】本発明による顔領域検出方法の一実施例を説明
するための説明図である。

【図２】本発明における色差成分で規定できる肌色領域
を示す図である。

【図３】本発明における顔領域検出をするためのベクト
ル空間（その１）を示す図である。

【図４】本発明における顔領域検出をするためのベクト
ル空間（その２）を示す図である。

【図５】本発明による画像符号化装置の構成図である。

【図６】本発明における色変換を説明するための図であ
る。

【図７】従来の画像符号化装置の構成図である。

【符号の説明】

１…ブロック分割部、２…フレームメモリ部、３…動き
量算出部、４…ブロック微分値算出部、５…輝度ブロッ
ク平均算出部、６…正規化輝度算出部、７…フレーム平
均輝度算出部、８…赤色差ブロック平均算出部、９…青
色差ブロック平均算出部、１０…ベクトル判定部。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 入力された画像信号を小領域のブロック
   に分割し、前記入力された画像信号とフレームメモリ手
   段に記憶された画像信号からブロック毎の動き量をフレ
   ーム毎に検出して予測符号化し、ブロック毎にブロック
   内の平均輝度及び平均色度を算出し、ブロック毎にブロ
   ック内の輝度の微分値を求め、フレーム単位でフレーム
   全体の平均輝度を算出し、前記求められたブロック毎の
   平均輝度の前記フレーム全体の平均輝度に対する割合を
   求め、前記求められたブロック毎の動き量、ブロック毎
   の平均輝度の前記フレーム全体の平均輝度に対する割
   合、平均色度、輝度の微分値により顔領域を特定する顔
   領域特定手段と、 前記 特定された顔領域における色情報を最適値に色変換
   する色変換手段と、 入力された画像信号あるいは色変換されたデータと前記
   フレームメモリ手段に記憶された画像信号との差をフレ
   ーム毎に求める減算手段と、 該減算手段から出力される予測誤差信号を直交変換する
   直交変換手段と、 該直交変換手段によって直交変換された変換係数を量子
   化する量子化手段と、 該量子化手段における量子化レベルを制御するための符
   号化制御手段と、 前記量子化手段から出力される量子化出力を逆量子化す
   る逆量子化手段と、 該逆量子化手段によって逆量子化された変換係数を逆直
   交変換して画像信号を得るための逆直交変換手段と、 該逆直交変換手段から出力される画像信号を次の画像フ
   レームの予測符号化に用いるために記憶しておく前記フ
   レームメモリ手段と、 前記顔領域検出方法により特定された領域における、前
   記量子化手段により量子化されたことによる量子化誤差
   を再量子化する量子化誤差再量子化手段とを備えること
   を特徴とする画像符号化装置。