JPH0750832A - 顔領域検出方法及び画像符号化装置 - Google Patents

Abstract

(57)【要約】 【目的】 符号化対象画像における顔領域を認識し、検
出された顔領域が適切な色となるよう色変換して符号化
し、重要な部分の画質を向上させる。 【構成】 入力された信号は、ブロック分割部１で輝度
及び色差毎の小ブロックに分割され、輝度は動き算出部
３で、フレームメモリ部２から読み出された前フレーム
データとの比較によって動きを探索し、動き値Ｍを求め
る。ブロック微分値算出部４で、ブロック毎の微分値の
合計ＤＹを求める。輝度ブロック平均算出部５でブロッ
クの平均輝度を求め、輝度変化に対応するため、フレー
ム平均輝度算出部７で算出された前フレームの平均輝度
を用い、正規化輝度算出部６で正規化輝度Ｙを求める。
赤色差ブロック平均算出部８及び青色差ブロック平均算
出部９で色差成分の平均値Ｒ−Ｙ，Ｂ−Ｙを求める。求
められた５つのパラメータはベクトル判定部１０に入力
されて顔を判別する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、顔領域検方法及び画像
符号化装置に関し、より詳細には、入力された画像信
号、特に動画像を符号化することにより、画像に含まれ
る情報量を削減し、通信回線を用いて画像伝送に使用す
る画像符号化伝送装置、あるいはＣＤ―ＲＯＭ等に記録
する画像符号化蓄積装置に関する。

【０００２】

【従来の技術】近年、ＩＳＤＮ（Integrated Services
Digital Network：サービス総合ディジタル網）の普及
により、新しい通信サービスとして画像通信サービスに
対する要求が高まっており、テレビ（ＴＶ）電話やテレ
ビ（ＴＶ）会議システムへの期待が大きい。一般に、テ
レビ電話やテレビ会議システムのように画像情報を伝送
する場合においては、画像の情報量が膨大なのに対し
て、伝送に用いる回線の回線速度やコストの点から、伝
送する画像の情報量を圧縮符号化し情報量を少なくして
伝送することが必要となってくる。圧縮するための符号
化方式の検討はいろいろ行われており、一部ではテレビ
電話やテレビ会議システム等で実用化されつつある。ま
た、さらに高度なサービスの提供を目指し、広帯域ＩＳ
ＤＮに代表される新たな通信ネットワークの検討も活発
に行われている。

【０００３】実用化されつつある画像の高能率符号化方
式として、画像を複数個のサンプルからなる小ブロック
に分割して、その各小ブロックの画像信号に対して、あ
るいは各小ブロックにおける各種予測誤差信号に対して
離散的コサイン変換等の直交変換を施し、その変換係数
を量子化して符号化伝送する、動き補償フレーム間予測
直交変換符号化方式がある。

【０００４】図７は、従来の画像符号化装置の構成図
で、図中、３１は符号化制御部、３２は減算部、３３は
直交変換部、３４は量子化部、３５は逆量子化部、３６
は逆直交変換部、３７は加算部、３８はフレームメモリ
部、３９は動き補償フレーム間予測部である。入力画像
信号は、画像フレーム毎に動き補償フレーム間予測部３
９によって動き補償フレーム間予測される。動き補償に
おける動きの検出は、フレームメモリ部３８に記憶され
た１フレーム前の画像信号と入力画像信号とを、ある大
きさのブロックに分割して、入力画像信号のブロックが
１フレーム前の画像信号のどの部分から動いてきたもの
かを検出するものである。動き補償フレーム間予測部３
９はこの動きの検出結果を利用して、フレームメモリ部
３８に格納された１フレーム前に符号化された画像フレ
ームを予測値として読み出し、減算部３２において入力
画像フレームとフレームメモリ部３８から読み出した予
測値との差を求めることによってフレーム間予測符号化
を行なうものである。続いて減算部３２から出力される
予測誤差信号は直交変換部３３に送られ、直交変換演算
が施される。

【０００５】直交変換部３３からは直交変換された直交
変換係数が出力され、量子化部３４で符号化制御部３１
から送られてくる量子化レベルで量子化され、情報量が
圧縮される。量子化部３４からの量子化出力は符号化結
果として外部へ出力されると共に、逆量子化部３５へも
送られる。逆量子化部３５では量子化部とは逆の処理が
行われて、直交変換係数が出力され、逆直交変換部３６
において逆直交変換演算が行われる。これら一連の演算
処理も動き補償における動き検出と同様に演算を効率的
に行なうために、画像をある大きさのブロックに分割し
て行われる。逆直交変換部３６の出力は加算部３７にお
いてフレームメモリ部３８から読みだされた予測値と加
算された後、フレームメモリ部３８に格納され、次の入
力画像フレームのフレーム間予測に使われる入力画像信
号は、この様にループ状の構成（符号化ループ）に従っ
て符号化される。

【０００６】

【発明が解決しようとする課題】前述のように、従来の
画像符号化装置では、直交変換した結果を量子化してい
るが、量子化時には情報量の削減のためにある程度の誤
差を許容しており、その誤差による画像品質の劣化が生
じる。また量子化の制御は発生する符号量と伝送容量に
よって制御されるため、分割されたブロック毎に量子化
の条件が変わり、符号化された画像を画面全体で見た場
合、処理単位であるブロックが目立つブロック歪や、ブ
ロック毎の画面の粗さにばらつきが発生し、画像品質が
劣化する。

【０００７】また、符号化対象ブロックの画像内容が伝
送あるいは蓄積するのに重要な部分であるかないかに係
わらず、どのブロックに対しても均等な符号化制御を行
ってしまうので重要な部分の画質を保持することができ
ず、全体的に画像を劣化させてしまう。また、送信側の
照明条件によって色情報は必ずしも受信側に最適なもの
となっておらず、例えば、肌色は蛍光灯下では白っぽく
なってしまい、電球下では赤っぽくなってしっまう。さ
らに、量子化部の全ての出力に対して逆量子化、逆直交
変換を行い、局部複号してフレームメモリに記憶させて
フレーム間予測符号化に使用しているため、広帯域通信
網などで回線における情報の紛失が発生した場合には、
フレーム間予測符号化が正常に機能せず、画像品質が著
しく低下するという問題点があった。

【０００８】本発明は、このような実情に鑑みてなされ
たもので、符号化対象画像における顔部分を認識するこ
とができる顔領域検出方法、および色情報を最適化する
ための色変換を行うことにより、符号化画像品質が良好
な画像を得られるように符号化を行うことのできる画像
符号化装置を提供すること、また、通信回線で情報の紛
失が発生しても画像品質の著しい低下を避けることがで
き、符号化画像品質が良好な画像を得られるように符号
化を行うことのできる画像符号化装置を提供することを
目的としている。

【０００９】

【課題を解決するための手段】本発明は、上記目的を達
成するために、（１）入力された画像信号を小領域のブ
ロックに分割し、入力された画像信号とフレームメモリ
に記憶された画像信号からブロック単位でフレーム毎に
動き量を検出して予測符号化し、ブロック毎にブロック
内の平均輝度及び平均色度を算出し、ブロック毎にブロ
ック内の微分値を求め、フレーム単位でフレーム全体の
平均輝度を算出し、前記求められたブロック毎の動き
量、輝度及び色度の平均値、微分値並びにフレームの平
均輝度により顔領域を特定すること、あるいは、（２）
前記（１）記載の顔領域検出方法により特定された領域
における色情報を最適値に色変換する色変換手段と、入
力された画像信号あるいは色変換されたデータとフレー
ムメモリ手段に記憶された画像信号からフレーム毎に画
像信号を予測符号化する予測符号化手段と、該予測符号
化手段から出力される予測誤差信号を直交変換する直交
変換手段と、該直交変換手段によって直交変換された変
換係数を量子化する量子化手段と、該量子化手段におけ
る量子化レベルを制御するための符号化制御手段と、前
記量子化手段から出力される量子化出力を逆量子化する
逆量子化手段と、該逆量子化手段によって逆量子化され
た変換係数を逆直交変換して画像信号を得るための逆直
交変換手段と、該逆直交変換手段から出力される画像信
号を次の画像フレームの予測符号化に用いるために記憶
しておくフレームメモリ手段と、前記顔領域検出方法に
より特定された領域における、前記量子化手段により量
子化されたことによる量子化誤差を求める量子化誤差算
出手段と、該量子化誤差算出手段により求められた量子
化誤差を再量子化する量子化誤差再量子化手段と、前記
量子化手段および量子化誤差再量子化手段により量子化
されたデータを符号化フォーマットにまとめるマルチプ
レクス手段とを備えることを特徴としたものである。

【００１０】

【作用】本発明に係わる顔領域検出方法は、入力された
画像信号を小領域のブロックに分割し、入力された画像
信号とフレームメモリに記憶された画像信号からブロッ
ク単位でフレーム毎に動き量を検出して予測符号化し、
ブロック毎にブロック内の平均輝度及び平均色度を算出
し、ブロック毎にブロック内の微分値を求め、フレーム
単位でフレーム全体の平均輝度を算出し、輝度、色度、
動き量からなる空間及び輝度、微分値、動き量からなる
空間を設定し、前記求められたブロック毎の動き量、フ
レームの平均輝度により正規化されたブロック毎の平均
輝度値、ブロック毎の平均色度値及び微分値からなるベ
クトルが設定した顔領域に含まれるか否かにより顔領域
検出を行う。

【００１１】また、本発明に係わる画像符号化装置で
は、顔領域として検出されたブロックに対し、色分布が
視覚的に最適な肌色となっているかを判断し、最適な肌
色になっていない場合には線形変換により色変換を行っ
て最適な色分布にかえる。入力された画像信号、あるい
は前記色変換されたデータは、フレームメモリに記憶さ
れた画像信号をもとに予測符号化されて予測誤差信号が
直交変換される。直交変換された変換係数は、符号化制
御により設定された量子化レベルで量子化し、ループ内
符号化を行う。また、量子化されたデータを逆量子化
し、逆直交変換して画像信号を得る。さらに、顔領域検
出法により、特定された領域で、ループ内符号化におい
て量子化されたことによる量子化誤差を求め、該量子化
誤差を再量子化して、ループ内符号化での結果と共に符
号化フォーマットにまとめる。

【００１２】

【実施例】実施例について、図面を参照して以下に説明
する。図１は、本発明による顔領域検出方法の一実施例
を説明するための説明図で、図中、１はブロック分割
部、２はフレームメモリ部、３は動き量算出部、４はブ
ロック微分値算出部、５は輝度ブロック平均算出部、６
は正規化輝度算出部、７はフレーム平均輝度算出部、８
は赤色差ブロック平均算出部、９は青色差ブロック平均
算出部、１０はベクトル判定部である。

【００１３】本発明の特徴は、入力された画像信号を小
領域のブロックに分割し、ブロック毎にそのブロックの
動き量，フレーム全体の平均輝度によって正規化された
ブロック内の平均輝度，ブロック内の平均色度並びに微
分値を求め、顔領域の特徴量と比較して領域を判定する
点である。顔の部分であるか否かを判別する判別手段と
して、顔の形状認識等が挙げられるが、膨大な演算時間
がかかるため、伝送あるいは蓄積のための画像符号化装
置にはそぐわない。

【００１４】以下に、本発明で用いた顔を判別する判別
方法について説明する。本発明では、顔の持つ特徴量と
して、以下の〜を利用し、顔を判別する。 顔の色は肌色である。 顔輪郭、眉、目、口などがあり、微分値量が多い。 テレビ電話やテレビ会議等で用いられる場合には顔の
輝度は高い状態である。 テレビ電話やテレビ会議等で用いられる場合には、動
きのある物体とては、 主に人物であり、特に顔の
動きが多い。

【００１５】顔の色は肌色であるから、横軸と縦軸それ
ぞれに２つの色差成分（Ｒ−Ｙ，Ｂ−Ｙ）をとると、そ
の分布は図２に示すように、ある一定に範囲の中におさ
まる。そこで、入力されたブロックのＲ−Ｙ成分の平均
値，Ｂ−Ｙ成分の平均値を求め、図２にあてはめて顔か
否かを判別すればよいが、必ずしも肌色が顔を示すとは
限らず、風景部分が肌色ということも有り得る。また、
輪郭部分を含むブロックには、肌色だけでなく、背景色
も含まれてしまう。

【００１６】一方、テレビ電話やテレビ会議等で用いら
れる場合には、一般に顔の情報を伝送することが重要と
されているため、顔に焦点のあった画像が多く、また、
照明等で明るい状態とされている。したがって、伝送さ
れる画像は、眉，目，口等がはっきりと映っているため
に顔部分の微分値は多く、かつ輝度も高くなる。また、
顔の情報の伝送が主な目的であるため、伝送される画像
で動きがあるのは顔部分が主である。そこで、本発明に
おいては、以下の領域を顔領域と判定する。 ある輝度範囲にあり、肌色である程度動きがある領
域。 ある輝度範囲で微分値が多く動きがある領域。

【００１７】本発明による顔領域検出方法について図１
に基づいて説明する。入力された信号は、ブロック分割
部１において輝度及び色差毎の小ブロックに分割され、
輝度は動き算出部３において、フレームメモリ部２から
読み出された前フレームデータとの比較によって動きを
探索し、動き値Ｍを求める。また、ブロック微分値算出
部４において、ブロック毎の微分値の合計ＤＹを求め
る。かつ、輝度ブロック平均算出部５においてブロック
の平均輝度を求め、輝度変化に対応するため、フレーム
平均輝度算出部７において算出された前フレームの平均
輝度を用いて、正規化輝度算出部６において正規化輝度
Ｙを求める。また、赤色差ブロック平均算出部８及び青
色差ブロック平均算出部９において、前述の色差成分の
平均値Ｒ−Ｙ，Ｂ−Ｙを求める。求められた５つのパラ
メータは、ベクトル判定部１０に入力され、ここで顔を
判別する。

【００１８】判別にあたっては、前述の５つのパラメー
タについて、図３に示すように、Ｒ−Ｙ，Ｂ−Ｙ，Ｙ，
Ｍの４次元のベクトル空間と、図４に示すように、Ｄ
Ｙ，Ｙ，Ｍの３次元のベクトル空間を考え、それぞれの
ベクトル空間について予め数々の画像データにより顔に
相当する部分の基準ベクトル領域を作成し、入力された
ブロックのベクトルが基準ベクトル領域にあるか否かを
判別する。ベクトル判定部１０では、図３において顔領
域と判定されたベクトルと、図４において顔領域と判定
されたベクトルの両方を顔領域と判定し、入力されたブ
ロックが顔領域か否かの判定結果がベクトル判定部１０
から出力される。

【００１９】図５は、本発明による画像符号化装置の構
成図で、図中、１１は符号化制御部、１２は減算部、１
３は直交変換部、１４は量子化部、１５は逆量子化部、
１６は逆直交変換部、１７は加算部、１８はフレームメ
モリ部、１９は動き補償フレーム間予測部、２０は領域
検出部、２１は誤差符号化制御部、２２は誤差量子化
部、２３は色判定・変換部である。

【００２０】図５において、符号化制御部１１，減算部
１２，直交変換部１３，量子化部１４，逆量子化部１
５，逆直交変換部１６，加算部１７，フレームメモリ部
１８，及び動き補償フレーム間予測部１９の動作は従来
例と同じである。本発明の画像符号化装置は、前述した
本発明の顔領域検出部２０と誤差符号化制御部２１と及
び誤差量子化部２２と色判定・変換部２３とを備えてい
る点が従来例と異なる。

【００２１】入力信号は、顔領域検出部２０においてブ
ロック単位に顔領域か否かの検出を行ない、検出結果を
誤差量子化部２２及び色判定・変換部２３へ出力する。
該色判定・変換部２３では、顔領域検出部２０からの検
出結果をもとに、入力信号が顔領域の時は、図６（ａ）
に示すように、その入力信号のベクトルと最適色座標と
を比較し、その差があるしきい値以上となったとき、色
信号の補正のために、図６（ｂ）の行列変換式によって
最適な色座標へと変換する。色変換に際しては、輝度値
はかえることなく、色信号のみで最適化する。これによ
り、受信側には顔領域が照明等による赤み／白み等がな
い、視覚的に良好な色として伝送されることになる。

【００２２】入力信号または色変換された信号は、符号
化ループで符号化される。誤差符号化制御部２１では、
顔領域の画質をより良くするために、符号化制御部１１
からの符号化ループ内で制御された量子化レベルに適応
して、顔領域における量子化レベルを符号化ループ内量
子化レベルよりも細かなレベルに制御，決定し、誤差量
子化部２２へ出力する。該誤差量子化部２２では、顔領
域検出部２０の検出結果を受け、顔領域のみ符号化ルー
プで符号化されたことによる符号化誤差を算出し、その
誤差を誤差符号化制御部２１からの誤差量子化レベルに
より符号化して出力する。このように、顔領域の誤差を
再量子化することにより、符号化ループのみで画像を伝
送する場合に比べて、符号化画像品質の向上することが
できる。

【００２３】次に、本発明の画像符号化装置を、広帯域
通信網などの情報の紛失が発生するような伝送路で使用
した場合について説明する。本発明の画像符号化装置に
よって符号化される情報は、量子化部１４からの出力と
誤差量子化部２２からの出力の２段階に階層化して考え
ることができる。かつ、誤差量子化部２２からの出力結
果は符号化ループ内に影響を与えない。従って、量子化
部１４の出力を優先的に誤差量子化部２２の出力を非優
先的に送ることとすれば、情報の紛失が起こった場合で
あっても、誤差量子化部２２の出力だけが紛失すること
になり、情報の紛失がフレーム間予測に与える影響をな
くすことができる。

【００２４】

【発明の効果】以上の説明から明らかなように、本発明
によると、以下のような効果がある。 （１）請求項１に対応する効果：本発明の顔領域検出方
法では、ブロック毎にブロック内の平均輝度，平均色度
及び微分値を求める手段と、これらの値により顔領域を
特定する手段とを設けているので、顔領域に適応した符
号化を行うための指標を得ることができる。 （２）請求項２に対応する効果：本発明の画像符号化装
置では、前記顔領域検出手段と、符号化ループ内での誤
差を再量子化する誤差量子化手段と、誤差を再量子化す
るための量子化レベルを決定するための誤差符号化制御
手段とを設けることにより、符号化出力をループ内の量
子化手段の出力と誤差量子化手段の出力との２段階に階
層化することができ、符号化画像の重要な顔領域におけ
る符号化ループでの画像品質の低下に対して、誤差信号
によって画像品質を向上することができる。また、画像
を伝送する場合、ループ内の量子化手段の出力を優先的
に伝送すれば、情報の紛失の可能性がある伝送路を使用
しても、誤差信号のみが紛失するため、符号化ループの
フレーム間予測に与える影響をなくすることができ、符
号化画像品質の劣化を最小限に抑えることができる。

【図面の簡単な説明】

【図１】本発明による顔領域検出方法の一実施例を説明
するための説明図である。

【図２】本発明における色差成分で規定できる肌色領域
を示す図である。

【図３】本発明における顔領域検出をするためのベクト
ル空間（その１）を示す図である。

【図４】本発明における顔領域検出をするためのベクト
ル空間（その２）を示す図である。

【図５】本発明による画像符号化装置の構成図である。

【図６】本発明における色変換を説明するための図であ
る。

【図７】従来の画像符号化装置の構成図である。

【符号の説明】

１…ブロック分割部、２…フレームメモリ部、３…動き
量算出部、４…ブロック微分値算出部、５…輝度ブロッ
ク平均算出部、６…正規化輝度算出部、７…フレーム平
均輝度算出部、８…赤色差ブロック平均算出部、９…青
色差ブロック平均算出部、１０…ベクトル判定部。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 入力された画像信号を小領域のブロック
   に分割し、入力された画像信号とフレームメモリに記憶
   された画像信号からブロック単位でフレーム毎に動き量
   を検出して予測符号化し、ブロック毎にブロック内の平
   均輝度及び平均色度を算出し、ブロック毎にブロック内
   の微分値を求め、フレーム単位でフレーム全体の平均輝
   度を算出し、前記求められたブロック毎の動き量、輝度
   及び色度の平均値、微分値並びにフレームの平均輝度に
   より顔領域を特定することを特徴とする顔領域検出方
   法。
2. 【請求項２】 請求項１記載の顔領域検出方法により特
   定された領域における色情報を最適値に色変換する色変
   換手段と、入力された画像信号あるいは色変換されたデ
   ータとフレームメモリ手段に記憶された画像信号からフ
   レーム毎に画像信号を予測符号化する予測符号化手段
   と、該予測符号化手段から出力される予測誤差信号を直
   交変換する直交変換手段と、該直交変換手段によって直
   交変換された変換係数を量子化する量子化手段と、該量
   子化手段における量子化レベルを制御するための符号化
   制御手段と、前記量子化手段から出力される量子化出力
   を逆量子化する逆量子化手段と、該逆量子化手段によっ
   て逆量子化された変換係数を逆直交変換して画像信号を
   得るための逆直交変換手段と、該逆直交変換手段から出
   力される画像信号を次の画像フレームの予測符号化に用
   いるために記憶しておくフレームメモリ手段と、前記顔
   領域検出方法により特定された領域における、前記量子
   化手段により量子化されたことによる量子化誤差を求め
   る量子化誤差算出手段と、該量子化誤差算出手段により
   求められた量子化誤差を再量子化する量子化誤差再量子
   化手段と、前記量子化手段および量子化誤差再量子化手
   段により量子化されたデータを符号化フォーマットにま
   とめるマルチプレクス手段とを備えることを特徴とする
   画像符号化装置。