JPH04219089A - 画像符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビ会議やテレビ電
話等における動画像を符号化するための画像符号化装置
に関する。

【０００２】

【従来の技術】近年、動画像符号化方式は標準化を目前
にして、益々活発に研究されてきている。また、将来的
な符号化方式として知的符号化も提案され、研究の一方
向として画像に関する知識を何らかの形で利用した符号
化方式が検討されてきている。このような符号化方式の
一つとして、人物画像の動画像信号より顔領域を検出し
、顔領域の画像信号に量子化ビット数を多く配分する方
式が提案されている。

【０００３】その一例として、１９８９年度画像符号化
シンポジウムＰＣＳＴ８９，７−１５には、動画像信号
をＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎ
ｓｆｏｒｍ）　符号化して得られたＤＣＴ係数を量子化
する際、顔領域以外の領域に対しては量子化ステップサ
イズを、符号化データを蓄えるためのバッファのバッフ
ァ量によって決まる量子化ステップサイズよりも大きく
することにより、相対的に顔領域の復号画像の画質を高
める技術が開示されている。この技術によると、顔以外
の領域においては、ＤＣＴ係数の量子化雑音が多いため
、復号画像においてブロック歪のようなＤＣＴ符号化特
有の視覚的に目立つ歪みが発生するという問題がある。

【０００４】

【発明が解決しようとする課題】上述したように、人物
画像の動画像信号のうち顔領域の画像信号に量子化ビッ
ト数を多く配分する従来の動画像符号化技術では、顔以
外の領域においてＤＣＴ係数の量子化雑音が多く発生す
るため、復号画像においてブロック歪などＤＣＴ符号化
特有の視覚的に目立つ歪みが発生するという問題があっ
た。

【０００５】この発明の目的は、顔領域のような特定領
域以外の領域での大きな歪の発生を伴うことなく、特定
領域の復号画像の画質を高めることができる動画像符号
化装置を提供することにある。

【０００６】

【課題を解決するための手段】この発明においては、フ
レーム単位で順次入力される画像信号中の特定領域が検
出され、特定領域とそれ以外の領域とを区別して指定す
る領域指定信号が出力される。この領域指定信号に従っ
て、低域通過フィルタで入力画像信号のうち特定領域以
外の領域の画像信号が選択的にフィルタリングされる。 そして、この低域通過フィルタ手段からの出力画像信号
が符号化回路によって符号化される。

【０００７】この発明の他の態様によると、領域指定装
置によって任意の特定領域が指定され、それによって上
記と同様の領域指定信号が出力される。この領域指定信
号に従って、特定領域以外の領域の画像信号が選択的に
フィルタリングされ、さらにこの低域通過フィルタ手段
からの出力画像信号が符号化回路によって符号化される
。

【０００８】

【作用】動画像の画像信号を符号化前に低域通過フィル
タを通して高域成分を減少させ、解像度を落とすと、Ｄ
ＣＴ符号化のような空間方向の相関を利用した動画像の
符号化を行った時、量子化により発生する情報量が減少
する。

【０００９】本発明では例えば人物画像の画像信号を対
象とした場合、顔以外の領域についてのみ、空間方向ま
たは時間軸方向あるいは両方の方向に低域通過フィルタ
処理を選択的に行うか、あるいは顔領域の検出結果に応
じてフィルタ特性を変える。これにより、量子化に際し
て顔以外の領域の発生情報量が減り、等価的に顔領域の
画質が向上する。

【００１０】低域通過フィルタ処理を時間軸方向につい
て行った場合、顔以外の領域の動いている部分のみ解像
度が低くなるが、符号化において発生する情報はほとん
ど動いている部分のみからであるので、顔以外の領域か
らの発生情報量が有効に抑圧される。

【００１１】これらの場合、顔以外の領域の画質劣化は
解像度の低下であり、低域通過フィルタをかけないまま
量子化ステップサイズを大きくした場合に起こるブロッ
ク歪のような目障りな歪は発生せず、主観的画質が向上
する。また、時間軸方向に低域通過フィルタ処理を行っ
た場合、静止した背景部においては解像度が低くなるこ
とはないので主観的画質を損なうことはなく、かえって
雑音が除去されることによって画質が向上する。

【００１２】また、本発明は符号化前にフィルタ処理を
行う方式であるため、従来の動画像符号化装置に顔検出
回路と低域通過フィルタを追加するだけでよく、新たに
バッファ制御法等に工夫を必要としない。

【００１３】

【実施例】以下、図面を参照して本発明の実施例を説明
する。説明を簡単にするために、以下の実施例では符号
化方式として、Ｐ×６４ｋｂｐｓの動画像標準符号化方
式（ＣＣＩＴＴ勧告Ｈ．２６１参照）を用いた例につい
て説明する。勿論、本発明は他の符号化方式を用いるこ
とも可能である。

【００１４】図１に示す実施例において、動画像の画像
信号が入力される端子１００は、１フレーム分の画像信
号（フレームデータという）を蓄えるためのフレームメ
モリ１０１の書き込み端子に接続される。フレームメモ
リ１０１の読み出し端子は、フレームデータのうち人物
画像の顔領域を検出するための顔領域検出回路１０２の
入力端子と、空間方向または時間軸方向あるいはその両
方の方向に低域通過特性のフィルタリングを行う低域通
過フィルタ１０３の入力端子に接続される。顔領域検出
回路１０２の出力端子は、低域通過フィルタ１０３の制
御端子に接続される。

【００１５】低域通過フィルタ１０３以降の構成は、前
記標準符号化方式による通常の画像符号化装置と同様で
ある。すなわち、低域通過フィルタ１０３の出力は、引
算器１０４、フレーム間／内判定回路１０５、スイッチ
１０６および動き補償フレーム間予測回路１１３に結合
される。動き補償フレーム間予測回路１１３の出力端子
には、ループフィルタ１１４が接続されている。

【００１６】動き補償フレーム間予測回路１１３は、フ
レームメモリと動きベクトル検出回路および可変遅延回
路により構成され、マクロブロック単位で動き補償され
たフレーム間予測信号を作成する。このフレーム間予測
信号は、ループフィルタ１１４を通って引算器１０４に
送られ、引算器１０４で低域通過フィルタ１０３からの
マクロブロックデータとの差がとられる。

【００１７】フレーム間／内判定回路１０５は、引算器
１０４から出力される差信号の信号電力と低域通過フィ
ルタ１０３から出力されるマクロブロックデータの信号
電力を比較して、予測処理をフレーム間予測にすべきか
フレーム内予測にすべきかの判定を行う。スイッチ１０
６は、フレーム間／内判定回路１０５の判定結果を受け
て、フレーム間予測信号である引算器１０４の出力信号
とフレーム内予測信号である低域通過フィルタ１０３の
出力信号のいずれかを選択する。

【００１８】スイッチ１０６の出力端子は、ＤＣＴ（Ｄ
ｉｓｃｒｅｔｅ　　ＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）
回路１０７の入力端子に接続される。ＤＣＴ回路１０７
の出力端子は、量子化回路１０８および有効／無効判定
回路１０９に接続される。ＤＣＴ回路１０７は、出力と
してＤＣＴの係数データを発生する。量子化回路１０８
は、各ＤＣＴ係数データを量子化し、量子化結果として
例えば量子化テーブル番号および量子化インデックスを
出力する。有効／無効判定回路１０９は、ＤＣＴ係数デ
ータからブロック毎に信号電力を計算して、そのブロッ
クが有効ブロックか無効ブロックかを判定する。

【００１９】量子化回路１０８の出力端子は、量子化回
路１０８と逆の処理を行う逆量子化回路１１０の入力端
子に接続される。逆量子化回路１１０の出力端子は、Ｄ
ＣＴ回路１０７と逆の処理を行う逆ＤＣＴ回路１１１の
入力端子に接続される。逆ＤＣＴ回路１１１の出力端子
は、加算器１１２の一方の入力端子に接続される。加算
器１１２の他方の入力端子には、スイッチ１１５の出力
端子が接続される。スイッチ１１５の入力端子には、ル
ープフィルタ１１４の出力端子が接続される。加算器１
１２は、スイッチ１１５を介して入力されるループフィ
ルタ１１４からのフレーム間予測信号と、逆ＤＣＴ回路
１１１からの出力信号とを加算し、局部復号信号を生成
する。加算器１１２の出力端子は、動き補償フレーム間
予測回路１１３の入力端子に接続される。

【００２０】多重化回路１１６は、フレーム間／内判定
回路１０５からの判定信号、量子化回路１０８からの出
力信号、有効／無効判定回路１０９からの有効／無効判
定信号、動き補償フレーム間予測回路１１３からの動き
ベクトル情報およびループフィルタ１１４からのフィル
タＯＮ／ＯＦＦ信号を多重化する。多重化回路１１１の
出力端子は、可変長符号化回路１１７の入力端子に接続
される。可変長符号化回路１１７の出力端子は、この符
号化装置の発生情報量を回線の伝送レートに整合させる
ためのバッファメモリ１１８の書き込み端子に接続され
る。バッファメモリ１１８の読出し端子は、伝送路に接
続される。バッファメモリ１１８はバッファ量を示す情
報を発生する機能を持っており、このバッファ量情報は
符号化制御回路１１９に供給される。符号化制御回路１
１９は、バッファ量に従って量子化回路１０８および有
効／無効判定回路１０９を制御する。

【００２１】次に、図１および図２を参照して、この実
施例の画像符号化装置の動作を説明する。

【００２２】画像入力端子１００に、動画像の画像信号
がフレーム単位で順次入力される。この画像信号は、例
えば次のようにして得られる。図示しないＴＶカメラで
人物を撮像することにより得られたアナログ画像信号を
、輝度信号Ｙと２種類の色信号（または色差信号）ＣＢ
　，ＣＲ　とにエンコードし、これらをＡ／Ｄ変換器お
よびフォーマット変換装置によってＣＩＦまたはＱＣＦ
と呼ばれるディジタルデータに変換することによって得
られる。

【００２３】この画像信号は、フレームメモリ１０１に
１フレーム分ずつ順次フレームデータとして書き込まれ
る。フレームメモリ１０１に書き込まれたフレームデー
タは複数のブロック単位またはフレーム単位で読み出さ
れ、顔領域検出回路１０３と低域通過フィルタ１０４に
供給される。このフレームデータの読み出し単位は、Ｄ
ＣＴ回路１０７での変換単位（符号化単位）であるブロ
ックの大きさ（８画素×８画素）より大きい大きさの単
位である。顔領域検出回路１０２は、フレームメモリ１
０１から新たに入力されてくる現フレームデータと、内
部のフレームメモリに蓄えられた前フレームデータとの
差分をマクロブロック単位で求めることによって、現フ
レームデータ内の顔領域を検出し、現フレームデータ内
の各マクロブロックが顔領域かそれ以外の領域かを区別
して指定する領域指定信号を出力する。また、顔領域検
出回路１０２は顔領域の検出が終わったマクロブロック
毎に、現フレームデータによってフレームメモリの内容
を更新して行く。

【００２４】低域通過フィルタ１０３は後で詳しく述べ
るように、空間方向または時間軸方向あるいはその両方
の方向に低域通過特性のフィルタリングを行う。ここで
は、まず低域通過フィルタ１０３が空間方向のフィルタ
リングを行う場合について述べる。空間方向のフィルタ
リングには、フィルタリングすべき複数のブロックとそ
の周囲の数画素を必要とするため、フレームメモリ１０
１の内容はその複数のブロックとその周囲数画素からな
る単位で読み出される。

【００２５】例えば図２（ａ）に示されるように、フレ
ームメモリ１０１から読み出す単位がＨ．２６１で定め
られたマクロブロックと等しい大きさである輝度信号Ｙ
と色差信号ＣＢ　，ＣＲ　よりなる２４画素×１６画素
の場合、第２（ｂ）〜（ｄ）図に示されるように、輝度
信号Ｙと色差信号ＣＢ　，ＣＲ　合計で、３２画素×２
４画素の大きさの領域単位でフレームメモリ１０１から
フレームデータが低域通過フィルタ１０３へ入力される
。

【００２６】低域通過フィルタ１０３は、顔領域検出回
路１０２より入力される前記領域指定信号に従って、現
在入力されているマクロブロックが顔領域である場合に
は、そのマクロブロックをフィルタリングを行わずに、
予め定められたマクロブロックフォーマットのデータ（
マクロブロックデータ）に変換して出力し、顔以外の領
域である場合にはフィルタリングした後マクロブロック
データに変換して出力する。

【００２７】低域通過フィルタ１０３の出力は、引算器
１０４の一方の入力端子とフレーム間／内判定回路１０
５に供給される。引算器１０４においては、低域通過フ
ィルタ１０３からの出力信号とループフィルタ１１４か
らのフレーム間予測信号との差分信号を出力する。フレ
ーム間／内判定回路１０５は、引算器１０４から出力さ
れる差分信号の信号電力と低域通過フィルタ１０３から
の出力信号の信号電力とをマクロブロック単位で比較し
て、前者の方が小さければフレーム間予測を選択すべき
と判定し、後者の方が小さければフレーム内予測にすべ
きと判定する。スイッチ１０６は、フレーム間／内判定
回路１０５の判定結果がフレーム間予測の場合には、引
算器１０４からの差分信号を選択し、フレーム内予測の
場合には、低域通過フィルタ１０３の出力信号を選択す
る。

【００２８】スイッチ１０６により選択された信号は、
ＤＣＴ回路１０７でＤＣＴ符号化され、ＤＣＴ係数デー
タが生成される。ＤＣＴ係数データは、量子化回路１０
８により量子化され、量子化結果として例えば量子化テ
ーブル番号および量子化インデックスが出力される。量
子化回路１０８の出力は、逆量子化回路１１０により逆
量子化され、さらに逆ＤＣＴ回路１１１で逆ＤＣＴされ
る。

【００２９】逆ＤＣＴによって得られた局部復号データ
は、動き補償フレーム間予測回路１１３に内蔵されたフ
レームメモリに蓄えられ、次のフレームデータの符号化
のために参照される。すなわち、動き補償フレーム間予
測回路１１３では、内蔵されたフレームメモリに蓄えら
れている前フレームの局部復号データと、低域通過フィ
ルタ１０３からの現フレームデータとを比較して動きベ
クトル情報を発生する。動き補償フレーム間予測回路１
１３は、さらに可変遅延回路を用いて、局部復号データ
から、動きベクトル情報に対応したマクロブロックデー
タを選択し、このマクロブロックデータをフレーム間予
測信号としてループフィルタ１１４に供給する。ループ
フィルタ１１４は空間フィルタにより構成され、動き補
償フレーム間予測回路１１３からのフレーム間予測信号
に含まれるノイズを除去し、引算器１０４に供給する。

【００３０】ＤＣＴ係数データは、有効／無効判定回路
１０９にも入力される。有効／無効判定回路１０９は、
ＤＣＴ係数データからブロック毎に信号電力を計算し、
その信号電力を閾値と比較して、そのブロックが有効ブ
ロックか無効ブロックかを判定する。

【００３１】フレーム間／内判定回路１０５からの判定
信号と、量子化回路１０８からの量子化テーブル番号お
よび量子化インデックス、有効／無効判定回路１０９か
らの有効／無効判定信号、動き補償フレーム間予測回路
１１３からの動きベクトル情報およびループフィルタ１
１４からのフィルタＯＮ／ＯＦＦ信号は、多重化回路１
１６によって、予め決められたフォーマットに従って多
重化される。多重化回路１１６の出力は、可変長符号化
回路１１７により例えばハフマン符号のような可変長符
号とされる。可変長符号化回路１１７の出力はバッファ
メモリ１１８に書き込まれ、伝送レートに整合するよう
な速度で読み出される。読み出された信号は、伝送路に
送出される。

【００３２】一方、バッファメモリ１１８から発生され
るバッファ量情報は符号化制御回路１１９に供給される
。符号化制御回路１１９は、バッファ量情報より、この
符号化装置の現在の発生情報量を推定し、その推定結果
に基づいて量子化回路１０８および有効／無効判定回路
１０９を制御する。具体的には、発生情報量が大きい時
は量子化回路１０８での量子化ステップサイズを大きく
したり、有効／無効判定回路１０９での判定のための閾
値を高くすることで発生情報量を減少させ、発生情報量
が少ない場合には逆の操作により発生情報量を増加させ
る制御を行う。量子化ステップサイズを切り替える代わ
りに、適応駒落しを用いてもよい。

【００３３】以上説明したこの実施例の画像符号化装置
においては、端子１００に入力される画像信号のうち、
顔以外の領域のマクロブロックは低域通過フィルタ１０
３でフィルタリングされることによって、高域成分が除
去ないし抑制される。このため、量子化回路１０８での
量子化によって、高域成分から発生する情報量が減少し
、顔以外の領域に配分される量子化ビット数を減らした
ことと等価な結果が得られる。しかも、このようにする
と顔以外の領域にブロック歪のような目立ちやすい歪を
生じさせることなく、顔領域の画質を向上させ、主観的
画質を高める事ができる。

【００３４】顔領域検出回路１０２では、前述のように
マクロブロック単位で検出が行われる。低域通過フィル
タ１０３のフィルタリングは、この顔領域検出回路１０
２からの領域指定信号に従って、顔領域におけるマクロ
ブロックおよびその周辺の画素の信号について行われる
。従って、顔領域検出回路１０２の検出精度は、注目マ
クロブロック全体が顔領域かそれ以外の領域かを識別で
きる精度でよい。しかしながら、更に高い検出精度が得
られる場合には、例えば顔領域検出回路１０２より低域
通過フィルタ１０３に送る領域指定信号に、顔領域と顔
以外の領域との境界の位置を示す情報を含ませることが
できる。これにより、低域通過フィルタ１０３では、マ
クロブロック内をこの境界が横切る場合、そのマクロブ
ロック内の顔以外の領域のみにフィルタリングを行うこ
とができる。この方法によれば、符号化効率はさらに向
上し、また顔以外の領域に解像度の異なる領域の境界が
発生することもなくなるために、より自然な画像が得ら
れる。

【００３５】本発明の画像符号化装置は基本的に、顔領
域検出回路１０２と、顔領域検出回路１０２からの領域
指定信号に従って顔領域の画像信号を選択的にフィルタ
リングする低域通過フィルタ１０３を通常の画像符号化
装置に付加するだけであり、符号化以降の回路構成や符
号化制御は通常の画像符号化装置と同様でよいため、そ
の実施が極めて容易である。

【００３６】本発明は、画像符号化方式としてＤＣＴ符
号化以外の方式、例えばＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔ
ｉａｌ　　ＰＣＭ）を用いた場合にも適用できる。要す
るに、本発明はこれらの方式に代表される、空間方向の
相関を利用した符号化方式を用いた場合に全て有効であ
る。

【００３７】次に、図３を参照して図１中の顔領域検出
回路１０２における顔領域検出方法の具体例について説
明する。図３は、顔領域検出回路１０２に入力されるフ
レームデータのフレーム間差分画像を示している。この
フレーム間差分画像の情報は、予め設定された第１の閾
値レベルにより２値化され、“０”または“１”のデー
タに変換される。次に、画面の縦方向および横方向につ
いて、この２値化データが“１”となる画素、つまり第
１の閾値以上の値を持つ画素の数がそれぞれ計数され、
その画素数のヒストグラム（ｘ軸およびｙ軸ヒストグラ
ム）が作成される。このヒストグラムに基づいて、顔領
域の検出が行われる。

【００３８】顔領域の検出は、頭頂３０の検出から行わ
れる。頭頂３０は、ｙ軸ヒストグラムを上より探索し、
予め設定された第２の閾値を初めて越えた点Ｙｓを選択
することにより検出される。頭頂３０が検出された後に
、頭部の左端３１および右端３２が検出される。頭部３
０の左端３１および右端３２の検出は、ｘ軸ヒストグラ
ムを左および右から探索し、初めて第２の閾値を越える
点Ｘｓ，Ｘｅを選択することによって行われる。この場
合、肩３４の幅を持つ領域が検出されないようにするた
め、ｙ軸ヒストグラムは頭頂３０から幅△の領域につい
てのみ作成される。これにより、頭部の幅を持つｙ軸ヒ
ストグラムが得られる。幅△は例えば、画像の大きさを
Ｘ×Ｙとして、次式により決定される。

【００３９】 △＝（Ｙ−Ｙｓ）×β β＝１／４（または１／５） 次に、顔領域の下端が検出される。この検出のために、
頭部の幅にある一定の比率ｒを乗じて、頭部長が求めら
れる。ｒの値としては、１．３〜１．６程度が適当であ
る。先に検出された頭頂の値に頭部長を足すことにより
、顔領域の下端が求められる。以上の処理により、図５
に示すように顔領域が座標Ｘｓ，Ｘｅ，Ｙｓ，Ｙｅで規
定される矩形５０によって指定される。

【００４０】図４には、別の顔領域検出方法が示されて
いる。図３の方法では、座標Ｘｓ，Ｘｅ，Ｙｓ，Ｙｅは
１画素単位の分解能で得られるが、図４の方法ではフレ
ーム間差分画像がある大きさの複数のブロック４０に分
割される。ブロック４０の大きさは、符号化ブロックの
大きさよりも小さくてよいし、同じでもよい。ブロック
４０内で、予め設定された第１の閾値を越える画素の数
がカウントされる。

【００４１】次に、画面の上左端よりブロック４０内の
画素数のカウント値が第２の閾値と順次比較される。こ
の比較に際して、最初にカウント値が第２の閾値を越え
たブロックのｙ座標Ｙｓが頭頂３０と検出される。

【００４２】次に、幅Δの範囲（Δは例えば図４の方法
と同様にして定められる）内で、上記カウント値が第２
の閾値を越えるブロックのうち、左端の座標を持つブロ
ック４１の座標が、顔領域の左端座標Ｘｓ、右端の座標
を持つブロック４２の座標が顔領域の右端座標Ｘｅとし
てそれぞれ求められる。顔領域の下端座標Ｙｅは、例え
ば図３の方法によって決定される。この方法によっても
、図５に示されるように、顔領域が座標Ｘｓ，Ｘｅ，Ｙ
ｓ，Ｙｅで規定される矩形５０によって指定される。

【００４３】図６には、図３の原理を用いた顔領域検出
回路が示されている。この顔領域検出回路では、図７（
ａ）に示されるフレーム間差分画像より、図７（ｂ）に
示されるｘ軸ヒストグラムおよび図７（ｃ）に示される
ヒストグラムが作られる。これらのヒストグラムの変化
点の座標が抽出されることにより、図５に示したように
顔領域が矩形によって指定される。

【００４４】フレーム間差分画像の信号成分は、肩のよ
うな動きの生じやすい部位から多量に発生することが考
えられる。このため、図７（ｂ）のＢ−Ｂ′より上に示
されるような、肩の部分が含まれたｘ軸ヒストグラムが
作成されてしまう。そこで、ｙ軸ヒストグラムを用いて
ブロック間差分画像の縦方向の領域が制限され、その領
域内でｘ軸ヒストグラムが作成される。これにより、図
７（ｂ）の線Ａ−Ａ′より上に示されるような、肩の部
分が含まれない顔領域のみのｘ軸ヒストグラムが得られ
る。

【００４５】図６において、端子２００には図１のフレ
ームメモリ１０１からの画像信号が入力される。フレー
ムメモリ２０１は、この入力画像信号を１フレーム分の
時間遅延する。引算器２０２は、上記入力画像信号から
フレームメモリ２０１から出力される画像信号を差し引
くことにより、フレーム間差分画像信号を出力する。ヒ
ストグラム作成回路２０３，２０４はそれぞれフレーム
間差分画像信号よりｙ軸およびｘ軸ヒストグラムを作成
する。なお、フレーム間差分画像の代わりにフィールド
間差分画像を用いてｘ軸およびｙ軸ヒストグラムを作成
することもできる。

【００４６】平均値回路２０５，２０６は、作成された
ｙ軸およびｘ軸ヒストグラムより平均値を求める。比較
器２０７，２０８は、これらの平均値を閾値とし、これ
とヒストグラム作成回路２０３，２０４で作成された各
ヒストグラムとを比較する。変化点検出回路２０９，２
１０は、比較器２０７，２０８の出力からｘ軸およびｙ
軸ヒストグラムの変化点の座標を検出し、座標データを
出力する。ｙ軸に対応する変化点検出回路２０９の出力
は、ｙ軸ヒストグラム作成の範囲を決定させるために、
ｘ軸ヒストグラム作成回路２０４に供給される。

【００４７】ヒストグラム作成回路２０３，２０４の各
々は、例えば図８に示すように２値化回路３０１、カウ
ンタ３０２、メモリ３０３および座標アドレス制御回路
３０４により構成される。

【００４８】変化点検出回路２０９，２１０からの座標
データは、領域計算回路２１１に供給される。この領域
計算回路２１１は、図５に示すようにｘ軸およびｙ軸ヒ
ストグラムの変化点の座標Ｘｓ，Ｘｅ，Ｙｓ，Ｙｅを含
む図５の矩形領域５０を顔領域として、その顔領域とそ
れ以外の領域とを区別して指定する領域指定信号２１２
を出力する。この領域指定信号２１２は、例えば端子２
００に入力される画像信号が顔領域のとき“０”、それ
外の領域のとき“１”とされる１ビットデータが用いら
れる。

【００４９】図９には、図３の顔領域検出回路の他の例
が示されている。この顔領域検出回路は、ヒストグラム
作成用の外付け回路であるヒストグラムメモリ４０１、
フレームメモリ４０２、カウンタ４０３、アドレス変換
回路４０４、比較器４０５、引算器４０６、加算器４０
７およびセレクタ４０８〜４１１とＣＰＵ４１２によっ
て構成される。この顔領域検出回路は、以下の３つのス
テージ（ａ）〜（ｃ）によって顔領域を検出する。図９
には、ステージ（ａ），（ｂ）および（ｃ）における信
号の流れが、それぞれ実線、破線および一点鎖線で示さ
れている。

【００５０】（ａ）フレームデータをフレームメモリ４
０２に書き込む （ｂ）フレームメモリ４０２内のフレームデータと次の
フレームデータとのフレーム間差分画像信号を求め、こ
の信号を用いてｘ軸およびｙ軸ヒストグラムを作成する
（ｃ）ＣＰＵ４１１による計算 ＣＰＵ４１１の計算結果は、画像符号化装置からのリク
エストによりマップデータからなる領域指定信号として
出力される。

【００５１】なお、ステージ（ｃ）はさらに（１）顔領
域の検出、（２）検出結果の可否判定、（３）マップ作
成および（４）マップデータの出力、の４つのステージ
に分かれている。

【００５２】次に、図１における低域通過フィルタ１０
３について説明する。前述したように、低域通過フィル
タ１０３におけるフィルタリングは空間方向に行う方法
、時間軸方向に行う方法、さらにこれらを組み合わせて
行う方法がのいずれかが用いられる。

【００５３】図１０には、空間方向のフィルタリングを
行う低域通過フィルタが示されている。図１０において
、画素メモリ５０１およびラインメモリ５０２は、この
フィルタの出力信号を１画素分および１ライン分それぞ
れ遅延する。これらのメモリ５０１，５０２の出力端子
は加算器５０３に結合される。加算器５０３の出力信号
は、ビットシフトにより１／２倍とされた後、引算器５
０４に結合される。ビットシフトは、加算器５０３の出
力と引算器５０４の入力との結線の操作のみで実現され
、特別なハードウェアは必要としない。

【００５４】引算器５０４の出力は、係数α（０＜α＜
１）を乗じる係数乗算器５０５に入力される。係数乗算
器５０５は例えばＲＯＭ（リードオンリーメモリ）によ
り構成され、そのアドレス入力に引算器５０４の出力信
号と顔領域検出回路１０２からの領域指定信号が入力さ
れる。加算器５０６は、係数乗算器５０５の出力信号と
、このフィルタの入力信号とを加算してフィルタの出力
信号を発生する。

【００５５】この低域通過フィルタでは、まず画素メモ
リ５０１、ラインメモリ５０２、加算器５０３およびビ
ットシフト（１／２倍）によって、入力される画像信号
の現画素より１画素前の画素値と、現ラインより１ライ
ン前の画素値との平均値が計算される。この平均値と現
画素の画素値との差分が引算器５０４で求められる。こ
の差分が係数乗算器５０５でα倍され、加算器５０６で
現画素の画素値と加算されることによって、空間方向に
低域通過特性のフィルタリングが施された出力信号が得
られる。

【００５６】係数乗算器５０５を構成するＲＯＭには、
引算器５０４からの出力信号がアドレスデータの一部と
して入力され、顔領域検出回路１０２からの領域指定信
号２１２がアドレスデータの他の一部として入力されて
いる。このＲＯＭの顔領域の領域指定信号（“０”）に
対応するアドレスには、０値のデータが記憶され、顔以
外の領域の領域指定信号（“１”）に対応するアドレス
には、そのアドレスに対応する入力データ（引算器５０
４の出力信号）に係数αを乗じた値のデータが記憶され
ている。従って、この低域フィルタに顔領域の画像信号
が入力されたときは、係数乗算器５０５の出力信号の値
は０となるから、加算器５０６の出力信号は入力の画像
信号と同じとなる。すなわち、このフィルタからは顔領
域では入力画像信号がそのまま出力され、顔以外の領域
では低域通過特性のフィルタリングが施された画像信号
が出力される。

【００５７】図１１には、時間軸方向のフィルタリング
を行う低域通過フィルタが示されている。このフィルタ
の出力信号を１フレーム分遅延するフレームメモリ６０
１の出力は、引算器６０２に結合される。引算器６０２
はラインメモリ６０１の出力信号から入力信号を差し引
く。引算器６０２の出力は、係数β（０＜β＜１）を乗
じるための係数乗算器６０３に結合される。係数乗算器
６０３はＲＯＭで構成され、そのアドレス入力に引算器
６０２の出力信号と、顔領域検出回路１０２からの領域
指定信号２１２が入力される。加算器６０４は、係数乗
算器６０３の出力信号と、このフィルタの入力信号とを
加算して、フィルタの出力信号を発生する。

【００５８】この低域通過フィルタでは、フレームメモ
リ６０１に蓄積された前フレームのフィルタ出力信号と
、現フレームの画像信号とのフレーム間差分画像信号が
引算器６０２によって求められる。このフレーム間差分
画像が係数乗算器６０３でβ倍され、加算器６０４で入
力信号と加算されることにより、時間軸方向に低域通過
フィルタリングが施された出力信号が得られる。この低
域通過フィルタは、巡回型の線形フィルタの形式である
ため、βが１に近いほど強いフィルタ作用を持つ。係数
乗算器６０３を構成するＲＯＭは、図１０における係数
乗算器５０５と同様に、顔領域の領域指定信号に対応す
るアドレスには、０値のデータが記憶され、顔以外の領
域の領域指定信号データに対応するアドレスには、その
アドレスに対応する入力データ（引算器６０２の出力信
号）に係数αを乗じた値のデータが記憶されている。 従って、フィルタからは顔領域では入力画像信号がその
まま出力され、顔以外の領域では低域通過特性のフィル
タリングが施されるた画像信号が出力される。

【００５９】図１２には、時間軸方向のフィルタリング
を行う低域通過フィルタの他の例が示されている。図１
２においては、図１１における係数乗算器６０３が非線
形回路６０５に置き換えられている。この非線形回路６
０５はＲＯＭによって構成され、顔領域の領域指定信号
に対応するアドレスには、０値のデータが記憶され、顔
以外の領域の領域指定信号に対応するアドレスには、そ
のアドレスに対応する入力データ（引算器６０２の出力
信号）に、所定の非線形入出力特性を与えるための係数
を乗じた値のデータが記憶されている。

【００６０】非線形回路６０５の入出力特性は、図１３
（ａ）または図１３（ｂ）に示される。図１３（ａ）の
入出力特性によれば、小振幅領域のみに低域通過フィル
タの作用がかかる非線形フィルタが実現される。この特
性は小振幅雑音の除去に効果がある。図１３（ｂ）に示
す入出力特性によれば、小振幅雑音が除去され、さらに
画像信号の動き部分にも時間軸方向の低域通過フィルタ
がかけられる。非線形回路６０５は、図１３（ａ）と（
ｂ）の入出力特性が切替えられるように構成されてもよ
い。その場合、顔領域の画像信号に対しては図１３（ａ
）の特性が設定され、顔以外の領域の画像信号に対して
は図１３（ｂ）の特性が設定される。

【００６１】時間軸方向に低域通過特性のフィルタリン
グを施す方法によれば、背景部のような静止部分の画像
信号ではフレーム間差分が大きくならないため、解像度
の低下はない。

【００６２】図１４には、空間方向の低域通過フィルタ
と時間軸方向の低域通過フィルタを組み合わせた低域通
過フィルタが示されている。図１４において、図１０お
よび図１１と相対応する部分には同一符号を付している
。この低域通過フィルタは、図１５に示されるＸ，Ａ，
Ｂ，Ｃなる位置関係の画素の値を使った巡回型フィルタ
により構成される。このフィルタに画素Ｘの値が入力さ
れた時点では、画素メモリ５０１に画素Ｂの画素値が保
持され、ラインメモリ５０２に画素Ｃの画素値が保持さ
れる。これにより加算器５０３、ビットシフト（×１／
２）、引算器５０４、係数乗算器５０５および加算器５
０６を経て、図１０の低域通過フィルタと同様に空間方
向の低域通過フィルタが施される。

【００６３】一方、フレームメモリ６０１より画素Ａの
画素値が与えられると、図１１の低域通過フィルタと同
様に、引算器６０２、係数乗算器６０３および加算器６
０４を経て時間軸方向の低域通過フィルタが施される。

【００６４】この係数乗算器５０５，６０３の乗算係数
α，βは、次の理由から、外部制御により可変であるこ
とが望ましい。画像の劣化の性質は、空間方向の低域通
過フィルタと時間軸方向の低域通過フィルタとで異なる
。すなわち、空間方向の低域通過フィルタによると、背
景部も動き領域も一様に解像度が低下するのに対して、
時間軸方向の低域通過フィルタによれば背景部の解像度
は低下しない。反面、時間軸方向の低域通過フィルタを
施すと、動き領域において時間的に尾を引くような「ぼ
け」が生じ、そのぼけの度合いは動きの大きさに依存し
て変化する。これらの画像劣化の見え方は、符号化デー
タのビットレートや、画像の動きの大きさ等によって大
きく変化する。

【００６５】乗算係数α，β、すなわちフィルタ係数を
可変とすれば、空間方向と時間軸方向のそれぞれの低域
通過フィルタのフィルタリングの強さの配分を変えるこ
とによって、本発明の目的である情報量低減の効果を保
ちつつ、画像劣化の現れ方をコントロールできる。この
コントロールをユーザが行えるようにすれば、ユーザが
好みに応じて復号画像の画質を変えることが可能になる
。乗算係数α，βの可変は、例えばα，βの値を指定す
るためのデータを係数乗算器５０５，６０３を構成する
ＲＯＭにアドレスデータの一部として与えることで達成
される。

【００６６】以上説明した低域通過フィルタ１０３は巡
回型フィルタで構成されているが、非巡回型フィルタで
構成されてもよい。また、入力画像信号の顔領域とそれ
以外の領域を含む全領域をフィルタリングしてもよい。 その場合、顔領域以外の領域では顔領域より強くフィル
タリングされるように、そのフィルタ特性を切り替える
ことが必要である。このためのハードウェアの変更は基
本的に不要であり、ただ係数乗算器５０５，６０３，６
０５に用いられるＲＯＭの内容を変更するだけでよい。

【００６７】図１６を参照して他の実施例を説明する。 図１６において、図１と同一部分に同一符号を付して、
説明を省略する。この実施例においては、図１における
顔領域検出回路１０２が、領域指定装置１２０に置き換
えられている。領域指定装置１２０は、図１７に示され
るように座標入力装置８０１と領域計算回路８０２で構
成される。座標入力装置８０１は、キーボードのような
数値により座標を直接入力できる装置、またはマウスの
ようなポインティングデバイス、あるいはタッチパネル
が用いられる。特に、マウスやタッチパネルによれば、
ユーザが表示画面上の画像を見ながら画像上の位置と正
確に対応した座標を入力でき、都合がよい。

【００６８】領域計算回路８０２は、図６における領域
計算回路２１１と同様に構成され、座標入力装置８０１
からの複数の座標の座標データから、それらの座標で規
定される領域とそれ以外の領域とを区別して指定する領
域指定信号８０３を作成して出力する。領域指定に際し
ては、例えば図１８に示されるように、２つの点Ａ，Ｂ
がマウスやタッチパネルにより指定される。これにより
点Ａ，Ｂをコーナー点とする矩形領域９１が規定される
。あるいは図１９に示されるように、多数の点が指定さ
れることにより、それらの点を結ぶ線分からなる多角形
領域９２が規定される。多角形に代えて、スプライン曲
線を用いることも可能である。

【００６９】この実施例によれば、ユーザが重要と判断
した顔領域に限定されない任意の特定領域を除いた領域
に対して、低域通過フィルタ１０３でフィルタリングが
施される。

【００７０】図２０には、図１６の実施例を発展させて
構成されたテレビ電話システムが示されている。ソース
コーダ７０１は図１のうち顔領域検出回路１０２を除く
部分であり、ＴＶカメラ７００からの画像信号が入力さ
れる。ソースコーダ７０１内の図１に示した低域通過フ
ィルタ１０３には、領域指定装置１２０が接続されてい
る。ソースエンコーダ７０１から出力される符号化画像
信号は、ＦＥＣエンコーダ７０２により誤り訂正符号化
され、インタフェース（Ｈ．２２１フレーミング，ＩＳ
ＤＮインタフェースを含む）を介して伝送路に送出され
る。一方、相手端末から伝送路を介して送られてきた符
号化画像信号は、インタフェース７０４を介してＦＥＣ
デコーダ７０５に入力され、誤り訂正復号化される。誤
り訂正復号化された画像信号は、ソースコーダ７０１と
逆の処理を行うように構成されたソースデコーダ７０６
でデコードされ、復号画像信号が出力される。

【００７１】ユーザにより操作されるモニタモード選択
スイッチ７０７は、自己モニタモードではソースコーダ
７０１内の低域通過フィルタ１０３からの出力画像信号
を選択し、相手モニタモードではソースデコーダ７０６
からの復号画像信号を選択する。選択された画像信号は
、ビデオエンコーダ７０８によりＮＴＳＣ，ＰＡＬまた
はＳＥＣＡＭなどのＴＶ方式に対応したビデオ信号に変
換され、スーパーインポーズ回路７０９を通してモニタ
ディスプレイ７１０に供給される。スーパーインポーズ
回路７０９には、領域指定装置１２０からの領域指定信
号が与えられている。スーパーインポーズ回路７０９は
、この領域指定信号に基づいて、領域の枠線を表わす画
像信号を内部で発生し、ビデオエンコーダ７０８からの
画像信号に加算する。これによりモニタディスプレイ７
１０の画面上では、画像上に枠線がスーパーインポーズ
されて表示される。この線分の表示から、ユーザは指定
した領域を確認できる。

【００７２】この実施例では、領域指定装置１２０によ
る領域指定は、ソースコーダ７０１内の低域通過フィル
タに対して、送信側のユーザによって行われる。スーパ
ーインポーズ回路７０９では、図１８または図１９のよ
うにして指定された領域９１または９２の枠線を示す画
像信号がビデオエンコーダ７０８からの画像信号に加算
される。

【００７３】一方、領域指定装置１２０からの領域指定
信号はソースコーダ７０１内の低域通過フィルタ１０３
にも供給される。低域通過フィルタ１０３では、スーパ
ーインポーズ回路７０９と同様に特定領域が求められ、
その領域以外の領域の画像信号のみにフィルタリングが
なされる。

【００７４】自己モニタモードでは、低域通過フィルタ
リングが施された後の画像がモニタディスプレイ７１０
で表示される。領域指定装置１２０により領域が指定さ
れた後は、その領域指定信号が連続して出力される。こ
れにより、指定領域を示す前記枠線がモニタディスプレ
イ７１０上で画像上にスーパーインポーズされて表示さ
れる。この表示から、ユーザは指定した特定領域以外の
領域でのフィルタリングの効果を確認できる。従って、
この効果を確認しつつ領域指定をやり直すこともできる
。

【００７５】図２１には、さらに別の実施例に係るテレ
ビ電話システムが示されている。図１７と同一部分には
同一符号を付して、説明は省略する。この実施例では、
送信側のソースコーダ７０１内の低域通過フィルタに対
する領域指定は、受信側の領域指定装置１２０によって
行われる。すなわち、符号化画像信号の受信側において
、領域指定装置１２０から出力される座標データは、イ
ンタフェース７０３および伝送路を介して符号化画像信
号の送信側に伝送される。

【００７６】例えばインタフェース７０３，７０４がＨ
．２２１，Ｈ２４２によるフレーミングおよび通信手順
を用いている場合、符号化画像信号の通信中にも任意の
タイミングでデータ伝送用のチャネルを開くことができ
る。このデータ転送チャネルを利用して、座標データを
伝送することができる。

【００７７】符号化画像信号の送信側では、受信された
座標データがインタフェース７０４を介してソースコー
ダ７０１内の低域通過フィルタに供給される。低域通過
フィルタでは、入力された領域指定信号から前記と同様
にして指定された特定領域のみに画像信号にフィルタリ
ングが施される。

【００７８】第２、第３および第４の実施例において、
指定領域内の画像信号を低域通過フィルタでフィルタリ
ングしてもよい。これは例えば画像内の特定の部分だけ
を特にぼかして表示させたい場合に有効である。

【００７９】本発明によれば、符号化前に顔以外の領域
について選択的にあるいはより強い低域通過フィルタ処
理を施して画質を落とすことにより、顔以外の領域にブ
ロック歪のような目立ちやすい歪を生じさせることなく
、顔領域の画質を向上させて主観的画質を高める事がで
きる。

【００８０】また、本発明は符号化の前段に顔領域検出
回路と、顔領域の検出結果に従って特定の領域にのみ選
択的にフィルタ処理を施すか、または検出結果に応じて
フィルタ特性を変えることのできる低域通過フィルタを
設けるだけで実現でき、符号化以降の回路構成、符号化
制御は従来と同様でよく、その実施が極めて容易である
。

【図面の簡単な説明】

【図１】　　本発明に係る画像符号化装置の第１の実施
例を示すブロック図

【図２】　　マクロブロックのフォーマットおよび低域
通過フィルタに入力される信号のフォーマットを説明す
るための図

【図３】　　顔領域検出の原理を説明するための図

【図
４】　　他の顔領域検出の原理を説明するための図

【図
５】　　検出された顔領域を矩形によって規定すること
を示す図

【図６】　　図１中の顔検出回路の構成例を示すブロッ
ク図

【図７】　　図６の顔検出回路の顔領域検出動作を説明
するための図

【図８】　　図６の顔検出回路に用いられるヒストグラ
ム作成回路の構成例を示すブロック図

【図９】　　図１中の顔検出回路の他の構成例を示すブ
ロック図

【図１０】　　図１中の低域通過フィルタの一例のブロ
ック図

【図１１】　　図１中の低域通過フィルタの他の例のブ
ロック図

【図１２】　　図１中の低域通過フィルタの別の例のブ
ロック図

【図１３】　　図１２中の非線形回路の入出力特性を示
す図

【図１４】　　図１中の低域通過フィルタのさらに別の
例のブロック図

【図１５】　　図１４の低域通過フィルタの動作を説明
するための図

【図１６】　　本発明に係る画像符号化装置の他の実施
例を示すブロック図

【図１７】　　図１６に用いられる領域指定装置の構成
を示すブロック図

【図１８】　　図１６の装置において入力画像の領域指
定を行う方法を説明するための図

【図１９】　　図１６の装置において入力画像の領域指
定を行う他の方法を説明するための図

【図２０】　　本発明に係る画像符号化装置を用いたテ
レビ電話装置の一実施例のブロック図

【図２１】　　本発明に係る画像符号化装置を用いたテ
レビ電話装置の他の実施例のブロック図。

【符号の説明】

１０１…フレームメモリ　　　　　　　　　　　　　　
１０２…顔領域検出回路 １０３…低域通過フィルタ　　　　　　　　　　　　１
０５…フレーム間／内判定回路 １０７…ＤＣＴ回路　　　　　　　　　　　　　　　　
　　１０８…量子化回路 １０９…有効／無効判定回路　　　　　　　　　　１１
０…逆量子化回路 １１１…逆ＤＣＴ回路　　　　　　　　　　　　　　　
　１１３…動き補償フレーム間予測回路 １１４…ループフィルタ　　　　　　　　　　　　　　
１１６…多重化回路 １１７…可変長符号化回路　　　　　　　　　　　　１
１８……バッファ １１９…符号化制御回路　　　　　　　　　　　　　　
１２０…領域指定装置

Claims (5)

【特許請求の範囲】
1. 【請求項１】　　動画像の入力画像信号を符号化する画
   像符号化装置において、前記入力画像信号中の特定領域
   を検出して、特定領域とそれ以外の領域とを区別して指
   定する領域指定信号を出力する領域検出手段と、前記領
   域指定信号に従って、前記入力画像信号のうち前記特定
   領域以外の領域の画像信号を選択的に空間方向および時
   間軸方向の少なくとも一方の方向にフィルタリングする
   低域通過フィルタ手段と、前記低域通過フィルタ手段か
   らの出力画像信号を符号化する符号化手段とを具備する
   ことを特徴とする画像符号化装置。
2. 【請求項２】　　動画像の入力画像信号を符号化する画
   像符号化装置において、前記入力画像信号中の特定領域
   を検出して、特定領域とそれ以外の領域とを区別して指
   定する領域指定信号を出力する領域検出手段と、前記領
   域指定信号に従って、前記入力画像信号を前記特定領域
   の画像信号より該特定領域以外の領域の画像信号がより
   強くフィルタリングされるようにフィルタリングする低
   域通過フィルタ手段と、前記低域通過フィルタ手段から
   の出力画像信号を符号化する符号化手段とを具備するこ
   とを特徴とする画像符号化装置。
3. 【請求項３】　　入力画像信号中の任意の特定領域とそ
   れ以外の領域とを区別して指定するための領域指定信号
   を出力する領域指定手段と、前記領域指定信号に従って
   、前記入力画像信号のうち前記特定領域以外の領域の画
   像信号を選択的にフィルタリングする低域通過フィルタ
   手段と、前記低域通過フィルタ手段からの出力画像信号
   を符号化する符号化手段とを具備することを特徴とする
   画像符号化装置。
4. 【請求項４】　　前記低域通過フィルタ手段は、空間方
   向のフィルタリングを行うための第１の低域通過フィル
   タと、時間軸方向のフィルタリングを行うための第２の
   低域通過フィルタと、前記第１および第２の低域通過フ
   ィルタのいずれか一方のフィルタの出力を他方のフィル
   タの入力に結合する手段と、前記第１および第２の低域
   通過フィルタのそれぞれのフィルタリングの強さを個々
   に制御するための手段とを有することを特徴とする請求
   項１、２または３に記載の画像符号化装置。
5. 【請求項５】　　入力画像信号を符号化して送信し、こ
   の符号化された画像信号を受信側で復号化する画像符号
   化／復号化装置において、前記入力画像信号中の任意の
   特定領域とそれ以外の領域とを区別して指定するための
   領域指定信号を出力する領域指定手段と、前記領域指定
   手段から出力される領域指定信号を前記受信側から前記
   送信側に送信する手段と、前記入力画像信号中の前記受
   信側からの前記領域指定信号で指定された特定領域以外
   の画像信号を選択的にフィルタリングする低域通過フィ
   ルタ手段と、前記低域通過フィルタ手段からの出力画像
   信号を符号化する符号化手段とを具備することを特徴と
   する画像符号化／復号化装置。