JPH07203436A

JPH07203436A - 画像符号化装置

Info

Publication number: JPH07203436A
Application number: JP33847193A
Authority: JP
Inventors: Kunihiro Katayama; 邦弘片山; Aoi Kitaura; あおい北浦; Noboru Kubo; 登久保
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1993-12-28
Filing date: 1993-12-28
Publication date: 1995-08-04

Abstract

(57)【要約】【目的】伝送容量が小さい場合でも画質向上の効果が
得られる画像符号化装置を提供する。【構成】１．画像の特定領域を画像信号について予め
設定した閾値に関して確定し、特定領域において符号量
の配分を増やし、特定領域外の領域に対しては符号量の
配分を減らす。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像符号化装置に関す
る。本発明に係る画像符号化装置はテレビ会議、テレビ
電話における動画像の符号化に用いることができるが、
これに限定されない。

【０００２】

【従来の技術】画像通信用の既知の符号化方式をテレビ
電話やテレビ会議の画像全体に適用し、その出力信号を
ＩＳＤＮ（サービス総合ディジタル網）で伝送可能な低
ビットレート（６４ｋｂｉｔ／ｓ）の伝送速度において
送信側から受信側へと伝送路を通じて伝送する場合に
は、画面全体に割り当てる符号量を少なくせざるを得
ず、従って画質の劣化が大きい。

【０００３】そこで画像通信においては、画像全体の画
質向上を均一に図るよりも、必要な領域についてのみ画
質向上を図った方が視覚上効果的であることから、視覚
上重要な領域を特定し、その特定領域に対しては符号量
の配分を増やし、特定領域以外の領域に対してはその分
だけ符号量の配分を減らして、視覚上重要な領域の画質
向上を図ることにより、符号量の少ない低ビットレート
での動作においても実質的に画質向上と同様の効果を得
ることが提案されている（特開平４−２１９０８９号公
報参照）。

【０００４】従来技術を示す図１７において、画像入力
１７００には、動画像の画像信号がフレーム単位で順次
に入力される。この画像信号は、図示しないＮＴＳＣ方
式のカラーテレビカメラによって人物を撮像することに
よって得られたコンポーネント信号を輝度信号Ｙと色差
信号、例えばＣｒ（Ｒ−Ｙ）、Ｃｂ（Ｂ−Ｙ）に変換
し、更にこれらを図示しないＡ／Ｄ変換器及びフォーマ
ット変換器によってＣＩＦ（Common Intermediate Form
at）又はＱＣＩＦ（Quarter Common Intermediate Form
at）による世界単一標準の中間フォーマットのデジタル
データに変換することによって得られる。この共通中間
フォーマットを下記の表に示す。

【０００５】

【表１】

【０００６】このようにして前処理の行われた画像信号
は、フレームメモリ１７０１に１フレーム分ずつ順次に
フレームデータとして書込まれる。フレームメモリ１７
０１に書込まれたフレームデータは複数のブロック単位
又はフレーム単位で読出されて、顔領域検出部１７０２
及びＬＰＦ（低域通過フィルタ）１７０３に加えられ
る。このフレームデータの読出し単位は、８画素×８画
素のブロックの大きさよりも大きい大きさの単位であ
る。そして、図示しない制御部の制御の下に順次に読出
される。フレームメモリ１７０１から読出された画像信
号は一方ではＬＰＦ１７０３の入力に加えられると共
に、他方では顔領域検出部１７０２に加えられる。顔領
域検出部１７０２では、フレームメモリ１７０１から新
たに入力されてくる現フレームデータと内部の図示しな
いフレームメモリに蓄えられた前フレームデータとの差
分をマクロブロック単位で求めることによって、現フレ
ームデータ内の顔領域を検出し、現フレームデータ内の
マクロブロックが顔領域かそれ以外の領域かを区別して
指定する領域指定信号を出力する。低域フィルタ１７０
３の出力は動き検出部１７０４の一方の入力に加えら
れ、フレームメモリ１７０１の出力は動き検出部１７０
４の他方の入力にも加えられる。動き検出部１７０４の
出力は４×４のブロック毎にＤＣＴ（離散的コサイン変
換器）１７０５の入力に加えられ、ＤＣＴ１７０５の出
力であるＤＣＴ係数は量子化部１７０６の入力へ加えら
れ、量子化部１７０６の出力は符号化部１７０７の入力
へと加えられ、端子１７０８の符号化部１７０７の画像
出力は回線を通じて受信側へ伝送される。

【０００７】図１８は図１７の顔検出部１７０２を詳細
に示す図である。フレームメモリ１８０１では、前フレ
ームデータを格納する。引算器１８０２では、フレーム
間差分画像信号を出力する。ヒストグラム作成回路１８
０３、１８０４では、フレーム間差分画像信号よりｙ軸
及びｘ軸ヒストグラムを作成する。平均値回路１８０
５、１８０６では、作成されたｙ軸及びｘ軸ヒストグラ
ムより平均値を求める。比較器１８０７、１８０８で
は、平均値回路１８０５、１８０６で求めた平均値を閾
値としてヒストグラム作成回路１８０３、１８０４で作
成された各ヒストグラムとを比較する。変化点検出回路
１８０９、１８１０では、比較器１８０７、１８０８の
出力からｘ軸及びｙ軸ヒストグラムの変化点の座標を検
出して座標データを出力する。領域計算回路１８１１で
は、ｘ軸及びｙ軸ヒストグラムの変化点の座標を含む矩
形領域を顔領域として顔領域以外の領域と区別する領域
指定信号を出力する。

【０００８】図１９はヒストグラム作成回路の内部構成
図である。２値化回路１９０１では、フレーム間差分画
像信号に対して予め設定された閾値により２値化を行
う。カウンタ１９０２では、画面の縦及び横方向につい
て閾値以上の値をもつデータ（２値化データの‘１’）
の画素の数をカウントして、画素数のヒストグラムを作
成する。メモリ１９０３では、作成したヒストグラムを
格納する。座標アドレス制御回路１９０４では、ヒスト
グラムの座標アドレスを制御する。

【０００９】

【発明が解決しようとする課題】ところで、従来技術で
あるフレーム間差分画像を用いてヒストグラムを作成し
特定領域を検出する方法では、フレームメモリが２つと
ヒストグラム用メモリが必要になる。さらに、顔領域を
検出する際に多くの処理回路を有するため、回路規模が
大きくなる上に演算量が多くなり消費電力が大きいとい
う問題がある。

【００１０】

【問題を解決するための手段】画像信号について予め設
定した閾値に関して判定を行う判定手段と、該判定手段
の出力によって特徴領域の検出を行う特徴領域検出手段
とを具備する。

【００１１】

【作用】画像信号について予め設定した閾値に関して判
定を行う判定手段を具備することにより、複雑な領域検
出回路を必要とせず大幅な回路規模縮小と消費電力削減
が図られる。

【００１２】

【実施例】以下、図面を参照して各請求項の一実施例を
示す。

【００１３】図１は本発明の一実施例を示すブロック図
である。

【００１４】前処理部１０１では、図示しない時間・空
間フィルタにより、入力画像信号を例えばＣＩＦによる
世界単一標準の中間フォーマットに変換し、併せて雑音
除去を目的とするフィルタリング、冗長度削減処理を目
的とするフィルタリングを行う。

【００１５】フレームメモリ１０２では、前処理の施さ
れた１フレーム分の輝度信号Ｙと色差信号Ｃｒ、Ｃｂの
データを格納する。領域検出部１０８では、視覚上重要
な領域のアドレスを特定領域のアドレスとして検出す
る。領域メモリ１０９では、領域検出回路１０８で検出
した特定領域のアドレスより特定領域の信号を格納す
る。ソース符号部１０３では、まず画像信号を選択的に
図示しない低域通過フィルタに通す。即ち、特定領域に
ついては上記の低域通過フィルタを通過させないが、特
定領域以外の領域については上記の低域通過フィルタを
通過させて、情報の圧縮を行う。次いで、この画像信号
について動き補償フレーム間予測を行い（但し、動き補
償は１６×１６画素を対象とする。）、次にその予測誤
差を８×８画素のブロックサイズで直交変換の一種であ
るＤＣＴ（離散コサイン変換）した後に、量子化する。
そして、量子化の際の特定領域の量子化ステップサイズ
を特定領域以外の量子化ステップサイズ（例えば８）よ
りも小さくすること（例えば１）で、抽出領域へ重点的
に符号量の配分を行う。ビデオマルチプレックス符号部
１０４では、ソース符号部１０４の出力の変換係数の量
子化インデックス、動きベクトル情報、ブロックタイプ
情報等について、統計的性質を利用した可変長符号によ
り更にデータを圧縮した後に、定められたデータ構造の
符号列に多重化される。伝送バッファ１０５では、非定
常的な符号化回路の出力を一時的に貯え、その内容を符
号化制御部１０７により一定のレートで読出して、符号
部の情報発生量を時間的に平滑化する。伝送路符号部１
０６では、誤り訂正符号化を行う等して伝送容量に適合
した信号を発生させる。符号化制御部１０７では、符号
化アルゴリズムの中の要素をどのように使って与えられ
た伝送レートのビット列を発生するかを決定する。

【００１６】図２は領域検出部１０８の演算フローであ
る。ステップ２０１では、視覚上重要な領域を検出する
ためにスタートアドレスＳａと列数Ｎｘと行数Ｎｙを外
部入力により設定する。また、検出する領域の列と行を
数えるための図示しない列カウンタと行カウンタを０に
する。ステップ２０２では、列カウンタと検出する領域
列数Ｎｘとの大小を比較し、列カウンタが検出する領域
列数Ｎｘより小さければステップ２０４に進み、大きけ
ればステップ２０３に進む。ステップ２０３では、列カ
ウンタを０にし、行カウンタを行カウンタ＋１にし、Ｓ
ａをＳａ＋３６０−Ｎｘにしてから、ステップ２０４に
進む。ステップ２０４では、行カウンタと検出する領域
行数Ｎｙとの大小を比較し、行カウンタが検出する領域
行数Ｎｙよりも小さければステップ２０５に進む。ステ
ップ２０５では、列カウンタを列カウンタ＋１とし、Ｓ
ａをＳａ＋１として、検出する領域であることを示す値
を出力すると共に、ステップ２０２に戻る。そして、最
終行まで同様の動作を繰返す。ステップ２０４におい
て、行カウンタが検出する領域行数Ｎｙよりも大きくな
ければ、終了する。

【００１７】図３は特定領域の指定を説明する図であ
る。

【００１８】動画像１フレーム分の領域３０１の内部に
は、矩形の特定領域３０２が示されている。その特定領
域３０２の左上隅の画素のアドレスはＳａで示されてお
り、更に特定領域の縦方向及び横方向の画素数はＮｘ及
びＮｙでそれぞれ示されている。

【００１９】図４は、テレビ電話の画像の一例を示して
いる。テレビ電話では、映っている画像の大部分は人物
の肩上像であり、時間的にも動きが非常に少ない。テレ
ビ会議電話でも、数人の並んだ人物の肩上像であること
が多い。しかも、視覚上重要となる領域は顔部分とな
る。そこでテレビ電話の画面４０１において顔部分が含
まれる領域４０２を外部入力により指定して、その指定
された特定領域に対してはＤＣＴの符号領域の配分を増
やし、特定領域以外の領域に対してはその分だけ符号量
の配分を減らすことにより特定領域４０２の画質向上を
図る。但し、この場合には既述のように、特定領域以外
の領域については動き補償を行う前に低域フィルタに通
過させて、情報量の圧縮を行うと共に、ＤＣＴ係数の量
子化の際にも、特定領域以外の領域については、より大
きい量子化ステップサイズを用いることによって、更に
符号化に要する情報量を節約する。この結果、画像信号
には、符号量の少ない低ビットレートでの動作において
も、視覚上画質向上がもたらされるという効果を得るこ
とができる。また、前記した通り、従来技術で必要とし
た複雑な特徴検出機能を必要とせず、大幅な回路規模縮
小と消費電力削減が図られる。

【００２０】図５は、本発明の別の実施例を示すブロッ
ク図であって、図１に示した本発明の第１実施例のブロ
ック図に、特徴検出部５１０と雑音除去部５１１と穴埋
め部５１２を付加したものである。図５においては、百
の桁を除いて同一の符号を付されたブロックは、図１の
ものと同一である。

【００２１】特徴検出部５１０では、上述の特定領域に
ついて、色差信号Ｃｂ、Ｃｒを予め定めた上限、下限の
閾値に関してその数値範囲に入るかどうかを判定して、
画素単位で視覚上重要な顔、即ち肌の色相が含まれるか
どうかを決定し、顔領域とする。

【００２２】次に、雑音除去部５１１では、上記のよう
にして概要検出された領域について数種類の雑音除去フ
ィルタを掛けて特定領域の絞り込みと雑音除去を行う。

【００２３】具体的には、図７に示すように、３×３ブ
ロックの４種類の判定パターンを設ける。

【００２４】一方、上述の特定領域の輝度信号につい
て、これを図６に示す２×２画素のブロックに分け、更
に特定領域をメモリにおいてラスタ走査し、その走査に
際して、或るブロックが選択されているときに、そのブ
ロックを中心として３×３ブロックを選択し、その顔領
域に関するデータを容量が９ビットの一時記憶に格納す
る。この一時記憶のアドレスを図８（ａ）に示すように
Ｍ０〜Ｍ８とする。そして、この一時記憶のデータを読
出して、図９の論理回路に導いて、図７に示す４つの判
定パターンとの照合を行う。図９の論理回路において、
ＡＮＤ回路Ａ１は図７（ａ）の判定パターンとの照合を
行うものであり、ＡＮＤ回路Ａ２〜ＡＮＤ回路Ａ４はそ
れぞれ図７（ｂ）〜（ｄ）の判定パターンとの照合を行
うものである。ＡＮＤ回路Ａ１〜Ａ４の出力はＯＲ回路
Ｏ１によって論理和を取られる。ＯＲ回路Ｏ１の出力が
あると、そのときの中心の２×２画素の１つのブロック
は顔領域と判断し、それ以外は雑音と判断して、中心の
２×２画素の１つのブロックは顔領域から除外する。従
って、図８（ｂ）の如きパターンにおいては、図９の論
理回路から出力が得られるから、その中心の１つのブロ
ックは顔領域と判断される。

【００２５】以上のものでは、顔領域においても、眉、
目、口等は顔の色相と異なるので、図５の穴埋め部５１
２ではこの穴埋めを行う。この場合の判定パターンを図
１０に示す。ここで三角印及び四角印のついたブロック
は注目するブロック群を示す。即ち、各判定パターンに
ついて、顔領域に関するデータ値に関して、三角印及び
四角印のブロック群については論理和をそれぞれ取ら
れ、次いで論理積を取られる。この操作を各判定パター
ンについて行って、雑音除去が行われる。

【００２６】この点を詳述すると、前と同様に、上述の
特定領域について、これを２×２画素のブロックに分
け、更に特定領域をラスタ走査し、その走査に際して、
或るブロックが選択されているときに、そのブロックを
中心として７×７ブロックを選択し、そのデータを容量
が４９ビットの一時記憶に格納する。この一時記憶のア
ドレスを図１１（ａ）に示すようにＰ０〜Ｐ４８とす
る。そして、この一時記憶のデータを読出して、図１１
（ｂ）の論理回路に導いて、図１０（ｂ）に示す４つの
判定パターンとの照合を行う。図１１（ｂ）の論理回路
において、ＯＡ回路Ｏ１１、Ｏ１２、ＡＮＤ回路Ａ０１
の組合せは、図１０（ａ）の判定パターンとの照合を行
うものであり、ＯＡ回路Ｏ１３、Ｏ１４、ＡＮＤ回路Ａ
０２の組合せは、図１０（ｂ）の判定パターンとの照合
を行うものであり、ＯＡ回路Ｏ１５、Ｏ１６、ＡＮＤ回
路Ａ０３の組合せは、図１０（ｃ）の判定パターンとの
照合を行うものであり、ＯＡ回路Ｏ１７、Ｏ１８、ＡＮ
Ｄ回路Ａ０４の組合せは、図１０（ｄ）の判定パターン
との照合を行うものである。そして、ＯＲ回路Ｏ１９は
ＡＮＤ回路Ａ０１〜Ａ０４との論理和を取る。ＯＲ回路
Ｏ１９の出力に出力があるときは、上述の７×７ブロッ
クの中心のブロックは顔領域であると判定する。ＯＲ回
路Ｏ１９の出力に出力が無いときには、何も行わない。

【００２７】図１２は、本発明の別の実施例に係るテレ
ビ電話の画像の一例を示している。テレビ電話の画面１
２０１において顔部分が含まれる領域１２０２を外部入
力により指定する。更に、上述のようにして顔領域を検
出し、穴埋めを行って、最終的に顔領域１２０３を決定
し、その顔領域１２０３に対しては符号量の配分を増や
し、それ以外はたとえ指定領域であっても、符号量の配
分を減らすことにより顔領域１２０３の画質向上を図
る。

【００２８】図１３は、図５のものに領域拡張部１３１
３を付加したものである。図１３において、千の桁と百
の桁を除いて同一の符号を付されたブロックは図５のも
のと同一である。

【００２９】領域拡張部１３１３では、領域メモリ１３
０９からの信号による検出境界に対して一定距離をおい
て境界拡張をする。

【００３０】図１４は領域拡張部１３１３の演算フロー
図である。

【００３１】ステップ１４０１では、領域メモリ１３０
９から受け取るデータが特徴検出領域のデータであるか
を調べ、特徴検出領域であればステップ１４０２に進
み、特徴検出領域でなければそのまま出力する。ステッ
プ１４０２では、受け取ったデータを原点としたとき、
水平、垂直方向±αの位置に存在するデータも特徴領域
データであることを示す値にする。

【００３２】図１５は、画面１５０１、特定領域１５０
２、顔領域１５０３について、α＝１の場合に、拡張領
域がどのようにして生成するかを示している。斜線を付
された丸印の部分が顔領域に含まれるようにされる。

【００３３】図１６において、テレビ電話の画面１６０
１において顔部分が含まれる領域１６０２を指定して特
徴検出機能により顔領域１６０３を検出する。更に、領
域拡張機能により特徴検出境界を一定の割合で拡張させ
た拡張領域１６０４を検出する。その検出領域に対して
は拡張領域を含めて符号量の配分を増やし、検出領域以
外の領域に対してはその分だけ符号量の配分を減らすこ
とにより、拡張領域１６０４の画質向上を図る。この結
果、符号量の少ない低ビットレートでの動作においても
視覚上画質向上と同様の効果を得られると同時に、顔部
分だけが不自然に浮かび上がったような印象を削減す
る。

【００３４】

【発明の効果】以上説明したように本発明による動画像
符号化装置では、限られた容量の伝送線路において動画
像を伝送する場合、その画像が主要な領域または視覚上
重要な領域は精細に伝送し、重要でない領域は画質を落
として伝送する場合に、従来方式よりも回路規模，消費
電力を削減させることができる。

【図面の簡単な説明】

【図１】本発明に係る符号化装置の１実施例の概略を示
すブロック図である。。

【図２】特定領域アドレスを決定する流れ図である。

【図３】特定領域を説明する図である。

【図４】本発明の１実施例に係る画像を説明する図であ
る。

【図５】本発明の符号化装置の別の実施例を概略的に示
すブロック図である。

【図６】顔領域の決定に用いる２×２画素の１ブロック
を示す。

【図７】雑音除去に用いる３×３ブロックの判定パター
ンを示す。

【図８】（ａ）は、画素ブロックの一時記憶のアドレス
を示し、（ｂ）は、雑音除去の効果を説明するブロック
パターンの一例である。

【図９】雑音除去に用いる論理回路の１例である。

【図１０】穴埋めに用いる７×７ブロックの判定パター
ンを示す。

【図１１】（ａ）は、画素ブロックの別の一時記憶のア
ドレスを概略的に示す図である。（ｂ）は、穴埋めに用
いる論理回路の１例を示す図である。

【図１２】本発明の別の実施例の画像を説明する図であ
る。

【図１３】本発明の符号化装置の更に別の実施例を概略
的に示す図である。

【図１４】顔領域拡張を説明する流れ図である。

【図１５】領域拡張の生成を説明する図である。

【図１６】本発明の更に別の実施例に係る画像を説明す
る図である。

【図１７】従来の符号化装置の一例を示す図である。

【図１８】図１７の顔領域検出部の詳細を示す図であ
る。

【図１９】図１８の顔領域検出部におけるヒストグラム
作成回路を詳細に示す図である。

【符号の説明】

１０１前処理部１０２フレームメモリ１０３ソース符号化部１０４ビデオマルチプレックス符号部１０８領域検出部１０９領域メモリ５１０特徴検出部５１１雑音除去部５１２穴埋め部５１３領域メモリ１３１３領域拡張部

Claims

【特許請求の範囲】

【請求項１】画像信号について予め設定した閾値に関
して判定を行う判定手段と、該判定手段の出力によって
特徴領域の検出を行う特徴領域検出手段と、検出した特
徴領域については符号量の配分を増やし、特徴領域以外
の領域については符号量の配分を減らすように該特徴領
域検出手段の制御を受ける符号手段とを具備し、検出し
た特徴領域の画質を向上させることを特徴とする画像符
号化装置。
【請求項２】画像信号について予め設定した閾値に関
して判定を行う判定手段と、該判定手段の出力によって
特徴領域の検出を行う特徴領域検出手段と、検出境界か
ら一定の割合で領域を拡張する特徴領域拡張手段と、拡
張された特徴領域については符号量の配分を増やし、拡
張された特徴領域以外の領域については符号量の配分を
減らすように該特徴領域検出手段の制御を受ける符号手
段とを具備し、検出した特徴領域の画質を向上させるこ
とを特徴とする画像符号化装置。
【請求項３】画像の特定領域を指定する手段と、該特
定領域外の領域については低域フィルタリングに行うこ
とによって情報量を削減する低域フィルタ手段と、該画
像について直交変換を行う手段と、その直交変換係数の
量子化に際して該特定領域については量子化ステップを
小さくし、該特定領域外の領域については量子化ステッ
プを大きくする量子化手段とを具備し、該特定領域の画
質を向上させることを特徴とする画像符号化装置。