JPH0281590A - 動画像符号化方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明はテレビ会議、テレビ電話等における動画像の伝
送に用いられる動画像符号化方式に関する。

（従来の技術） 近年動画像？〕号化方式は標準化を目前にしてますます
活発に研究されてきている。また、さらに将来的な符号
化方式として、知的符号化なども提案され、研究の一方
向として画像に関する知識をｆＩ＋■らかの形で利用し
た符号化方式が検討されてきている。このような方式の
１つとして、人物画像よりその顔領域を検出し、顔領域
にビットを多く配分することによって顔領域の画質を向
上させようという考え方がある。（例えば、本発明者に
よる提案：特願昭６２−２３６１３０号など）。

このような方式においては、顔領域の検出の仕方が重要
なポイントとなる。現在提案されている方式はすべて、
処理の前車さと実時間性より、フレ−ム間差分を利用し
た方式となっている。

すなわち顔領域にビットを多く配分する方式を実際のコ
ーデックに適用する場合、顔領域の検出は常に良好に行
われることが画質を良好に保つために重要となる。すな
オ〕ち、フレームによって顔領域が検出されたりされな
かったりするようなことになれば、顔領域は高画質と低
画質の女動がはげしくなり視覚上の大きな歪を引き起こ
し、動き？１１７償等符号化方式＋］体の効率低下を招
くことにもなる。また、顔領域として検出される領域の
大きさか短時間に極端に変化することも同様の意味で好
ましくないといえる。

しかし現状として顔領域の検出方法としては、−に連し
たようにフレーム間差分に蟻づいた方式のみが実用可能
な方法として提案されてるに剥ぎない。フレーム間差分
を用いる場合、被写体が常に動きをもつ場合には、顔検
出も常に良好に行われるが、実際には、人物等が写って
いる場合でも、動きが小さくなったり、はとんど静止し
てしまったりするようなことも起こりうる。

（発明が解決しようとする課題） 上述したように被写体の動きが小さくなったりあるいは
ほとんど静止状態において、現状のフレーム間差分方式
では顔領域が検出されない場合が起りつる。そうすると
、顔領域が実際に検出される場合とされない場合で著し
く画質が変化し、視覚的にも大きな歪を引き起こしてし
まう。

そこで本発明はこのような問題を解決し、実際のシーン
においても常に良好な顔領域検出を行い得る視覚的にも
良好な画質を保ち得る動画像符号化方式を提供すること
にある。

［発明の構成〕 （問題を解決するための手段） この発明では、顔領域検出回路により検出された検出結
果をみて、その検出結果が妥当なしのであるか否かを判
定し、前回利用した検出結果を蓄えておく。検出結果の
妥当性とは、例えば検出された領域の大きさやその時間
的変化、位置の変化等に基づいた規則により判定する。

（作　用） 顔領域が検出された結果の妥当性を常に判定し、妥当で
ない場合には前回の結果を利用することによって、良好
な検出結果を利用する。これにより、画質を良好に保つ
ことができる。さらに、妥当でない場合には前回の検出
結果を徐々に広げて使う方法を用いることにより人物の
静止によって余った情報を使って背景もきれいに伝送す
ることができるようになる。

（実施例） 以下、本発明の実施例を図面を参照して説明する。

第１図は本発明に係る動画像初号化装置の一実施例を示
すブロック図である。

第１図において入力された画像は、まず駒おとし制御回
路１００を通り、符号化フレームのみがフレームメモリ
１０１に蓄えられて処理される。

駒おとし制御回路１００はバッファ１０３のバッフアロ
がある閾値を越えている場合に入力フレームを駒おとし
する回路である。入力されたフレームデータはフレーム
遅延回路１０４を経て遅延されたデータと遅延されない
データとに分けられて顔役出回路１０５に入力される。

顔役出回路１０５では入力された２つのフレームデータ
のフレーム間２分より入力画像の顔領域を検出してその
検出結果を出力する。出力結果は顔領域−１゜顔量外−
〇のような形で表わされるマツプでもよいし、顔領域を
長方形や円で囲んだ場合に各図形を表わす座標として出
力してもよい。顔役出回路１０５の検出結果は検出結果
判定回路１０６においてその妥当性の検証がなされる。

具体的には、検出結果判定回路１０６はまず検出結果よ
り顔領域の面積を計算しその値がある閾値よりも小さい
場合にその検出結果は妥当でないというｒｌ＋定を下す
。あるいは領域が長方形で表される場合にはその縦、横
の辺の長さを独立に各々ある閾値と比較して、いずれか
一方でも閾値より小さい場合にはその検出結果は妥当で
ないという判定を下す。さらに前の検出結果と新しい検
出結果とを比較して、その面積の変化や位置の変化が急
だった場合に検出結果が妥当でないと判定させるように
することも容易にできる。検出結果が妥当であるか否か
の’Ｉ’ｌ＋定結果は、切替回路１０９に送られる。切
替回路１０９はその判定結果により、妥当である場合に
は面検出回路１０５よりの検出結果を、妥当でない場合
には、検出結果保存回路１０７、検出結果拡大回路１０
８よりの前回の検出結果（あるいはそれを修正したもの
）を新しい検出結果として？：）帰化回路１０２及び検
出結果保１ｊ回路１０７に送出する。この検出結果は、
符号化回路１０２において顔と頭具外のピント配分を変
えるという形で使われると共に、次回の顔検出結果が妥
当でなかった時のために、このデータが検出結果保存回
路１０７に保存しておく。検出結果拡大回路１０８は検
出結果保存回路１０７に保存された検出結果をある決め
られた規則（例えば上下左右に１０画素分ずつ拡大する
など）により拡大する回路である。この回路により、検
出結果が妥当でない状況か続いた場合、第２図に示すよ
うに徐々に頭領域か拡大されていくことになる。この回
路の効果により例えば人物が静止して顔検出がうまくい
かなくなっても頭領域の画質が低ドするどころか逆に発
生情報量が減って余ったビット数を使って背景もきれい
にすることができるようになる。

なお、バッファ１０３より符号化回路１０２、駒おとし
制御回路１００にバッフアロを示す情報が送られ、これ
により符号化及び駒おとじの制御がかかる点は従来の符
号化装置と同様である。

次に面検出回路１０５において行われる顔検出方法の一
例について以下に説明する。第３図は第１図の面検出回
路１０５ば入力される２つのフレームのフレーム間差分
画像を示している。上記フレーム間差分画像についてま
ずあらかじめ設定した第一の閾値により２値化を行い、
縦方向及び横方向について第一の閾値以上の値をもつ画
素数のヒストグラムを作成する。顔検出はまず頭頂の検
出より行う。頭ＩＪｊは上記縦方向のヒストグラムを上
より探索し、あらかじめ設定された第二の閾値を初めて
越えた点（第３図のｙ　）を選択することにより得られ
る。頭頂が得られた後には頭部の左端及び右端の検出を
行う。頭部の左端右端の検出も基本的には頭頂と同様に
横方向のヒストグラムを左及び右から探索し、初めて第
２の閾値を越えた点を選択することにより行う。但し、
このようにすると、肩の幅をもつ領域を検出してしまう
ので、横方向のヒストグラムは頭頂から第３図の幅Δの
部分についてのみ作成することにより頭部幅をもつヒス
トグラムを得る。この場合、幅Δは頭の幅か変化しない
領域を調へる等の１（雑な処理を行うことにより得る方
法もあるが、簡易的な方法として頭頂を検出した座標ｙ
　により適応的に定める方法も考えられる。例えば画像
の大きさをＸＸＹとした！１、ｒに、 Δり　（Ｙ−ｙ）Ｘ　　β β　−１／　４　　（ｏｒｌ　　／　５　）により決定
するなどの方法が６゛えられる。最後に頭領域下端を決
定する。頭領域下端はヒストグラムより得るのは比較的
困難なので、頭部幅にある一定の比率γをかけて頭部長
とする方法が考えられる。γの値としては１．３〜１．
６程度の値が適当であると考えられる。以下の１：ψ作
により第５図に示すように頭領域をそれを包囲する長方
形によって指定することができ、この長方形内部にその
外部よりも多いビット配分を行うことができることにな
る。

次に第４図により顔ｎｆｌ域の別の検出方法の例を示ず
。第３図の例では各端点座標Ｘ、、Ｘ、。

ｙｓ”ｃは１画素単位の分解能で得られたが、実際にブ
ロック単位で７〕号化を行う方式に顔検出十ビット配分
差別ガ式を適用しようとする場合、ビット配分差別もお
のずから符号化ブロック単位とならざるを得ない。そこ
で、第４図に示すようにフレーム間差分画像をある大き
さのブロックに分割しくこのブロックの大きさは符号化
ブロックよりも小さくてもよいし、同じ大きさでもよい
）、上記ブロック内であらがしめ設定された第一の閾値
を越える画素数をカウントする。次に画面上左端より走
査式に上記ブロック内のカウント数を第二の閾値と比較
しつつ探索し、初めて第二の閾値を越えたブロックのｙ
座標ｙ　を頭頂、そのあとあるΔ（Δは例えば第３図の
例と同様にして定める）の範囲で探索し得られた、カウ
ント数が第二の閾値よりも大きいブロックのうち最左座
標をもつブロックの座標を頭領域の左端座標Ｘ　１最右
座標をもつブロックの座標を頭領域の右端Ｘ　とする。

頭領域下端座標ｙ　は例えば第３図の例と同様の方法を
用いて決定する。

次に、第１図の符号化回路１０２の具体例として考えら
れるものを２．３あげて説明する。第１図の説明では述
べなかったが、ここで用いる符号化方式によっては、頭
領域の検出結果を受信側に送出する必要が出てくるため
、注意が必要である。

第６図、第７図は符号化回路の具体例を表わすブロック
図である。第６図は動き補償フレーム間予１１＋ＤＣＴ
（ディスクリートコサイン変換）を用いた？コ号化方式
において、量子化ステップサイズを頭領域と顔以外の領
域とで変えることにより頭領域に多くビット配分を行う
符号化方式である。

量子化ステップサイズはステップサイズ決定回路６１１
により、顔以外の領域のステップサイズをα（α〉１）
倍することにより決定される。ステップサイズ決定回路
６１１のブロック図を第８図に示す。′：ｊ５６図の他
のブロックは従来の動き補償フレーム間予測＋ＤＣＴを
用いた符号化装置と同じである。

本方式では、類６ｆｊ域と顔以外の領域において異なる
量子化ステップサイズを用いるため、顔検出の結果を何
らかの形で受信側に送ることが必要となる。しかし例え
ば頭領域が第５図に示されるように長方形で表現されて
いる場合、送る必要のある情報は第５図のＸｓ　＋　　
ｘｅ　ｌ　　”’　　の３座標のみであり、各８　ｂｉ
ｔで表現するとしても高々２４ｂｉｔの付加情報のみで
すむ。

第７図は動き補償フレーム間予ｉ’ｌ＃Ｉ　＋　Ｄ　Ｃ
Ｔを用いた符号化方式において、送るＤＣＴ係数の個数
を頭領域と顔以外の領域とで変えることにより頭領域に
多くビット配分を行う符号化方式である。

入力されたフレームデータが７０６〜７０９よりなる動
き補償及び６１３〜６１５よりなる顔検出に用いられる
点は第１図の実施例と全く同様である。差分回路７０１
により得られた動き補償フレーム間予ｕｌご；疋信号が
Ｄ　Ｃ”１−回路７０２によりＤＣＴされる点も同様で
ある。本実施例の特徴は走査変換回路７１１において、
顔検出の結果を用いた適応的な変換係数の打切を行う点
にある。

以下第９図を用いてこの点を説明する。第９図はＤＣＴ
後の変換係数領域のブロックを示している（この例では
８×８ブロツク）。この変換係数は図に示すようにラス
クスキャン→ジグザグスキャンに走査方法の変換が行わ
れて送出される。このジグザグスキャンにより高域成分
はど後に走査されるようになる。ところで、前段の量子
化により値０に量子化されるデータは一般に高域はど発
生しやすくなっているため、データの送出は走査順に係
数を見て最後の非Ｏの係数の後にＥＯＢ（Ｉシｎｄ　ｏ
ｆ’　Ｂｌｏｃｋ）をつけることによりその後のＯ係数
の系列をＥＯＢで置きかえて送る方式がとられることが
ある。このような方式において顔検出回路６１５よりの
顔検出結果を用いてビット配分を変えるために、本実施
例では、頭領域においては通常の送出、すなわち最後の
非Ｏ係数後にＥ　ＯＢ　＋！人としく第９図（ａ）　）
　、顔以外の領域においては強制的に固定位置にＥＯＢ
を挿入して以後の係数の打切りを行う（第９図（ｂ））
。このことにより顔以外の領域の係数の数を減少させて
ビット割当を少なくすることができる。本方式では、顔
検出の結果を受信して送る必要はない。

［発明の効果］ この発明によれば、頭領域の検出を行って顔以外の領域
よりも多くのビット配分を行う方式においてフレーム間
差分を用いた顔領域検出結果を安定した良好なものとな
らしめることができ、視覚上も良好な画質を提供するこ
とができる。さらに人物が静止することにより余ったビ
ット数を使って背景もきれいにすることができ、レート
の有効利用にもつながる。

【図面の簡単な説明】

第１図は本発明に係る符号化装置の一実施例を示すブロ
ック図、第２図は顔領域検出結果が妥当でない場合に、
頭領域が徐々に広がっていくことを示す図、第３図、第
４図は頭領域検出の原理の−例を示す図、第５図は面領
域を長方形によって囲むことを示す図、第６図、第７図
は第１図の符号化回路の実施例を示す図、第８図は第６
図のステップサイズ決定回路の構成例と示すブロック図
、第９図は第７図の実施例におけるビット配分差別化の
原理を示す図である。

Claims (2)

【特許請求の範囲】
1. （１）入力動画像を符号化し、入力動画像のフレーム間
   差分より人物の顔領域を検出し、この顔領域の検出結果
   を利用して、顔領域に顔以外の領域よりも多くのビット
   割当てを行なう動画像符号化方式であって、前記フレー
   ム間差分よりの顔検出の結果が所定の値に達しない場合
   には、前回の検出結果を利用することを特徴とする動画
   像符号化方式。
2. （２）入力動画像を符号化し、入力動画像のフレーム間
   差分より人物の顔領域を検出し、この顔領域の検出結果
   を利用して、顔領域に顔以外の領域よりも多くのビット
   割当てを行なう動画像符号化方式であって、フレーム間
   差分よりの顔検出結果が所定の閾値に達しない場合には
   、前回検出された領域を徐々に広げることを特徴とする
   動画像符号化方式。