JPH0244881A - 動画像符号化方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の目的〕 （産業上の利用分野） 本発明はテレビ会議、テレビ電話等における動画像の伝
送に用いられる動画像符号化方式に関する。

（従来の技術） 近年動画像符号化方式は標準化を目前にしてますます活
発に研究されてきている。またさらに将来的な符号化方
式として知的符号化なども提案され、研究の一方向とし
て画像に関する知識を何うカノ形で利用した符号化方式
が検討されてきている。このような方式の１つとして、
人物画像よりその顔領域を検出し、顔領域にビットを多
く配分することＫよって顔領域の画質を向上させようと
いう考え方がある。（例えば昭和６３年電子清報通信学
会春季全国大会Ｄ−１１８など）。しかし、上記の方式
はまだ基礎検討段階にあり、具体的な符号化制御の方法
については明らかにされていない。例えば上記文献では
、動き補償フレーム間予測子ＤＣＴによるシミレーショ
ンを行っているが、顔領域と顔以外の領域における量子
化ステップサイズは固定をされてしまっている。

（発明が解決しようとする課題） 上述したような顔領域にビットを多く配分する方式を実
際のコーデックに適用する場合、具体的にどのようにビ
ット配分を顔と顔以外の領域で差別化するかが問題とな
る。例えば標準化方式の参照モデルでは動き補償フレー
ム間予測子ＤＣＴにより発生した情報を量子化して送出
するが、この際の量子化ステップサイズは出力段のバッ
ファ量によりＧＯＢ（Ｇｎｅｎｐ　　ｏｆ　　Ｂｌｏｏ
ｋ）ごとに決定されることとなっている。このような方
式に顔領域にビットを多く配分する方式を導入するには
、バッファ量に応じて顔及び顔以外の領域ごとに量子化
ステップサイズの対応表をつくっておく、顛及び顔以外
の領域ごとに、バッファ量により決まるステップサイズ
に各々ある係数をかけて得られるステップサイズを使っ
て量子化する、など様々な方法が考えられる。しかし、
上述したようなＧＯＢごとにバッファ量によりフィード
バックがかかって次のＧＯＢの量子化ステップサイズが
決定されるような方式において顔領域の情報が増加する
ような制御を行うと、顔以外の領域における情報の減少
を前もって予測し、適応的に制御をしない限り発生情報
量が増加してバッファ量が増加し、量子化ステップサイ
ズも大きくなって顔領域においてもかえって画質が劣化
してしまう可能性があるという問題点がある。

そこでこの発明はこのような問題に＠みなされたもので
その目的は顔領域における画質の劣化を低減させ効率よ
く符号化を行い得る動画像符号化方式を提供することに
ある。

この発明は第１Ｋ入力動画像を符号化する符号化回路と
、この符号化回路により符号化された情報を量子化する
量子化回路と、発生情報量と回線の伝送情報量とを整合
させるバッファとを有し、このバッファのバッファ量に
より適応的に前記符号化回路のパラメータあるいは前記
量子化回路のパラメータあるいはその両者を決定する動
画像符号化方式であって、入力画像より顔領域を検出す
る顔検出回路と、この顔検出回路からの面領域検出結果
を利用して、顔領域においては顔以外の領域よりも多く
のビット割当てがなされるように制御を行う手段とを具
備し、この手段による制御を顔以外の領域において画質
が低下するように設定することを特徴とする動画像符号
化方式であり、第２に入力動画像を符号化する符号化回
路と、符号化された情報を量子化する量子化回路と、発
生情報量と回線の伝送情報量とを整合させるバッファを
有し、上記バッファ量により適応的に上記量子化回路の
量子化ステップサイズを決定する動画像符号化方式にお
いて、入力人物画像より人物の顔領域を検出する顔検出
回路を有し、上記顔領域の検出結果を利用して、顔領域
においては顔以外の領域よりも多くのビット割当てがな
されるように、顔以外の領域における量子化時には上記
バッファ量により決定されるステップサイズに１より大
なる係数をかけたステップサイズにより量子化を行うこ
とを特徴とする動画像符号化方式、第３に入力動画像を
符号化する符号化回路と、上記符号化回路の一構成要素
としての直交変換回路と、符号化された情報を量子化す
る量子化回路とを有する動画像符号化方式において、入
力人物画像より人物の顔領域を検出する面構出回路を有
し、上記顔領域の検出結果を利用して、顔領域において
は顔以外の領域よりも多くのビット割当てがなされるよ
うに、顔以外の領域においては強制的に顔の領域よりも
少ない変換係数を送出するように制御することを特徴と
する動画像符号化方式この発明では、標準化方式の参照
モデルのように、バッファ量よりワイードバ、りがかか
って符号化あるいは量子化のパラメータが決定される符
号化方式に面構出及びその結果を利用して顔領域に顔以
外の領域よりも多くビット割当を行う方式を導入する。

この際に、直接的に顔領域の符号化において画質を向上
させるようにパラメータを変更するのではなく、顔以外
の領域における符号化において画質を低下させるように
パラメータを変更することによって制御する手段を備え
ることにより間接的に顔領域に多くのビット割当を行う
。

このことは、顔以外の領域において画質を低下させるこ
とにより面構吊子ビット配分差別化を導入する前と比べ
て必ず発生情報量が減少しバッファ量を減少することに
よって次の符号化においてはバッファよりのフィードバ
ックにより、より画質を向上させる制御が行われること
により実現するものである。

これにより間接的に顔領域のビット配分を高め、面構吊
子ビット配分差別化を導入する前と比べて顔領域の画質
が必ず向上することが保証され、ビット配分差別化の制
御が簡単となると共に設計も容易になる。

（実施例） 以下、本発明の実施例を図面を参照して説明する。

第１図は本発明の一実施例に係る動画像符号化装置の一
構成例を示すブロック図である。

第１図において入力された画像はまずフレームメモリ１
０１に蓄えられブロックごとに処理がなされる。まずフ
レームのデータはフレーム遅延回路１１３を経てフレー
ムメモリ１１４に蓄えられる。面構出回路１１５にはこ
の１フレーム遅延したフレームデータと、遅延しないフ
レームデータが入力され、両者のフレーム間差分に基づ
いて顔領域が検出される。この顔領域の検出方法につい
ては後述する。

さてブロックデータはまず動き検出回路１１０において
フレームメモリ１０７に蓄えられた復号画像と比較して
動き検出が行われ、検出された動きベクトルに相当する
位置ブロックが可変遅延回路１０９によりフレームメモ
リ１０７より切り出され、差分回路１０２において入力
ブロックとの差分がとられる。差分データはＤＣＴ回路
１０３においてＤＣＴ（Ｄｉｓｃｒｅｔｅ　　ＣｏＣｏ
５１ｎｅＴｒａｎｓｔｏｒされ、量子化回路１０４に送
られる。量子化されたデータは多重化回路】１７におい
て動き検出回路１１０より送られる動きベクトル情報顔
検出回路１１５より送られる面構出情報と多重化されバ
ッファ１１２を経て出力される。さらに逆ＤＣＴ回路１
０５において逆ＤＣＴされ、ブロックメモリ１０８に蓄
えられたブロックデータと加算回路１０６において加算
され局部復号信号としてフレームメモリ１０７に蓄えら
れる。

さて本発明の特徴である量子化ステップサイズの決定に
ついては、ステップサイズ決定回路１１６がバッファ１
１２よりのバッファ量情報及び面構出回路１１５よりの
面構出情報により決定されて量子化回路１０４に送られ
る。量子化ステップ号〜イズの決定は第２図により行わ
れる。ｌくツファ量／ステップサイズ変換はバッファ量
とステップサイズとの間に参照モデルを使用してあらか
じめ定められたある対応関係に基づいてステップサイズ
を決める操作である。ここで決定されたステップサイズ
は、大きさを変化させない（Ｘｌ）出力２０２と大きさ
をα（α＞１）倍する出力の２つに分けられ、スイッチ
２０４によって面構出結果が１：（面領域）の場合出力
２０２を、０：（顔以外の領域）の場合出力２０３を選
択して出力される。つまり面領域以外の領域において画
質を低下させるようにパラメータを変更するのである。

このような方法を導入することで、発生情報量が減少し
、これＫよりバッファ１１２のバッファ量も減少し、次
の符号化ステップにおいてバッファ＼ １１２からのフィードバックにより実質的に面領域に多
くのビット配分が行われることになる。

量子化回路１０４はここで新たに決定された量子化ステ
ップサイズによりＤＣＴ係数を量子化し情報量の低減を
行う。

次に面構出回路１１５において行われる面構出方法の一
例について以下に説明する。第３図は第１図の面構出回
路１１５に入力される２つのフレームのフレーム間差分
画像を示している。上記フレーム間差分画像について、
まずあらかじめ設定した第一の閾値により２値化を行い
、縦方向及び横方向について第一の閾値以上の値をもつ
画素数のヒストグラムを作成する。面構出はまず頭頂の
検出より行う。頭頂は上記縦方向のヒストグラムを上よ
り探索し、あらかじめ設定された第二の閾値を初めて越
えた点（第３図のｙｓ　　）を選択することにより得ら
れる。頭頂が得られた後には頭部の左端及び右端の検出
を行う。頭部の左端、右端の検出も基本的には頭頂と同
様に横方向のヒストグラムを左及び右から探索し、初め
て第２の閾値を越えた点を選択することにより行う。但
し、このようにすると、肩の幅をもつ領域を検出してし
まうので、横方向のヒストグラムは頭頂から第３図の幅
△の部分についてのみ作成することにより頭部幅をもつ
ヒストグラムを得る。この場合、幅△は頭の幅が変化し
ない領域を調べる等の複雑な処理を行うことにより得る
方法もあるが、簡易的な方法として頭頂を検出した座標
ｙｓにより高応的に定める方法も考えられる。例えば画
像の大きさをＸｘＹとした時に、 △＝（Ｙ−ｙｓ）ｘβ β＝　１／４　（Ｏｒ　　１１５） により決定するなどの方法が考えられる。最後に面領域
下端を決定する。面領域下端はヒストグラムより得るの
は比較的困難なので、頭部幅にある一定の比率ｒをかけ
て頭部長とする方法が考えられる。ｒの値としては１．
３〜１．６程度の値が適当であると考えられる。以上の
操作により第５図に示すように面領域をそれを包囲する
長方形によって指定することができ、この長方形内部に
その外部よりも多いビット配分を行うことができること
になる。

次に第４図により面領域の別の検出方法の例を示す。第
３図の例では各端点座標Ｘ　Ｓ　ｓ　Ｘ　ｅｓ　Ｙ　”
ｓｙｅは１画素単位の分解能で得られたが、実際にブロ
ック単位で符号化を行う方式に面構吊子ビット配分差別
方式を適用しようとする場合、ビット配分差別もおのず
から符号化ブロック単位とならざるを得ない。そこで、
第４図に示すようにフレーム間差分画像をある大きさの
ブロックに分割しくこのブロックの大きさは符号化ブロ
ックよりも小さくてもよいし、同じ大きさでもよい）、
上記ブロック内であらかじめ設定された第一の閾値を越
える画素数をカウントする。次に画面上左端より走査式
に上記ブロック内のカウント数を第二の閾値と比較しつ
つ探索し、初めて第二の閾値を越えたブロックのｙ座標
ｙｓを頭頂、その後ある△（△は例えば第３図の例と同
様にして定める）の範囲で探索し得られた、カウント数
が第二の閾値よりも大きいブロックのうち最左座標をも
つブロックの座標を面領域の左端座標Ｘ　ｓ　、最右座
標をもつブロックの座標を面領域の右端Ｘｅとする。

面領域下端座標ｙｅは例えば第３図の例と同様の方法を
用いて決定する。上記第３図あるいは第４図のような方
法で得られた面領域情報は付加情報として受信側に送る
必要がある。しかし基本的圧送る情報はＸｓ、Ｘｅ、Ｙ
Ｓの３点の座標のみなので、各点につき８ｂｉｔ使うと
しても１フレームにつき２４ｂｉｔの付加情報でよい。

また、標準化方式の参照モデルのような符号化方式に適
用する場合には、面領域の分解能はマクロブロック単位
（輝度信号における１６Ｘ１６ブロツクに相当）であれ
ばよいので、Ｘ　ｓ　、　Ｘ　ｅ　ＳＹ　ｓの組の出現
パターンは ２２Ｘ　２２Ｘ　１８二８７１２通り しかなく、１フレームあたり高々１３ｂｉｔの付加情報
ですむこととなる。

次に第６図により、本発明の別の実施例について説明す
る。

入力されたフレームデータが６０７〜６１０．１：りな
る動き補償及び６１３〜６１５よりなる面検出に用いら
れる点は第１図の実施例と全く同様である。差分回路６
０２により得られた動き補償フレーム間予測誤差信号が
ＤＣＴ回路６０３によりＤＣＴされる点も同様である。

本実施例の特徴は走査変換回路６１６において、面検出
の結果を用いた適応的な変換係数の打切を行う点にある
。以下第７図を用いてこの点を説明する。第７図は、Ｄ
ＣＴ後の変換係数領域のブロックを示しているこの例で
は８×８ブロツク）。この変換係数は図に示すようにラ
スクスキャン→ジグザグスキャンに走査方法の変換が行
われて送出される。このジグザグスキャンにより高域成
分はど後に走査されるようＫなる。ところで、前段の量
子化により値ＯＫ量子化されるデータは一般に高域はど
発生しやすくなっているため、データの送出は走査順に
係数を見て最後の非Ｏの係数の後にＥ　ＯＢ　（Ｅｎｄ
ｏｆ　　Ｂｌｏｃｋ）をつけることによりその後の０係
数の系列をＥＯＢで置きかえて送る方式がとられること
がある。このような方式において面構出回路６１５より
の面検出結果を用いてビット配分を変えるために１本実
施例では、面領域においては通常の送出、すなわち最後
の非Ｏ係数後にＥＯＢ挿入としく図の（ａ））、顔以外
の領域においては強制的に固定位憤にＢＯＢを挿入して
以後の係数の打切りを行う（図の（ｂ））。このことに
より顔以外の領域の係数の数を減少させてビット割当を
少なくすることができる。多重化回路６１１、バッファ
６１２の役割は第１の実施例と同じであり１又バッファ
量／ステップサイズ変換回路６１７については第２図２
０１のものと同じものである。

又、本発明は上記実施例に限定されるものではなく例え
ば面領域を示すアドレス情報を伝送シ、その範囲内、外
で量子化ステップサイズを変更させる方法、動画像の伝
送開始前に面領域のビット配分を変更するか否かを示す
識別符号を伝送する方法等がある。又この識別符号を動
画像信号とは異なる回線を介して伝送するものでもよい
等種々変更可能である。

Ｃ発明の効果〕 以上この発明によれば、面領域の検出を行って顔以外の
領域よりも多くのビット配分を行う方式をバッファ量に
より発生情報量を制御する符号化方式に実際に導入する
際に、簡単な制御によってＳ／Ｈのよけいな振動を伴わ
ずに符号化を行うことができる。

【図面の簡単な説明】

第１１１は本発明に係る一実施例を示すブロック図、第
２図は第１図におけるステップサイズ決定回路の構成例
を示すブロック図、第３図及び第４図は面領域検出の原
理の一例を示す図、第５図は面領域を長方形によって囲
むことを示す図、第６図は本発明に係る別の一実施例を
示すブロック図、ろ 第７図は第侶図の実施例におけるビット配分差別化の原
理を示す図である。 代理人　弁理士　則　近　憲　佑 同　　　　　　松　　山　　光　　之 〈 （ＣＸ＞ ｂ） 鹿列遣 ４屓以外の鍾１褐 第 図

Claims (3)

【特許請求の範囲】
1. （１）入力動画像を符号化する符号化回路と、この符号
   化回路により符号化された情報を量子化する量子化回路
   と、発生情報量と回線の伝送情報量とを整合させるバッ
   ファとを有し、このバッファのバッファ量により適応的
   に前記符号化回路のパラメータあるいは前記量子化回路
   のパラメータあるいはその両者を決定する動画像符号化
   方式であって、入力画像より顔領域を検出する顔検出回
   路と、この顔検出回路からの顔領域検出結果を利用して
   、顔領域においては顔以外の領域よりも多くのビット割
   当てがなされるように制御を行う手段とを具備し、この
   手段による制御を顔以外の領域において画質が低下する
   ように設定することを特徴とする動画像符号化方式。
2. （２）入力動画像を符号化する符号化回路と、符号化さ
   れた情報を量子化する量子化回路と、発生情報量と回線
   の伝送情報量とを整合させるバッファを有し、上記バッ
   ファ量により適応的に上記量子化回路の量子化ステップ
   サイズを決定する動画像符号化方式において、入力人物
   画像より人物の顔領域を検出する顔検出回路を有し、上
   記顔領域の検出結果を利用して、顔領域においては顔以
   外の領域よりも多くのビット割当てがなされるように、
   顔以外の領域における量子化時には上記バッファ量によ
   り決定されるステップサイズに１より大なる係数をかけ
   たステップサイズにより量子化を行うことを特徴とする
   動画像符号化方式。
3. （３）入力動画像を符号化する符号化回路と、上記符号
   化回路の一構成要素としての直交変換回路と、符号化さ
   れた情報を量子化する量子化回路とを有する動画像符号
   化方式において、入力人物画像より人物の顔領域を検出
   する顔検出回路を有し、上記顔領域の検出結果を利用し
   て、顔領域においては顔以外の領域よりも多くのビット
   割当てがなされるように、顔以外の領域においては強制
   的に顔の領域よりも少ない変換係数を送出するように制
   御することを特徴とする動画像符号化方式。