JPH0420192A

JPH0420192A - 動画像信号の符号化・復号化方法およびその装置

Info

Publication number: JPH0420192A
Application number: JP2125202A
Authority: JP
Inventors: Junichi Oki; 淳一大木
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1990-05-15
Filing date: 1990-05-15
Publication date: 1992-01-23
Anticipated expiration: 2015-06-26
Also published as: JP3055152B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（産業上の利用分野）本発明は、帯域圧縮技術を用いた動画像信号の符゛す化
・復号化方式およびその符号化・復号化装置に関する。

（従来の技術）従来の帯域圧縮技術を用いた動画像信号の符号化方式と
しては、たとえば１９８９年電子情報通信学会春季全国
大会、資料番号Ｄ−２３３に記載のｒ　ＴＳＤＮ対応カ
ラー動画像テレビ電話装置」などが知られている。この
符号化方式は、まず画面内から顔領域を抽出してマツプ
を作成する。そして、画像符号化部でフレーム間フレー
ム内適応予測を行い、この時もし顔領域であれば最終段
まで符号化を行い、それ以外の領域であれば１つ前の段
階で符号化を止めることにより符号量を減らしている。

（発明が解決しようとする課題）しかしながら上述した符号化式では、顔以外の背景の部
分も粗く符号化するから背景部分の余計な画像により無
駄な情報が発生してしまう、また、連続する画面間にお
いて背景部分から顔部分に変化したとすると、粗い符号
化から細かい符号化に変るため、予測誤差信号がかなり
発生してしまい、無駄な情報を符号化することになって
しまう。

（課題を解決するための手段）本発明の動画像信号の符号化方式は、入力する動画像信
号の各画面内の相関および各画面間の相関を利用して画
面内のある定められた領域を符号化する動画像信号の符
号化方式において、前記定められた領域内に存在する被
写体の各画面における動きの方向量を検出し、該動きの
方向量に応じて画面内における定められた領域の位置を
変更して当該領域を符号化する。

本発明の動画像信号の復号化方式は、入力する動画像信
号の各画面内の相関および各画面間の相関を利用して画
面内のある定められた領域を符号化した符号化信号を各
画面内の相関および各画面間の相関を利用して復号化し
、復号化した前記画面内のある定められた領域の画像信
号で表される画像を予め定められた大きさに拡大する。

本発明の動画像信号の符号化装置は、入力する動画像信
号を１画面分蓄えて外部から与えられる読み出しアドレ
ス信号が示す前記蓄えた動画像信号の１画面におけるあ
る定められた領域の画像信号を出力する記憶手段と、該
記憶手段から出力される画像信号と前記入力動画像信号
とを入力して該２つの信号がそれぞれ表す２つの画面間
における各ブロックの動きの方向量を検出する検出手段
と、前記動きの方向量の頻度分布を測定して最も発生頻
度の高い動きの方向量を決定する頻度分布測定手段と、
該頻度分布計測手段から出力される動きの方向量で入力
する動画像信号の１画面の予め定めてある領域の位Ｗ′
＠−変更し、該変更した領域を示す読み出しアドレス信
号を前記記憶手段に出力するアドレス制御手段と、前記
記憶手段から出力される画像信号を直交変換、動き補償
等で符号化する符号化手段とを備える。

本発明の動画像信号の復号化装置は、前述した動画像信
号の符号化装置から出力される各画面におけるある定め
られた領域の符号化信号を入力し、該符号化信号を逆直
交変換、動き補償等で復号化する復号化手段と、該復号
化手段で復号化された動画像信号に予め定めてある画素
補間を施して出力する補間手段とを備える。

（作用）テレビ電話などでは、話者の顔の部分をおもに注視する
ことから、背景部分を削除し、おもに顔の部分を符号化
すれば背景からの無駄な情報発生を取除くことが簡単に
できる。符号化にあたっては、たとえば第４図に示すよ
うに、話者の顔を含む領域にあたる画面の中央部分に水
平方向にｈ画素、垂直方向Ｖラインのウィンドウを定め
、斜線で示された背景部分の画像は削除し、符号化を行
わない、このときウィンドウの位置が固定であること、
話者が働いた時に被写体がウィンドウから外れてしまう
ことがある。従って、話者の動きに合わせてウィンドウ
を移動させることが必要になる。ウィンドウの移動には
、以下に示す方法を用いる。

まず、話者の顔を含む領域が画面間で、どの方向にどれ
だけ動いたかを把握することが必要になる。動きの方向
および動きの量を把握するには、動き補償の原理を利用
することができる。動き補償の方法としては、たとえば
二宮らによる、“「動き補償フレーム間符号化方式」信
学論（Ｂ）Ｊ６３−Ｂ、１ｌｌ）ｐ、１１４０−１１４
７、昭５１−１１”が知られている。この方法は、１枚
の画面の画像を小さなブロックに分割し、各ブロック毎
に、記憶されている前画面の画像の中で最も高い相関を
もつブロックを算出し、該当するブロック間の位置の差
（動ベクトル）と、この該当するブロック間で空間的に
同じ位置にある画素の振幅値の差（動き補償予測誤差）
を伝送する方法である。

本発明においては、前画面の話者の顔を含む領域が、現
画面のどの位置に移動したかを求めて現画面におけるウ
ィンドウの位置を移動させる。従って、前画面から現画
面の間に話者がどの方向にどれだけ動いたかを示す動ベ
クトルを求めることになる。動ベクトルを求めるには、
第５図の時刻ｔにおける前画面の話者の顔を含む領域を
複数のブロックに分割し、該各ブロックが時刻ｔ１にお
ける現画面の画像の中で最も高い相関を示す位置を算出
し、各ブロックの動ベクトルを求める。この時、話者の
動きは平行移動だけに限らず回転なども含み、複雑な動
きとなることもある。従って、各ブロックの動ベクトル
は、少しづつ異なる場合があり、ブロック毎の動ベクト
ルでそのブロックを移動させるとブロック単位でデコボ
コが発生し綺麗なウィンドウを描けなくなることがある
。従って、ウィンドウを綺脛に移動させるためには、ウ
ィンドウ内の話者の動きを１つの動きで代表し、剛体の
運動に近似する必要がある。

話者の動きを剛体の動きに近似するためには、ウィンド
ウ内の動きを最も良く表す代表動ベクトルを推定するこ
とが鍵となる０代表動ベクトルを求めるためには、ウィ
ンドウ内の各ブロックの動ベクトルの発生頻度の分布を
取り、発生頻度の最も高い動ベクトルを代表動ベクトル
とする。この様にして求めた代表動ベクトルによりウィ
ンドウを移動させる。前画面から現画面へのウィンドウ
の移動は、第５図において前画面のウィンドウの左上の
角の位置を原点とすると、この原点を求めた代表動ベク
トルｖｔｌによって現画面上に移動することにより、現
画面のウィンドウの原点の位置を決定することができる
。そしてウィンドウ内の画像信号を読み出すには、ウィ
ンドウの左上角の原点から水平方向に６画素読み出す毎
に、水平方向の読み出しアドレスをリセットし垂直方向
の読み出しアドレスを１進める。この様にしてウィンド
ウ内を走査し、話者の顔を含む領域を符号器に与える。

符号器は、ウィンドウ処理された信号を直交変換、動き
補償などを用いて符号化して冗長度を低減して伝送する
。

次に、復号画像の処理方法について説明する。

復号器は、符号器でウィンドウ処理され、直交変換、動
き補償などを用いて符号化されて伝送されてきた信号を
、逆直交変換、動き補償などを用いて復号化し、ウィン
ドウ処理された画像（以下ウィンドウ画像と呼ぶ）を再
生する。再生されたウィンドウ画像は、第６図（ａ）に
示すようにそのままデイスプレィに表示すると、デイス
プレィの１／ｎの大きさに表示されることになる。この
状態では、復号画像が小さく見にくいので補間処理によ
り第６図（ｂ）に示す様なウィンドウ画像の拡大を行う
０例えばウィンドウ画像を水平垂直に２倍に拡大する場
合を例に挙げて、第７図を参照しながら説明する。第７
図の上の部分にウィンドウ画像を、第７図の下の部分に
拡大画像の補間方法を示す、補間を行うにあたってウィ
ンドウ画像（復号画像）を水平方向に１画素おきに並べ
、垂直方向にも１ラインおきに並べる。例えば画素１−
１と画素１−２の間に補間される画素１−１２は、画素
１−１と画素１−２の水平方向の２画素の平均値により
補間される０画素２−１と画素２−２の間に補間される
画素２−１２は、画素１−１２と同様に画素２−１と画
素２−２の水平方向の２画素の平均値により補間される
。画素１−１と画素２−１の垂直方向の２画素の間のラ
インに補間される画素１２−１は、画素１−１画素２−
１の垂直方向の２画素の平均値により補間される９画素
１−２と画素２−２の垂直方向の２画素の間のラインに
補間される画素１２−２も画素１２−１と同様に、画素
１−２と画素２−２の垂直方向の２画素の平均値により
補間される。補間画素により構成されるラインの画素１
２−１２は、画素１−１、画素１−２、画素２−１、画
素２−２の４画素の平均値により補間される。この様に
ウィンドウ画像に補間処理を加え、視覚的にみて滑らか
で良好な拡大画像を得る。

（実施例）次に、図面を参照して本発明について説明する第１図は
本発明の動画像信号の符号化装置の一実施例を示すブロ
ック図である６人力する動画像信号１０１は、フレーム
メモリ１およびベクトル検出器２に供給される。フレー
ムメモリ１は入力する動画像信号１０１を１画面分書込
み、およそ１フレ一ム時間遅延させる。そして、アドレ
ス制御回路４から供給されるアドレス制御信号１０２に
よって示される第４図に示されるようなウィンドウ内の
画像を読み出し、その画像信号１０３をベクトル検出器
２および符号器５に供給する。ベクトル検出器２は、フ
レームメモリ１から供給される前画面のウィンドウ内画
像信号１０３を、複数の画素から成るブロックに分割し
てそのブロック毎に、入力する現フレームの動画像信号
１０１の中で最も相関をもつブロックを算出し、該当す
るブロック間の位置の差を求めてこれを動ベクトルとす
る。ベクトル検出器２で求められたウィンドウ内の各ブ
ロックの動ベクトル１０４は、頻度分布測定器３に供給
される。頻度分布測定器３は、ベクトル検出器３から供
給される動ベクトル１０４の発生頻度を計数し、最も発
生頻度が高かった動ベクトルを代表動ベクトルとする。

頻度分布測定器３で求められた代表動ベクトル１０５は
、アドレス制御口＃１４に供給される。アドレス制御回
路４は、第４図に示されるような予め定められた水平方
向り画素、垂直方向Ｖラインのウィンドウ画像を読み出
すためのアドレス信号を発生する。

初期状態では、予め画面の中央部分にウィンドウを定め
ており、読み出しアドレス信号を発生する。

そして、次のフレームからは、頻度分布測定器３から供
給される代表動ベクトルに従って、ウィンドウの原点を
移動させ、新たなウィンドウ画像読み出しアドレス信号
を発生する。アドレス制御回路４で発生したアドレス制
御信号１０２は、フレームメモリ１に供給される。符号
器５は、フレームメモリ１から供給されるウィンドウの
画像信号１０３を、直交変換、動き補償などを用いて符
号化して冗長性を低減する。この時の動き補償には、前
記ベクトル検出器２で求められた動ベクトルを用いるこ
とも勿論可能である。符号器５で符号化され冗長度が低
減されたウィンドウ画像信号１０６は、伝送路に出力さ
れる。

次に、第２図および第３図を参照して本発明の復号化装
置について説明する。第２図は本発明の動画像信号の復
号化装置の一実施例を示すブロック図であり、符号化さ
れたウィンドウ画像信号１０６が復号器６に供給される
。復号器６は、符号化されて冗長度が低減されたウィン
ドウ画像信号１０６を逆直交変換、動き補償などを用い
て、もとの時間軸に復元する。復号器６で復号化された
ウィンドウの画像信号１０７は、補間回路７に供給され
、このとき復号器７は、第７図の拡大画像に示すように
、水平方向には１画素おきに復号信号を出力し、垂直方
向にも１ラインおきに復号化されたウィンドウ画像信号
を出力する。復号器６は、１フレーム毎にウィンドウ画
像の先頭のタイミングでリセット信号１０８を発生し、
該リセット信号１０８を補間回路７に供給する。

第３図は復号化されたウィンドウ画像を水平垂直に２倍
に拡大する場合の補間図＃１７の−梢成例を示すブロッ
ク図である。復号器６から供給される復号化されたウィ
ンドウの画像信号１０７は、Ｄタイプフリップフロップ
７１、加算器７３およびラインメモリ７９に供給される
。Ｄタイプフリップフロッグ７１は、復号器６から供給
される画像信号１０７を１サンプル遅延させ、Ｄタイプ
フリップフロップ７２に供給する。Ｄタイプフリップフ
ロップ７２もＤタイプフリップフロッグ７１から供給さ
れた信号を１サンプル遅延させ、加算器７３．８３およ
び切換器８６に供給する。加算器７３は、復号器６から
供給される画像信号１０７と、Ｄタイプフリップフロッ
プ７２から供給される信号とを加算する。加算器７３の
出力信号は、減衰器７４に供給される。減衰器７４は、
加算器７３から供給される信号が加算処理によりもとの
信号の２倍の振幅になっているら、振幅を１／２に減衰
させて水平方向の補間信号（第７図の１−１２．１−２
３．２−１２など）を得る。

減衰器７４で得られた水平方向の補間信号は、Ｄタイプ
フリップフロップ７５および加算器７６に供給される。

Ｄタイプフリップフロッグ７５は、減衰器７４から供給
される補間信号を１サンプル遅延させて、切換器８６に
供給する。ラインメモリ７９は復号器６から供給される
画像信号１０７を１ライン時間遅延させ、Ｄタイプフリ
ップフロップ８０および加算器８２に供給する。Ｄタイ
プフリップフロップ８０は、ラインメモリ７９から供給
される信号１サンプル遅延し、Ｄタイプフリップフロッ
グ８１に供給する。Ｄタイプフリップ７０ツブ８１は、
Ｄタイプフリップフロップ８０から供給される信号を１
サンプル遅延し、加算器８２および加算器８３に供給す
る。加算器８２は、ラインメモリ７９から供給される信
号と、Ｄタイプフリラグフロップ８１から供給される信
号とを加算し、２倍の振幅をもった前ラインの補間信号
を得る。加算器８２の出力信号である２倍の振幅をもっ
た前ラインの補間信号は、減衰器７８に供給される。減
衰器７８は、加算器８２から供給される２倍の振幅をも
った前ラインの補間信号の振幅を、１／２に減衰させて
前ラインの水平方向の補間信号を得る。減衰器７８の出
力信号である前ラインの水平方向の補間信号は、加算器
７６に供給される。加算器７６は、減衰器７４から供給
される現ラインの水平方向の補間信号と、減衰器７８か
ら供給される前ラインの水平方向の補間信号とを加算し
、２倍の振幅をもった補間ラインの信号を得る。加算器
７６の出力信号である２倍の振幅をもった補間ラインの
信号は、減衰器７７に供給される。減衰器７７は、加算
器７６から供給される信号のＪｉ！幅を１７２に減衰し
、補間ラインの信号（第７図の１２−１２．１２−１３
など）を得る。減衰器７７の出力信号は、Ｄタイプフリ
ップフロッグ８４に供給される。Ｄタイプフリップフロ
ップ８４は、減衰器７７から供給される信号を１サンプ
ル遅延して、切換器８６に供給する。

加算器８３はＤタイプフリップフロップ７２から供給さ
れる現ラインの信号と、Ｄタイプフリップフロップ８１
から供給される前ラインに信号とを加算し、２倍の振幅
をもった補間ラインの信号を得る。加算器８３の出力信
号は減衰器８５に供給される。減衰器８５は、加算器８
３から供給される信号の振幅を１／２に減衰し、補間ラ
インの信号（第７図の１２−１．１２−２など）を得る
。

減衰器８５の出力信号である補間ラインの信号は、切換
器８６に供給される。切替信号発生器７０は、復号画素
あるいは補間画素を切替えて出力させるための切替信号
のパターンを、予め定めて記憶しておく。例えば、第７
図の画素１−１を出力する時には、第３図のＤタイグフ
リッグ７０ッグ７２から出力される復号信号に切替、第
７図の画素１−１２を出力する時には、第３図のＤタイ
プフリップフロップ７５から出力される水平方向の補間
信号に切替る。そして、第７図の画素１２−１を出力す
る時には第３図の減衰器８５から出力される垂直方向の
補間信号に切替、第７図の画素１２−１２を出力する時
には第４図のＤタイプフリップフロップ８４から出力さ
れる垂直水平方向の補間信号に切替る。そして切替信号
発生器７０は、復号器６からリセット信号１０８が与え
られると、復号画素または補間画素を切替えて出力させ
るなめの切替信号を先頭画素の位置に戻し、１画素毎に
復号信号あるいは、補間信号を切替える切替信号を発生
する。切替信号発生器７０の出力信号である切替信号は
、切換器８６に供給される。切換器８６は、切替信号発
生器７０から供給される切替信号に従って、画素毎に復
号信号または水平補間信号、垂直槽ｒＷＪ信号、水平垂
直補間信号のいずれの内の１つを切替え選択して出力す
る。

ウィンドウ画素をｎ倍に拡大する場合には、補間画素を
生成する時に補間画素の位置によって復号画素の重みづ
けを変えることにより、視覚的に良好な拡大画像を得る
ことができる。

切換器８６の出力の拡大された画像信号１０９は、復号
化信号として外部に出力される。

（発明の効果）以上に詳しく説明したように、本発明の符号化方式およ
び符号化装置によれば、テレビ電話などでおもに注視点
となる話者の顔を含む領域を、ウィンドウで切出して話
者の動きを追いかけて符号化することにより、ウィンド
ウから話者がはみ出してしまうこともなく、背景などの
余計な部分から発生する無駄な情報を削除することがで
き、符号化効率を高めることができる。また本発明の復
号化方式および復号化装置によれば、符号器から送られ
てきたウィンドウ画像を視覚的に見て滑らかに拡大する
ことができ、良好な復号画像を得ることができる。

【図面の簡単な説明】

第１図は本発明の動画像信号の符号化装置の一実施例を
示すブロック図、第２図は本発明の動画像信号の復号化
装置の一実施例を示すブロック図、第３図は第２図の実
施例における復号器６の一構成例を示すブロック図、第
４図は１枚の画面におけるウィンドウを示す図、第５図
は画面間のウィンドウの移動を示す図、第６図はウィン
ドウ画像の拡大を示す図、第７図はウィンドウ画像の拡
大時における画素の補間を示す図である。１・・・フレームメモリ、２・・・ベクトル検出器、３
・・・頻度分布測定器、４・・・アドレス制御回路、５
・・・符号器、６・・・復号器、７・・・補間回路、７
０・・・切替信号発生器、７１，７２，７５．８０，８
１゜８４・・・Ｄタイプフリップフロップ、７３，７６
゜８２．８３・・・加算器、７４．７７．７８．８５・
・・減衰器、７９・・・ラインメモリ、８６・・・切換
器。

Claims

【特許請求の範囲】

（１）入力する動画像信号の各画面内の相関および各画
面間の相関を利用して画面内のある定められた領域を符
号化する動画像信号の符号化方式において、前記定めら
れた領域内に存在する被写体の各画面における動きの方
向量を検出し、該動きの方向量に応じて画面内における
定められた領域の位置を変更して当該領域を符号化する
ことを特徴とする動画像信号の符号化方式。
（２）入力する動画像信号の各画面内の相関および各画
面間の相関を利用して画面内のある定められた領域を符
号化した符号化信号を各画面内の相関および各画面間の
相関を利用して復号化し、復号化した前記画面内のある
定められた領域の画像信号で表される画像を予め定めら
れた大きさに拡大することを特徴とする動画像信号の復
号化方式。
（３）入力する動画像信号を１画面分蓄えて外部から与
えられる読み出しアドレス信号が示す前記蓄えた動画像
信号の画面におけるある定められた領域の画像信号を出
力する記憶手段と、該記憶手段から出力される画像信号
と前記入力動画像信号とを入力して該２つの信号がそれ
ぞれ表す２つの画面間における各ブロックの動きの方向
量を検出する検出手段と、前記動きの方向量の頻度分布
を測定して最も発生頻度の高い動きの方向量を決定する
頻度分布測定手段と、該頻度分布計測手段から出力され
る動きの方向量で入力する動画像信号の１画面の予め定
めてある領域の位置を変更し、該変更した領域を示す読
み出しアドレス信号を前記記憶手段に出力するアドレス
制御手段と、前記記憶手段から出力される画像信号を直
交変換、動き補償等で符号化する符号化手段とを備える
ことを特徴とする動画像信号の符号化装置。
（４）請求項３に記載の動画像信号の符号化装置から出
力される各画面におけるある定められた領域の符号化信
号を入力し、該符号化信号を逆直交変換、動き補償等で
復号化する復号化手段と、該復号化手段で復号化された
動画像信号に予め定めてある画素補間を施して出力する
補間手段とを備えることを特徴とする動画像信号の復号
化装置。