JPH04144495A

JPH04144495A - 画像信号の符号化装置

Info

Publication number: JPH04144495A
Application number: JP2268977A
Authority: JP
Inventors: Junichi Oki; 淳一大木
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1990-10-05
Filing date: 1990-10-05
Publication date: 1992-05-18

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、帯域圧縮技術を用いた動画像信号の符号化装
置に関する。

〔従来の技術〕

従来の帯域圧縮技術を用いた動画像信号の符号化方式と
しては、たとえば１９８９年電子情報通信学会春季全国
大会、資料番号］）−２３３に記載のｒ工ＳＤＮ対応カ
ラー動画像テレビ電話装置」などが知られている。この
符号化方式では、顔領域を抽出しマツプを作成する。そ
して、画像符号化部ではフレーム間フレーム内適応予測
を行い、この時もし顔の領域であれば最終段まで符号化
をし、それ以外の領域であれは１つ前の段階で符号化を
止めることにより符号量を減らしている。

〔発明が解決しようとする課題〕しかしながら上述の様な符号化方法では、順風外の背景
の部分も粗く符号化するため背景部分の雑音により無駄
な情報が発生してしまう。また、連続する画面間で背景
部分から顔部分に変化したとすると、粗い符号化から細
かい符号化に変るため、予測誤差信号がここでもかなり
発生してしまい、無駄な情報を符号化することになって
しまう。

その結果符号化効率が低下してしまう。

〔課題を解決するための手段〕

本発明の動画像信号の符号化装置は、画面間の相関を利
用した動画像信号の符号化において、画面を複数画素か
らなるブロックに分割し、ブロック毎に画面間での動き
の方向および動きの大きさを示す動ベクトルを検出し、
動ベクトルが検出されたブロックは有効ブロックとし、
動ベクトルが検出されなかったブロックは無効ブロック
とし、フレーム毎に第１の有効ブロックマツプを作成す
る動ベクトル検出手段と、該動ベクトル検出手段の出力
に対し、第１の重みっけを行う第１の重みづけ手段と、
孤立無効ブロック除去手段の出力に対し、第２重みづけ
を行う第２の重みづけ手段と、該第２の重みづけ手段の
出力と、前記第１の重みづけ手段の出力を加算合成し、
重みづけが成された第２の有効ブロックマツプを得る加
算手段と、該加算手段の出力に対してセグメンテーショ
ンを行うにあたり、第２の有効ブロックマツプ内の対象
となる各ブロックの近傍のブロックを参照し、近傍のブ
ロックおよび対象ブロックの値が、予め定められた第１
の閾値以上のときは、そのブロックを有効ブロックとし
、第１の閾値未満のときはそのブロックを無効ブロック
とし、第３の有効ブロックマツプを得るセグメンテーシ
ョン手段と、該セグメンテーション手段の出力の孤立無
効ブロックにおいては、近傍のブロックを参照し、近傍
のブロックの値が予め定められた第２の閾値以−にのと
きには、その無効ブロックを有効ブロックに置き替え、
近傍のブロックの値が第２の閾値未満のときは、その無
効ブロックを無効ブロックのままとし、第４の有効ブロ
ックマツプを得る孤立無効ブロック除去手段と、入力の
動画像信号を遅延させ第４の有効ブロックマツプと時間
合せを行う遅延手段と、該遅延手段の出力に対し、前記
孤立無効ブロック除去手段の出力の第４の有効ブロック
マツプで有効ブロックとされた領域を、画面間の相関ま
たは画面内のどちらか一方、あるいはその両方を用いて
符号化を行う初号化手段とにより構成される。

〔作用〕

テレビ電話などにおいては、背景部分は固定でおもに話
者が動くことから、話者の部分を切出して符号化を行え
ば、背景などからの雑音によって発生する無駄な符号化
情報量を除去でき符号化能率を上けることができる。

本発明においては、話者の部分を切出して話者部分のみ
を符号化することにより、符号化効率を高める。

本発明では、画面間での話者の動きを検出し、動きがあ
った部分に対してセグメンテーション（動領域の連結お
よび切り落とし）を行うことにより、話者領域を切出す
。従ってます画面間での動きを検出する必要がある。画
面間での動きの検出方法としては、動き補償の原理を用
いることができる。たとえば王宮らによる、「動き補償
フレーム間符号化方式」儒学論（Ｂ）Ｊ６３−Ｅ、１１
、ｐｐ、１１４０−１１．４７、昭５１−１１が知られ
ている。この方法は画面を小さなブロックに分割し、各
ブロック毎に記憶されている前画面の画像の中で、最も
高い相関をもつブロックを算出し、該当するブロック間
の位置の差（動ベクトル）と、この該当するブロック間
で空間的に同じ位置にある画素の振幅値の差（動き補償
予測誤差）を伝送する方法である。−゛動き補償動ベクトルは、上記以外の方法で求められたも
のであってもかまわない。

次に話者の切出し方について図面を参照しながら詳細に
説明する。第１図の時刻ｔＯ，ｔｌ、ｔ２に示すように
話者が動いたと仮定する。そして、時刻ｔ１および時刻
ｔ２の画面間で動き補償な行い動きを求めると、第２図
の矢印で示される動ベクトルが求められ、背景部分の孤
立した動ベクトルは、背景の雑音により発生した動ベク
トルと仮定する。そして、動ベクトルが発生したブロッ
クを有効ブロックとし、動ベクトルが発生しなかったブ
ロックを無効ブロックとする。以上の処理によって得ら
れた有効ブロックマツプを第３図Ｂに示す。第３図Ｂの
黒く塗られた部分が有効ブロックである。第３図Ａは、
時刻１０と時刻ｔ１の画面間で求められた第４の有効ブ
ロックマツプと仮定する。そして、現画面の有効ブロッ
クマツプすなわち第１の有効ブロックマツプに第一の重
みづけを行い、前画面の有効ブロックマツプである第ば
、前フレームの有効ブロックを１とし、無効ブロックを
Ｏとする。現フレームの有効ブロックは２とし、現フレ
ームの無効ブロックは前フレームの無効ブロックと同様
に０とする。この様にして重みづけを行った前フレーム
の有効ブロックマツプと、現フレームの有効ブロックマ
ツプを加算合成し、第２の有効ブロックマツプを得る。

第２の有効フロツクマップは、第４図Ａの様になる。次
に、第４図Ａの加算合成された有効ブロックマツプに対
して、セグメンテーションを行う。セグメンテーション
の一例を第４図、第５図を参照しながら説明する。例え
ば第５図のｋをセグメンテーションの対象ブロックとす
ると、ブロックにの近傍の７’　Ｏツクａ　＋　　ｂ　
＋　　Ｃ＋　ｄ　ｒ　　’３　、ｆ　ｒ　ｇ　ｒ　　ｈ
＋の値を参照する。すなわち第４図Ａの第２の有効ブロ
ックマツプの値を参照する。近傍のブロックａ、ｂ＋　
Ｃ＋　ｄ＋　　ｅ＋　Ｌ　ｇｙ　Ｆｌ＋およびブロック
１ぐの値が、予め定められた第１の閾値以上のときには
、対象ブロックｋを有効ブロックとし、近傍のブロック
ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇｒ　ｈ。

およびブロックにの値が、予め定められた第１の閾値未
満のときには、対象ブロックｋを無効ブロックとする。

新たにセグメンテーションによって得られた第３の有効
ブロックマツプを第４図Ｂに示す。第３の有効ブロック
マツプには、孤立無効ブロックが発生する場合がある。

このため第３の有効プルツクマツプ内の有効ブロック領
域のみ符号化を実行させると、有効ブロック領域内の孤
立した無効ブロック部分は、符号化が行われないためそ
の部分に符号化歪が発生してしまい、非常に見苦しい符
号化画像となってしまうことがある。そこで、孤立無効
ブロックの除去を行う。孤立無効ブロックの除去方法と
しては、セグメンテーションと同様な処理を無効ブロッ
クを対象に行う。すなわち無効ブロックの近傍のブロッ
クを参照し、近傍のブロックが予め定められた第２の閾
値以」−のときに、その対象となる無効ブロックを有効
ブロックを示す値に置き替える。以上の処理により第４
図Ｂで孤立無効ブロックであった領域を除去し、第４の
有効ブロックマツプを得る。第４の有効ブ四ツクマツプ
を第６図に示す。そして、第６図の有効ブロックの領域
内すなわち話者領域を画面間の相関または画面内の相関
のいづれか一方あるいは、その両方を用いて符号化する
ことにより、背景などのイイＬ音により発生する無駄な
情報を容易に削除でき、符号化効率を高めることができ
る。

上記各閾値および重みづけの値については、予め統計的
に調べた最適値を用いる。また、セグメンテーションお
よび孤立無効ブロック除去における参照ブロックの配置
は、上記以外の配置およびブロック数でもかまわない。

〔実施例〕

次に図面を参照して本発明をより詳細に説明する。

第７図に本発明の一実施例を示す。入力の動画像信号は
、線１０を介して動ベクトル検出回路１および遅延８に
供給される。動ベクトル検出回路１は、前画面の信号を
蓄えておき、新たに線１０を介して入力された動画像信
号を水平方向ｎ画素×垂直方向ｎ画素の複数画素からな
るブロックに分割し、それぞれのブロック毎に記憶され
ている前画面の画像の中で、最も高い相関をもつブロッ
クを算出し、該当するブロック間の位置の差を示す動ベ
クトルを求め、動ベクトルが発生したブロックを有効ブ
ロックとし、動ベクトルが発生しなかったブロックを無
効ブロックとし、第１の有効ブロックマツプを得る。動
ベクトル検出回路１て得られた第１の有効ブロックマツ
プは、重みづけ部２に供給される。また、動ベクトル検
出回路１は検出した動ベクトルを遅延９に供給する。重
みづけ回路２は、動ベクトル検出回路１から与えられた
２０１の有効ブロックマツプに対して、予め定められた
第１の重みづけを行う。重みづけ回路２ば、ＲＯＭ　（
リードオンリーメモリー）により構成することができる
。たとえば、動ベクトル検出回路１の出力が有効ブロッ
クであることを示している場合は２を出力し、無効ブロ
ックであった場合にはＯを出力する論理を、予めＲＯＭ
に書込んでおけばよい。この他の方法としては論理ゲー
ト回路などにより、前記論理を組んでおくこともできる
。重みづけ回路２で重みづけが成された第１の有効ブロ
ックマツプは、加算器４に与えられる。加算器４は、重
みづけ回路２から与えられた第１の有効ブロックマツプ
と、重みづけ回路３から与えられる第４の有効ブロック
マツプを加算し、重みづけが成された第２の有効ブロッ
クマツプを得る。加算器４で得られた第２の有効ブロッ
クマツプは、セグメンテーション回路５に与えられる。

セグメンテーション回路５は、加算器４から与えられた
第２の有効ブロックマツプ内の全てのブロックに対して
、セグメンテーション処理を行う。例えば、第５図に示
す様にセグメンテーションの対象となるブロックをｋと
すると、ｋおよび１（の近傍のａ、ｂ、ｃ、ｄ、ｅ、ｆ
、ｇ、ｈ、のブロック値を参照し、それらの値が予め定
められた第１の閾値基」二であればそのブロックｋを有
効ブロックとし、近傍のブロックおよびｋの値が第１の
閾値未満の場合には、そのブロックｋを無効ブロックと
し、第３の有効ブロックマツプを得る。

セグメンテーション回路５の一例を第８図に示す。

セグメンテーション回路５は、ラインメモリー５０．５
］、遅延５２，５３．５４−．５５，５６゜５７、およ
びＲＯＭ５８により構成することができる。加算器４の
出力の第２の有効ブロックマツプば、線４５を介してラ
インメモリー５０、遅延５２およびＲＯＭ５８に供給さ
れる。ラインメモリ５０ば、線４５を介して供給された
有効ブロックマツプを１ブロツクライン遅延し、ライン
メモ！Ｊ−５］、遅延５４およびＲＯＭ５８に供給する
。

ラインメモリー５１は、ラインメモリー５０からり（給
さ扛たイ１ｊ　’５を１フロツクライン遅延し、遅延５
６およびＲＯＭ５８に供給する。遅延５２゜５３．５４
，５５，５６．５７は、供給された信号を１クロツク遅
延し、ＲＯＭ５８および次段の遅延に供給する。遅延５
４の出力信号が、第５図のセグメンテーションの対象と
なるブロックにである。ＲＯＭ５８は、ラインメモリー
および遅延から供給された信号が、予め定められた第２
の閾値基」二）で示されるアドレス領域には有効ブロッ
クを示す値を書込んでおき、第２の閾値未満のアドレス
領域には無効ブロックを示す値を書込んでおく。以上の
様にラインメモリー、遅延およびＲＯＭを用いることに
より、セグメンテーションを実行するブロックにおよび
近傍のブロックの値を参照することができる。次に第９
図を参照しながら孤立無効ブロック除去回路６を説明す
る。孤立無効ブロック除去回路６は、セダメンテーショ
ン回路５と同様にラインメモ！Ｊ−６０，６１、遅延６
２．６３，６４，６５，６６．６７およびＲＯＭ５８に
より構成され、無効ブロックの近傍のブロックの値を参
照し孤立無効ブロックの除去を行う。遅延６４からＲＯ
Ｍ６８に供給される信号が、孤立無効ブロック除去の対
象ブロックにである。

すなわち遅延６４がＲＯＭ６８に供給された信号が無効
ブロックであって、かつ近傍のブロックが予め定められ
た第２の閾値以上であれば、ＲＯＭ６８は有効ブロック
を示す値を出力し、遅延６４から供給された信号が無効
ブロックで、近傍のブロックが第２の閾値未満の場合Ｒ
ＯＭ６８は無効ブロックを示す値を出力する。また、遅
延６４がら供給された信号が、有効ブロックの場合はＲ
ＯＭ６８は、出力に有効ブロックを示す値を出力する。

上記の様な論理を予めＲＯＭ６８に書込んでおくことに
より孤立無効ブロックの除去を行い有効ブロックの連結
を行う。孤立無効ブロック除去回路６の出力の第４の有
効ブロックマツプは、線６８７を介して重みづけ回路３
および符号器７に供給される。重みづけ回路３は、孤立
無効ブロック除去回路６から供給された第４の有効ブロ
ックマツプに対して、第２の重みづけを行う。重みづけ
回路３は、重みつげ回路２と同様にＲＯＭにより構成す
ることができる。このときＲＯＭには第２の重みづけを
行うための値を予め書込んでおく。

重みづけ回路３の出力の重みづけが成された第４の有効
ブロックマツプは、加算器４に供給される。

次に遅延８は、入力の動画像信号に対して入力動画像信
号が供給されてから第４の有効ブロックマツプが符号器
７に与えられるまでの遅延時間補償を行い、第４の有効
ブロックマツプと入力信号の時間合せを行う。遅延８の
出力の時間補償された入力の動画像信号は、線８７０を
介して符号器７に供給される。符号器７の構成を第１０
図に示す。遅延８から線８７０を介して供給された動画
像信号は、符号器７の減算器７２に供給される。

孤立無効ブロック除去回路６の出力の第４の有効ブロッ
クマツプは、線６８７を介して符号器７の内部の量子化
器７４に符号化実行の領域を示す信号として供給される
。遅延９は、動ベクトル検出回路ｌから供給された動ベ
ク）・ルに対し、遅延補償を行い第４の有効ブロックマ
ツプとの時間合せを行う。遅延９の出力の時間補償され
た動ベクトルは、線９７０を介して符号器７に供給され
る。

遅延９から線９７０を介して供給された動ベクトルは、
フレームメモリー７７および可変長符号器７８に供給さ
れる。演算器７２は、線８７０を介して供給された入力
信号と、フレームメモリー７７から供給される動き補償
が成された予測信号との演算を行い、動き補償予測誤差
を得る。減算器７２で得られた動き補償予測誤差信号は
、直交変換器７３に供給される。直交変換器７３は、減
算器７２から供給された動き補償予測誤差信号に対し直
交変換を行い、空間領域の予測誤差信号を周波数領域の
予測誤差信号に変換する。直交変換器７３の出力の周波
数領域の予測誤差信号は、量子化器７４に供給される。

量子化器７４は、線６８７を介して供給された第４の有
効ブロックマツプが、有効ブロックであることを示して
いるブロックについては、直交変換器７３から供給され
た予測誤差信号を量子化し、線６８γを介して供給され
た第４の有効ブフックマップが、無効ブロックであるこ
とを示しているブロックは、量子化器の出力なセロにす
ることによって符号化を停止する。量子化器７４の出力
信号は、逆直交変換器７５および可変長符号器７８に供
給される。逆直交変換器７５は、量子化器７４から供給
された予測誤差信号を逆直交変換し、周波数領域の予測
誤差信号を空間領域の予測誤差信号に戻す。逆直交変換
器７５の出力信号は、加算器７６に供給される。加算器
７６は、逆直交変換器７５から供給された空間領域の予
測誤差信号と、フレームメモリー７７から供給される動
き補償予測信号とを加算し、局部復号信号を得る。加算
器７６の出力の局部復号信号は、フレームメモリー７７
に供給される。フレームメモリー７７は、加算器７６か
ら供給された局部復号信号を、動ベクトル検出器７１か
ら供給された動ベクトルに従って、遅延量を変化させ動
き補償予測信号を得る。フレームメモリー７７の出力の
動き補償予測信号は、減算器７２および加算器７６に供
給される。次に可変長符号器７８は、量子化器７４から
供給された量子化が成された周波数領域の予測誤差信号
と、線９７０を介して供給された動ベクトルを、ハフマ
ン符号などの効率の良い符号を用いて可変長符号化し冗
長度を低減する。冗長度が低減された可変長符号は、符
号化の速度と伝送路の速度との整合が取られ、可変長符
号器７８の出力となり符号器７から伝送路に出力される
。

以上詳しく説明した様に、第４の有効ブロックマツプに
従って、有効プルツク領域すなわち話者領域であると示
されている部分についてのみ符号化を行い、無効ブロッ
クで示される背景部分は符号化を停止する。

符号化の停止方法については、減算器７２の出力をゼロ
に置き換える方法でもかまわない。

上記の各閾値および重みづけの値については、予め統計
的に調べた最適値を用いる。

〔発明の効果〕

以上に詳しく説明したように、本発明の動画像信号の符
号化方法は、セグメンテーションによって得た話者領域
内のみ符号化をすることにより、背景部分の雑音により
発生する無駄な情報を削除でき、１１号化の効率な高め
ることができる。

【図面の簡単な説明】

第１図、第２図、第３図、第４図、第５図、第６図は、
本発明の詳細な説明する図、第７図は本発明の一実施例
を示すブロック図、第８図、第９図、第１０図は本発明
の一実施例の各部のブロック図である。 ■・・・・・動ベクトル検出回路、２，３・・・・・重
みづけ回路、４・・・・加算器、５・・・・・セグメン
テーション回路、６・・・・・・孤立無効ブロック除去
回路、７・・狗号器、８，９　　遅延、５０，５１，６
０゜６１　　・・ラインメモリー、５２，５３，５４゜
５５．５６．５７・・・・・・遅延、６２，６３，６４
゜６５．６６．６７・・・・・・遅延、５８，６訃川・
・ＲＯＭ、７２・・・・・減算器、７３・・・・・・直
交変換器、７４・旧・量子化器、７５・・・・・・逆直
交変換器、７６・・・・・・加算器、７７・・・・・・
フレームメモリー　７８・・・・・・可変長符号器。代理人　弁理士　　内　原　　　晋

Claims

【特許請求の範囲】画面間の相関を利用した動画像信号の符号化において、
画面を複数画素からなるブロックに分割し、ブロック毎
に画面間での動きの方向および動きの大きさを示す動ベ
クトルを検出し、動ベクトルが検出されたブロックは有
効ブロックとし、動ベクトルが検出されなかったブロッ
クは無効ブロックとし、フレーム毎に第１の有効ブロッ
クマップを作成する動ベクトル検出手段と、該動ベクト
ル検出手段の出力に対し、第１の重みづけを行う第１の
重みづけ手段と、孤立無効ブロック除去手段の出力に対
し、第２の重みづけを行う第２の重みづけ手段と、該第
２の重みづけ手段の出力と、前記第１の重みづけ手段の
出力を加算合成し、重みづけが成された第２の有効ブロ
ックマップを得る加算手段と、該加算手段の出力に対し
てセグメンテーションを行うにあたり、第２の有効ブロ
ックマップ内の対象となる各ブロックの近傍のブロック
を参照し、近傍のブロックおよび対象ブロックの値が、
予め定められた第１の閾値以上のときは、そのブロック
を有効ブロックとし、第１の閾値未満のときはそのブロ
ックを無効ブロックとし、第３の有効ブロックマップを得るセグメン
テーション手段と、該セグメンテーション手段の出力の
孤立無効ブロックにおいては、近傍のブロックを参照し
、近傍のブロックの値が予め定められた第２の閾値以上
のときには、その無効ブロックを有効ブロックに置き替
え、近傍のブロックの値が第２の閾値未満のときは、そ
の無効ブロックを無効ブロックのままとし、第４の有効
ブロックマップを得る孤立無効ブロック除去手段と、入
力の動画像信号を遅延させ第４の有効ブロックマップと
時間合わせを行う遅延手段と、該遅延手段の出力に対し
、前記孤立無効ブロック除去手段の出力の第４の有効ブ
ロックマップで有効ブロックとされた領域を、画面間の
相関または画面内の相関のどちらか一方、あるいはその
両方を用いて符号化を行う符号化手段とにより構成され
る画像信号の符号化装置。