JP2586714B2 - 動画像信号の符号化方式 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、帯域圧縮技術を用いた動画像信号の符号化
方式に関する。

（従来の技術） 従来の帯域圧縮技術を用いた動画像信号の符号化方式
としては、たとえば1989年電子情報通信学会春季全国大
会、資料番号Ｄ−233に記載の「ISDN対応カラー動画像
テレビ電話装置」などが知られている。この動画像信号
の符号化方式では、画面における顔領域を抽出してマッ
プを作成する。そして、画像符号化部ではフレーム間フ
レーム内適応予測を行い、この時もし顔の領域であれば
最終段まで符号化をし、それ以外の領域であれば１つ前
の段階で符号化を止めることにより符号量を減らしてい
る。

（発明が解決しようとする課題） しかしながら上述した従来の動画像信号の符号化方式
では、顔以外の背景の部分も粗く符号化するから背景部
分の雑音によ無駄な情報が発生してしまう。また、連続
する画面間で背景部分から顔部分に変化したとすると、
粗い符号化細かい符号化に変るから、予測誤差信号がこ
こでもかなり発生してしまい、無駄な情報を符号化する
ことになってしまう。その結果符号化効率が低下してし
まう。

（課題を解決するための手段） 本発明の動画像信号の符号化方式は、画面間の相関を
利用した動画像信号の符号化方式であって、入力する動
画像信号の１画面を複数画素からなるブロックに分割
し、ブロック毎に前画面との差分を検出し、該差分値が
予め定められた第１の閾値以上のときには有効ブロック
とし、前記差分値が予め定められた第１の閾値未満のと
きには無効ブロックとしてフレーム毎に第１の有効ブロ
ックマップに対して第１の重みづけを行う手段と、前画
面における第４の有効ブロックマップに対して第２の重
みづけを行う手段と、前記第１の重み付けを行った第１
の有効ブロックマップと、前記第２の重みづけを行った
第４の有効ブロックマップとを加算合成して重みづけが
成された第２の有効ブロックマップを得る手段と、該第
２の有効ブロックマップに対して、各ブロックの近傍の
ブロックを参照し、近傍のブロックおよび対象ブロック
の値の合計値が予め定められた第２の閾値以上のときに
は当該対象ブロックを有効ブロックとし、第２の閾値未
満のときには当該対象ブロックを無効ブロックとするセ
グメンテーションを行って第３の有効ブロックマップを
得る手段と、該第３の有効ブロックマップ内の無効ブロ
ックについて近傍のブロックを参照し、近傍のブロック
の値の合計値が予め定められた第３の閾値以上のときに
は当該無効ブロックを有効ブロックに置き替え、第３の
閾値未満のときには当該無効ブロックを無効ブロックの
ままとして第４の有効ブロックマップを得る手段と、前
記動画像信号の入力時から前記第４の有効ブロックマッ
プ生成時までの時間の遅延を前記動画像信号に与える手
段と、遅延を与えられた前記動画像信号について、前記
第４の有効ブロックマップで有効ブロックとされた領域
を、画面間の相関、画面内の相関またはその両方を用い
て符号化を行う手段とを有する。

（作用） テレビ電話などのにおいては、背景部分は固定でおも
に話者が動くことから、話者の部分を切出して符号化を
行えば、背景などからの雑音によって発生する無駄な符
号化情報量を除去でき符号化効率を上げることができ
る。

本発明においては、話者の部分を切出して話者部分の
みを符号することにより、符号化効率を高める。話者の
切出し方について図面を参照しながら詳細に説明する。
第１図の時刻t0,t1,t2に示すように話者が動いたと仮定
する。そして、時刻t1および時刻t2の画面間での差分を
求めると第２図の斜線で示される領域が求められ、背景
部分の孤立した斜線部分は、背景の雑音により発生した
差分信号であるとする。次に、画面を水平方向ｎ画素×
垂直方向ｎ画素の複数の画素からなるブロックに分割
し、各ブロック内の差分信号の絶対値和が予め定められ
た第１の閾値以上のときにはそのブロックを有効ブロッ
クとし、差分信号の絶対値和が第１の閾値未満のときに
はそのブロックを無効ブロックとする。以上の処理によ
って得られた第１の有効ブロックマップを第３図（Ｂ）
に示す。第３図（Ｂ）の黒く塗られた部分が有効ブロッ
クである。第３図（Ａ）は、時刻t0と時刻t1の画面間で
求められた第４の有効ブロックマップであるとする。そ
して、現画面の有効ブロックマップすなわち第１の有効
ブロックマップに第１の重みづけを行い、前画面の有効
ブロックマップである第４の有効ブロックマップに対し
ては、第２の重みづけを行う。以下に重みづけの一例を
示す。例えば、前フレームの有効ブロックを１とし、無
効ブロックを０とする。現フレームの有効ブロックは２
とし、現フレームの無効ブロックは前フレームの無効ブ
ロックと同様に０とする。この様にして重みづけを行っ
た前フレームの有効ブロックマップと、現フレームの有
効ブロックマップを加算合成し、第２の有効ブロックマ
ップを得る。第２の有効ブロックマップは、第４図
（Ａ）の様になる。次に、第４図（Ａ）の加算合成され
た第２の有効ブロックマップに対して、セグメンテーシ
ョンを行う。セグメンテーションの一例を第４図、第５
図を参照しながら説明する。例えば第５図のｋをセグメ
ンテーションの対象ブロックとすると、ブロックｋの近
傍のブロックをa,b,c,d,e,f,g,hの値を参照する。すな
わち第４図（Ａ）の第２の有効ブロックマップの値を参
照する。近傍のブロックa,b,c,d,e,f,g,hおよびブロッ
クｋの値の合計値が、予め定められた第２の閾値以上の
ときには対象ブロックｋを有効ブロックとし、近傍のブ
ロックa,b,c,d,e,f,g,hおよびブロックｋの値が、予め
定められた第２の閾値未満のときには対象ブロックｋを
無効ブロックとする。

新たにセグメンテーションによって得られた第３の有
効ブロックマップを第４図（Ｂ）に示す。第３の有効ブ
ロックマップには、孤立無効ブロック領域が発生する場
合がある。このため第３の有効ブロックマップ内の有効
ブロック領域のみ符号化を実行させると、有効ブロック
領域内の孤立した無効ブロック領域は、符号化が行われ
ないから、その無効ブロック領域に符号化歪が発生して
しまい、非常に見苦しい符号化画像となってしまうこと
がある。そこで、孤立無効ブロック領域の除去を行う。
孤立無効ブロック領域の除去方法としては、セグメンテ
ーションと同様な処理を無効ブロックを対象に行う。す
なわち無効ブロックの近傍のブロックを参照し、近傍の
ブロックの値の合計値が予め定められた第３の閾値以上
のときに、その対象となる無効ブロックを有効ブロック
を示す値に置き替える。以上の処理により第４図（Ｂ）
で孤立無効ブロックであった領域を除去し、第４の有効
ブロックマップを得る。第４の有効ブロックマップを第
６図に示す。そして、第６図の有効ブロックの領域内す
なわち話者領域を画面間の相関または画面内の相関のい
づれか一方、またはその両方を用いて入力した動画像信
号を符号化することにより、背景などの雑音により発生
する無駄な情報を容易に削除でき、符号化効率を高める
ことができる。

上記各閾値および重みづけの値については、予め統計
的に調べた最適値を用いる。また、セグメンテーション
および孤立無効ブロック除去における参照画素の配置
は、上記以外の配置および画素数でもかまわない。

（実施例） 次に、図面を参照しながら本発明の一実施例について
詳細に説明する。第７図に本発明の一実施例を示す。入
力の動画像信号は、線10を介して有効無効判定部１およ
び遅延部８に供給される。有効無効判定部１は、前画面
の動画像信号を蓄えておき、この前画面における動画像
信号と新たに線10を介して入力された動画像信号とのフ
レーム差分信号を求め、このフレーム差分信号を水平方
向ｎ画素×垂直方向ｎ画素の複数画素からなるブロック
に分割し，それぞれブロック毎に、ブロック内のフレー
ム差分値の絶対値和を求める。求められたフレーム差分
の絶対値和が予め定められた第１の閾値以上であればそ
のブロックを有効ブロックとし、フレーム差分の絶対値
和が第１の閾値未満のときにはそのブロックを無効ブロ
ックとして、第１の有効ブロックマップを得る。有効無
効判定部１で得られた第１の有効ブロックマップは、重
みづけ部２に与えられる。重みづけ部２は、有効無効判
定部１から与えられた第１の有効ブロックマップに対し
て、予め定められた第１の重みづけを行う。重みづけ部
２で重みづけが成された第１の有効ブロックマップは、
加算器４に与えられる。加算器４は、重みづけ部２から
与えられた第１の有効ブロックマップと、重みづけ部３
から与えられる前画面の第４の有効ブロックマップとを
加算し、重みづけが成された第２の有効ブロックマップ
を得る。加算器４で得られた第２の有効ブロックマップ
は、セグメンテーション部５に与えられる。セグメンテ
ーション部５は、加算器４から与えられた第２の有効ブ
ロックマップ内の全てのブロックに対して、セグメンテ
ーション処理を行う。例えば、第５図に示す様にセグメ
ンテーションの対象となるブロックをｋとすると、ｋお
よびｋの近傍のa,b,c,d,e,f,g,hのブロックの値を参照
し、それらの値の合計値が予め定められた第２の閾値以
上であればそのブロックｋを有効ブロックとし、値が第
２の閾値未満の場合には、そのブロックｋを無効ブロッ
クとし、第３の有効ブロックマップを得る。セグメンテ
ーション部５で得られた第３の有効ブロックマップは、
孤立無効ブロック除去部６に与えられる。孤立無効ブロ
ック除去部６は、セグメンテーション部５から与えられ
た第３の有効ブロックマップに含まれている無効ブロッ
クに対して孤立無効ブロック領域除去の処理を行い、有
効ブロックの連結を行う。孤立無効ブロックの処理は、
セグメンテーションと同様に、対象となる無効ブロック
の近傍のブロックを参照し、近傍のブロックの値の合計
値が予め定められた第３の閾値以上の場合は、その無効
ブロックを有効ブロックとする。近傍のブロックの値が
予め定められた第３の閾値未満の場合は、その無効ブロ
ックは無効ブロックのままとし、以上の処理によって孤
立無効ブロック領域の除去を行った第４の有効ブロック
マップを得る。孤立無効ブロック除去部６で得られた第
４の有効ブロックマップは、重みづけ部３および符号化
部７に与えられる。重みづけ部３は、孤立無効ブロック
除去部６から与えられた第４の有効ブロックマップに対
して、第２の重みづけを行い加算器４に重みづけが成さ
れた第４の有効ブロックマップを与える。遅延部８は、
入力した動画像信号に対して入力動画像信号が供給され
てくる第４の有効ブロックマップが符号化部７に与えら
れるまでの遅延時間補償を行い、第４の有効ブロックマ
ップと入力した動画像信号の時間合せを行う。遅延部８
の出力の時間補償された動画像信号は、符号化部７に与
えられる。符号化部７は、孤立無効ブロック除去部６か
ら与えられた第４の有効ブロックマップ内の、有効ブロ
ック領域すなわち話者領域であると示されている部分に
ついてのみ、遅延部８から与えられた動画像信号の符号
化を行い、無効ブロックで示される背景部分は符号化を
行わない。

符号化の方法としては、動き補償などの画面間の相関
を利用した方法、または直交変換などの画面内の相関を
利用した方法、あるいは画面間および画面内の両方の相
関を利用した符号化方法を用いる。

上記の各閾値については、予め統計的に調べた最適値
を用いる。一例として、第１の重み付けで現フレームの
有効ブロックを２、無効ブロックを０とし、第２の重み
付けで前フレームの有効ブロックを１、無効ブロックを
０とした場合には、第２の閾値を８、第３の閾値を５と
することで実現できる。

（発明の効果） 以上に詳しく説明したように、本発明の動画像信号の
符号化方式は、セグメンテーションによって得た話者領
域内のみ符号化することにより、背景部分の雑音により
発生する無駄な情報を削除でき、符号化の効率を高める
ことができる。

【図面の簡単な説明】

第１図、第２図、第３図、第４図、第５図および第６図
は本発明の作用を説明する図、第７図は本発明の一実施
例を示す図である。 １……有効無効判定部、2,3……重みづけ部、４……加
算器、５……セグメンテーション部、６……孤立無効ブ
ロック除去部、７……符号化部、８……遅延部。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】画面間の相関を利用した動画像信号の符号
   化方式において、入力する動画像信号の１画面を複数画
   素からなるブロックに分割し、ブロック毎に前画面との
   差分を検出し、該差分値が予め定められた第１の閾値以
   上のときには有効ブロックとし、前記差分値が予め定め
   られた第１の閾値未満のときには無効ブロックとしてフ
   レーム毎に第１の有効ブロックマップを作成する手段
   と、該第１の有効ブロックマップに対して第１の重みづ
   けを行う手段と、前画面における第４の有効ブロックマ
   ップに対して第２の重みづけを行う手段と、前記第１の
   重み付けを行った第１の有効ブロックマップと、前記第
   ２の重みづけを行った第４の有効ブロックマップとを加
   算合成して重みづけが成された第２の有効ブロックマッ
   プを得る手段と、該第２の有効ブロックマップに対し
   て、各ブロックの近傍のブロックを参照し、近傍のブロ
   ックおよび対象ブロックの値の合計値が予め定められた
   第２の閾値以上のときには当該対象ブロックを有効ブロ
   ックとし、第２の閾値未満のときには当該対象ブロック
   を無効ブロックとするセグメンテーションを行って第３
   の有効ブロックマップを得る手段と、該第３の有効ブロ
   ックマップ内の無効ブロックについて近傍のブロックを
   参照し、近傍のブロックの値の合計値が予め定められた
   第３の閾値以上のときには当該無効ブロックを有効ブロ
   ックに置き替え、第３の閾値未満のときには当該無効ブ
   ロックを無効ブロックのままとして第４の有効ブロック
   マップを得る手段と、前記動画像信号の入力時から前記
   第４の有効ブロックマップ生成時までの時間の遅延を前
   記動画像信号に与える手段と、遅延を与えられた前記動
   画像信号について、前記第４の有効ブロックマップで有
   効ブロックとされた領域を、画面間の相関、画面内の相
   関またはその両方を用いて符号化を行う手段とを有する
   ことを特徴とする動画像信号の符号化方式。