JPH07112280B2 - 動画像信号の符号化方式 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、帯域圧縮技術を用いた動画像信号の符号化方
式に関する。

（従来の技術） 従来の帯域圧縮技術を用いた動画像信号の符号化方式と
しては、たとえば1989年電子情報通信学会春季全国大
会、資料番号Ｄ−233に記載の「ISDN対応カラー動画像
テレビ電話装置」などが知られている。この動画像信号
の符号化方式では、画面における顔領域を抽出してマッ
プを作成する。そして、画像符号化部ではフレーム間フ
レーム内適応予測を行い、この時もし顔の領域であれば
最終段まで符号化をし、それ以外の領域であれば１つ前
の段階で符号化を止めることにより符号量を減らしてい
る。

（発明が解決しようとする課題） しかしながら上述した従来の動画像信号の符号化方式で
は、顔以外の背景の部分も粗く符号化するから背景部分
の雑音により無駄な情報が発生してしまう。また、連続
する画面間で背景部分から顔部分に変化したとすると、
粗い符号化から細かい符号化を変るから、予測誤差信号
がここでもかなり発生してしまい、無駄な情報を符号化
することになってしまう。その結果符号化効率が低下し
てしまう。

（課題を解決するための手段） 本発明の動画像信号の符号化方式は、画面間の相関を利
用した動画像信号の符号化方式であって、入力する動画
像信号の１画面を複数画素からなるブロックに分割し、
ブロック毎に前画面との差分を検出し、該差分値が予め
定められた第１の閾値以上のときには有効ブロックと
し、前記差分値が予め定められた第１の閾値未満のとき
には無効ブロックとしてフレーム毎に第１の有効ブロッ
クマップを作成する手段と，該第１の有効ブロックマッ
プに対して第１の重みづけを行う手段と、前画面におけ
る第４の有効ブロックマップに対して第２の重みづけを
行う手段と、前記第１の重み付けを行った第１の有効ブ
ロックマップと、前記第２の重みづけを行った第４の有
効ブロックマップとを加算合成して重みづけが成された
第２の有効ブロックマップを得る手段と、前記第４の有
効ブロックマップの有効ブロック数に対する前記第１の
有効ブロックマップの有効ブロップ数の割合が予め定め
られた第４の閾値以上のときには前記第２の有効ブロッ
クマップ内の各ブロックの近傍のブロックを参照し、近
傍のブロックおよぶ対象ブロックの値が予め定められた
第２の閾値以上のときには当該対象ブロックを有効ブロ
ックとし、第２の閾値未満のときには当該対象ブロック
を無効ブロックとして前記第２の有効ブロックマップか
ら第３の有効ブロックマップを得、前記第４の有効ブロ
ックマップの有効ブロック数に対する前記第１の有効ブ
ロックマップの有効ブロック数の割合が予め定められた
第４の閾値未満のときには前記第２の有効ブロックマッ
プ内の各ブロックの近傍のブロックを参照し、近傍のブ
ロックおよび対象ブロックの値が予め定められた第５の
閾値以上のときには当該対象ブロックを有効ブロックと
し、第５の閾値未満のときには当該対象ブロックを無効
ブロックとして第２の有効ブロックマップから第３の有
効ブロックマップを得るセグメンテーションを行う手段
と、該第３の有効ブロックマップ内の孤立無効ブロック
について近傍のブロックを参照し、近傍のブロックの値
が予め定められた第３の閾値以上のときには当該孤立無
効ブロックを有効ブロックに置き替え、近傍のブロック
の値が第３の閾値未満のときには当該孤立無効ブロック
を無効ブロックのままとして第４の有効ブロックマップ
を得る手段と、前記動画像信号の入力時から前記第４の
有効ブロックマップの生成時までの時間の遅延を前記動
画像信号に与える手段と，遅延を与えられた前記動画像
信号について、前記第４の有効ブロックマップで有効ブ
ロックとされた領域を、画面間の相関、画面内の相関ま
たはその両方を用いて符号化を行う手段とを有する。

（作用） テレビ電話などにおいては、背景部分は固定でおもに話
者が動くことから、話者の部分を切出して符号化を行え
ば、背景などからの雑音によって発生する無駄な符号化
情報量を除去でき符号化能率を上げることができる。

本発明においては、話者の部分を切出して話者部分のみ
を符号化することにより、符号化効率を高める。話者の
切出し方について図面を参照しながら詳細に説明する。
第１図の時刻t0,t1,t2は示すように話者が動いた後、時
刻t3で話者は静止して口の部分だけが動いていると仮定
する。ここで、時刻１および時刻t2の画面間での差分を
求めると第２図の斜線で示される領域が求められ、時刻
t2と時刻t3の画面間の差分は第７図（Ａ）の斜視領域と
なる。背景部分の孤立した斜線部分は、背景の雑音によ
り発生した差分信号であるとする。次に、画面を水平方
向ｎ画素×垂直方向ｎ画素の複数の画素からなるブロッ
クに分割し、各ブロック内の差分信号の絶対値和が予め
定められた第１の閾値以上のときにはそのブロックを有
効ブロックとし、差分信号の絶対値和が第１の閾値未満
のときにはそのブロックを無効ブロックとする。以上の
処理によって得られた時刻t1,t2間の有効ブロックマッ
プを第３図（Ｂ）に、時刻t2,t3間の有効ブロックマッ
プを第７図（Ｂ）に示す。第３図（Ｂ）および第７図
（Ｂ）の黒く塗られた部分が有効ブロックである。第３
図（Ａ）は、時刻t0と時刻t1の画面間で求められた第４
の有効ブロックマップであるとする。そして，現画面の
有効ブロックマップすなわち第１の有効ブロックマップ
に第一の重みづけを行い、前画面の有効ブロックマップ
である第４のブロックマップに対しては第２の重みづけ
を行う。以下に重みづけの一例を示す。例えば、前記フ
レームを有効ブロックを１とし、無効ブロックを０とす
る。現フレームの有効ブロックは２とし、現フレームの
無効ブロックは前フレームの無効ブロックと同様に０と
する。この様にして重みづけを行った前フレームの有効
ブロックマップと、現フレームの有効ブロックマップと
を加算合成し、第２の有効ブロックマップを得る。以上
の様な重みづけによって得た時刻t2における第２の有効
ブロックマップは、第４図（Ａ）の様になる。次に、第
４図（Ａ）の加算合成された第２の有効ブロックマップ
に対して、セグメンテーションを行う。このとき前フレ
ームの有効ブロック数の値すなわち第４の有効ブロック
マップ内の有効ブロック数を分母とし、現フレームの有
効ブロックである第１の有効ブロックマップ内の有効ブ
ロック数を分子としたときの割合が予め定められた第４
の閾値以上の場合、たとえば、現フレームの有効ブロッ
ク数が前フレームの有効ブロック数と同程度、または1/
2以上の場合のセグメンテーションの一例を第４図およ
び第５図を参照しながら説明する。例えば、第５図のｋ
をセグメンテーションの対象ブロックとすると、ブロッ
クｋの近傍のブロックa,b,c,d,e,f,g,hの値を参照す
る。すなわち第４図（Ａ）の第２の有効ブロックマップ
の値を参照する。近接のブロックa,b,c,d,e,f,g,hおよ
びブロックｋの値が予め定められた第２の閾値以上のと
きには対象ブロックｋを有効ブロックとし、近接のブロ
ックa,b,c,d,e,f,g,hおよびブロックｋの値が予め定め
られた第２の閾値未満のときには対象ブロックｋを無効
ブロックとする。

新たにセグメンテーションによって得られた第３の有効
ブロックマップを第４図（Ｂ）に示す。第３の有効ブロ
ックマップには、孤立無効ブロックが発生する場合があ
る。このため第３の有効ブロックマップ内の有効ブロッ
ク領域のみ符号化を実行させると、有効ブロック領域内
の孤立した無効ブロック部分は、符号化が行われないた
めにその孤立無効ブロック部分に符号化歪が発生してし
まい、非常に見苦しい符号化画像となってしまうことが
ある。そこで、孤立無効ブロックの除去を行う。孤立無
効ブロックの除去方法としては、セグメンテーションと
同様な処理を孤立無効ブロックを対象に行う。すなわち
孤立無効ブロックの近傍のブロックを参照し、その近傍
のブロックが予め定められた第３の閾値以上のときには
その対象となる孤立無効ブロックを有効ブロックを示す
値に置き替える。以上の処理により第４図（Ｂ）で孤立
無効ブロックであった領域を除去し、第４の有効ブロッ
クマップを得る。孤立無効ブロック除去が行われた第４
の有効ブロックマップを第６図に示す。

次に、時刻t3のときの様に、前フレームの有効ブロック
数と現フレームの有効ブロック数との割合が前記第４の
閾値未満で現フレームの有効ブロック数が前フレームの
有効ブロック数よりもかなり少ない場合、たとえば1/2
未満の場合のセグメンテーションの一例を第６図、第７
図、第８図および第９図を参照しながら説明する。第６
図の時刻t2で求められた第４の有効ブロックマップと第
７図（Ｂ）の時刻t3における第１の有効ブロックマップ
のそれぞれに、前記第１および第２の重みづけを行って
合成すると、第８図（Ａ）に示す第２の有効ブロックマ
ップが得られる。この第２の有効ブロックマップに対し
て前記第２の閾値にもとづいてセグメンテーションを行
うと、第８図（Ｂ）の斜線で示す第３の有効ブロックマ
ップが得られる。そして、第３の有効ブロックマップに
対して前記第３の閾値にもとづいて孤立無効ブロックの
除去を行い、第４の有効ブロックマップを得る。このと
き、時刻t3において求められた第３の有効ブロックマッ
プには孤立無効ブロックが存在しないから、第４の有効
ブロックマップは第３の有効ブロックマップと同様にな
る。そして、この第４の有効ブロックマップ内の有効ブ
ロック領域内のみ入力した動画像信号の符号化を行う。
しかしながら、この第４の有効ブロックマップの有効ブ
ロック領域は、第８図（Ｂ）に示すように話者の胸の部
分や頭部右上の部分が欠けてしまっているから、このま
ま符号化を行うと胸の部分や頭部に未符号化領域が発生
し、符号化画像の話者領域に不連続な部分が発生してし
まい、符号化画像が見苦しくなることが考えられる。従
って、時刻t3のときの様に、前フレームの有効ブロック
数と現フレームの有効ブロック数の割合が前記第４の閾
値未満で現フレームの有効ブロック数が少ない場合に
は、セグメンテーションにおける閾値を切替えることに
よって話者領域の欠損を防ぐ。たとえば、第８図（Ａ）
に重みづけがなされた第２の有効ブロックマップにおい
て、セグメンテーションを実行する際にセグメンテーシ
ョンにおける閾値を、たとえばｋが０以外であったらセ
グメンテーションの対象ブロックであるｋを有効ブロッ
クとするように閾値を十分低くすることによって、第９
図に示すような第３の有効ブロックマップを得ることが
でき、話者領域の欠損を防げる。このときの閾値を第５
の閾値とする。以上の様に、前フレームの有効ブロック
数と現フレームの有効ブロック数との割合が前記第４の
閾値以上のときには、前記第２の閾値を選択しセグメン
テーションを行い、前フレームの有効ブロック数と現フ
レームの有効ブロック数との割合が前記第４の閾値未満
で現フレームの有効ブロック数が前フレームの有効ブロ
ック数よりもかなり少ない場合には、前記第５の閾値の
選択しセグメンテーションを行う。そして、第６図また
は第９図の有効ブロック領域内すなわち話者領域を画面
間の相関または画面内の相関のいづれか一方、またはそ
の両方を用いて入力した動画像信号を符号化することに
より、背景などの雑音により発生する無駄な情報を容易
に削除でき、符号化効率を高めることができる。

上記各閾値および重みづけの値については、予め統計的
に調べた最適値を用いる。また、セグメンテーションお
よび孤立無効ブロック除去における参照ブロックの配置
は、上記以外の配置およびブロック数でもかまわない。

（実施例） 次に、画面を参照しながら本発明の一実施例について詳
細に説明する。第10図に本発明の一実施例を示す。入力
の動画面信号は、線10を介して有効無効判定部１および
遅延部９に供給される。有効無効判定部１は、前画面の
動画像信号を蓄えておき、この前画面の動画像信号と新
たに線10を介して入力された動画像信号とのフレーム差
分信号を求め、このフレーム差分信号を水平方向ｎ画素
×垂直方向ｎ画素の複数画素からなるブロックに分割
し、それぞれのブロック毎にブロック内のフレーム差分
値の絶対値和を求める。求められたフレーム差分値の絶
対値和が予め定められた第１の閾値以上であればそのブ
ロックを有効ブロックとし、フレーム差分値の絶対値和
が第１の閾値未満のときはそのブロックを無効ブロック
として、第１の有効ブロックマップを得る。有効無効判
定部１で得られた第１の有効ブロックマップは、重みづ
け部２および比率判定部８に与えられる。重みづけ部２
は、有効無効判定部１から与えられた第１の有効ブロッ
クマップに対して、予め定められた第１の重みづけを行
う。重みづけ部２で重みづけが成された第１の有効ブロ
ックマップは、加算器４に与えられる。加算器４は、重
みづけ部２から与えられた第１の有効ブロックマップ
と、重みづけ部３から与えられる前画面の第４の有効ブ
ロックマップを加算し、重みづけが成された第２の有効
ブロックマップを得る。加算器４で得られた第２の有効
ブロックマップは、セグメンテーション部５に与えられ
る。比率判定部８は、孤立無効ブロック除去部６から与
えられる前画面の第４の有効ブロックマップ内の有効ブ
ロック数に対する有効無効判定部１から与えられた第１
の有効ブロックマップ内の有効ブロック数の割合を判定
し、判定結果が予め定められた第４の閾値以上である
か、第４の閾値未満であうかを示す判定信号をセグメン
テーション部５に与える。セグメンテーション部５は、
加算器４から与えられた第２の有効ブロックマップ内の
全てのブロックに対して、セグメンテーション処理を行
う。例えば、比較判定部８から与えられた判定信号が第
４の閾値以上であることを示している場合には、セグメ
ンテーションにおける閾値として第２の閾値を選択し、
前記判定信号が第４の閾値未満であることを示している
場合には、セグメンテーションにおける閾値として第５
の閾値を選択して、セグメンテーションを行う。第５図
に示す様にセグメンテーションの対象となるブロックを
ｋとすると、ｋおよびｋの近傍のa,b,c,d,e,f,g,hのブ
ロックの値を参照し、それらの値が比較判定部８から与
えられた判定信号により選択された閾値以上であればそ
のブロックｋを有効ブロックとし、それらの値が前記選
択された閾値未満の場合にはそのブロックｋを無効ブロ
ックとして第３の有効ブロックマップを得る。セグメン
テーション部５で得られた第３の有効ブロックマップ
は、孤立無効ブロック除去部６に与えられる。孤立無効
ブロック除去部６は、ゼクメンテーション部５から与え
られた第３の有効ブロップマップに含まれている孤立無
効ブロックに対して孤立無効ブロック除去の処理を行
い、有効ブロックの連続を行う。孤立無効ブロックの処
理は、セグメンテーションと同様に対象となる孤立無効
ブロックの近傍のブロックを参照し、その近傍のブロッ
クの値が予め定められた第３の閾値以上の場合は、その
孤立無効ブロックを有効ブロックとする。近傍のブロッ
クの値が予め定められた第３の閾値未満の場合は、その
孤立無効ブロックは無効ブロックのままとする。以上の
処理によって孤立無効ブロックの除去を行った第４の有
効ブロックマップを得る。孤立無効ブロック除去部６で
得られた第４の有効ブロックマップは、重みづけ部３、
比較判定部８および符号化部７に与えられる。重みづけ
部３は、孤立無効ブロック除去部６から与えられた第４
の有効ブロックマップに対して、第２の重みづけを行い
加算器４に重みづけが成された第４のブロックマップを
与える。遅延部９は、入力した動画像信号に対して入力
動画像信号が供給されてから第４の有効ブロックマップ
が符号器７に与えらるまでの遅延時間補償を行い、第４
の有効ブロックマップと入力動画像信号との時間合せを
行う。遅延９の出力の時間補償された動画像信号は、符
号化部７に与えられる。符号化部７は、孤立無効ブロッ
ク除去部６から与えられた第４の有効ブロックマップ内
の、有効ブロック領域すなわち話者領域であると示され
ている部分についてのみ、遅延部９から与えられた動画
像信号の符号化を行い、無効ブロックで示される背景部
分は符号化を行わない。符号化の方法としては、動き補
償などの画面間の相関を利用した方法、または直交交換
などの画面内の相関を利用した方法、あるいは画面間お
よび画面内の両方の相関を利用した符号化方法を用い
る。

上記の各閾値については、予め統計的に調べた最適値を
用いる。

（発明の効果） 以上に詳しく説明したように、本発明の動画像信号の符
号化方式は、セグメンテーションによって得た話者領域
内のみ入力した動画像信号の符号化をすることにより、
背景部分の雑音により発生する無駄な情報を削除でき、
符号化の効率を高めることができる。

【図面の簡単な説明】 第１図、第２図、第３図、第４図、第５図、第６図、第
７図、第８図および第９図は本発明の作用を説明する
図、第10図は本発明の一実施例を示す図である。 １……有効無効判定部、2,3……重みづけ部、４……加
算器、５……セグメンテーション部、６……孤立無効ブ
ロック除去部、７……符号化部、８……比率判定部、９
……遅延部。

Claims (1)

【特許請求の範囲】
1. 【請求項１】画面間の相関を利用した動画像信号の符号
   化方式において、入力する動画像信号の１画面を複数画
   素からなるブロックに分割し、ブロック毎に前画面との
   差分を検出し、該差分値が予め定められた第１の閾値以
   上のときには有効ブロックとし、前記差分値が予め定め
   られた第１の閾値未満のときには無効ブロックとしてフ
   レーム毎に第１の有効ブロックマップを作成する手段
   と，該第１の有効ブロックマップに対して第１の重みづ
   けを行う手段と、前画面における第４の有効ブロックマ
   ップに対して第２の重みづけを行う手段と、前記第１の
   重み付けを行った第１の有効ブロックマップと、前記第
   ２の重みづけを行った第４の有効ブロックマップとを加
   算合成して重みづけが成された第２の有効ブロックマッ
   プを得る手段と、前記第４の有効ブロックマップの有効
   ブロック数に対する前記第１の有効ブロックマップの有
   効ブロック数の割合が予め定められた第４の閾値以上の
   ときには前記第２の有効ブロックマップ内の各ブロック
   の近傍のブロックを参照し、近傍のブロックおよび対象
   ブロックの値が予め定められた第２の閾値以上のときに
   は当該対象ブロックを有効ブロックとし、第２の閾値未
   満のときには当該対象ブロックを無効ブロックとして前
   記第２の有効ブロックマップから第３の有効ブロックマ
   ップを得、前記第４の有効ブロックマップを有効ブロッ
   ク数に対する前記第１の有効ブロックマップの有効ブロ
   ック数の割合が予め定められた第４の閾値未満のときに
   は前記第２の有効ブロックマップ内の各ブロックの近傍
   のブロックを参照し、近傍のブロックおよび対象ブロッ
   クの値が予め定められた第５閾値以上のときには当該対
   象ブロックを有効ブロックとし、第５の閾値未満のとき
   には当該対象ブロックを無効ブロックとして前記第２の
   有効ブロックマップから第３の有効ブロックマップを得
   るゼクメンテーションを行う手段と、該第３の有効ブロ
   ックマップ内の孤立無効ブロックについて近傍のブロッ
   クを参照し、近傍のブロックの値が予め定められた第３
   の閾値以上のときには当該孤立無効ブロックを有効ブロ
   ックに置き替え、近傍のブロックの値が第３の閾値未満
   のときには当該孤立無効ブロックを無効ブロックのまま
   として第４の有効ブロックマップを得る手段と、前記動
   画像信号の入力時から前記第４の有効ブロックマップの
   生成時までの時間の遅延を前記動画像信号に与える手段
   と、遅延を与えられた前記動画像信号について、前記第
   ４の有効ブロックマップで有効ブロックとされた領域
   を、画面間の相関、画面内の相関またその両方を用いて
   符号化を行う手段とを有することを特徴とする動画像信
   号の符号化方式。