JPH04138790A - 動画像信号の符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、帯域圧縮技術を用いた動画像信号の符号化装
置に関する。

〔従来の技術〕

従来の帯域圧縮技術を用いた動画像信号の符号化方式と
しては、たとえば１９８９年電子情報通信学会春季全国
大会、資料番号Ｄ−２３３に記載のｒＩＳＤＮ対応カラ
ー動画像テレビ電話装置」などが知られている。この符
号化方式では、顔領域を抽出しマツプを作成する。そし
て、画像符号化部ではフレーム間フレーム内適応予測を
行い、この時もし顔の領域であれば最終段まで符号化を
し、それ以外の領域であれば１つ前の段階で符号化を止
めることにより符号量を減らしている。

〔発明が解決しようとする課題〕

しかしながら上述の様な符号化方法では、顔以外の背景
の部分も粗く符号化するため背景部分の雑音により無駄
な情報が発生してしまう。また、連続する画面間で背景
部分から顔部分に変化したとすると、粗い符号化から細
かい符号化に変るため、予測誤差信号がここでもかなり
発生してしまい、無駄な情報を符号化することになって
しまう。

その結果符号化効率が低下してしまう。

〔課題を解決するための手段〕

本発明の動画像信号の符号化装置は、画面間および画面
内の相関を利用した動画像信号の符号化において、画面
を複数画素からなるブロックに分割し、ブロック毎に画
面間での差分を検圧し、該差分値が予め定められた第１
の閾値以上のときには有効ブロックとし、前記差分値が
予め定められた第１の閾値未満のときには無効ブロック
とし、フレーム毎に第１の有効ブロックマツプを作成す
る有効無効判定手段と、該有効無効判定手段の出力に対
し、第１の重みづけを行う第１の重みづけ手段と、孤立
無効ブロック除去手段の出力に対し、第２の重みづけを
行う第２の重みづげ手段と、該第２の重みづけ手段の６
カと、前記第１の重色づけ手段の出力を加算合成し、重
みづげが成された第２の有効ブロックマツプを得る加算
手段と、該加算手段の出力に対してセダメンテーション
を行うにあたり、第２の有効ブロックマツプ内の対象と
なる各ブロックの近傍のブロックを参照し、近傍のブロ
ックおよび対象ブロックの値が、予め定められた第２の
閾値以上のときは、そのブロックを有効ブロックとし、
第２の閾値未満のときはそのブロックを無効ブロックと
し、第３の有効ブロックマツプを得るセグメンテーショ
ン手段と、該セグメンテーション手段の出力の孤立無効
ブロックにおいては、近傍のブロックを参照し、近傍の
ブロックの値が予め定められた第３の閾値以上のときに
は、その無効ブロックを有効ブｐウクに置き替え、近傍
のブロックの値が第３の閾値未満のときは、その無効ブ
ロックを無効ブロックのままとし、第４の有効ブロック
マツプを得る孤立無効ブロック除去手段と、入力の動画
像信号を遅延させる遅延手段と、該遅延手段の出力に対
し、前記孤立無効ブロック除去手段の出力の第４の有効
ブロックマツプで有効ブロックとされた領域を、画面間
の相関または画面内の相関のどちらか一方、あるいはそ
の両方を用いて符号化を行う符号化手段とにより構成さ
れる。

テレビ電話などにおいては、背景部分は固定でおもに話
者が動くことから、話者の部分を切出して符号化を行え
ば、背景などからの雑音によって発生する無駄な符号化
情報量を除去でき符号化能率を上げることができる。

本発明においては、話者の部分を切出して話者部分のみ
を符号化することにより、符号化効率を高めることがで
きる。すなわち、話者の切出し方について図面を参照し
て説明すると、第１図の時刻ｔＯ，ｔ１％　ｔ２に示す
ように話者が動いたと仮定する。そして、時刻ｔｌおよ
び時刻ｔ２の画面間での差分を求めると第２図の斜線で
示される領域が求められ、背景部分の孤立した斜線部分
は、背景の雑音により発生した差分信号と仮定する。

次に画面を水平方向ｎ画素×垂直方向ｎ画素の複数の画
素からなるブロックに分割し、各ブロック内の差分信号
の絶対値和が、予め定められた第１の閾値以上のときに
は、そのブロックを有効ブロックとし、差分信号の絶対
値和が、第１ｆ）閾値未満のときにはそのブロックを無
効ブロックとする。以上の処理によって得られた有効ブ
ロックマツプを第３図Ｂに示す。第３図Ｂの黒く塗られ
た部分が有効ブロックである。第３図Ａは、時刻１０と
時刻ｔ１の画面間で求められた第４の有効ブロックマツ
プと仮定する。そして、現画面の有効ブロックマツプす
なわち第１の有効プルツクマツプに第一の重みづけを行
い、前画面の有効ブロックマツプである第４の有効ブロ
ックマツプに対しては、第２の重みづけを行う。以下に
重みづけの一例を示す。例えば、第１の重みづけとして
現フレームの有効ブロックは２とし、現フレームの無効
ブロックは０とする。第２の重みづけとしては前フレー
ムの有効ブロックを１とし、無効ブロックを０とする。

この様にして重みづけを行った前フレームの有効ブロッ
クマツプと、現フレームの有効ブロックマツプを加算合
成し、第２の有効ブロックマツプを得る。第２の有効ブ
ロックマツプは、第４図Ａの様になる。次に、第４図Ａ
の加算合成された有効ブロックマツプに対して、セグメ
ンテーションヲ行つ。セグメンテーションの一例を第４
図、第５図を参照しながら説明する。

例えば第５図のｋをセグメンテーションの対象ブロック
とすると、ブロックにの近傍のブロックａ　ｒ　ｂ　、
Ｃｒ　ｄ　ｐ　ｅ　ｒ　ｆ　ｙ　ｇ　ｐ　ｈ　＋の値を
参照する。すなわち第４図Ａの第２の有効ブロックマツ
プの値を参照する。近傍のブロックａ、ｂ、ｃ。

ｄ、ｅ、ｆ、ｇ、ｈ、およびブロックにの値が、予め定
められた第２の閾値以上のときには、対象ブロックｋを
有効ブロックとし、近傍のブロックａ、ｂ、ｃ、ｄ、ｅ
、ｆ、ｇ、　ｈ、およびブロックにの値が、予め定めら
れた第２の閾値未満のときには、対象ブロックｋを有効
ブロックとする。

新たにセグメンテーションによって得られた第３の有効
ブロックマツプを第４図Ｂに示す。第３の有効ブロック
マツプには、孤立無効ブロックが発生する場合がある。

このため第３の有効ブロックマツプ内の有効ブロック領
域のみ符号化を実行させると、有効ブロック領域内の孤
立した無効ブロック部分は、符号化が行われないためそ
の部分に符号化歪が発生してしまい、非常に見苦しい符
号化画像となってしまうことがある。そこで、孤立無効
ブロックの除去を行う。孤立無効ブ四、りの除去方法と
しては、セグメンテーションと同様な処理を無効ブロッ
クを対象に行う。すなわち無効ブロックの近傍のブロッ
クを参照し、近傍のブロックが予め定められた第３の閾
値以上のときに。

その対象となる無効ブロックを有効ブロックを示す値に
置き替える。以上の処理により第４図Ｂで孤立無効ブロ
ックであった領域を除去し、第４の有効ブロックマツプ
を得る。第４の有効ブロックマツプを第６図に示す。そ
して、第６図の有効ブロックの領域内すなわち話者領域
を画面間の相関または画面内の相関のいづれか一方ある
いは、その両方を用いて符号化することにより、背景な
どの雑音により発生する無駄な情報を容易に削除でき、
符号化効率を高めることができる。

上記各閾値および重みづけの値については、予め統計的
に調べた最適値を用いる。また、セグメンテーションお
よび孤立無効ブロック除去における参照ブロックの配置
は、上記以外の配置およびブロック数でもかまわない。

〔実施例〕

次に、図面の参照しながら本発明の一実施例について詳
細に説明する。

第７図に本発明の一実施例を示す。入力の動画像信号は
、線１０を介して有効無効判定器１および遅延８に供給
される。有効無効判定器ｌは、前画面の信号を蓄えてお
き、新たに線１０を介して入力された動画像信号とのフ
レーム差分信号を求め、このフレーム差分信号を水平方
向ｎ画素×垂直方向ｎ画素の複数画素からなるブロック
に分割し、それぞれのブロック毎に、ブロック内のフレ
ーム差分値の絶対値和を求める。求められたフレーム差
分の絶対値和が、予め定められた第１の閾値以上であれ
ばそのブロックを有効ブロックとし、フレーム差分の絶
対値和が第１の閾値未満のときは、そのブロックを無効
ブロックとして、第１の有効ブ四ツクマツプを得る。有
効無効判定器１で得られた第１の有効ブロックマツプは
、重みづけ回路２に与えられる。重みづけ部２は、有効
無効判定部１から与えられた第１の有効ブロックマツプ
に対して、予め定められた第１の重みづけを行う。重み
づけ回路２は、ＲＯＭＣ’）−ドオンリーメモリー）に
より構成することができる。たとえば、有効無効判定器
１の出力が有効ブロックであることを示している場合は
出力を２とし、無効ブロックであった場合にはＯを出力
する論理を、予めＲＯＭに書込んでおけばよい。この他
の方法としては論理ゲート回路などにより、前記論理を
組んでおくこともできる。重みづけ回路２で重みづけが
成された第１の有効ブロックマツプは、加算器４に与え
られる。加算器４は、重みづげ回路２から与えられた第
１の有効ブロックマツプと、重みづけ回路３から与えら
れる第４の有効ブロックマツプを加算し、重みづけが成
された第２の有効ブロックマツプを得る。加算器４で得
られた第２の有効ブロックマップは、セグメンテーショ
ン回路５に与えられる。セグメンテーション回路５は、
加算器４から与えられた第２の有効ブロックマツプ内の
全てのブロックに対して、セグメンテーション処理を行
う。例えば、第５図に示す様にセグメンテーションの対
象となるブロックをｋとすると、ｋおよびｋの近傍のａ
、ｂ、ｃ、ｄ。

ｅ、ｆｒ　ｇ、ｈｒのブロックの値を参照し、それらの
値が予め定められた第２の閾値以上であればそのブロッ
クｋを有効ブロックとし、近傍のブロックおよびｋの値
が第２の閾値未満の場合には、そのブロックｋを無効ブ
ロックとし、第３の有効ブロックマツプを得る。セグメ
ンテーション回路５の一例を第８図に示す。セグメンテ
ーション回路５は、ラインメモリー５０．５１．遅延５
２．５３．５４．５５．５６．５７、およびＲＯＭ５８
により構成することができる。加算器４の出力の第２の
有効ブロックマツプは、線４５を介してラインメモリー
５０、遅延５２およびＲＯＭ５８に供給される。ライン
メモリ５０は、線４５を介して供給された有効ブロック
マツプを１ブロツクライン遅延し、ラインメモリー５１
、遅延５４およびＲＯＭ５８に供給する。ラインメモリ
ー５１は、ラインメモリー５０から供給された信号を１
ブロツクライン遅延し、遅延５６およびＲＯＭ５８に供
給する。遅延５２．５３．５４．５５．５６．５７は、
供給された信号を１クロツク遅延し、ＲＯＭ５８および
次段の遅延に供給する。遅延５４の出力信号が、第５図
のセグメンテーションの対象となるブロックにである。

ＲＯＭ５８は、ラインメモリーおよび遅延から供給され
た信号が、予め定められた第２の閾値以上ので示される
アドレス領域には有効ブロックを示す値を書込んでおき
、第２の閾値未満の７ドレス領域には無効ブロックを示
す値を書込んでおく。以上の様にラインメモリー、遅延
およびＲＯＭを用いることにより、セグメンテーション
を実行するブロックにおよび近傍のブロックの値を参照
することができる。次に第９図を参照しながら孤立無効
ブロック除去回路６を説明する。孤立無効ブロック除去
回路６は、セグメンテーション回路５と同様にラインメ
モリー６０％　６１、遅延６２．６３．６４．６５．６
６．６７およびＲＯＭ６８により構成され、無効ブロッ
クの近傍のブロックの値を参照し孤立無効ブロックの除
去を行う。遅延６４からＲＯＭ６ｇに供給される信号が
、孤立無効ブロック除去の対象ブロックにである。すな
わち遅延６４からＲＯＭ６８に供給された信号が無効ブ
ロックであって、かつ近傍のブロックが予め定められた
第３の閾値以上であれば、ＲＯＭ６８は有効ブロックを
示す値を出力し、遅延６４から供給された信号が無効ブ
ロックで、近傍のブロックが第３の閾値未満の場合ＲＯ
Ｍ６８は無効ブロックを示す値を出力する。また、遅延
６４から供給された信号が、有効ブロックの場合にはＲ
ＯＭ６８は、出力に有効ブロックを示す値を出力する。

上記の様な論理を予めＲＯＭ６８に書込んでおくことに
より孤立無効ブロックの除去を行い有効ブロックの連結
を行う。

孤立無効ブロック除去回路６の出力の第４の有効ブロッ
クマツプは、線６８７を介して重みづけ回路３および符
号器７に供給される。重みづけ回路３は、孤立無効ブロ
ック除去回路６から供給された第４の有効ブロックマツ
プに対して、第２の重みづけを行う。重みづけ回路３は
、重みづけ回路２と同様にＲＯＭにより構成することが
できる。

このときＲＯＭには第２の重みづけを行うための値を予
め書込んでおく。重みづげ回路３の出力の重みづけが成
された第４の有効ブロックマツプは、加算器４に供給さ
れる。次に遅延８は、入力の動画像信号に対して入力動
画像信号が供給されてから第４の有効ブロックマツプが
符号器７に与えられるまでの遅延時間補償を行い、第４
の有効ブロックマツプと入力信号の時間合せを行う。遅
延８の出力の時間補償された動画像信号は、線８７０を
介して符号器７に供給される。符号器７の構成を第１０
図に示す。遅延８から線８７０を介して供給された動画
像信号は、符号器７の内部の動ベクトル検出器７１およ
び減算器７２に供給される。

孤立無効ブロック除去回路６の出力の第４の有効ブロッ
クマツプは、線６８７を介して符号器７の内部の量子化
器７４に符号化実行の領域を示す信号として供給される
。動ベクトル検出器７１は、前画面の信号を蓄えておき
、新たに線８７０を介して入力された信号との画面間で
の動きを検出し、動きの量および方向を示す動ベクトル
を、フレームメモリー７７および可変長符号器７８に供
給する。減算器７２は、線８７０を介して供給された入
力信号と、フレームメモリー７７から供給される動き補
償が成された予測信号との減算を行い、動き補償予測誤
差を得る。減算器７２で得られた動き補償予測誤差信号
は、直交変換器７３に供給される。直交変換器７３は、
減算器７２から供給された動き補償予測誤差信号に対し
直交変換を行い、空間領域の予測誤差信号を周波数領域
の予測誤差信号に変換する。直交変換器７３の出力の周
波数領域の予測誤差信号は、量子化器７４に供給される
。量子化器７４は、線６８７を介して供給された第４の
有効ブロックマツプが、有効ブロックであることを示し
ているブロックについては、直交変換器７３から供給さ
れた予測誤差信号を量子化し、線６８７を介して供給さ
れた第４の有効ブロックマツプが、無効ブロックである
ことを示しているブロックは、量子化器の出力をゼロに
することによって符号化を停止する。量子化器７４の出
力信号は、逆直交変換器７５および可変長符号器７８に
供給される。逆直交変換器７５は、量子化器７４から供
給された予測誤差信号を逆直交変換し、空間領域の予測
誤差信号に戻す。逆直交変換器７５の出力信号は、加算
器７６に供給される。加算器７６は、逆直交変換器７５
から供給された空間領域の予測誤差信号と、フレームメ
モリー７７から供給される動き補償予測信号とを加算し
、局部復号信号を得る。加算器７６の出力の局部復号信
号は、フレームメモリー７７に供給される。フレームメ
モリー７７は、加算器７６から供給された局部復号信号
を、動ベクトル検出器７１から供給された動ベクトルに
従って、遅延量を変化させ動き補償予測信号を得る。フ
レームメモリー７７の出力の動き補償予測信号は、減算
器７２および加算器７６に供給される。次に可変長符号
器７８は、量子化器７４から供給された量子化が成され
た周波数領域の予測誤差信号と、動ベクトル検出器７１
から供給された動ベクトルを、ハフマン符号などの効率
の良い符号を用いて可変長符号化し冗長度を低減する。

冗長度が低減された可変長符号は、符号化の速度と伝送
路の速度との整合が取られ、可変長符号器７８の出力と
なり符号器７から伝送路に出力される。

以上詳細に説明した様に、第４の有効ブロックマツプに
従って、有効ブロック領域すなわち話者領域であると示
されている部分についてのみ符号化を行い、無効ブロッ
クで示される背景部分は符号化を停止する。符号化の停
止方法については、減算器７２の出力をゼロに置き換え
る方法でもかまわない。

また、上記の各閾値および重みづけの値については、予
め統計的に調べた最適値を用いる。

〔発明の効果〕

以上に詳しく説明したように、本発明の動画像侶号の符
号化方法は、セグメンテーションによって得た話者領域
内のみ符号化をすることにより、背景部分の雑音により
発生する無駄な情報を削除でき、符号化の効率を高める
ことができる。

【図面の簡単な説明】

第１図、第２図、第３図、第４図、第５図、第６図は、
本発明の詳細な説明する図、第７図は本発明の一実施例
を示すブロック図、第８図、第９図および第１０図は、
本発明の一実施例に用いる各部のブロック図である。 １・・・・・・有効無効判定部、２，３・・・・・・重
みづけ部、４・・・・・・２＋ｏ算器、５・・・・・・
セグメンテーション部、６・・・・・・孤立無効ブロッ
ク除去部、７・・・・・・符号化部、８・・・・・・遅
延、５０，５１，６０，６１・・・・・・ラインメモリ
ー　５２．５３，５４，５５，５６．５７・・・・・・
遅延、６２，６３，６４，６５，６６．６７・・・・・
・遅延、５８．６８・・・・・・ＲＯＭ、７１・・・・
・・動ベクトル検出器、７２・・・・・・減算器、７３
・・・・・・直交変換器、７４・・・・・・量子化器、
７５・・・・・・逆直交変換器、７６・・・・加算器、
７７・・・・・・フレームメモリー、７８・・・・・・
可変長符号器。 代理人　弁理士　　内　原　　　晋 η 野 夕

Claims (1)

【特許請求の範囲】
1. 画面間および画面内の相関を利用した動画像信号の符号
   化において、画面を複数画素からなるブロックに分割し
   、ブロック毎に画面間での差分を検出し、該差分値が予
   め定められた第１の閾値以上のときには有効ブロックと
   し、前記差分値が予め定められた第１の閾値未満のとき
   には無効ブロックとし、フレーム毎に第１の有効ブロッ
   クマップを作成する有効無効判定手段と、該有効無効判
   定手段の出力に対し、第１の重みづけを行う第１の重み
   づけ手段と、孤立無効ブロック除去手段の出力に対し、
   第２の重みづけを行う第２の重みづけ手段と、該第２の
   重みづけ手段の出力と、前記第１の重みづけ手段の出力
   を加算合成し、重みづけが成された第２の有効ブロック
   マップを得る加算手段と、該加算手段の出力に対してセ
   グメンテーションを行うにあたり、第２の有効ブロック
   マップ内の対象となる各ブロックの近傍のブロックを参
   照し、近傍のブロックおよび対象ブロックの値が、予め
   定められた第２の閾値以上のときは、そのブロックを有
   効ブロックとし、第２の閾値未満のときはそのブロック
   を無効ブロックとし、第３の有効ブロックマップを得る
   セグメンテーション手段と、該セグメンテーション手段
   の出力の孤立無効ブロックにおいては、近傍のブロック
   を参照し、近傍のブロックの値が予め定められた第３の
   閾値以上のときには、その無効ブロックを有効ブロック
   に置き替え、近傍のブロックの値が第３の閾値未満のと
   きは、その無効ブロックを無効ブロックのままとし、第
   ４の有効ブロックマップを得る孤立無効ブロック除去手
   段と、入力の動画像信号を遅延させ第４の有効ブロック
   マップと時間合せを行う遅延手段と、該遅延手段の出力
   に対し、前記孤立無効ブロック除去手段の出力の第４の
   有効ブロックマップで有効ブロックとされた領域を、画
   面間の相関または画面内の相関のどちらか一方、あるい
   はその両方を用いて符号化を行う符号化手段とにより構
   成される動画像信号の符号化装置。