JP2621625B2 - 画像信号符号化装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、帯域圧縮技術を用いた動画像信号の符号化
装置に関する。

〔従来の技術〕

従来の帯域圧縮技術を用いた動画像信号の符号化方式
としては、たとえば1989年電子情報通信学会春季全国大
会、資料番号Ｄ−233に記載の「ISDN対応カラー動画像
テレビ電話装置」などが知られている。この符号化方式
では、顔領域を抽出しマップを作成する。そして、画像
符号化部ではフレーム間フレーム内適応予測を行い、こ
の時もし顔の領域であれば最終段まで符号化をし、それ
以外の領域であれば１つ前の段階で符号化を止めること
により符号量を減らしている。

〔発明が解決しようとする課題〕

しかしながら上述の様な符号化方法では、顔以外の背
景の部分も粗く符号化するため背景部分の雑音により無
駄な情報が発生してしまう。また、連続する画面間で背
景部分から顔部分に変化したとすると、粗い符号化から
細かい符号化に変るため、予測誤差信号がここでもかな
り発生してしまい、無駄な情報を符号化することになっ
てしまう。その結果符号化効率が低下してしまう。

〔課題を解決するための手段〕

本発明の動画像信号符号化装置は、画面間の相関を利
用した動画像信号の符号化において、画面を複数画素か
らなるブロックに分割し、ブロック毎に画面間での動き
の方向および動きの大きさを示す動ベクトルを検出し、
該動ベクトルが検出されたブロックは有効ブロックと
し、動ベクトルが検出されなかったブロックは無効ブロ
ックとし、フレーム毎に第１の有効ブロックマップを作
成する動ベクトル検出手段と、該動ベクトル検出手段の
出力に対し、第１の重みづけを行う第１の重みづけ手段
と、第４の有効ブロックマップに対して第２の重みづけ
を行う第２の重みづけ手段と、前記第１の重み付けを行
った第１の有効ブロックマップと、前記第２の重みづけ
を行った第４の有効ブロックマップを加算合成し、重み
づけが成された第２の有効ブロックマップを得る加算手
段と、該第２の有効ブロックマップに対してセグメンテ
ーションを行うにあたり、前記第４の有効ブロックマッ
プの有効ブロック数に対する前記第１の有効ブロックマ
ップの有効ブロック数が、予め定められた第１の閾値以
上であるか否かの判定を行う比率判定手段と、該比率判
定手段の出力が、第１の閾値以上であることを示してい
る場合は、セグメンテーションにおける閾値として第２
の閾値を選択し、前記比率判定器の出力が第１の閾値未
満であることを示している場合は、セグメンテーション
における閾値として予め第２の閾値よりも小さい値とし
て定めた第３の閾値を選択し、前記第２の有効ブロック
マップ内の対象となる各ブロックの近傍のブロックを参
照し、近傍のブロックおよび対象ブロックの値の和が、
前記選択された閾値以上のときは、そのブロックを有効
ブロックとし、前記選択された閾値未満のときはそのブ
ロックを無効ブロックとし、第３の有効ブロックマップ
を得るセグメンテーション手段と、該第３の有効ブロッ
クマップ内の孤立無効ブロックおよび有効ブロック領域
に囲まれた無効ブロックにおいては、近傍のブロックを
参照し、近傍の参照ブロックの値の和が予め定められた
第４の閾値以上のときには、その無効ブロックを有効ブ
ロックに置き替え、近傍のブロックの値が第４の閾値未
満のときは、その無効ブロックを無効ブロックのままと
し、第４の有効ブロックマップを得る孤立無効ブロック
除去手段と、入力信号を遅延させ第４の有効ブロックマ
ップとの時間合わせを行う第１の遅延手段と、動ベクト
ルを遅延させ第４の有効ブロックマップとの時間合わせ
を行う第２の遅延手段と、前記第４の有効ブロックマッ
プで有効ブロックとされたに対して前記第１の遅延手段
の出力を前記第２の遅延手段の出力の動ベクトルを利用
し、画面間の相関または画面内の相関のどちらか一方、
あるいはその両方を用いて符号化を行う符号化手段とに
より構成される。

〔作用〕

テレビ電話などにおいては、背景部分は固定でおもに
話者が動くことから、話者の部分を切出して符号化を行
えば、背景などからの雑音によって発生する無駄な符号
化情報量を除去でき符号化能率を上げることができる。

本発明においては、話者の部分を切出して話者部分の
みを符号化することにより、符号化効率を高める。

本発明においては、画面間での話者の動きを検出し、
動きがあった部分に対してセグメンテーション（動領域
の連結および切り落とし）を行うことにより、話者領域
を切出す。従ってまず画面間での動きを検出する必要が
ある。画面間での動きの検出方法としては、動き補償の
原理を用いることができる。たとえば二宮らによる、
「動き補償フレーム間符号化方式」信学論（Ｂ）J63−
Ｂ、11、pp.1140−1147、昭51−11が知られている。こ
の方法は画面を小さなブロックに分割し、各ブロック毎
に記憶されている前画面の画像の中で、最も高い相関を
もつブロックを算出し、該当するブロック間の位置の差
（動ベクトル）と、この該当するブロック間で空間的に
同じ位置にある画素の振幅値の差（動き補償予測誤差）
を伝送する方法である。動き補償動ベクトルは、上記以
外の方法で求められたものであってもかまわない。

次に話者の切出し方について図面を参照しながら詳細
に説明する。第１図の時刻t0,t1,t2に示すように話者が
動いたと仮定する。そして、時刻t1および時刻t2の画面
間で動き補償を行い動きを求めると、第２図の矢印で示
される動ベクトルが求められ、背景部分の孤立した動ベ
クトルは、背景の雑音により発生した動ベクトルと仮定
する。そして、動ベクトルが発生したブロックを有効ブ
ロックとし、動ベクトルが発生しなかったベクトルを無
効ブロックとする。以上の処理によって得られた有効ブ
ロックマップを第３図Ｂに示す。第３図Ｂの黒く塗られ
た部分が有効ブロックである。第３図Ａは、時刻t0と時
刻t1の画面間で求められた第４の有効ブロックマップと
仮定する。そして、現画面の有効ブロックマップすなわ
ち第１の有効ブロックマップに第一の重みづけを行い、
前画面の有効ブロックマップである第４の有効ブロック
マップに対しては、第２の重みづけを行う。以下に重み
づけの一例を示す。例えば、前フレームの有効ブロック
は２とし、現フレームの無効ブロックは０とする。前フ
レームの有効ブロックは１とし、無効ブロックを０とす
る。この様にして重みづけを行った前フレームの有効ブ
ロックマップと、現フレームの有効ブロックマップを加
算合成し、第２の有効ブロックマップを得る。以上の様
な重みづけによって得た時刻t2における第２の有効ブロ
ックマップは、第４図Ａの様になる。次に第４図Ａの加
算合成された有効ブロックマップに対して、セグメンテ
ーションを行う。このとき前フレームの有効ブロック数
の値すなわち第４の有効ブロックマップ内の有効ブロッ
クマップ数を分母とし、現フレームの有効ブロックであ
る第１の有効ブロックマップ内の有効ブロック数を分子
としたときの割合が、予め定められた第１の閾値以上の
場合、たとえば、現フレームの有効ブロック数が、前フ
レームの有効ブロック数と同程度または、1/2以上の場
合のセグメンテーションの一例を第４図、第５図を参照
しながら説明する。例えば第５図のｋをセグメンテーシ
ョンの対象ブロックとすると、ブロックｋの近傍のブロ
ックa,b,c,d,e,f,g,h,の値を参照する。す４わち第４図
Ａの第２の有効ブロックマップの値を参照する。近傍の
ブロックa,b,c,d,e,f,g,h,およびブロックｋの値の和
が、予め定められた第２の閾値以上のときには、対象ブ
ロックｋを有効ブロックとし、近傍のブロックa,b,c,d,
e,f,g,h,およびブロックｋの値の和が、予め定められた
第２の閾値未満のときには、対象ブロックｋを無効ブロ
ックとする。新たにセグメンテーションによって得られ
た第３の有効ブロックマップを第４図Ｂに示す。第３の
有効ブロックマップには、孤立無効ブロックが発生する
場合がある。このため第３の有効ブロックマップ内の有
効ブロック領域のみ符号化を実行させると、有効ブロッ
ク領域内の孤立した無効ブロック部分は、符号化が行わ
れないためその部分に符号化歪が発生してしまい、非常
に見苦しい符号化画像となってしまうことがある。そこ
で、孤立無効ブロックの除去を行う。孤立無効ブロック
の除去方法としては、セグメンテーションと同様な処理
を無効ブロックを対象に行う。すなわち無効ブロックの
近傍のブロックを参照し、近傍のブロックの値の和が予
め定められた第４の閾値以上のときに、その対象となる
無効ブロックを有効ブロックの示す値に置き替える。以
上の処理により第４図Ｂで孤立無効ブロックであった領
域を除去し、第４の有効ブロックマップを得る。孤立無
効ブロック除去が行われた第４の有効ブロックマップを
第６図に示す。次に、時刻t3のときの様に前フレームの
有効ブロック数と、現フレームの有効ブロック数の割合
が、前記第１の閾値未満で現フレームの有効ブロック数
が、前フレームの有効ブロック数よりもかなり少ない場
合、たとえば1/2未満の場合のセグメンテーションの一
例を第６図、第７図、第８図、第９図を参照しながら説
明する。第６図の時刻t2で求められた第４の有効ブロッ
クマップと第７図Ｂの時刻t3における第１の有効ブロッ
クマップのそれぞれに、前記第１および第２の重みづけ
を行って合成すると、第８図Ａに示す第２の有効ブロッ
クマップが得られる。この第２の有効ブロックマップに
対し、前記第２の閾値にもとづいてセグメンテーション
を行うと、第８図Ｂの斜線で示す第３の有効ブロックマ
ップが得られる。そして、第３の有効ブロックマップに
対して、前記第４の閾値にもとづいて孤立無効ブロック
の除去を行い、第４の有効ブロックマップを得る。この
とき、時刻t3において求められた第３の有効ブロックマ
ップには、孤立無効ブロックが存在しないので、第４の
有効ブロックマップは第３の有効ブロックマップと同様
になる。そして、この第４の有効ブロックマップ内の有
効ブロック領域内のみ符号化を行う。しかしながら、こ
の第４の有効ブロックマップの有効ブロック領域は、第
８図Ｂに示すように話者の胸の部分や頭部右上の部分が
欠けてしまっているため、このまま符号化を行うと胸の
部分や頭部に未符号化領域が発生し、符号化画像の話者
領域に不連続な部分が発生してしまい、符号化画像が見
苦しくなることが考えられる。従って、時刻t3のときの
様に前フレームの有効ブロック数と、現フレームの有効
ブロック数の割合が、前記第１の閾値未満で現フレーム
の有効ブロック数が少ない場合には、セグメンテーショ
ンにおける閾値を切替えることによって話者領域の欠損
を防ぐ。たとえば、第８図Ａの重みづけがなされた第２
の有効ブロックマップにおいて、セグメンテーションを
実行する際にセグメンテーションにおける閾値をたとえ
ば、ｋが０以外であったらセグメンテーションの対象ブ
ロックであるｋを、有効ブロックとするように閾値を十
分低くすることによって、第９図に示すような第３の有
効ブロックマップを得ることができ、話者領域の欠損を
防げる。このときの閾値を第３の閾値とする。以上の様
に前フレームの有効ブロック数と、現フレームの有効ブ
ロック数の割合が、前記第１の閾値以上のときには、前
記第２の閾値を選択しセグメンテーションを行い、前フ
レームの有効ブロック数と、現フレームの有効ブロック
数の割合が、前記第１の閾値未満で現フレームの有効ブ
ロック数が、前フレームの有効ブロック数よりもかなり
少ない場合には、前記第３の閾値を選択しセグメンテー
ションを行う。そして、第６図あるいは、第９図の有効
ブロック領域内すなわち話者領域を画面間の相関または
画面内の相関いづれか一方あるいは、その両方を用いて
符号化することにより、背景などの雑音により発生する
無駄な情報を容易に削除でき、符号化効率を高めること
ができる。

上記各閾値および重みづけの値については、予め統計
的に調べた最適値を用いる。また、セグメンテーション
および孤立無効ブロック除去における参照ブロックの配
置は、上記以外の配置およびブロック数でもかまわな
い。

〔実施例〕

図面を参照しながら本発明の一実施例について詳細に
説明する。第10図に本発明の一実施例を示す。入力の動
画像信号は、線10を介して動ベクトル検出回路１および
遅延９に供給される。動ベクトル検出回路１は、前画面
の信号を蓄えておき、新たに線10を介して入力された動
画像信号を水平方向ｎ画素×垂直方向ｎ画素の複数画素
からなるブロックに分割し、それぞれのブロック毎に記
憶されている前画面の画像の中で、最も高い相関をもつ
ブロックを算出し、該当するブロック間の位置の差を示
す動ベクトルを求め、動ベクトルが発生したブロックを
有効ブロックとし、動ベクトルが発生しなかったブロッ
クを無効ブロックとし、第１の有効ブロックマップを得
る。動ベクトル検出回路１で得られた第１の有効ブロッ
クマップは、重みづけ回路２および比率判定器８に与え
られる。また、動ベクトル検出回路１は検出した動ベク
トルを遅延10に供給する。重みづけ回路２は、動ベクト
ル検出回路１から与えられた第１の有効ブロックマップ
に対して、予め定められた第１の重みづけを行う。重み
づけ回路２は、ROM（リードオンリーメモリー）により
構成することができる。たとえば、動ベクトル検出回路
１の出力が有効ブロックであることを示している場合は
２を出力し、無効ブロックであった場合には０を出力す
る論理を、予めROMに書込んでおけばよい。この他の方
法としては論理ゲート回路などにより、前記論理を組ん
でおくこともできる。重みづけ回路２で重みづけが成さ
れた第１の有効ブロックマップは、加算器４に与えられ
る。加算器４は、重みづけ回路２から与えられた第１の
有効ブロックマップと、重みづけ回路３から与えられる
第４の有効ブロックマップを加算し、重みづけが成され
た第２の有効ブロックマップを得る。加算器４で得られ
た第２の有効ブロックマップは、セグメンテーション回
路５に与えられる。次に比率判定器８の一例を第11図に
示す。比率判定器８は、カウンタ81,82およびROM83によ
り構成される。比率判定器８のカウンタ81は、動ベクト
ル検出回路１から線120を介して供給された第１の有効
ブロックマップ内の有効ブロック数をカウントする。比
率判定器８のカウンタ82は、孤立無効ブロック除去回路
６から線680を介して供給される第４の有効ブロックマ
ップ内の有効ブロック数をカウントする。カウンタ81お
よびカウンタ82の出力の有効ブロック数は、ROM83に供
給される。ROM83は、カウンタ81,82によって求められた
第４の有効ブロックマップ内の有効ブロック数に対する
第１の有効ブロックマップ内の有効ブロック数の割合
が、予め定められた第１の閾値以上であるか否かの判定
を行う。ROM83には、第４の有効ブロックマップ内の有
効ブロック数に対する第１の有効ブロックマップ内の有
効ブロック数の割合が、予め定められた第１の閾値以上
のアドレス領域には、第１の閾値以上であることを示す
値を予め書込んでおき、第４の有効ブロックマップ内の
有効ブロック数に対する第１の有効ブロックマップ内の
有効ブロック数の割合が、予め定められた第１の閾値未
満のアドレス領域には、第１の閾値未満であることを示
す値を予め書込んでおく。ROM83の出力の第１の閾値以
上であるか否かを示す信号は、比率判定器８の出力とし
て線85を介してセグメンテーション回路５に供給され
る。セグメンテーション回路５は、加算器４から与えら
れた第２の有効ブロックマップ内の全てのブロックに対
して、セグメンテーション処理を行う。例えば、比率判
定器８から与えられた判定信号が、第１の閾値以上であ
ることを示している場合には、セグメンテーションにお
ける閾値として第２の閾値を選択し、前記判定信号が、
第１の閾値未満であることを示している場合には、セグ
メンテーションにおける閾値として予め第２の閾値より
も小さい値として定めた第３の閾値を選択して、セグメ
ンテーションを行う。セグメンテーションは、第５図に
示す様にセグメンテーションの対象となるブロックをｋ
とすると、ｋおよびｋの近傍のa,b,c,d,e,f,g,h,のブロ
ックの値の和を参照し、それらの値が比較判定部８から
与えられた判定信号により選択された閾値以上であれば
そのブロックｋを有効ブロックとし、参照ブロックおよ
びブロックｋの値の和が前記選択された閾値未満の場合
には、そのブロックｋを無効ブロックとし、第３の有効
ブロックマップを得る。セグメンテーション回路５の一
例を第12図に示す。セグメンテーション回路５は、ライ
ンメモリー50,51、遅延52,53,54,55,56,57、およびROM5
8により構成することができる。加算器４の出力の第２
の有効ブロックマップは、線45を介してラインメモリー
50、遅延52およびROM58に供給される。ラインメモリ50
は、線45を介して供給された有効ブロックマップを１ブ
ロックライン遅延し、ラインメモリー51、遅延54および
ROM58に供給する。ラインメモリー51は、ラインメモリ
ー50から供給された信号を１ブロックライン遅延し、遅
延56およびROM58に供給する。遅延52,53,54,55,56,57
は、供給された信号を１クロック遅延し、ROM58および
次段の遅延に供給する。遅延54の出力信号が、第５図の
セグメンテーションの対象となるブロックｋである。RO
M58は、比較判定器８から線85を介して供給された信号
は、第１の閾値以上であることを示している場合におい
ては、そのアドレス領域に第２の閾値に基づいた判定値
を書込んでおき、比較判定器８から線85を介して供給さ
れた信号が、第１の閾値未満であることを示している場
合には、そのアドレス領域に第３の閾値に基づいた判定
器を書込んでおく。たとえばラインメモリーおよび遅延
から供給された信号が、予め定められた第２の閾値以上
で示されるアドレス領域には、有効ブロックマップを示
す値を書込んでおき、第２の閾値未満のアドレス領域に
は無効ブロックを示す値を書込んでおく。また、第３の
閾値以上で示されるアドレス領域には、有効ブロックを
示す値を書込んでおき、第３の閾値未満のアドレス領域
には無効ブロックを示す値を書込んでおく。以上の様に
ラインメモリー、遅延およびROMを用いることにより、
セグメンテーションを実行するブロックｋおよび近傍の
ブロックの値の和を参照することができる。

次に第13図を参照しながら孤立無効ブロック除去回路
６を説明する。孤立無効ブロック除去回路６は、セグメ
ンテーション回路５と同様にラインメモリー60,61、遅
延62,63,64,65,66,67およびROM68により構成れ、無効ブ
ロックの近傍のブロックの値を参照し孤立無効ブロック
の除去を行う。遅延64からROM68に供給される信号が、
孤立無効ブロック除去の対象ブロックｋである。すなわ
ち遅延64からROM68に供給された信号が無効ブロックで
あって、かつ近傍のブロックが予め定められた第４の閾
値以上であれば、ROM68は有効ブロックを示す値を出力
し、遅延64から供給された信号が無効ブロックで、近傍
のブロックが第４の閾値未満の場合ROM68は無効ブロッ
クを示す値を出力する。また、遅延64から供給された信
号が、有効ブロックの場合はROM68は、出力に有効ブロ
ックを示す値を出力する。上記の様な論理を予めROM68
に書込んでおくことにより、孤立無効ブロックの除去を
行い有効ブロックを連結する。孤立無効ブロック除去回
路６の出力の第４の有効ブロックマップは、線680を介
して重みづけ回路３、比較判定器８および符号器７に供
給される。重みづけ回路３は、孤立無効ブロック除去回
路６から供給された第４の有効ブロックマップに対し
て、第２の重みづけを行う。重みづけ回路３は、重みづ
け回路２と同様にROMにより構成することができる。こ
のときROMには第２の重みづけを行うための値を予め書
込んでおく。重みづけ回路３の出力の重みづけが成され
た第４の有効ブロックマップは、加算器４に供給され
る。次に遅延９は、入力の動画像信号に対して入力動画
像信号が供給されてから第４の有効ブロックマップが符
号器７に与えられるまでの遅延時間補償を行い、第４の
有効ブロックマップと入力信号の時間合せを行う。遅延
９の出力の時間補償された入力の動画像信号は、線970
を介して符号器７に供給される。

遅延10は、動ベクトル検出回路１から供給された動ベ
クトルに対し、遅延補償を行い第４の有効ブロックマッ
プとの時間合わせを行う。遅延10の出力の時間補償され
た動ベクトルは、線1070を介して符号器７に供給され
る。第14図に符号器７の構成を示す。遅延10から線1070
を介して供給された動ベクトルは、フレームメモリー77
および可変長符号器78に供給される。遅延９から線970
を介して供給された動画像信号は、符号器７の内部の演
算器72に供給される。孤立無効ブロック除去回路６の出
力の第４の有効ブロックマップは、線680を介して符号
器７の内部の量子化器74に符号化実行の領域を示す信号
として供給される。減算器72は、線970を介して供給さ
れた入力信号と、フレームメモリー77から供給される動
き補償が成された予測信号との減算を行い、動き補償予
測誤差を得る。減算器72で得られた動き補償予測誤差信
号は、直交変換器73に供給される。直交変換器73は、減
算器72から供給されてた動き補償予測誤差信号に対し直
交変換を行い、空間領域の予測誤差信号を周波数領域の
予測誤差信号に変換する。直交変換器73の出力の周波数
領域の予測誤差信号は、量子化器74に供給される。量子
化器74は、線680を介して供給された第４の有効ブロッ
クマップが、有効ブロックであることを示しているブロ
ックについては、直交変換器73から供給された予測誤差
信号を量子化する。また量子化器74は線680を介して供
給された第４の有効ブロックマップが、無効ブロックで
あることを示しているブロックは、量子化器の出力をゼ
ロにすることによって符号化を停止する。量子化器74の
出力信号は、逆直交変換器75および可変長符号器78に供
給される。逆直交変換器75は、量子化器74から供給され
た予測誤差信号を逆直交変換し、周波数領域の予測誤差
信号を空間領域の予測誤差信号に戻す。逆直交変換器75
の出力信号は、加算器76に供給される。加算器76は、逆
直交変換器75から供給された空間領域の予測誤差信号
と、フレームメモリー77から供給される動き補償予測信
号とを加算し、局部復号信号を得る。加算器76の出力の
局部復号信号は、フレームメモリー77に供給される。フ
レームメモリー77は、加算器76から供給された局部復号
信号を、動ベクトル検出器71から供給された動ベクトル
に従って、遅延量を変化させ動き補償予測信号を得る。
フレームメモリー77の出力の動き補償予測信号は、減算
器72および加算器76に供給される。次に可変長符号器78
は、量子化器74から供給された量子化が成された周波数
領域の予測誤差信号と、線1070を介して供給された動ベ
クトルを、ハフマン符号などの効率の良い符号を用いて
可変長符号化し冗長度を低減する。冗長度が低減された
可変長符号は、符号化の速度と伝送路の速度との整合が
取られ、可変長符号器78の出力となり符号器７から伝送
路に出力される。

以上詳しく説明した様に、第４の有効ブロックマップ
に従って、有効ブロック領域すなわち話者領域であると
示されている部分についてのみ符号化を行い、無効ブロ
ックで示される背景部分は符号化を停止する。

符号化の停止方法については、減算器72の出力をゼロ
に置き換える方法でもかまわない。

上記の各閾値および重みづけの値については、予め統
計的に調べた最適値を用いる。

〔発明の効果〕 以上に詳しく説明したように、本発明の動画像信号の
符号化方法は、セグメンテーションによって得た話者領
域内のみ符号化をすることにより、背景部分の雑音によ
り発生する無駄な情報を削除でき、符号化の効率を高め
ることができる。

【図面の簡単な説明】

第１図、第２図、第３図、第４図、第５図、第６図、第
７図、第８図、第９図は本発明の作用を説明する図、第
10図、第11図、第12図、第13図、第14図は本発明の一実
施例およびその各部を示すブロック図である。 １……動ベクトル検出回路、2,3……重みづけ回路、４
……加算器、５……セグメンテーション回路、６……孤
立無効ブロック除去回路、７……符号器、８……比率判
定器、9,10……遅延、50,51,60,61……ラインメモリ
ー、52,53,54,55,56,57……遅延、62,63,64,65,66,67…
…遅延、58,68……ROM、72……減算器、73……直交変換
器、74……量子化器、75……逆直交変換器、76……加算
器、77……フレームメモリー、78……可変長符号器、8
1,82……カウンタ、83……ROM。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】画面間の相関を利用した動画像信号の符号
   化において、画面を複数画素からなるブロックに分割
   し、ブロック毎に画面間での動きの方向および動きの大
   きさを示す動ベクトルを検出し、該動ベクトルが検出さ
   れたブロックは有効ブロックとし、動ベクトルが検出さ
   れなかったブロックは無効ブロックとしてフレーム毎に
   第１の有効ブロックマップを作成する動ベクトル検出手
   段と、該動ベクトル検出手段の出力に対し第１の重みづ
   けを行う第１の重みづけ手段と、第４の有効ブロックマ
   ップに対して第２の重みづけを行う第２の重みづけ手段
   と、前記第１の重みづけを行った第１の有効ブロックマ
   ップと前記第２の重みづけを行った第４の有効ブロック
   マップを加算合成し、重みづけが成された第２の有効ブ
   ロックマップを得る加算手段と、該第２の有効ブロック
   マップに対してセグメンテーションを行うにあたり、前
   記第４の有効ブロックマップの有効ブロック数に対する
   前記第１の有効ブロックマップの有効ブロック数が予め
   定められた第１の閾値以上であるか否かの判定を行う比
   率判定手段と、該比率判定手段の出力が第１の閾値以上
   であることを示している場合は、セグメンテーションに
   おける閾値として第２の閾値を選択し、前記比率判定手
   段の出力が第１の閾値未満であることを示している場合
   は、セグメンテーションにおける閾値として第２の閾値
   よりも小さい値として予め定めた第３の閾値を選択し、
   前記第２の有効ブロックマップ内の対象となる各ブロッ
   クの近傍のブロックを参照し、近傍のブロックおよび対
   象ブロックの値の和が、前記選択された閾値以上のとき
   はそのブロックを有効ブロックとし、前記選択された閾
   値未満のときはそのブロックを有効ブロックとして第３
   の有効ブロックマップを得るセグメンテーション手段
   と、該第３の有効ブロックマップ内の孤立無効ブロック
   および有効ブロック領域に囲まれた無効ブロックにおい
   ては、近傍のブロックを参照し、近傍の参照ブロックの
   値の和が予め定められた第４の閾値以上のときにはその
   無効ブロックを有効ブロックに置き替え、近傍の参照ブ
   ロックの値の和が第４の閾値未満のときはその無効ブロ
   ックを無効ブロックのままとして第４の有効ブロックマ
   ップを得る孤立無効ブロック除去手段と、入力信号を遅
   延させ第４の有効ブロックマップとの時間合わせを行う
   第１の遅延手段と、動ベクトルを遅延させ第４の有効ブ
   ロックマップとの時間合わせを行う第２の遅延手段と、
   前記第４の有効ブロックマップで有効ブロックとされた
   領域に対して前記第１の遅延手段の出力を前記第２の遅
   延手段の出力の動ベクトルを利用し、画面間の相関また
   は画面内の相関のどちらか一方、あるいはその両方を用
   いて符号化を行う符号化手段とを備える画像信号符号化
   装置。