JPH01154691A - 動画像伝送装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の目的〕 （産業上の利用分野） 本発明は、画像信号をブロック分割し予測符号化をして
帯域圧縮伝送を行なう動画像伝送装置に関する。

（従来の技術） 従来動画像を帯域圧縮し低ビツトレートで伝送を行なう
際は、フレーム間の予測を用いた符号化が一般的である
。フレーム間予測を用いた符号化は、圧縮率が高くなり
ビットレートが低くなるに従って、人物や物体が動いて
背景が見え隠れする様な場面では予測効率が悪くなり画
面の解像度の低下や防落しによる動きの劣化が生じて来
る。フレーム間予測を用いた符号化に比較的長時間画像
の変化しない背景による背景予測を付加して予測効率を
上げる方法があるが、背景予測に用いる背景の検出や背
景メモリの内容の更新を適切に行なわないと背景予測を
用いた予測効率はそれ程上らない。背景予測の効率を上
げる為に、送信側で精度の高い背景検出を行ないその内
容を受信側へ伝送する方法があるが、この方法では予測
効率は上るが、背景メモリの内容を背景メモリの更新毎
に伝送しなければならず動画像伝送装置の帯域圧縮の圧
縮率の点ではそれ程良い方法とは言えない。

また、背景メモリの更新を伝送された後の画像信号を用
いて行なう方法があるが、画像信号をブロック分割して
符号化伝送を行なう場合、分割されたブロック中に動領
域と静止領域が混在すると、背景メモリの内容の更新が
うまく行なわれず背景予測の効率もそれ程上らない、更
に、画像をブロック分割して符号化伝送を行なう場合、
ビットレートが低くなるに従って動領域のブロックが集
中的に伝送される為、背景にあたる静止領域のブロック
は伝送されにくくあまり解像度も上らないので１画像を
ブロックに分割した際のブロックの形が目立ってしまう
こともある。更に、動画像伝送装置を使用中に、照明等
の光線の変化や撮像系のムラや人物の動きにより、自動
露出カメラの絞りが変動する等により入力画像信号に変
化が生じた場合は、入力信号の動領域部分以外にも予測
誤差が生じ、実際には背景部分に動領域が無いにもがか
ららずこの部分を動領域として背景部分の予測誤差を伝
送することになり、−画面中での情報伝送量が増加する
為に解像度の低下や動きの劣化が生じる。

（発明が解決しようとする問題点） このように、従来のフレーム間予測では低ビツトレート
になるに従って画面の解像度や動きが悪くなるという問
題が生じた。また、フレーム間予測に背景予測を付加し
て圧縮率を上げる場合でも背景予測に用いる背景メモリ
の内容の更新が適切に行なわれておらず効率の良い背景
予測が行なわれないという問題がある。更に、動領域の
ブロックのみ集中的に伝送された場合に、あまり伝送さ
れない静止領域の解像度が上らず画像をブロック分割し
たブロックの形が目立ってしまい不快感を生じる画面に
なってしまうという問題がある。それに、照明の光線の
変化や撮像系のムラにより背景部分には動きが生じてい
ないにもかかわらず、入力信号と背景メモリの背景とに
差が生じ、その予測誤差のために画面の解像度の低下や
動きの劣化を生じるという問題があった。

本発明は、このような問題に鑑みてなされたもので、画
像をブロック分割し予測符号するに際して、フレーム間
予測と背景予測の予測効率の良い方を伝送し、伝送後の
画像信号を用いて符号化伝送時のブロックよりも小さな
サブブロックを用いて背景メモリの内容を更新し背景予
測の効率を上げるとともに、伝送開始時は高解像度で一
画面を伝送することにより定常状態ではなかなか伝送さ
れない静止領域の解像度を上げてブロック分割のブロッ
クの形を目立たなくし、入力画像信号が照明や撮像系の
ムラ等により背景部分に予測誤差が生じた場合は、その
予測誤差がブロック間で同程度でかつあるレベル以下の
ときは予測誤差をゼロとし、あるレベルを超えた場合の
みその差を背景の変化量の代表値として伝送して背景メ
モリの内容を修正することにより、圧縮効率が高く動き
がなめらかでかつ静止領域の解像度の良い動画像伝送装
置を提供することを目的とする。

〔発明の構成〕

（問題点を解決するための手段） 本発明では、画像信号をブロックに分割する手段と、低
伝送画面を蓄えておくフレームメモリと、比較的長時間
画像の変わらない背景を蓄えておく背景メモリとを有し
、フレームメモリからのフレーム間予測と背景メモリか
らの背景予測のどちらか予測効率の良い方を選択して伝
送する手段を有し、背景メモリの内容の更新は成仏送画
−像を蓄えておくフレームメモリを伝送ブロックよりも
小さいサブブロック毎に監視し、フレームメモリの内容
が一度書き変わった後である一定時間内容が変化しなか
った場合にサブブロック単位で背景メモリの内容を更新
する手段と、伝送開始後の一画面は高像度で画像を伝送
する手段とを有し、背景予測誤差がブロック間で同程度
でかつ小さな予測誤差の場合は予８１り誤差をゼロとす
る手段を有し、背景予測誤差がブロック間で同程度でか
つあるレベルを超えた場合にその差を伝送して背景メモ
リの内容を修正する手段とを有し、予測効率が良く動き
がなめらかで静止領域の解像度の良い動画像伝送装置を
可能となることを特徴とする。

（作　用） 画像信号をブロック分割した後、予測符号化して伝送す
る場合、まず伝送開始時は既伝送画像を蓄えておくフレ
ームメモリは画像信号がメモリされていない状態である
ので、もともとフレーム間の予測は悪い。また背景メモ
リを用いた背景メモリも同様である。そこで、伝送開始
時は、フレームメモリのクリアレベル又は、任意のレベ
ルとの差による定値からの予測を用いて最初の画面を高
解像度で伝送する。伝送開始後の２面目の両面からは動
領域と静止領域の判定を行ないながら、フレーム予測又
は背景予測を用いて符号化伝送する。

従って、２面目の画面以降からは動きのなめらかな動画
像が伝送できることになる。更に、背景メモリを既伝送
画像を蓄えておくフレームメモリの内容を伝送ブロック
よりも小さいサブブロック毎に監視し、−変動領域とな
った後にある一定時間静止していた場合にサブブロック
毎に背景メモリの内容の更新を行なうことにより、動領
域と静止領域の混在するブロックでもサブブロック単位
では背景メモリの内容を更新できるため、背景メモリを
用いた背景予測の効率が向上する。それに、照明や撮像
系のムラ等により入力画像信号の背景部分のレベルが変
化し背景の予測誤差が生じた場合は、その予測誤差がブ
ロック間で同程度でかつ値が小さい場合はその子ａｐ＋
　＝−を差をゼロとし、予測誤差がブロック間で同程度
でかつ値があるレベルを越えた場合にその差を背景の変
化量の代表値として伝送し背景メモリを修正する事によ
り、少ない伝送ビット数で背景全体のレベル差が修正で
きるため、照明や撮像系のムラ等で生じた変動に追従し
背景予測の効率の良さを維持できる。このようにして、
予測の効率を上げて動画像の圧縮効率を上げることによ
り、動きがなめらかで静止領域の解像度も高い動画像伝
送装置の実現が可能となる。

（実施例） 以下、本発明の一実施例を図面を参照して詳述する。第
１図に本発明の第１の一実施例を示すブロック図を示す
。動画像伝送装置に入力された両像信号は、前処理回路
（ＰＲＥ）　１により、色信号処理やフィルタリング処
理が行なわれ、走査線の画像信号がブロックに分割され
る。以後の説明は、ブロック分割された画像信号として
行なう。

伝送開始時動画像伝送装置は初期状態にあるため、既伝
送画像を蓄えておくフレームメモリ（ＦＲＭ）１７も背
景を蓄えておく背景メモリＩＩＧＭ　１８は何も画像を
メモリしていない状態（クリア状態）になっている、ブ
ロック分割後の画像信号は、防落し用のフレームメモリ
（ＦＲＭ）　３に入力され、ＦＲＭ　３の出力はフレー
ム間又は背景により予測符号化されるが、前述のように
ＦＲＭ１７とＢＧＭｌｇはクリア状態にあるので、この
クリア状態でのレベルとの差を取りその値を符号化伝送
する。この伝送開始時の画面は、画面全体を高解像度で
伝送する為、定常状態で動領域の判定をしているコンパ
レータ（ＣＯＭＰ）６は動作を行なわず、画面全体を有
意ブロックとし量子化器（Ｑ）１０で多ビットで解像度
を上げて量子化される。従って、伝送開始時は一画面を
符号化するのに時間を要するので、伝送画像信号のアド
レスを生成している回路（ＡＤＲ５）１１で全画面につ
いて符号化を終了する迄ＦＲＭ　３の内容をスイッチ２
を制御することにより保持している。全画面の符号化が
終了すると、スイッチ２を制御しＦＲＭ　３の内容を書
き換えて次の画面の予測を行ない、定常状態の予測符号
化を始める。

ＦＲＭ　３の出力は、ブロック毎にフレーム間予測と背
景予測が行なわれる。フレーム間の予測値は。

符号化出力のバッファメモリ（Ｂｕｆｆ）　１３の内容
量により制御される閾値発生回路（ＴＨＲ）　７により
発生された閾値とＣＯＭＰ　６により比較され、閾値よ
り大きなブロックが動きのあるブロックとして有意ブロ
ックに判定される。従って、画面中の動きが多い場合は
、Ｂｕｆｆ１３の内容量も増えＴＨＲ７の閾値も高くな
るので、動きの多い画面中のより動きの大きいブロック
が有意ブロックと判定される。有意ブロックとして判定
されたブロックは、フレーム間の予測値と背景の予測値
とのどちらか小さい方を比較器（ＣＯＭＰ）　８により
選択され、Ｑ１０で量子化された後に、そのブロックの
アドレスとフレーム間と背景のどちらからの予ｎＩす値
かを制御する制御信号とが多重化器１２で多重化され、
Ｂｕｆｆ１３で回線レートに平滑化され出力される。量
子化され伝送された画像信号は逆量子化器（Ｑ−１）１
４で通量子され、加算器１６により復号が行なわれる。

加算器１６により復号された画像信号はフレーム間予測
用のフレームメモリ（ＦＲＭ）１７に入力される。

ＦＲＭ　１７の出力は、予測器の方と背景メモリ部へと
入力される。背景メモリ部では、伝送されるブロックよ
りも小さなサブブロックに分割するブロック分割回路（
Ｓｕｂ　Ｂｌｏｃｋ）１９に入力される。サブブロック
に分割された後は、背景メモリ（ＢＧＭ）１８の出力と
比較器（ＣＯＭＰ）　２０により比較され、異なるサブ
ブロックは動領域のサブブロックとして検出する。　Ｃ
０ＭＰ２Ｏの後の背景メモリコントロール回路（ＢＧＭ
ＣＯＮＴ）　２１では、サブブロックの動領域と静止領
域を監視しており、動領域と検出されたサブブロックが
以後数フレームに渡り静止領域と判定された場合に、新
らしい背景に変わったとしてＢＧＭ　１８にメモリする
サブブロックをＦＲＭ　１７からのサブブロックに変更
して、ＢＧＭ　１８の内容の更新を行なう、第２図に、
サブブロックでの動領域の検出の例を示す。伝送されて
来たブロックでは、第２図（ａ）の太線で囲まれたブロ
ックが動領域とされるが、サブブロックでの動領域検出
は、第２図の斜線で示されたサブブロックが動領域とさ
れる。

動領域と検出されたサブブロックは、背景メモリコント
ロール回路中の静止領域メモリを動画像領域にセットす
る。第３図に静止領域メモリの様子を示す、第３図中で
メモリが１にセットされているのが動領域を表わし、０
で表わされているのが静止領域を表わしている。２．３
で表わされているのが、動領域から静止領域に変わった
サブブロックであり、数字は静止領域に変わってからフ
レーム数を表わしている。もしここで、あるサブブロッ
クが動領域と検出された後に、５フレーム連続で静止類
−として検出されたならば、静止領域メモリの内容を０
にして、それに対応するサブブロックを新らしい背景と
してＢＧＭ　１８の内容を変更するが、５フレーム連続
で静止領域と検出される前に再度動領域と検出された場
合は、静止領域メモリは再度１にセットされＢＧＭ　１
８の内容の変更も行なおない、このように、ある一定時
間以上変化しない画像を背景として伝送ブロックよりも
小さいサブブロックでＢＧＭ　１ｇの内容を更新するこ
とにより、動領域と検出された伝送ブロック中でも静止
している部分は背景としてＢＧＭ　１８にメモリされる
ので、ＢＧＭ　１８を用いて行なう背景予測の予測誤差
を小さくできるため、圧縮効率の高い動画像伝送装置を
実現できる。

次に、第４図に本発明の第２の実施例を示す。

第４図の実施例は、画像信号入力から前処理回路（ＰＲ
Ｅ）　１そして有意ブロックを検出して伝送するブロン
′りか否かのコンパレータ（ＣＯＭＰ）　６により判定
して量子化伝送する迄の動作と、伝送後の画像信号を蓄
積している（フレームメモリ）　ＦＲＭ　１７とそのＦ
ＲＭの画像信号をサブブロックに分割して監視し背景メ
モリ（ＢＧＭ）１８の内容を更新する動作は、第１図に
示す第１の実施例と変おりはない。

第４図の実施例では、第１図に示す実施例に。

入力画像信号が照明等の光線の変化や撮像系のムラや動
きにより自動露出カメラの絞りが変化する等により背景
の変動が生じた場合の影響を抑える回路が追加しである
。入力画像信号が照明等の光線の変化や撮像系のムラに
より画像信号全体の輝度変化や色の変化を生じた場合、
実際は入力画像信号の背景中に動きや模様の変化が生じ
ていないにもかかわらず、それまで蓄積されていた背景
メモリとの間に差が生じ、その差が背景の変動としてと
らえられ背景予測誤差として表われる。この場合、照明
等の光線の変化や撮像系のムラにより生じる入力画像信
号の変化はそればと大きな値ではないが、ブロックによ
ってはその影響により有意ブロックとして判定されるこ
ともある。それを防止する為に、背景予測誤差を絶縁値
回路（ＡＢＳ）２３で絶対値を取り、その値とある判定
レベル（ｆ）２４とにより１判定レベル（ε）２４以下
の場合は背景予測誤差をゼロとする。もしここで、背景
予測誤差の絶対値が判定レベル（ε）２４よりも大きく
なった場合はその予測誤差をそのまま後段へ通すととも
に、その値を累積器（Ａｃｅ）　２６へ入力する。Ａｃ
ｅ２６は背景メモリ制御回路（ＢＧＭ　Ｃ０ＮＴ）　２
１の背景情報により、背景部分のみ動作を行なう。従っ
て、背景部分で背景からの予測誤差が判定レベル（ε）
２４を超えた値の累積を行なっている＃　Ａｃｃ　２６
の出力は、基準値発生回路（ＴＩＩＲ）２７の値と毎フ
レーム比較され、Ａｃｅ　２６の出力がＴＨＲ２７より
大きくなった場合に比較器（ＣＯＭＰ）　２８の出力を
背景の変動が生じたとしてＡｃｅ　２６の符号とともに
伝送する。

ＣＯＭＰＺ８の出力とＡｃｅ　２６の符号が伝送される
ことにより、受信側ではＣＯＭＰ２８の情報により背景
メモリの値を修正するスイッチ３０を閉じ、Ａｃｅ　２
６の符号情報により正の値を加算するのが負の値を加算
するのかがスイッチ３１により選択される。ＴＨＲ２７
で発生される基準値は、背景メモリ制御回路（ＢＧＭＣ
ＯＮＴ）　２１により、画面中に占める背景の割合で制
御されているため、画面中の背景の多少により背景メモ
リの修正頻度がばらつくことを抑えている。

このようにして背景メモリの修正を行なうことにより、
入力画像信号が照明等の光線の変化や撮像系のムラ等に
より生ずる変動に追随でき、背景予測誤差を減少できる
とともに、受信側へは背景メモリの修正制御と修正値の
極性のみの伝送により背景メモリの修正が行なうことが
できるため、背景のレベル変動修正に要するビット数を
極めて少ないビット数で行なうことができる。このよう
にして、背景予測の予Ｗ！Ｉ誤差を小さくできることに
より、圧縮効率の高い動画像伝装置を実現できる。

〔発明の効果〕 以上の説明により本発明によれば、動画像の伝送開始時
の最初の画面を高解像度で伝送することにより、定常状
態で動領域として判定されずあまり伝送されない静止領
域部分も解像度を高く表示できる為、ブロックに分割し
た時の形も目立たず見易い画面を再生できる。また、背
景メモリを用いた背景予測では、伝送後の画像信号を監
視して背景メモリの更新を行なうため、背景メモリ更新
用の特別な信号を伝送する必要がない。また、背景メモ
リの更新は、伝送ブロックよりも小さいサブブロックで
行なうので、伝送ブロックよりも細かく背景メモリの更
新ができる。更に、照明等の光線の変化や撮像系のムラ
や人物の動にきよる画面輝度変化によるカメラの絞りが
変動したことにより入力画像信号全体が変動し背景から
の予測誤差が大きくなった場合でも、極く少ないビット
数で背景全体の変動量を修正出来るため入力画像信号の
変動に追随して背景メモリを修正できる。従って、背景
メモリを用いた背景予測の予測誤差が小さくなり画像の
圧縮率が高くなるため５画面の解像度が高く動きのなめ
らかな動画像伝送装置が実現可能となる。

【図面の簡単な説明】

第１図は本発明の第１の実施例を示すブロック図、第２
図は伝送ブロックとサブブロックの動領域検出の様子を
示す図、第３図は背景メモリコントロールの静止領域メ
モリ内の様子を示す図、第４図は本発明の第２の実施例
を示すブロック図である。 １・・・画像信号の前処理回路　　　３・・・防落し用
フレームメモリ６・・・有意ブロック判定用比較器　７
・・・閾値発生回路８・・・フレーム間、背景子８１１
Ｉ切り換え用比較器ｌＯ・・・量子化器　　　　　　　
　　１１・・・アドレス発生回路１２・・・多重化器　
　　　　　　　　１３・・・バッファメモリ１４・・・
逆量子化器 １７・・・既伝送画像蓄積用フレームメモリ１８・・・
背景メモリ　　　　　　　　１９・・・サブブロック分
割回路２０・・・動領域サブブロック検出比較器２１・
・・背景メモリ書き換え用制御回路２３・・・絶対値回
路 ２４・・・背景変動量判定値発生回路 ２５・・・背景予測誤差切り換え用比較器２６・・・背
景変動量累積用演算回路 代理人　弁理士　則　近　憲　佑 同　　松山光之 第１図 第２図 第３図 ｆ′″！ 第４″図

Claims (6)

【特許請求の範囲】
1. （１）画像信号をブロック分割し予測符号化して帯域圧
   縮伝送を行なう動画像伝送装置に於て、既伝送画像信号
   と比較的長期に渡り変化しない画像信号を用いて予測符
   号化を行なうことを特徴とする動画像伝送装置。
2. （２）比較的長期に渡り変化しない画像信号は、背景信
   号として背景メモリに蓄えられており、背景メモリの内
   容の更新は、既伝送画像を蓄えておくフレームメモリを
   監視し、フレームメモリの内容が一度書き変わった後に
   ある一定時間以上変化が無かった場合に背景メモリの更
   新をすることを特徴とする特許請求の範囲第１項記載の
   動画像伝送装置。
3. （３）背景メモリの内容の更新は伝送を行なうブロック
   よりも小さいサイズのサブブロック単位で行なうことを
   特徴とする特許請求の範囲第２項記載の動画像伝送装置
   。
4. （４）伝送開始時の画面は高解像度で伝送し、その画面
   を背景メモリの初期画像としてメモリすることを特徴と
   する特許請求の範囲第２項記載の動画像伝送装置。
5. （５）背景メモリの画像信号と入力画像信号との差が比
   較的小さくかつブロック間で同程度の差とみなせる場合
   に、それらのブロックの背景メモリからの予測誤差をゼ
   ロとすることを特徴とする特許請求の範囲第２項記載の
   動画像伝送装置。
6. （６）背景メモリの画像信号と入力画像信号との差が異
   なる画素間で同程度とみなせる場合に、その差があるレ
   ベルを超えた場合にその差を背景部分の変化量として背
   景メモリの更新を簡略化する受信側へ伝送し、受信側で
   はその値により背景メモリの内容を修正することを特徴
   とする特許請求範囲第２項記載の動画像伝送装置。