JPH01291585A - 背景予測を用いた動画像の予測符号化方式とその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、シーンチェンジと次なるシーンチェンジの間
に代表されるような一連の動画像における、背景画像を
用いた予測符号化方式及び予測符号化装置に関するもの
である。

（従来の技術） 従来、動画像の高能率符号化方式に関しては、予測符号
化方式が知られている。その構成回路の一例を第４図に
示す。この方式は画素データ３７から画像のフレーム間
及びフレーム内相関を利用して得た予測値３８を差し引
き、その差分値３９を符号化するもので、予測回路とし
てフレーム内予測回路３１、フレーム間予測回路３２及
び背景予測回路３３を並列接続し、切り替えスイッチ３
４により選択的にいずれかを接°続する構成となってい
る。切り替え選択方式としては、各画素毎に予測差分が
最も小さくなるモードを逐次選択する方式や、既に符号
化された画素での予測差分最小モードから現画素の選択
モードを推定する方式が知られている。この様に多モー
ド選択方式を採る理由は、通常のテレビジョン信号では
フレーム間相関が高いのでフレーム間予測符号化が効率
的であるが、シーンチェンジや激しい動きにより画像の
フレーム間相関が低下した場合に、画像のフレーム内相
関を用いたフレーム内予測符号化、もしくは背景予測符
号化を行なう方が効率が良いからである。特に動く被写
体の背後から現れて（る画像部分についてはフレーム間
及びフレーム内の両方の相関とも小さいので、動く被写
体部分をできるだけ除いた背景画像を用いて予測を行う
。

上記のような背景画像の抽出方式としては、特願昭６２
−１８５９５７号明細書により提案されているものがあ
る。この方式は画像内のある部分が背景を表示している
期間は、前記部分の画素の信号レベルがほとんど変化せ
ず時間軸方向に平坦領域を示すことを利用するもので、
本例の場合、シーンチェンジと次なるシーンチェンジの
間の一連の動画像について、それぞれの画素の信号レベ
ルが一定期間以上持続する平坦領域を背景データとして
抽出し、シーンチェンジ間の一連の画像全体を見渡した
上で、前記抽出された背景データから背景画像を生成し
ようとするものである。第５図はそのフローチャートの
一例で、以下にその動作を簡単に説明する。

まずステップ（０３）で入力画像フレーム内の各画素の
信号レベルが平坦領域にあるか否かの判定を行なう。た
とえば、画像フレーム内の第ｉ番目の画素の信号レベル
が第ｊフレームから第（ｋ−１）フレームまでの期間で
平坦領域Ａｉ（ｍ）を形成しているときに、第にフレー
ムでの信号レベルＸ１（ｋ）と平坦領域Ａｔ（ｍ）内の
平均信号レベルとの差分値δがあるしきい値よりも小さ
ければ、ステップ（０４）でＸｌ（ｋ）を平坦領域Ａ、
ｉ（ｍ）のデータとするとともに、第ｉ番目の画素の蓄
積データＳｉに加える。そうでなければ反テップ（０５
）でレベルＸｉ　（ｋ）を次なる平坦領域の初期値とす
る。以上（ｏ３）〜（０５〕の処理を画像内の全ての画
素に対して、一連の画像フレームによるシーケンス内で
繰り返し行ない、各画素の全ての平坦領域Ａｉ　（１）
〜Ａｉ（ｎ）とその蓄積データＳｉを求める。次にステ
ップ（０７）で前記蓄積データＳｉの平均値として各画
素の背景レベルＡ１を計算し、ステップ（０８）で前記
背景レベルＡｉの推定が適正であるかどうかを判断する
。ここでの判断の基準としては、Ａｉの推定に用いた蓄
積データＳｔ内の個々のデータの分散の大きさなどが用
いられる。もしＡｉの推定が不適正と判断されれば、ス
テップ（０９）で蓄積データＳｉの中から、Ａ　ｔとの
レベル差の最も大きい平坦領域Ａｔ（ｆｆｉ）に含まれ
る全データを除外して再びステップ（０７）以下の処理
を行なう。

上記の方法により一連の動画像から抽出された背景画像
は、あらかじめ背景予測回路内の背景メモリに蓄えてお
き、前記一連の動画像に対する背景予測に用いられる。

（発明が解決しようとする問題点） フレームワークの固定している一定期間の動画像におい
ては、主観評価上は画像内の背景の大部分を背景画像を
用いて良好に予測することが期待される。しかし従来の
予測符号化では、背景部分でも多くの場合にフレーム間
及びフレーム内の予測が用いられ、予測差分としてなお
多くの情報を発生する。これは各モードにおける予測差
分の大きさにもとづいて予測モードを選択するためであ
る。すなわち、背景予測に用いる背景画像は一定期間の
一連の動画像から抽出された平均的な性格のものである
ので、フレーム間で背景部分に緩やかな輝度のゆらぎが
生じている場合などを含めて多くの場合、フレーム間予
測の方が背景予測よりも予測差分が小さくなり、なおか
つ幾らかの予測差分を発生することによる。また雑音な
どによる変化でフレーム間相関の小さくなった背景部分
に対してもフレーム内予測の方が背景予測よりも予測差
分が小さくなることが多いことにもよる。

本発明の目的は、一定期間内の一連の動画像において、
その背景部分に対してできだけ背景画像を用いた予測を
行うことで、少なくとも主観的に劣化が少なく、かつ発
生情報量を抑えた予測符号化方式及び予測符号化装置を
提供することにある。

（問題点を解決するための手段） 本発明の動画像予測符号化方式は、一定期間内の一連の
動画像の各フレームからあらかじめ背景画像を抽出して
おき、これを背景予測に用いる予測符号化方式において
、前記背景画像抽出時にどのフレームのどの画素が背景
画像生成に用いられたかを示す情報を生成しておき、少
なくとも前記情報にもとすき背景予測を適用する画素を
決定し、かつ背景予測を適用した画素の予測差分値を零
とすることを特徴とするもので、また本発明の動画像予
測符号化装置は、一定期間内の動画像の各フレームから
背景画像を抽出出力するとともに、どのフレームのどの
画素が背景画像生成に用いられたかを示す背景抽出画素
情報を出力する背景画像抽出手段と、前記背景抽出画素
情報を記憶し、かつ少なくともこれをもとに背景予測を
適用する画素を決定し、前記画素の予測符号化に同期し
て背景予測モード選択信号を出力する背景予測モード制
御手段と、前記背景予測モード選択信号にもとづき複数
の予測手段の中から背景予測を選択する予測器と、同信
号にもとづき予測差分信号を強制的に零とする零レベル
出力回路とを持つ予測符号化手段と、を少なくとも具備
することを特徴とするものである。

（作用） 本発明は、一定期間内の動画像の各フレームにおいて、
一連のフレーム全体から判断して変化の少ない背景とさ
れた部分について、これを予測背景画像で置き換えても
主観評価上は余り劣化を生じないことを利用するもので
ある。

本発明では、まず従来技術（第５図）で示したような方
法により、シーンチェンジとシーンチェンジで囲まれる
画像シーケンスに代表されるような一定期間内の一連の
動画像から背景画像を抽出する。次に各画素の予測符号
化を行なう際に、少なくとも前記抽出処理において最終
的にどのフレームのどの画素が背景画像生成に用いられ
たかを示す背景抽出画素情報をもとに背景予測を適用す
る画素を決定する。これにより雑音及び小さな信号レベ
ルのゆらぎしか示さない背景の大部分に対して背景予測
を適用することが可能となる。また、前記背景予測が適
用された各画素に対してはその予測差分値を零とするこ
とで、画像内の背景部分における発生情報量を低く抑え
ることができる。なおこの場合における背景予測の選択
は、前記のごとく一連のフレーム全体を見渡した上で画
素の信号レベルの変動が小さく委定していると見なせる
期間に対して行われるので、予測差分を零としでもこれ
による画質の劣化は低く抑えることができる。

（実施例） 以下、本発明の実施例を第１〜３図を用いて説明する。

第１図は、本発明の予測符号化方式を実現する一実施例
の基本ブロック図である。まず入力された一定期間の一
連の動画像の各フレームから、背景画像抽出回路１にお
いて背景画像を抽出する。抽出方式としては前記期間内
のフレーム全体を見渡した上で行うこととし、第５図に
示された様な方式が用いられる。抽出された背景画像４
１は予測符号化に先だって予測符号化回路３に送られる
。同時にどのフレームのどの画素が背景画像抽出時に背
景画像生成に用いられたかを示す背景抽出画素情報４２
が背景予測モード制御回路２に送られる。次に予測符号
化回路３で入力画像信号４０とその予測値との差分を符
号化するが、背景抽出画素情報４２に示された画素の予
測モード選択に際しては、背景予測モード制御回路２に
より予測符号化回路３に同期して背景予測モード選択信
号４３が供給され、これにより背景予測モードを適用す
ることとする。さらに予測符号化回路３においては、背
景予測モード選択時に予測差分を強制的に零とする。

第２図は、本発明における背景画像抽出回路を実現する
一実施例を示すブロック図である。本実施例では従来技
術第５図に示した背景画像抽出方式を用いる。まず平坦
領域検出回路４において、第６図のステップ（０１）〜
（０５）の方法で、一連の画像フレームから各画素の平
坦領域を全て検出し、背景画像生成回路５に供給する。

背景画像生成回路５では第５図のステップ（０６）〜（
０９）の方法で、各画素の背景レベルを前記平坦領域で
の信号４５から算出して背景画像４１を出力する。また
各平坦領域のうち前記ステップ（０９）で排除されなか
った部分、すなわち背景レベルの算出に最終的に用いら
れた平坦領域に、どのフレームのどの画素が含まれてい
たかを背景抽出画素情報４２として出力する。

第３図は、本発明における予測符号化手段による動画像
符号化記録再生システムの一実施例のブロック図である
。ここで一連の画像信号の符号化に先立ち、あらかじめ
生成された背景画像４１が背景予測回路１１に供給され
ている。また予測モード制御回路１２には符号化に同期
して、第１図の背景予測モード制御回路２から背景抽出
画素情報４２に応じて背景予測モード選択信号４３が供
給される。まず入力画像信号４０に対して、予測器８で
フレーム内予測回路９、フレーム間予測回路１０及び背
景予測回路１１それぞれにより予測値４６が求められる
。予測モード制御回路１２は各予測値４６と入力画像信
号４０とを比較して予測モードを選択し、スイッチ回路
１３により予測値４７を決定する。ただし背景予測は背
景予測モード選択信号４３が供給されている場合にのみ
選択される。つまり背景予測モード選択信号４３を示さ
れた画素には強制的に背景予測が用いられ、それ以外の
画素はフレーム間予測またはフレーム内予測のうち予測
差分の小さくなる方を選択することとする。次に減算器
１４により入力画像信号４０と前記茅測値４７との差分
値が計算されるが、前記予測モード選択時に、背景予測
を選択した場合には、スイッチ回路１５を零レベル出力
回路１６に接続し予測差分値を零とする。予測差分値４
Ｂは量子化回路１７で量子化された後に、符号変換回路
２０で符号化される一方、逆量子化回路１８で逆量子化
され加算器１９で前記予測値に加算して、フレーム内予
測回路９及びフレーム間予測回路１０に供給される。モ
ード信号４９は符号変換回路２０で符号化され、符号化
された量子化予測差分値と共に符号化出力４４としてデ
ータ記録媒体２１を介して復号器７に供給される。また
背景画像４１もフレーム内予測符号化等により器２２で
背景予測に用いられる。

なお、背景予測モード選択信号４３は必ずしも背景抽出
画素情報４２と完全に対応する必要はなく、背景抽出画
素情報４２の同一フレーム内での分布から、背景予測モ
ード選択信号４３を出力すべき画素構成を決定しても良
い。例えば、孤立した背景抽出画素はこれを無視し、周
囲を背景抽出画素で囲まれた非背景抽出画素を背景抽出
画素に組み込むなどが可能である。またフレーム間で孤
立した背景抽出画素は無視し、前後のフレームで背景抽
出画素となっている非背景抽出画素を背景抽出画素に組
み込むなどの方法を組み合わせてもよい。

さらに、複数の画素からなるブロック単位で予測モード
を選択する方式においても、背景画像抽出方式において
ブロック単位でデータ抽出を行っていれば、背景抽出画
素情報がブロック単位で得られる。また、上述したよう
に画素単位で得られた背景抽出画素情報を再構成して、
ブロック単位で背景予測が選択されるようにしてもよい
。なお、ブロック単位で背景予測を選択した場合には、
ブロック内金ての画素の予測差分値を零とする。

（発明の効果） 本発明では、背景予測が選択された場合に予測差分を零
とするので、差分信号による発生情報量を抑えることが
できる。また背景予測の選択は、背景画像抽出時に背景
画像生成用に用いられた画素に対して他のモードに優先
して適用されるので、背景予測モードの選択率をあげ上
記効果を促進することができる。さらに前記理由から、
背景予測は一連の画像フレーム全体を見渡した上で信号
レベルのフレーム間変動の少ない背景部分と判定された
画素に対して適用されているので、予測差分値を零とし
たことによる誤差はフレーム間で累積拡大せず、予測モ
ード切り替わり時に大きなフレーム間歪となることはな
く、主観評価上の画質劣化を抑えることができる。

【図面の簡単な説明】

第１図は、本発明の予測符号化方式の一実施例の基本ブ
ロック図、 第２図は、本発明における背景画像抽出手段の一実施例
を示すブロック図、 第３図は、本発明における予測符号化手段により構成さ
れる動画像の符号化記録再生システムの一実施例を示す
ブロック図、 第４図は、従来の動画像予測符号復号システムの一例を
示すブロック図、 第５図は、従来の背景画像抽出方式の一例を説明するフ
ローチャートである。 図において、 １・・・背景画像抽出回路、２・・・背景予測モード制
御回路、３・・・予測符号化回路、４・・・平坦領域検
出回路、５・・・背景画像生成回路、６・・・符号器、
７・・・復号器、８，２２．３０・・・予測器、９．３
１・・・フレーム内予測回路、１０．３２・・・フレー
ム間予測回路、１１．３３・・・背景予測回路、１２・
・・予測モード制御回路、１３．１５．３４・・・スイ
ッチ回路、１４．３５・・・減算器、１６・・・零レベ
ル出力回路、１７・・・量子化回路、１８・・・逆量子
化回路、１９．３８・・・加算器、２０・・・符号変換
回路、２１・・・データ記録媒体。

Claims (2)

【特許請求の範囲】
1. （１）一定時間内の一連の動画像の各フレームからあら
   かじめ背景画像を抽出しておき、これを背景予測に用い
   る動画像の予測符号化方式において、前記背景画像抽出
   時にどのフレームのどの画素信号が背景画像生成に用い
   られたかを示す情報を生成しておき、少なくとも前記情
   報をもとに背景予測を適用する画素を決定し、かつ背景
   予測を適用した画素の予測差分値を零とすることを特徴
   とする予測符号化方式。
2. （２）一定期間内の動画像の各フレームから背景画像を
   抽出出力するとともに、どのフレームのどの画素が背景
   画像生成に用いられたかを示す背景抽出画素情報を出力
   する背景画像抽出手段と、 前記背景抽出画素情報を記憶し、かつ少なくともこれを
   もとにして背景予測を適用する画素を決定し、前記画素
   の予測符号化に同期して背景予測モード選択信号を出力
   する背景予測モード制御手段と、前記背景予測モード選
   択信号にもとづき複数の予測手段の中から背景予測を選
   択する予測器と、同信号にもとづき予測差分信号を強制
   的に零とする零レベル出力回路とを持つ予測符号化手段
   と、を少なくとも具備した、動画像の予測符号化装置。