JPH0746868B2 - 高能率符号化及び復号化方法 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、画像データを狭い伝送帯域でもって伝送す
るのに適用される高能率符号化及び復号化方法に関す
る。

〔発明の概要〕

この発明は、例えばディジタルテレビジョン信号の１画
素の平均ビット数を少なくする高能率符号化及び復号化
方法において、過去の数フィールドの画素データから現
在のフィールドの画素データを予測符号化する時に、予
測誤差の自乗和が最も小となるパラメータを同定するも
ので、この同定の時に背景メモリに貯えられている背景
画素データを使用することにより、動き物体の後ろから
現れる背景（アンカバードバックグランド）による復元
画像の劣化を防止できるようにしたものである。

〔従来の技術〕

１画素当たりのビット数を低減する高能率符号化として
３次元的な即ち時空間な処理を行うフレーム間符号化方
式が知られている。フレーム間符号化方式としては、動
き検出によるものと、動き補正によるものとがある。前
者は、フレーム差の有無でテレビジョン画像の動き検出
を行い、フレーム差の無い所（即ち、動きの無い所）だ
けを前フレームのデータで置き換えるものである。

後者の方式は、ブロックマッチング法等により現在と前
フレーム間の位置関係情報（動き補正量）を求め、この
動き補正量に基づいて前フレーム画像を操作してフレー
ム間の対応を取るものである。ブロックマッチング法
は、画面を複数のブロックに分割し、各ブロック毎に動
きの量及びその方向を求め、この動きの量及びその方向
を伝送するものである。

〔発明が解決しようとする問題点〕

動き検出によるフレーム間符号化方式は、一般の動画像
では、動き部分が多く、圧縮率が低い問題点があった。

また、動き補正によるフレーム間符号化方式は、ブロッ
ク分けによる歪が発生し、各ブロック毎の動き量を伝送
するために、圧縮率が充分に低いといえない欠点があっ
た。

更に、何れの方式でも、動き物体が動いた時に、動き物
体の後ろから現れる背景（アンカバードバックグラウン
ド）を予測できない欠点があった。

従って、この発明は、従来の装置に比して極めて大きい
圧縮率を実現できる高能率符号化及び復号化方法の提供
を目的とするものである。

この発明の他の目的は、時間方向の各種補正を施すこと
により、複数の動き物体による各種の動きに対応できる
高能率符号化及び復号化方法を提供することにある。

この発明の更に他の目的は、空間方向の各種補正を施す
ことにより、エッジ部のボケや、アンカバードバックグ
ラウンド等の問題が生じない高能率符号化及び復号化方
法を提供することにある。

また、本願出願人は、先に圧縮率を極めて高くできる高
能率符号化装置（特願昭59−174412号）を提案してい
る。この発明は、この高能率符号化装置の改良を目的と
するものである。

即ち、上記出願に示されるものは、現フィールドの画素
に対する予測値を、最も相関が強い近傍の画素を代表値
として取り出し、この代表値に時空間方向の補正を施し
て求めるもので、補正のためのパラメータは、予測誤差
の自乗和を最小にするように同定される。

この高能率符号化装置は、過去のフィールドの画像を使
用して予測を行うので、アンカバードバックグラウンド
の問題を従来の符号化方式と比してかなり解決できる。
しかし、過去のフィールドの画像に背景画像の情報が全
く含まれていない場合には、アンカバードバックグラウ
ンドにより、復元画像が劣化する問題点が認められた。

従って、この発明の目的は、背景部の予測を高精度に行
うと共に、アンカバードバックグラウンドによる復元画
像の劣化が防止された高能率符号化及び復号化方法を提
供することにある。

〔問題点を解決するための手段〕

この発明は、現在のフィールドに含まれる注目画素の値
を、注目画素の近傍に位置し且つ過去の数フィールド含
まれる複数の画素データと、背景画像データと、複数の
係数との線形１次結合により予測し、この予測画素デー
タと注目画素の真値との誤差の自乗和を最小とするよう
に、複数の係数を最小自乗法により同定するステップ
と、 同定した複数の係数と過去の数フィールドに含まれる画
素データと背景画像データとから現在のフィールドの予
測画素データを生成するステップと、 次のフィールドにおいては、現在のフィールドの予測画
素データを以前のフィールドの画素データとして、背景
画像データの生成、係数の同定及び予測のために使用す
るように、過去の数フィールドに含まれる画素データを
メモリに貯えるステップと、 現在のフィールドの画素データに代えて、同定した複数
の係数を伝送するステップとからなる高能率符号化方法
である。また、この発明は、かかる符号化方法に対する
復号化方法である。

〔作用〕

この発明は、過去数フィールドの画素データから、現在
の動きを予測するものである。この発明では、複数の動
き物体の各々の動き情報は上記の画素データに含まれて
いるので、つまり、各種の方向や速度を持つ動きベクト
ルも時間的には強い相関を有するので、動き量を伝送す
る必要がなく、１フィールド毎のパラメータ（予測誤差
の自乗和を最小とするような係数）のみを伝送すれば良
く、１画素当たりの平均ビット数を極めて少なくでき
る。また、この発明では、動き補正を各画素のレベルの
時間的変化として捕らえるので、動きベクトルの方向や
速度に依らない定速度運動（過去２フィールドのデータ
で表現される）或いは定加速度運動（過去３フィールド
のデータで表現される）といった運動モデルとして統一
的に扱えるので、単純に動きモデルからのずれを補正す
るだけですむ。従って、この発明によれば、圧縮率を高
めることができる。更に、時間的及び空間的の３次元的
に補正がなされるので、ブロック歪の問題を何等生じな
い。より更に、この発明では、背景メモリを設け、この
背景メモリに背景画素データを貯え、背景画素データを
参照データとしてパラメータの同定を行うことにより、
背景についての予測精度を高くでき、アンカバードバッ
クグラウンドによる復元画像の劣化を防止することがで
きる。

〔実施例〕

以下、この発明の一実施例について、図面を参照して説
明する。この一実施例の説明は、下記の順序でなされ
る。

a.符号化装置 b.復号化装置 c.背景予測 d.パラメータの同定 a.符号化装置 第１図は、この発明の一実施例即ち送信側に設けられる
符号化装置の構成を示す。

第１図において、１は、パラメータ同定部を示す。この
パラメータ同定部１には、所定のサンプリング周波数で
ディジタル化されたディジタルテレビジョン信号即ち現
フィールドｋの画像データ_kが入力されると共に、過
去の２フィールドｋ−1,k−２の各フィールドの予測デ
ータ_k-1及び_k-2と背景画素データ_k-1とが供給さ
れる。現在のフィールドｋに対して、ｋ−１は、前のフ
ィールドであり、ｋ−２は、更に前のフィールドであ
り、ｋ−３は、より更に前のフィールドである。

これらの過去のフィールドの画像データは予測部２にお
いて形成された予測データで、この予測データと現フィ
ールドデータを用いてパラメータ同定部１は、最小自乗
法により予測誤差の自乗和が最小となるような例えば各
々が８ビットの35個のパラメータw1〜w35を１フィール
ドごとに同定する。

パラメータの同定部１には、空間的位置関係を調整する
ためのライン遅延回路及びサンプル遅延回路が含まれて
いる。パラメータ同定部１で同定されたパラメータw1〜
w35が送信データとされる。このパラメータw1〜w35は、
入力データに対して１フィールド遅れたフィールドｋ−
１のものである。

２は、予測部を示し、フィールドメモリ３には、予測部
２からの予測データが書き込まれ、フィールドメモリ３
から読み出された予測データ_k-2がフィールドメモリ
４に書き込まれる。フィールド４からの予測データ
_k-3が背景予測回路５に供給される。この背景予測回路
５からの背景画像データ（予測データ）_k-1が背景メ
モリ６に書き込まれる。

予測部２には、フィールドメモリ３からの画像データ
_k-2とフィールドメモリ４からの画像データ_k-3と背景
メモリ６からの背景データ_k-2とが供給される。予測
部２は、予測しようとする画素の近傍に位置し、且つ過
去のフィールド内に含まれる35個の予測データとパラメ
ータ同定部１で得られたパラメータw1〜w35とを用いて
現画像（ｋ−１番目のフィールドの画素）に対する予測
値を求めるものである。このため、予測部２にも、空間
的位置関係を調整するための複数のライン遅延回路及び
複数のサンプル遅延回路が含まれている。送信側におい
て、本当の画像データでなく、予測データを使用するの
は、受信側の画像復元との同一性を確保するためであ
る。

現フィールドｋ（実施例の予測部２では、ｋ−１番目の
フィールドの予測を行っている。）の画素データ（第３
図Ａ）に対する予測値は、その前フィールドｋ−１の近
傍の10画素のデータ（第３図Ｂ）、その前々フィールド
ｋ−２の近傍の15画素のデータ（第３図Ｃ）、その前フ
ィールドｋ−１の近傍の10画素の背景データ（第３図
Ｄ）の計35個の画素データの線形１次結合として求めら
れる。

第３図Ａ〜第３図Ｄにおいて水平方向の実線がフィール
ドｋ及びフィールドｋ−２において走査されるラインを
表し、水平方向の破線がフィールドｋ−１及びフィール
ドｋ−３において走査されるラインを表す。現フィール
ドｋの画素データが含まれる位置のラインをｙとして、
その上側に位置するラインをｙ＋１とし、更にラインｙ
＋１の上側に位置するラインをｖ＋２としている。ライ
ンｙの下側に位置するラインは、夫々ｙ−１、ｙ−２と
している。

第３図Ａ〜第３図Ｄにおいて垂直方向の実線が各フィー
ルドにおけるサンプリング位置を示し、現フィールドｋ
の画素データのサンプリング位置ｘより１サンプル前の
サンプリング位置及びこれより２サンプル前のサンプリ
ング位置を夫々ｘ−１、ｘ−２としている。また、サン
プリング位置ｘの後のサンプリング位置及びより後のサ
ンプリング位置を夫々ｘ＋１、ｘ＋２としている。

現画素に対する予測データ_k（x,y）は、次式の線形一
次結合で表される。

_k（x,y）＝ w1×_k-1（ｘ−2,y＋１） ＋w2×_k-1（ｘ−1,y＋１）＋w3×_k-1（x,y＋１） ＋w4×_k-1（ｘ＋1,y＋１）＋w5×_k-1（ｘ＋2,y＋
１） ＋w6×_k-1（ｘ−2,y−１）＋w7×_k-1（ｘ−1,y−
１） ＋w8×_k-1（x,y−１）＋w9×_k-1（ｘ＋1,y−１） ＋w10×_k-1（ｘ＋2,y−１） ＋w11×_k-2（ｘ−2,y＋２）＋w12×_k-2（ｘ−1,y＋
２） ＋w13×_k-2（x,y＋２）＋w14×_k-2（ｘ＋1,y＋２） ＋w15×_k-2（ｘ＋2,y＋２）＋w16×_k-2（ｘ−2,y） ＋w17×_k-2（ｘ−1,y）＋w18×_k-2（x,y） ＋w19×_k-2（ｘ＋1,y）＋w20×_k-2（ｘ＋2,y） ＋w21×_k-2（ｘ−2,y−２）＋w22×_k-2（ｘ−1,y−
２） ＋w23×_k-2（x,y−２）＋w24×_k-2（ｘ＋1,y−２） ＋w25×_k-2（ｘ＋2,y−２） ＋w26×_k-1（ｘ−2,y＋１）＋w27×_k-1（ｘ−1,y＋
１） ＋w28×_k-1（x,y＋１）＋w29×_k-1（ｘ＋1,y＋１） ＋w30×_k-1（ｘ＋2,y＋１）＋w31×_k-1（ｘ−2,y−
１） ＋w32×_k-1（ｘ−1,y−１）＋w33×_k-1（x,y−１） ＋w34×_k-1（ｘ＋1,y−１）＋w35×_k-1（ｘ＋2,y−
１） 上述の予測式は、現フィールドの画素に対する予測値
を、最も相関が強い近傍の画素を代表値として取り出
し、この代表値に時空間方向の補正を施して求めること
を意味する。

パラメータ同定部１は、予測部2,フィールドメモリ３及
び背景予測回路５からの参照データを用いて、最小自乗
法によりパラメータを同定する。つまり、現フィールド
の或る画素の真値I_kは、上式で求められたこれと対応す
る画素の予測値_kに予測誤差ｅが重畳されたものであ
るから、（ｅ＝_k−I_k）となり、後述のようにこの予
測誤差の自乗和を所定数の画素に関して最小にするパラ
メータw1〜w35が計算される。

この場合、１フィールドに含まれる全ての予測画素（例
えば１ライン内に800画素、１フィールドが255ラインの
場合では、800×255個）を用いてパラメータw1〜w35を
最小自乗法により計算すれば、最高の精度が得られる
が、回路規模が大きくなるので、複数サンプル毎の間引
きにより得られた所定数の例えば300個の代表の画素を
用いてパラメータw1〜w35の同定を行うのが実際的であ
る。

また、画面の周辺部でデータが存在しない所では、第４
図に示すように、画面内のデータａ〜ｈと同一のデータ
が画面外にあるものとして代用すれば良い。或いは、第
４図において破線図示のように、１ライン内側で且つ２
サンプル内側に寄った領域内で同定を行うようにしても
良い。

尚、現在のフィールドに対して過去の２フィールドの画
素データを用いても良く、そのときには、３次元運動モ
デルとして、定速度運動モデルを表現することになる。

b.復号化装置 上述の符号化がなされた送信データを受信する復号化装
置は、第２図に示すように、フィールドメモリ13,14
と、背景予測回路15と、背景メモリ16と、受信されたパ
ラメータw1〜w35が供給されると共に、フィールドメモ
リ13及び14からの過去２フィールドのデータ_k-2，
_k-3と背景メモリ16からの背景データ_K-2とが供給され
る予測部12とで構成される。この予測部12により復元デ
ータ即ちディジタルテレビジョン信号が形成される。受
信側で、ディジタルテレビジョン信号を復元するため
に、パラメータw1〜w35の送信に先行して複数フィール
ドの初期値が送信され、この初期値がフィールドメモリ
13,14及び背景メモリ16の夫々に書き込まれる。

c.背景予測 背景予測回路５は、テレビジョン画像が背景画像と動き
画像から成り立つものと捉え、テレビジョン画像中から
背景画像のみを抽出する。この背景画像が背景メモリ６
に記憶される。

第５図は、背景予測回路５の一例の構成を示す。第５図
において、21は、１フレーム間のレベル差即ち、フレー
ム差ΔＦを検出するための減算回路を示す。この減算回
路21により、（ΔＦ＝_k-1−_k-3）の減算が１画素毎
になされる。22は、（ΔＭ＝_k-1−_k-2）の演算によ
り、背景画像と入力画像の差ΔＭを検出する減算回路で
ある。

減算回路21の出力が絶対値変換回路23により、絶対値｜
ΔF|とされ、比較回路24に供給される。この比較回路24
には、しきい値Tfが供給され、フレーム差の絶対値｜Δ
F|としきい値Tfとの大きさが比較される。比較回路24の
出力が重み係数制御回路27に供給される。

減算回路22の出力が絶対値変換回路25により、絶対値｜
ΔM|とされ、比較回路26に供給される。この比較回路26
には、しきい値Tmが供給され、差の絶対値｜ΔM|としき
い値Tmとの大きさが比較される。比較回路26の出力が重
み係数制御回路27に供給される。

重み係数制御回路27は、比較回路24及び26の出力に応じ
て重み係数αを発生する。重み係数制御回路27と関連し
て重み係数が記憶される重み係数メモリ28が設けられて
いる。フィールドメモリ3,4と背景メモリ６と重み係数
メモリ28とは、１フィールドの全画素と対応するアドレ
スを持ち、共通の読みだしアドレスがこれらのメモリに
供給される。

重み係数αは、乗算回路29に供給される。この乗算回路
29には、減算回路22からの差データΔＭが供給され、乗
算回路29の出力信号が加算回路30に供給される。この加
算回路30の出力端子31に背景画像データ_k-1が得ら
れ、この背景画像データ_k-1がゲート回路（図示せ
ず）を介して背景メモリ６に書き込まれる。

また、重み係数制御回路27の出力端子32には、入力画像
データ_k-1が背景か動き物体かを示す判別信号が取り
出される。入力画像データ_k-1が動き物体の場合に
は、判別信号により上記のゲート回路がオフとされて、
背景メモリ６のデータの更新が禁止される。

上述の背景予測回路５により形成される背景画像_k-1
は、次式で表される。_k-1 ＝α・ΔＭ＋_k-2 ＝（１−α）・_k-2＋α・_k-1 この一実施例けは、背景が変化しない時には、重み係数
αを例えば1/16に固定している。入力画像中に含まれる
ホワイトノイズは、上式の演算を複数フレームにわたっ
て繰り返すことにより、除去され、背景メモリ６に貯え
られている背景画像のS/Nが改善される。

また、シーンチェンジ等により、背景が切り替わる時に
は、応答時間を短くすると共に、有色雑音の影響を受け
ないように、重み係数αを1/16から１フレーム毎に２倍
づつする。つまり、（1/16→1/8→1/4→1/2→１）と、
重み係数αを増加させる。従って、重み係数αは、５種
類あり、夫々が３ビットにより表現されている。重み係
数αを２のべき乗としているのは、乗算回路29の構成を
簡単化するためである。

第６図は、背景予測回路５の動作を示すフローチャート
である。

減算回路22及び絶対値変換回路25により、検出された入
力画素と背景画素の差の絶対値｜ΔM|がしきい値Tmより
大かどうか、比較回路26により比較される。｜ΔM|がし
きい値Tm未満の時に分岐１の処理がなされる分岐１は、
入力画素が背景画素と殆ど同一であると判定された時の
処理である。この分岐１では、重み係数αが1/16に固定
される。そして、出力端子31に取り出された前式で示さ
れる背景画素が背景メモリ６に書き込まれ、背景画素の
更新がなされる。この時の重み係数αが重み係数メモリ
28に格納される。

｜ΔM|がTm以上の時で、フレーム差の絶対値｜ΔF|がし
きい値Tf未満の時には、分岐２の処理がされる。分岐２
の処理は、シーンチェンジ等により、背景が切り替わっ
た場合にされる処理である。最初に重み係数メモリ28に
記憶されている重み係数α（1/16）が読み出される。こ
の読み出された重み係数が使用されて背景画素の更新が
なされる。従って、この１フレームでなされる背景画素
の更新は、分岐１と同様である。

背景画素の更新がされると、重み係数制御回路27によ
り、αが２倍にされると共に、この２倍にされた新たな
重み係数が１より大かどうか判定される。１より小の時
に２倍にされた重み係数αが重み係数メモリ28に格納さ
れる。1/16の重み係数から開始して、１フレーム毎に重
み係数が２倍とされる。

ΔＦがしきい値Tfより大きい時には、入力画素が動き画
素と判定され、分岐３の処理がなされる。この場合に
は、重み係数制御回路28からの判定信号により、背景メ
モリ６の更新が禁止される。以上のようにして、背景予
測回路５の出力端子には、背景画像データが取り出さ
れ、背景メモリ６に記憶される。受信側に設けられた背
景予測回路15は、送信側の上述せる背景予測回路５と同
様の構成のものである。

d.パラメータの同定 上述のパラメータ同定部１によりなされるパラメータw1
〜w35の同定について、最小自乗法を用いた１例につい
て以下に説明する。

前述の予測データ^k（x,y）を算出する線形１次結合の
式は、現フィールド全体に関して予測を行う場合、下記
の行列により表現できる。

上式を行列とベクトルとによりまとめて表現すると、 但し、 （ｍ×ｎ）次のベクトル，は、（ｍ×n,35）の行列、 35次のベクトルである。

一方、現フィールドのデータ（真値）を並べてなるベク
トル （ｍ×ｎ）次のベクトルであり、 を（ｍ×ｎ）次の予測誤差ベクトルとすると、 となる。上式は、 となる。この の自乗和を最小にする が求められる。上式は、下記のように変形される。但
し、Ｔは、転置行列を示す。

次式を満足するものとなる。この式の導出は、例えば文
献「システム同定」（発行所：社団法人計測自動制御学
会，発行日：昭和56年２月10日（初版））の第４章第４
節２項に記載されている。

このままでは、１フィールドの（ｍ×ｎ）個の全画素の
場合、（ｍ×n,35）と言う非常に大きな行列を扱うこと
になり、実際的でない。従って、上式を小さい次数の行
列及びベクトルに直して処理する。即ち、（Ｐ＝^T・
）の（35,35）の行列と、 の35次のベクトルとを用いる。

上述のＰ及びＱがパラメータ同定部１に供給される過去
の３フィールドの予測データから形成される。そして、
（P^-1Q）により が計算される。

〔発明の効果〕

この発明は、過去数フィールドの画素データから現在の
動きを予測するものであり、従って、複数の動き物体の
各々の動き情報は、上記の画素データに含まれているの
で、動き量を伝送する必要がなく、１フィールド毎のパ
ラメータ（予測のための係数）のみを伝送すれば良く、
１画素当たりの平均ビット数を極めて少なくできる。

また、この発明では、動き補正を各画素のレベルの時間
的変化として捉えるので、動きベクトルの方向や速度に
依らない定速度運動（過去２フィールドのデータで表現
される）或いは定加速度運動（過去３フィールドのデー
タで表現される）といった運動モデルとして統一的に扱
えるので、単純に動きモデルからのずれを補正するだけ
ですむ。従って、この発明に依れば、圧縮率を高めるこ
とができる。

また、３次元的に補正がなされるので、ブロック歪やア
ンカバードバックグランドの問題を生じない。然も、こ
の発明は、背景画像を抽出して、この背景画像を使用し
てパラメータの同定を行うので、背景の予測を高精度且
つ安定にでき、アンカバードバックグラウンドによる復
元画像の劣化を防止できる。また、背景メモリを使用す
ることにより、背景画像のS/Nを改善することができ
る。

【図面の簡単な説明】

第１図はこの発明の一実施例のブロック図、第２図はこ
の発明の一実施例により符号化された伝送データを受信
するための構成を示すブロック図、第３図及び第４図は
この発明の一実施例の説明に用いる略線図、第５図は背
景予測回路の一例のブロック図、第６図は背景予測回路
の説明のためのフローチャートである。 図面における主要な符号の説明 1:パラメータ同定部、2:予測部、3,4:フィールドメモ
リ、5:背景予測回路、6:背景メモリ、27:重み係数制御
回路。

Claims (2)

【特許請求の範囲】
1. 【請求項１】現在のフィールドに含まれる注目画素の値
   を、上記注目画素の近傍に位置し且つ過去の数フィール
   ド含まれる複数の画素データと、背景画像データと、複
   数の係数との線形１次結合により予測し、この予測画素
   データと上記注目画素の真値との誤差の自乗和を最小と
   するように、上記複数の係数を最小自乗法により同定す
   るステップと、 上記同定した上記複数の係数と上記過去の数フィールド
   に含まれる画素データと上記背景画像データとから上記
   現在のフィールドの予測画素データを生成するステップ
   と、 次のフィールドにおいては、上記現在のフィールドの予
   測画素データを以前のフィールドの画素データとして、
   上記背景画像データの生成、係数の同定及び予測のため
   に使用するように、過去の数フィールドに含まれる画素
   データをメモリに貯えるステップと、 上記現在のフィールドの画素データに代えて、上記同定
   した複数の係数を伝送するステップとからなる高能率符
   号化方法。
2. 【請求項２】現在のフィールドに含まれる注目画素の値
   を、上記注目画素の近傍に位置し且つ過去の数フィール
   ド含まれる複数の画素データと、背景画像データと、複
   数の係数との線形１次結合により予測し、この予測画素
   データと上記注目画素の真値との誤差の自乗和を最小と
   するように、上記複数の係数を最小自乗法により同定す
   るステップと、 上記同定した上記複数の係数と上記過去の数フィールド
   に含まれる画素データと上記背景画像データとから上記
   現在のフィールドの予測画素データを生成するステップ
   と、 次のフィールドにおいては、上記現在のフィールドの予
   測画素データを以前のフィールドの画素データとして、
   上記背景画像データの生成、係数の同定及び予測のため
   に使用するように、過去の数フィールドに含まれる画素
   データをメモリに貯えるステップと、 上記現在のフィールドの画素データに代えて、上記同定
   した複数の係数を伝送するステップと、 受信された上記係数と過去の数フィールドの画素データ
   及び背景画像データとの線形１次結合により復元画素デ
   ータを生成するステップと、 上記復元画素データを上記過去の数フィールドに含まれ
   る画素データとして、メモリに貯えると共に、上記メモ
   リに貯えられた上記過去の数フィールドに含まれる画素
   データから上記背景画像データを抽出するステップとか
   らなることを特徴とする高能率符号化及び復号化方法。