JPH0746866B2 - 高能率符号化及び復号化方法 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、画像データを狭い伝送帯域でもって伝送す
るのに適用される高能率符号化及び復号化方法に関す
る。

〔発明の概要〕

この発明は、例えばディジタルテレビジョン信号の１画
素のビット数を少なくする高能率符号化方法において、
過去の数フィールドの画素データから現在のフィールド
の画素データを予測符号化する時に、予測誤差の自乗和
が最も小となるパラメータを同定するもので、この同定
の時に逆行列が不定となるために、パラメータが求まら
なかった時に静止画モードであることを示す制御コード
を形成し、パラメータと制御コードとを伝送することに
より、受信側での画像の復元を良好に行うことができる
ようにしたものである。

〔従来の技術〕

１画素当たりのビット数を低減する高能率符号化として
３次元的な即ち時空間な処理を行うフレーム間符号化方
式が知られている。フレーム間符号化方式としては、動
き検出によるものと、動き補正によるものとがある。前
者は、フレーム差の有無で動き検出を行い、フレーム差
の無い所（即ち、動きの無い所）だけを前フレームのデ
ータで置き換えるものである。

後者の方式は、ブロックマッチング法等により現在と前
フレーム間の位置関係情報（動き補正量）を求め、この
動き補正量に基づいて前フレーム画像を操作してフレー
ム間の対応を取るものである。ブロックマッチング法
は、画面を複数のブロックに分割し、各ブロック毎に動
きの量及びその方向を求め、この動きの量及びその方向
を伝送するものである。

〔発明が解決しようとする問題点〕

動き検出によるフレーム間符号化方式は、一般の動画像
では、動き部分が多く、圧縮率が低い問題点があった。

また、動き補正によるフレーム間符号化方式は、ブロッ
ク分けによる歪が発生し、各ブロック毎の動き量を伝送
するために、圧縮率が充分に低いといえない欠点があっ
た。

更に、何れの方式でも、動き物体が動いた時に、元の領
域の画素データがなくなる所謂アンカバードバックグラ
ウンドの問題を生じる欠点があった。

従って、この発明は、従来の装置に比して極めて大きい
圧縮率を実現できる高能率符号化及び復号化方法の提供
を目的とするものである。

この発明の他の目的は、時間方向の各種補正を施すこと
により、複数の動き物体による各種の動きに対応できる
高能率符号化及び復号化方法を提供することにある。

この発明の更に他の目的は、空間方向の各種補正を施す
ことにより、エッジ部のボケや、アンカバードバックグ
ラウンド等の問題が生じない高能率符号化及び復号化方
法を提供することにある。

また、本願出願人は、先に圧縮率を極めて高くできる高
能率符号化装置（特願昭59−174412号）を提案してい
る。この発明は、この高能率符号化装置の改良を目的と
するものである。

即ち、上記出願に示されるものは、現フィールドの画素
に対する予測値を、最も相関が強い近傍の画素を代表値
として取り出し、この代表値に時空間方向の補正を施し
て求めるもので、補正のためのパラメータは、予測誤差
の自乗和を最小にするように同定される。この自乗和を
最小にするパラメータを求める際の演算において、逆行
列を解く必要がある。

しかし、静止画或いは語長の制限によって静止画と区別
できない動きの殆どない動画のシーンでは、逆行列が求
まるための条件が満足されず、不定となり、パラメータ
が求められなくなる問題点が認められた。

従って、この発明の目的は、パラメータが求められない
時に静止画モードであることを示す制御コードを伝送す
ることにより、受信側で良好に画像の復元を行うことが
できる高能率符号化及び復号化方法を提供することにあ
る。

〔問題点を解決するための手段〕

この発明は、現在のフィールドに含まれる注目画素の値
を、注目画素の近傍に位置し且つ過去の数フィールドに
含まれる複数の画素データと、複数の係数との線形１次
結合により予測し、この予測画素データと注目画素の真
値との誤差の自乗和を最小とするように、複数の係数を
最小自乗法により同定すると共に、 同定時に逆行列が不定のために係数が同定されないとき
には、そのフィールドについては静止画モードであるこ
とを示す制御コードを形成するステップと、 同定した複数の係数と過去の数フィールドに含まれる複
数の画素データとから現在のフィールドの予測画素デー
タを生成するとともに、静止画モードでは、前フレーム
の予測画素データを選択するステップと、 次のフィールドにおいては、現在のフィールドの予測画
素データまたは前フレームの予測画素データを以前のフ
ィールドの画素データとして、係数の同定及び予測のた
めに使用するように、過去の数フィールドに含まれる画
素データをメモリに貯えるステップと、 現在のフィールドの画素データに代えて、制御コードと
同定された係数とを伝送するステップとからなる高能率
符号化方法である。また、この発明は、かかる符号化方
法に対する復号化方法である。

〔作用〕

この発明は、過去数フィールドの画素データから、現在
の動きを予測するものである。この発明では、複数の動
き物体の各々の動き情報は上記の画素データに含まれて
いるので、つまり、各種の方向や速度を持つ動きベクト
ルも時間的には強い相関を有するので、動き量を伝送す
る必要がなく、１フィールド毎のパラメータ（予測誤差
の自乗和を最小とするような係数）のみを伝送すれば良
く、１画素当たりの平均ビット数を極めて少なくでき
る。また、この発明では、動き補正を各画素のレベルの
時間的変化として捕らえるので、動きベクトルの方向や
速度に依らない定速度運動（過去２フィールドのデータ
で表現される）或いは定加速度運動（過去３フィールド
のデータで表現される）といった運動モデルとして統一
的に扱えるので、単純に動きモデルからのずれを補正す
るだけですむ。従って、この発明によれば、圧縮率を高
めることができる。更に、時間的及び空間的の３次元的
に補正がなされるので、ブロック歪やアンカバードバッ
クグラウンドの問題を何等生じない。より更に、この発
明では、パラメータを同定する時に、静止画や、動きの
殆どない画像のために逆行列が不定となり、パラメータ
を求めることができない場合に、静止画モードであるこ
とを示す制御コードをパラメータと共に伝送することに
より、受信側で画像の復元を良好に行うことができる。

〔実施例〕

以下、この発明の一実施例について、図面を参照して説
明する。この一実施例の説明は、下記の順序でなされ
る。

a.符号化装置 b.復号化装置 c.パラメータの同定 a.符号化装置 第１図は、この発明の一実施例即ち送信側に設けられる
符号化装置の構成を示す。

第１図において、１は、パラメータ同定部を示す。この
パラメータ同定部１には、所定のサンプリング周波数で
ディジタル化されたディジタルテレビジョン信号即ち現
フィールドｋの画像データが入力されると共に、過去の
３フィールドｋ−1,k−2,k−３の各フィールドの参照デ
ータが選択回路３及びフィールドメモリ4,5の夫々から
供給される。現在のフィールドｋに対して、ｋ−１は、
前のフィールドであり、ｋ−２は、更に前のフィールド
であり、ｋ−３は、より更に前のフィールドである。

これらの過去のフィールドの画像データは予測部２にお
いて形成された予測データで、この予測データと現フィ
ールドデータを用いてパラメータ同定部１は、最小自乗
法により予測誤差の自乗和が最小となるような例えば各
々が８ビットの35個のパラメータw1〜w35を１フィール
ドごとに同定する。このパラメータの同定時に、静止画
或いは動きの殆どない動画の場合には、逆行列が不定と
なり、パラメータが求まらない。この場合では、１ビッ
トの制御コードSJが例えばハイレベルとされる。パラメ
ータが求まる場合の制御コードSJは、ローレベルとされ
る。

パラメータ同定部１には、空間的位置関係を調整するた
めのライン遅延回路及びサンプル遅延回路が含まれてい
る。パラメータ同定部１で同定されたパラメータw1〜w3
5及び制御コードSJが送信データとされる。このパラメ
ータw1〜w35は、入力データに対して１フィールド遅れ
たフィールドｋ−１のものである。

２は、予測部を示し、フィールドメモリ４、５、６に
は、予測部２からの予測データが選択回路３を介して書
き込まれ、フィールドｋ−１より過去の３フィールドｋ
−1,k−2,k−３の画像データ（予測データ）が貯えられ
る。予測部２は、予測しようとする画素の近傍に位置
し、且つ過去３フィールド内に含まれる35個の予測デー
タとパラメータw1〜w35とを用いて現画素に対する予測
値を求めるものである。このため、予測部２にも、空間
的位置関係を調整するための複数のライン遅延回路及び
複数のサンプル遅延回路が含まれている。送信側におい
て、本当の画像データでなく、予測データを使用するの
は、受信側の画像復元との同一性を確保するためであ
る。

選択回路３は、パラメータ同定部１により形成された制
御コードSJにより制御される。動画モードでは、予測部
２からの予測データが選択され、静止画モードでは、フ
ィールドメモリ５からの２フィールド（１フレーム）前
の予測データが選択される。即ち、パラメータが求まら
なかった時には、予測部２から正しい予測データが発生
しないので、１フレーム前のデータが代わりにフィール
ドメモリ４に書き込まれる。この後の動作において、パ
ラメータが求まらない状態が続くことを防止するため
に、図示せずも、他の補正方法が併用される。

現フィールドｋの画素データ（第３図Ａ）に対する予測
値は、その前フィールドｋ−１の近傍の10画素のデータ
（第３図Ｂ）、その前々フィールドｋ−２の近傍の15画
素のデータ（第３図Ｃ）、その前々々フィールドｋ−３
の近傍の10画素のデータ（第３図Ｄ）の計35個の画素デ
ータの線形１次結合として求められる。

第３図Ａ〜第３図Ｄにおいて水平方向の実線がフィール
ドｋ及びフィールドｋ−２において走査されるラインを
表し、水平方向の破線がフィールドｋ−１及びフィール
ドｋ−３において走査されるラインを表す。現フィール
ドｋの画素データが含まれる位置のラインをｙとして、
その上側に位置するラインをｙ＋１とし、更にラインｙ
＋１の上側に位置するラインをｖ＋２としている。ライ
ンｙの下側に位置するラインは、夫々ｙ−１、ｙ−２と
している。

第３図Ａ〜第３図Ｄにおいて垂直方向の実線が各フィー
ルドにおけるサンプリング位置を示し、現フィールドｋ
の画素データのサンプリング位置ｘより１サンプル前の
サンプリング位置及びこれより２サンプル前のサンプリ
ング位置を夫々ｘ−１、ｘ−２としている。また、サン
プリング位置ｘの後のサンプリング位置及びより後のサ
ンプリング位置を夫々ｘ＋１、ｘ＋２としている。

現画素に対する予測データ_k（x,y）は、次式の線形一
次結合で表される。

_k（x,y）＝ w1×_k-1（ｘ−2,y＋１） ＋w2×_k-1（ｘ−1,y＋１）＋w3×_k-1（x,y＋１） ＋w4×_k-1（ｘ＋1,y＋１）＋w5×_k-1（ｘ＋2,y＋
１） ＋w6×_k-1（ｘ−2,y−１）＋w7×_k-1（ｘ−1,y−
１） ＋w8×_k-1（x,y−１）＋w9×_k-1（ｘ＋1,y−１） ＋w10×_k-1（ｘ＋2,y−１） ＋w11×_k-2（ｘ−2,y＋２）＋w12×_k-2（ｘ−1,y＋
２） ＋w13×_k-2（x,y＋２）＋w14×_k-2（ｘ＋1,y＋２） ＋w15×_k-2（ｘ＋2,y＋２）＋w16×_k-2（ｘ−2,y） ＋w17×_k-2（ｘ−1,y）＋w18×_k-2（x,y） ＋w19×_k-2（ｘ＋1,y）＋w20×_k-2（ｘ＋2,y） ＋w21×_k-2（ｘ−2,y−２）＋w22×_k-2（ｘ−1,y−
２） ＋w23×_k-2（x,y−２）＋w24×_k-2（ｘ＋1,y−２） ＋w25×_k-2（ｘ＋2,y−２） ＋w26×_k-3（ｘ−2,y＋１）＋w27×_k-3（ｘ−1,y＋
１） ＋w28×_k-3（x,y＋１）＋w29×_k-3（ｘ＋1,y＋１） ＋w30×_k-3（ｘ＋2,y＋１）＋w31×_k-3（ｘ−2,y−
１） ＋w32×_k-3（ｘ−1,y−１）＋w33×_k-3（x,y−１） ＋w34×_k-3（ｘ＋1,y−１）＋w35×_k-3（ｘ＋2,y−
１） 上述の予測式は、現フィールドの画素に対する予測値
を、最も相関が強い近傍の画素を代表値として取り出
し、この代表値に時空間方向の補正を施して求めること
を意味する。

パラメータ同定部１は、選択回路３及びフィールドメモ
リ4,5からの参照データを用いて、最小自乗法によりパ
ラメータを同定する。つまり、現フィールドの或る画素
の真値I_kは、上式で求められたこれと対応する画素の予
測値_kに予測誤差ｅが重畳されたものであるから、
（ｅ＝_k−I_k）となり、この予測誤差の自乗和を所定
数の画素に関して最小にするパラメータw1〜w35が計算
される。

この場合、１フィールドに含まれる全ての予測画素（例
えば１ライン内に800画素、１フィールドが255ラインの
場合では、800×255個数）を用いてパラメータw1〜w35
を最小自乗法により計算すれば、最高の精度が得られる
が、回路規模が大きくなるので、複数サンプル毎の間引
きにより得られた所定数の例えば300個の代表の画素を
用いてパラメータw1〜w35の同定を行うのが実際的であ
る。

また、画面の周辺部でデータが存在しない所では、第４
図に示すように、画面内のデータａ〜ｈと同一のデータ
が画面外にあるものとして代用すれば良い。或いは、第
４図において破線図示のように、１ライン内側で且つ２
サンプル内側に寄った領域内で同定を行うようにしても
良い。

尚、現在のフィールドに対して過去の２フィールドの画
素データを用いても良く、そのときには、３次元運動モ
デルとして、定速度運動モデルを表現することになる。

b.復号化装置 上述の符号化がなされた送信データを受信する復号化装
置は、第２図に示すように、選択回路13とフィールドメ
モリ14,15,16と、受信されたパラメータw1〜w35が供給
されると共に、フィールドメモリ14,15,16から過去３フ
ィールドのデータが供給される予測部12とで構成され
る。この予測部12により復元データ即ちディジタルテレ
ビジョン信号が形成される。受信側で、ディジタルテレ
ビジョン信号を復元するために、パラメータw1〜w35の
送信に先行して３フィールド分の初期値が送信され、こ
の初期値がフィールドメモリ14,15,16の夫々に書き込ま
れる。

選択回路13は、受信された制御コードSJにより切り替え
られる。制御コードSJがローレベルの動画モードでは、
予測部12からの予測データを選択してフィールドメモリ
14に供給し、制御コードSJがハイレベルの静止画モード
では、予測部12からの予測データに代えて、フィールド
メモリ15からの１フレーム前の予測データを選択してフ
ィールドメモリ14に供給する。

c.パラメータの同定 上述のパラメータ同定部１によりなされるパラメータw1
〜w35の同定について、最小自乗法を用いた１例につい
て以下に説明する。

前述の予測データ^k（x,y）を算出する線形１次結合の
式は、現フィールド全体に関して予測を行う場合、下記
の行列により表現できる。

上式を行列とベクトルとによりまとめて表現すると、 但し、 （ｍ×ｎ）次のベクトル，は、（ｍ×n,35）の行列、 35次のベクトルである。

一方、現フィールドのデータ（真値）を並べてなるベク
トル （ｍ×ｎ）次のベクトルであり、 を（ｍ×ｎ）次の予測誤差ベクトルとすると、 となる。上式は、 となる。この の自乗和を最小にする が求められる。上式は、下記のように変形される。但
し、Ｔは、転置行列を示す。

次式を満足するものとなる。この式の導出は、例えば文
献「システム同定」（発行所：社団法人計測自動制御学
会，発行日：昭和56年２月10日（初版））の第４章第４
節２項に記載されている。

上式により、 が安定に求まるには、逆行列（^T）^-1が求まること
が必要である。この一実施例では、静止画或いは動きの
殆どない動画の場合に逆行列が求まるための条件（正
則）が満足されず、逆行列が不定となると、パラメータ
が求められない静止画モードであることを示す制御コー
ドSJがハイレベルとされる。

このままでは、１フィールドの（ｍ×ｎ）個の全画素の
場合、（ｍ×n,35）と言う非常に大きな行列を扱うこと
になり、実際的でない。従って、上式を小さい次数の行
列及びベクトルに直して処理する。即ち、（Ｐ＝^T・
）の（35,35）の行列と、 の35次のベクトルとを用いる。

上述のＰ及びＱがパラメータ同定部１に供給される過去
の３フィールドの予測データから形成される。そして、
（P^-1Q）により が計算される。

〔発明の効果〕

この発明は、過去数フィールドの画素データから現在の
動きを予測するものであり、従って、複数の動き物体の
各々の動き情報は、上記の画素データに含まれているの
で、動き量を伝送する必要がなく、１フィールド毎のパ
ラメータ（予測のための係数）のみを伝送すれば良く、
１画素当たりの平均ビット数を極めて少なくできる。

また、この発明では、動き補正を各画素のレベルの時間
的変化として捉えるので、動きベクトルの方向や速度に
依らない定速度運動（過去２フィールドのデータで表現
される）或いは定加速度運動（過去３フィールドのデー
タで表現される）といった運動モデルとして統一的に扱
えるので、単純に動きモデルからのずれを補正するだけ
ですむ。従って、この発明に依れば、圧縮率を高めるこ
とができる。

また、３次元的に補正がなされるので、ブロック歪やア
ンカバードバックグランドの問題を何ら生じない。

更に、この発明は、逆行列が不定となり、パラメータが
求められない静止画モードを制御コードSJにより示すと
共に、この時のデータとして１フレーム前の予測データ
を使用するので、受信側で画像を良好に復元することが
できる。また、静止画モードの判別が単純なフレーム差
を用いる方法に比して正確とできる。

【図面の簡単な説明】

第１図はこの発明の一実施例のブロック図、第２図はこ
の発明の一実施例により符号化された伝送データを受信
するための構成を示すブロック図、第３図及び第４図は
この発明の一実施例の説明に用いる略線図である。 図面における主要な符号の説明 1:パラメータ同定部、2:予測部、3:選択回路、4,5,6:フ
ィールドメモリ。

Claims (2)

【特許請求の範囲】
1. 【請求項１】現在のフィールドに含まれる注目画素の値
   を、上記注目画素の近傍に位置し且つ過去の数フィール
   ドに含まれる複数の画素データと、複数の係数との線形
   １次結合により予測し、この予測画素データと上記注目
   画素の真値との誤差の自乗和を最小とするように、上記
   複数の係数を最小自乗法により同定すると共に、 上記同定時に逆行列が不定のために上記係数が同定され
   ないときには、そのフィールドについては静止画モード
   であることを示す制御コードを形成するステップと、 上記同定した上記複数の係数と上記過去の数フィールド
   に含まれる複数の画素データとから上記現在のフィール
   ドの予測画素データを生成するとともに、上記静止画モ
   ードでは、前フレームの予測画素データを選択するステ
   ップと、 次のフィールドにおいては、上記現在のフィールドの予
   測画素データまたは上記前フレームの予測画素データを
   以前のフィールドの画素データとして、上記係数の同定
   及び予測のために使用するように、過去の数フィールド
   に含まれる画素データをメモリに貯えるステップと、 上記現在のフィールドの画素データに代えて、上記制御
   コードと上記同定された係数とを伝送するステップとか
   らなる高能率符号化方法。
2. 【請求項２】現在のフィールドに含まれる注目画素の値
   を、上記注目画素の近傍に位置し且つ過去の数フィール
   ドに含まれる複数の画素データと、複数の係数との線形
   １次結合により予測し、この予測画素データと上記注目
   画素の真値との誤差の自乗和を最小とするように、上記
   複数の係数を最小自乗法により同定すると共に、 上記同定時に逆行列が不定のために上記係数が同定され
   ないときには、そのフィールドについては静止画モード
   であることを示す制御コードを形成するステップと、 上記同定した上記複数の係数と上記過去の数フィールド
   に含まれる複数の画素データとから上記現在のフィール
   ドの予測画素データを生成するとともに、上記静止画モ
   ードでは、前フレームの予測画素データを選択するステ
   ップと、 次のフィールドにおいては、上記現在のフィールドの予
   測画素データまたは上記前フレームの予測画素データを
   以前のフィールドの画素データとして、上記係数の同定
   及び予測のために使用するように、過去の数フィールド
   に含まれる画素データをメモリに貯えるステップと、 上記現在のフィールドの画素データに代えて、上記制御
   コードと上記同定された係数とを伝送するステップと、 受信された上記係数と過去の数フィールドの画素データ
   との線形１次結合により復元画素データを生成するステ
   ップと、 上記復元画素データを上記過去の数フィールドの画素デ
   ータとして、メモリに貯えるステップと、 受信された上記制御コードにより上記静止画モードが指
   示される時に、上記メモリから前フレームの復元画素デ
   ータを上記生成された復元画素データに代えて出力とす
   ると共に、上記メモリに貯えるステップとからなる高能
   率符号化及び復号化方法。