JPS62101187A - 高能率符号化及び復号化方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、画像データを狭い伝送帯域でもって伝送す
るのに適用される高能率符号化装置に関する。

〔発明の概要〕

この発明は、例えばディジタルテレビジョン信号の１画
素のビット数を少なくする高能率符号化方法において、
過去の数フィールドの画素データから現在のフィールド
の画素データを予測符号化する時に、予測誤差の自乗和
が最も小となるパラメータを同定するもので、この同定
の時に逆行列が不定となるために、パラメータが求まら
なかった時に静止画モードであることを示す制御コード
を形成し、パラメータと制？ＩＩＩコードとを伝送する
ことにより、受信側での画像の復元を良好に行うことが
できるようにしたものである。

〔従来の技術〕

１画素当たりのビット数を低減する高能率符号化として
３次元的な即ち時空間な処理を行うフレーム間符号化方
式が知られている。フレーム間符号化方式としては、動
き検出によるものと、動き補正によるものとがある。前
者は、フレーム差の有無で動き検出を行い、フレーム差
の無い所（即ち、動きの無い所）だけを前フレームのデ
ータで置き換えるものである。

後者の方式は、ブロックマツチング法等により現在と前
フレーム間の位置関係情報（動き補正量）を求め、この
動き補正量に基づいて前フレーム画像を操作してフレー
ム間の対応を取るものである。ブロックマツチング法は
、画面を複数のブロックに分割し、各ブロック毎に動き
の量及びその方向を求め、この動きの量及びその方向を
伝送するものである。

〔発明が解決しようとする問題点〕

動き検出によるフレーム間符号化方式は、一般の動画像
では、動き部分が多（、圧縮率が低い問題点があった。

また、動き補正によるフレーム間符号化方式は、グロッ
ク分けによる歪が発生し、各ブロック毎の動き量を伝送
するために、圧縮率が充分に低いといえない欠点があっ
た。

更に、何れの方式でも、動き物体が動いた時に、元の領
域の画素データがなくなる所謂アンカバードバックグラ
ウンドの問題を生じる欠点があった。

従って、この発明は、従来の装置に比して極めて大きい
圧縮率を実現できる高能率符号化Ｗｉ７の提供を目的と
するものである。

この発明の他の目的は、時間方向の各種補正を施すこと
により、複数の動き物体による各種の動きに対応できる
高能率符号化装置を提供することにある。

この発明の更に他の目的は、空間方向の各種補正を施す
ことにより、エツジ部のボケや、アンカパードパ・７ク
グラウンド等の問題が生じない高能率符号化装置を提供
することにある。

また、本願出願人は、先に圧縮率を極めて高くできる高
能率符号化装置（特願昭５９−１７４４１２号）を提案
している。この発明は、この高能率符号化装置の改良を
目的とするものである。

即ち、上記出願に示されるものは、現フィールドの画素
に対する予測値を、最も相関が強い近傍の画素を代表値
として取り出し、この代表値に時空間方向の補正を施し
て求めるもので、補正のためのパラメータは、予測誤差
の自乗和を最小にするように同定される。この自乗和を
最小にするパラメータを求める際の演算において、逆行
列を解く必要がある。

しかし、静止画成いは語長の制限によって静止画と区別
できない動きの殆どない動画のシーンでは、逆行列が求
まるための条件が満足されず、不定となり、パラメータ
が求められな（なる問題点が認められた。

従って、この発明の目的は、パラメータが求められない
時に静止画モードであることを示す制御コードを伝送す
ることにより、受信側で良好に画像の復元を行うことが
できる高能率符号化装置を提供することにある。

〔問題点を解決するための手段〕

この発明は、過去の数フィールドの画素データを貯える
メモリと、現在のフィールドの画素データとメモリに貯
えられている過去の数フィールドの画素データとから線
形１吹精合で規定される時空間な関係式を規定するパラ
メータを予測誤差の自乗和が最小となるように同定する
と共に、同定時に逆行列が不定のためにパラメータが求
まらないフィールドについて静止画モードであることを
示す制？ｆｆｌコードを形成する手段と、同定したパラ
メータに基づいて、過去の数フィールドの画素データか
ら現在のフィールドの画素データの予測を行い、静止画
モードでは、前フレームの復元信号を予測値とする手段
とを備え、制御コードと同定されたパラメータとを伝送
するようにしたことを特徴とする高能率符号化装置であ
る。

〔作用〕 この発明は、過去数フィールドの画素データから、現在
の動きを予測するものである。この発明では、複数の動
き物体の各々の動き情報は上記の画素データに含まれて
いるので、つまり、各種の方向や速度を持つ動きベクト
ルも時間的には強い相関を有するので、動き量を伝送す
る必要がなく、１フイールド毎のパラメータ（予測誤差
の自乗和を最小とするような係数）のみを伝送すれば良
（，１画素当たりの平均ビット数を極めて少な（できる
。また、この発明では、動き補正を各画素のレベルの時
間的変化として捕らえるので、動きベクトルの方向や速
度に依らない定速度運動（過去２フイールドのデータで
表現される）或いは定加速度運動（過去３フイールドの
データで表現される）といった運動モデルとして統一的
に扱えるので、隼純に動きモデルからのずれを補正する
だけですむ。従って、この発明によれば、圧縮率を高め
ることができる。更に、時間的及び空間的の３次元的に
補正がなされるので、ブロック歪やアンカハードバック
グラウンドの問題を何等生じない。

より更に、この発明では、パラメータを同定する時に、
静止画や、動きの殆どない画像のために逆４千列が不定
となり、パラメータを求めることができない場合に、静
止画モードであることを示す制御コードをパラメータと
共に伝送することにより、受信側で画像の復元を良好に
行うことができる。

〔実施例〕

以下、この発明の一実施例について、図面を参照して説
明する。この一実施例の説明は、下記の順序でなされる
。

ａ、符号化装置 す、復号化装置 Ｃ，パラメータの同定 ａ、符号化装置 第１図は、この発明の一実施例即ち送信側に設けられる
符号化装置の構成を示す。

第１図において、１は、パラメータ同定部を示す。この
パラメータ同定部１には、所定のサンプリング周波数で
ディジタル化されたディジタルテレビジョン信号即ち現
フィールドにの画像データが入力されると共に、過去の
３フイールドに−１゜ｋ−２，に−３の各フィールドの
参照データが選択回路３及びフィールドメモリ４．５の
夫々から供給される。現在のフィールドｋに対して、ｋ
−１は、前のフィールドであり、ｋ−２は、更に前のフ
ィールドであり、ｋ〜３は、より更に前のフィールドで
ある。

これらの過去のフィールドの画像データは予測部２にお
いて形成された予測データで、この子濶データと現フイ
ールドデータを用いてパラメータ同定部ｌは、最小自乗
法により予測誤差の自乗和が最小となるような例えば各
々が８ビツトの３５個のパラメータｗ１〜Ｗ３５を１フ
イールドごとに同定する。このパラメータの同定時に、
静止画成いは動きの殆どない動画の場合には、逆行列が
不定となり、パラメータが求まらない。この場合では、
１ビツトの制ｆＪＩＩコードＳＪが例えばハイレベルと
される。パラメータが求まる場合の制御コードＳＪは、
ローレベルとされる。

パラメータ同定部１には、空間的位置関係を調整するた
めのライン遅延回路及びサンプル遅延回路が含まれてい
る。パラメータ同定部１で同定されたパラメータＷ１〜
ｗ３５及び制御コードＳＪが送信データとされる。この
パラメータＷ１〜Ｗ３５は、入力データに対して１フイ
ールド遅れたフィールドに−１のものである。

２は、予測部を示し、フィールドメモリ４．５．６には
、予測部２からの予測データが選択回路３を介して書き
込まれ、フィールドに−１より過去の３フイールドに−
１，に−２，に−３の画像データ（予測データ）が貯え
られる。予測部２は、予測しよ゛うとする画素の近傍に
位置し、且つ過去３フイールド内に含まれる３５個の予
測データとパラメータＷ１〜ｗ３５とを用いて現画素に
対する予測値を求めるものである。このため、予測部２
にも、空間的位置関係を調整するための複数のライン遅
延回路及び複数のサンプル遅延回路が含まれている。送
信側において、本当の画１＆データでなく、予測データ
を使用するのは、受信側の画像復元との同一性を確保す
るためである。

選択回路３は、パラメータ同定部１により形成された制
御コードＳＪにより制御される。動画モードでは、予測
部２からの予測データが選択され、静止画モードでは、
フィールドメモリ５からの２フイールド（１フレーム）
前の予測データが選択される。即ち、パラメータが求ま
らなかった時には、予測部２から正しい予測データが発
生しないので、■フレーム前のデータが代わりにフィー
ルドメモリ４に書き込まれる。この後の動作において、
パラメータが求まらない状態が続くことを防止するため
に、図示せずも、他の補正方法が併用される。

現フィールドにの画素データ（第３図Ａ）に対する予測
値は、その前フィールドに−１の近傍の１０画素のデー
タ（第３図Ｂ）、その前々フィールドに−２の近傍の１
５画素のデータ（第３図Ｃ）、その前々々フィールドに
−３の近傍の１０画素のデータ（第３図Ｄ）の計３５個
の画素データの線形１次結合として求められる。

第３図Ａ〜第３図りにおいて水平方向の実線がフィール
ドｋ及びフィールドに−２において走査されるラインを
表し、水平方向の破線がフィールドに−１及びフィール
ドに−３において走査されるラインを表す。現フィール
ドにの画素データが含まれる位置のラインをｙとして、
その上側に位置するラインをｙ＋１とし、更にラインｙ
＋１の上側に位置するラインをｙ＋２としている。ライ
ンｙの下側に位置するラインは、夫々ｙ−１、ｙ−２と
している。

第３図Ａ〜第３図りにおいて垂直方向の実線が各フィー
ルドにおけるサンプリング位置を示し、現フィールドに
の画素データのサンプリング位置Ｘより１サンプル前の
サンプリング位置及びこれより２サンプル前のサンプリ
ング位置を夫々Ｘ−１、ｘ−’ｌとしている。また、サ
ンプリング位置Ｘの後のサンプリング位置及びより後の
サンプリング位置を夫々Ｘ＋１、ｘ＋２としている。

現画素に対する予測デー９　Ｌ　（ｘ、ｙ）は、次式の
線形−次結合で表される。

上述の予測式は、現フィールドの画素に対する予測値を
、最も相関が強い近傍の画素を代表値として取り出し、
この代表値に時空間方向の補正を施して求めることを意
味する。

パラメータ同定部１は、選択回路３及びフィールドメモ
リ４．５からの参照データを用いて、最小自乗法により
パラメータを同定する。つまり、現フィールドの成る画
素の真４ｆｊ、Ｉうは、上式で求められたこれと対応す
る画素の予測値↑５に予測誤差ｅが重畳されたものであ
るから、（ｅ＝↑、−Ｉｈ）となり、この予測誤差の自
乗和を所定数の画素に関して最小にするパラメータＷ１
〜Ｗ３５が計算される。

この場合、１フイールドに含まれる全ての予測画素（例
えば１ライン内に８００００画素フィールドが２５５ラ
インの場合では、８００Ｘ２５５個）を用いてパラメー
タＷ１〜ｗ３５を最小自乗法により計算すれば、最高の
精度が得られるが、回路規模が大きくなるので、ネＭ数
サンプル毎の間引きにより得られた所定数の例えば３０
０個の代表の画素を用いてパラメータＷ１〜ｗ３５の同
定を行うのが実際的である。

また、画面の周辺部でデータが存在しない所では、第４
図に示すように、画面内のデータａ〜ｈと同一のデータ
が画面外にあるものとして代用すれば良い。或いは、第
４図において破線図示のように、１ライン内側で巨つ２
サンプル内側に寄った領域内で同定を行うようにしても
良い。

尚、現在のフィールドに対して過去の２フィールドの画
素データを用いても良く、そのときには、３次元運動モ
デルとして、定速度運動モデルを表現することになる。

ｂ、復号化装置 上述の符号化がなされた送信データを受信する復号化装
置は、第２図に示すように、選択回路１３とフィールド
メモリ１４．１５．１６と、受信されたパラメータＷ１
〜ｗ３５が供給されると共に、フィールドメモリ１４．
１５．１６から過去３フイールドのデータが供給される
予測部１２とで構成される。この予測部１２により復元
データ即ちディジタルテレビジョン信号が形成される。

受信側で、ディジタルテレビジョン信号を復元するため
に、パラメータＷ１〜ｗ３５の送信に先行して３フイ一
ルド分の初ＸＪＩ　（ｉｔが送信され、この初期イ直が
フィールドメモリ１４，１５．１６の夫々に書き込まれ
る。

選択回路１３は、受信された制御コードＳＪにより切り
替えられる。制御コードＳＪがローレベルの動画モード
では、予測部１２からの予測データを選択してフィール
ドメモリ１４に供給し、制御コードＳＪがハイレベルの
静止画モードでは、予測部１２からの予測データに代え
て、フィールドメモリ１５からの１フレーム前の予測デ
ータを選択してフィールドメモリ１４に供給する。

Ｃ，パラメータの同定 上述のパラメータ同定部１によりなされるパラメータＷ
１〜ｗ３５の同定について、最小自乗法を用いた一例に
ついて以下に説明する。

前述の予測データ↑よ　（ｘ、ｙ）を算出する線形１次
結合の式は、現フイールド全体に関して予測を行う場合
、下記の行列により表現できる。

！ 上式を行列とベクトルとによりまとめて表現すると、 ↑＝ｒ・Ｗ （ｕＬ、丁は、（ｍＸｎ）次のベクトル、↑は、（ｍｘ
ｎ、３５）の行列、Ｗは、３５次ノヘクトルテある。

一方、現フィールドのデータ（真値）を並べてなるベク
トル■は、（ｍＸｎ）次のベクトルであり、ｅを（ｍｘ
ｎ）次の予測誤差ベクトルとすると、 ■＝ｉ＋ｅ＝↑書Ｗ士ｅ となる。上式は、 ｅ＝７−↑・Ｗ となる。この予測誤差ベクトルｅの自乗相を最小にする
パラメータＷが求められる。上式は、下記のように変形
される。但し、Ｔは、転置行列を示す。

ｅＴ　ｅ＝（［−↑Ｗ）ｉ（Ｉ−１ｗ）＝１丁　１−Ｉ
”　　１ｗ　−ｗ”　　↑”ｉ＋ＷＴ　↑７　↑Ｗ上式
で、ｅ丁ｅを最小にするパラメータＷは、次式を満足す
るものとなる。この式の導出は、例えば文献こシステム
同定」（発行所二社団法人計測自動制御学会０発行日：
昭和５６年２月１０日（初版））の第４章第４節２項に
記載されている。

、’、ｗ＝（↑１↑）−１↑Ｔｌ 上式により、パラメータ曹が安定に求まるには、逆行列
（↑７　↑）−１が求まることが必要である。

この一実施例では、静止画成いは動きの殆どない動画の
場合に逆行列が求まるための条件（正則）が満足されず
、逆行列が不定となると、パラメータが求められない静
止画モードであることを示す制御コードＳＪがハイレベ
ルとされる。

このままでは、１フイールドの（ｍＸｎ）個の全画素の
場合、（ｒｒｌｘｎ、３５）と言う非常に大きな行列を
扱うことになり、実際的でない。従って、上式を小さい
次数の行列及びベクトルに直して処理する。即ち、（Ｐ
＝↑７　・Ｉ）の（３５，３５）の行列と、（Ｑ＝↑７
　・■）の３５次のベクトルとを用いる。

ニ ×Ｌ　＊−＋　（ｘ、−２＋ｙｊ＋１）　Ｔｍ−＋（Ｘ
＋　−１，ｙｊ　＋１）コ ・・・　　↑に−＋　　（ｘ６　　＋２．Ｖｊ　−１）
ＪＬ　↑　ｋ−：＋（Ｘ　、　＋２．ｙ；　　；１）　
　　ｊ×↑ｗ　　（Ｘ；　　＋Ｖ＝　） 上述のＰ及びＱがパラメータ同定部１に供給される過去
の３フイールドの予測データから形成される。そして、
（Ｐ−’Ｑ）によりパラメータＷが計算される。

〔発明の効果〕

この発明は、過去数フィールドの画素データから現在の
動きを予測するものであり、従って、複数の動き物体の
各々の動き情報は、上記の画素データに含まれているの
で、動き量を伝送する必要がなく、ｌフィールド毎のパ
ラメータ（予測のための係数）のみを伝送すれば良く、
１画素当たりの平均ビット数を極めて少なくできる。。

また、この発明では、動き補正を各画素のレベルの時間
的変化として捉えるので、動きベクトルの方向や速度に
依らない定速度運動（過去２フイールドのデータで表現
される）或いは定加速度運動（過去３フイールドのデー
タで表現される）といった運動モデルとして統一的に扱
えるので、単純に動きモデルからのずれを補正するだけ
ですむ。

従って、この発明に依れば、圧縮率を高めることができ
る。

また、３次元的に補正がなされるので、ブロック歪やア
ンカバードバックグランドの問題を何ら生じない。

更に、この発明は、逆行列が不定となり、パラメータが
求められない静止画モードを制御コードＳＪにより示す
と共に、この時のデータとして１フレーム前の予測デー
タを使用するので、受信側で画像を良好に復元すること
ができる。また、静止画モードの判別が単純なフレーム
差を用いる方法に比して正確とできる。

【図面の簡単な説明】

第１図はこの発明の一実施例のブロック図、第２図はこ
の発明の一実施例により符号化された伝送データを受信
するための構成を示すブロック図、第３図及び第４図は
この発明の一実施例の説明に用いる路線図でみる。 図面における主要な符号の説明 １：パラメータ同定部、２：予測部、３：選択回路、４
．５．６：フィールドメモリ。 代理人　　　弁理士　杉　浦　正　知 ｉ４ｍ　の＊Ｊ’ｋ　　　　　　　　　　　　　　。 第１図　　　　　。 ペトイ倉４Ｕ／）キ艮Ｊ又゛ 第２図 Ｑｂｅｄ コーｒ−郭の殉理 第４図 ｘ−２ｘ−１ｘｘ＋１ｘ＋２ 第３図Ａ 第３図Ｃ 第３図Ｂ 第３図Ｄ

Claims (1)

【特許請求の範囲】
1. 過去の数フィールドの画素データを貯えるメモリと、現
   在のフィールドの画素データと上記メモリに貯えられて
   いる過去の数フィールドの画素データとから線形１次結
   合で規定される時空間な関係式を規定するパラメータを
   予測誤差の自乗和が最小となるように同定すると共に、
   上記同定時に逆行列が不定のためにパラメータが求まら
   ないフィールドについて静止画モードであることを示す
   制御コードを形成する手段と、上記同定したパラメータ
   に基づいて、上記過去の数フィールドの画素データから
   上記現在のフィールドの画素データの予測を行い、上記
   静止画モードでは、前フレームの復元信号を予測値とす
   る手段とを備え、上記制御コードと上記同定されたパラ
   メータとを伝送するようにしたことを特徴とする高能率
   符号化装置。