JPS6298991A - テレビジヨン信号の高能率符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野］ この発明は、テレビジョン信号の高能率符号化装置に関
する。

〔発明の概要］ この発明は、ディジタルテレビジョン信号の１画素のビ
ット数を少な（する高能率符号化方法において、過去の
数フィールドの画素データから現在のフィールドの画素
データを予測符号化する時に、予測誤差の自乗和が最も
小となるパラメータを同定するもので、この同定の際に
フィールド全体の画素データでなく、このフィールド全
体の画素データを間引いてなる代表点を用いることによ
り、パラメータの同定の演算処理を簡略且つ高速にでき
るようにしたものである。

〔従来の技術〕

１画素当たりのどノド数を低域する高能率符号化として
３次元的な即ち時空間な処理を行うフレーム間符号化方
式が知られている。フレーム間符号化方式としては、動
き検出によるものと、動き補正によるものとがある。前
者は、フレーム差の有無で動き検出を行い、フレーム差
の無い所（即ち、動きの無い所）だけを前フレームのデ
ータで置き換えるものである。

後者−の方式は、ブロックマツチング法等により現在と
前フレーム間の位置関係情報（動き補正量）を求め、こ
の動き補正量に基づいて前フレーム画像を操作してフレ
ーム間の対応を取るものである。ブロックマツチング法
は、画面を複数のブロックに分割し、各ブロック毎に動
きの量及びその方向を求め、この動きの量及びその方向
を伝送するものである。

：発明が解決しようとする問題点〕 動き検出によるフレーム間符号化方式は、一般の動画像
では、動き部分が多く、圧縮率が低い問題点があった。

また、動き補正によるフレーム間符号化方式は、ブロッ
ク分けによる歪が発生し、各ブロック毎の動き量を伝送
するために、圧縮率が充分に低いといえない欠点があっ
た。

史に、何れの方式でも、動き物体が動いた時に、元の領
域の画素データがなくなる所謂アンカハードハックグラ
ウンドの問題を生しる欠点があった。

従って、この発明は、従来の装置に比して極めて大きい
圧縮率を実現できる高能率符号化装置の提供を目的とす
るものである。

この発明の他の目的は、時間方向の各種補正を施すこと
により、複数の動き物体による各種の動きに対応できる
高能率符号化装置を提供することにある。

この発明の史に他の目的は、空間方向の各種補正を施す
ことにより、エツジ部のボケや、アンカバードバックグ
ラウンド等の問題が生じない高能率符号化装置を提供す
ることにある。

また、本願出願人は、先に圧縮率を極めて高（できるテ
レビジョン信号の高能率符号化装置（特願昭５９−１７
４４１２号）を提案している。この発明は、この高能率
符号化装置の改良を目的とするものである。

即ち、上記出願に示されるものは、現フィールドの画素
に対する予測値を、最も相関が強い近傍の画素を代表値
として取り出し、この代表値に時空間方向の補正を施し
て求めるもので、補正のためのパラメータは、１フイー
ルドの全ての画素データに関して予測誤差の自乗和を最
小にするように同定される。この自乗和を最小にするパ
ラメータを求める際の演算は、フィールドの全画素を使
用するため、演算処理に時間がかかり、並列化の構成を
使用する必要があった。そのため、回路規、模が大きく
なる欠点があった。

従って、この発明の目的は、パラメータを同定するため
の回路として揺動型を必要とせず、ハードウェアの規模
を小とでき、また、処理時間が短縮化できるテレビジョ
ン信号の高能率符号化装置を提供することにある。

ご問題点を解決するための手段〕 この発明は、過去の数フィールドの画素データを貯える
メモリと、現在のフィールドの画素データを間引きして
得られる代表点の画素データとメモリに貯えられている
過去の数フィールドの画素データを間引きして得られる
代表点の画素データとから線形１成語合で規定される時
空間な関係式を規定するパラメータを同定する手段と、
同定したパラメータに基づいて、過去の数フィールドの
画素データから現在のフィールドの画素データの予測を
行う手段とを備え、同定されたパラメータを伝送するよ
うにしたことを特徴とするテレビジョン信号の高能率符
号化装置である。“〔作用〕 この発明は、過去数フィールドの画素データから、現在
の動きを予測するものである。この発明では、複数の動
き物体の各々の・助き情報は上記の画素データに含まれ
ているので、つまり、各種の方向や速度を持つ動きベク
トルも時間的には強い相関を有するので、動き量を伝送
する必要がなく、ｌフィールド毎のパラメータ（予測の
１こめの係数）のみを伝送すれば良く、１画素当たりの
平均ビット数を極めて少なくできる。また、この発明で
は、動き補正を各画素のレベルの時間的変化として捕ら
えるので、動きベクトルの方向や速度に依らない定速度
運動（過去２フイールドのデータで表現される）或いは
定加速度運動（過去３フイールドのデータで表現される
）といった運動モデルとして統一的に扱えるので、単純
に動きモデルからのずれを補正するだけですむ。従って
、この発明に依れば、圧縮率を高めることができる。更
に、時間的及び空間的の３次元的に補正がなされるので
、ブロック歪やアンカバードバックグララントの問題を
何等生じない。更に、この発明では、パラメータ同定の
ための演算が代表点を用いてされるので、逐次処理が可
能となり、ハードウェアの規模を小とでき、処理時間を
短縮化できる。

〔実施例〕

以下、この発明の一実施例について、図面を参８ａシて
説明する。この一実施例の説明は、下記の用α序でなさ
れる。

ａ、符号化装置 す、復号化装置 Ｃ，パラメータの同定 ａ、符号化装置 第１図は、この発明の一実施例即ち送信側に設けられる
符号化装置の構成を示す。

第１図において、ｌは、代表点抽出回路を示し、２は、
パラメータ同定部を示す。この代表点抽出回路１には、
所定のサンプリング周波数でディジタル化されたディジ
タルテレビジョン信号即ち現フィールドにの画像データ
が入力されると共に、過去の３フイールドの参照データ
がフィールドメモリ４，５．６の夫々から供給される。

代表点抽出回路１の出力信号がパラメータ同定部２に供
給される。

代表点抽出回路１には、フィールドメモリ４からの前の
フィールドに−１の画像データと、フィールドメモリ５
からの更に前のフィールドに−２の画像データと、フィ
ールドメモリ６からのより更に前のフィールドに−３の
画像データとが供給される。第２図は、代表点抽出の一
例を示し、第２図において、白いドツトが抽出される代
表点を示し、Ｘ印が間引かれる画素を示す。この図示の
例は、Ａ間引きの例である。第２図に示す方法以外に、
水平方向に２、垂直方向に２の間引きも可能である。か
かる代表点抽出は、現在のフィールド及び過去のフィー
ルドの各フィールドに関してなされる。

過去のフィールドの画像データは予測データで、この予
測データから抽出された代表点の画素データと現フィー
ルドの画像データから抽出された代表点の画素データと
を用いてパラメータ同定部２は、最小自乗法により予測
誤差の自乗和が最小となるような例えば各々が８ビツト
の３５個のパラメータＷｌ−Ｗ３５を１フイールドごと
に同定する。パラメータ同定部２には、空間的位置関係
を調整するためのライン遅延回路及びサンプル遅延回路
が含まれている。パラメータ同定部２で同定されたパラ
メータｗｌ＝ｗ３５が送信データとされる。このパラメ
ータＷ１〜Ｗ３５は、入力データに対して１フイールド
遅れたフィールドに−１のものである。

３は、予測部を示し、フィールドメモリ４．５．６には
、予測部３からの予測データが書き込まれ、フィールド
メモリの夫々には、過去の３フイールドに−１，に−２
，に−３の画像データ（予測データ）が貯えられる。予
測部３は、予測しようとする画素の近傍に位置し、且つ
過去３フイールド内に含まれる３５個の予測データとパ
ラメータＷ１〜Ｗ３５とを用いて現画素に対する予測値
を求めるものである。このため、予、πり部３にも、空
間的位置関係を調整するための複数のライン遅延回路及
び複数のサンプル遅延回路が含まれている。

送信側で、本当の画（象データでなく、予測データを使
用してパラメータを同定するのは、受信側における画像
データの復元との同一性を確保するためである。

現フィールドにの画素データ（第４図Ａ）に対する予測
値は、その前フィールドに−１の近傍の１０画素のデー
タ（第４図Ｂ）、その前々フィールドに−２の近傍の１
５画素のデータ（第４図ｃ）、その前々々フィールドに
−３の近傍の１０画素のデータ（第４図Ｄ）の計３５個
の画素データの線形１成語合として求められる。

第４図Ａ〜第４図りにおいて水平方向の実線がフィール
ドｋ及びフィールドに−２において走査されるラインを
表し、水平方向の破線がフィールドに−１及びフィール
ドに−３において走査されるラインを表す。現フィール
ドにの画素データが含まれる位置のラインをｙとして、
その上側に位置するラインをｙ＋１とし、更にラインｙ
＋１の上側に位置するラインをｙ＋２としている。ライ
ンｙの下側に位置するラインは、夫々ｙ−ｔ、ｙ−２と
している。

第４図Ａ〜第４図りにおいて垂直方向の実線が各フィー
ルドにおけるサンプリング位置を示し、現フィールドに
の画素データのサンプリング位置Ｘより１サンプル前の
サンプリング位置及びこれより２サンプル前のサンプリ
ング位置を夫々Ｘ−１、ｘ−２としている。また、サン
プリング位置Ｘの後のサンプリング位置及びより後のサ
ンプリング位置を夫々Ｘ十１、Ｘ＋２としている。

現画素に対する予測データ↑ｙ　（Ｘ＋５’）は、次式
の線形−次結合で表される。

了ｈ　　（ｘ、ｙ）　　＝　　　　　　ｗｌ　　×Ｔｋ
−＋　　（ｘ−２，ｙ＋１）十Ｗ２×↑に−＋　（ｘ−
１，ｙ；１）　　＋ｗ３　Ｘ↑に−＋　（ｘ、ｙ＋１＞
＋ｗ４ｘ　　↑　ｂ−＋　　（ｘ＋１．ｙ＋１）　　　
士　Ｗ５　　Ｘ　　↑　ｋ−＋　　（ｘｔ２．ｙ＋１）
＋Ｗ６×↑ｈ−＋　（ｘ−２，ｙ−１）　　＋Ｗ７　Ｘ
　Ｔｋ−＋　　（ｘ−Ｌｙ−１）十Ｗ８×↑に−１（ｘ
、ｙ−１）　　＊　ｗ９　Ｘ↑５ハ　（ｘ＋１．ｙ−１
３十ｗｌＱＸ↑に一、　　（ｘ＋２．ｙ−１）＋　ｗｌ
ｌＸ　Ｔ　ｋ−ｚ　　（ｘ−２，ｙ＝２）　　＋　ｗ１
２Ｘ　Ｔ　ｈ−ｚ　　（ｘ−１，ｙ□２）＋Ｗ１３ｘ　
　Ｔ　ｋ−２（ｘ、ｙ＋２）　　　−＝Ｗ１４Ｘ　　↑
　ｋ−ｚ　　（ｘ＋Ｌｙ＋２）十Ｗ１５Ｘ了ｗ−ｚ　　
（ｘ＋２．ｙ＋２）　　＋　ｗ１６ｘ↑ｍ−ｚ　　（ｘ
−２，ｙ）＋ｗ１７ｘ↑、Ｉ−ｚ　（ｘ−Ｌｙ）　　−
Ｉ−ｗ１８Ｘ　Ｔｋ−ｚ　（ｘ、ｙ）＋ｗ１９Ｘ　Ｔｋ
−２（ｘ＋１．ｙ）　　＋ｗ２０ｘ↑に−ｚ　（ｘ＋２
．ｙ）＋Ｗ２１Ｘ↑に−２（ｘ−２，ｙ−２）　　”　
Ｗ　２２　Ｘ↑、Ｉ−ｚ　（ｘ−１，ｙ−２）士ｗ２３
Ｘ↑ｗ−ｔ　（ｘ、ｙ−２）　　−Ｉ−ｗ　２４　×↑
に−ｚ　（ｘ＋１．ｙ−２）−＝　　ｗ２５ｘ　　ｒ　
　ｋ−ｚ　　（ｘ＋２．ｙ−２）−１−ｗ２６Ｘ　Ｌ−
３（ｘ−２，ｙ＋１）　　十Ｗ２７Ｘ　ｒｋ、＋　（ｘ
−１，ｙ＋１）＋ｗ２８Ｘ　　↑　ｋ−＊　　（ｘ、ｙ
＋１）　　　−？Ｗ２９Ｘ　　↑　ｋ−３（ｘ＋１．ｙ
＋１）＋Ｗ３０Ｘ↑に−＋　（ｘ＋２．ｙ＋１）　　±
ｗ３１Ｘ↑に−３（ｘ−２，ｙ−１）−Ｗ３２Ｘ↑ｗ−
ｓ　　（ｘ−１，ｙ−１）　　＋ｗ３３ｘ↑、−３　　
（ｘ、ｙ−１）−ｒｗ３４Ｘ　　ｒｋ−３（ｘ＋１．ｙ
−１）　　　−＋−Ｗ３５Ｘ　　’Ｌ−＋　　（ｘ＋２
．ｙ−１）上述の予測式は、現フィールドの画素に対す
る予測値を、最も相関が強い近傍の画素を代表値として
取り出し、この代表値に時空間方向の補正を施して求め
ることを意味する。

パラメータ同定部２は、代表点抽出回路ｌからの参照デ
ータを用いて、最小自乗法によりパラメータを同定する
。つまり、現フィールドの成る画素の真価■６は、上式
で求められたこれと対応する画素の予測値↑っに予測誤
差ｅが重畳されたものであるから、（ｅ−↑＊　　　Ｉ
ｍ）となり、この予測誤差の自乗和を所定数の画素に関
して最小にするようなパラメータＷ１〜ｗ３５が計算さ
れる。

この場合、１フイールドに含まれる全ての予測画素（例
えばｌライン内に８００００画素フイールドが２５５ラ
インの場合では、８００Ｘ２５５周）を用いてパラメー
タＷ１〜ｗ３５を最小自乗法により計算すれば、最高の
精度が得られるが、回路規模が大きくなるので、第２図
に示すように、複数サンプル毎の間引きにより得られた
所定数の代表点の画素を用いてパラメータＷ１〜ｗ３５
の同定がなされる。

また、画面の周辺部でデータが存在しない所では、第５
図に示すように、画面内のデータａ　％　ｈと同一のデ
ータが画面外にあるものとして代用すれば良い。或いは
、第５図において破線図示のように、１ライン内側で巨
つ一２サンプル内側に寄った領域内で同定を行うように
しても良い。

尚、現在のフィールドに対して過去の２フイールドの画
素データを用いても良く、そのときには、３次元運動モ
デルとして、定速度運動モデルを表現することになる。

ｂ、復号化装置 上述の符号化がなされた送信データを受信する復号化装
置は、第２図に示すように、フィールドメモリ１２．１
３．１４と、受信されたパラメータＷ１〜ｗ３５が供給
されると共に、フィールドメモリ１２．１３．１４から
過去３フイールドのデータが供給される予測部１１とで
構成される。

この予測部１１により復元データ即ちディジタルテレビ
ジョン信号が形成される。受信側で、ディジタルテレビ
ジョン信号を復元するために、パラメータＷ１〜ｗ３５
の送信に先行して３フイ一ルｌ゛分の初期値が送信され
、この初期値がフィールドメモリ１２．１３．１４の夫
々に書き込まれる。

Ｃ，パラメータの同定 上述の送信側のパラメータ同定部２においてなされるパ
ラメータｗ１〜ｗ３５の同定について、最小自乗法を用
いた方法の一例について以下に説明する。

前述の予測データ↑ｋ　（ｘ、ｙ）を算出する線形１次
結合の式は、現フイールド全体に関して予測を行う場合
、下記の行列式により表現できる。

上式を行列とベクトルとによりまとめて表現すると、 ｔ＝↑・Ｗ 但し、１は、（ｍＸｎ）次のベクトル、↑は、（ｍＸｎ
、３５）の行列、曹は、３５次のベクトルである。（ｍ
Ｘｎ）は、１フイールド内の全ての代表点を表している
。

一方、現フィールドの代表点のデータ（真値）を並べて
なるベクトル■は、（ｍＸｎ）次のベクトルであり、ｅ
を（ｍＸｎ）次の予測誤差ベクトルとすると、 Ｔ＝Ｔ十〇−↑・ｗ　＋　ｅ となる。上式は、 Ｃ＝正−丁・Ｗ となる。この予測誤差ベクトルｅの自乗和を最小にする
パラメータＷが求められる。上式は、下記のように変形
される。但し、Ｔは、転置行列を示す。

ｅＴｅ−（丁−１ｗ　）”　（Ｉ−ＹＷ　）＝Ｔ、’Ｉ
−Ｉ”　　↑Ｗ−ＷＴＴ　”　■＋ｔｉｖ’　　７７　
↑Ｗ上式で、ｅ”　ｅを最小にするパラメータＷは、次
式を満足するものとなる。この式の導出は、例えば文献
「システム同定」（発行所二社団法人計測自動制御学会
１発行日：昭和５６年２月１０日（初版〕）の第４章第
４節２項に記載されている。

、°、　　ｗ＝（↑７↑）−１↑Ｔｌ このままでは、１フイールドの（ｍｘｎ）ｆ［１の全代
表点の画素の場合、（ｍ　ｘ　ｎ　、　３５）と言う大
きな行列を扱うことになり、実際的でない。従って、上
式を小さい次数の行列及びベクトルに直して処理する。

即ち、（Ｐ＝↑７　・↑）の（３５，３５）の行列と、
（Ｑ＝７１　・■）の３５次のベクトルとを用いる。

「− ×１↑＋＋−＋　（ｘｔ−２，ｙＪ＋１）　　ｒｋ−＋
（ｘｔ−１＋ｙＪ＋１）コ ・・・Ｔｋ−３（ｘ、ｔ２．ｙＪ−１）」Ｘ↑ｋ（Ｘ；
　　＋ｙ、） 上述のＰ及びＱがパラメータ同定部２に供給されろ過去
の３フイールドの予測データから形成される。そして、
（Ｐ−’Ｑ）によりパラメータＷが計算される。

〔発明の効果〕

この発明は、過去数フィールド′の画素データから現在
の動きを予測するものであり、従って、複数の動き物体
の各々の動き情報は、上記の画素データに含まれている
ので、動き瞳を伝送する必要がな（、■フィールド毎の
パラメータ（予測のための係数）のみを伝送すれば良く
、１画素当たりの平均ビ・ノド数を極めて少なくできる
。

また、この発明では、動き補正を各画素のレベルの時間
的変化として捉えるので、動きベクトルの方向や速度に
依らない定速度運動（過去２フイールドのデータで表現
される）或いは定加速度運動（過去３フイールドのデー
タで表現される）といった運動モデルとして統一的に扱
えるので、単純に動きモデルからのずれを補正するだけ
ですむ。

従って、この発明に依れば、圧縮率を高めることができ
る。

また、３次元的に補正がなされるので、ブロック歪やア
ンカバードハックグランドの問題を何ら生じない。

更に、この発明は、予測係数としてのパラメータを最小
自乗法により同定する時の参照データとして、１フイー
ルドの全ての画素データを使用せずに、代表点の画素デ
ータを使用するので、演算処理が簡略化され、並列構成
を使用せずとも良く、ハードウェアの規模を小とできる
。

【図面の簡単な説明】

第１図はこの発明の一実施例のブロック図、第２図は代
表点の抽出方法の一例の説明に使用する路線図、第３図
はこの発明の一実施例により符号化された伝送データを
受信するための構成を示すブロック図、第４図及び第５
図はこの発明の一実施例の説明に用いる路線図である。 図面における主要な符号の説明 １：代表点抽出回路、２：パラメータ同定部、３：予測
部、４．５．６：フィールドメモリ。 代理人　　　弁理士　杉　浦　正　知 第４図Ｃ第４図Ｄ 鱒（積層り／１半一１メ９′ 第１図 弐束１６、 第２図 受信側／）ａ成 第３図 ａａａｂ　　　ｃｄ コーナ一部０処理 第５図

Claims (1)

【特許請求の範囲】
1. 過去の数フィールドの画素データを貯えるメモリと、現
   在のフィールドの画素データを間引きして得られる代表
   点の画素データと上記メモリに貯えられている過去の数
   フィールドの画素データを間引きして得られる代表点の
   画素データとから線形１次結合で規定される時空間な関
   係式を規定するパラメータを同定する手段と、上記同定
   したパラメータに基づいて、上記過去の数フィールドの
   画素データから上記現在のフィールドの画素データの予
   測を行う手段とを備え、上記同定されたパラメータを伝
   送するようにしたことを特徴とするテレビジョン信号の
   高能率符号化装置。