JPS58101581A - テレビジヨン信号の予測符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明はテレビジョン信号の予測符号化装置に関する。

予測符号化方式は、伝送すべき信号と予測信号との差（
すなわち予測誤差信号）を伝送することにより、伝送情
報量を低減するという動作原理に基づく方式である。本
発明は、上記予測信号を与える予測関数を多数用い、そ
の中から最適なものを一つ選択して用いる適応予測符号
化方式に関する。

フレーム間符号化方式では、静止画あるいは。

はとんど動きを含まない準静止面に対しては、大きな振
幅をもつ予測誤差信号の発生頻度が低くなるため２発生
する情報量は少ない。逆に、動きを多く含む動画に対し
ては９発生情報量は増加する。

すなわち、フレーム間符号化方式では、動きが少ない画
像はど、符号化能率が良く、動きが多い画像はど、能率
が低下する。そこで、動きが多く含まれている画像の場
合にも能率を高める試みはこれまでにもなされてきた。

たとえば、テレビ−）ヨン信号に含まれる動きは平行移
動的であると見なされる場合が多いことに着目し、フレ
ーム間における被写体の平行移動的な位置の変化量を考
慮したフレーム間予測（すなわち動き補償フレーム間予
測）が考案された。この方式は、動画に対しても高い符
号化能率を実現するのに、最も有効な方式である。この
動き補償フレーム間予測方式においては２種々の動きに
対して能率を高く保つために、多くの予測関数を用いる
ことになる。すなわち、様々な速さ、方向をもつ動きに
対応する多数の子測関数をあらかじめ用意しておいて、
実際に発生１〜だ動きに対して最も適した予測関数を最
適予測関数とする。つまシ、一般的には、予測誤差を最
も小さくするものを最適予測関数とする。したがって、
動き補償フレーム間予測方式は多数の子測関数の中から
最適な予測関数を適応的に決定ここてこの「動き補償」
について原理を簡単に説明する。第１図に示すように１
＝１．なる時刻に座標（ｘｏｐｙｏ）付近にあった図形
が１フレ一ム時間（τ）後には（ｘｔｙｙｌ）に移動し
たとする。この時。

通常のフレーム間予測においては、１フレーム前の画素
を予測信号として用いるので、　１＝１．十τにおける
（　ＸＱ　＋　ｙＱ　）付近の図形内の画素の予測には
１＝１０における（　Ｘ６　＋　）ｊＱ　）付近の図形
内の画素が用いられる。したがって、第１図から明らか
なように、　１＝１．十τでは、予測誤差が零でないも
のが（ｘｏ＋ｙｏ）と（ｘｔｅｙｔ）との両地点の付近
に発生する。

ここで、もし何らかの方法で（ｘｏ＋ｙｏ）から（ｘｔ
ｅｙｔ）への図形の変位量を検出できたとすると、　１
＝１．での（ｘＱ　ｐ　７０　）近傍の図形を用いてｔ
＝ｔｏ＋τにおける（ｘｌｓｙｔ）近傍の図形を予測で
き２発生情報量が大幅に減少する。これがいわゆる「動
き補償」の原理である。

この変位量の検出方法すなわち最適予測方式の決定方法
としては、たとえば１９７８年電子通信学会技術研究報
告Ｖｏ１．７８ＩＩＬ３９に掲載されている二宮による
論文「フレーム間符号化における動き補正」（論文番号
ＩＥ７８−６）が適用できる。

すなわち、この論文では２種々の動きを表わすベクトル
に対応する種々の予測関数について予測誤差がブロック
単位で比較され、最小予測誤差を与えた予測関数に対応
するベクトルが動ベクトル（最適予測関数を表わす）と
みなされる。また。

動き補償の効果に関しては、動画像に対して「動き補償
」（この論文中では「動き補正」と記されている）を適
用すれば、フレーム間符号化方式のみの場合の発生情報
量のおよそ１／２にできる＃１ど大幅な情報圧縮が可能
であることが示されている〇後述するように１本発明に
おいては、最適予測関数を表わす情報と、該最適予測関
数を用いた時の予測誤差を表わす情報とを少なくても伝
送する。

この最適予測関数は、動きを考慮した予測符号化方式に
おいては、最も良く動きを補償する（すなわち予測誤差
を小さくする）動ベクトルと等価である。したがって、
最適予測関数を表わす情報と。

該最適予測関数を用いた時の予測誤差を表わす情報とを
少なくとも伝送するということは、前記動ベクトルと、
これに基づいて動き補償を行なった時の予測誤差との画
情報を少なくとも伝送することと同じである。以下、最
適予測関数を動ベクトルと定義して、説明する。

この動ベクトルを表現するのに必要な符号（すなわち動
ベクトル情報）が、全伝送情報の中に占める割合は、使
用される伝送路の伝送速度により大幅に変化する。この
動ベクトル情報は、伝送速度が高く、平均して１画素当
多数ビット割シ当てることができる場合には、全伝送情
報のほんの一部を占めるに過矛ない。しかし、伝送速度
が低い場合には、全伝送情報のうち、たとえば５０チ以
上というようなかなシの部分を占めることがある。

実際の画像について測定された動ベクトル情報の例とし
て、平野他による「動き補償フレーム間符号化における
ブロックサイズの検討」（昭和５５年度電子通信学会通
信部門全国大会講演番号６９７）がある。これによると
、動ベクトル情報の目安として用いた動ベクトルのエン
トロピーは、たとえば複数画素から構成されるブロック
°の大きさを４ライン×８画素とする時には、およそ０
．１ビット／画素となっている。この値は標本化周波数
が８ＭＨｚの場合について得られたものであるので、動
ベクトル情報のみでおよそ０．８Ｍビット／秒の情報が
発生することになる。したがって、１．５Ｍビット／秒
の伝送速度にてテレビジョン信号を伝送する場合には、
この動ベクトル情報は全伝送情報の５０チ強を占めるこ
とになる。

従来は、比較的高い伝送速度が想定されることが多く、
動ベクトル情報の占める割合は微小なものとして無視で
きるものとされてきた。したがって、予測誤差を表わす
情報（すなわち予測誤差情報）の量を最小化する動ベク
トルを検出することにより、全伝送情報量を最小化する
最適予測が実現できるものとみなされてきた。しかしな
がら。

前述の説明により明らかなように、伝送速度が低くなる
と動ベクトル情報も無視できない程の割合を占めること
になる。

本発明の目的は、最適予測関数（すなわち動ベクトル）
の検出に、各予測関数を表わす情報と各予測関数による
予測誤差情報との両者を用いることにより、全伝送情報
量を最小にすることを可能にし、高い符号化能率を実現
するテレビジョン信号の予測符号化装置を提供すること
にある。

本発明によれば、入力テレビジョン信号の各フレームを
分割した。複数の画素からなるブロック毎に、複数個の
予測関数の中から最適予測関数を一つ定めて予測符号化
に用いるテレビジョン信号の適応予測符号化装置におい
て、前記複数個の予測関数の中の、ある与えられた予測
関数を表わすのに必要な情報量を評価する第１の評価手
段及び前記与えられた予測関数に対する前記ブロック当
シの予測誤差量を表わすのに必要な情報量を評価する第
２の評価手段を有し、該第１及び第２の評価手段から出
力される評価情報量の和を、前記複数個の予測関数の一
部または全部について比較し。

最も小さい和を与える予測関数の一つを最適予測関数と
して前記ブロック毎に出力する最適予測関数出力手段と
、該最適予測関数に従って予測符号化を行なう予測符号
化手段と、該最適予測関数を表わす情報と、該最適予測
関数を用いた時の前記予測符号化手段の出力である予測
誤差を表わす情報とを、少くなくとも含む情報を、圧縮
符号化する手段とを、備えたテレビジョン信号の予測符
号化装置が得られる。

本発明の詳細な説明すると、動ベクトル検出において、
ある予測関数を用いて予測誤差を求める場合に、その予
測関数を表わすのに必要な情報量をたとえば符号長で表
わすことができ、またこの予測量・数に対する予測誤差
のブロック当りの量を同様に符号長で表わすことができ
る。そして、この両符号長の和をその予測関数を用いた
場合に発生する情報量であるとする。また、他の予測関
数についても同様に両符号長の和を求める。そして。

これら両符号長の和を比較して最小値を示す時の予測関
数を最適予測関数（すなわち動ベクトル）とする。この
ようにして動ベクトルを決定すると。

従来の予測誤差情報のみを用いて動ベクトルを定めた場
合よりも伝送情報量をより少なくすることができる。

このように２本発明に従って、動ベクトル情報と予測誤
差情報との両者を考慮して動ベクトルを決定すると、特
に伝送速度が低い場合に符号化能率の向上が顕著となる
。したがって、低伝送速度にてテレビジョン信号を圧縮
符号化して伝送する場合に本発明を適用する効果はきわ
めて大きい。

次に１図面を参照しながら９本発明の実施例について詳
しく説明する。

第２図に示した１本発明の一実施例におけるテレビジョ
ン信号の予測符号化装置において、入力線！Ｎよりのア
ナログ拳テレビジョン信号はアナログ／ディジタル変換
器１１によりディジタル化される。このディジタル化さ
れたテレビジョン信号は、走査変換回路１２によって、
１フレームを分割した。複数画素からなるブロックに構
成される。もしも、このブロックが水平走査線方向の一
次元ブロックであれば、この走査変換回路１２は不要で
あるが、たとえば水平、垂直の両走査線にまたがる２次
元的な広がりをもつブロックを構成する場合には必要で
ある。本実施例においては２次元ブロックを用いるもの
とする。走査変換されたテレビジョン信号（以下画像信
号と略記する）は線１２０１を介して遅延回路１３及び
動ベクトル出力回路１４に供給される。動ベクトル出力
回路（即ち最適予測関数出力回路）１４は線１２ｏ１を
介して供給される。これから符号化すべき画像信号と、
フレームメモリ１５から線１５０１を介して供給される
。およそ１フレーム遅延した画像信号とを用いて、ブロ
ック毎に最適な予測関数を表わす動ベクトルを検出する
。動ベクトル出力回路１４の動作については後で詳細に
説明する。検出された動ベクトルは、線１４０１を経て
、符号圧縮回路２０及び可変遅延回路１６にそれぞれ供
給される。可変遅延回路１６は、線１４ｏ１を介して供
給された動ベクトルと、線１５ｏ１を介してフレームメ
モリ１５から供給された画像信号とを基に。

予測信号を生成する。該予測信号は、減算回路１７と加
算回路１８とに供給される。遅延回路１３は、線１２０
１の画像信号を、動ベクトル出力回路１４における動ベ
クトル検出および予測信号の発生に必要な時間だけ遅延
している。減算回路１７は、この遅延回路１３の出力信
号と予測信号との間で減算を行ない１両信号の差に相当
する信号すなわち予測誤差信号を出力する。この予測誤
差信号は、量子化回路１９による量子化により。

とり得るレベルが制限された後、加算回路１８と符号圧
縮回路２０とに供給される。加算回路１８は、この量子
化された予測誤差信号と可変遅延回路１６の出力信号で
ある予測信号との和をとり。

局部復号信号を発生する。この局部復号信号は。

フレームメモリ１５に供給され、そこでおよそ１フレ一
ム時間だけ遅延された後、前述のように動ベクトル出力
回路１４及び可変遅延回路１６に供給される。符号圧縮
回路２０は、量子化された予測誤差信号と動ベクトルと
を、たとえば可変長符号化の手法を用いて能率良く圧縮
符号化する。また、垂直、水平の両同期信号を表わすあ
らかじめ定められた符号がここで付加される。符号圧縮
回路２０によって圧縮された画像信号はバッファメモリ
１００に入力される。バッファメモリ１００は、伝送路
への出力速度と符号圧縮回路２０から不規則的に発生す
る画像信号の入力速度との間での速度整合をとる。符号
圧縮回路２０の出力信号は、バッファメモリ１００によ
って速度整合を受けた後、出力線ＯＵＴを介して伝送路
あるいは記録媒体へ出力される。

つぎに第３図を参照して動ベクトル出力回路１４の動作
、構成を詳しく説明する。線１２０１　。

１５０１をそれぞれ介して供給された画像信号は。

より線１４２１を介して供給される種々の予測関数を示
す情報（以下単に予測関数と略す）を受け。

該予測関数に対するブロック当シの予測誤差情報量を発
生し、線１４１１を介して加算回路１４３に供給する。

予測誤差情報量発生回路１４１の詳細については後述す
る。シーケンサ１４２から出力される予測関数は、予測
誤差情報量発生回路１４１のみならず２選択回路１４４
及びベクトル符号長るために、あらかじめ定められた符
号の長さを加算回路１４３に対して出力する。

ここで、ベクトル符号長の一例について説明する。通常
は、フレーム間予測に相当する動ベクトルが最も高頻度
で出現するため、最短符号（符号長１）で表わす。ある
いは、この最短符号のつらなり（即ち、ラン）にモディ
ファイド・ハフマン符号化法などの不等長符号化手法を
適用すると、この動ベクトル当りの平均符号長は１より
もずっと小さくなる。したがって、フレーム間予測を表
わす予測関数に対する符号長はベクトル符号長発生回路
１４５では零と近似することもできる。フレーム間以外
の予測に対する予測関数の表現には、フレーム間予測か
ら異なる程度示大きくなるにつれて長い符号を用いる。

たとえば、フレーム間予測彎 がら空間的に見て上下・左右のいずれかの方向に１画素
ずれた点からの予測を示す予測関数に対しては４ビツト
長の符号を、上下・左右ともに１画素ずれた点からの予
測を表わす予測関数に対して５輪 は５ピツト長の符号を、上下・左右のいずれかの方向に
２画素ずれた点からの予測を表わす予測関数に対しては
６ピツト長の符号を割り当てる。というように段々と長
い符号を与える。

加算回路１４３は、予測関数を表わす符号の長さとこの
予測関数を用いた時のブロック当りの予測誤差情報量と
を合算し、その結果を選択回路１４４へ供給する。選択
回路１４４は、この結果を、既に求められた合算値と大
小比較して最小であるか否かを調べる。そして１選択回
路１４４は。

もし最小であれば、この時、線１４２１により供給され
ている予測関数を暫定的な最適予測関数として選択し保
持するが、否の場合には既に定められている暫定的な最
適予測関数をそのまま保持する。

なお、この暫定的な最適予測関数は、常にベクトル出力
レジスタ１４６に供給されている。このベクトル出力レ
ジスタ１４６は、シーケンサ１４２から線１４２２を介
して供給されるブロックの区切りに対応するタイミング
信号に従い、検出された最適予測関数すなわち動ベクト
ルを線１４０１に出力する。こうして定められた動ベク
トルが動ベクトル出力回路１４の出力である。

つぎに、第４図を参照して予測誤差情報量発生回路１４
１について詳しく説明する。走査変換回路１２によって
走査変換された画像信号は線１２０１を介して並列出力
回路４１に供給される。並列出力回路４１は１ブロツク
内に含まれる画素を並列に出力する。たとえば、第５図
に示すように走査変換前において２画素×２ラインの計
４画素からなるブロックを考える。この時９画素＆　＊
　ｂ　＋　Ｃ＃ｄは各々、線４１０１　、４１０２　、
４１０３　、４１０４を介して減算回路４６．４７．４
８．４９にそれぞれ並列に供給される。つぎに、可変遅
延回路４２；４３．４４．４５について説明する。これ
ら４個の可変遅延回路４２〜４５はブロック内の各画素
点に対する予測信号を線１４２１を介して供給される予
測関数に従って出力する。たとえば、この予測関数が第
６図に示すＶであるとする。すなわち。

走査変換していない状態でみて右に１画素２．上に２ラ
インだけ、フレーム間予１１１（斜線にて示す）からず
れているとすると、この時の■に従う予測信号は　Ａ、
Ａ、Ａ、＋である。そして、可変遅延回路４２，４３，
４４．４５の各々がブロック内在上、右上、左下、右下
の各画素点に対する予測信号を発生するものとすると、
第６図の予測関数Ｖに対しては可変遅延回路４２，４３
．４４゜４５からはそれぞれＱ、Ｑ、Ｑ、Ｇが予測信号
として出力される。線１５０１を介してフレームメモリ
１５から供給される画像信号および線１４２１を介して
シーケンサ１４２から供給される予測関数は、この４個
の可変遅延回路４２〜４５に対してはまったく同一であ
る。減算回路４６　、４７　。

４８．４９では各々、（ａ−金）、（ｂ−’Ｓ）　。

（Ｃ−◇）、（ｄ−香）なる減算が実行される。

各差分は符号長発生回路５０，５１，５２．５３へ各々
供給され、各差分に対応する符号長に変換される。そし
て、これら符号長は加算回路５４において合算される。

この合算結果が前述のプロ。

り当シの予測誤差情報量であ）、線１４１１を介して加
算回路１４３に供給される。

ここで、符号長発生回路５０，５１．５２゜５３におけ
る入出力関係について説明する。入力信号としては差分
値、出力信号としては符号長あるいは符号長を近似的に
表わすものをとるのが都合がよい。近似的に符号長を表
わした例を示すと。

差分の絶対値がθ〜３の場合には出力が零、同じく４〜
７には１，８〜１１には２．１２〜１６には３，１７〜
２２には４．２３〜２８には５゜２９〜３４には６，３
５以上には７というように。

それぞれ対応させることができる。ここで、差分値はた
とえば１／２５６を単位レベルとする時の正または負の
レベルを表わし、出力の単位はビットする。

なお、第４図の説明においては、ブロックの大きさを２
−票×２ツインとしてＭＱ明したが１本りと大きい一般
的にはｍ画素Ｘｎラインで表わされるブロックについて
も適用できることは勿論である。この時には第４図にお
ける可変遅延回路、減算回路、符号長発生回路は、各々
ｍ　Ｘ　ｎ個必要となる。

つぎに、第７図に示した１本発明の一実施例における復
号化装置を説明する。伝送路に一◆により伝送されてき
た圧縮された符号情報は、入力線Ｉ　Ｎ’を介して一旦
速度整合用のバッファメモリ２００に供給される。バッ
ファメモリ２００から出力される情報は少なくとも動ベ
クトル情報と予測誤差情報とを含んでいる。符号伸長回
路３１は。

これらの圧縮された符号を伸長し、動ベクトル情報とそ
れに対する予測誤差情報とに分離する。予測誤差情報は
、線３１０１を介して加算回路３２に。

動ベクトル情報は、線３１０２を介して可変遅延回路３
３に、それぞれ供給される０可変遅延回路３３は、動ベ
クトル情報に従って予測信号を発生し、加算回路３２は
、該予測信号と前記予測誤差情報とから加算により復号
画像信号を発生する０復号画像信号は走査逆変換回路３
４とフレームメモリ３５とに供給される。走査逆変換回
路３４の機能は、符号化装置における走査変換回路１２
０機能とは逆の機能を行ない、走査変換されたテレビジ
ョン信号から通常の走査に戻すことである。

この走査逆変換回路３４の出力信号はディツタＶアナロ
グ変換器３６によりアナログ信号に戻された後、出力線
ＯＵＴ’を介して通常のＴＶモニタにより表示される。

可変遅延回路３３とフレームメモリ３５は、符号化装置
における可変遅延回路１６とフレームメモリ１５とそれ
ぞれ同一のものが使用できる。

なお２以上の説明のうち、予測符号化装置における動ベ
クトルの決定においては、第３図に示されているシーケ
ンサ１４２から予測関数が一方向的に出力されている場
合、あらかじめ定められた複数個の予測関数のすべてを
用いる場合を想定していたが、他の方法を用いることも
また可能である。すなわち、隣接するブロック間におい
ては類似する動ベクトル＝最適予測関数が求まることが
多いため、ベクトル出力レジスタ１４６の出力を締１４
０１を介して出力すると同時にシーケンサ１４２へも供
給することにする。そして、シーケンサ１４２からはこ
の供給された動ベクトルと大幅には異なっていないもの
についてのみ予測関数として出力するようにすれば計算
量を減らすことができる。また、これと類似の方法とし
て２選択回路１４４の出力をシーケンサ１４２に供給し
。

シーケンサ１４２ではこの出力を参照してつぎに出力す
べき予測関数を定めることができる。

このような変形例に対しても、第３図を除くと予測符号
化装置には何らの変更を加える必要もない。なぜなら線
１４０１を介して供給される動ベクトルについて予測符
号化がなされるわけであって。

いかなる経過によってその動ベクトルが求められたかは
関係がないからである。したがって、当然。

復号化装置についても何ら変更を要しない。

また２以上の説明においては動ベクトル検出時に予測関
数を表わすのに必要な符号の長さとこの予測関数に対す
る予測誤差を表わす符号の長さをブロック内画素につい
て加えた値との合算値を用いたが、これらの符号の長さ
は必ずしも厳密なものでなく、近似的なものであっても
構わないことは勿論である。

以上述べたように本発明は、動き補償を適用したフレー
ム間予測符号化装置における動ベクトルすなわち最適予
測関数の検出時に、予測関数を表す情報とこの予測関数
に対する予測誤差との両者を考慮しており、符号化能率
が非常に高くなるため本発明を実施する効果はきわめて
大きい。

【図面の簡単な説明】

第１゛図は動き補償フレーム間予測方式における「動き
補償」の原理を説明するための図、第２図は本発明の一
実施例における予測符号化装置を示したブロック図、第
３図は第２図の動ベクトル出力回路１４を示したブロッ
ク図、第１図は第３図の予測誤差情報量発生回路１４１
を示したプロ。 り図、第５図及び第６図はそれぞれ鮮４図の動作を説明
するための図、第７図は本発明の一実施例における予測
復号化装置を示したブロック図である。 図中、１１はアナログ／ディジタル変換器。 １２は走査変換回路、１３は遅延回路、１４は動ベクト
ル出力回路、１５はフレームメモリ、１６は可変遅延回
路、１７は減算回路、１８は加算回路、１９は量子化回
路、２０は符号圧縮回路。 １００はバッファメモ１７　、１４１は予測誤差情報量
発生回路、１４２はシーケンサ、１４３は加算回路、１
４４は選択回路、１４５はベクトル符号長発生回路、１
４６はベクトル出力レジスタ。 ４１は並列出力回路、４２〜４５は可変遅延回路。 ４６〜４９は減算回路、５０〜５３は符号長−主回路、
５４は加算回路、２００はバッファメモリ。 ３１は符号伸長回路、３２は加算回路、３３は可変遅延
回路、３４は走査逆変換回路、３５はフレームメモリ、
３６はディジタル／アナログ変換器である。 第１図　　　Ｙ 第４図 弔５図 第６図

Claims (1)

1. 【特許請求の範囲】 １、　入力テレビジョン信号の各フレームを分割した。 複数の画素からなるブロック毎に、複数個の予測関数の
   中から最適予測関数を一つ定めて予測符号化に用いるテ
   レビジョン信号の適応予測符号化装置において、前記複
   数個の予測関数の中の。 ある与えられた予測関数を表わすのに必要な情報量を評
   価する第１の評価手段及び前記与えられた予測関数に対
   する前記ブロック当りの予測誤差量を表わすのに必要な
   情報量を評価する第２の評価４段を有し、該第１及び第
   ２の評価手段から出力される評価情報量の和を、前記複
   数個の予測関数の一部または全部について比較し、最も
   小さい和を与える予測関数の一つを最適予測関数として
   前記ブロック毎に出力する最適予測関数出力手段と。 該最適予測関数に従って予測符号化を行なう予測符号化
   手段と、該最適予測関数を表わす情報と。 該最適予測関数を用いた時の前記予測符号化手段の出力
   である予測誤差を表わす情報とを、少なくとも含む情報
   を、圧縮符号化する手段とを、備えたテレビジョン信号
   の予測符号化装置。