JPS6321395B2 - - Google Patents

Description

【発明の詳細な説明】 本発明はテレビジヨン信号の予測符号化装置に
関する。

予測符号化方式は、伝送すべき信号と予測信号
との差（すなわち予測誤差信号）を伝送すること
により、伝送情報量を低減するという動作原理に
基づく方式である。本発明は、上記予測信号を与
える予測関数を多数用い、その中から最適なもの
を一つ選択して用いる適応予測符号化方式に関す
る。

フレーム間符号化方式では、静止画あるいは、
ほとんど動きを含まない準静止画に対しては、大
きな振幅をもつ予測誤差信号の発生頻度が低くな
るため、発生する情報量は少ない。逆に、動きを
多く含む動画に対しては、発生情報量を増加す
る。すなわち、フレーム間符号化方式では、動き
が少ない画像ほど、符号化能率が良く、動きが多
い画像ほど、能率が低下する。そこで、動きが多
く含まれている画像の場合にも能率を高める試み
はこれまでにもなされてきた。たとえば、テレビ
ジヨン信号に含まれる動きは平行移動的であると
見なされる場合が多いことに着目し、フレーム間
における被写体の平行移動的な位置の変化量を考
慮したフレーム間予測（すなわち動き補償フレー
ム間予測）が考案された。この方式は、動画に対
しても高い符号化能率を実現するのに、最も有効
な方式である。この動き補償フレーム間予測方式
においては、種々の動きに対して能率を高く保つ
ために、多くの予測関数を用いることになる。す
なわち、様々な速さ、方向をもつ動きに対応する
多数の予測関数をあらかじめ用意しておいて、実
際に発生した動きに対して最も適した予測関数を
最適予測関数とする。つまり、一般的には、予測
誤差を最も小さくするものを最適予測関数とす
る。したがつて、動き補償フレーム間予測方式は
多数の予測関数の中から最適な予測関数を適応的
に決定する適応予測符号化方式と考えることがで
きる。

ここでこの「動き補償」について原理を簡単に
説明する。第１図に示すようにｔ＝t₀なる時刻に
座標（x₀，y₀）付近にあつた図形が１フレーム時
間（τ）後には（x₁，y₁）に移動したとする。こ
の時、通常のフレーム間予測においては、１フレ
ーム前の画素を予測信号として用いるので、ｔ＝
t₀＋τにおける（x₀，y₀）付近の図形内の画素の
予測にはｔ＝t₀における（x₀，y₀）付近の図形内
の画素が用いられる。したがつて、第１図から明
らかなように、ｔ＝t₀＋τでは、予測誤差が零で
ないものが（x₀，y₀）と（x₁，y₁）との両地点の
付近に発生する。

ここで、もし何らかの方法で（x₀，y₀）から
（x₁，y₁）への図形の変位量を検出できたとする
と、ｔ＝t₀での（x₀，y₀）近傍の図形を用いてｔ
＝t₀＋τにおける（x₁，y₁）近傍の図形を予測で
き、発生情報量が大幅に減少する。これがいわゆ
る「動き補償」の原理である。

この変位量の検出方法すなわち最適予測方式の
決定方法としては、たとえば1978年電子通信学会
技術研究報告Vol.78No.39に掲載されている二宮に
よる論文「フレーム間符号化における動き補正」
（論文番号IE78−６）が適用できる。すなわち、
この論文では、種々の動きを表わすベクトルに対
応する種々の予測関数について予測誤差がブロツ
ク単位で比較され、最小予測誤差を与えた予測関
数に対応するベクトルが動ベクトル（最適予測関
数を表わす）とみなされる。また、動き補償の効
果に関しては、動画像に対して「動き補償」（こ
の論文中では「動き補正」と記されている）を適
用すれば、フレーム間符号化方式のみの場合の発
生情報量のおよそ1/2にできるほど大幅な情報圧
縮が可能であることが示されている。

後述するように、本発明においては、最適予測
関数を表わす情報と、該最適予測関数を用いた時
の予測誤差を表わす情報とを少なくても伝送す
る。この最適予測関数は、動きを考慮した予測符
号化方式においては、最も良く動きを補償する
（すなわち予測誤差を小さくする）動ベクトルと
等価である。したがつて、最適予測関数を表わす
情報と、該最適予測関数を用いた時の予測誤差を
表わす情報とを少なくとも伝送するということ
は、前記動ベクトルと、これに基づいて動き補償
を行なつた時の予測誤差との両情報を少なくとも
伝送することと同じである。以下、最適予測関数
を動ベクトルと定義して、説明する。

この動ベクトルを表現するのに必要な符号（す
なわち動ベクトル情報）が、全伝送情報の中に占
める割合は、使用される伝送路の伝送速度により
大幅に変化する。この動ベクトル情報は、伝送速
度が高く、平均して１画素当り数ビツト割り当て
ることができる場合には、全伝送情報のほんの一
部を占めるに過ぎない。しかし、伝送速度が低い
場合には、全伝送情報のうち、たとえば50％以上
というようなかなりの部分を占めることがある。
実際の画像について測定された動ベクトル情報の
例として、平野他による「動き補償フレーム間符
号化におけるブロツクサイズの検討」（昭和55年
度電子通信学会通信部門全国大会講演番号697）
がある。これによると、動ベクトル情報の目安と
して用いた動ベクトルのエントロピーは、たとえ
ば複数画素から構成されるブロツクの大きさを４
ライン×８画素とする時には、および0.1ビツ
ト／画素となつている。この値は標本化周波数が
8MHzの場合について得られたものであるので、
動ベクトル情報のみでおよそ0.8Mビツト／秒の
情報が発生することになる。したがつて、1.5M
ビツト／秒の伝送速度にてテレビジヨン信号を伝
送する場合には、この動ベクトル情報は全伝送情
報の50％強を占めることになる。

従来は、比較的高い伝送速度が想定されること
が多く、動ベクトル情報の占める割合は微小なも
のとして無視できるものとされてきた。したがつ
て、予測誤差を表わす情報（すなわち予測誤差情
報）の量を最小化する動ベクトルを検出すること
により、全伝送情報量を最小化する最適予測が実
現できるものとみなされてきた。しかしながら、
前述の説明により明らかなように、伝送速度が低
くなると動ベクトル情報も無視できない程の割合
を占めることになる。

本発明の目的は、最適予測関数（すなわち動ベ
クトル）の検出に、各予測関数を表わす情報と各
予測関数による予測誤差情報との両者を用いるこ
とにより、全伝送情報量を最小にすることを可能
にし、高い符号化能率を実現するテレビジヨン信
号の予測符号化装置を提供することにある。

本発明によれば、入力テレビジヨン信号の各フ
レームを分割した、複数の画素からなるブロツク
毎に、複数個の予測関数の中から最適予測関数を
一つ定めて予測符号化に用いるテレビジヨン信号
の適応予測符号化装置において、前記複数個の予
測関数の中の、ある与えられた予測関数を表わす
のに必要な情報量を評価する第１の評価手段及び
前記与えられた予測関数に対する前記ブロツク当
りの予測誤差量を表わすのに必要な情報量を評価
する第２の評価手段を有し、該第１及び第２の評
価手段から出力される評価情報量の和を、前記複
数個の予測関数の一部または全部について比較
し、最も小さい和を与える予測関数の一つを最適
予測関数として前記ブロツク毎に出力する最適予
測関数出力手段と、該最適予測関数に従つて予測
符号化を行なう予測符号化手段と、該最適予測関
数を表わす情報と、該最適予測関数を用いた時の
前記予測符号化手段の出力である予測誤差を表わ
す情報とを、少くなくとも含む情報を、圧縮符号
化する手段とを、備えたテレビジヨン信号の予測
符号化装置が得られる。

本発明の要旨を説明すると、動ベクトル検出に
おいて、ある予測関数を用いて予測誤差を求める
場合に、その予測関数を表わすのに必要な情報量
をたとえば符号長で表わすことができ、またこの
予測関数に対する予測誤差のブロツク当りの量を
同様に符号長で表わすことができる。そして、こ
の両符号長の和をその予測関数を用いた場合に発
生する情報量であるとする。また、他の予測関数
についても同様に両符号長の和を求める。そし
て、これらの両符号長の和を比較して最小値を示
す時の予測関数を最適予測関数（すなわち動ベク
トル）とする。このようにして動ベクトルを決定
すると、従来の予測誤差情報のみを用いて動ベク
トルを定めた場合よりも伝送情報量をより少なく
することができる。

このように、本発明に従つて、動ベクトル情報
と予測誤差情報との両者を考慮して動ベクトルを
決定すると、特に伝送速度が低い場合に符号化能
率の向上が顕著となる。したがつて、低伝送速度
にてテレビジヨン信号を圧縮符号化して伝送する
場合に本発明を適用する効果はきわめて大きい。

次に、図面を参照しながら、本発明の実施例に
ついて詳しく説明する。

第２図に示した、本発明の一実施例におけるテ
レビジヨン信号の予測符号化装置において、入力
線INよりのアナログ・テレビジヨン信号はアナ
ログ／デイジタル変換器１１によりデイジタル化
される。このデイジタル化されたテレビジヨン信
号は、走査変換回路１２によつて、１フレームを
分割した、複数画素からなるブロツクに構成され
る。もしも、このブロツクが水平走査線方向の一
次元ブロツクであれば、この走査変換回路１２は
不要であるが、たとえば水平、垂直の両走査線に
またがる２次元的な広がりをもつブロツクを構成
する場合には必要である。本実施例においては２
次元ブロツクを用いるものとする。走査変換され
たテレビジヨン信号（以下画像信号と略記する）
は線１２０１を介して遅延回路１３及び動ベクト
ル出力回路１４に供給される。動ベクトル出力回
路（即ち最適予測関数出力回路）１４は線１２０
１を介して供給される、これから符号化すべき画
像信号と、フレームメモリ１５から線１５０１を
介して供給される、およそ１フレーム遅延した画
像信号とを用いて、ブロツク毎に最適な予測関数
を表わす動ベクトルを検出する。動ベクトル出力
回路１４の動作については後で詳細に説明する。
検出された動ベクトルは、線１４０１を経て、符
号圧縮回路２０及び可変遅延回路１６にそれぞれ
供給される。可変遅延回路１６は、線１４０１を
介して供給された動ベクトルと、線１５０１を介
してフレームメモリ１５から供給された画像信号
とを基に、予測信号を生成する。該予測信号は、
減算回路１７と加算回路１８とに供給される。遅
延回路１３は、線１２０１の画像信号を、動ベク
トル出力回路１４における動ベクトル検出および
予測信号の発生に必要な時間でけ遅延している。
減算回路１７は、この遅延回路１３の出力信号と
予測信号との間で減算を行ない、両信号の差に相
当する信号すなわち予測誤差信号を出力する。こ
の予測誤差信号は、量子化回路１９による量子化
により、とり得るレベルが制限された後、加算回
路１８と符号圧縮回路２０とに供給される。加算
回路１８は、この量子化された予測誤差信号と可
変遅延回路１６の出力信号である予測信号との和
をとり、局部復号信号を発生する。この局部復号
信号は、フレームメモリ１５に供給され、そこで
およそ１フレーム時間だけ遅延された後、前述の
ように動ベクトル出力回路１４及び可変遅延回路
１６に供給される。符号圧縮回路２０は、量子化
された予測誤差信号と動ベクトルとを、たとえば
可変長符号化の手法を用いて能率良く圧縮符号化
する。また、垂直、水平の両同期信号を表わすあ
らかじめ定められた符号がここで付加される。符
号圧縮回路２０によつて圧縮された画像信号はバ
ツフアメモリ１００に入力される。バツフアメモ
リ１００は、伝送路への出力速度と符号圧縮回路
２０から不規則的に発生する画像信号の入力速度
との間での速度整合をとる。符号圧縮回路２０の
出力信号は、バツフアメモリ１００によつて速度
整合を受けた後、出力線OUTを介して伝送路あ
るいは記録媒体へ出力される。

つぎに第３図を参照して動ベクトル出力回路１
４の動作、構成を詳しく説明する。線１２０１，
１５０１をそれぞれ介して供給された画像信号
は、予測誤差情報量発生回路１４１に入力され
る。予測誤差情報量発生回路（即ち第２の評価手
段）１４１は、シーケンサ１４２より線１４２１
を介して供給される種々の予測関数を示す情報
（以下単に予測関数と略す）を受け、該予測関数
に対するブロツク当りの予測誤差情報量を発生
し、線１４１１を介して加算回路１４３に供給す
る。予測誤差情報量発生回路１４１の詳細につい
ては後述する。シーケンサ１４２から出力される
予測関数は、予測誤差情報量発生回路１４１のみ
ならず、選択回路１４４及びベクトル符号長発生
回路１４５にも供給される。ベクトル符号長発生
回路（即ち第１の評価手段）１４５は、供給され
た予測関数を表現するために、あらかじめ定めら
れた符号の長さを加算回路１４３に対して出力す
る。

ここで、ベクトル符号長の一例について説明す
る。通常は、フレーム間予測に相当する動ベクト
ルが最も高頻度で出現するため、最短符号（符号
長１）で表わす。あるいは、この最短符号のつら
なり（即ち、ラン）にモデイフアイド・ハフマン
符号化法などの不等長符号化手法を適用すると、
この動ベクトル当りの平均符号長は１よりもずつ
と小さくなる。したがつて、フレーム間予測を表
わす予測関数に対する符号長はベクトル符号長発
生回路１４５では零と近似することもできる。フ
レーム間以外の予測に対する予測関数の表現に
は、フレーム間予測から異なる程度が大きくなる
につれて長い符号を用いる。たとえば、フレーム
間予測から空間的に見て上下・左右のいずれかの
方向に１画素ずれた点からの予測を示す予測関数
に対しては４ビツト長の符号を、上下・左右とも
に１画素ずれた点からの予測を表わす予測関数に
対しては５ビツト長の符号を、上下・左右のいず
れかの方向に２画素ずれた点からの予測を表わす
予測関数に対しては６ビツト長の符号を割り当て
る、というように段々と長い符号を与える。

加算回路１４３は、予測関数を表わす符号の長
さとこの予測関数を用いた時のブロツク当りの予
測誤差情報量とを合算し、その結果を選択回路１
４４へ供給する。選択回路１４４は、この結果
を、既に求められた合算値と大小比較して最小で
あるか否かを調べる。そして、選択回路１４４
は、もし最小であれば、この時、線１４２１によ
り供給されている予測関数を暫定的な最適予測関
数として選択し保持するが、否の場合には既に定
められている暫定的な最適予測関数をそのまま保
持する。なお、この暫定的な最適予測関数は、常
にベクトル出力レジスタ１４６に供給されてい
る。このベクトル出力レジスタ１４６は、シーケ
ンサ１４２から線１４２２を介して供給されるブ
ロツクの区切りに対応するタイミング信号に従
い、検出された最適予測関数すなわち動ベクトル
を線１４０１に出力する。こうして定められた動
ベクトルが動ベクトル出力回路１４の出力であ
る。

つぎに、第４図を参照して予測誤差情報量発生
回路１４１について詳しく説明する。走査変換回
路１２によつて走査変換された画像信号は線１２
０１を介して並列出力回路４１に供給される。並
列出力回路４１は１ブロツク内に含まれる画素を
並列に出力する。たとえば、第５図に示すように
走査変換前において２画素×２ラインの計４画素
からなるブロツクを考える。この時、画素ａ，
ｂ，ｃ，ｄは各々、線４１０１，４１０２，４１
０３，４１０４を介して減算回路４６，４７，４
８，４９にそれぞれ並列に供給される。つぎに、
可変遅延回路４２，４３，４４，４５について説
明する。これら４個の可変遅延回路４２〜４５は
ブロツク内の各画素点に対する予測信号を線１４
２１を介して供給される予測関数に従つて出力す
る。たとえば、この予測関数が第６図に示すＶで
あるとする。すなわち、走査変換していない状態
でみて右に１画素、上に２ラインだけ、フレーム
間予測（斜線にて示す）からずれているとする
と、この時のＶに従う予測信号は、ａ，ｂ，ｃ，
ｄである。そして、可変遅延回路４２，４３，４
４，４５の各々がブロツク内左上、右上、左下、
右下の各画素点に対する予測信号を発生するもの
とすると、第６図の予測関数Ｖに対しては可変遅
延回路４２，４３，４４，４５からはそれぞれ
ａ，ｂ，ｃ，ｄが予測信号として出力される。線
１５０１を介してフレームメモリ１５から供給さ
れる画像信号および線１４２１を介してシーケン
サ１４２から供給される予測関数は、この４個の
可変遅延回路４２〜４５に対してはまつたく同一
である。減算回路４６，４７，４８，４９では
各々、（ａ−ａ），（ｂ−ｂ），（ｃ−ｃ），（ｄ−ｄ
）
なる減算が実行される。各差分は符号長発生回路
５０，５１，５２，５３へ各々供給され、各差分
に対応する符号長に変換される。そして、これら
符号長は加算回路５４において合算される。この
合算結果が前述のブロツク当りの予測誤差情報量
であり、線１４１１を介して加算回路１４３に供
給される。

ここで、符号長発生回路５０，５１，５２，５
３における入出力関係について説明する。入力信
号としては差分値、出力信号としては符号長ある
いは符号長を近似的に表わすものをとるのが都合
がよい。近似的に符号長を表わした例を示すと、
差分の絶対値が０〜３の場合には出力が零、同じ
く４〜７には１，８〜11には２，12〜16には３，
17〜22には、４，23〜28には５，29〜34には６，
35以上には７というように、それぞれ対応させる
ことができる。ここで、差分値はたとえば1/256
を単位レベルとする時の正または負のレベルを表
わし、出力の単位はビツトする。

なお、第４図の説明においては、ブロツクの大
きさを２画素×２ラインとして説明したが、もつ
と大きい一般的にはｍ画素×ｎラインで表わされ
るブロツクについても適用できることは勿論であ
る。この時には第４図における可変遅延回路、減
算回路、符号長発生回路は、各々ｍ×ｎ個必要と
なる。

つぎに、第７図に示した、本発明の一実施例に
おける復号化装置を説明する。伝送路により伝送
されてきた圧縮された符号情報は、入力線INを
介して一旦速度整合用のバツフアメモリ２００に
供給される。バツフアメモリ２００から出力され
る情報は少なくとも動ベクトル情報と予測誤差情
報とを含んでいる。符号伸長回路３１は、これら
の圧縮された符号を伸長し、動ベクトル情報とそ
れに対する予測誤差情報とに分離する。予測誤差
情報は、線３１０１を介して加算回路３２に、動
ベクトル情報は、線３１０２を介して可変遅延回
路３３に、それぞれ供給される。可変遅延回路３
３は、動ベクトル情報に従つて予測信号を発生
し、加算回路３２は、該予測信号と前記予測誤差
情報とから加算により復号画像信号を発生する。
復号画像信号は走査逆変換回路３４とフレームメ
モリ３５とに供給される。走査逆変換回路３４の
機能は、符号化装置における走査変換回路１２の
機能とは逆の機能を行ない、走査変換されたテレ
ビジヨン信号から通常の走査に戻すことである。
この走査逆変換回路３４の出力信号はデイジタ
ル／アナログ変換器３６によりアナログ信号に戻
された後、出力線OUT′を介して通常のTVモニ
タにより表示される。可変遅延回路３３とフレー
ムメモリ３５は、符号化装置における可変遅延回
路１６とフレームメモリ１５とそれぞれ同一のも
のが使用できる。

なお、以上の説明のうち、予測符号化装置にお
ける動ベクトルの決定においては、第３図に示さ
れているシーケンサ１４２から予測関数が一方向
的に出力されている場合、あらかじめ定められた
複数個の予測関数のすべてを用いる場合を想定し
ていたが、他の方法を用いることもまた可能であ
る。すなわち、隣接するブロツク間においては類
似する動ベクトル＝最適予測関数が求まることが
多いため、ベクトル出力レジスタ１４６の出力を
線１４０１を介して出力すると同時にシーケンサ
１４２へも供給することにする。そして、シーケ
ンサ１４２からはこの供給された動ベクトルと大
幅には異なつていないものについてのみ予測関数
として出力するようにすれば計算量を減らすこと
ができる。また、これと類似の方法として、選択
回路１４４の出力をシーケンサ１４２に供給し、
シーケンサ１４２ではこの出力を参照してつぎに
出力すべき予測関数を定めることができる。

このような変形例に対しても、第３図を除くと
予測符号化装置には何らの変更を加える必要もな
い。なぜなら線１４０１を介して供給される動ベ
クトルについて予測符号化がなされるわけであつ
て、いかなる経過によつてその動ベクトルが求め
られたかは関係がないからである。したがつて、
当然、復号化装置についても何ら変更を要しな
い。

また、以上の説明においては動ベクトル検出時
に予測関数を表わすのに必要な符号の長さとこの
予測関数に対する予測誤差を表わす符号の長さを
ブロツク内画素について加えた値との合算値を用
いたが、これらの符号の長さは必ずしも厳密なも
のでなく、近似的なものであつても構わないこと
は勿論である。

以上述べたように本発明は、動き補償を適用し
たフレーム間予測符号化装置における動ベクトル
すなわち最適予測関数の検出時に、予測関数を表
す情報とこの予測関数に対する予測誤差との両者
を考慮しており、符号化能率が非常に高くなるた
め本発明を実施する効果はきわめて大きい。

【図面の簡単な説明】

第１図は動き補償フレーム間予測方式における
「動き補償」の原理を説明するための図、第２図
は本発明の一実施例における予測符号化装置を示
したブロツク図、第３図は第２図の動ベクトル出
力回路１４を示したブロツク図、第４図は第３図
の予測誤差情報量発生回路１４１を示したブロツ
ク図、第５図及び第６図はそれぞれ第４図の動作
を説明するための図、第７図は本発明の一実施例
における予測復号化装置を示したブロツク図であ
る。 図中、１１はアナログ／デイジタル変換器、１
２は走査変換回路、１３は遅延回路、１４は動ベ
クトル出力回路、１５はフレームメモリ、１６は
可変遅延回路、１７は減算回路、１８は加算回
路、１９は量子化回路、２０は符号圧縮回路、１
００はバツフアメモリ、１４１は予測誤差情報量
発生回路、１４２はシーケンサ、１４３は加算回
路、１４４は選択回路、１４５はベクトル符号長
発生回路、１４６はベクトル出力レジスタ、４１
は並列出力回路、４２〜４５は可変遅延回路、４
６〜４９は減算回路、５０〜５３は符号長発生回
路、５４は加算回路、２００はバツフアメモリ、
３１は符号伸長回路、３２は加算回路、３３は可
変遅延回路、３４は走査逆変換回路、３５はフレ
ームメモリ、３６はデイジタル／アナログ変換器
である。

Claims (1)

【特許請求の範囲】
1. １ 入力テレビジヨン信号の各フレームを分割し
   た、複数の画素からなるブロツク毎に、複数個の
   予測関数の中から最適予測関数を一つ定めて予測
   符号化に用いるテレビジヨン信号の適応予測符号
   化装置において、前記複数個の予測関数の中の、
   ある与えられた予測関数を表わすのに必要な情報
   量を評価する第１の評価手段及び前記与えられた
   予測関数に対する前記ブロツク当りの予測誤差量
   を表わすのに必要な情報量を評価する第２の評価
   手段を有し、該第１及び第２の評価手段から出力
   される評価情報量の和を、前記複数個の予測関数
   の一部または全部について比較し、最も小さい和
   を与える予測関数の一つを最適予測関数として前
   記ブロツク毎に出力する最適予測関数出力手段
   と、該最適予測関数に従つて予測符号化を行なう
   予測符号化手段と、該最適予測関数を表わす情報
   と、該最適予測関数を用いた時の前記予測符号化
   手段の出力である予測誤差を表わす情報とを、少
   なくとも含む情報を、圧縮符号化する手段とを、
   備えたテレビジヨン信号の予測符号化装置。