JPH0628445B2

JPH0628445B2 - 動画像信号の符号化方式およびその装置

Info

Publication number: JPH0628445B2
Application number: JP59169009A
Authority: JP
Inventors: 敏夫古閑
Original assignee: Nippon Electric Co Ltd
Current assignee: NEC Corp
Priority date: 1984-08-13
Filing date: 1984-08-13
Publication date: 1994-04-13
Anticipated expiration: 2009-04-13
Also published as: JPS6146683A

Description

【発明の詳細な説明】（産業上の利用分野）本発明は動画像信号の予測符号化に関する。

（従来技術とその問題点）テレビジョン信号に代表される動画像信号の高能率符号
化方法としては従来より画面間の相関を利用するフレー
ム間符号化が代表的である。フレーム間符号化において
はフレーム間での輝度変化すなわち動きが大きくなる
と、とくに面積的に大きい時非常に多くの伝送すべき情
報を発生することになる。この時にこの情報を少しでも
減少せしめるための手法として符号化すべき画素点を粗
くとる間引きあるいはサブサンプリングと呼ばれる方法
が用いられる。たとえば第３図に例示する従来方式で
は、大面積の動きが発生すると発生情報量が増加し、こ
の時符号器における情報の発生速度と伝送路あるいは記
録媒体への出力速度との間の速度整合を図るバッファメ
モリの充足度（メモリ容量の何％が使用されているかを
示す。第３図中ではＢＯＣと略記。）が上昇する。する
とこのＢＯＣを受けて制市回路は差分の量子化器におい
て例えば１画素おきに出力を強制的にゼロとする。そし
て、この画素の局部復号に当っては符号化される、すな
わちここで強制的にゼロにされていない近隣の画素につ
いての局部復号信号値を用いて内挿する。受信側でも同
様の構成により内挿すると送信側と受信側では同一の信
号が得られる。

しかしながら、以上説明した間引きは画面内に動きを含
むか否かには無関係に行われるため、静止部分とくに輪
郭線を多く含む静止部分において間引きによる歪が目立
ってくる。人間の視覚特性は動き部分については知覚が
低下し、静止部分については高い。この視覚特性を満足
させるための改良方法として隣接した画素についてのフ
レーム差分の変化が大きい場合にはその間にある画素に
ついての間引きを中止する、すなわちある画素について
のフレーム差がその両隣りのフレーム差分の平均値と比
較してある閾値以上の差異がある時にはその中間にある
画素の間引きを中止する（特願５１−１４１４２）。つ
まり第４図に示す画素時刻ｔ_０，ｔ_１，ｔ_２，ｔ_３，ｔ
_４におけるフレーム差分をそれぞれａ_０，ａ_１，ａ_２，
ａ_３，ａ_４とする時この閾値をＴとして｛（ａ_０＋
ａ_２）／２−ａ_１｝の絶対値がＴ以下であればａ_１の間
引きを行い、｛（ａ_２＋ａ_４）／２−ａ_３｝の絶対値が
Ｔ以上であればａ_３の間引きは行わない。このようにす
ると間引かれた画素を内挿により再生した時の歪は小さ
くすることができるが、間引きの本来の目的である符号
化による発生情報量を減少させる効果が低下する。

（本発明の目的）本発明は間引き・内挿に起因する符号化歪を小さく抑え
つつしかも符号化情報量を減少させることを目的とす
る。

（発明の構成）本発明によれば、符号化された情報の量を表す発生情報
量が伝送路速度あるいは記録速度を大幅に越える可能性
がある場合に符号化対象である入力画像の画素の一部を
間引いて予測符号化・伝送する動画像信号の符号化方式
において、前記間引きにより生じる前記入力画像との差
異を表す符号化歪を算出し、前記間引きの適用による前
記発生情報量の減少分を算出し、前記符号化歪が大で前
記発生情報量の減少が小なる場合には前記間引きは行わ
ず、そうでない場合には前記間引きを行うことを特徴と
する動画像信号の符号化方式が得られる。また、本発明
によれば、入力信号と該入力信号に対する予測信号とか
ら前記予測符号化において前記間引きを行なった時の符
号化歪と前記間引きによる前記予測符号化の発生情報量
の減少分を算出し前記符号化歪が大でありかつ前記発生
情報量の減少分が小である場合には前記間引きを行わな
いことを、そうでない場合には前記間引きを行うことを
示す信号を間引き指示信号として出力する判定手段、前
記入力信号と前記予測信号より予測誤差信号を発生する
手段、該予測誤差信号を量子化する手段、該量子化する
手段の出力と前記予測信号とを用いて第１の局部復号信
号を発生する手段、前記間引き指示信号に従って該第１
の局部復号信号を用い内挿の実行あるいは不実行により
再生し第２の局部復号信号を得る手段、該第２の局部復
号信号を用いて前記予測信号を発生する手段、前記間引
き指示信号に応動して前記量子化手段の出力信号を不等
長符号化する手段、該不等長符号化手段から出力される
符号の発生速度と伝送路速度あるいは記録媒体の記録速
度との間で速度整合を行う手段、とを具備することを特
徴とする動画像信号の符号化装置が得られる。

（本発明の原理）間引きに限らず何がしかの信号変換処理を行った場合の
歪を画素毎に調べるのは、画素信号は本来２次元的なも
のであることから余り良い方法とは言えない。たとえば
２次元的に構成される複数画素のブロック単位に歪を調
べる方が良い。歪を調べる時の評価関数としては、間引
きおよびその後の内挿により発生する符号化誤差に対し
て、(1)ある閾値を超える符号化誤差を示す画素数、(2)
符号化誤差の絶対値の和、(3)同じく自乗誤差の和、(4)
あらかじめ画面を平たんな成分と輪郭などの複雑な成分
に分離し、この複雑な成分についてのみ符号化誤差を
(1)〜(3)のいずれかを用いて計算、などをブロック単位
で求めることが考えられるが、以下の説明では簡単のた
め(2)を用いるものとする。もともと予測符号化におけ
る間引きは、符号化による発生情報量を減少させること
が第一目的である。ただし、間引きによる符号化歪を最
小にする必要があることは言うまでもない。このため本
発明では、間引きが適用される時には実際の符号化に先
行して(A)間引かれる画素の内挿を実行し、入力信号と
内挿値との差の絶対値を１ブロックにわたって加算し、
この結果より間引きによる符号化歪の大小をまず判定、
同時に(B)間引かれた画素における（間引かれなかった
場合の）予測誤差をハフマン符号などの不等長符号で表
現した時に割当てられる符号長をブロック毎に積算し、
間引きによる情報量の減少分を求める。そしてこの符号
化歪と情報量の減少分の各々に閾値を設け、（符号化
歪、情報量の減少分）＝（大，大）、（大，小）、
（小，大）、（小，小）のたとえば４種に分類し、
（大，小）のように間引きを適用する意味がない場合に
はこれを行わない。この分類をさらに細くすることも勿
論可能である。

このように間引いても符号化歪が小さいか、たとえ少々
大きくても符号化情報量の減少効果が大きい場合には適
用することが可能である。

（実施例）本発明に関る第１図、第２図を参照しつつ詳細に説明す
る。

線１０００を介して供給される動画像信号は減算器１０
と判定回路１６に同時に入力される。判定回路１６の機
能については後述する。減算器１０の出力である予測誤
差信号は遅延回路１１において判定回路１６における判
定時間の分だけ遅延されて量子化器１２に供給される。
この量子化された予測誤差信号は線１２００を介して加
算器１３と不等長符号器１８へ同時に供給される。加算
器１３においては判定回路１６における判定時間だけ遅
延回路２０により遅延した予測信号と量子化された予測
誤差信号とから第１の局部復号信号が得られ、これは内
挿回路１４へ供給される。内挿回路１４では、線１７０
０を介して制御回路１７より供給される複数種類用意さ
れている間引き方法のいずれか１種を指定する間引き率
指定モード信号と線１６００を介して供給されるブロッ
ク毎に変化する間引き指示信号の双方を受けて、間引き
が行われる画素については各間引き率に応じた内挿を行
い、間引きが行われない画素については第１の局部復号
信号をそのまま内挿出力とする演算および信号の選択を
行う。内挿方法は特別なものは必ずしも必要なく、たと
えば１画素おきに間引きが行われている場合には両隣の
画素の平均によるなどの簡単なものでも構わない。符号
化歪が減らせるようにより精度の高い内挿方法が好まし
いことは勿論である。この内挿回路１４の出力である第
２の局部復号信号を用いて予測回路１５は予測信号を発
生する。フレーム間予測を用いる時には予測回路１５と
して動画像信号の１フレーム時間遅延可能なフレームメ
モリを使用する。予測回路１５の出力は線１５００を介
して判定回路１６と遅延回路２０へそれぞれ供給され
る。

不等長符号器１８では量子化された予測誤差信号の不等
長符号化が行われるが、間引かれた画素については符号
化はされず無視される。どの画素が間引きがなされるか
または符号化されるかは前述の内挿回路１４におけると
同様に、間引き率指定モード信号と間引き指示信号の双
方を用いると一意に全く同じように定めることができ
る。この両信号ともに不等長符号器１８において符号化
されバッファメモリ１９へ供給される。この時動画像信
号の垂直・水平同期信号を表わす符号も通常一緒に符号
化される。バッファメモリ１９は不規則に供給される符
号の入力速度と伝送路２０００あるいは記録媒体への出
力速度との間で速度整合をとるメモリであり、その使用
状態すなわち全容量の何％が符号により満たされている
かを示す充足度（ＢＯＣ）を線１９１７を介して制御回
路１７へ出力する。制御回路１７はこのＢＯＣの値によ
りどの比率の間引きを用いるかを決定し線１７００を介
して間引き率指定モード信号として出力する。

ここで第２図を参照して判定回路１６の動作を説明す
る。線１０００と１５００を介して各々供給される入力
信号と予測信号から判定回路１６１は差信号を発生す
る。この差信号は量子化器１２と同一の量子化特性を有
する量子化器１６２により量子化され線６２００を介し
て加算器１６３と変換回路１７１へ供給される。加算器
１６３では予測信号と和をとることで第１の局部復号信
号に相当する信号を得て内挿回路１６４へと出力する。
内挿回路１６４では線６９００を介して供給される前記
の間引き率指定モード信号と間引き指示信号を含む間引
き信号に従って間引きがなされる画素に対しては間引き
率指定モード信号により指定される間引きに適合する内
挿回路１４におけると同一の内挿を行い、結果を減算器
１６５に供給する。減算器１６５では線１０００を介し
て供給される入力信号とこの内挿結果との差がとられ、
評価回路１６６へ供給される。この評価回路１６６は入
力される差分のたとえば絶対値を出力するものとする
が、線６９００を介して指定される間引きされる画素に
対しては強制的にゼロを出力する機能を有する。評価回
路１６６の出力は積分回路１６７においてブロック単位
で積分され、ブロック当りの符号化歪が求められたこと
になる。またこれと同時に、量子化器１６２の出力は変
換回路１７１において符号量への変換を受ける。たとえ
ば不等長符号器１８においてハフマン符号が用いられる
とすると、これと同じハフマン符号を用いるものとして
各符号の長さを出力できるように入力の差分値と出力の
符号長の関係を定めておく。この時変換回路１７１では
評価回路１６６の時とは反対に間引かれない画素に対し
てはゼロを出力するものとする。積分回路１７０はこの
符号長出力をブロック毎に積分する。この積分結果がブ
ロック当りの間引きによる情報量の減少分に相当する。

制御回路１６９は積分回路１６７，１７０に対して夫々
線６９６７，６９７０を介してブロック当りに積分にお
ける初期化と積分結果の転送を制御する。また線６９０
０を介して内挿回路１６４，評価回路１６６、変換回路
１７１における間引きあるいは内挿を線１７００を介し
て供給される間引き率指定モード信号を用いて制御す
る。さらに線６９６８を介して判定回路１６８における
判定結果の出力タイミングを制御する。

判定回路１６８においては供給された間引きによるブロ
ック当りの情報量の減少分と符号化歪を用いて、このブ
ロックに対して間引きを適用しても良いか否かを判定す
る。符号化歪の量をＤ、情報量の減少分をＣとし、各々
の判定用閾値をＤ_０、Ｃ_０とするときＤ＞Ｄ_０かつＣ＜
Ｃ_０の場合には間引きを行わず、他の場合には間引きを
行う、などの判定を行う。判結果はブロック毎に出力さ
れるが、第１図に示した符号化・復号化装置の構成を簡
単にするためには図中の入力信号と同一の時系列に従う
ことが必要である。

つぎに第１図に戻って復号化装置について説明する。伝
送路２０００あるいは記録媒体より供給される符号化さ
れた画像信号は一たんこの供給される速度と復号化装置
における復号化速度との速度整合するためのバッファメ
モリ３０に格納される。バッファメモリ３０から読み出
された符号は不等長復号器３１において含まれている垂
直・水平同期などを基準として間引き率指定モード信
号，間引き指示信号，予測誤差信号が分離され、それぞ
れ線３１００，３１０１，３１３２により出力される。
線３１３２により供給される予測誤差信号は加算器３４
において予測回路３４から供給される予測信号と加えら
れて第１の復号信号となる。内挿回路３３では線３１０
０，３１０１によりそれぞれ供給される間引き率指定モ
ード信号、間引き指示信号の２信号に従って、符号化装
置における内挿回路１４と同一の内挿動作により第２の
復号信号が得られ、線３０００を介して復号化装置から
出力される。またこの第２の復号信号は同時に予測回路
３４へも供給され予測信号の発生に用いられる。この予
測回路３４は符号化装置の予測回路１５と遅延回路２０
における遅延時間が異なるのみで、ほとんど同一の構成
で実現できる。

なお、以上説明した実施例は予測回路１５，３４として
１フレーム時間遅延可能な回路を用いる、フレーム間予
測の場合であった。フレーム間予測は動きが大きくなっ
てくると符号化能率が低下する欠点があるが、その欠点
を克服するため画面内の動きの方向、速さを検出してそ
れを予測に利用する動き補償と呼ばれる方法をフレーム
間符号化と組合せることぱある。本発明はこの動き補償
フレーム間符号化についても適用可能であるので、第５
図を参照しつつ以下に説明する。

線１１００を介して供給される入力信号に含まれる動き
の方向と速さを示すベクトルは、ベクトル検出器２２に
おいて検出される。この検出は複数の画素からなるブロ
ック毎に行われることが多い。検出されたベクトルは入
力信号の時系列と同一にして線２２００を介して予測回
路１５と不等長符号器１８へ供給される。予測回路１５
はベクトルが示す方向と速さに対応して遅延が１フレー
ム時間から変化できる可変遅延回路である。ベクトルに
応動して予測回路１５から出力される動き補償された予
測信号は線１５００を介して前述の実施例についてと同
様に減算器１０，判定回路１６，遅延回路２０へ供給さ
れる。減算器１０、判定回路１６へ供給されるもう一方
の信号は入力信号を、ベクトルの検出，出力に要する時
間だけ遅延回路２１にて遅延したもので線１０００を介
して供給される。不等長符号器１８へ供給されたベクト
ルは先の実施例にて説明した信号とともに符号化され伝
送される。

復号化装置においては、先の実施例にて説明した信号と
ともにこの符号化されたベクトルを不等長復号器３１で
復号する。ベクトルは線３１３４を介して予測回路３４
へ供給され動き補償された予測信号を発生する。

以上説明したベクトルに検出器２２、遅延回路２１、予
測回路１５，３４、不等長符号器１８、不等長復号器３
１を除くと先の実施例における動作と同じである。

なお、いずれの実施例においても、判定回路１６におけ
る判定用閾値Ｃ_０，Ｄ_０は固定である必要はなく、たと
えばＢＯＣの変化に応動して変化してもよい。この時に
は制御回路１７よりＣ_０，Ｄ_０の値を指定するための信
号線を設ける必要がある。

（発明の効果）本発明では、符号化において画素の間引きを行うことに
より実現される伝送すべき符号量の減少と、画面の局所
的性質に即応できるように予め調べられた間引きにより
発生する符号化歪の両者を勘案して間引きを行う箇所と
禁止する箇所を区別するため、符号化歪は小さく抑えつ
つ符号量を大巾に減少させることが可能となり、この結
果高い符号化能率が実現されるなど、本発明を実用に供
するとその効果は極めて大きい。

【図面の簡単な説明】

第１図及び第２図は本発明の実施例を説明するための
図、第３図及び第４図は従来例を説明するための図、第
５図は本発明に係る他の実施例を説明するための図であ
る。図中、１０は減算器、１１と２０は遅延回路、１２は量
子化器、１３と３２は加算器、１４と３３は内挿回路、
１５と３４は予測回路、１６は判定回路、１７は制御回
路、１８は不等長符号器、１９と３０はバッファメモ
リ、３１は不等長復号器、２１は遅延回路、２２はベク
トル検出器、を示す。

Claims

【特許請求の範囲】

【請求項１】符号化された情報の量を表す発生情報量が
伝送路速度あるいは記録速度を大幅に越える可能性があ
る場合に符号化対象である入力画像の画素の一部を間引
いて予測符号化・伝送する動画像信号の符号化方式にお
いて、前記間引きにより生じる前記入力画像との差異を
表す符号化歪を算出し、前記間引きの適用による前記発
生情報量の減少分を算出し、前記符号化歪が大で前記発
生情報量の減少分が小なる場合には前記間引きは行わ
ず、そうでない場合には前記間引きを行うことを特徴と
する動画像信号の符号化方式。
【請求項２】入力信号と該入力信号に対する予測信号と
から前記予測符号化において前記間引きを行った時の符
号化歪と前記間引きによる前記予測符号化の発生情報量
の減少分を算出し前記符号化歪が大でありかつ前記発生
情報量の減少分が小である場合には前記間引きを行わな
いことを、そうでない場合には前記間引きを行うことを
示す信号を間引き指示信号として出力する判定手段、前
記入力信号と前記予測信号より予測誤差信号を発生する
手段、該予測誤差信号を量子化する手段、該量子化する
手段の出力と前記予測信号とを用いて第１の局部復号信
号を発生する手段、前記間引き指示信号に従って該第１
の局部復号信号を用い内挿の実行あるいは不実行により
再生し第２の局部復号信号を得る手段、該第２の局部復
号信号を用いて前記予測信号を発生する手段、前記間引
き指示信号に応動して前記量子化手段の出力信号を不等
長符号化する手段、該不等長符号化手段から出力される
符号の発生速度と伝送路速度あるいは記録媒体の記録速
度との間で速度整合を行う手段、とを具備することを特
徴とする動画像信号の符号化装置。
【請求項３】符号化歪の評価に、間引かれた画素をその
近隣の符号化される画素を用いて内挿した時の内挿値と
入力動画像信号との差を用いることを特徴とする特許請
求の範囲第１項記載の動画像信号の符号化方式。
【請求項４】間引きを行った時の符号化歪と発生情報量
の減少分の評価においてそれぞれに対する閾値を設定
し、予測符号化時における符号の発生速度と伝送路速度
あるいは記録媒体の記録速度との間の速度の差に応動し
て前記閾値を変化することを特徴とする特許請求の範囲
第１項記載の動画像信号の符号化方式。