JPS6016081A - 動画像信号の符号化・復号化方式とその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明は動画像信号の画像書替方式およびその装置に関
する。

テレビジョン信号に代表される動画像信号を効率良く圧
縮符号化できる方法としてはまずフレーム間予測符号化
方式が挙げられる。フレーム間予測では相連続するフレ
ームの間での画像信号振巾の変化分（フレーム間差分）
を符号化するのが普通である。これを実現するためには
送信装置、受信装置の双方にフレームメモリと呼ばれる
テレビジ、ン画像の１フレームを記憶するメモリまたは
１フレ一ム時間遅延する遅延回路が必要である。

なお以下ではフレームメモリが用いられるものとして説
明するが遅延回路でも何ら差しつかえなく以下の説明は
そのまま成立する０さて、送−受信側に設けられるフレ
ームメモリの内容は符号化・復号化の開始時点において
同一となるように初期設定が必要なことは、フレーム間
予測符号化においてはフレームメモリに記憶されている
前フレーム画像との変化分を符号化し、復号化するので
当（５） 然であるが送信途中にて伝送線路のビット誤シにより正
しく復号できず、結果として送・受信の各フレームメモ
リ内容に一部分にせよ不一致が発生する場合がある。誤
りの発生場所によっては画面全体が意味をなさないほど
目茶苦茶な色、模様を示すこともあれば、もっとも軽微
な場合には１画素についてのみ誤った復号がなされ、そ
の誤りの影響が広がらずしかもそれが下位ビットならば
目に見えないこともある。しかし、通常は多かれ少なか
れ目に見える歪のある画像となって現われる。

このように一度でも伝送線路にてと、ト暁りが発生する
と一般的には回復できない送・受信側のフレームメモリ
内容の不一致を引き起す。この場合には何らかの方法で
もうて両フレームメモリの一致をはからねばならない。

これを実現するーっの方法としては送信側の局部復号信
号を伝送することが考えられる。たとえに第１図に例示
するように通常は送信部では量子化器（Ｑ）により量子
化／＼ された予測誤差ｅが選択信号Ｓ１により選択された後圧
縮符号化され伝送される。受信部では伸長（６） されたｅとフレームメモリから出力される予測信号（前
フレーム画像）とから復号信号夕を得る。

送・受信部の動作が正常な場合には局部復号信号仝と復
号信号ダは一致しなければならないが、伝送路にビット
誤りが発生するともはやぐと交はまったく異なる画像と
なることがあるのは前述のと９９である。この場合一定
周期で局部復号信号仝をそのまま伝送し、受信側ではこ
れを復号信号交として取扱うと一定時間後にはビット誤
りのない正常な画像が受信部に再現され、両フレームメ
モリの内容は一致し、正常な符号化・復号化動作が再開
される。またこのように周期的に仝を用いて画像を書替
ると受信側で誤りを検出する度に回送要求を送信するよ
りも装置構成が簡単になる０そしてさらに、送信装置が
１台で受信装置が多数という、いわゆる放送モードの伝
送においては各受信装置における正常、異常受信の如伺
にかかわらずこの例のように周期的に画像を書替ること
が実用上重要かつ有利である。この書替の周期は−たん
誤りが発生して正常画像が復帰するまでの待時間を短く
するため短い方が好ましいが、あまり頻繁に書替信号を
送信するとかんじんの予測誤差信号−動画情報を伝送す
る余裕が少なくなってくる。

とくに伝送速度がたとえば１．５　Ｍｂ／ｓあるいは以
下などのように低くなってくるとこの書替情報は全伝送
情報量のかなり大きな部分を占めることになる。

たとえば１走査線内の画素数をｍ叫、各画素は８ビツト
で表現されており、書替は１フレーム当りｔ走査線とす
る。毎秒／／３０フレームが伝送されるものとするとこ
の時の書替信号の情報量はｔＸｍＸ８Ｘ３０＝２４０ｍ
ビ、１７秒であり、Ｌ＝２．ｍ＝５００とすると２４０
　ｋｂ／ｓとなる０またこの時の画面の書替は走査線が
５２５本、３０フレ一ム／秒のＮＴＳ　Ｃ方式の場合で
は、５２５／（２Ｘ３０）＝８．７５（秒）に−回為さ
れることになる。すなわち２４０ｋｂ／８　の画像書替
信号を用いると８．７５秒毎に画面は書き替えられるこ
とになる。ところがこの画像書替信号の情報量は１．５
Ｍｂ／Ｓの伝送情報量の約１／６もの大きな部分を占め
ている。この割合は１．５Ｍｂ／ｓあるいはこれ以下の
速度での伝送時には大き過ぎ、本来の動画像の伝送に割
当てられる情報量が少なく動画像の画質への影響が無視
できない。

本発明はこの画像書替信号の情報量を大巾に軽減するこ
とを目的とする。

すなわち本発明は、入力される動画像信号の時間軸方向
の相関を用いる符号化・復号化において、符号器と復号
器の各々に記憶されるべき画像内容の一致を図るための
画像書替を実行するに当り、符号化に際しては、フレー
ム（またはフィールド）間相関に代表される時間軸方向
の相関を利用する第１の予測符号化において得られる第
１の局部復号信号より、フレーム（またはフィールド）
内相間などの画面内相関を用いる第２の符号化方法によ
りこの第１の局部復号信号よりも平均的に少ない符号量
にて表わされる画像書替信号を発生し、前記第１の予測
符号化において得られる予測誤差信号と前記画像書替信
号のいずれか一方を、あらかじめ定められた選択規則に
従って伝送し、復号（９） 化に際しては、前記画像書替信号が伝送された場合には
前記第２の符号化に対する復号化により得られる画像書
替復号信号を、そうでない場合には前記第１の予測符号
化に対する予測復号化により得られる予測復号化信号を
、前記入力動画像信号に対する復号化された動画像信号
として出力することにより、入力動画像信号の符号化を
行ないながら画面の書替を実行する。

本発明の原理について説明する。画像書替信号として第
１図に示したように局部復号信号そのままを用いると動
画像の符号化能率に影響を与えるため、この画像書替信
号も何がしか劣化の少ない符号化方法を用いて情報量を
低減してやれば、その影響を小さくできる。すなわち第
２図内に斜線で示すように局部復号信号に対する第２の
符号器（送信部）を設け、局部復号信号の代りに平均的
により少ない符号量で表現された画像書替信号会を伝送
する。

第２の符号器において用いる符号化方式はフレーム（ま
たはフィールド）内の画像信号のみを用（１０） いる差分ＰＯＭ、アダマール変換、コサイン変換などが
適用でき、用いる第２の符号器において−たん復号した
画像信号が第１図における局部復号信号仝に置き換わる
。予測誤差信号台。と画像書替信号台、はあらかじめ定
められた規則（たとえば前述のように◇１を１フレーム
当り２走査線づつ）に従って選択される。会。と今。、
会、と仝１の各々の組が選択信号Ｓ、、Ｓ、により同時
に選択される。

この差分ＰＯＭ、アダマール変換、コサイン変換などを
用いると画像書替信号を１画素当り３〜４ビツトで表わ
すことも容易であるので、従来のように８ビｙ　）　（
Ｐ　ＣＭ　）で局部復号信号をそのまま画像書替信号と
して伝送する場合と比較すると約半分の情報量で画面の
書替えができることになる。すなわち、先の例に対して
は９０〜１２０ｋｂ／ｓで書替ができることになる。あ
るいは画像書替信号として２４０ｋｂ／ｓを用いても良
いとするならば一画面の書替えに要する時間は８．７５
秒から３．２８〜４．３８秒に短縮できる。すなわち画
像書替信号の情報量がｌ／ｎ＞なれば画面書替に要する
時間は１／ｆ１になる。

このように第２の符号化を行なって画像書替信号を発生
すると画像書替情報の大幅な低減あるいは画面の書替時
間の大幅な短縮が実現できる。

以下図面を参照しながら本発明の実施例について詳細に
説明する。第３図に本発明に係る動画像信号の符号化、
復号化装置のブロック図を示す。

入力動画信号は線１０００を介して減算回路１０へ供給
される。減算回路１０はフレーム（またはフィールド）
メモリ１４から供給される予測信号を人力動画像信号間
から減算し、その差分すなわち予測誤差信号を量子化回
路１１へ供給する。量子化回路１１はこの予測誤差信号
のと９得るレベル数を減少させることにより情報低減を
実現する機能をもりておシ、その変換特性を複数種有す
る。

量子化された予測誤差信号θ０）は線１１１２．１１１
５によシ加算回路１２と選択回路１５へそれぞれ供給さ
れる。加算回路１２は予測信号とこの量子化された予測
誤差信号との和をとり、第１の局部復号信号を発生する
。画像書替信号発生器１３は線１２００を介して供給さ
れる第１の局部復号信号を用いて画像書替情報冷、）を
発生し線１３１９を介して選択回路１５へ供給すると同
時に、この画像書替信号発生器１３において発生する第
２の局部復号信号は線１３１９を介して選択回路１９へ
供給される。選択回路１５では線１１１５を介して供給
される予測誤差信号と線１３１５を介して供給される画
像書替信号のいずれか一方を線１７００を介して制御回
路１７より供給される選択制御信号（モード情報）に従
って選択する。同様に選択回路１９では、線１２００と
線１３１９を各々介して供給される第１．第２の局部復
号信号のいずれか一方をこの選択制御信号に従って選択
するが、その選択結果はフレーム（またはフィールド）
メモリ１４へ供給され予測信号の発生に利用される。こ
の画像書替信号発生器１３については後に詳述する。選
択回路１５における予測誤差信号と画像書替信号の二者
択一、選択回路１９における２種の局部復号信号の二者
択一はいずれも制御回路１７により線１７００を介して
同時に制御される。

（１３） たとえばＦ番目のフレームにおいて第ｔ、ｉ＋１の２走
査線が書替えられるとするとこの時のみ線１３１５と線
１３１９を各々介して供給される信号を選択し、それ以
外のＦ番目のフレーム時間内は線１１１１と＠　１２０
０を各々介して供給される信号を選択する。そしてつぎ
の（Ｆ＋１）番目のフレーム時間では第：＋２．ｉ−＋
−３の２走査線の時のみ画像書替信号と画像書替信号発
生器１３からの局部復号信号が選択される。そして同様
のことを順次繰り返す。

ここで制御回路１７における制御信号の発生について説
明する。制御回路１７の動作は大別して２種あり、一方
は量子化回路１１および画像書替信号発生器１３におけ
る量子化特性の選択に用い、他方は選択回路１５．１９
における前述の信号選択である。これらの制御信号の発
生にあたってはバッファメモリ１８がどのくらい使用さ
れているかを示すバッファメモリの占有度（たとえば０
〜１００１を用い、占有度が大きくなるにつれて量子化
特性は粗くなるように制御しく線１７５０　）　。

（１４） 占有度がある定められた値を超えると画像書替信号の送
出を停止する、すなわち画像書替信号の選択をしないよ
うに制御（線１７００　）する。占有度が低い場合には
前述のようにフレーム毎に規則正しく画像書替が行なわ
れるが、高い場合には中断されることもある。このバッ
ファメモリの占有度は線１８１７を介してバッファメモ
リ１８より制御回路１７へ供給される。また制御回路１
７の出力である再制御信号はともに圧縮符号化回路１６
において符号化される。なお、予測誤差信号あるいは画
像書替信号の圧縮符号化にあたっては、複数種用いられ
る量子化特性に適した符号群を用いることが伝送符号量
を少なくする上で有効であるため通常は量子化特性が変
わればそれに対応して用いる符号群も変える方が有利で
ある０この符号群の例としては各量子化特性を用いた時
に得られる量子化された予測誤差の振巾分布よりめられ
るハフマン符号などの不等長符号が適しており、量子化
特性が変わるとこの振巾分布の形も変わるためハフマン
符号などの不等長符号の形も変わる〇符号圧縮回路１６
ではこのように線１７５０により指示される量子化特性
に対応して不等長符号群の中のいずれかを選択し量子化
された予測誤差信号あるいは画像書替信号の圧縮符号化
を実行する。

符号圧縮回路１６の出力符号量は時間的に変動するため
、一定速度の伝送路２０００との速度整合をとる必要が
あり、符号は−たんバッファメモリ１８へ記憶される。

そして伝送路２０００の速度で読み出され、受信側へ伝
送される。

つぎに受信側における復号動作について説明する。伝送
路２０００を介して供給される圧縮符号化された動画像
信号は−たん伝送路の速度と受信側における復号の速度
との速度整合を行なうためのバッファメモリ２８に記憶
される。バッファメモリ２８からは受信側の復号化の速
度に従って記憶されている符号が読み出され符号伸長回
路２６に供給される。符号伸長回路２６ではこの供給さ
れた符号から前述の画像書替信号が伝送されたことを示
すモード情報を検出し、画像書替信号と予測誤差信号と
を分離する。分離された画像書替信号と予測誤差信号は
使用された量子化特性に応じて伸長され、線２６２２．
２６２３を介してそれぞれ加算回路２２と書替信号復号
器２３へ供給される。加算回路２２では予測誤差信号を
用いて予測復号化（第１の復号化）が行なわれ、画像書
替信号復号器２３では画像書替信号の復号（第２の復号
化）が行なわれる。復号された両信号はそれぞれ線２２
２５、２３２５を介して選択回路２５へ供給される。

選択回路２５における選択動作はモード情報をもとにし
た制御回路２７の制御に従う。このモード情報は線２６
２７によって制御回路２７に供給されるが、前述の例で
説明すると第ｉ、（−ｉ＋ｔ）番目の走査線について画
像書替信号が伝送されたことをモード情報が示している
場合には、第ｉ。

（ｉ＋１）番目の走査線に対応する復号信号としては線
２３２５を介して供給される復号された画像書替信号す
なわち第２の復号信号が選択されるように制御回路２７
は選択器２５を制御する。選択器２５の出力である復号
された動画像信号は線３０００を介して受信部より出力
されると同時にフ（１７） レース（またはフィールド）メモリ２４へ供給される。

加算回路２２はこのフレーム（またはフィールド）メモ
リ２４の出力である予測信号と線２６２２を介して供給
される予測誤差信号を用いて第１の復号信号を発生する
。

なお、以上述べｆｃ第１．第２の復号信号の発生におい
ては、線２６２２．２６２３を各々介して分離・伸長さ
れた予測誤差信号と画像書替信号が供給される場合につ
いてであったが、線２６２２．２６２３に分離しないま
まに両信号を共通に供給しても良い０すなわち分離機能
を選択回路２５にもたせることも可能で、実際には前述
の説明にてもこの選択回路２５自体も分離動作を行なっ
ているからである０つぎに、第４．５図を参照して画像
書替信号の発生と復号について詳しく説明する。

第４図は画像書替信号発生器１３０１例でフレーム（ま
たはシイールド）内差分ＰＯＭを用いる場合のブロック
図を示す。線１２００を介して供給されるフレーム（ま
たはフィールド）間予側における第１の局部復号信号は
減算回路１３０へ供給（１８） される。予測器１３４から供給されるフレーム（または
フィールド）内子側信号とこの第１の局部復号信号との
差分は量子化器１３１により量子化され、画像書替信号
として線１３１５を介して出力される。量子化特性の選
択は線１７５０を介して供給される制御信号に従う。加
算回路１３２はフレーム（またはフィールド）内予測信
号とこの画像書替信号との和をとることにより第２の局
部復号信号を発生し、予測器１３４へ、また画像書替信
号発生器１３の出力として選択回路１３５へ供給する。

画像書替信号はたとえば先の例における１フレ一ム時間
につき２走査線のように伝送する頻度は一般に少ない。

したがって画像書替信号が伝送されない時には選択回路
１３５は線１２００より供給されるフレーム（ｔ−たは
フィールド）間予側における第１の局部復号信号を選択
し、事実上画像書替信号発生器１３をバイパスする。こ
の選択制御は線１７００を介して供給されるモード情報
に従って行なわれる〇 つぎに受信側における画像書替信号の復号について説明
する。第５図に画像書替信号復号器２３の１例を示す。

第４図の予測器１３４と第５図の予測器２３４は同一の
予測関数をもたねばならないが、も、とも簡単な前値予
測を始めとしてフレーム（またはフィールド）内予測で
あればとくに制限はない。

線２６２３を介して供給される画像書替信号は加算回路
２３２により予測器２３４から供給される予測信号と加
算され、復号され第２の復号信号を発生する。つぎに画
像書替信号の他の発生、復号方法について第６，７図を
参照して説明する。

画像書替信号の発生にはフレーム（またはフレーム）内
相間を用いた符号化方式が用いられるが、ここではアダ
マール変換、コサイン変換などに代表される直交変換符
号化を用いる例について説明する○すなわち第６図中の
符号変換回路６３０が上記直交変換符号化を実行し、第
６図の符号逆変換回路６３２と第７図の符号逆変換回路
７３２がその逆変換を実行するものとする。

線１２００を介して供給されるフレーム（またはフィー
ルド）間予側の第１の局部復号信号は符号変換回路６３
０において直交変換される。各変換係数は順次量子化器
６３１によシ係数量子化がなされ画像書替信号として線
１３１５を介して出力される。この信号はまた同時に符
号逆変換回路６３２に供給され、直交逆変換される０逆
変換された信号は一般に変換前の信号の精度（ビット数
）と一致しないので丸め回路６３３において線１２００
を介して供給される第１の局部復号信号と精度をそろえ
る。丸め回路６３３の出力は第２の局部復号信号として
選択回路６３４に供給され、線１７００を介して供給さ
れるモード情報に従って選択される。画像書替信号を発
生しない時には線１２００を介して供給される第１の局
部復号信号が選択される０ 第７図に示す受信側の画像書替信号復号器２３の動作は
送信側における符号逆変換器６３２と丸め回路６３３を
合わせた回路ブｐ、りと同一である。すなわち線２６２
３を介して供給される量子化された変換係数は符号逆変
換回路７３２において（２１） 直交逆変換され、丸め回路７３３において信号の精度が
そろえられ、第２の復号信号として出力される。

以上詳しく説明したようにフレーム（またはフィールド
）間予側を利用した符号化を用いると伝送路上にてビッ
ト誤りが発生し、しかもその誤り訂正が完全でない場合
に扛伝送エラーによる画像の歪が一般には永久に解消し
ないため画像の書替えが必要であるが、本発明を用いる
と従来よシも書替えに要する情報をおよそ半分かそれ以
下にできるので軽減される分だけ動画像の画質改善に役
立てることができるし、あるいは書替えを速くすること
ができる０前述の例では毎フレーム２走査線づつをＰＯ
Ｍのまま画像書替信号として伝送すると、この時の情報
量は約２４９ｋｂ／ｓで、１画面を書替えるのに要する
時間は約８．７５秒であった。この２４０ｋｂ／ｓとい
う情報量は１．５Ｍｂ／ｓで動画像を伝送する時には１
５チ強で、もし１．５Ｍｂ／ｓの中に音声や誤り訂正符
号／が含まれている場合には約２０チにも相当する。本
発明を用い（２２） て画像書替信号の情報量が１７２になればこの比率は１
０チに下がり、減少分（１０％）は動画像の画質改善に
用いることができる０また、動画像の画質改善に用いず
に書替時間の短縮を計るとすると１画面の書替えに要す
る時間を１／２すなわち約４秒にすることができる。ま
た、本発明はカラー画像に対しても同様に適用できる。

ＮＴ８０゜ＰＡＬ、ＳＢＯＡＭなどのカラーテレビジョ
ン信号の直接または分離符号化のいずれにおいても色信
号副搬波の位相を考慮したフレーム（またはフィールド
）内差分ＰＯＭや直交変換が適用できることは勿論であ
る。さらに、符号化効率が非常に高い動き補償を用いた
符号化方法に対しても適用できることは勿論である。

このように本発明を実用に供すると、その効果はきわめ
て大である。

【図面の簡単な説明】

第１図は従来の画像書替方法を説明するプロ。 り図、第２図は本発明の詳細な説明するプロ、り図、第
３図、第４図、第５図、第６図、第７図は本発明の詳細
な説明するブロック図である。 図中、１０は減算回路、１１は量子化器、１２は加算回
路、１３は画像書替信号発生器、１４はフレーム（また
はフィールド）メモリ、１５は選択回路、１６は符号圧
縮回路、１７は制御回路、１８．２８はバッファメモリ
、２２は加算回路、２３は画像書替信号復号器、２４は
フレーム（またはフィールド）メモリ、２５は選択回路
、２６は符号伸長回路、２７は制御回路、である。 第４図 第５図 第６図 オフ図

Claims (1)

1. 【特許請求の範囲】 （１）入力される動画像信号の時間軸方向の相関を用い
   る符号化−復号化において、符号器と復号器の各々に記
   憶されるべき画像内容の一致を図るための画像書替を実
   行するに当り、符号化に際しては、フレーム（またはフ
   ィールド）間相関に代表される時間軸方向の相関を利用
   する第１の予測符号化において得られる第１の局部信号
   より、フレーム（またはフィールド）内相間などの画面
   内相間を用いる第２の符号化方法により該第１の局部復
   号信号よりも平均的に少ない符号量にて表わされる画像
   書替信号を発生し、前記第１の予測符号化において得ら
   れる予測誤差信号と前記画像書替信号のいずれか一方を
   、あらかじめ定められた選択規則に従って伝送し、復号
   化に際しては、前記画像書替信号が伝送された場合には
   前記第２の符号化に対する復号化により得られる画像書
   替復号信号を、そうでない場合には前記第１の予測符号
   化に対する予測復号化により得られる予測復号化信号を
   、前記人力動画像信号に対する復号化された動画像信号
   として出力することにより、動画像信号の符号化を行な
   いながら画面の書替を実行することを特徴とする動画像
   信号の符号化・復号化方式。 （匈　入力される動画像信号の時間軸方向の相関を用い
   る符号化・復号化において、符号器と復号器の各々に記
   憶されるべき画像内容の一致を図るための画像書替を実
   行するに当り、時間軸方向の相関を利用した予測信号を
   用いて予測誤差信号を発生する第１の予測符号化手段、
   該第１の予測符号化手段において得られる第１の局部復
   号信号から画面内相間を用いて該第１の局部復号信号よ
   りも平均的に少ない符号量で表現される画像書替信号を
   発生する第２の符号化手段、前記予測誤差信号と前記画
   像書替信号のいずれか一方をあらかじめ定められた選択
   制御信号に従って選択する第１の選択手段、該第１の選
   択手段と同一の選択制御に従って前記第１の局部復号信
   号と前記第２の符号化手段において得られる第２の局部
   復号信号のいずれか一方を選択する第２の選択手段、該
   第２の選択手段の出力を用いて前記第１の予測符号化手
   段における予測信号を発生する手段、前記第１の選択手
   段の出力と前記選択制御信号を少なくとも含み圧縮符号
   化する手段、該圧縮符号化された符号量の発生速度と伝
   送路の伝送速度とな整合させる手段、少なくとも該整合
   手段内に一時記憶される符号量を考鳳して前記選択制御
   信号を発生する手段、とを具備することを特徴とする動
   画像信号の符号化装置。 （３）入力される動画像信号の時間軸方向の相関を用い
   る予測符号化・復号化において、符号器と復号器の各々
   に記憶されるべき画像内容の一致を図るために伝送され
   る、該時間軸方向の相関を用いる符号器における局部復
   号信号に対して画面内相関を用いてこれより平均的に少
   ない符号量でもって符号化した画像書替信号と、該時間
   軸方向の相関を用いる符号器より得られる予測誤差信号
   および該画像書替信号と該予測誤差信号のいずれが選択
   されたかを示す選択制御信号を少なくとも含む圧縮され
   た動画像信号の復号化に当り、伝送路の伝送速度と該圧
   縮された動画像信号の復号化速度とを整合させる手段、
   該整合手段の出力に含まれる前記画像書替信号、予測誤
   差信号、選択制御信号をそれぞれ伸長する手段、時間軸
   相関を利用した予測信号を用いて前記予測誤差信号から
   復号化する第１の予測復号化手段、前記画像書替信号か
   ら画面内相関　。 を用いて復号化する第２の復号化手段、前記伸長された
   選択制御信号に従って前記第１の予測復号化手段と前記
   第２の復号化手段のいずれか一方を選択する選択手段、
   該選択手段の出力を用いて前記予測信号を発生する手段
   、とを具備することを特徴とする動画像信号の復号化装
   置。