JPH07135656A - 映像信号符号化装置 - Google Patents

Abstract

(57)【要約】 【目的】 符号量の超過を予め検出し、強制的・優先的
に動きベクトルを符号化することにより、復号化装置に
特別な手段を設けることなく、超過によって欠けたブロ
ックの映像を修整して再生できる。さらに修整部分も先
行フレーム上ほぼ連続することから視覚上の不自然さが
軽減できる。 【構成】 映像信号をブロック化し、この信号と予測信
号との差分信号との一方を信号選択部１０４で選択し、
直交変換部１０５、量子化部１０６、過変調符号化部１
０７を通って符号化する。超過検出部１２３で出力符号
の超過を検出した場合、必ず差分信号を選択したものと
して動き検出部１１６で検出した動きベクトルを出力す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は映像信号を蓄積ないし伝
送する目的で符号量を削減するための高能率符号化を行
なう映像信号符号化装置に関するものである。

【０００２】

【従来の技術】映像信号のデジタル化し蓄積や伝送を行
なう際、映像信号の高能率符号化による圧縮を行なうこ
とは、蓄積量や伝送量を削減するために有効である。高
能率符号化の方法として、映像信号を８×８から１６×
１６画素程度のブロックに分割し、ブロック毎に離散余
弦変換（ＤＣＴ変換）やウエーブレット変換等の直交変
換を施し、視覚特性を加味した量子化を行ない、可変長
符号化を行なう方法が用いられることが多い。この方法
は映像信号の空間方向の冗長度を削減するためのもので
ある。

【０００３】さらに直前のフレームやフィールドなど時
間的近傍の画像との動き補償を用いて時間方向の冗長を
削減する方法もある。これは直前のフレームを復号化し
た画像から前述のブロックとの差分が最小となる部分を
検出し入力信号と検出した部分の画像信号との差分を求
めることによって行なうことができる。この差分は静止
映像やパン、チルトなどの動きの少ない画像では原信号
に比べて情報量が少なく符号化する場合の符号量が少な
くて済む。逆にシーンチェンジの直後などの場合、差分
が小さくなる位置が見つけられずに差分を取っても情報
量は減少しないばかりか、かえって増加する場合もあ
る。

【０００４】映像信号符号化装置では、上記の空間方向
と時間方向両者の冗長度削減を行ない、さらに時間方向
の冗長度削減については冗長度削減となる場合のみ行な
うような装置が提案されている。

【０００５】さて上記の映像信号符号化装置は、可変長
符号化処理を含むので映像信号の単位時間当りの生成符
号量が必ずしも一定とはならない。そこである定められ
た期間での出力符号量を一定とするため様々な制御方法
が提案、実用化されている。この制御方法はフィードフ
ォワード制御法とフィードバック制御法とに大別され
る。

【０００６】前者は一定期間の符号化を実際に行ない所
定の符号量にならない場合、量子化特性を変更して再度
符号化を行なうという動作を繰り返す方法や、予め量子
化特性毎の出力符号量を求め適切な量子化特性を選択す
るなどの方法が用いられる。

【０００７】後者の例としてテレビ会議システム等で、
可変長符号化の後段に緩衝記憶装置を設け、通信速度を
調整すると共に、この緩衝記憶装置の貯り具合により、
上記量子化特性の動的変更や、映像信号の画素間引き、
フレーム間引きを行なう等の方法が用いられている（参
考文献：吹抜敬彦著 『ＴＶ画像の多次元信号処理』日
本工業新聞社）。

【０００８】図４は従来のフィードバック制御法により
符号量制御を行なう映像信号符号化装置の一例の構成図
である。図４において、１０１は映像信号を入力する入
力端子、１０２は映像信号を定められたブロック単位に
まとめるブロック化部、１０３は入力信号と予測信号の
差分信号を生成する差分信号生成部、１０４は入力信号
と差分信号の一方を選択する信号選択部、１０５はＤＣ
Ｔを施しＤＣＴ係数を求める直交変換部、１０６は別に
定める量子化因子で量子化する量子化部、１０７は可変
長符号化する可変長符号化部、１２０は符号合成部、４
２０は合成符号を一時的に蓄積する緩衝記憶部、１３０
は合成符号を出力する出力端子で、４１０は符号化済み
フレームを復号化してブロック単位に入力信号の予測信
号を発生する予測部、４２１は緩衝記憶部４２０に蓄積
した符号量を計測する符号量計測部、４２２は量子化因
子を選択する量子化因子選択部である。

【０００９】以下この動作について説明する。デジタル
化した映像信号を入力端子１０１から入力し、ブロック
化部１０２は８×８画素のブロック単位にまとめ、映像
の左上のブロックから走査順に出力する。

【００１０】ブロック化部１０２がブロック単位に出力
する入力信号毎に、予測部４１０は符号化済みのフレー
ムを復号化した信号を参照して入力信号の予測信号を生
成すると共に、復号化信号からの予測信号の生成法を符
号化して出力する。

【００１１】差分信号生成部１０３は前述の入力信号と
予測部４１０が発生した予測信号との差分信号を計算す
る。信号選択部１０４で前述の入力信号そのものと、差
分信号発生部１０３の出力の一方を選択し、直交変換部
１０５でＤＣＴ変換を施しＤＣＴ係数を求め、量子化部
１０６で量子化し、可変長符号部１０７で可変長符号に
変換する。量子化部１０６の量子化特性は量子化因子選
択部４２２で指定する量子化因子により変更可能であ
る。この量子化因子には大小関係があり、より大きな量
子化因子で量子化したＤＣＴ係数を可変長符号化部１０
７で可変長符号化すると符号量はより少なくなる。

【００１２】符号合成部１２０は可変長符号化部１０７
の出力と、信号選択部１０４で選択した信号の種類（前
述の入力信号そのものか差分信号か）を表す符号、量子
化因子選択部４２２で指定した量子化因子を表す符号、
予測部４１０が出力する予測信号生成法を符号化した符
号を合成し、緩衝記憶部４２０に蓄積する。ここで入力
信号のブロック単位あたりに対する合成符号量は一定で
はない。緩衝記憶部４２０からは一定の速度で符号を取
り出し、この映像信号符号化装置の出力として出力端子
１３０より出力する。１フレーム期間の出力符号量が定
められた符号量に満たない時は符号量の不足分だけダー
ミーの符号を出力する。逆に定められた符号量を出力し
た後の符号は出力せずに捨てる。

【００１３】符号量計測部４２１は緩衝記憶部４２０に
蓄積した符号量を計測し、この符号量に従って量子化因
子選択部４２２は量子化因子を選択する。実際に緩衝記
憶部４２０に蓄積した符号量が多いと大きな量子化因子
すなわち可変長符号化部１０７の出力符号量がより少な
くなる量子化因子を、少ないと小さな量子化因子すなわ
ち可変長符号化部１０７の出力符号量がより多くなる量
子化因子を選択する。

【００１４】

【発明が解決しようとする課題】しかしながらフィード
バック制御法による符号量制御を行なう前述の従来例で
は、長期間の平均的符号量をほぼ一定に制御することは
可能であるが、定められた期間（例えば１フレーム）の
符号量を正確に制御することは難しい。特に空間的情報
量の偏りの激しい映像では１フレームの符号量のオーバ
ーフローやアンダーフローが発生する可能性が高い。

【００１５】アンダーフローが発生した場合は符号量を
正確に制御した場合に比べて画質の劣化はあるが１フレ
ームの映像全てを符号化することは可能である。しかし
オーバーフローが発生する場合、符号の一部を切り捨て
なければならない。この符号を復号化する映像信号復号
化装置では視覚上自然な映像を再生するため切り捨てら
れた符号に相当するブロックの映像を生成しなければな
らない。この生成は近傍の画素から補間する方法や、直
前フレームの画素を複製する方法などがある。前者の方
法では複数のブロックの画素の補間は処理が複雑とな
り、さらに視覚上好ましくない。後者の方法で生成する
場合、同一位置の画素を複製した場合、動きのある映像
では、複製部分が一瞬静止し、視覚上好ましくない。こ
れを避けるためには動き補償の必要がある。

【００１６】本発明はかかる点に鑑み、オーバーフロー
が発生した場合の復号化装置の処理を複雑にすることな
く視覚上より自然な再生ができるように符号の切捨てを
行なう映像信号符号化装置を提供することを目的とす
る。

【００１７】

【課題を解決するための手段】本発明は上記目的を達す
るため、映像信号を入力し、一定のブロックに分割し、
前記分割したブロック毎に、すでに符号化の済んだ映像
信号から予測信号を生成し、前記入力信号との差分信号
を生成し、前記入力信号と前記差分信号の一方を選択し
て、直交変換を行ない別に定める量子化因子で量子化を
行ない可変長符号化した可変長符号と、前記予測信号の
生成法を符号化したものと、前記入力信号と差分信号の
選択した一方を表す符号と、前記量子化で用いた前記別
に定める量子化因子を符号化したものを合成して出力す
ると共に、前記出力する符号の符号量を計測し、予め定
めた一定期間に生成する符号が、別に定めた符号量以下
とするよう前記量子化で用いる量子化因子を定める映像
信号符号化装置であって、前記予め定めた一定期間に生
成する符号量が前記別に定めた符号量を超過することを
予め検出する符号量超過検出手段を備え、前記符号量超
過検出手段で符号量の超過を検出すると、前記符号の合
成において入力信号と差分信号の選択で差分信号を選択
することを表す符号と前記予測信号の生成法を符号化し
たもののみを合成して出力する構成である。

【００１８】さらに前記符号量超過検出手段で符号量の
超過を検出すると、前記予測信号の生成法を符号化する
場合の符号量が隣接するブロックで予め定める符号量以
下とする構成である。

【００１９】

【作用】本発明は前記した構成により、出力符号の超過
を予め検出し、符号化の済んだ映像信号に相当する符号
から生成できる予測信号を生成するための符号を優先的
に出力することにより、復号化装置に符号化時に符号量
超過が発生したことを検出する手段と、検出時の例外処
理手段を設けることなく、切り捨てた符号に相当するブ
ロックの映像を修整して再生することができる符号を生
成できる。さらに先行するフレーム上ほぼ連続する部分
を元に修整を行なうことにより修整部の視覚上の不自然
さが軽減できる。

【００２０】

【実施例】図１は本発明の映像信号符号化装置の第１の
実施例の構成を示すブロック図である。以下にこの実施
例について説明する。

【００２１】図１において、１０１は映像信号を入力す
る入力端子、１０２は映像信号を定められたブロック単
位にまとめるブロック化部、１０３は入力信号と予測信
号の差分信号を生成する差分信号生成部、１０４は入力
信号と差分信号の一方を選択する信号選択部、１０５は
ＤＣＴ変換を施し変換係数を求める直交変換部、１０６
は定められた量子化因子で量子化する量子化部で、この
量子化因子は変更可能である、１０７は可変長符号化す
る可変長符号化部、１１０は復号化信号生成部で信号選
択部１１１、和信号生成部１１２、逆直交変換部１１
３、逆量子化部１１４より構成する、１１５は参照信号
を記憶する参照信号記憶部、１１６は動きベクトルを検
出する動き検出部、１１７は参照信号の一部を取り出す
予測信号発生部、１２０は符号合成部で、１２１は符号
量を計測する符号量計測部、１２２は量子化因子を選択
する量子化因子選択部、１２３は１フレームの符号量の
超過を検出する超過検出部、１３０は合成符号を出力す
る出力端子である。ここで１０１〜１２０、１３０は上
記従来例と同様のものである。

【００２２】以下この動作について説明する。デジタル
化した映像信号を入力端子１０１から入力し、ブロック
化部１０２で８×８画素のブロック単位にまとめ、映像
信号の左上のブロックから走査順に出力する。

【００２３】ブロック単位の入力信号毎に動き検出部１
１６は参照信号記憶部１１５に記憶した参照信号上の対
応する位置を基準として検出範囲内でもっとも入力信号
と参照信号の誤差の少ない位置を動きベクトルとして検
出する。この誤差としては動き検出をするブロック内の
全ての画素値の差の絶対値の総和を使用する。予測信号
発生部１１７は参照記憶部１１５に記憶した参照信号上
の基準位置から動き検出部１１６で検出した動きベクト
ルだけ変移した位置の参照信号を取り出しそのブロック
の予測信号とする。差分信号生成部１０３はブロック毎
に入力信号と予測信号発生部１１７で求めた予測信号と
の差分信号を計算する。

【００２４】信号選択部１０４は入力信号そのものと、
差分信号発生部１０３の出力を特定の基準により一方を
選択する。この特定の基準はブロック内の画素の信号の
値の絶対値の総和の小さい方を選択するものである。信
号選択部１０４で選択した入力信号ないし差分信号は直
交変換部１０５でＤＣＴ変換を施しＤＣＴ係数を求め、
量子化部１０６で量子化し、可変長符号部１０７で可変
長符号化する。量子化部１０６の量子化特性は量子化因
子選択部１２２で指定する量子化因子により変更可能で
ある。

【００２５】さらにこの量子化因子には大小関係があ
り、より大きな量子化因子で量子化した変換係数を可変
長符号化部で可変長符号化するとより少ない符号量とな
る。この構成として量子化部１０６は量子化因子に対応
した量子化テーブルを持ち、量子化テーブルのそれぞれ
の位置の値の大小関係が対応する量子化因子の大小関係
と異ならないようにし、選択した量子化因子に対応する
量子化テーブルの対応する位置の値で割った商を求める
ことにより変換係数の量子化を行なう。さらに可変長符
号化部１０７は小さな値の入力に対して短い符号を割り
当てるハフマン符号化を行なうものとする。量子化部１
０６で量子化した変換係数は逆量子化部１１４で量子化
部１０６と同じ量子化因子で逆量子化し、逆直交変換部
１１３で直交変換部１０５で行なうＤＣＴ変換の逆ＤＣ
Ｔ変換を施す。

【００２６】信号選択部１０４で入力信号そのものを選
択したブロックは逆直交変換部１１３の出力を信号選択
部１１１を通って直接参照信号記憶部１１５に記憶す
る。一方信号選択部１０４で差分信号を選択したブロッ
クは逆直交変換部１１３の出力と予測信号発生部１１７
の発生した予測信号との和信号を和信号生成部１１２で
生成し信号選択部１１１を通って参照信号記憶部１１５
に記憶する。ただし超過検出部１２３が１フレームの符
号量の超過を検出した場合、逆直交変換部１１３の出力
と信号選択部１０４がどちらの信号を選択したかに係わ
らず、予測信号発生部１１７が発生する予測信号は和信
号生成部１１２と信号選択部１１１をそのまま通って参
照信号記憶部１１５に記憶する。

【００２７】超過検出部１２３が１フレームの符号量の
超過を検出していない場合、符号合成部１２０は可変長
符号化部１０７の出力と、信号選択部１０４で選択した
信号の種類（入力信号そのものか差分信号か）を表す符
号、量子化部１０６で選択した量子化因子を表す符号、
動き検出部１１６で検出した動きベクトルを符号化した
符号を合成し、出力端子１３０より合成符号を出力す
る。超過検出部１２３が１フレームの符号量の超過を検
出した場合、可変長符号化部１０７がその入力信号が全
て０であった場合に出力する符号と、信号選択部１０４
で差分信号を選択したことを表す符号、動きベクトル検
出部１１６で検出した動きベクトルを符号化したものを
合成して出力端子１３０より出力する。この出力端子１
３０から出力する合成符号が本映像信号符号化装置の出
力である。

【００２８】符号合成部１２０から出力する合成符号の
符号量を符号量計測部１２１で計測す。量子化因子選択
部１２２は出力符号量の１フレームの映像信号に割り当
てられた符号量に占める割合と、１フレームの符号化済
のブロックの割合を比べて、前者の方が大きい場合その
度合に合わせてより大きな量子化因子を、逆に前者が小
さい場合はその度合に合わせてより小さな量子化因子を
選択する。超過検出部１２３は符号合成部１２０が１ブ
ロックあたりに出力する符号量の最大量とフレーム内の
未符号化ブロック数の積と符号量計測部１２１で計測し
た出力符号量の和が１フレームの所定の符号量を超過す
ることで符号量の超過を検出する。

【００２９】なお、超過検出部１２３における１フレー
ム所定の符号量は１フレームに割り当て可能な符号量か
ら符号合成部１２０が１ブロックあたりに出力する符号
量の最大量を減じた量に設定することにより、オーバー
フローは発生しなくなる。

【００３０】また超過検出部１２３が１フレームの符号
量の超過を検出していない場合で、信号選択部１０４で
選択した信号が入力信号そのものである場合、符号合成
部１２０は動き検出部１１６で検出した動きベクトルを
符号化した符号を合成しないよう構成してもよい。

【００３１】なお、信号選択部１０４で用いる基準は、
差分信号の画素の信号の値の絶対値の総和が、一定の値
未満の時は差分信号、以上の時は入力信号そのものを選
ぶように構成するなどすることもできる。

【００３２】なお上記実施例では１フレーム単位での符
号量制御について述べたが、フィールド単位や、複数フ
レーム単位などで符号量を制御する場合にも適応でき
る。また符号化するフレームの順序は時系列順である必
要はない。さらに参照フレームを複数フレーム用意する
ことも可能である。この場合動きベクトルにはどの参照
フレームに対する動きベクトルであるかを示す情報も含
めるものとする。

【００３３】図３は上記第１の実施例の映像信号符号化
装置で符号化した映像信号を復号化する復号化装置のブ
ロック図である。以下にこれを説明する。なお第１の実
施例と同一番号を付したブロックの動作は第１の実施例
と同じである。

【００３４】図３において、１１０は復号化信号生成部
で、逆量子化部１１４、逆直交変換部１１３、和信号生
成部１１２、信号選択部１１より構成する。３０１は映
像信号を符号化した合成符号を入力する入力端子、３２
０は合成符号を分離する符号分離部、３０７は第１の実
施例の可変長符号化部１０７の逆符号化を行なう逆可変
長符号化部、３０２はブロック単位にまとめられた信号
を映像信号に戻す逆ブロック化部、３３０は映像信号を
出力する出力端子、１１５は参照信号を記憶する参照信
号記憶部、１１７は参照信号の一部を取り出す予測信号
発生部である。

【００３５】以下この動作について説明する。入力端子
より合成符号を入力し、符号分離部３２０でＤＣＴ係数
の量子化値を表す可変長符号と、量子化因子、信号選択
部１２０で選択した信号を表す符号、動きベクトルに分
離する。

【００３６】予測信号生成部１１７は参照信号記憶部１
１５に記憶した参照信号上の基準位置から上記分離した
動きベクトルだけ変移した位置の参照信号を予測信号と
して出力する。

【００３７】ＤＣＴ係数の量子化値を表す可変長符号を
逆可変長符号化部３０７で量子化値に戻し、逆量子化部
１１４において上記分離した量子化因子で逆量子化し、
逆直交変換部１１３で直交変換部１０５で行なうＤＣＴ
変換の逆変換を施す。

【００３８】上記分離した信号選択部１０４で選択した
信号を表す符号が入力信号そのものを選択したことを表
す符号の場合、逆直交変換部１１３の出力が信号選択部
１１１の出力となる。一方前記符号が差分信号を選択し
たことを表す符号の場合、逆直交変換部１１３の出力と
予測信号生成部１１７の発生する予測信号との和信号を
和信号生成部１１２で生成し、この和信号が信号選択部
１１１の出力となる。信号選択部１１１の出力は参照信
号記憶部に記憶すると共に、逆ブロック部３０２で前記
ブロック化部１０２の逆操作を施し、映像信号として出
力端子３３０から出力する。

【００３９】以下、第１の実施例の映像信号符号化装置
で符号化中に、符号量の超過を検出した場合の符号を、
本実施例の復号化装置で復号化する場合の動作を説明す
る。符号量超過を検出したブロックに相当する合成符号
を入力すると、ＤＣＴ係数の量子化値を表す可変長符号
は可変長符号化部１０７の入力が全て０であった場合に
出力する符号と同一であるから、逆可変長符号化部３０
７の出力は全て０となり、逆量子化部１１４、逆直交変
換部１１３の出力も全て０となる。予測信号生成部１１
７の発生する予測信号は和信号生成部１１２をそのまま
通り信号生成部１１１を通って逆ブロック化部に入い
る。これは参照信号記憶部１１５の一部をそのまま出力
することとなり、先行フレームの画素を複製することに
他ならない。

【００４０】次に、本発明の映像信号符号化装置の第２
の実施例を図２のブロック図を用いて説明する。本実施
例の構成及び各部の動作は第１の実施例と以下で説明す
る部分を除いて同じであるのでこれを省略する。

【００４１】図２において、符号合成部１２０は動き検
出部１１６で検出した動きベクトルを隣接するブロック
との差分を、この差分の絶対値が小さいほど符号長が短
くなる可変長符号で符号化して他の符号と合成する。

【００４２】超過検出部１２３が超過を検出すると動き
検出部１１６は動きベクトルの検出範囲を隣接するブロ
ックの動きベクトルの近傍に狭める。これにより動きベ
クトルを符号化する場合の符号量の最大値が減少し、超
過検出部１２３が超過を検出した場合に符号合成部１２
０が出力する符号量の最大値も減少するので超過検出部
１２３が超過を誤検出（超過を検出しなかったとしても
出力符号量が超過しない）する確率は多少とも減少す
る。また符号量の超過を検出したブロックの合成符号を
復号化する場合、先行フレームから複製する画素が先行
フレームでほぼ連続することとなる。

【００４３】

【発明の効果】以上のように本発明は、符号化において
符号量の超過が発生したことを検出する手段と、この超
過検出時の例外処理手段を復号化装置に設けることな
く、切り捨てられた符号に相当するブロックの映像を修
整して再生することができる。さらに修整部の視覚上の
不自然さを軽減できる。

【図面の簡単な説明】

【図１】本発明の映像信号符号化装置の第１の実施例の
構成を示すブロック図

【図２】同じく第２の実施例の構成を示すブロック図

【図３】本発明の映像信号符号化装置で符号化した映像
信号を復号化する装置の構成を示すブロック図

【図４】従来の映像信号符号化装置の構成を示すブロッ
ク図

【符号の説明】

１０３ 差分信号生成部 １０４ 信号選択部 １１０ 復号化信号生成部 １１７ 予測信号発生部 １２０ 符号合成部 １２３ 超過検出部

Claims (2)

【特許請求の範囲】
1. 【請求項１】映像信号を入力し、一定のブロックに分割
   し、前記分割したブロック毎に、すでに符号化の済んだ
   映像信号から予測信号を生成し、前記入力信号との差分
   信号を生成し、前記入力信号と前記差分信号の一方を選
   択して、直交変換を行ない別に定める量子化因子で量子
   化を行ない可変長符号化した可変長符号と、前記予測信
   号の生成法を符号化したものと、前記入力信号と差分信
   号の選択した一方を表す符号と、前記量子化で用いた前
   記別に定める量子化因子を符号化したものを合成して出
   力すると共に、前記出力する符号の符号量を計測し、予
   め定めた一定期間に生成する符号が、別に定めた符号量
   以下とするよう前記量子化で用いる量子化因子を定める
   映像信号符号化装置であって、前記予め定めた一定期間
   に生成する符号量が前記別に定めた符号量を超過するこ
   とを予め検出する符号量超過検出手段を備え、前記符号
   量超過検出手段で符号量の超過を検出すると、前記符号
   の合成において入力信号と差分信号の選択で差分信号を
   選択することを表す符号と前記予測信号の生成法を符号
   化したもののみを合成して出力することを特徴とする映
   像信号符号化装置。
2. 【請求項２】符号量超過検出手段で符号量の超過を検出
   すると、予測信号の生成法を符号化する場合の符号量が
   隣接するブロックで予め定める符号量以下とすることを
   特徴とする請求項１記載の映像信号符号化装置。