JP2620431B2 - 画像符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は情報量を削減して画像信
号を符号化する画像符号化装置に関する。

【０００２】

【従来の技術】近年、ディジタル伝送路の整備、普及、
画像処理技術の進歩及び高速ディジタル信号処理技術の
発展によって、新しい通信サービスとして画像通信サー
ビスの実現に対する要求が高まっている。画像通信サー
ビスの代表的なものとしてテレビ電話サービス、テレビ
会議サービスなどがあり、これらのサービスは、サービ
ス統合ディジタル網（以下、ＩＳＤＮと称する）のよう
な高機能なネットワークによって現実のものとなりつつ
ある。

【０００３】現在、さらに高度なサービスの提供を目指
して広帯域サービス統合ディジタル網（以下、Ｂ−ＩＳ
ＤＮと称する）に代表される新たな通信ネットワークも
研究されており、通信以外の分野においても画像情報
（画像メディア）を効率的に扱えることが期待されてい
る。

【０００４】一般に、画像情報に含まれる情報量は多
く、例えば、画像信号をそのまま通信回線を使って伝送
しようとすると、広帯域の伝送路容量が必要となるため
現実的ではない。しかし、画像信号にはその情報量に冗
長性が含まれており、この冗長性を利用して情報量の削
減を行うことが可能である。そこで、画像信号を効率よ
く扱うために画像の圧縮符号化（または符号化）技術が
広く用いられている。

【０００５】上述のような画像符号化方法の検討は、画
像信号の伝送を対象として特に通信の分野で活発に進め
られており様々な方法が提案されてきた。それらの画像
符号化方法の中でも高い符号化効率が得られ、最近にな
って盛んに利用されているものに、動き補償フレーム間
予測直交変換符号化方法がある。

【０００６】上述の動き補償フレーム間予測直交変換符
号化方法の原理を図８に示す。

【０００７】画像信号には、画像に含まれる動きなどの
変化による時間的な情報と、１枚の画像フレーム信号の
内容に関する空間的な情報との両方が存在しており、そ
れぞれが冗長性を有している。そこで、動き補償フレー
ム間予測直交変換符号化方法では、動き補償フレーム間
予測部30によって入力画像信号に含まれる時間的な冗長
度を取り除いた後、更に直交変換符号化部31によって空
間的な冗長度を取り除くハイブリッド構成になってい
る。また、上述の符号化方法では符号化ループと称され
るループ構成が用いられており、直交変換符号化部31で
符号化された画像信号は局部復号されて、フレームメモ
リ部32に格納され、次の画像フレームのフレーム間予測
に利用される。

【０００８】図９に従来の画像符号化装置の一構成例を
示す。

【０００９】図９の画像符号化装置は、フレームメモリ
部33、動き補償フレーム間予測部34、差分演算部35、離
散余弦変換（ディスクリ−ト・コサイン・トランスフォ
−ム；Discrete Cosine Transform 、以下ＤＣＴと称す
る）部36、量子化部37、逆量子化部38、逆ＤＣＴ部39及
び加算部40によって構成されている。

【００１０】次に、上記各構成部分の動作を説明する。

【００１１】入力画像信号は、画像フレームごとに動き
補償フレーム間予測部34によって動き補償フレーム間予
測符号化される。

【００１２】動き補償フレーム間予測部34は、フレーム
メモリ部33に格納された１つ前に符号化されたフレーム
の画像信号を予測値として読み出す。

【００１３】差分演算部35は、入力画像信号と予測値と
の差を求めて予測誤差信号を出力する。

【００１４】ＤＣＴ部36は、予測誤差信号に対して直交
変換の一種であるＤＣＴ演算を行い、ＤＣＴ係数を出力
する。

【００１５】量子化部37は、ＤＣＴ係数を適当なレベル
（量子化ステップサイズ）で量子化して情報圧縮する。
量子化部37からの量子化出力は、符号化結果として装置
外に出力される一方、逆量子化部38へも送られる。

【００１６】逆量子化部38は、量子化部37とは逆の処理
を行ってＤＣＴ係数を出力する。

【００１７】逆ＤＣＴ部39は、ＤＣＴ係数に対して逆Ｄ
ＣＴ演算を施す。逆ＤＣＴ部39の出力は加算部40におい
て、フレームメモリ部33から出力される予測値と加算さ
れ、次のフレームの画像信号に対するフレーム間予測に
用いるためにフレームメモリ部33に格納される。入力画
像信号は、このようにループ状の構成（符号化ループ）
に従って符号化される。

【００１８】上述の従来の画像符号化装置では、量子化
部37によってＤＣＴ係数を適当な誤差を許容して量子化
することにより情報量の削減が行われる。そのため、出
力される符号量や符号化画像の品質の制御は、量子化部
37で量子化する際の量子化ステップサイズを変更するこ
とにより行われる。

【００１９】この量子化ステップサイズは、符号化制御
部41によって出力符号量などの制御の目標に従って決定
され、量子化部37に対して量子化ステップサイズが指示
されることにより制御される。

【００２０】

【発明が解決しようとする課題】しかしながら、上述の
従来の画像符号化装置では、時間的な冗長度である画像
フレーム間の相関は、ＤＣＴ後の変換係数のうち、比較
的低い周波数成分の係数にそのほとんどが含まれてお
り、高い周波数成分の係数にはあまりフレーム間の相関
がなく、高域係数を用いてもフレ−ム間予測符号化の効
率が向上しないという問題点があった。また、符号化さ
れた画像信号を伝送する通信回線で情報の紛失が発生し
た場合には、局部復号出力と通信相手側での復号出力と
の間で不一致が生じるため、フレーム間予測符号化が正
常に機能せず、符号化画像品質が著しく低下してしまう
という問題点がある。

【００２１】本発明は、上述した従来の画像符号化装置
における問題点に鑑み、フレーム間予測符号化の効率を
改善することによって全体としての符号化効率を向上さ
せると共に、通信回線で情報が紛失しても符号化画像品
質が著しく劣化しない画像符号化装置を提供する。

【００２２】

【課題を解決するための手段】本発明は、直交変換係数
を高周波成分を含む高域係数と低周波成分を含む低域係
数とに分割して出力する係数分割手段と、係数分割手段
から出力される低域係数を量子化して量子化出力及び量
子化誤差信号を出力する第１量子化手段と、第１量子化
手段から出力される量子化誤差信号及び係数分割手段か
ら出力される高域係数を量子化する第２量子化手段と、
第２量子化手段での量子化レベルを制御する符号化制御
手段とを備えている画像符号化装置によって達成され
る。

【００２３】

【作用】係数分割手段は直交変換係数を高周波成分を含
む高域係数と低周波成分を含む低域係数とに分割して出
力し、第１量子化手段は係数分割手段から出力される低
域係数を量子化して量子化出力及び量子化誤差信号を出
力し、第２量子化手段は第１量子化手段から出力される
量子化誤差信号及び係数分割手段から出力される高域係
数を量子化し、符号化制御手段は第２量子化手段での量
子化レベルを制御する。

【００２４】

【実施例】以下、図面を参照して本発明の画像符号化装
置における実施例を詳述する。

【００２５】図１は、本発明の画像符号化装置における
一実施例の構成を示す。

【００２６】図１の画像符号化装置は、係数分割手段で
ある係数分割部10、第１量子化手段である量子化部11、
第２量子化手段である量子化部12、符号化制御手段であ
る符号化制御部13、フレームメモリ部14、動き補償フレ
ーム間予測部15、差分演算部16、ＤＣＴ（離散余弦変
換）部17、逆量子化部18、逆ＤＣＴ部19、加算部20及び
符号化制御部21によって構成されている。

【００２７】図１の画像符号化装置の主要部を構成する
係数分割部10、量子化部11、量子化部12及び符号化制御
部13を説明する。

【００２８】係数分割部10は、符号化制御部21から指示
される適当な周波数を境界として、ＤＣＴ部17から出力
される変換係数を境界周波数より低周波数の領域に属す
る低域係数と、高周波数の領域に属する高域係数とに２
分割する。そして、低域係数を量子化部11に、高域係数
を量子化部12にそれぞれ出力する。

【００２９】量子化部11は、係数分割部10から低域係数
を受け取ると、それを量子化して量子化係数を出力する
と共に量子化誤差を出力する。

【００３０】量子化部12は、係数分割部10から高域係数
を受け取ると共に量子化部11から量子化誤差を受け取っ
てそれらを量子化して出力する。その際、量子化ステッ
プサイズは量子化部11での量子化ステップサイズより小
さいものとする。この量子化ステップサイズは符号化制
御部13によって制御される。

【００３１】次に、図２のフローチャートを参照して図
１の画像符号化装置の動作を説明する。符号化すべき画
像信号が入力されると（ステップＳ１）、動き補償フレ
ーム間予測部15は、その画像信号と１つ前に符号化され
フレームメモリ部14に記憶されている画像信号とによっ
て動き補償処理を行う（ステップＳ２）。動き補償の結
果として１つ前に符号化された画像信号が原画像信号に
対する予測値としてフレームメモリ部14から読み出され
ると、差分演算部16は入力画像信号と予測値との差分演
算を行って予測誤差信号を出力する（ステップＳ３）。

【００３２】ＤＣＴ部17はその予測誤差信号に対してＤ
ＣＴ演算を施してＤＣＴ係数を出力する（ステップＳ
４）。係数分割部10は、符号化制御部21の指示に基づい
てＤＣＴ部17からのＤＣＴ係数を所定の周波数を境界と
して、低域係数と高域係数とに分割し（ステップＳ
５）、低域係数は量子化部11に、高域係数は量子化部12
にそれぞれ出力する。

【００３３】量子化部11は、係数分割部10からの低域係
数を符号化制御部21により指定される量子化ステップサ
イズで量子化し（ステップＳ６）、符号化結果である第
１の符号化信号として装置外に出力する（ステップＳ
７）。量子化部11はまた、量子化前の低域係数と量子化
結果とから量子化誤差を求めるための差分演算を行い
（ステップＳ８）、結果を量子化部12に出力する。

【００３４】量子化部12は、係数分割部10からの高域係
数と量子化部11からの量子化誤差とを符号化制御部13に
よって指定される量子化ステップサイズで量子化し（ス
テップＳ９）、第２の符号化信号として装置外へ出力す
る（ステップＳ10）。

【００３５】逆量子化部18は、量子化部11からの量子化
出力を逆量子化し（ステップＳ11）、逆ＤＣＴ部19は、
その結果に逆ＤＣＴ演算を施す（ステップＳ12）。そし
て加算部20は逆ＤＣＴ部19の出力と、フレームメモリ部
14からの予測値とを加算し（ステップＳ13）、次の入力
画像信号の動き補償処理に用いるための符号化後の画像
信号としてフレームメモリ14に出力して記憶させる（ス
テップＳ14）。

【００３６】図３（ａ）、図３（ｂ）及び図３（ｃ）に
よって構成されている図３に係数分割部10におけるＤＣ
Ｔ係数の分割の例を示す。

【００３７】いま、図３（ａ）のように係数分割位置が
設定されていたとする。例えば、この分割位置に対して
係数分割位置を低域側にシフトすると図３（ｂ）のよう
になる。このとき図３（ａ）と比較して低周波数領域に
含まれる係数の数は減少し、高周波数領域に含まれる係
数の数は増加する。

【００３８】図３（ｃ）は、図３（ｂ）と逆に分割位置
を高域側にシフトしたときを示す。この場合は、低周波
数領域に含まれる係数の数は増加し、高周波数領域に含
まれる係数の数は減少する。

【００３９】ＤＣＴ係数は図のような２次元の行列で表
すことができ、水平方向では右に行くほどより高い周波
数成分を含んだ係数となり、垂直方向では下に行くほど
より高い周波数成分を含んだ係数となる。また、ＤＣＴ
係数では入力信号電力の低い周波数成分への集中度が非
常に高いので、その性質を利用して左下から右上の斜め
に境界を設定して係数を分割することによって、性質の
似通った係数を集めることができる。

【００４０】次に、符号化制御部13の動作を図４のフロ
ーチャートを参照して説明する。

【００４１】以下では、制御部13において符号化画像品
質の変動を抑えるような制御を行う場合を例に説明す
る。画像品質をなるべく一定に保つためには、量子化ス
テップサイズを予め決められた値に固定し、変化させな
い方が良い結果が得られることが知られている。しか
し、目標とする画像品質および出力符号量と、量子化ス
テップサイズとの関係は、入力される画像の種類や性質
などに依存して変化するため、適当な量子化ステップサ
イズを前もって決定することは不可能であり、実際には
符号化の状態を調べながら量子化ステップサイズを制御
することが必要となる。そこで、出力符号量を十分に長
い時間に渡って累算し、平均値を目標値に近付けるよう
制御することにより、局所的な情報量の変動を許容し、
全体として目標値を達成することとする。

【００４２】符号化制御部13は、符号化の状態、特に量
子化部12の量子化出力の１画像フレームごとの符号量を
監視する。即ち、目標符号量を受け取った後（ステップ
Ｔ１）、符号量を読み込み（ステップＴ２）、その符号
量を累算し（ステップＴ３）、画像フレ−ム毎に除算し
て（ステップＴ４）、平均符号量を計算する（ステップ
Ｔ５）。

【００４３】計算した平均符号量は目標符号量と比較し
（ステップＴ６）、平均値と目標値とがほとんど等しい
場合には量子化ステップサイズは変化させず（ステップ
Ｔ７）、平均値が目標値より大きい場合には、量子化ス
テップサイズを現在より大きくし（ステップＴ８）、逆
に目標値の方が大きい場合には、量子化ステップサイズ
を小さくする（ステップＴ９）。

【００４４】また、量子化部11の量子化ステップサイズ
が符号化制御部21の量子化ステップサイズに比較して大
きいか否かを判断し（ステップＴ10）、上記ステップＴ
10でＹＥＳの場合には符号化制御部21の量子化ステップ
サイズが量子化部11の量子化ステップサイズより大きく
ならないように修正して（ステップＴ11）、修正された
量子化ステップを出力する（ステップＴ12）。また、上
記ステップＴ10でＮＯの場合には量子化部11の量子化ス
テップを出力する（ステップＴ13）。これは、量子化部
11の量子化ステップサイズが符号化制御部21の量子化ス
テップサイズより大きい場合には量子化誤差信号に対す
る量子化の意味がなくなるためである。

【００４５】次に、符号化制御部21の動作について図５
のフローチャートを参照して説明する。符号化制御部21
は、目標符号量と量子化部11の量子化出力符号量とを比
較することにより、量子化ステップサイズ及び係数分割
部10での境界周波数を決定する。即ち、符号化制御部21
は、目標符号量を受け取り（ステップＵ１）、量子化部
11の出力符号量を読み込み（ステップＵ２）、目標符号
量と比較する（ステップＵ３）。そして、出力符号量と
目標符号量とがほぼ等しい場合には量子化ステップサイ
ズは変化させず（ステップＵ４）、出力符号量が目標符
号量より大きい場合には量子化ステップサイズを現在よ
り大きくして（ステップＵ５）情報量の削減を試み、次
に出力符号量と目標符号量との差の絶対値とあるしきい
値とを比較し（ステップＵ６）、上記絶対値がしきい値
より大きい場合には境界周波数を低域側にシフトさせて
（ステップＵ７）情報量の削減を試みる。

【００４６】また、上記ステップＵ３で出力符号量より
も目標符号量の方が大きい場合には、量子化ステップサ
イズを小さくし（ステップＵ８）、次に出力符号量と目
標符号量との差の絶対値とあるしきい値とを比較する
（ステップＵ９）。その結果、上記絶対値がしきい値よ
り大きい場合には境界周波数を高域側にシフトさせる
（ステップＵ10）。制御部21は、係数分割位置及び量子
化ステップサイズをそれぞれ係数分割部10及び量子化部
11に出力する（ステップＵ11、ステップＵ12）。

【００４７】次に、図６のブロック図を参照して本実施
例の画像符号化装置から符号化出力を受け取る画像信号
を復号する画像復号装置について説明する。

【００４８】図６の画像復号装置は、逆量子化部22，2
3、逆ＤＣＴ部24，25、動き補償部26、フレ−ムメモリ
部27、加算部28，29によって構成されている逆量子化部
23は、図１の画像符号化装置の量子化部11が出力する第
１の符号化信号を受け取って逆量子化し、ＤＣＴ係数を
出力する。逆ＤＣＴ部25は逆量子化部23からのＤＣＴ係
数に対して送信側でのＤＣＴ演算に対する逆演算である
逆ＤＣＴ演算を行う。

【００４９】動き補償部26は、送信側と同様、フレーム
メモリ部27に格納された１つ前に復号された画像フレー
ムを予測値として読み出す。加算部28はその予測値と逆
ＤＣＴ部25の出力とを加算して画像信号を復元する。復
元された画像信号は、次の画像フレームの復号のための
予測値として用いるため、フレームメモリ部27に格納さ
れる。

【００５０】逆量子化部22は、図１の画像符号化装置の
量子化部12が出力する第２の符号化信号を受け取って逆
量子化する。逆ＤＣＴ部24はその出力に対して逆ＤＣＴ
演算を施し、加算部29はその結果得られる画像信号と、
加算部28からの上記復元された画像信号とを加算して復
号結果の出力画像信号として出力する。

【００５１】次に、図７のフローチャートを参照して図
６の受信側装置の動作を説明する。第１及び第２の符号
化信号が入力されると（ステップＶ１，Ｖ２）、逆量子
化部22，23は各信号をそれぞれ逆量子化する（ステップ
Ｖ３，Ｖ４）。

【００５２】逆ＤＣＴ部24，25は逆量子化の結果に対し
て逆ＤＣＴ演算を施す（ステップＶ５，Ｖ６）。

【００５３】動き補償部26は、１つ前に復号されフレー
ムメモリ部27に記憶されている画像信号から、送信側で
の動き補償処理の結果として得られた画像信号と同一部
分を予測値として読み出す（ステップＶ７）。このとき
読み出し位置を示す情報（動きベクトル）は、送信側か
ら受信側へサイド情報として伝送される。次に、加算部
28は上記予測値と、逆ＤＣＴ部25の出力である復号予測
誤差信号とを加算して（ステップＶ８）画像信号を復元
する。

【００５４】復元された画像信号は、次の復号において
予測値として用いるための復号後の画像信号としてフレ
ームメモリ部27に格納される（ステップＶ９）。そし
て、加算部29は加算部28からの復号画像信号と、逆ＤＣ
Ｔ部24からの画像信号とを加算し（ステップＶ10）、復
号画像信号として外部に出力する（ステップＶ11）。

【００５５】なお、この受信側装置では、第１の符号化
信号入力だけを使用し、第２の符号化信号入力を使用し
なければ、従来と同様の構成となり、従来の画像符号化
装置から送られた信号をそのまま受信して復号すること
ができる。即ち、従来の装置との互換性を確保すること
ができる。また、第２の符号化信号入力は、動き補償フ
レーム間予測には使われないため、復号時に自由に扱う
ことができ、受信側での画像品質の改善処理に有効に利
用することができる。そのため、画像情報をより効率良
く、広範囲で扱うことができ、高度な画像情報システム
の構築が可能となる。

【００５６】次に、本実施例の画像符号化装置を情報の
紛失が発生するような伝送路を使用した画像伝送に適用
した場合について説明する。本実施例の画像符号化装置
によって符号化される情報は、量子化部11からの出力
と、量子化部12からの出力との２段階に階層化すること
ができる。

【００５７】従って、量子化部11の出力を優先的に伝送
することにすれば、情報の紛失が起こった場合であって
も、量子化部12の出力の側だけが選択的に紛失すること
になり、情報の紛失が局部復号出力、即ちフレーム間予
測に与える影響を無くすことができる。

【００５８】よって、情報が紛失する場合であっても、
受信側では、第１の符号化信号だけを用いて復号するこ
とにより、フレーム間予測符号化ループ内での符号化画
像品質が、最低限のレベルとして保証される。

【００５９】

【発明の効果】本発明の画像符号化装置では、直交変換
係数を高周波成分を含む高域係数と低周波成分を含む低
域係数とに分割して出力する係数分割手段と、係数分割
手段から出力される低域係数を量子化して量子化出力及
び量子化誤差信号を出力する第１量子化手段と、第１量
子化手段から出力される量子化誤差信号及び係数分割手
段から出力される高域係数を量子化する第２量子化手段
と、第２量子化手段での量子化レベルを制御する符号化
制御手段とを備えているので、符号化出力をループ内の
第１量子化手段の出力と、第２量子化手段の出力との２
段階に階層化することができ、ループ内量子化出力を優
先的に伝送することにより情報の紛失の可能性がある伝
送路を使用しても、第２量子化出力のみが紛失するた
め、符号化ループのフレーム間予測に与える影響を無く
すことができる。従って、符号化画像品質の劣化を最小
限に抑えることが可能となる。また、フレーム間の相関
の強い低域係数だけを利用するので、フレーム間予測符
号化の効率を向上させることができる。

【図面の簡単な説明】

【図１】本発明による画像符号化装置の一例を示すブロ
ック図である。

【図２】図１の画像符号化装置の動作を示すフローチャ
ートである。

【図３】図１の画像符号化装置を構成する係数分割部に
おけるＤＣＴ係数の分割を説明するための図である。

【図４】図１の画像符号化装置を構成する符号化制御部
13の動作を示すフローチャートである。

【図５】図１の画像符号化装置を構成する符号化制御部
21の動作を示すフローチャートである。

【図６】図１の画像符号化装置が出力する符号化信号に
基づいて画像信号を復元する受信側の装置を示すブロッ
ク図である。

【図７】図６の受信側装置の動作を示すフローチャート
である。

【図８】動き補償フレーム間予測直交変換符号化方式の
原理を説明するためのブロック図である。

【図９】従来の画像符号化装置の一例を示すブロック図
である。

【符号の説明】

10 係数分割部 11，12 量子化部 13，21 符号化制御部 14，27 フレームメモリ部 15 動き補償フレーム間予測部 16 差分演算部 17 ＤＣＴ部 18，22，23 逆量子化部 19，24，25 逆ＤＣＴ部 20，28，29 加算部 26 動き補償部

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 直交変換係数を高周波成分を含む高域係
   数と低周波成分を含む低域係数とに分割して出力する係
   数分割手段と、前記係数分割手段から出力される前記低
   域係数を量子化して量子化出力及び量子化誤差信号を出
   力する第１量子化手段と、前記第１量子化手段から出力
   される前記量子化誤差信号及び前記係数分割手段から出
   力される前記高域係数を量子化する第２量子化手段と、
   前記第２量子化手段での量子化レベルを制御する符号化
   制御手段とを備えていることを特徴とする画像符号化装
   置。