JP3254425B2 - 画像復号装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像復号装置に関
し、特に動画像に含まれる情報量を削減して送られてく
る符号化画像信号を復号するための画像復号装置に関す
るものである。

【０００２】

【従来の技術】近年、ディジタル公衆網（以下、ＩＳＤ
Ｎと称する）の普及により、新しい通信サービスとして
画像通信サービスに対する要求が高まってきており、特
にテレビ電話、テレビ会議システム等への普及が進めら
れている。

【０００３】一般に、テレビ電話やテレビ会議システム
のように、画像情報を伝送する場合には画像の情報量が
膨大であるので、使用する回線の回線速度やコストの点
から、伝送する画像の情報量を圧縮符号化し、情報量を
削減してから伝送する必要がある。また、コンパクト・
ディスク・リード・オンリ・メモリ（以下、ＣＤ−ＲＯ
Ｍと称する）などに画像情報を記録する場合にも、情報
圧縮は記憶容量やコストなどの点で有用である。

【０００４】情報圧縮のための符号化方式としては様々
なものが検討されており、一部ではテレビ電話やテレビ
会議システムなどで実用化されつつある。また、さらに
高度なサービスの提供を目指し、広帯域ＩＳＤＮに代表
される新たな通信ネットワークの検討も活発に行われて
いる。

【０００５】実用化されつつある画像の高能率符号化方
式として、動き補償フレーム間予測直交変換符号化方式
がある。この方式は、画像を複数個のサンプルからなる
小ブロックに分割し、各ブロックの画像信号または各ブ
ロックの各種予測誤差信号に対して離散的コサイン変換
などの直交変換を施し、その変換係数を量子化して符号
化する。

【０００６】上述した符号化方法にもとづく符号化装置
の一例を図６に、上述の符号化方法で符号化された信号
の復号装置の一例を図７にそれぞれ示す。図６におい
て、動き補償フレーム間予測部３０および減算部３１
は、入力画像信号に基づいて画像フレームごとに動き補
償フレーム間予測を行う。すなわち、動き補償フレーム
間予測部３０は、動き補償における動きの検出として、
フレームメモリ部３０に記憶された１フレーム前の画像
信号と入力画像信号とを所定の大きさのブロックに分割
し、入力画像信号のブロックが１フレーム前の画像信号
のどの部分から動いてきたものかを検出し、検出結果に
基づいてフレームメモリ部３２に記憶されている１フレ
ーム前に符号化された画像信号を予測値として出力させ
る。

【０００７】減算部３１は、このフレームメモリ部３２
から出力された予測値と入力画像信号との差を求めてフ
レーム間予測符号化の結果として予測誤差信号を出力す
る。この予測誤差信号は直交変換部３３で直交変換さ
れ、得られた直交変換係数は量子化部３４で符号化制御
部３５の制御により制御されて適当な量子化レベルで量
子化され、情報圧縮が行われる。

【０００８】量子化された変換係数は符号化の結果とし
て外部に出力されると共に、逆量子化部３６にも送られ
る。逆量子化部３６は量子化された変換係数を逆量子化
して変換係数を出力し、逆直交変換部３７は変換係数を
逆直交変換して予測誤差信号を出力する。これら一連の
演算処理も動き補償における動き検出と同様、演算を効
率よく行うために、画像をある大きさのブロックに分割
して行われる。

【０００９】逆直交変換部３７が出力である予測誤差信
号には加算部３８で、フレームメモリ部３２から読み出
された予測値が加算されて画像信号が生成される。そし
て生成された画像信号はフレームメモリ部３２に格納さ
れ、次のフレームの画像信号のフレーム間予測に使われ
る。入力画像信号は、上述したループ状の構成（符号化
ループ）により符号化される。

【００１０】一方、図７に示した画像復号装置では、符
号化された予測誤差信号に対して、上述した符号化装置
における符号化ループ内での処理と同様に、まず逆量子
化部３９で量子化部３４（図６参照）とは逆の処理が行
われ、得られた直交変換係数は逆直交変換部４０によっ
て逆直交変換が施される。

【００１１】逆直交変換部４０の出力は加算部４１にお
いて、フレーム間予測部４２からの予測動き値に従って
フレームメモリ部４３から読み出された予測値と加算さ
れ、復元された画像信号として出力されると共に、フレ
ームメモリ部４３に格納される。

【００１２】

【発明が解決しようとする課題】しかしながら、上述し
た従来の画像符号化装置では、直交変換の結果を量子化
する際、情報量の削減のためにある程度の誤差を許容し
ており、その誤差に伴う画像品質の劣化が生じている。

【００１３】また、動き補償予測の動き検出あるいは直
交変換のための演算を効率よく行うために、画面をいく
つかのブロックに分割して処理を行っている。そして、
直交変換の結果を量子化する際、量子化レベルは、発生
する符号量と伝送容量とにもとづいて制御されるため、
分割されたブロックごとに量子化の条件が異なってい
る。その結果、符号化された画像を画面全体で見た場
合、処理単位であるブロックが目立つブロック歪みが発
生し、またブロックごとの画面の粗さにばらつきが生じ
て、画像品質が劣化している。

【００１４】さらに、符号化対象ブロックの画像内容が
伝送あるいは蓄積すべき画像として重要な部分であるか
否かにかかわらず、どのブロックに対しても均等な符号
化制御が行われる。従って、重要な部分であっても、重
要でない部分と同じ画質でしか符号化できない。

【００１５】加えて、量子化部３４のすべての出力に対
して逆量子化および逆直交変換を行い、局部復号してフ
レームメモリ部３２に記憶させ、フレーム間予測符号化
に使用しているため、例えば通信回線において情報の紛
失が発生した場合には、符号の際にフレーム間予測符号
化が正常に機能せず、画像品質が著しく低下する。

【００１６】従来の画像復号装置は、従来の画像符号化
装置の符号化結果を復号するものであるから、上述した
問題は従来の画像復号装置の問題でもある。

【００１７】本発明の目的は、このような問題を解決
し、画像の画質低下を防止し、しかも復号の際に情報が
紛失していても画像品質が著しく低下することがないよ
うにした画像復号装置を提供することにある。

【００１８】

【課題を解決するための手段】本発明は、フレームメモ
リから出力された予測値と入力画像信号との差を表す予
測誤差信号を算出する減算手段、前記予測誤差信号を直
交変換し直交変換係数を得るための直交変換手段、前記
直交変換係数の全係数を所定の量子化レベルで量子化す
る量子化手段、前記入力画像信号に基づいて特定の画像
領域を検出する領域検出手段と、前記領域検出手段によ
って検出された前記画像領域に対応する直交変換係数を
前記量子化手段に量子化することによって生じる量子化
誤差を算出する量子化誤差算出手段と、前記量子化誤差
を量子化する誤差量子化手段とを備える画像符号化装置
によって符号化された符号化データを復号する画像復号
装置であって、特定領域に対応する前記画像符号化装置
の量子化誤差算出手段により得られた量子化誤差符号信
号を逆量子化する誤差逆量子化手段と、１フレーム分の
前記画像符号化装置の量子化手段により得られた符号化
予測誤差信号を逆量子化する逆量子化手段と、前記逆量
子化手段で得られた直交変換係数と、前記誤差逆量子化
手段で得られた特定領域の直交変換係数の誤差分とを加
算する誤差加算手段と、前記誤差加算部で量子化誤差が
補正された直交変換係数を逆直交変換する逆直交変換手
段と、前記逆直交変換手段からの出力を、動き補償値か
ら算出される動き量に従って当該画像復号装置のフレー
ムメモリから読み出された予測値に加算する加算手段と
を備えることを特徴とする。

【００１９】本発明による画像復号装置では、画像の復
号に際して、対応する直交変換係数の量子化誤差を表す
信号も用いて復号を行うので、極めて量子化誤差の少な
い画像信号を復元することができる。

【００２０】また、本発明の画像復号装置に入力される
符号化情報は、符号化された予測誤差信号と、量子化誤
差信号との２段階に階層化することができる。従って、
符号化された予測誤差信号を優先的に伝送することにす
れば、情報の紛失が起こった場合でも量子化誤差信号だ
けが紛失することになり、情報の紛失によってフレーム
間予測は影響を受けず、少なくとも情報紛失のない場合
の従来の画像復号装置と同じ画像品質が保証される。

【００２１】

【発明の実施の形態】次に本発明の実施の形態について
図面を参照して説明する。まず、図１に基づいて、上記
［発明が解決しようとする課題］にあげられた課題を解
決する画像符号化装置の一例を説明する。なお、図１に
おいて、図６に示した画像符号化装置と同一構成要素に
は図６と同一の符号を付し、これらの構成要素の詳細な
説明は省略する。

【００２２】この画像符号化装置は、領域検出部１０、
誤差量子化部１１、誤差符号化制御部１２、符号化制御
部１３、減算部１４、直交変換部１５、量子化部１６、
逆量子化部１７、逆直交変換部１８、加算部１９、フレ
ームメモリ部２０及び動き補償フレーム間予測部２１に
よって構成されている。

【００２３】上記画像符号化装置において、領域検出部
１０は、入力画像信号が重要領域か否かをブロック単位
で検出する。減算部１４及び動き補償フレーム間予測部
２１は、入力画像信号に基づいて画像フレームごとに動
き補償間予測を行う。

【００２４】動き補償フレーム間予測部２１は、動き補
償における動きの検出として、フレームメモリ部２０に
記憶された１フレーム前の画像信号と入力画像信号とを
所定の大きさのブロックに分割し、入力画像信号のブロ
ックが１フレーム前の画像信号のどの部分から動いてき
たのかを検出し、検出結果に基づいてフレームメモリ部
２０に記憶されている１フレーム前に符号化された画像
信号を予測値としてフレームメモリ部２０から出力させ
る。

【００２５】減算部１４は、フレームメモリ部２０から
出力された予測値と入力画像信号との差を求めてフレー
ム間予測符号化の結果として予測誤差信号を出力する。
この予測誤差信号は、直交変換部１５で直交変換部さ
れ、その係数である直交変換係数は量子化部１６で符号
化制御部１３により制御されて適当な量子化レベルで量
子化され情報圧縮が行われる。

【００２６】量子化された変換係数は、符号化の結果と
して外部に出力されると共に逆量子化部１７にも送られ
る。逆量子化部１７は、量子化された変換結果としてを
逆量子化して変換係数を出力し、逆直交変換部１８は、
逆量子化された変換係数を逆直交変換して予測誤差信号
を出力する。

【００２７】これら一連の演算処理も動き補償における
動き検出と同様、演算を効率よく行うため、画像をある
大きさのブロックに分割して行われる。逆直交変換部１
８が求めた予測誤差信号には加算部１９で、フレームメ
モリ部２０から読み出された予測値が加算されて画像信
号が生成される。生成された画像信号はフレームメモリ
部２０に格納され、次のフレームの画像信号のフレーム
間予測に使われる。入力画像信号は、上述したループ状
の構成（符号化ループ）により符号化される。

【００２８】誤差符号化制御部１２は、符号化制御部１
３が符号化ループ内の量子化部１６に指定した量子化レ
ベルを符号化制御部１３から受け取り、受け取った量子
化レベルよりも細かな量子化レベルを選定し、選定され
た量子化レベルで量子化を行うように誤差量子化部１１
を制御する。

【００２９】誤差量子化部１１は、領域検出部１０が重
要領域を検出したときには、検出した重要領域に対応す
る直交変換係数を量子化部１６で量子化した場合の量子
化誤差を算出し、算出された誤差を誤差符号化制御部１
２により指定された量子化レベルで量子化し、量子化誤
差符号化信号として出力する。

【００３０】次に上述した領域検出部１０の構成を図２
を参照して説明する。領域検出部１０は、図２に示すよ
うにブロック分割部１０１、輝度微分値算出部１０２、
平均輝度算出部１０３、平均赤色差算出部１０４、平均
青色差算出部１０５及びベクトル判定部１０６によって
構成されている。

【００３１】この例では、領域検出部１０は、特に人の
顔を重要領域として検出するようになっている。そし
て、この領域検出部１０は次の３つを顔の判別基準とす
る。 （１）色が肌色である。 （２）微分値量が多い。 （３）輝度が高い。

【００３２】顔の色は肌色であるから、横軸、縦軸にそ
れぞれ２つの色差成分（Ｒ−Ｙ，Ｂ，Ｙ）をとると、そ
の分布は図３に示すように、ある一定の範囲内に収ま
る。そこでブロックのＲ−Ｙ成分の平均値およびＢ−Ｙ
成分の平均値を求め、図４のグラフに当てはめて顔か否
かを判定できる。ただし、風景部分が肌色であることも
有り得るので、これだけでは十分ではない。

【００３３】テレビ電話やテレビ会議の場合には、一般
に顔の情報を伝送することが重要とされているため、顔
に焦点の合った画像が多く、またその場合には照明など
により顔は明るい状態となっている。従って伝送される
画像は眉、目、口などがはっきりと映っていて顔部分の
微分値は多く、かつ輝度も高くなる。

【００３４】以下、この領域検出部１０の動作を説明す
る。ブロック分割部１０１は、入力された画像信号を輝
度信号および色差信号ごとに複数のブロックに分割して
出力する。輝度微分値算出部１０２は、ブロック分割部
１０１から輝度信号を受け取り、各ブロックごとに輝度
信号の微分値の合計ＤＹを算出する。

【００３５】また、平均輝度算出部１０３は、分割部１
０１から輝度信号を受け取り、各ブロックごとに平均輝
度Ｙを算出する。そして、平均赤色差算出部１０４およ
び平均青色差算出部１０５は、分割部１０１から色差信
号を受け取り、各ブロックごとにそれぞれ平均赤色差Ｒ
−Ｙおよび平均青色差Ｂ−Ｙを算出する。

【００３６】ベクトル判定部１０６はこれら算出部１０
２〜１０５の算出結果にもとづき、各ブロックの画像が
人の顔であるか否かを判定し、結果を重要領域の検出結
果として出力する。

【００３７】この判定は、具体的には次のように行う。
各算出部１０２〜１０５からの上記４つのパラメータに
ついて４次元のベクトル空間を設定し、予め種々の画像
データに基づいて顔に相当する部分の基準ベクトル領域
を作成する。そして、与えられブロックのベクトルが基
準ベクトル領域に入るか否かを調べ、その領域に入る場
合には顔であると判定する。

【００３８】上記画像符号化装置は、特定領域に対して
は、予測誤差信号だけでなく、量子化誤差信号も用いら
れるので、特定領域に対しては、極めて量子化誤差の少
ない画像信号を復号でき、また予測誤差信号を優先的に
伝送することにすれば、情報の紛失がおこったときでも
量子化誤差だけが紛失することになり、情報の紛失によ
ってフレーム間予測は影響を受けずに情報紛失のない場
合の画像品質が保証されるという利点がある。

【００３９】本発明は、上記のような画像符号化装置側
の予測誤差信号、量子化誤差信号等の複数の信号を復号
することが可能な画像復号装置を提供するものである。
以下、本発明に係る画像復号装置について図５を参照し
て説明する。

【００４０】図５は、本発明に係る画像復号装置の一構
成例を示すブロック図であり、この画像復号装置は、逆
量子化手段である逆量子化部２２、誤差逆量子化手段で
ある誤差逆量子化部２３、誤差加算手段である誤差加算
部２４、逆直交手段である逆直交変換部２５、加算手段
である加算部２６、フレームメモリ部２７及びフレーム
間予測部２８によって構成されている。

【００４１】本発明の画像復号装置では、符号化された
予測誤差信号に対して、上述した符号化装置における符
号化ループ内での処理と同様に、まず逆量子化部２２で
前述の量子化１６とは逆の処理が行われ、得られた直交
変換係数は逆直交変換部２５によって逆直交変換され
る。フレーム間予測部２８からの予測動き値に従って逆
直交変換部２５の出力は加算部２６によりフレームメモ
リ部２７から読み出された予測値と加算され、復元され
た画像信号として出力されると共にフレームメモリ部２
７に格納される。

【００４２】この画像復号装置の主要部は、誤差逆量子
化部２３と誤差加算部２４とによって構成されている。
量子化誤差符号化信号は、誤差逆量子化部２２に入力さ
れて逆量子化され、直交変換係数の量子化誤差が得られ
る。

【００４３】得られた量子化誤差は、誤差加算部２４に
より、逆量子化部２２の出力に加算され、量子化誤差を
補正した直交変換係数が得られる。この直交変換係数は
逆直交変換部２５に入力され、上述したように画像信号
が復元される。

【００４４】本発明の画像復号装置は、量子化誤差が補
正された画像信号が出力され高画質の画像が実現でき
る。また、量子化誤差信号が紛失しても予測誤差信号が
復号できるため、量子化誤差信号の紛失による著しい画
質劣化はない。また、画像符号化装置側が従来のように
予測誤差信号だけを伝送するように構成されていても対
応できる。

【００４５】上記の本発明による画像復号装置では、逆
量子化手段は符号化された予測誤差信号を逆量子化して
直交変換係数を得、一方、誤差逆量子化手段は、量子化
誤差を表す量子化された信号を逆量子化して直交変換係
数の量子化誤差を得る。誤差加算手段は逆量子化手段及
び誤差逆量子化手段の出力を加算し、逆直交変換手段は
その加算結果を逆直交変換する。そして、加算手段は、
フレームメモリが記憶する画像信号と逆直交変換手段の
出力信号とを加算し、復号結果としての画像信号を出力
する。

【００４６】

【発明の効果】上記のように本発明の画像復号装置によ
れば、入力される符号化情報は、符号化された予測誤差
信号と、量子化誤差信号との２段階に階層化することが
できる。従って、符号化された予測誤差信号を優先的に
伝送することにすれば、情報の紛失が起こった場合でも
量子化誤差信号だけが紛失することになり、情報の紛失
によってフレーム間予測は影響を受けず、少なくとも情
報紛失のない場合の従来の画像復号装置と同じ画像品質
が保証される。また、本発明の画像復号装置は、上記の
ように構成されるので、符号化された予測誤差信号だけ
を出力するように構成された従来の画像符号化装置にも
対応できる。

【図面の簡単な説明】

【図１】特定領域に対して量子化誤差も出力するように
した画像符号化装置の一例を示すブロック図である。

【図２】図１の画像符号化装置を構成する領域検出部を
詳しく示すブロック図である。

【図３】図２の領域検出部の機能を説明するためのグラ
フである。

【図４】図２の領域検出部の機能を説明するためのもう
一つのグラフである。

【図５】本発明による画像復号装置の一例を示すブロッ
クである。

【図６】従来の画像符号化装置の一例を示すブロック図
である。

【図７】従来の画像復号装置の一例を示すブロック図で
ある。

【符号の説明】

２２ 逆量子化部 ２３ 誤差逆量子化部 ２４ 誤差加算部 ２５ 逆直交変換部 ２６ 加算部 ２７ フレームメモリ部 ２８ フレーム間予測部

フロントページの続き (56)参考文献 特開 昭62−154987（ＪＰ，Ａ) 加藤、武川、橋本，「直交変換領域に おける動画像のベクトル・スカラー量子 化法」，電子通信学会技術研究報告, 1985年，Ｖｏｌ．85，Ｎｏ．188，ｐ. １−６（ＩＥ85−75) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 H04N 1/41 - 1/419 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 フレームメモリから出力された予測値と
   入力画像信号との差を表す予測誤差信号を算出する減算
   手段、前記予測誤差信号を直交変換し直交変換係数を得
   るための直交変換手段、前記直交変換係数の全係数を所
   定の量子化レベルで量子化する量子化手段、前記入力画
   像信号に基づいて特定の画像領域を検出する領域検出手
   段と、前記領域検出手段によって検出された前記画像領
   域に対応する直交変換係数を前記量子化手段に量子化す
   ることによって生じる量子化誤差を算出する量子化誤差
   算出手段と、前記量子化誤差を量子化する誤差量子化手
   段とを備える画像符号化装置によって符号化された符号
   化データを復号する画像復号装置であって、 特定領域に対応する前記画像符号化装置の量子化誤差算
   出手段により得られた量子化誤差符号信号を逆量子化す
   る誤差逆量子化手段と、 １フレーム分の前記画像符号化装置の量子化手段により
   得られた符号化予測誤差信号を逆量子化する逆量子化手
   段と、 前記逆量子化手段で得られた直交変換係数と、前記誤差
   逆量子化手段で得られた特定領域の直交変換係数の誤差
   分とを加算する誤差加算手段と、 前記誤差加算部で量子化誤差が補正された 直交変換係数
   を逆直交変換する逆直交変換手段と、 前記逆直交変換手段からの出力を、動き補償値から算出
   される動き量に従って当該画像復号装置のフレームメモ
   リから読み出された予測値に加算する加算手段とを備え
   ることを特徴とする画像復号装置。