JP3787650B2

JP3787650B2 - デイジタル画像信号符号化装置及び方法、符号化画像信号復号装置及び方法

Info

Publication number: JP3787650B2
Application number: JP25707795A
Authority: JP
Inventors: 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-09-08
Filing date: 1995-09-08
Publication date: 2006-06-21
Anticipated expiration: 2015-09-08
Also published as: JPH0984025A; US5703649A

Description

【０００１】
【目次】
以下の順序で本発明を説明する。
発明の属する技術分野
従来の技術
発明が解決しようとする課題
課題を解決するための手段
発明の実施の形態
（１）原理（図１及び図２）
（２）第１実施例（図３及び図４）
（３）第２実施例（図５及び図６）
（４）第３実施例（図７及び図８）
（５）第４実施例（図９及び図１０）
（６）他の実施例
発明の効果
【０００２】
【発明の属する技術分野】
本発明はデイジタル画像信号符号化装置及び方法、符号化画像信号復号装置及び方法に関し、例えば画像信号を圧縮符号化して送信し及びこれを受信する信号伝送装置や、画像信号を圧縮符号化して記録媒体に記録し及びこれを伸長復号して再生する記録再生装置に適用して好適なものである。
【０００３】
【従来の技術】
従来、例えばテレビ会議システムなどのように画像信号を遠隔地に伝送するいわゆる画像信号伝送システムや、画像信号をデイジタル化してビデオテープレコーダやビデオデイスクレコーダに記録し再生する装置においては、伝送路や記録媒体を効率良く利用するため、デイジタル化した画像信号の相関を利用して有意情報を効率的に符号化することにより伝送情報量や記録情報量を削減し、伝送効率や記録効率を高めるようになされている。
【０００４】
一般に画像信号は、空間方向及び時間方向に多くの冗長成分を含むため高能率圧縮を実現するためにはこれらの冗長成分を除去する必要がある。そこで、一般には伝送又は記録しようとする画像データに対して予測符号化処理を施して、空間又は時間方向の冗長成分を有効に除去する。時間方向の冗長成分を有効に除去する予測符号化方法としては例えば動き補償予測がある。
【０００５】
動き補償予測は、画像をフレーム間において予測した場合に画面上の動いている部分では静止している部分に比べて予測誤差が増加することを考慮して、物体の動きベクトルを検出し、この動きベクトル分だけ動き補償した過去フレーム画像と現フレーム画像との差分値（残差）を符号化するものである。
【０００６】
【発明が解決しようとする課題】
ところが、動き補償予測符号化においては、シーンチエンジに代表されるような全く前フレームとの相関性のない画像については、動き補償をオフ動作せざるを得ず（例えばイントラモードにせざるを得ず）、このような場合にはデータの圧縮が望めない欠点があつた。また一般にマクロブロツク単位で動き補償を行つているため、ブロツク境界での画質が劣化する問題があつた。さらに平坦部分での動き検出の際に、ノイズ等の影響を受けて誤検出が生じ易く、この結果圧縮効率が低下する問題があつた。
【０００７】
本発明は以上の点を考慮してなされたもので、圧縮効率を向上し得ると共に画質劣化を低減し得るデイジタル画像信号符号化装置及び方法、符号化画像信号復号装置及び方法を提案しようとするものである。
【０００８】
【課題を解決するための手段】
かかる課題を解決するため本発明は、第１階層の画像信号に基づいて、当該第１階層画像信号よりも解像度の低い第２階層の画像信号を形成する階層画像形成手段と、第２階層画像信号から第１階層画像信号を予測する階層予測手段と、階層予測された画像信号と予測対象の第１階層画像信号との差分をとることにより第１の予測残差を算出する階層予測残差算出手段と、現画像信号と当該現画像信号に対して１ないしｎフレーム前の画像信号との間の動きベクトルを検出する動きベクトル検出手段と、１ないしｎフレーム前の画像信号から動きベクトルに基づき現画像信号を予測する動き補償予測手段と、動き補償予測された画像信号と予測対象の現画像信号との差分をとることにより第２の予測残差を算出する動き補償予測残差算出手段と、第１及び第２の予測残差の値に基づいて、第１及び第２の予測残差それぞれについての第１及び第２の重み係数ω１及びω２（但し、ω１＋ω２＝一定）を求める重み係数算出手段と、第１及び第２の重み係数に基づいて生成された重み係数情報データによつて第１及び第２の予測残差を重み付けすることにより合成する重み付け手段と、重み付け手段により合成された合成予測残差と、第２階層の画像信号と、動きベクトルと、重み係数情報データとを伝送する伝送手段とを設け、動きベクトル検出手段は、現画像信号と、合成予測残差及び第２階層の画像信号を用いてローカルデコードすることによつて生成された現画像信号の１ないしｎフレーム前の画像信号との間において動きベクトルを検出し、動き補償予測手段は、合成予測残差及び第２階層の画像信号を用いてローカルデコードすることによつて生成された現画像信号の１ないしｎフレーム前の画像信号から動きベクトルに基づき現画像信号を予測するようにした。
【０００９】
かくして、例えばエツジ部分のように高精度の動き検出ができる部分では動き補償予測手段が選択され、これに対して平坦部分のような動き検出精度が落ちる部分では階層予測手段が選択される。
【００１０】
【発明の実施の形態】
以下図面について、本発明の一実施例を詳述する。
【００１１】
（１）原理
図１に、本発明によるデイジタル画像信号符号化方法の原理を示す。本発明では、準備段階として入力画像データに対応する解像度の高い下位階層のデータから解像度の低い上位階層データを形成する。そして時間的に異なる下位階層のフレーム間で時間方向の予測（動き補償予測）を行うことに加えて、上位階層から下位階層を予測し（以下これを空間階層方向予測と呼ぶ）、これらの予測結果を適応的に使用することにより、圧縮効率を向上させかつ圧縮による画質劣化を低減させる。
【００１２】
ここでは、動き補償予測と空間階層方向予測とを並列に行う場合と、直列に行う場合とを提案する。並列処理を行う場合には、２つの予測の的中率に応じて各々の予測処理を重み付けして符号化する。すなわち２つの予測値をある重み係数ω1 、ω2 を用いて重み付け加算しこれを復号側に伝送することにより、復号側で非常に原画に近い画像を復元できるようにする。このため符号化装置は２つの予測残差を重み付け加算したもの及び上位階層データ並びに動きベクトルに加えて、予め予測残差を基に求めた最適な重み係数ω1 、ω2 を伝送する。また重み係数ω1 、ω2 をω1 ＋ω2 ＝一定となるように選定することにより、一方の重み係数のみを伝送する。
【００１３】
復号側では、まず伝送された上位階層データを使つて空間階層方向での予測値をＰs を求めると共に伝送された動きベクトルを使つて動き補償予測による予測値をＰt を求める。
そしてこれらの予測値Ｐs 及びＰt と重み係数ω1 及びω2 とを使つて、次式
【数１】

により２つの予測値Ｐs 及びＰt を重み付け加算して予測値Ｐを求める。そして求めた予測値Ｐに、符号化装置から送られてくる重み付け加算された予測残差を加算することにより復号画素値を求める。
【００１４】
このときの重み係数ω1 及びω2 の決定方法として、２種類の方法を提案する。第１の方法は、残差の少ない方の予測に対する重み係数を「１」とし、残差の多い方の予測に対する重み係数を「０」とすることにより、何れか一方の予測手法のみを択一的に選択する方法である。
【００１５】
第２の方法は、２つの予測手法（すなわち動き補償予測及び空間階層方向予測）の予測残差に応じて重み係数ω１、ω２を比例配分により求める方法である。例えば動き補償予測における予測残差Ｒt 及び空間階層方向予測における予測残差Ｒs を用いて、次式
【数２】

で表わされるような２のべき乗近似によりＱt 、Ｑs を算出し、このＱt 、Ｑs を使つて重み係数ω1 、ω2 を、次式
【数３】

のようにして求める。なお（２）式におけるＥ〔〕は平均演算を表わす。
【００１６】
また動き補償予測と空間階層予測とを直列的に行う方法としては、第１の方法として、初段でどちらかの予測手法により予測値を求め、続いてその予測残差を使い次段でもう一方の予測手法による予測処理を行うことを提案する。また第２の方法として、基本的には第１の方法と同じように直列的に２重予測を行うが、初段での予測残差が所定のしきい値以下の場合には次段での予測を中止し、初段での予測残差が所定のしきい値よりも大きいときにのみ後段での予測を引き続き行う方法を提案する。
【００１７】
このようにして、本発明によるデイジタル画像信号符号化方法においては、時間方向と空間階層方向という全く異なる２つの予測手法を用い、何れかの予測残差が大きくなつた場合には、もう一方の予測手法によつてこれをカバーするようにする。これにより高圧縮率でかつ画質劣化の少ない圧縮符号化を実現し得るようになされている。
【００１８】
ここで空間階層方向予測について説明する。空間階層方向予測では、まず図２に示すように、例えば下位階層の２ライン×２画素の小ブロツク中の４画素ｘ₁、ｘ₂、ｘ₃、ｘ₄について、次式
【数４】

で表わされる算術平均を取り、その値ｍ₁を上位階層の値とすることにより、画素数の低減された上位階層を生成する。
【００１９】
次に上位階層の画素値ｍを用いて下位階層の画素値を予測する。例えば上位階層の隣接する３画素ｍ₀、ｍ₁、ｍ₂を用いて、次式
【数５】

によつてｘ₁〜ｘ₄に対する予測値Ｐｘ₁〜Ｐｘ₄を求める。但し（５）式におけるｗは重み係数を表わす。このように空間階層方向に予測においては、一旦形成した上位階層の画素から再帰的に下位階層の画素値を予測することにより、広い範囲をカバーする上位階層画素を用いて下位階層画素を予測できるため、例えば画像の平坦部分等で良好な予測結果を得ることができる。
【００２０】
（２）第１実施例
図３において、１は全体として第１実施例によるデイジタル画像信号符号化装置（以下これを単に符号化装置と呼ぶ）を示し、動き補償予測部２及び空間階層方向予測部３を有する。この実施例の符号化装置１は、動き補償予測部２による予測残差と空間階層方向予測部３による予測残差との大小を比較し、予測残差の小さい方のみを符号化して伝送するようになされている。
【００２１】
符号化装置１は入力画像信号Ｓ１を信号処理回路４によつて所定の信号帯域に帯域制限するなどの前処理を施した後、アナログデイジタル変換回路（Ａ／Ｄ）５を介して上位階層形成回路６及び動きベクトル検出回路７に供給する。上位階層形成回路６は、図２について上述したように入力画像データＤ１を下位階層データとして用いて平均化演算を行うことにより上位階層画像データＤ２を形成し、これを空間階層予測回路８に送出する。
【００２２】
空間階層予測回路８は、上述したように上位階層画像データＤ２を用いて下位階層の予測画素値Ｐs 求め、当該予測画素値Ｐs を差分回路９に供給する。また差分回路９には遅延回路（ＤＬ）１０によつて上位階層形成回路６及び空間階層予測回路８の処理分だけ遅延された入力画像データＤ１が供給される。これにより差分回路９では予測画素値Ｐs とこれに対応する真値との差分演算が行われることにより各画素についての予測残差データＲs が算出される。
【００２３】
動きベクトル検出回路７は、アナログデイジタル変換回路５から直接入力される現フレーム画像データとフレームメモリ１１に格納された前フレーム画像データとを用いて、例えばブロツクマツチング法によつてマクロブロツク単位で動きベクトルＭＶを検出し、これを動き補償回路１２に送出する。
【００２４】
動き補償回路１２はフレームメモリ１１から読み出した前フレームデータを動きベクトルＭＶに基づいてマクロブロツク単位で動かすことにより動き補償した画像データＤ３（Ｐt ）を形成し、これを差分回路１３に供給する。また差分回路１３には遅延回路（ＤＬ）１４によつて動きベクトル検出回路７及び動き補償回路１２の処理分だけ遅延された入力画像データＤ１が供給される。これにより差分回路１３では動き補償による予測画素値Ｐt とこれに対応する真値との差分演算が行われることにより各画素についての予測残差データＲt が算出される。
【００２５】
このようにして求められた空間階層方向予測での予測残差データＲs 及び動き補償予測での予測残差データＲt は選択回路１５に供給される。また選択回路１５には、上位階層画像データＤ２及び動きベクトルＭＶが供給される。選択回路１５はそれぞれの予測残差データＲs 、Ｒｔを複数集めてブロツク化したときの各ブロツク内における、絶対値和、自乗和又は最大残差等を各予測残差データ間で比較し、その値の小さい方を択一的に選択するようになされている。
【００２６】
すなわち空間階層予測による予測残差の方が小さかつた場合には、当該予測残差データＲs と上位階層画像データＤ２とを量子化回路１６に送出し、これに対して動き補償予測による予測残差の方が小さかつた場合には、当該予測残差データＲt と動きベクトルＭＶとを量子化回路１６に供給する。ここで選択回路１５による択一的な選択は、（１）式の２つの重み係数ω1 、ω2 のうち何れか一方を「１」とし、他方を「０」とすることに相当する。そのため選択回路１５はどちらの予測処理を選択したかを、重み係数情報データＤ４を出力することによつて復号側に伝えるようになされている。
【００２７】
量子化回路１６は、選択された上位階層画像データＤ２及び予測残差データＲs 、または動きベクトルＭＶ及び予測残差データＲt を、固定又は適応的な量子化ステツプ幅によつて量子化し、これにより得た量子化データＤ５（上位階層画像データＤ２の量子化結果又は動きベクトルＭＶの量子化結果）、Ｄ６（予測残差データＲs 又はＲt の量子化結果）を可変長符号化回路（ＶＬＣ）１７に供給する。可変長符号化回路１７は量子化データＤ５、Ｄ６に対して発生確率の大きいものほど短い符号を割り当てる。このとき予測残差データＲs （又はＲt ）
は「０」近傍に集中しているため、可変長符号化データＤ８の発生情報量は非常に小さなものとなる。
【００２８】
可変長符号化データＤ７、Ｄ８及び重み係数情報データＤ４は、伝送フオーマツト変換回路１８によつて例えばパケツト化処理等を施されることにより、伝送路上の伝送に適した伝送データＤ９とされる。そして伝送データＤ９が伝送路や記録装置へと送出される。
【００２９】
図４に、符号化装置１によつて圧縮符号化された伝送データＤ９を復号する復号装置２０の構成を示す。復号装置２０は伝送路や再生装置から送られてくる伝送データＤ９をデータ分流回路２１に入力する。データ分流回路２１は例えばヘツダ情報等を参照しながら伝送データＤ９を重み係数情報データＤ４′及び可変長符号化データＤ７′、Ｄ８′に分流し、このうち可変長符号化データＤ７′、Ｄ８′を可変長復号回路（ＩＶＬＣ）２２に送出する。可変長復号回路２２によつて得られた量子化データＤ５′、Ｄ６′はそれぞれ逆量子化回路２３によつて逆量子化されることにより、上位階層画像データＤ２′（又は動きベクトルＭＶ′）、予測残差データＲs ′（又はＲt ′）が復元される。
【００３０】
スイツチヤ２４は重み係数情報データＤ４′を切換制御信号として、上位階層画像データＤ２′及び予測残差データＲs ′、または動きベクトルＭＶ′及び予測残差データＲt ′を後段の回路に選択的に振り分ける。ここで重み係数情報データＤ４′が重み係数ω1 が「１」でかつ重み係数ω2 が「０」を表わすものであつた場合には、スイツチヤ２４には動きベクトルＭＶ′と動き補償予測に基づく予測残差データＲt ′が入力されているはずであり、この場合動きベクトルＭＶ′を動き補償回路２５に送出すると共に予測残差データＲt ′を加算回路２６に送出する。
【００３１】
これに対して重み係数情報データＤ４′が重み係数ω1 が「０」でかつ重み係数ω2 が「１」を表わすものであつた場合には、スイツチヤ２４には上位階層画像データＤ２′と空間階層方向予測に基づく予測残差データＲs ′が入力されているはずであり、この場合上位階層画像データＤ２′を空間階層予測回路２７に送出すると共に予測残差データＲs ′を加算回路２６に送出する。なお重み係数ω1 とω2 は、ω1 ＋ω2 ＝１の関係にあり、一方の重み係数があれば他方の重み係数は容易に求めることができるので、実際上、符号化装置１は重み係数情報データＤ４として一方の重み係数のみを伝送している。
【００３２】
空間階層予測回路２７は符号化装置１の空間階層予測回路８と同様の構成でなり、入力した上位階層画像データＤ２′に基づいて下位階層画像データを予測し、当該予測値Ｐs ′を加算回路２６に送出する。この結果加算回路２６では予測値Ｐs ′と予測残差データＲs ′が加算されることにより、元の下位階層データが復元される。動き補償回路２５も符号化装置１の動き補償回路１２と同様の構成でなり、フレームメモリ２８から読み出した前フレームの画像データに対して動きベクトルＭＶ′分の動き補償をすることにより予測値Ｐt ′を求め、これを加算回路２６に送出する。この結果加算回路２６では動き補償予測値Ｐt ′と予測残差データＲt ′が加算されることにより、元の画像データが復元される。
【００３３】
復元画像データＤ１０はデイジタルアナログ変換回路（Ｄ／Ａ）２９を介して信号処理回路３０に入力される。信号処理回路３０は符号化装置１の信号処理回路４と逆の処理を施すことにより復元画像信号Ｓ２を形成する。
【００３４】
以上の構成において、符号化装置１は、動き補償予測部２によつて、動き補償による予測値Ｐt を求めると共にさらに予測値Ｐt と真値との誤差を表わす予測残差データＲt を求める。また符号化装置１は、空間階層方向予測部３によつて、上位階層画素を使つて下位階層画素の予測値Ｐs を求めると共にさらに予測値Ｐs と真値との誤差を表わす予測残差データＲs を求める。
【００３５】
次に符号化装置１は、選択回路１５によつて、予測残差データＲt とＲs の大小を比較することにより符号化の対象とするデータを択一的に選択する。例えば画像の平坦部分などでは動き補償予測よりも空間階層方向予測の方が予測残差が小さくなるので空間階層方向予測が選択される。これに対して例えば画像のエツジ部分などでは動き補償予測の方が空間階層方向予測よりも予測残差が小さくなるので動き補償予測が選択される。
【００３６】
空間階層方向予測が選択された場合には、空間階層方向予測による予測残差データＲs と上位階層画像データＤ２が符号化の対象となり、動き補償予測が選択された場合には、動き補償による予測残差データＲt と動きベクトルＭＶが符号化の対象となる。
【００３７】
以上の構成によれば、動き補償予測と空間階層方向予測という２つの異なる予測手法によつて入力画像データＤ１を予測し、このうち予測残差の小さい方を符号化の対象としたことにより、予測符号化における画質劣化を抑制し得ると共に発生符号量を低減し得る。
【００３８】
（３）第２実施例
図３との対応部分に同一符号を付して示す図５に、第２実施例による符号化装置４０を示す。この実施例の符号化装置４０は、２つの予測残差データＲt 、Ｒs に応じて最適な重み係数ω1 、ω2 を算出し、算出した重み係数ω1 、ω2 を、次式
【数６】

で表わすように各予測残差データＲt 、Ｒs に乗じて合成することにより総合的な予測残差データＲを求め、これを符号化の対象とするようになされている。そして最終的には、この予測残差データＲを符号化したものと、上位階層画像データＤ２を符号化したものと、動きベクトルＭＶと、重み係数情報データＤ２０とを伝送するようになされている。これにより符号化装置４０においては、第１実施例のように単に予測残差の大小によつて択一的に一方の予測残差を符号化対象とする場合と比較して、一段と精度の良い予測符号化処理を行うことができる。
【００３９】
また符号化装置４０においては、動き補償予測に用いる前フレームデータとして、一旦重み付けされて量子化されたデータをローカルデコードして用いるようにする。これにより復号側での復号誤差を考慮した動き補償予測を行うことができる。このため符号化装置４０はローカルデコーダ部４１を有する。
【００４０】
具体的に説明すると、符号化装置４０は差分回路９、１３から出力される２つの予測残差データＲs 、Ｒt を重み係数算出回路４３に供給する。重み係数算出回路４３は予測残差データＲs 、Ｒt を用いて、（２）式及び（３）式で表わされる比例配分により重み係数ω1 、ω2 を求める。すなわち予測残差が大きい方に小さい重み係数を与え、予測残差が小さい方に大きい重み係数を与えるように重みを比例配分する。
【００４１】
重み係数算出回路４３によつて求められた重み係数情報データＤ２０は重み付け回路４４に送出される。重み付け回路４４は重み係数ω１、ω２を用いて（６）式のように２つの予測残差を合成した予測残差データＲを算出し、これを量子化回路４５に送出する。
【００４２】
また量子化回路４５には予測残差データＲに加えて上位階層画像データＤ２も入力されており、量子化回路４５はこれらを固定又は適応的な量子化ステツプ幅で量子化することにより、予測残差データＲに対応する量子化データＤ２１及び上位階層画像データＤ２に対応する量子化データＤ２２を形成する。可変長符号化回路４６は量子化データＤ２１、Ｄ２２を可変長符号化することにより、それぞれに対応する可変長符号化データＤ２３、Ｄ２４を形成する。伝送フオーマツト変換回路１８は、可変長符号化データＤ２３、Ｄ２４、動きベクトルＭＶ及び重み係数情報データＤ２０に対してパケツト化処理等を施すことにより伝送データＤ２５を形成する。
【００４３】
ここで量子化データＤ２１及びＤ２２はローカルデコーダ部４１の逆量子化回路４７にも供給され、ここで予測残差データＲ′及び上位階層画像データＤ２′が復元され、このうち予測残差データＲ′が加算回路４８に、上位階層画像データＤ２′が空間階層予測回路４９に供給される。空間階層予測回路４９は空間階層予測回路８と同様の構成でなり、空間階層方向予測により下位階層の予測値Ｐs ′を求め、これを重み付け回路５０に送出する。
【００４４】
重み付け回路５０は、空間階層予測回路４０から供給される予測値Ｐs ′、動き補償回路５１から供給される予測値Ｐt 及び重み係数算出回路４３から供給される重み係数情報データＤ２０を用いて、次式
【数７】

を演算し、当該演算結果を加算回路４８に供給する。加算回路４８に供給される予測残差データＲ′は下位階層画素の真値をｘとすると、次式
【数８】

で表わすことができるため、加算回路４８では、次式
【数９】

の演算が行われ、この（９）式で得られた画素データがフレームメモリ５２に供給される。
【００４５】
動き補償予測部４２では、このようにしてフレームメモリ５２に格納された復号誤差を考慮した画像データに基づいて、動きベクトル検出回路５３により動きベクトルＭＶが求められ、かつ動き補償回路５１により動き補償予測値Ｐt が求められる。
【００４６】
次に図６を用いて、符号化装置４０によつて圧縮符号化された伝送データＤ２５を復号する復号装置６０の構成について説明する。図４との対応部分に同一符号を付して示す図６において、復号装置６０は入力された伝送データＤ２５をデータ分流回路２１によつて重み係数情報データＤ２０′、動きベクトルＭＶ′及び可変長符号化データＤ２３′、Ｄ２４′に分流する。
【００４７】
可変長符号化データＤ２３′、Ｄ２４′は可変長復号回路２２によつて量子化データＤ２１′、Ｄ２２′とされ、続く逆量子化回路２３によつて予測残差データＲ′及び上位階層画像データＤ２′が復元される。空間階層予測回路２７は上位階層画像データＤ２′から下位階層の予測値Ｐs ′を求め、これを重み付け回路６２に送出する。また重み付け回路６２には動き補償回路２５によつて求められた動き補償予測値Ｐt ′が供給される。
【００４８】
重み付け回路６２は重み係数情報データＤ２０′を用いて、次式
【数１０】

の演算を行い、当該演算結果を加算回路６１に供給する。加算回路６１では、重み付け回路６２の出力に含まれている予測誤差分が予測残差データＲ′によつて相殺されることにより、真値に近い復元画像データが得られる。加算結果はデイジタルアナログ変換回路２９及び信号処理回路３０を介して復元画像信号Ｓ３とされる。
【００４９】
以上の構成によれば、動き補償予測による予測残差及び空間階層方向予測による予測残差に基づいて重み係数を算出し、当該重み係数を使つて２つの予測結果をそれぞれ重み付けして符号化するようにしたことにより、例えばエツジ画像や平坦画像の間の中間画像に対して、一段と忠実度の高い予測符号化を行うことができる。
【００５０】
（４）第３実施例
図３との対応部分に同一符号を付して示す図７において、７０は全体として第３実施例の符号化装置を示し、空間階層方向予測部３と動き補償予測部２が直列に接続されている。符号化装置７０は、空間階層方向予測部３により形成された予測残差データＲs を、遅延回路７１を介して動き補償予測部２の処理時間分だけ遅延させて差分回路７２に供給すると共に動き補償予測部２に供給する。
【００５１】
動き補償予測部２は予測残差データＲs を用いて動き補償予測を行う。これにより動き補償予測部２では、空間階層予測及び動き補償予測の両方が加味された予測データＰstが形成され、当該予測データＰstが差分回路７２に供給される。差分回路７２では予測残差データＲs と予測データＰstとの差分がとられ、当該差分データＲA が最終的な予測残差データとして符号化の対象として量子化回路７３に供給される。
【００５２】
量子化回路７３は予測残差データＲA と上位階層画像データＤ２からそれぞれに対応した量子化データＤ３０、Ｄ３１を得、続く可変長符号化回路７４によつて当該量子化データＤ３０、Ｄ３１に基づく可変長符号化データＤ３２、Ｄ３３が得られる。伝送フオーマツト変換回路７５は可変長符号化データＤ３２、Ｄ３３及び動きベクトルＭＶを用いて伝送データＤ３４を形成する。
【００５３】
図８に、符号化装置７０によつて形成された伝送データＤ３４を復号する復号装置８０の構成を示す。図４との対応部分に同一符号を付して示す図８において、復号装置８０は入力された伝送データＤ３４をデータ分流回路２１によつて可変長符号化データＤ３２′、Ｄ３３′及び動きベクトルＭＶ′に分流する。このうち可変長符号化データＤ３２′、Ｄ３３′は可変長復号回路２２によつて量子化データＤ３０′、Ｄ３１′とされ、さらに量子化データＤ３０′、Ｄ３１′が逆量子化回路２３によつて逆量子化されることにより、予測残差データＲA ′及び上位階層画像データＤ２′が復元される。
【００５４】
予測残差データＲA ′は加算回路８２に供給される。また加算回路８２には動き補償回路８１によつて動きベクトルＭＶ′に基づいて求められた予測データＰst′が供給される。この結果加算回路８２では空間階層方向予測による予測残差データＲs ′が算出され、これが加算回路８４に供給される。また加算回路８４には空間階層予測回路８５によつて求められた下位階層予測データＰs ′が供給され、この結果加算回路８４では入力画像データＤ１に対応する復元画像データＤ１′が求められる。そして復元画像データＤ１′がデイジタルアナログ変換回路２０及び信号処理回路３０を介して復元画像信号Ｓ３とされる。
【００５５】
（５）第４実施例
図７との対応部分に同一符号を付して示す図９において、９０は全体として第４実施例の符号化装置を示す。符号化装置９０が符号化装置８０と異なる点は、符号化装置８０では必ず初段での予測残差を用いて次段で再度予測残差を求めたが、符号化装置９０では初段である程度正確な予測残差が得られた場合には次段での予測処理を中止する点である。これにより符号化装置９０においては、不要な予測演算をせずに、必要上十分な精度の予測符号化処理を行うことができるようになされている。また符号化装置９０では、初段で動き補償予測を行い、次段で空間階層予測を行うようになされている。
【００５６】
符号化装置９０は動き補償予測部２によつて求めた予測残差データＲt を残差判定回路９１及びスイツチ回路９２に送出する。残差判定回路９１は予測残差データＲt を所定のしきい値と比較し、予測残差データＲt がしきい値以下の場合にはスイツチ回路９２を端子ａに切換制御し、しきい値を超える場合にはスイツチ回路９２を端子ｂに切換制御する。残差判定回路９１はこの切換制御をしきい値判定信号Ｓ１０をスイツチ回路９２に送出することにより行う。
【００５７】
スイツチ回路９２の端子ｂが選択された場合、予測残差データＲt は上位階層形成回路６に供給され、ここで予測残差データＲt に基づく上位階層データＤ４０が形成され、当該上位階層データＤ４０が空間階層予測回路８に供給される。かくして空間階層予測回路８では、動き補償予測及び空間階層予測の両方が加味された予測データＰtsが形成され、当該予測データＰtsが差分回路９４に供給される。差分回路９４では予測残差データＲt と予測データＰtsとの差分がとられ、当該差分データＲB が最終的な予測残差データとして符号化の対象として量子化回路９５に送出される。
【００５８】
量子化回路９５及び可変長符号化回路９６は、スイツチ回路９２の端子ａが選択された場合には、予測残差データＲt のみが入力されるのでこれを順次量子化及び可変長符号化して伝送フオーマツト変換回路９７に送出する。これに対してスイツチ回路９２の端子ｂが選択された場合には、予測残差データＲB 及び上位階層データＤ４０が入力されるのでこれを順次量子化及び可変長符号化して伝送フオーマツト変換回路９７に送出する。伝送フオーマツト変換回路９７は可変長符号化回路９６の出力、動きベクトルＭＶ及びしきい値判定信号Ｓ１０から伝送データＤ４０を形成する。
【００５９】
図８との対応部分に同一符号を付して示す図１０に、符号化装置９０によつて形成された伝送データＤ４０を復号する復号装置１００の構成を示す。復号装置１００は、符号化装置９０においてスイツチ回路９２の端子ｂが選択され、予測残差データＲB 、上位階層データＤ４０及び動きベクトルＭＶに基づく伝送データＤ４１が入力されると、これらを復元したものをそれぞれ加算回路１０１、空間階層予測回路８１及び動き補償回路８１に供給する。
【００６０】
なお伝送されたしきい値判定信号Ｓ１０′は予測制御回路１１０に与えられる。予測制御回路１１０は、しきい値判定信号Ｓ１０′がスイツチ回路９２の端子ｂを切換制御したことを表わすものであつた場合には空間階層予測回路８１をオン動作させ、しきい値判定信号Ｓ１０′がスイツチ回路９２の端子ａを切換制御したことを表わすものであつた場合には空間階層予測回路８１をオフ動作させる。
【００６１】
加算回路１０１では予測残差データＲB ′と予測データＰts′が加算されることにより予測残差データＲt ′が求められる。加算回路１０２では予測残差データＲt ′と予測データＰt ′が加算されることにより、入力画像データＤ１に対応する復元画像データＤ１′が得られる。
【００６２】
これに対して復号装置１００は、符号化装置９０においてスイツチ回路９２の端子ａが選択され、予測誤差データＲt 及び動きベクトルＭＶに基づく伝送データＤ４１が入力されると、空間階層予測回路８１をオフ状態として復号処理を進める。すなわち逆量子化回路２３から出力される予測残差データＲt ′は加算回路１０１をそのまま通過して加算回路１０２に到達する。そして加算回路１０２において動き補償回路８１によつて形成された予測データＰt ′と加算されることにより、復元画像データＤ１′が得られる。
【００６３】
（６）他の実施例
なお上述の実施例においては、符号化装置１、４０、７０、９０を予測符号化処理のみを行うように構成した場合について述べたが、本発明はこれに限らず、ＤＣＴ（Discrete Cosine Transform ）等の変換符号化を組み合わせることにより一段と圧縮率を上げるようにしても良い。また上述の実施例においては、量子化の後に可変長符号化を行うようにした場合について述べたが、例えば量子化回路とＡＤＲＣ（Adaptive Dynamic Range Coding ）回路を用いるようにして可変長符号化回路を省略するようにしても良い。
【００６４】
また上述の実施例においては、空間階層方向の予測を行う場合に、（５）式で表わされるように上位階層の隣接する３画素を使用する場合について述べたが、使用する上位階層画素はこれに限らず、例えば１画素や２画素、または４画素以上の画素を使用するようにしても良い。また上述の実施例においては、動きベクトルを検出する方法としてブロツクマツチング法を用いた場合について述べたが、本発明はこれに限らず、例えば勾配法等により動きベクトルを求めるようにしても良く、種々の動きベクトル検出法を適用できる。
【００６５】
また上述の第３実施例においては、初段で空間階層方向予測を行い次段で動き補償予測を行うようにした場合について述べたが、本発明はこれに限らず、初段で動き補償予測を行い次段で空間階層方向予測を行うようにしても良い。同様に上述の第４実施例においては、初段で動き補償予測を行い次段で選択的に空間階層方向予測を行うようにした場合について述べたが、本発明はこれに限らず、初段で空間階層方向予測を行い次段で選択的に動き補償予測を行うようにしても良い。
【００６６】
【発明の効果】
上述のように本発明によれば、第１階層の画像信号に基づいて、当該第１階層画像信号よりも解像度の低い第２階層の画像信号を形成する階層画像形成手段と、第２階層画像信号から第１階層画像信号を予測する階層予測手段と、階層予測された画像信号と予測対象の第１階層画像信号との差分をとることにより第１の予測残差を算出する階層予測残差算出手段と、現画像信号と当該現画像信号に対して１ないしｎフレーム前の画像信号との間の動きベクトルを検出する動きベクトル検出手段と、１ないしｎフレーム前の画像信号から動きベクトルに基づき現画像信号を予測する動き補償予測手段と、動き補償予測された画像信号と予測対象の現画像信号との差分をとることにより第２の予測残差を算出する動き補償予測残差算出手段と、第１及び第２の予測残差の値に基づいて、第１及び第２の予測残差それぞれについての第１及び第２の重み係数ω１及びω２（但し、ω１＋ω２＝一定）を求める重み係数算出手段と、第１及び第２の重み係数に基づいて生成された重み係数情報データによつて第１及び第２の予測残差を重み付けすることにより合成する重み付け手段と、重み付け手段により合成された合成予測残差と、第２階層の画像信号と、動きベクトルと、重み係数情報データとを伝送する伝送手段とを設け、動きベクトル検出手段は、現画像信号と、合成予測残差及び第２階層の画像信号を用いてローカルデコードすることによつて生成された現画像信号の１ないしｎフレーム前の画像信号との間において動きベクトルを検出し、動き補償予測手段は、合成予測残差及び第２階層の画像信号を用いてローカルデコードすることによつて生成された現画像信号の１ないしｎフレーム前の画像信号から動きベクトルに基づき現画像信号を予測するようにしたことにより、画像の圧縮効率を向上し得ると共に画質劣化を低減し得るデイジタル画像信号符号化装置を実現できる。
【図面の簡単な説明】
【図１】本発明によるデイジタル画像信号符号化方法の原理の説明に供する略線図である。
【図２】画像の階層化及び空間階層方向予測の説明に供する略線図である。
【図３】第１実施例による符号化装置の構成を示すブロツク図である。
【図４】第１実施例による復号装置の構成を示すブロツク図である。
【図５】第２実施例による符号化装置の構成を示すブロツク図である。
【図６】第２実施例による復号装置の構成を示すブロツク図である。
【図７】第３実施例による符号化装置の構成を示すブロツク図である。
【図８】第３実施例による復号装置の構成を示すブロツク図である。
【図９】第４実施例による符号化装置の構成を示すブロツク図である。
【図１０】第４実施例による復号装置の構成を示すブロツク図である。
【符号の説明】
１、４０、７０、９０……符号化装置、２、４２……動き補償予測部、３……空間階層方向予測部、６……上位階層形成回路、７、５３……動きベクトル検出回路、８、２７、４９、８５……空間階層予測回路、１２、２５、５１、８１……動き補償回路、２０、６０、８０、１００……復号装置、４１……ローカルデコーダ部、４３……重み係数算出回路、４４、５０、６２……重み付け回路、９１……残差判定回路、９２……スイツチ回路、１１０……予測制御回路、Ｓ１……入力画像信号、Ｓ２、Ｓ３、Ｓ４……復元画像信号、Ｓ１０……しきい値判定信号、Ｄ１……入力画像データ、Ｄ２、Ｄ４０……上位階層画像データ、Ｄ４、Ｄ２０……重み係数情報データ、Ｄ９、Ｄ２５、Ｄ３４、Ｄ４１……伝送データ、Ｄ１０……復元画像データ、ＭＶ……動きベクトル、Ｐt ……動き補償予測データ、Ｐs ……空間階層方向予測データ、Ｒt ……動き補償予測残差データ、Ｒs ……空間階層方向予測残差データ、Ｒ、ＲA 、ＲB ……予測残差データ、Ｐst、Ｐts……予測データ。

Claims

第１階層の画像信号に基づいて、当該第１階層画像信号よりも解像度の低い第２階層の画像信号を形成する階層画像形成手段と、
上記第２階層画像信号から上記第１階層画像信号を予測する階層予測手段と、
階層予測された画像信号と上記予測対象の第１階層画像信号との差分をとることにより第１の予測残差を算出する階層予測残差算出手段と、
現画像信号と当該現画像信号に対して１ないしｎフレーム前の画像信号との間の動きベクトルを検出する動きベクトル検出手段と、
上記１ないしｎフレーム前の画像信号から上記動きベクトルに基づき上記現画像信号を予測する動き補償予測手段と、
上記動き補償予測された画像信号と上記予測対象の現画像信号との差分をとることにより第２の予測残差を算出する動き補償予測残差算出手段と、
上記第１及び第２の予測残差の値に基づいて、上記第１及び第２の予測残差それぞれについての第１及び第２の重み係数ω１及びω２（但し、ω１＋ω２＝一定）を求める重み係数算出手段と、
上記第１及び第２の重み係数に基づいて生成された重み係数情報データによつて上記第１及び第２の予測残差を重み付けすることにより合成する重み付け手段と、
上記重み付け手段により合成された合成予測残差と、上記第２階層の画像信号と、上記動きベクトルと、上記重み係数情報データとを伝送する伝送手段と
を具え、
上記動きベクトル検出手段は、
上記現画像信号と、上記合成予測残差及び上記第２階層の画像信号とを用いてローカルデコードすることによつて生成された上記現画像信号の１ないしｎフレーム前の画像信号との間において上記動きベクトルを検出し、
上記動き補償予測手段は、
上記合成予測残差及び上記第２階層の画像信号を用いてローカルデコードすることによつて生成された上記現画像信号の１ないしｎフレーム前の画像信号から上記動きベクトルに基づき上記現画像信号を予測する
ことを特徴とするデイジタル画像信号符号化装置。
上記デイジタル画像信号符号化装置は、
第２階層の画像信号から第１階層の画像信号を予測する第２の階層予測手段と、
上記重み係数情報データによつて、上記第２の階層予測手段により階層予測された画像信号及び上記動き補償予測された画像信号を重み付けすることにより合成する第２の重み付け手段と、
上記第２の重み付け手段により合成された合成結果に、上記合成予測残差を加算することにより上記現画像信号の１ないしｎフレーム前の画像信号を形成する加算手段と
を具えることを特徴とする請求項１に記載のデイジタル画像信号符号化装置。
上記重み付け手段は、
上記第１の予測残差及び上記第２の予測残差のうち、予測残差が大きい方に小さい重み係数を与え、予測残差が小さい方に大きい重み係数を与えるように重みを比例配分する
ことを特徴とする請求項１に記載のデイジタル画像信号符号化装置。
上記合成予測残差及び上記第２階層の画像信号を量子化する量子化手段と、
上記量子化手段により量子化された上記合成予測残差及び上記第２階層の画像信号を逆量子化する逆量子化手段と
を具え、
上記伝送手段は、
上記量子化手段により量子化された上記合成予測残差及び上記第２階層の画像信号と、上記動きベクトルと、上記重み係数情報データとを伝送し、
上記第２の階層予測手段は、
上記逆量子化手段により逆量子化された第２階層の画像信号から第１階層の画像信号を予測する
ことを特徴とする請求項２に記載のデイジタル画像信号符号化装置。
第１階層の画像信号に基づいて、当該第１階層画像信号よりも解像度の低い第２階層の画像信号を形成する階層画像形成ステツプと、
上記第２階層画像信号から上記第１階層画像信号を予測する階層予測ステツプと、
階層予測された画像信号と上記予測対象の第１階層画像信号との差分をとることにより第１の予測残差を算出する階層予測残差算出ステツプと、
現画像信号と当該現画像信号に対して１ないしｎフレーム前の画像信号との間の動きベクトルを検出する動きベクトル検出ステツプと、
上記１ないしｎフレーム前の画像信号から上記動きベクトルに基づき上記現画像信号を予測する動き補償予測ステツプと、
上記動き補償予測された画像信号と上記予測対象の現画像信号との差分をとることにより第２の予測残差を算出する動き補償予測残差算出ステツプと、
上記第１及び第２の予測残差の値に基づいて、上記第１及び第２の予測残差それぞれについての第１及び第２の重み係数ω１及びω２（但し、ω１＋ω２＝一定）を求める重み係数算出ステツプと、
上記第１及び第２の重み係数に基づいて生成された重み係数情報データによつて上記第１及び第２の予測残差を重み付けすることにより合成する重み付けステツプと、
上記重み付けステツプにおいて合成した合成予測残差と、上記第２階層の画像信号と、上記動きベクトルと、上記重み係数情報データとを伝送する伝送ステツプと
を具え、
上記動きベクトル検出ステツプでは、
上記現画像信号と、上記合成予測残差及び上記第２階層の画像信号とを用いてローカルデコードすることによつて生成された上記現画像信号の１ないしｎフレーム前の画像信号との間において上記動きベクトルを検出し、
上記動き補償予測ステツプでは、
上記合成予測残差及び上記第２階層の画像信号を用いてローカルデコードすることによつて生成された上記現画像信号の１ないしｎフレーム前の画像信号から上記動きベクトルに基づき上記現画像信号を予測する
ことを特徴とするデイジタル画像信号符号化方法。
上記デイジタル画像信号符号化方法では、
第２階層の画像信号から第１階層の画像信号を予測する第２の階層予測ステツプと、
上記重み係数情報データによつて、上記第２の階層予測ステツプにより階層予測された画像信号及び上記動き補償予測された画像信号を重み付けすることにより合成する第２の重み付けステツプと、
上記第２の重み付けステツプにおいて合成した合成結果に、上記合成予測残差を加算することにより上記現画像信号の１ないしｎフレーム前の画像信号を形成する加算ステツプと
を具えることを特徴とする請求項５に記載のデイジタル画像信号符号化方法。
上記重み付けステツプでは、
上記第１の予測残差及び上記第２の予測残差のうち、予測残差が大きい方に小さい重み係数を与え、予測残差が小さい方に大きい重み係数を与えるように重みを比例配分する
ことを特徴とする請求項５に記載のデイジタル画像信号符号化方法。
上記合成予測残差及び上記第２階層の画像信号を量子化する量子化ステツプと、
上記量子化ステツプにより量子化された上記合成予測残差及び上記第２階層の画像信号を逆量子化する逆量子化ステツプと
を具え、
上記伝送ステツプでは、
上記量子化ステツプにおいて量子化した上記合成予測残差及び上記第２階層の画像信号と、上記動きベクトルと、上記重み係数情報データとを伝送し、
上記第２の階層予測ステツプでは、
上記逆量子化ステツプにおいて逆量子化した第２階層の画像信号から第１階層の画像信号を予測する
ことを特徴とする請求項６に記載のデイジタル画像信号符号化方法。
第１階層の画像信号に基づいて、当該第１階層画像信号よりも解像度の低い第２階層の画像信号を形成し、
上記第２階層画像信号から上記第１階層画像信号を予測し、
階層予測された画像信号と上記予測対象の第１階層画像信号との差分をとることにより第１の予測残差を算出すると共に、
現画像信号と当該現画像信号に対して１ないしｎフレーム前の画像信号との間の動きベクトルを検出し、
上記１ないしｎフレーム前の画像信号から上記動きベクトルに基づき上記現画像信号を予測し、
上記動き補償予測された画像信号と上記予測対象の現画像信号との差分をとることにより第２の予測残差を算出し、
上記第１及び第２の予測残差の値に基づいて、上記第１及び第２の予測残差それぞれについての第１及び第２の重み係数ω１及びω２（但し、ω１＋ω２＝一定）を求め、
上記第１及び第２の重み係数に基づいて生成された重み係数情報データによつて上記第１及び第２の予測残差を重み付けすることにより合成し、
合成された合成予測残差と、上記第２階層の画像信号と、上記動きベクトルと、上記重み係数情報データとを送信し、上記現画像信号の１ないしｎフレーム前の画像信号は、上記合成予測残差及び上記第２階層の画像信号とを用いてローカルデコードすることによつて生成されたデイジタル画像信号符号化装置によつて符号化されて伝送された符号化画像信号を復号する符号化画像信号復号装置であつて、
伝送された上記第２階層の画像信号から上記第１階層の画像信号を予測する階層予測手段と、
上記１ないしｎフレーム前の画像信号から伝送された動きベクトルに基づき現画像信号を予測する動き補償予測手段と、
上記重み係数情報データによつて、上記階層予測手段により得られた予測結果及び又は上記動き補償予測手段により得られた予測結果とを重み付けすることにより合成する重み付け手段と、
上記重み付け手段により合成された合成結果に、対応する伝送された上記合成予測残差を加算することにより復号画像信号を形成する手段と、
を具え、
上記動き補償予測手段は、
上記復号画像信号を上記現画像信号の１ないしｎフレーム前の画像信号として、当該現画像信号の１ないしｎフレーム前の画像信号から伝送された動きベクトルに基づき現画像信号を予測する
ことを特徴とする符号化画像信号復号装置。
第１階層の画像信号に基づいて、当該第１階層画像信号よりも解像度の低い第２階層の画像信号を形成し、
上記第２階層画像信号から上記第１階層画像信号を予測し、
階層予測された画像信号と上記予測対象の第１階層画像信号との差分をとることにより第１の予測残差を算出すると共に、
現画像信号と当該現画像信号に対して１ないしｎフレーム前の画像信号との間の動きベクトルを検出し、
上記１ないしｎフレーム前の画像信号から上記動きベクトルに基づき上記現画像信号を予測し、
上記動き補償予測された画像信号と上記予測対象の現画像信号との差分をとることにより第２の予測残差を算出し、
上記第１及び第２の予測残差の値に基づいて、上記第１及び第２の予測残差それぞれについての第１及び第２の重み係数ω１及びω２（但し、ω１＋ω２＝一定）を求め、
上記第１及び第２の重み係数に基づいて生成された重み係数情報データによつて上記第１及び第２の予測残差を重み付けすることにより合成し、
合成された合成予測残差と、上記第２階層の画像信号と、上記動きベクトルと、上記重み係数情報データとを送信し、上記現画像信号の１ないしｎフレーム前の画像信号は、上記合成予測残差及び上記第２階層の画像信号とを用いてローカルデコードすることによつて生成されたデイジタル画像信号符号化方法によつて符号化されて伝送された符号化画像信号を復号する符号化画像信号復号方法であつて、
伝送された上記第２階層の画像信号から上記第１階層の画像信号を予測する階層予測ステツプと、
上記１ないしｎフレーム前の画像信号から伝送された動きベクトルに基づき現画像信号を予測する動き補償予測ステツプと、
上記重み係数情報データによつて、上記階層予測ステツプにより得られた予測結果及び又は上記動き補償予測ステツプにより得られた予測結果とを重み付けすることにより合成する重み付けステツプと、
上記重み付けステツプにおいて合成した合成結果に、対応する伝送された上記合成予測残差を加算することにより復号画像信号を形成するステツプと、
を具え、
上記動き補償予測ステツプでは、
上記復号画像信号を上記現画像信号の１ないしｎフレーム前の画像信号として、当該現画像信号の１ないしｎフレーム前の画像信号から伝送された動きベクトルに基づき現画像信号を予測する
ことを特徴とする符号化画像信号復号方法。