JP4224662B2 - Image encoding apparatus and method, image decoding apparatus and method, and image processing apparatus - Google Patents

Image encoding apparatus and method, image decoding apparatus and method, and image processing apparatus Download PDF

Info

Publication number
JP4224662B2
JP4224662B2 JP2000240824A JP2000240824A JP4224662B2 JP 4224662 B2 JP4224662 B2 JP 4224662B2 JP 2000240824 A JP2000240824 A JP 2000240824A JP 2000240824 A JP2000240824 A JP 2000240824A JP 4224662 B2 JP4224662 B2 JP 4224662B2
Authority
JP
Japan
Prior art keywords
image data
data
encoded
circuit
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000240824A
Other languages
Japanese (ja)
Other versions
JP2002058032A (en
Inventor
剛士 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000240824A priority Critical patent/JP4224662B2/en
Priority to US09/924,015 priority patent/US7221707B2/en
Publication of JP2002058032A publication Critical patent/JP2002058032A/en
Priority to US11/804,790 priority patent/US7529301B2/en
Application granted granted Critical
Publication of JP4224662B2 publication Critical patent/JP4224662B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/007Transform coding, e.g. discrete cosine transform

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像データの圧縮符号化を行う画像符号化装置および方法、圧縮符号化した画像データの復号を行う画像復号装置および方法、ならびに画像符号化装置および画像復号装置を備えた画像処理装置に関する。
【0002】
【従来の技術】
従来、画像データを圧縮符号化するための画像符号化方式として、MPEG(Moving Picture Experts Group)規格において採用されている双方向予測符号化方式がある。この双方向予測符号化方式では、フレーム内符号化、フレーム間順方向予測符号化、および双方向予測符号化の3つのタイプの符号化が行われており、これらの符号化に対応して、I(Intra ;イントラ)ピクチャ、P(Predictive)ピクチャ、およびB(Bidirectionally predictive)ピクチャの3種類の画像タイプがそれぞれ規定されている。なお、PピクチャおよびBピクチャは、ノンイントラ(Non-intra )ピクチャまたはインター(Inter )ピクチャとも呼ばれている。
【0003】
符号化対象の画像データをイントラピクチャとして符号化する場合には、例えば同一フレーム(またはフィールド)内でその画像データに関して符号化が行われる。一方、符号化対象の画像データをノンイントラピクチャとして符号化する場合には、過去のフレームや未来のフレームを参照して得られる差分画像データに関して符号化が行われる。
【0004】
また、例えば画像の品質を段階的に向上させるための符号化方式として、階層符号化方式がある。この階層符号化方式では、符号化対象の画像データが複数の階層の画像データに分割され、分割された各階層の画像データに関して符号化が行われている。ここで、各階層の画像データとは、例えば、異なる周波数成分ごとに分けられた画像データのことである。
【0005】
図11はこのような階層符号化方式の画像符号化装置の構成を示すものである。この画像符号化装置は、分割回路170と、符号化回路171、172とを備えている。分割回路170は、符号化対象の画像データとしての入力画像データXXを複数(ここでは2つ)の階層の画像データ(基本階層画像データX1および高位階層画像データX2)に分割するためのものである。符号化回路171は、分割回路170から出力された基本階層画像データX1を符号化するためのものである。符号化回路172は、分割回路170から出力された高位階層画像データX2を符号化するためのものである。符号化回路171、172は、後述するように、互いに同一の構成を有し、同様に動作するようになっている。
【0006】
分割回路170は、画像処理回路170aと、減算回路170bとを含んでいる。画像処理回路170aは、入力画像データXXから、基本的な特徴を有する画像データである基本階層画像データX1を抽出するためのものである。減算回路170bは、入力画像データXXから基本階層画像データX1を減じるためのものである。ここで、基本階層画像データとは、通常の画像として見ることができるような画像データであり、例えば、画像の空間周波数に関していえば、低い周波数成分を有する画像データのことである。また、高位階層画像データとは、例えば高画質の画像を得るための画像データのことであり、高い周波数成分を有する画像データのことである。入力画像データXXを空間周波数に関して分割する場合、画像処理回路170aは、例えばLPF(Low Pass Filter )回路によって構成される。
【0007】
入力画像データXXは、分割回路170内の画像処理回路170aおよび減算回路170bにそれぞれ供給されるようになっている。画像処理回路170aは、入力画像データXXから基本階層画像データX1を抽出し、抽出した基本階層画像データX1を、符号化回路171および減算回路170bにそれぞれ出力するようになっている。
【0008】
減算回路170bは、入力画像データXXから、画像処理回路170aから出力された基本階層画像データX1を減じ、その減算結果である差分画像データを、高位階層画像データX2として符号化回路172に出力するようになっている。
【0009】
図12は図11に示した符号化回路171、172の構成を示すものである。符号化回路171、172は、入力される符号化対象の画像データが異なっており、基本階層画像データX1または高位階層画像データX2であるという点を除いて、上述したように、互いに同一の構成を有しており、同様に動作するようになっている。
【0010】
図12に示した符号化回路は、前処理回路151と、減算回路152と、DCT(Discrete Cosine Transform ;離散コサイン変換)回路153と、量子化回路154とを含んでいる。前処理回路151は、例えばラスタースキャン形式の画像データを所定の符号化処理の順序に並び換え、並び換えた画像データごとにブロックスキャン形式に変換して複数のマクロブロックの画像データ(以下、ブロックデータと呼ぶ)を得るためのものである。減算回路152は、前処理回路151から出力される画像データ(ブロックデータ)から例えば後述する予測画像データを減じるためのものである。DCT回路153は、画像データを周波数成分に変換するためのものであり、減算回路151から出力される減算結果に関してDCTを行うことによりDCT係数を取得するためのものである。量子化回路154は、DCT回路153から出力されたDCT係数を所定の量子化値に基づいて量子化するためのものである。
【0011】
また、この符号化回路は、逆量子化回路158と、逆DCT回路159と、加算回路160と、フレームメモリ161とを含んでいる。逆量子化回路158は、量子化回路154の出力データを逆量子化するためのものである。逆DCT回路159は、逆量子化回路158の出力データ(復元されたDCT係数)に関して逆DCTを行うためのものである。加算回路160は、逆DCT回路159の出力データ(画像データ)と予測画像データとを加算するためのものである。フレームメモリ161は、加算回路160の加算結果を参照画像データとして記憶するためのものである。
【0012】
さらに、この符号化回路は、動き補償回路162と、動きベクトル検出回路163と、スイッチ164と、制御回路166とを含んでいる。動きベクトル検出回路163は、前処理回路151から出力された画像データと、フレームメモリ161に記憶されている参照画像データとに基づいて、動きベクトルを検出するためのものである。動き補償回路162は、動きベクトル検出回路163によって検出された動きベクトルに基づいて、フレームメモリ161に記憶されている参照画像データに関して動き補償を行い、動き補償のための参照画像データを予測画像データとして発生するためのものである。
【0013】
制御回路166は、前処理回路151から出力された画像データをイントラピクチャとして符号化するかどうかを決定し、この決定結果に応じてスイッチ164を切り換えるためのものである。
【0014】
前処理回路151から出力された画像データをイントラピクチャとして符号化すると制御回路166が決定した場合、スイッチ164は、制御回路166から出力される切り換え信号に応じて、データ「0」が減算回路152および加算回路160にそれぞれ出力されるように切り換えられるようになっている。また、前処理回路151から出力された画像データをノンイントラピクチャとして符号化すると制御回路166が決定した場合、スイッチ164は、制御回路166から出力される切り換え信号に応じて、動き補償回路162において発生した予測画像データが減算回路152および加算回路160にそれぞれ出力されるように切り換えられるようになっている。
【0015】
これにより、減算回路152から出力される減算結果は、画像データをイントラピクチャとして符号化する場合には、その画像データそのものである。また、その減算結果は、画像データをノンイントラピクチャとして符号化する場合には、予測画像データを用いることにより得られる差分画像データである。
【0016】
また、この符号化回路は、可変長符号化回路155と、多重化回路156と、バッファ157と、レート制御回路165とを含んでいる。可変長符号化回路155は、量子化回路154の出力データに関して可変長符号化を行うためのものである。多重化回路156は、可変長符号化回路155から出力された符号化データ(DCT係数、量子化回路154の量子化値、およびピクチャタイプなど)や動きベクトルなどを多重化するためのものである。バッファ157は、多重化回路156の出力データを一旦保持し、所定のビットレートでストリームとして出力するためのものである。レート制御回路165は、バッファ157におけるデータ占有状態を監視し、そのデータ占有状態に応じて量子化回路154の量子化値を制御するためのものである。
【0017】
図13は図12に示した可変長符号化回路155における符号化処理を示すフローチャートである。図13に示したように、ステップA1において、可変長符号化回路155に入力されるデータ(ブロックデータであり、量子化されたDCT係数)に関するピクチャタイプを判定する。この入力データがノンイントラピクチャに関するものであると判定した場合には、ステップA2において、予め設定されたノンイントラピクチャ用符号化テーブルを用いて符号化処理を行う(符号化処理3)。
【0018】
一方、ステップA1において入力データがイントラピクチャに関するものであると判定した場合、ステップA3において、この入力データにおけるDCT係数タイプを判定する。これは、各ブロックデータにおけるDCT係数には、ブロックデータ内で変化しないDC(Direct Current;直流)係数と、このブロックデータ内で変化するAC(Alternate Current ;交流)係数とが含まれており、それぞれ独立して符号化処理を行うからである。
【0019】
ステップA3において、DCT係数タイプがDC係数であると判定した場合、ステップA4において、隣接するブロックデータとの間のDC係数の差分値に関して予め設定されたDC係数用符号化テーブルを用いて符号化処理を行う(符号化処理1)。一方、DCT係数タイプがAC係数であると判定した場合、ステップA5において、予め設定されたAC係数用符号化テーブルを用いて符号化処理を行う(符号化処理2)。
【0020】
以上のように構成されている階層符号化方式の画像符号化装置において、符号化回路171、172に入力される画像データをイントラピクチャとして符号化する場合に、このような画像データに関して例えば動き補償は行われていなかった。これは、画像データをノンイントラピクチャとして符号化する場合とイントラピクチャとして符号化する場合とでその画像の性質が大きく異なっているからである。そのため、データ成分が少ない差分画像データを符号化するノンイントラピクチャの場合と異なり、イントラピクチャの場合には、入力された画像データそのものを符号化していた。
【0021】
【発明が解決しようとする課題】
ところで、符号化回路171、172では、入力される画像データ(基本階層画像データおよび高位階層画像データ)に関してはそれぞれ区別して符号化が行われていなかった。しかし、高位階層画像データは入力される画像データと基本階層画像データとの差を示す差分画像データであるため、画像の性質に関していえば、イントラピクチャの高位階層画像データはノンイントラピクチャの高位階層画像データと非常に良く似ている。従って、例えば動き補償によって差分画像データを取得することなく、高位階層画像データをイントラピクチャとして符号化しようとすると、高位階層画像データではそのデータ成分が基本階層画像データと比較して少ないにもかかわらず、高位階層画像データの符号量が多くなってしまい、その符号化効率が低下してしまうという問題があった。
【0022】
本発明はかかる問題点に鑑みてなされたものであり、その目的は、符号化対象の画像データを複数の階層の画像データに分割し、分割した複数の階層の画像データの中の所定の階層の画像データをイントラピクチャとして符号化する場合に、この所定の階層の画像データの符号化効率を向上させることが可能な画像符号化装置および方法、画像復号装置および方法、ならびに画像処理装置を提供することにある。
【0023】
【課題を解決するための手段】
本発明による画像符号化装置は、符号化対象の画像データを、基本階層画像データと、符号化対象の画像データから基本階層画像データを減じて得られる高位階層画像データとを含む複数の階層の画像データに分割する分割手段と、この分割手段によって分割された複数の階層の画像データの中の高位階層画像データをイントラピクチャとして符号化する場合、高位階層画像データから零以外の参照用データを減じて得られる差分画像データを符号化する符号化手段とを備えている。
【0024】
また、本発明による画像符号化方法は、符号化対象の画像データを、基本階層画像データと、符号化対象の画像データから基本階層画像データを減じて得られる高位階層画像データとを含む複数の階層の画像データに分割するステップと、この符号化対象の画像データから分割された複数の階層の画像データの中の高位階層画像データをイントラピクチャとして符号化する場合、高位階層画像データから零以外の参照用データを減じて得られる差分画像データを符号化するステップとを含んでいる。
【0025】
本発明による画像復号装置は、符号化対象の画像データを、基本階層画像データと、符号化対象の画像データから基本階層画像データを減じて得られる高位階層画像データとを含む複数の階層の画像データに分割して符号化することにより得られた符号化データを復号するものであって、基本階層画像データを符号化することにより得られた第1の符号化データを復号する第1の復号手段と、この第1の符号化データとは異なる第2の符号化データが、高位階層画像データから零以外の参照用データを減じて得られる差分画像データを符号化することにより得られたイントラピクチャの画像データである場合、第2の符号化データを復号する過程で参照用データを加算させることにより、第2の符号化データの復号を行う第2の復号手段とを備えている。
【0026】
また、本発明による画像復号方法は、符号化対象の画像データを、基本階層画像データと、符号化対象の画像データから基本階層画像データを減じて得られる高位階層画像データとを含む複数の階層の画像データに分割して符号化することにより得られた符号化データを復号する方法であって、基本階層画像データを符号化することにより得られた第1の符号化データを復号するステップと、この第1の符号化データとは異なる第2の符号化データが、高位階層画像データから零以外の参照用データを減じて得られる差分画像データを符号化することにより得られたイントラピクチャの画像データである場合、第2の符号化データを復号する過程で参照用データを加算させることにより、第2の符号化データの復号を行うステップとを含んでいる。
【0027】
本発明による画像処理装置は、符号化対象の画像データを、基本階層画像データと、符号化対象の画像データから基本階層画像データを減じて得られる高位階層画像データとを含む複数の階層の画像データに分割し、分割した複数の階層の画像データの中の高位階層画像データをイントラピクチャとして符号化する場合、高位階層画像データから零以外の参照用データを減じて得られる差分画像データを符号化する符号化手段と、この符号化手段によって符号化された高位階層画像データを復号する過程で参照用データを加算させることにより、符号化された高階層画像データの復号を行う復号手段とを備えている。
【0028】
本発明による画像符号化装置または画像符号化方法では、符号化対象の画像データが、基本階層画像データと、符号化対象の画像データから基本階層画像データを減じて得られる高位階層画像データとを含む複数の階層の画像データに分割され、分割された複数の階層の画像データの中の高位階層画像データをイントラピクチャとして符号化する場合、高位階層画像データから零以外の参照用データを減じて得られる差分画像データが符号化される。
【0029】
本発明による画像復号装置または画像復号方法では、基本階層画像データを符号化することにより得られた第1の符号化データが復号され、この第1の符号化データとは異なる第2の符号化データが、高位階層画像データから零以外の参照用データを減じて得られる差分画像データを符号化することにより得られたイントラピクチャの画像データである場合、第2の符号化データを復号する過程で参照用データが加算されることにより、第2の符号化データが復号される。
【0030】
本発明による画像処理装置では、符号化対象の画像データが、基本階層画像データと、符号化対象の画像データから基本階層画像データを減じて得られる高位階層画像データとを含む複数の階層の画像データに分割され、分割された複数の階層の画像データの中の高位階層画像データをイントラピクチャとして符号化する場合、高位階層画像データから零以外の参照用データを減じて得られる差分画像データが符号化される。そして、符号化された高位階層画像データを復号する過程で参照用データが加算されることにより、符号化された高階層画像データが復号される。
【0031】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【0032】
(第1の実施の形態)
図1は本実施の形態に係る画像符号化装置の構成を示し、図2は本実施の形態に係る画像復号装置の構成を示したものである。なお、本実施の形態に係る画像符号化方法および画像復号方法は、本実施の形態に係る画像符号化装置および画像復号装置によって具現化されるので、以下、併せて説明する。
【0033】
本実施の形態の画像処理装置は、図1に示した画像符号化装置と、図2に示した画像復号装置とによって構成される。
【0034】
まず、図1に示した画像符号化装置について説明する。この画像符号化装置は、分割回路1と、符号化回路2、3とを備えている。
【0035】
分割回路1は、画像処理回路1aと、減算回路1bとを含み、符号化対象の画像データとしての入力画像データYYを複数(ここでは2つ)の階層の画像データ(基本階層画像データY1および高位階層画像データY2)に分割するようになっている。この入力画像データYYを空間周波数に関して分割する場合、画像処理回路1aは、例えばLPF回路によって構成される。
【0036】
入力画像データYYは、分割回路1内の画像処理回路1aおよび減算回路1bにそれぞれ供給されるようになっている。画像処理回路1aは、入力画像データYYから、基本的な特徴を有する画像データである基本階層画像データY1を抽出し、抽出した基本階層画像データY1を符号化回路2および減算回路1bにそれぞれ出力するようになっている。
【0037】
減算回路1bは、入力画像データYYから、画像処理回路1aから出力された基本階層画像データY1を減じ、この減算結果である差分画像データを高位階層画像データY2として符号化回路3に出力するようになっている。
【0038】
符号化回路2は、基本階層画像データY1に関して符号化を行うためのものであり、符号化回路171、172と同様に構成され、同様に動作するようになっている。
【0039】
図3は図1に示した符号化回路3の構成を示したものである。符号化回路3は、高位階層画像データY2に関して符号化を行うためのものであり、前処理回路10と、減算回路11と、DCT回路12と、量子化回路13とを含んでいる。前処理回路10は、例えばラスタースキャン形式の画像データを所定の符号化処理の順序に並び換え、並び換えた画像データごとにブロックスキャン形式に変換して複数のブロックデータを得るようになっている。減算回路11は、前処理回路10から出力される画像データ(ブロックデータ)から、例えば後述する予測画像データを減じるようになっている。DCT回路12は、減算回路11から出力される減算結果に関してDCTを行うことによりDCT係数を取得するようになっている。量子化回路13は、DCT回路12から出力されるDCT係数を所定の量子化値に基づいて量子化するようになっている。
【0040】
また、符号化回路3は、逆量子化回路17と、逆DCT回路18と、加算回路19と、フレームメモリ20とを含んでいる。逆量子化回路17は、量子化回路13の出力データに関して逆量子化を行うようになっている。逆DCT回路18は、逆量子化回路17の出力データ(復元されたDCT係数)に関して逆DCTを行うようになっている。加算回路19は、逆DCT回路18の出力データ(画像データ)と予測画像データとを加算するようになっている。フレームメモリ20は、加算回路19の加算結果を参照画像データとして記憶するようになっている。
【0041】
さらに、符号化回路3は、動きベクトル検出回路21と、動き補償回路22と、スイッチ23と、制御回路29とを含んでいる。動きベクトル検出回路21は、前処理回路10から出力される画像データとフレームメモリ20に記憶されている参照画像データとに基づいて、動きベクトルを検出するようになっている。動き補償回路22は、動きベクトル検出回路21によって検出された動きベクトルに基づいて、フレームメモリ20に記憶されている参照画像データに関して動き補償を行い、動き補償のための参照画像データを予測画像データとして発生するようになっている。
【0042】
制御回路29は、前処理回路10から出力された画像データをイントラピクチャとして符号化するかどうかを決定し、この決定結果に応じてスイッチ23を切り換えるようになっている。
【0043】
前処理回路10から出力された画像データをイントラピクチャとして符号化すると制御回路29が決定した場合、スイッチ23は、制御回路29から出力される切り換え信号に応じて、外部から供給される所定値(零(0)ではない)を示す参照用データが減算回路11および加算回路19にそれぞれ出力されるように切り換えられようになっている。この所定値は、画像データの符号化の際にその符号量が最小となるような値である。また、前処理回路10から出力された画像データをノンイントラピクチャとして符号化すると制御回路29が決定した場合、スイッチ23は、制御回路29から出力される切り換え信号に応じて、動き補償回路22において発生した予測画像データが減算回路11および加算回路19にそれぞれ出力されるように切り換えられるようになっている。
【0044】
これにより、減算回路11から出力される減算結果は、画像データをイントラピクチャとして符号化する場合には、参照用データを用いることにより得られる差分画像データとなる。また、この減算結果は、画像データをノンイントラピクチャとして符号化する場合には、予測画像データを用いることにより得られる差分画像データとなる。
【0045】
また、符号化回路3は、可変長符号化回路14と、多重化回路15と、バッファ16と、レート制御回路24とを備えている。可変長符号化回路14は、前処理回路10に入力される画像データのピクチャタイプに応じて区別することなく、すなわち入力される画像データをイントラピクチャとして符号化する場合とノンイントラピクチャとして符号化する場合とで区別することなく、量子化回路13の出力データに関して同一の可変長符号化処理を行うようになっている。
【0046】
多重化回路15は、可変長符号化回路14から出力された符号化データ(DCT係数、量子化回路13の量子化値、およびピクチャタイプなど)、動きベクトル、および所定値を示す参照用データなどを多重化するようになっている。バッファ16は、多重化回路15の出力データを一旦保持し、所定のビットレートでストリームとして出力するようになっている。レート制御回路24は、バッファ16におけるデータ占有状態を監視し、そのデータ占有状態に応じて量子化回路13の量子化値を制御するようになっている。
【0047】
次に、以上のように構成されている画像符号化装置の作用について説明する。
【0048】
図4は図1に示した画像符号化装置による符号化処理を示すフローチャートである。符号化対象の画像データである入力画像データYYが分割回路1に入力されると、ステップB1において、分割回路1は、入力画像データYYを基本階層画像データY1と高位階層画像データY2とに分割する。そして、分割回路1は、基本階層画像データY1を符号化回路2に出力し、高位階層画像データY2を符号化回路3に出力する。
【0049】
ステップB2において、符号化回路2は、従来の符号化回路171、172と同様に動作し、基本階層画像データY1に関して符号化を行う。すなわち、分割回路1から出力された基本階層画像データY1をイントラピクチャとして符号化する場合、符号化回路2は、この基本階層画像データY1に関して符号化を行う。一方、基本階層画像データY1をノンイントラピクチャとして符号化する場合、符号化回路2は、この基本階層画像データY1および予測画像データを用いることにより得られる差分画像データに関して符号化を行う。
【0050】
一方、ステップB3において、符号化回路3は、以下のようにして、分割回路1から出力された高位階層画像データY2に関して符号化を行う。
【0051】
前処理回路10は、入力された高位階層画像データY2を所定の符号化順序に並び換え、並び換えた高位階層画像データY2ごとに複数のブロックデータに変換する。動きベクトル検出回路21は、前処理回路10から出力された高位階層画像データY2とフレームメモリ20に記憶されている参照画像データとに基づいて動きベクトルを検出する。動き補償回路22は、動きベクトル検出回路21によって検出された動きベクトルに基づいて、参照画像データに関して動き補償を行う。
【0052】
高位階層画像データY2をノンイントラピクチャとして符号化すると決定した場合、制御回路29は、動き補償回路22において発生した参照画像データが予測画像データとして減算回路11に供給されるようにスイッチ23を切り換える。
【0053】
一方、高位階層画像データY2をイントラピクチャとして符号化すると決定した場合、制御回路29は、外部から供給された所定値を示す参照用データが減算回路11に供給されるようにスイッチ23を切り換える。
【0054】
減算回路11は、高位階層画像データY2から予測画像データまたは参照用データのいずれか一方を減じ、その減算結果(差分画像データ)をDCT回路12に出力する。DCT回路12は、この減算回路11からの減算結果に関してDCTを行うことによってDCT係数を取得する。量子化回路13は、DCT回路12によって取得されたDCT係数の量子化を行い、量子化したDCT係数を可変長符号化回路14および逆量子化回路17にそれぞれ出力する。レート制御回路24は、バッファ16におけるデータ占有状態を監視し、そのデータ占有状態に応じて量子化回路13の量子化値を制御する。
【0055】
逆量子化回路17は、量子化回路13によって量子化されたDCT係数に関して逆量子化を行う。逆DCT回路18は、逆量子化回路17によって逆量子化されたDCT係数に関して逆DCTを行い、これにより画像データを復元する。加算回路19は、この復元した画像データと、予測画像データまたは参照用データのいずれか一方とを加算する。フレームメモリ20は加算回路19の加算結果を参照画像データとして記憶する。
【0056】
可変長符号化回路14は、高位階層画像データY2のピクチャタイプによることなく、量子化回路13によって量子化されたDCT係数を所定の符号化処理に基づいて符号化する。多重化回路15は、可変長符号化回路14から出力された符号化データ(DCT係数、量子化回路13の量子化値、およびピクチャタイプなど)、動きベクトル、および所定値を示す参照用データなどを多重化する。多重化されたこれらのデータは、バッファ16に一旦保持された後、所定のビットレートでストリームとして出力される。
【0057】
次に、以上のようにして符号化された画像データを復号する画像復号装置について説明する。
【0058】
図2に示した画像復号装置は、復号回路5、6と、加算回路7とを備えている。復号回路5は、符号化された基本階層画像データY1に関するストリームを復号するようになっている。復号回路6は、符号化された高位階層画像データY2に関するストリームを復号するようになっている。加算回路7は、復号回路5によって復号された基本階層画像データY1と、復号回路6によって復号された高位階層画像データY2とを加算し、この加算結果を入力画像データYYとして復元するようになっている。
【0059】
図5は図2に示した復号回路5の構成を示したものである。復号回路5は、バッファ40と、分離回路41と、可変長復号回路42と、逆量子化回路43と、逆DCT回路44とを含んでいる。バッファ40は、符号化された基本階層画像データY1に関するストリームを一旦保持するようになっている。このストリームには、符号化データ(DCT係数、量子化値、およびピクチャタイプ)や動きベクトルなどが含まれている。分離回路41は、バッファ40に保持されているストリームの分離を行うようになっている。可変長復号回路42は、分離回路41によって分離された符号化データに関して可変長復号を行うようになっている。逆量子化回路43は、可変長復号回路42の出力データに関して逆量子化を行うようになっている。逆DCT回路44は、逆量子化回路43の出力データに関して逆DCTを行うようになっている。
【0060】
また、復号回路5は、加算回路45と、フレームメモリ47と、動き補償回路48と、スイッチ49と、判定回路54とを含んでいる。加算回路45は、逆DCT回路44の出力データと予測画像データとを加算するようになっている。フレームメモリ47は、加算回路45の加算結果を参照画像データとして記憶するようになっている。動き補償回路48は、分離回路41によって分離された動きベクトルに基づいて、フレームメモリ47に記憶されている参照画像データに関して動き補償を行い、動き補償のための参照画像データを予測画像データとして発生するようになっている。判定回路54は、分離回路41によって分離されたピクチャタイプ(イントラピクチャまたはノンイントラピクチャ)を判定し、この判定結果に応じてスイッチ49を切り換えるようになっている。
【0061】
符号化されている基本階層画像データY1がイントラピクチャであると判定回路54が判定した場合、スイッチ49は、判定回路54から出力される切り換え信号に応じて、データ「0」が加算回路45に出力されるように切り換えられるようになっている。また、符号化されている基本階層画像データY1がノンイントラピクチャであると判定回路54が判定した場合、スイッチ49は、判定回路54から出力される切り換え信号に応じて、動き補償回路48において発生した予測画像データが加算回路45に出力されるように切り換えられるようになっている。
【0062】
さらに、復号回路5は、加算回路45から供給されたその加算結果であるブロックスキャン形式のブロックデータをラスタースキャン形式の画像データに変換し、変換した画像データを所定の順序に並び換えて出力する後処理回路46を含んでいる。
【0063】
図6は図2に示した復号回路6の構成を示したものである。復号回路6は、符号化されている高位階層画像データY2がイントラピクチャである場合に、バッファ40に保持されるストリームに含まれている所定値を示す参照用データを用いて復号処理を行っている点を除いて、図5に示した復号回路5と同様に構成されており、同様に動作するようになっている。
【0064】
すなわち、符号化されている高位階層画像データY2がイントラピクチャである場合、バッファ40に一旦保持されるストリームには所定値を示す参照用データも含まれている。そこで、分離回路41は、このストリームから参照用データを分離し、分離した参照用データをスイッチ50に供給するようになっている。そして、符号化されている高位階層画像データY2がイントラピクチャであると判定回路54が判定した場合、スイッチ50は、判定回路54から出力される切り換え信号に応じて、分離回路41によって分離された参照用データが加算回路45に出力されるように切り換えられるようになっている。
【0065】
ここで、復号回路5が本発明の「第1の復号手段」の一具体例に対応し、復号回路6が本発明の「第2の復号手段」の一具体例に対応している。
【0066】
次に、以上のように構成されている画像復号装置の作用について説明する。
【0067】
図7は図2に示した画像復号装置による復号処理を示すフローチャートである。符号化されている基本階層画像データY1に関するストリームが供給されると、ステップC1において、復号回路5は、このストリームを復号して基本階層画像データを復元する。すなわち、符号化されている基本階層画像データY1に関するストリームをバッファ40に一旦保持させる。分離回路41は、バッファ40に保持されているストリームの分離を行う。そして、分離回路41は、このストリームから分離した動きベクトルを動き補償回路48に供給するとともに、このストリームから分離した符号化データを可変長復号回路42に供給する。
【0068】
可変長復号回路42は、分離回路41によって分離された符号化データに関して可変長復号を行う。逆量子化回路43は、可変長復号回路42の出力データに関して逆量子化を行う。逆DCT回路44は、逆量子化回路43の出力データに関して逆DCTを行う。
【0069】
符号化されている基本階層画像データY1がイントラピクチャであると判定した場合、判定回路54は、データ「0」が加算回路45に供給されるようにスイッチ49を切り換える。加算回路45は、このデータ「0」と逆DCT回路44の出力データとを加算し、その加算結果を後処理回路46およびフレームメモリ47にそれぞれ供給する。
【0070】
一方、符号化されている基本階層画像データY1がノンイントラピクチャであると判定回路54が判定した場合、動き補償回路48は、分離回路41によって分離された動きベクトルに基づいてフレームメモリ47に記憶されている参照画像データに関して動き補償を行い、動き補償のための参照画像データを予測画像データとして発生する。判定回路54は、動き補償回路48から出力される予測画像データが加算回路45に供給されるようにスイッチ49を切り換える。加算回路45は、動き補償回路48から出力された予測画像データと逆DCT回路44の出力データとを加算し、その加算結果を後処理回路46およびフレームメモリ47にそれぞれ供給する。
【0071】
後処理回路46は、加算回路45から供給されたその加算結果であるブロックスキャン形式のブロックデータをラスタースキャン形式の画像データに変換し、変換した画像データを所定の順序に並び換えて出力する。この出力画像データが復元された基本階層画像データとなる。この基本階層画像データは加算回路7にも供給される。
【0072】
一方、符号化されている高位階層画像データY2に関するストリームが供給されると、ステップC2において、復号回路6は、このストリームを復号して高位階層画像データを復元する。すなわち、符号化されている高位階層画像データY2に関するストリームをバッファ40に一旦保持させる。符号化されている高位階層画像データY2がイントラピクチャである場合、バッファ40に保持されるストリームには所定値を示す参照用データも含まれている。そこで、分離回路41は、この参照用データをストリームから分離し、スイッチ50に供給する。
【0073】
ここで、符号化されている高位階層画像データY2がイントラピクチャであると判定した場合、判定回路54は、参照用データが加算回路45に供給されるようにスイッチ50を切り換える。加算回路45は、この参照用データと逆DCT回路の出力データとを加算する。その他については、復号回路6は、復号回路5と同様に動作して高位階層画像データを復元し、この高位階層画像データを加算回路7に出力する。
【0074】
ステップC3において、加算回路7は、復号回路5から出力された基本階層画像データと復号回路6から出力された高位階層画像データとを加算し、この加算結果を入力画像データとして復元する。
【0075】
以上のように、本実施の形態では、階層符号化方式において分割された複数の階層の画像データの中で例えば高位階層画像データをイントラピクチャとして符号化する場合においても、零以外の参照用データを用いた減算により得られる、データ成分の少ない差分画像データに関して符号化を行っている。従って、高位階層画像データの符号量を削減してその符号化効率を向上でき、これにより、入力画像データ全体の符号化効率を向上させることが可能となる。そして、このようにして符号化されている高位階層画像データに関して、この参照用データに基づいて復号を行っているので、再現性がよい高位階層画像データを得ることができる。
【0076】
(第2の実施の形態)
図8は本実施の形態に係る画像符号化装置の符号化回路の構成を示し、図9は本実施の形態に係る画像復号装置の復号回路の構成を示したものである。本実施の形態の画像符号化装置は、高位階層画像データをイントラピクチャとして符号化する場合に用いる参照用データを予め記憶するようになっている。また、本実施の形態の画像復号装置は、符号化されている高位階層画像データがイントラピクチャである場合において、復号の際に用いる参照用データを予め記憶するようになっている。その他に関しては、第1の実施の形態の場合と同様に構成され、同様に動作するようになっている。
【0077】
なお、本実施の形態に係る画像符号化方法および画像復号方法は、本実施の形態に係る画像符号化装置および画像復号装置によって具現化されるので、以下、併せて説明する。ここで、第1の実施の形態の場合と同一の構成要素には同一の符号を付しており、ここでは、その詳細な説明を省略する。
【0078】
図8に示した符号化回路は、図1に示した符号化回路3に対応するものであり、イントラピクチャ用フレームメモリ25をさらに含み、高位階層画像データに関して符号化を行うようになっている。イントラピクチャ用フレームメモリ25は、高位階層画像データの符号化の際にその符号量が最小となるような値を示す参照用データを予め記憶するようになっている。また、この符号化回路には、スイッチ23の代わりにスイッチ26が設けられている。
【0079】
図8に示した符号化回路において、高位階層画像データをイントラピクチャとして符号化すると決定した場合、制御回路29は、イントラピクチャ用フレームメモリ25に予め記憶されている参照用データが減算回路11に供給されるようにスイッチ26を切り換える。減算回路11は、前処理回路10の出力データ(高位階層画像データ)からこの参照用データを減じることにより差分画像データを取得する。その後、第1の実施の形態の場合と同様にして、この差分画像データに関して符号化を行う。
【0080】
また、図9に示した復号回路は、図1に示した復号回路6に対応するものであり、図5に示した復号回路と比較して、イントラピクチャ用フレームメモリ51をさらに含み、符号化されている高位階層画像データに関して復号を行うようになっている。イントラピクチャ用フレームメモリ51は、図8に示した符号化回路内のイントラピクチャ用フレームメモリ25に記憶されている参照用データと同じ内容の参照用データを予め記憶するようになっている。また、この復号回路には、スイッチ50の代わりにスイッチ52が設けられている。
【0081】
図9に示した復号回路において、符号化されている高位階層画像データがイントラピクチャであると判定した場合、判定回路54は、イントラピクチャ用フレームメモリ51に予め記憶されている参照用データが加算回路45に供給されるようにスイッチ52を切り換える。加算回路45は、この参照用データと逆DCT回路44の出力データとを加算し、その加算結果を後処理回路46およびフレームメモリ47に出力する。後処理回路46は、加算回路45からの加算結果に基づいてイントラピクチャの高位階層画像データを復元する。
【0082】
以上のように、本実施の形態では、高位階層画像データをイントラピクチャとして符号化する場合、符号化回路および復号回路においてそれぞれ予め記憶されている参照用データを用いて高位階層画像データに関する符号化および復号を行っているので、参照用データ自身を符号化回路から復号回路に伝送する手間を省くことができる。
【0083】
本実施の形態では、参照用データを符号化回路および復号回路にそれぞれ予め記憶させるようにしているが、例えば、高位階層画像データを符号化する際に最初にこの参照用データを符号化しておき、符号化されている高位階層画像データを復号する際には符号化された参照用データを最初に復号して復号回路内のイントラピクチャ用フレームメモリに記憶させるようにしてもよい。
【0084】
(第3の実施の形態)
図10は本実施の形態に係る画像符号化装置の符号化回路の構成を示したものである。本実施の形態の画像符号化装置は、高位階層画像データをイントラピクチャとして符号化する場合において、参照用データとして高位階層画像データの平均画素値を計算するようになっている。その他に関しては、第1の実施の形態の場合と同様に構成され、同様に動作するようになっている。
【0085】
なお、本実施の形態に係る画像符号化方法は、本実施の形態に係る画像符号化装置によって具現化されるので、以下、併せて説明する。ここで、第1の実施の形態の場合と同一の構成要素には同一の符号を付しており、ここでは、その詳細な説明を省略する。
【0086】
図10に示した符号化回路は、図1に示した符号化回路3に対応するものであり、図3に示した符号化回路と比較して、前処理回路10の出力データの平均画素値(高位階層画像データの全画素の平均値)を参照用データとして計算する平均画素値計算回路27をさらに含み、高位階層画像データに関して符号化を行うようになっている。また、この符号化回路には、スイッチ23の代わりにスイッチ28が設けられている。
【0087】
図10に示した符号化回路において、高位階層画像データをイントラピクチャとして符号化する場合、平均画素値計算回路27は、前処理回路10の出力データ(高位階層画像データ)の平均画素値を計算する。制御回路29は、平均画素値計算回路27によって計算された平均画素値が減算回路11に供給されるようにスイッチ28を切り換える。減算回路11は、前処理回路10の出力データからこの平均画素値を減じることにより、差分画像データを取得する。そして、第1の実施の形態の場合と同様に、この差分画像データに関して符号化を行う。
【0088】
また、平均画素値計算回路27は、計算した平均画素値を多重化回路15に出力する。多重化回路15は、高位階層画像データの符号化データなどとともに、この平均画素値を多重化して出力する。
【0089】
このようにして符号化されている高位階層画像データに関しては、図6に示した復号回路によって復号を行う。この場合、分離回路53は、バッファ40に保持されているストリームから平均画素値を分離し、分離した平均画素値をスイッチ50に供給する。これにより、符号化されているイントラピクチャの高位階層画像データの復号の際にこの平均画素値を用いることができる。
【0090】
以上のように、本実施の形態では、高位階層画像データをイントラピクチャとして符号化する場合、その平均画素値を計算して用いるとともに、計算した画素平均値を多重化して出力している。従って、画像データの性質に応じて、最適にそのデータ量を少なくして符号化を行うことができる。そして、符号化されている高位階層画像データがイントラピクチャである場合、多重化して出力された平均画素値を用いてこの高位階層画像データに関する復号を行っている。従って、平均画素値を参照用データとして予め準備しておく手間を省くことができる。
【0091】
以上、本発明のいくつかの実施の形態について説明したが、本発明は上記の実施の形態に限定されることなく、種々の変形が可能である。
【0092】
例えば、本発明では、階層符号化方式において、符号化対象の画像データを複数の階層の画像データ(基本階層画像データおよび高位階層画像データ)に分割し、高位階層画像データをイントラピクチャとして符号化する場合には、参照用データを用いて高位階層画像データに関して符号化を行っている。しかし、データ成分が少ない画像データをイントラピクチャとして符号化する場合にも、このような参照用データを用いれば、その符号化効率を向上させることが可能となる。
【0093】
また、本発明では、符号化対象の画像データを異なる周波数成分ごとに分けた階層の画像データに関して符号化を行っているが、例えば、色成分ごとに分けた階層の画像データに関して符号化を行うようにしてもよい。
【0094】
【発明の効果】
以上説明したように、請求項1からのいずれか1項に記載の画像符号化装置、または請求項に記載の画像符号化方法によれば、符号化対象の画像データを、基本階層画像データと、符号化対象の画像データから基本階層画像データを減じて得られる高位階層画像データとを含む複数の階層の画像データに分割し、分割した複数の階層の画像データの中の高位階層画像データをイントラピクチャとして符号化する場合、高位階層画像データから零以外の参照用データを減じて得られる差分画像データを符号化するようにしたので、この高位階層画像データの符号化効率を向上させることができるという効果を奏する。
【0095】
また、請求項6から9のいずれか1項に記載の画像復号装置または請求項10に記載の画像復号方法によれば、符号化対象の画像データが、基本階層画像データと、符号化対象の画像データから基本階層画像データを減じて得られる高位階層画像データとを含む複数の階層の画像データに分割して符号化されている場合、基本階層画像データを符号化することにより得られた第1の符号化データを復号するとともに、この第1の符号化データとは異なる第2の符号化データが、高位階層画像データから零以外の参照用データを減じて得られる差分画像データを符号化することにより得られたイントラピクチャの画像データである場合には、第2の符号化データを復号する過程で参照用データを加算させることにより第2の符号化データの復号を行うようにしたので、この第2の符号データから再現性のよい画像データを得ることができるという効果を奏する。
【0096】
また、請求項11から14のいずれか1項に記載の画像処理装置によれば、符号化対象の画像データを、基本階層画像データと、符号化対象の画像データから基本階層画像データを減じて得られる高位階層画像データとを含む複数の階層の画像データに分割し、分割した複数の階層の画像データの中の高位階層画像データをイントラピクチャとして符号化する場合には、高位階層画像データから零以外の参照用データを減じて得られる差分画像データを符号化するとともに、符号化された高位階層画像データを復号する過程で参照用データを加算させることにより、符号化された高階層画像データの復号を行うようにしたので、高位階層画像データの符号化効率を向上させることができるとともに、再現性のよい高位階層画像データを得ることができるという効果を奏する。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る階層符号化方式の画像符号化装置の構成を示すブロック図である。
【図2】本発明の第1の実施の形態に係る階層符号化方式の画像復号装置の構成を示すブロック図である。
【図3】図1に示した符号化回路の構成を示すブロック図である。
【図4】図1に示した画像符号化装置による符号化処理を示すフローチャートである。
【図5】図2に示した復号回路の構成を示すブロック図である。
【図6】図2に示した復号回路の構成を示すブロック図である。
【図7】図2に示した画像復号装置による復号処理を示すフローチャートである。
【図8】本発明の第2の実施の形態に係る画像符号化装置の符号化回路の構成を示すブロック図である。
【図9】本発明の第2の実施の形態に係る画像復号装置の復号回路の構成を示すブロック図である。
【図10】本発明の第3の実施の形態に係る画像符号化装置の符号化回路の構成を示すブロック図である。
【図11】従来の階層符号化方式の画像符号化装置の構成を示すブロック図である。
【図12】図11に示した符号化回路の構成を示すブロック図である。
【図13】図12に示した可変長符号化回路による符号化処理を示すフローチャートである。
【符号の説明】
1…分割回路、1a…画像処理回路、1b,11…減算回路、2,3…符号化回路、5,6…復号回路、7,19,45…加算回路、10…前処理回路、12…DCT回路、13…量子化回路、14…可変長符号化回路、15…多重化回路、16,40…バッファ、17,43…逆量子化回路、18,44…逆DCT回路、20,47…フレームメモリ、21…動きベクトル検出回路、22,48…動き補償回路、23,26,28,49,50,52…スイッチ、24…レート制御回路、25,51…イントラピクチャ用フレームメモリ、27…平均画素値計算回路、29…制御回路、41、53…分離回路、42…可変長復号回路、46…後処理回路、54…判定回路。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image encoding apparatus and method for compressing and encoding image data, an image decoding apparatus and method for decoding compressed and encoded image data, and an image processing apparatus including the image encoding apparatus and the image decoding apparatus About.
[0002]
[Prior art]
Conventionally, as an image encoding method for compressing and encoding image data, there is a bidirectional predictive encoding method adopted in the MPEG (Moving Picture Experts Group) standard. In this bidirectional predictive encoding method, three types of encoding are performed: intra-frame encoding, inter-frame forward predictive encoding, and bidirectional predictive encoding, and in response to these encodings, Three types of image types are defined: I (Intra) picture, P (Predictive) picture, and B (Bidirectionally predictive) picture. Note that the P picture and the B picture are also called a non-intra picture or an inter picture.
[0003]
When encoding image data to be encoded as an intra picture, for example, the image data is encoded in the same frame (or field). On the other hand, when encoding image data to be encoded as a non-intra picture, encoding is performed on difference image data obtained by referring to a past frame or a future frame.
[0004]
Further, for example, there is a hierarchical encoding method as an encoding method for improving image quality in stages. In this hierarchical encoding method, image data to be encoded is divided into a plurality of hierarchical image data, and encoding is performed on the divided hierarchical image data. Here, the image data of each layer is, for example, image data divided for different frequency components.
[0005]
FIG. 11 shows the configuration of such a hierarchical encoding scheme image encoding apparatus. This image encoding device includes a dividing circuit 170 and encoding circuits 171 and 172. The dividing circuit 170 is used to divide the input image data XX as image data to be encoded into a plurality of (here, two) layers of image data (basic layer image data X1 and higher layer image data X2). is there. The encoding circuit 171 is for encoding the base layer image data X1 output from the dividing circuit 170. The encoding circuit 172 is for encoding the high-level image data X2 output from the dividing circuit 170. As will be described later, the encoding circuits 171 and 172 have the same configuration and operate in the same manner.
[0006]
The dividing circuit 170 includes an image processing circuit 170a and a subtraction circuit 170b. The image processing circuit 170a is for extracting basic layer image data X1, which is image data having basic characteristics, from the input image data XX. The subtraction circuit 170b is for subtracting the base layer image data X1 from the input image data XX. Here, the basic layer image data is image data that can be viewed as a normal image. For example, in terms of the spatial frequency of an image, it is image data having a low frequency component. Further, the higher hierarchy image data is, for example, image data for obtaining a high-quality image, and is image data having a high frequency component. When the input image data XX is divided with respect to the spatial frequency, the image processing circuit 170a is configured by, for example, an LPF (Low Pass Filter) circuit.
[0007]
The input image data XX is supplied to the image processing circuit 170a and the subtraction circuit 170b in the dividing circuit 170, respectively. The image processing circuit 170a extracts the basic layer image data X1 from the input image data XX, and outputs the extracted basic layer image data X1 to the encoding circuit 171 and the subtraction circuit 170b, respectively.
[0008]
The subtraction circuit 170b subtracts the base layer image data X1 output from the image processing circuit 170a from the input image data XX, and outputs the difference image data as the subtraction result to the encoding circuit 172 as higher layer image data X2. It is like that.
[0009]
FIG. 12 shows the configuration of the encoding circuits 171 and 172 shown in FIG. The encoding circuits 171 and 172 have the same configuration as described above except that the input image data to be encoded is different and is the basic layer image data X1 or the higher layer image data X2. And operate in the same manner.
[0010]
The coding circuit shown in FIG. 12 includes a preprocessing circuit 151, a subtraction circuit 152, a DCT (Discrete Cosine Transform) circuit 153, and a quantization circuit 154. For example, the preprocessing circuit 151 rearranges raster scan format image data in a predetermined encoding processing order, converts the rearranged image data into a block scan format, and converts the image data of a plurality of macroblocks (hereinafter referred to as block data). Data). The subtraction circuit 152 is for subtracting, for example, predicted image data described later from the image data (block data) output from the preprocessing circuit 151. The DCT circuit 153 is for converting image data into frequency components, and is for acquiring DCT coefficients by performing DCT on the subtraction result output from the subtraction circuit 151. The quantization circuit 154 is for quantizing the DCT coefficient output from the DCT circuit 153 based on a predetermined quantization value.
[0011]
The encoding circuit includes an inverse quantization circuit 158, an inverse DCT circuit 159, an adder circuit 160, and a frame memory 161. The inverse quantization circuit 158 is for inversely quantizing the output data of the quantization circuit 154. The inverse DCT circuit 159 is for performing inverse DCT on the output data (reconstructed DCT coefficient) of the inverse quantization circuit 158. The adder circuit 160 is for adding the output data (image data) of the inverse DCT circuit 159 and the predicted image data. The frame memory 161 is for storing the addition result of the addition circuit 160 as reference image data.
[0012]
Further, this encoding circuit includes a motion compensation circuit 162, a motion vector detection circuit 163, a switch 164, and a control circuit 166. The motion vector detection circuit 163 is for detecting a motion vector based on the image data output from the preprocessing circuit 151 and the reference image data stored in the frame memory 161. The motion compensation circuit 162 performs motion compensation on the reference image data stored in the frame memory 161 based on the motion vector detected by the motion vector detection circuit 163, and uses the reference image data for motion compensation as predicted image data. Is to occur as
[0013]
The control circuit 166 determines whether to encode the image data output from the preprocessing circuit 151 as an intra picture, and switches the switch 164 according to the determination result.
[0014]
When the control circuit 166 determines that the image data output from the preprocessing circuit 151 is to be encoded as an intra picture, the switch 164 causes the data “0” to be subtracted from the subtraction circuit 152 in accordance with the switching signal output from the control circuit 166. And are switched so as to be output to the adder circuit 160, respectively. In addition, when the control circuit 166 determines that the image data output from the preprocessing circuit 151 is to be encoded as a non-intra picture, the switch 164 is changed in the motion compensation circuit 162 according to the switching signal output from the control circuit 166. The generated predicted image data is switched so as to be output to the subtraction circuit 152 and the addition circuit 160, respectively.
[0015]
Thereby, the subtraction result output from the subtraction circuit 152 is the image data itself when the image data is encoded as an intra picture. The subtraction result is difference image data obtained by using predicted image data when the image data is encoded as a non-intra picture.
[0016]
In addition, the encoding circuit includes a variable length encoding circuit 155, a multiplexing circuit 156, a buffer 157, and a rate control circuit 165. The variable length coding circuit 155 is for performing variable length coding on the output data of the quantization circuit 154. The multiplexing circuit 156 is for multiplexing the encoded data (DCT coefficient, quantization value of the quantization circuit 154, picture type, etc.) output from the variable length coding circuit 155, motion vectors, and the like. . The buffer 157 temporarily holds the output data of the multiplexing circuit 156 and outputs it as a stream at a predetermined bit rate. The rate control circuit 165 is for monitoring the data occupation state in the buffer 157 and controlling the quantization value of the quantization circuit 154 in accordance with the data occupation state.
[0017]
FIG. 13 is a flowchart showing an encoding process in the variable length encoding circuit 155 shown in FIG. As shown in FIG. 13, in step A1, a picture type relating to data (block data and quantized DCT coefficients) input to the variable length coding circuit 155 is determined. If it is determined that the input data is related to a non-intra picture, in step A2, an encoding process is performed using a preset non-intra picture encoding table (encoding process 3).
[0018]
On the other hand, when it is determined in step A1 that the input data relates to an intra picture, in step A3, the DCT coefficient type in the input data is determined. This is because the DCT coefficient in each block data includes a DC (Direct Current) coefficient that does not change in the block data and an AC (Alternate Current) coefficient that changes in the block data. This is because the encoding process is performed independently.
[0019]
If it is determined in step A3 that the DCT coefficient type is a DC coefficient, in step A4, encoding is performed using a DC coefficient coding table that is set in advance with respect to the DC coefficient difference value between adjacent block data. Processing is performed (encoding processing 1). On the other hand, when it is determined that the DCT coefficient type is an AC coefficient, in step A5, an encoding process is performed using a preset AC coefficient encoding table (encoding process 2).
[0020]
In the image coding apparatus of the hierarchical coding system configured as described above, when image data input to the coding circuits 171 and 172 is coded as an intra picture, for example, motion compensation is performed on such image data. Was not done. This is because the characteristics of the image are greatly different between when image data is encoded as a non-intra picture and when encoded as an intra picture. Therefore, unlike the case of a non-intra picture that encodes difference image data with few data components, in the case of an intra picture, the input image data itself is encoded.
[0021]
[Problems to be solved by the invention]
By the way, in the encoding circuits 171 and 172, input image data (basic layer image data and higher layer image data) is not separately encoded. However, since the higher layer image data is difference image data indicating the difference between the input image data and the basic layer image data, in terms of the nature of the image, the higher layer image data of the intra picture is the higher layer image of the non-intra picture. Very similar to image data. Therefore, for example, if high-order layer image data is to be encoded as an intra picture without acquiring difference image data by motion compensation, the high-order layer image data has fewer data components than the base layer image data. However, there is a problem that the code amount of the higher layer image data is increased and the encoding efficiency is lowered.
[0022]
The present invention has been made in view of such problems, and an object of the present invention is to divide image data to be encoded into image data of a plurality of hierarchies, and to determine a predetermined hierarchy among the divided image data of the plurality of hierarchies. An image encoding device and method, an image decoding device and method, and an image processing device capable of improving the encoding efficiency of image data of a predetermined layer when encoding the image data as an intra picture are provided. There is to do.
[0023]
[Means for Solving the Problems]
  An image encoding device according to the present invention converts image data to be encoded., Including basic hierarchical image data and higher hierarchical image data obtained by subtracting basic hierarchical image data from encoding target image dataDividing means for dividing the image data into a plurality of hierarchies, and the image data of the plurality of hierarchies divided by the dividing meansHigh-level image dataIs encoded as an intra picture,Encode differential image data obtained by subtracting non-zero reference data from high-order hierarchical image dataEncoding means.
[0024]
  In addition, the image encoding method according to the present invention provides image data to be encoded., Including basic hierarchical image data and higher hierarchical image data obtained by subtracting basic hierarchical image data from encoding target image dataA step of dividing the image data into a plurality of hierarchies, and a plurality of hierarchies of image data divided from the image data to be encodedHigh-level image dataIs encoded as an intra picture,Encode differential image data obtained by subtracting non-zero reference data from high-order hierarchical image dataSteps.
[0025]
  An image decoding apparatus according to the present invention includes:The image data to be encoded is divided and encoded into image data of a plurality of layers including basic layer image data and high-level image data obtained by subtracting the basic layer image data from the image data to be encoded. Is obtained by decoding the base layer image data.First decoding means for decoding the first encoded data, and second encoded data different from the first encoded data areObtained by encoding difference image data obtained by subtracting non-zero reference data from high-level image dataIf the image data is an intra picture,The second encoded data is decoded by adding the reference data in the process of decoding the second encoded data.Second decoding means.
[0026]
  The image decoding method according to the present invention includes:The image data to be encoded is divided and encoded into image data of a plurality of layers including basic layer image data and high-level image data obtained by subtracting the basic layer image data from the image data to be encoded. Is a method for decoding encoded data obtained by encoding the basic layer image data.A step of decoding the first encoded data and a second encoded data different from the first encoded dataObtained by encoding difference image data obtained by subtracting non-zero reference data from high-level image dataIf the image data is an intra picture,The second encoded data is decoded by adding the reference data in the process of decoding the second encoded data.Steps.
[0027]
  An image processing apparatus according to the present invention stores image data to be encoded., Including basic hierarchical image data and higher hierarchical image data obtained by subtracting basic hierarchical image data from encoding target image dataDivide into multiple levels of image data, and the divided multiple levels of image dataHigh-level image dataIs encoded as an intra picture,Encode differential image data obtained by subtracting non-zero reference data from high-order hierarchical image dataEncoding means and encoded by this encoding meansThe encoded high-level image data is decoded by adding the reference data in the process of decoding the high-level image data.Decoding means.
[0028]
  In the image encoding device or the image encoding method according to the present invention, the image data to be encoded is, Including basic hierarchical image data and higher hierarchical image data obtained by subtracting basic hierarchical image data from encoding target image dataThe image data is divided into multiple levels of image data.High-level image dataIs encoded as an intra picture,Difference image data obtained by subtracting non-zero reference data from high-order hierarchical image data is encoded.
[0029]
  In the image decoding apparatus or the image decoding method according to the present invention,Obtained by encoding base layer image dataThe first encoded data is decoded, and second encoded data different from the first encoded data isObtained by encoding difference image data obtained by subtracting non-zero reference data from high-level image dataIf the image data is an intra picture,By adding the reference data in the process of decoding the second encoded data, the second encoded data is decoded.
[0030]
  In the image processing apparatus according to the present invention, the image data to be encodedIncludes the basic layer image data and the higher layer image data obtained by subtracting the base layer image data from the image data to be encoded.The image data is divided into multiple levels of image data.High-level image dataIs encoded as an intra picture,Difference image data obtained by subtracting non-zero reference data from high-order hierarchical image data is encoded.And encodedBy adding the reference data in the process of decoding the higher layer image data, the encoded higher layer image data is decoded.
[0031]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0032]
(First embodiment)
FIG. 1 shows a configuration of an image encoding device according to the present embodiment, and FIG. 2 shows a configuration of an image decoding device according to the present embodiment. The image encoding method and the image decoding method according to the present embodiment are embodied by the image encoding device and the image decoding device according to the present embodiment, and will be described below.
[0033]
The image processing apparatus according to the present embodiment includes the image encoding apparatus shown in FIG. 1 and the image decoding apparatus shown in FIG.
[0034]
First, the image coding apparatus shown in FIG. 1 will be described. This image encoding apparatus includes a dividing circuit 1 and encoding circuits 2 and 3.
[0035]
The dividing circuit 1 includes an image processing circuit 1a and a subtracting circuit 1b, and the input image data YY as image data to be encoded is converted into a plurality (here, two) of image data (basic layer image data Y1 and The image data is divided into higher hierarchy image data Y2). When the input image data YY is divided with respect to the spatial frequency, the image processing circuit 1a is configured by, for example, an LPF circuit.
[0036]
The input image data YY is supplied to the image processing circuit 1a and the subtraction circuit 1b in the dividing circuit 1, respectively. The image processing circuit 1a extracts basic layer image data Y1, which is image data having basic characteristics, from the input image data YY, and outputs the extracted basic layer image data Y1 to the encoding circuit 2 and the subtraction circuit 1b, respectively. It is supposed to do.
[0037]
The subtraction circuit 1b subtracts the basic layer image data Y1 output from the image processing circuit 1a from the input image data YY, and outputs the difference image data as the subtraction result to the encoding circuit 3 as higher layer image data Y2. It has become.
[0038]
The encoding circuit 2 is for encoding the base layer image data Y1, is configured in the same manner as the encoding circuits 171 and 172, and operates similarly.
[0039]
FIG. 3 shows the configuration of the encoding circuit 3 shown in FIG. The encoding circuit 3 is for encoding the high-order hierarchical image data Y2, and includes a preprocessing circuit 10, a subtraction circuit 11, a DCT circuit 12, and a quantization circuit 13. For example, the preprocessing circuit 10 rearranges raster scan format image data in a predetermined encoding processing order, and converts each rearranged image data into a block scan format to obtain a plurality of block data. . The subtraction circuit 11 subtracts, for example, predicted image data described later from the image data (block data) output from the preprocessing circuit 10. The DCT circuit 12 obtains a DCT coefficient by performing DCT on the subtraction result output from the subtraction circuit 11. The quantization circuit 13 quantizes the DCT coefficient output from the DCT circuit 12 based on a predetermined quantization value.
[0040]
The encoding circuit 3 includes an inverse quantization circuit 17, an inverse DCT circuit 18, an adder circuit 19, and a frame memory 20. The inverse quantization circuit 17 performs inverse quantization on the output data of the quantization circuit 13. The inverse DCT circuit 18 performs inverse DCT on the output data (reconstructed DCT coefficient) of the inverse quantization circuit 17. The adding circuit 19 adds the output data (image data) of the inverse DCT circuit 18 and the predicted image data. The frame memory 20 stores the addition result of the addition circuit 19 as reference image data.
[0041]
Further, the encoding circuit 3 includes a motion vector detection circuit 21, a motion compensation circuit 22, a switch 23, and a control circuit 29. The motion vector detection circuit 21 detects a motion vector based on the image data output from the preprocessing circuit 10 and the reference image data stored in the frame memory 20. The motion compensation circuit 22 performs motion compensation on the reference image data stored in the frame memory 20 based on the motion vector detected by the motion vector detection circuit 21, and uses the reference image data for motion compensation as predicted image data. Is supposed to occur.
[0042]
The control circuit 29 determines whether or not to encode the image data output from the preprocessing circuit 10 as an intra picture, and switches the switch 23 according to the determination result.
[0043]
When the control circuit 29 determines that the image data output from the preprocessing circuit 10 is to be encoded as an intra picture, the switch 23 responds to a switching signal output from the control circuit 29 and receives a predetermined value ( Reference data indicating zero (not zero) is switched so as to be output to the subtracting circuit 11 and the adding circuit 19, respectively. This predetermined value is a value that minimizes the code amount when encoding image data. In addition, when the control circuit 29 determines that the image data output from the preprocessing circuit 10 is to be encoded as a non-intra picture, the switch 23 operates in the motion compensation circuit 22 in accordance with the switching signal output from the control circuit 29. The generated predicted image data is switched so as to be output to the subtraction circuit 11 and the addition circuit 19, respectively.
[0044]
Thereby, the subtraction result output from the subtraction circuit 11 becomes differential image data obtained by using the reference data when the image data is encoded as an intra picture. The subtraction result is difference image data obtained by using predicted image data when the image data is encoded as a non-intra picture.
[0045]
The encoding circuit 3 includes a variable length encoding circuit 14, a multiplexing circuit 15, a buffer 16, and a rate control circuit 24. The variable length encoding circuit 14 does not distinguish between the image data input to the preprocessing circuit 10 according to the picture type, that is, the input image data is encoded as an intra picture and is encoded as a non-intra picture. The same variable length encoding process is performed on the output data of the quantization circuit 13 without distinction between the case and the case.
[0046]
The multiplexing circuit 15 includes encoded data (such as DCT coefficients, quantization values of the quantization circuit 13 and picture type) output from the variable-length encoding circuit 14, motion vectors, reference data indicating predetermined values, and the like. Are to be multiplexed. The buffer 16 temporarily holds the output data of the multiplexing circuit 15 and outputs it as a stream at a predetermined bit rate. The rate control circuit 24 monitors the data occupation state in the buffer 16 and controls the quantization value of the quantization circuit 13 according to the data occupation state.
[0047]
Next, the operation of the image coding apparatus configured as described above will be described.
[0048]
FIG. 4 is a flowchart showing an encoding process by the image encoding apparatus shown in FIG. When input image data YY that is image data to be encoded is input to the dividing circuit 1, in step B1, the dividing circuit 1 divides the input image data YY into basic layer image data Y1 and higher layer image data Y2. To do. Then, the dividing circuit 1 outputs the basic layer image data Y1 to the encoding circuit 2, and outputs the higher layer image data Y2 to the encoding circuit 3.
[0049]
In step B2, the encoding circuit 2 operates in the same manner as the conventional encoding circuits 171 and 172, and encodes the base layer image data Y1. That is, when the base layer image data Y1 output from the dividing circuit 1 is encoded as an intra picture, the encoding circuit 2 performs encoding on the base layer image data Y1. On the other hand, when the base layer image data Y1 is encoded as a non-intra picture, the encoding circuit 2 performs encoding on the difference image data obtained by using the base layer image data Y1 and the predicted image data.
[0050]
On the other hand, in step B3, the encoding circuit 3 performs encoding on the higher layer image data Y2 output from the dividing circuit 1 as follows.
[0051]
The preprocessing circuit 10 rearranges the input higher layer image data Y2 in a predetermined encoding order, and converts the rearranged higher layer image data Y2 into a plurality of block data. The motion vector detection circuit 21 detects a motion vector based on the higher layer image data Y2 output from the preprocessing circuit 10 and the reference image data stored in the frame memory 20. The motion compensation circuit 22 performs motion compensation on the reference image data based on the motion vector detected by the motion vector detection circuit 21.
[0052]
When it is determined that the higher hierarchy image data Y2 is to be encoded as a non-intra picture, the control circuit 29 switches the switch 23 so that the reference image data generated in the motion compensation circuit 22 is supplied to the subtraction circuit 11 as predicted image data. .
[0053]
On the other hand, when it is determined that the higher hierarchy image data Y2 is to be encoded as an intra picture, the control circuit 29 switches the switch 23 so that reference data indicating a predetermined value supplied from the outside is supplied to the subtraction circuit 11.
[0054]
The subtraction circuit 11 subtracts either the predicted image data or the reference data from the high-order hierarchical image data Y2, and outputs the subtraction result (difference image data) to the DCT circuit 12. The DCT circuit 12 obtains a DCT coefficient by performing DCT on the subtraction result from the subtraction circuit 11. The quantization circuit 13 quantizes the DCT coefficient acquired by the DCT circuit 12, and outputs the quantized DCT coefficient to the variable length coding circuit 14 and the inverse quantization circuit 17, respectively. The rate control circuit 24 monitors the data occupation state in the buffer 16 and controls the quantization value of the quantization circuit 13 according to the data occupation state.
[0055]
The inverse quantization circuit 17 performs inverse quantization on the DCT coefficient quantized by the quantization circuit 13. The inverse DCT circuit 18 performs inverse DCT on the DCT coefficients inversely quantized by the inverse quantization circuit 17, thereby restoring the image data. The adding circuit 19 adds the restored image data and either the predicted image data or the reference data. The frame memory 20 stores the addition result of the addition circuit 19 as reference image data.
[0056]
The variable length encoding circuit 14 encodes the DCT coefficient quantized by the quantization circuit 13 based on a predetermined encoding process, regardless of the picture type of the higher layer image data Y2. The multiplexing circuit 15 includes encoded data (such as DCT coefficients, quantization values of the quantization circuit 13 and picture type) output from the variable-length encoding circuit 14, motion vectors, reference data indicating predetermined values, and the like. Is multiplexed. These multiplexed data are once held in the buffer 16 and then output as a stream at a predetermined bit rate.
[0057]
Next, an image decoding apparatus that decodes the image data encoded as described above will be described.
[0058]
The image decoding apparatus shown in FIG. 2 includes decoding circuits 5 and 6 and an adding circuit 7. The decoding circuit 5 decodes a stream related to the encoded base layer image data Y1. The decoding circuit 6 is adapted to decode a stream related to the encoded higher layer image data Y2. The adder circuit 7 adds the base layer image data Y1 decoded by the decoder circuit 5 and the higher layer image data Y2 decoded by the decoder circuit 6, and restores the addition result as input image data YY. ing.
[0059]
FIG. 5 shows the configuration of the decoding circuit 5 shown in FIG. The decoding circuit 5 includes a buffer 40, a separation circuit 41, a variable length decoding circuit 42, an inverse quantization circuit 43, and an inverse DCT circuit 44. The buffer 40 temporarily holds a stream related to the encoded basic layer image data Y1. This stream includes encoded data (DCT coefficients, quantized values, and picture types), motion vectors, and the like. The separation circuit 41 is configured to separate streams held in the buffer 40. The variable length decoding circuit 42 performs variable length decoding on the encoded data separated by the separation circuit 41. The inverse quantization circuit 43 performs inverse quantization on the output data of the variable length decoding circuit 42. The inverse DCT circuit 44 performs inverse DCT on the output data of the inverse quantization circuit 43.
[0060]
The decoding circuit 5 includes an addition circuit 45, a frame memory 47, a motion compensation circuit 48, a switch 49, and a determination circuit 54. The adder circuit 45 adds the output data of the inverse DCT circuit 44 and the predicted image data. The frame memory 47 stores the addition result of the addition circuit 45 as reference image data. The motion compensation circuit 48 performs motion compensation on the reference image data stored in the frame memory 47 based on the motion vector separated by the separation circuit 41, and generates reference image data for motion compensation as predicted image data. It is supposed to be. The determination circuit 54 determines the picture type (intra picture or non-intra picture) separated by the separation circuit 41, and switches the switch 49 according to the determination result.
[0061]
When the determination circuit 54 determines that the encoded base layer image data Y1 is an intra picture, the switch 49 sets the data “0” to the addition circuit 45 in accordance with the switching signal output from the determination circuit 54. It can be switched to output. When the determination circuit 54 determines that the encoded base layer image data Y1 is a non-intra picture, the switch 49 is generated in the motion compensation circuit 48 in response to the switching signal output from the determination circuit 54. The predicted image data is switched so as to be output to the adding circuit 45.
[0062]
Further, the decoding circuit 5 converts the block scan format block data supplied from the addition circuit 45 into the raster scan format image data, rearranges the converted image data in a predetermined order, and outputs the data. A post-processing circuit 46 is included.
[0063]
FIG. 6 shows the configuration of the decoding circuit 6 shown in FIG. When the encoded higher layer image data Y2 is an intra picture, the decoding circuit 6 performs a decoding process using reference data indicating a predetermined value included in the stream held in the buffer 40. Except for this point, it is configured similarly to the decoding circuit 5 shown in FIG. 5 and operates in the same manner.
[0064]
That is, when the encoded higher layer image data Y2 is an intra picture, the stream temporarily held in the buffer 40 includes reference data indicating a predetermined value. Therefore, the separation circuit 41 separates the reference data from this stream and supplies the separated reference data to the switch 50. When the determination circuit 54 determines that the encoded higher-level image data Y2 is an intra picture, the switch 50 is separated by the separation circuit 41 in accordance with the switching signal output from the determination circuit 54. The reference data is switched so as to be output to the adder circuit 45.
[0065]
Here, the decoding circuit 5 corresponds to a specific example of “first decoding means” of the present invention, and the decoding circuit 6 corresponds to a specific example of “second decoding means” of the present invention.
[0066]
Next, the operation of the image decoding apparatus configured as described above will be described.
[0067]
FIG. 7 is a flowchart showing a decoding process by the image decoding apparatus shown in FIG. When the stream related to the encoded base layer image data Y1 is supplied, in step C1, the decoding circuit 5 decodes the stream to restore the base layer image data. That is, the buffer 40 temporarily holds a stream related to the encoded base layer image data Y1. The separation circuit 41 separates the streams held in the buffer 40. Then, the separation circuit 41 supplies the motion vector separated from the stream to the motion compensation circuit 48 and supplies the encoded data separated from the stream to the variable length decoding circuit 42.
[0068]
The variable length decoding circuit 42 performs variable length decoding on the encoded data separated by the separation circuit 41. The inverse quantization circuit 43 performs inverse quantization on the output data of the variable length decoding circuit 42. The inverse DCT circuit 44 performs inverse DCT on the output data of the inverse quantization circuit 43.
[0069]
When it is determined that the encoded base layer image data Y1 is an intra picture, the determination circuit 54 switches the switch 49 so that the data “0” is supplied to the addition circuit 45. The adder circuit 45 adds the data “0” and the output data of the inverse DCT circuit 44 and supplies the addition result to the post-processing circuit 46 and the frame memory 47, respectively.
[0070]
On the other hand, when the determination circuit 54 determines that the encoded base layer image data Y1 is a non-intra picture, the motion compensation circuit 48 stores it in the frame memory 47 based on the motion vector separated by the separation circuit 41. Motion compensation is performed on the reference image data that has been processed, and reference image data for motion compensation is generated as predicted image data. The determination circuit 54 switches the switch 49 so that the predicted image data output from the motion compensation circuit 48 is supplied to the addition circuit 45. The adder circuit 45 adds the predicted image data output from the motion compensation circuit 48 and the output data of the inverse DCT circuit 44, and supplies the addition result to the post-processing circuit 46 and the frame memory 47, respectively.
[0071]
The post-processing circuit 46 converts the block scan format block data, which is the addition result supplied from the addition circuit 45, into raster scan format image data, and outputs the converted image data in a predetermined order. This output image data becomes the restored basic layer image data. This basic layer image data is also supplied to the adder circuit 7.
[0072]
On the other hand, when a stream related to the encoded higher layer image data Y2 is supplied, in step C2, the decoding circuit 6 decodes the stream to restore the higher layer image data. That is, the buffer 40 temporarily holds a stream related to the encoded higher hierarchical image data Y2. When the encoded higher layer image data Y2 is an intra picture, the stream held in the buffer 40 includes reference data indicating a predetermined value. Therefore, the separation circuit 41 separates this reference data from the stream and supplies it to the switch 50.
[0073]
Here, when it is determined that the encoded higher layer image data Y2 is an intra picture, the determination circuit 54 switches the switch 50 so that the reference data is supplied to the addition circuit 45. The adder circuit 45 adds the reference data and the output data of the inverse DCT circuit. In other respects, the decoding circuit 6 operates in the same manner as the decoding circuit 5 to restore the higher layer image data and outputs the higher layer image data to the addition circuit 7.
[0074]
In step C3, the adding circuit 7 adds the basic layer image data output from the decoding circuit 5 and the higher layer image data output from the decoding circuit 6, and restores the addition result as input image data.
[0075]
As described above, in the present embodiment, reference data other than zero is used even when, for example, higher-layer image data is encoded as an intra picture among image data of a plurality of layers divided in the hierarchical encoding method. Encoding is performed on difference image data having a small data component obtained by subtraction using. Therefore, it is possible to improve the coding efficiency by reducing the code amount of the higher layer image data, thereby improving the coding efficiency of the entire input image data. Since the high-level image data encoded in this way is decoded based on the reference data, high-level image data with good reproducibility can be obtained.
[0076]
(Second Embodiment)
FIG. 8 shows the configuration of the encoding circuit of the image encoding device according to the present embodiment, and FIG. 9 shows the configuration of the decoding circuit of the image decoding device according to the present embodiment. The image coding apparatus according to the present embodiment stores in advance reference data that is used when high-level image data is coded as an intra picture. In addition, the image decoding apparatus according to the present embodiment is configured to store in advance reference data used for decoding when the encoded higher layer image data is an intra picture. Others are configured in the same manner as in the first embodiment and operate in the same manner.
[0077]
The image encoding method and the image decoding method according to the present embodiment are embodied by the image encoding device and the image decoding device according to the present embodiment, and will be described below. Here, the same components as those of the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted here.
[0078]
The encoding circuit shown in FIG. 8 corresponds to the encoding circuit 3 shown in FIG. 1, further includes an intra-picture frame memory 25, and performs encoding on high-level image data. . The intra-picture frame memory 25 stores in advance reference data indicating a value that minimizes the code amount when encoding the higher layer image data. In addition, this encoding circuit is provided with a switch 26 instead of the switch 23.
[0079]
When the encoding circuit shown in FIG. 8 determines that the higher layer image data is to be encoded as an intra picture, the control circuit 29 stores the reference data stored in advance in the intra picture frame memory 25 in the subtraction circuit 11. Switch 26 is switched so that it is supplied. The subtraction circuit 11 obtains difference image data by subtracting the reference data from the output data (higher layer image data) of the preprocessing circuit 10. Thereafter, the difference image data is encoded in the same manner as in the first embodiment.
[0080]
Further, the decoding circuit shown in FIG. 9 corresponds to the decoding circuit 6 shown in FIG. 1, and further includes an intra-picture frame memory 51 as compared with the decoding circuit shown in FIG. Decoding is performed on the high-level image data that has been processed. The intra picture frame memory 51 stores in advance reference data having the same contents as the reference data stored in the intra picture frame memory 25 in the encoding circuit shown in FIG. The decoding circuit is provided with a switch 52 instead of the switch 50.
[0081]
When the decoding circuit shown in FIG. 9 determines that the encoded higher layer image data is an intra picture, the determination circuit 54 adds reference data stored in advance in the intra picture frame memory 51. The switch 52 is switched so as to be supplied to the circuit 45. The adder circuit 45 adds the reference data and the output data of the inverse DCT circuit 44, and outputs the addition result to the post-processing circuit 46 and the frame memory 47. The post-processing circuit 46 restores the higher hierarchy image data of the intra picture based on the addition result from the addition circuit 45.
[0082]
As described above, in the present embodiment, when high-level image data is encoded as an intra picture, encoding related to high-level image data using reference data stored in advance in the encoding circuit and the decoding circuit, respectively. Since the decoding is performed, it is possible to save the trouble of transmitting the reference data itself from the encoding circuit to the decoding circuit.
[0083]
In the present embodiment, the reference data is stored in advance in the encoding circuit and the decoding circuit, respectively. For example, when encoding high-level image data, the reference data is first encoded. When the encoded higher layer image data is decoded, the encoded reference data may be first decoded and stored in the intra picture frame memory in the decoding circuit.
[0084]
(Third embodiment)
FIG. 10 shows the configuration of the encoding circuit of the image encoding apparatus according to the present embodiment. The image coding apparatus according to the present embodiment is configured to calculate an average pixel value of high-level image data as reference data when high-level image data is encoded as an intra picture. Others are configured in the same manner as in the first embodiment and operate in the same manner.
[0085]
The image coding method according to the present embodiment is embodied by the image coding apparatus according to the present embodiment, and will be described below. Here, the same components as those of the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted here.
[0086]
The encoding circuit illustrated in FIG. 10 corresponds to the encoding circuit 3 illustrated in FIG. 1, and is compared with the encoding circuit illustrated in FIG. 3, the average pixel value of the output data of the preprocessing circuit 10. It further includes an average pixel value calculation circuit 27 that calculates (average value of all the pixels of the higher layer image data) as reference data, and performs encoding on the higher layer image data. Further, this encoding circuit is provided with a switch 28 instead of the switch 23.
[0087]
In the encoding circuit shown in FIG. 10, when the higher layer image data is encoded as an intra picture, the average pixel value calculation circuit 27 calculates the average pixel value of the output data (higher layer image data) of the preprocessing circuit 10. To do. The control circuit 29 switches the switch 28 so that the average pixel value calculated by the average pixel value calculation circuit 27 is supplied to the subtraction circuit 11. The subtraction circuit 11 acquires difference image data by subtracting the average pixel value from the output data of the preprocessing circuit 10. Then, similarly to the case of the first embodiment, the difference image data is encoded.
[0088]
The average pixel value calculation circuit 27 outputs the calculated average pixel value to the multiplexing circuit 15. The multiplexing circuit 15 multiplexes the average pixel value together with the encoded data of the higher layer image data and outputs the multiplexed result.
[0089]
The high-level image data encoded in this way is decoded by the decoding circuit shown in FIG. In this case, the separation circuit 53 separates the average pixel value from the stream held in the buffer 40 and supplies the separated average pixel value to the switch 50. As a result, this average pixel value can be used when decoding the higher-level image data of the encoded intra picture.
[0090]
As described above, in the present embodiment, when high-level image data is encoded as an intra picture, the average pixel value is calculated and used, and the calculated pixel average value is multiplexed and output. Therefore, encoding can be performed with the data amount reduced optimally according to the properties of the image data. When the encoded higher layer image data is an intra picture, decoding on the higher layer image data is performed using the average pixel value output by multiplexing. Therefore, it is possible to save the trouble of preparing the average pixel value as reference data in advance.
[0091]
As mentioned above, although several embodiment of this invention was described, this invention is not limited to said embodiment, A various deformation | transformation is possible.
[0092]
For example, in the present invention, in the hierarchical encoding method, the image data to be encoded is divided into a plurality of layers of image data (basic layer image data and higher layer image data), and the higher layer image data is encoded as an intra picture. In this case, encoding is performed on the high-level image data using the reference data. However, even when image data with few data components is encoded as an intra picture, if such reference data is used, the encoding efficiency can be improved.
[0093]
In the present invention, encoding is performed on image data in a hierarchy in which image data to be encoded is divided for different frequency components. For example, encoding is performed on image data in a hierarchy divided for each color component. You may do it.
[0094]
【The invention's effect】
  As explained above, from claim 14The image encoding device according to claim 1, or the claim5According to the image encoding method described in the above, the image data to be encoded is, Including basic hierarchical image data and higher hierarchical image data obtained by subtracting basic hierarchical image data from encoding target image dataDivide into multiple levels of image data, and the divided multiple levels of image dataHigh-level image dataIs encoded as an intra picture,Encode differential image data obtained by subtracting non-zero reference data from high-order hierarchical image dataSo I did thisHigher hierarchyThere is an effect that the encoding efficiency of the image data can be improved.
[0095]
  ClaimsAny one of 6-9Or an image decoding device according to claim 110According to the image decoding method described in the above, the image data to be encoded is, Including basic hierarchical image data and higher hierarchical image data obtained by subtracting basic hierarchical image data from encoding target image dataIf the image data is divided into multiple layers and encoded,Obtained by encoding base layer image dataWhile decoding the first encoded data, the second encoded data different from the first encoded data isObtained by encoding difference image data obtained by subtracting non-zero reference data from high-level image dataWhen the image data is an intra pictureThe second encoded data is decoded by adding the reference data in the process of decoding the second encoded data.Since it did in this way, there exists an effect that image data with sufficient reproducibility can be obtained from this 2nd code data.
[0096]
  ClaimsAny one of 11 to 14According to the image processing apparatus described in the above, the image data to be encoded is, Including basic hierarchical image data and higher hierarchical image data obtained by subtracting basic hierarchical image data from encoding target image dataDivide into multiple levels of image data, and the divided multiple levels of image dataHigh-level image dataIs encoded as an intra picture, Encoding differential image data obtained by subtracting non-zero reference data from high-order hierarchical image dataWithThe encoded high-level image data is decoded by adding the reference data in the process of decoding the encoded high-level image data.I did soHigher hierarchyThe encoding efficiency of image data can be improved and the reproducibility is goodHigher hierarchyThere is an effect that image data can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image coding apparatus of a hierarchical coding system according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of an image decoding apparatus using a hierarchical coding scheme according to the first embodiment of the present invention.
3 is a block diagram showing a configuration of an encoding circuit shown in FIG. 1. FIG.
4 is a flowchart showing encoding processing by the image encoding device shown in FIG. 1; FIG.
5 is a block diagram showing a configuration of a decoding circuit shown in FIG. 2. FIG.
6 is a block diagram showing a configuration of a decoding circuit shown in FIG. 2. FIG.
7 is a flowchart showing decoding processing by the image decoding apparatus shown in FIG.
FIG. 8 is a block diagram showing a configuration of an encoding circuit of an image encoding device according to a second embodiment of the present invention.
FIG. 9 is a block diagram showing a configuration of a decoding circuit of an image decoding apparatus according to a second embodiment of the present invention.
FIG. 10 is a block diagram showing a configuration of an encoding circuit of an image encoding device according to a third embodiment of the present invention.
FIG. 11 is a block diagram illustrating a configuration of a conventional image encoding apparatus using a hierarchical encoding method.
12 is a block diagram showing a configuration of the encoding circuit shown in FIG. 11. FIG.
13 is a flowchart showing an encoding process by the variable length encoding circuit shown in FIG.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Dividing circuit, 1a ... Image processing circuit, 1b, 11 ... Subtraction circuit, 2, 3 ... Encoding circuit, 5, 6 ... Decoding circuit, 7, 19, 45 ... Adder circuit, 10 ... Pre-processing circuit, 12 ... DCT circuit, 13 ... Quantization circuit, 14 ... Variable length coding circuit, 15 ... Multiplexing circuit, 16, 40 ... Buffer, 17, 43 ... Inverse quantization circuit, 18, 44 ... Inverse DCT circuit, 20, 47 ... Frame memory, 21 ... motion vector detection circuit, 22, 48 ... motion compensation circuit, 23, 26, 28, 49, 50, 52 ... switch, 24 ... rate control circuit, 25, 51 ... frame memory for intra picture, 27 ... Average pixel value calculation circuit 29... Control circuit 41, 53... Separation circuit 42. Variable length decoding circuit 46.

Claims (14)

符号化対象の画像データを、基本階層画像データと、前記符号化対象の画像データから前記基本階層画像データを減じて得られる高位階層画像データとを含む複数の階層の画像データに分割する分割手段と、
前記分割手段によって分割された複数の階層の画像データの中の前記高位階層画像データをイントラピクチャとして符号化する場合、前記高位階層画像データから零以外の参照用データを減じて得られる差分画像データを符号化する符号化手段と
を備えた画像符号化装置。
Dividing means for dividing image data to be encoded into image data of a plurality of hierarchies including basic hierarchy image data and higher hierarchy image data obtained by subtracting the basic hierarchy image data from the image data to be encoded When,
The case of encoding as an intra picture the higher hierarchy image data in the image data of the plurality of divided hierarchies by dividing means, the difference image data obtained by subtracting the reference data other than zero from the higher hierarchy image data picture image encoding apparatus and a coding means for encoding.
さらに、前記参照用データを記憶する記憶手段を備え
求項1記載の画像符号化装置。
Furthermore, a storage means for storing the reference data is provided .
Image encoding apparatus Motomeko 1 wherein.
さらに、前記高位階層画像データの平均画素値を前記参照用データとして計算する計算手段を備え
求項1記載の画像符号化装置。
Furthermore, a calculation means for calculating an average pixel value of the higher hierarchy image data as the reference data is provided .
Image encoding apparatus Motomeko 1 wherein.
さらに、前記符号化手段により得られる高位階層画像データの符号化データと共に、前記計算手段により計算された平均画素値を多重化して出力する多重化手段を備えたFurthermore, a multiplexing means for multiplexing and outputting the average pixel value calculated by the calculation means together with the encoded data of the higher layer image data obtained by the encoding means is provided.
請求項3記載の画像符号化装置。The image encoding device according to claim 3.
符号化対象の画像データを、基本階層画像データと、前記符号化対象の画像データから前記基本階層画像データを減じて得られる高位階層画像データとを含む複数の階層の画像データに分割するステップと、
前記符号化対象の画像データから分割された複数の階層の画像データの中の前記高位階層画像データをイントラピクチャとして符号化する場合、前記高位階層画像データから零以外の参照用データを減じて得られる差分画像データを符号化するステップと
を含む画像符号化方法。
Dividing the image data to be encoded into image data of a plurality of layers including basic layer image data and high-order layer image data obtained by subtracting the base layer image data from the image data to be encoded; ,
When encoding the higher layer image data of the plurality of layers of image data divided from the image data to be encoded as an intra picture, it is obtained by subtracting reference data other than zero from the higher layer image data. steps and the including images coding method for coding a difference image data to be.
符号化対象の画像データを、基本階層画像データと、前記符号化対象の画像データから前記基本階層画像データを減じて得られる高位階層画像データとを含む複数の階層の画像データに分割して符号化することにより得られた符号化データを復号する装置であって、
前記基本階層画像データを符号化することにより得られた第1の符号化データを復号する第1の復号手段と、
前記第1の符号化データとは異なる第2の符号化データが、前記高位階層画像データから零以外の参照用データを減じて得られる差分画像データを符号化することにより得られたイントラピクチャの画像データである場合、前記第2の符号化データを復号する過程で前記参照用データを加算させることにより、前記第2の符号化データの復号を行う第2の復号手段と
を備えた画像復号装置。
The image data to be encoded is encoded by dividing the image data into a plurality of layers including base layer image data and higher layer image data obtained by subtracting the base layer image data from the image data to be encoded. An apparatus for decoding encoded data obtained by converting to
First decoding means for decoding first encoded data obtained by encoding the base layer image data ;
Second encoded data different from the first encoded data is an intra picture obtained by encoding differential image data obtained by subtracting non-zero reference data from the higher hierarchical image data . If it is the image data, images of the by adding the reference data in the second step of decoding the coded data, and a second decoding means for decoding said second coded data Decoding device.
さらに、前記参照用データを記憶する記憶手段を備えたFurthermore, a storage means for storing the reference data is provided.
請求項6記載の画像復号装置。The image decoding apparatus according to claim 6.
前記参照用データが、前記高位階層画像データの平均画素値であるThe reference data is an average pixel value of the higher layer image data.
請求項6記載の画像復号装置。The image decoding apparatus according to claim 6.
前記第2の復号手段は、前記第2の符号化データから前記平均画素値を抽出することにより、前記第2の符号化データの復号の際に前記平均画素値を用いるThe second decoding means uses the average pixel value when decoding the second encoded data by extracting the average pixel value from the second encoded data.
請求項8記載の画像復号装置。The image decoding apparatus according to claim 8.
符号化対象の画像データを、基本階層画像データと、前記符号化対象の画像データから前記基本階層画像データを減じて得られる高位階層画像データとを含む複数の階層の画像データに分割して符号化することにより得られた符号化データを復号する方法であって、
前記基本階層画像データを符号化することにより得られた第1の符号化データを復号するステップと、
前記第1の符号化データとは異なる第2の符号化データが、前記高位階層画像データから零以外の参照用データを減じて得られる差分画像データを符号化することにより得られたイントラピクチャの画像データである場合、前記第2の符号化データを復号する過程で前記参照用データを加算させることにより、前記第2の符号化データの復号を行うステップと
を含む画像復号方法。
The image data to be encoded is encoded by dividing the image data into a plurality of layers including base layer image data and higher layer image data obtained by subtracting the base layer image data from the image data to be encoded. A method for decoding encoded data obtained by converting to
Decoding first encoded data obtained by encoding the base layer image data ;
Second encoded data different from the first encoded data is an intra picture obtained by encoding differential image data obtained by subtracting non-zero reference data from the higher hierarchical image data . If it is the image data, the second by 2 in the process of decoding the coded data thereby adding the reference data, the second step and the including images decoding method for decoding coded data.
符号化対象の画像データを、基本階層画像データと、前記符号化対象の画像データから前記基本階層画像データを減じて得られる高位階層画像データとを含む複数の階層の画像データに分割し、分割した複数の階層の画像データの中の前記高位階層画像データをイントラピクチャとして符号化する場合、前記高位階層画像データから零以外の参照用データを減じて得られる差分画像データを符号化する符号化手段と、
前記符号化手段によって符号化された高位階層画像データを復号する過程で前記参照用データを加算させることにより、符号化された高階層画像データの復号を行う復号手段と
を備えた画像処理装置。
The image data to be encoded is divided into image data of a plurality of layers including basic layer image data and high-order layer image data obtained by subtracting the base layer image data from the image data to be encoded. when encoding the higher hierarchy image data in the image data of a plurality of hierarchies obtained by the intra-picture, coding for encoding the difference image data obtained by subtracting the reference data other than zero from the higher hierarchy image data Means,
By adding the reference data in the process of decoding the higher hierarchy image data encoded by said encoding means, images processing device and a decoding means for decoding the high hierarchical image data encoded .
前記符号化手段および前記復号手段はそれぞれ、前記参照用データを記憶する記憶手段を有するEach of the encoding means and the decoding means has storage means for storing the reference data.
請求項11記載の画像処理装置。The image processing apparatus according to claim 11.
前記符号化手段は、前記高位階層画像データを符号化する際に、最初に前記参照用データを符号化しておき、The encoding means encodes the reference data first when encoding the higher layer image data,
前記復号手段は、前記符号化手段によって符号化された高階層画像データを復号する際に、前記符号化手段によって符号化された参照用データを最初に復号すると共に、復号することにより得られた前記参照用データを記憶させておくThe decoding means is obtained by first decoding and decoding the reference data encoded by the encoding means when decoding the high-level image data encoded by the encoding means. Store the reference data
請求項11記載の画像処理装置。The image processing apparatus according to claim 11.
前記符号化手段は、前記高位階層画像データの平均画素値を前記参照用データとして計算する計算手段を有するThe encoding means includes calculation means for calculating an average pixel value of the high-order hierarchical image data as the reference data.
請求項11記載の画像処理装置。The image processing apparatus according to claim 11.
JP2000240824A 2000-08-09 2000-08-09 Image encoding apparatus and method, image decoding apparatus and method, and image processing apparatus Expired - Fee Related JP4224662B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000240824A JP4224662B2 (en) 2000-08-09 2000-08-09 Image encoding apparatus and method, image decoding apparatus and method, and image processing apparatus
US09/924,015 US7221707B2 (en) 2000-08-09 2001-08-07 Image processing apparatus employing hierarchical encoding
US11/804,790 US7529301B2 (en) 2000-08-09 2007-05-21 Image processing apparatus employing hierarchical encoding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000240824A JP4224662B2 (en) 2000-08-09 2000-08-09 Image encoding apparatus and method, image decoding apparatus and method, and image processing apparatus

Publications (2)

Publication Number Publication Date
JP2002058032A JP2002058032A (en) 2002-02-22
JP4224662B2 true JP4224662B2 (en) 2009-02-18

Family

ID=18732116

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000240824A Expired - Fee Related JP4224662B2 (en) 2000-08-09 2000-08-09 Image encoding apparatus and method, image decoding apparatus and method, and image processing apparatus

Country Status (2)

Country Link
US (2) US7221707B2 (en)
JP (1) JP4224662B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4224662B2 (en) * 2000-08-09 2009-02-18 ソニー株式会社 Image encoding apparatus and method, image decoding apparatus and method, and image processing apparatus
CN100423581C (en) * 2002-12-30 2008-10-01 Nxp股份有限公司 Coding/decoding method and its device for dynamic image
KR100750128B1 (en) 2005-09-06 2007-08-21 삼성전자주식회사 Method and apparatus for intra prediction of video
KR100727972B1 (en) 2005-09-06 2007-06-14 삼성전자주식회사 Method and apparatus for intra prediction of video
JP2009049979A (en) 2007-07-20 2009-03-05 Fujifilm Corp Image processing device, image processing method, image processing system, and program
JP5033563B2 (en) 2007-09-27 2012-09-26 三洋電機株式会社 Showcase
JP5474887B2 (en) 2011-08-01 2014-04-16 株式会社ソニー・コンピュータエンタテインメント Moving image data generation device, moving image display device, moving image data generation method, moving image display method, and data structure of moving image file

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2647229B2 (en) * 1990-04-13 1997-08-27 沖電気工業株式会社 Image coding device
JPH0622289A (en) * 1992-06-30 1994-01-28 Hitachi Ltd Multi-resolution image signal coder and decoder
JPH0746628A (en) * 1993-06-29 1995-02-14 Toshiba Corp Encoder and decoder for image signal
JP3129075B2 (en) * 1993-12-28 2001-01-29 日本ビクター株式会社 Image data compression method
KR100213018B1 (en) * 1994-07-30 1999-08-02 윤종용 Apparatus for encoding moving picture
US5731840A (en) * 1995-03-10 1998-03-24 Kabushiki Kaisha Toshiba Video coding/decoding apparatus which transmits different accuracy prediction levels
US6023301A (en) * 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
JPH10234014A (en) * 1997-02-20 1998-09-02 Matsushita Electric Ind Co Ltd Image decoding method, image decoder, image multiplexing method, image multiplexer and recording medium
JPH10257502A (en) * 1997-03-17 1998-09-25 Matsushita Electric Ind Co Ltd Hierarchical image encoding method, hierarchical image multiplexing method, hierarchical image decoding method and device therefor
US6233356B1 (en) * 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
US6011870A (en) * 1997-07-18 2000-01-04 Jeng; Fure-Ching Multiple stage and low-complexity motion estimation for interframe video coding
GB2352350B (en) * 1999-07-19 2003-11-05 Nokia Mobile Phones Ltd Video coding
US6639942B1 (en) * 1999-10-21 2003-10-28 Toshiba America Electronic Components, Inc. Method and apparatus for estimating and controlling the number of bits
JP4224662B2 (en) * 2000-08-09 2009-02-18 ソニー株式会社 Image encoding apparatus and method, image decoding apparatus and method, and image processing apparatus
JP2004350263A (en) * 2003-04-28 2004-12-09 Canon Inc Image processing apparatus and method therefor

Also Published As

Publication number Publication date
US7221707B2 (en) 2007-05-22
US20070217504A1 (en) 2007-09-20
US7529301B2 (en) 2009-05-05
JP2002058032A (en) 2002-02-22
US20020054338A1 (en) 2002-05-09

Similar Documents

Publication Publication Date Title
US6333949B1 (en) Video coding apparatus and decoding apparatus
JP2005506815A (en) Method and apparatus for spatially extensible compression
KR0141082B1 (en) Apparatus for coding image signal with adaptive edge part
JP3778960B2 (en) Video coding method and apparatus
JP2007281949A (en) Image encoding device, image encoding decoding system, image encoding method, and image encoding decoding method
JP3703299B2 (en) Video coding method, system and computer program product for optimizing picture center image quality
US7529301B2 (en) Image processing apparatus employing hierarchical encoding
JPH06125543A (en) Encoding device
JPH0795566A (en) Method and device for encoding image
JP3599942B2 (en) Moving picture coding method and moving picture coding apparatus
KR20020057525A (en) Apparatus for transcoding video
JP2002058028A (en) Device and method for encoding picture, method and device for decoding picture and picture processor
JP2795225B2 (en) Video coding method
JP4359273B2 (en) Coding mode selection method
JPH0984024A (en) Coder for moving image signal
JP4100067B2 (en) Image information conversion method and image information conversion apparatus
KR20070051294A (en) A method and apparatus for motion estimation
JP2001245297A (en) Moving image encoder, moving image decoder, moving image coding method and moving image decoding method
JP4359274B2 (en) Video compression encoding device
JP4353928B2 (en) Data compression method, recording method, and transmission method
JP4140163B2 (en) Encoding method converter
JP2002058020A (en) Image-coding device and method, image-decoding device and method, and image-processing device
JP2000032467A (en) Image processor, image processing method, and provision medium
KR0124158B1 (en) Image decoder capable of post processing adaptively and post processing method thereof
JP2860016B2 (en) Interframe coding of image signal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080821

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081029

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121205

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121205

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131205

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees