JP5019053B2 - 画像復号方法、画像復号装置及びプログラム - Google Patents

画像復号方法、画像復号装置及びプログラム Download PDF

Info

Publication number
JP5019053B2
JP5019053B2 JP2007514747A JP2007514747A JP5019053B2 JP 5019053 B2 JP5019053 B2 JP 5019053B2 JP 2007514747 A JP2007514747 A JP 2007514747A JP 2007514747 A JP2007514747 A JP 2007514747A JP 5019053 B2 JP5019053 B2 JP 5019053B2
Authority
JP
Japan
Prior art keywords
decoding
image
lower layer
output
decoded image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007514747A
Other languages
English (en)
Other versions
JPWO2006118113A1 (ja
Inventor
崇博 木本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2007514747A priority Critical patent/JP5019053B2/ja
Publication of JPWO2006118113A1 publication Critical patent/JPWO2006118113A1/ja
Application granted granted Critical
Publication of JP5019053B2 publication Critical patent/JP5019053B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は画像データを復号する画像復号方法および装置に関し、特に階層符号化された画像データをそれぞれの階層で復号する画像復号方法、画像復号装置及びプログラムに関する。
階層符号化とは、粗い情報から細かい情報へと階層的に符号化する技術をさす。画像を階層的に符号化することで、1本の圧縮データに対し一部の追加・削除のみで表示解像度、伝送環境の異なる端末に対応することができる。インターネットの発達、画像再生環境の多様化に伴い、画像の階層符号化技術はますます重要になると考えられる。
一方、画像符号化技術において、予測符号化と周波数変換による従来の復号処理の後に行う、復号画像の歪みを低減させる高画質化フィルタ処理が重要視されている。高画質化フィルタとして、画像データの符号化単位となるブロックの境界における歪みを平滑化するデブロッキングフィルタ、輪郭部に沿って現れる歪みを低減するデリンギングフィルタ、量子化によって現れるモスキートノイズを低減する平滑化フィルタ、ぼけた画像を鮮鋭化するシャープネスフィルタなどがある。動画像符号化の国際標準規格H.264 / MPEG-4 AVCでは、フレーム間予測符号化において高画質化フィルタ処理後の画像が参照されるようになっている。
図６に、MPEG-2でも採用されている階層符号化の一般的な方法であるピラミッド符号化に高画質化フィルタ処理を適用した階層画像復号装置の構成を示す。
まず、下位階層データ1001に対し、エントロピー復号部101、逆量子化部102、周波数逆変換部103が処理を行い、予測誤差信号1004を生成する。予測復号部105は、メモリ104に格納された下位階層復号画像1005を参照して予測復号処理を行い、予測信号1006を生成する。予測信号1006と予測誤差信号1004とを加算し、下位階層仮復号画像1007を生成する。下位階層仮復号画像1007にフィルタ106を乗じて出力となる下位階層復号画像1008を生成する。下位階層復号画像1008はメモリ104に格納され、後の復号に用いる。
次に、上位階層符号化データ2001に対し、エントロピー復号部201、逆量子化部202、周波数逆変換部203が処理を行い、予測誤差信号2004を生成する。予測復号部205は、メモリ104に格納された下位階層復号画像1010と、メモリ204に格納された上位階層復号画像2005を参照して予測復号処理を行い、予測信号2006を生成する。予測信号2006と予測誤差信号2004とを加算し、上位階層仮復号画像2007を生成する。上位階層仮復号画像2007にフィルタ206を乗じて出力となる上位階層復号画像2008を生成する。上位階層復号画像2008はメモリ204に格納され、後の復号に用いる。
しかしながら、図６に示す従来技術は、処理量の多さが課題となる。すなわち、画像の復号処理において、高画質化フィルタ処理は多くの処理量を要する。従来技術では、上位階層の復号時に上位階層のみならず、下位階層においても高画質化フィルタ処理を行う。そのため、階層化されていない画像データの復号に比べて、より多くの処理量を要することになる。
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、上位階層の復号時の処理量を低減した階層画像の画像復号方法、画像復号装置及びプログラムを提供することにある。
上記課題を解決する第１の発明は、階層化された画像データを復号する画像復号方法であって、下位階層の復号時には、下位階層データを復号した下位階層仮復号画像にフィルタを乗じて下位階層復号画像を生成し、上位階層の復号時には、前記下位階層仮復号画像に対し前記フィルタを簡略化した簡易フィルタを乗じて下位階層擬似復号画像を生成した後、前記下位階層擬似復号画像を参照して上位階層復号データを復号することを特徴とする。
上記課題を解決する第２の発明は、上記第１の発明において、下位階層データもしくは上位階層データを復号する処理は、復号画像を格納する処理と、前記格納された復号画像を参照して予測復号を行う予測復号処理とを備えることを特徴とする。
上記課題を解決する第３の発明は、上記第１又は第２の発明において、フィルタが画像データの符号化単位となるブロックの境界を平滑化することを特徴とする。
上記課題を解決する第４の発明は、階層化された画像データを復号する画像復号方法であって、下位階層の復号画像を第１のメモリに格納するステップと、下位階層データをエントロピー復号する第１のエントロピー復号ステップと、前記第１のエントロピー復号ステップの出力を逆量子化する第１の逆量子化ステップと、前記第１の逆量子化ステップの出力を周波数逆変換する第１の周波数逆変換ステップと、前記第１のメモリに格納された画像と前記第１の周波数逆変換ステップの出力とを参照して予測復号処理を行う第１の予測復号ステップと、前記第１の予測復号ステップの出力にフィルタ処理を行い、下位階層復号画像を出力する第１のフィルタステップと、前記第１の予測復号ステップの出力に第１のフィルタを簡略化したフィルタ処理を行い、下位階層疑似復号画像を生成する簡易フィルタステップと、出力する階層が上位か否かを表す信号である復号階層指示信号を参照し、前記第１の予測復号ステップの出力を前記第１のフィルタと前記簡易フィルタのいずれかに入力するステップと、上位階層復号画像を第２のメモリに格納するステップと、上位階層データをエントロピー復号する第２のエントロピー復号ステップと、前記第２のエントロピー復号ステップの出力を逆量子化する第２の逆量子化ステップと、前記第２の逆量子化ステップの出力を周波数逆変換する第２の周波数逆変換ステップと、前記第１のメモリに格納された下位階層復号画像と前記第２のメモリに格納された上位階層復号画像と前記第２の周波数逆変換ステップの出力とを参照して予測復号処理を行う第２の予測復号ステップと、前記第２の予測復号ステップの出力にフィルタ処理を行う第２のフィルタステップと、を備え、下位階層画像を出力画像とする場合には、前記第１の予測復号ステップの出力に前記第１のフィルタを乗じた下位階層復号画像を出力するとともに前記第１のメモリに格納し、上位階層画像を出力画像とする場合には、前記第１の予測復号ステップの出力に前記簡易フィルタを乗じた下位階層擬似復号画像を前記第１のメモリに格納し、上位階層復号処理において参照することを特徴とする。
上記課題を解決する第５の発明は、階層化された画像データを復号する画像復号装置であって、下位階層の復号時には、下位階層データを復号した下位階層仮復号画像にフィルタを乗じて下位階層復号画像を生成する手段と、上位階層の復号時には、前記下位階層仮復号画像に対し前記フィルタを簡略化した簡易フィルタを乗じて下位階層擬似復号画像を生成した後、前記下位階層擬似復号画像を参照して上位階層復号データを復号する手段とを有することを特徴とする。
上記課題を解決する第６の発明は、上記第５の発明において、復号画像を格納するメモリと、前記メモリに格納された復号画像を参照して予測復号処理を行う予測復号部とを有することを特徴とする。
上記課題を解決する第７の発明は、上記第５又は第６の発明において、前記フィルタが画像データの符号化単位となるブロックの境界を平滑化することを特徴とする。
上記課題を解決する第８の発明は、階層化された画像データを復号する画像復号装置であって、下位階層の復号画像が格納される第１のメモリと、下位階層データをエントロピー復号する第１のエントロピー復号手段と、前記第１のエントロピー復号手段の出力を逆量子化する第１の逆量子化手段と、前記第１の逆量子化手段の出力を周波数逆変換する第１の周波数逆変換手段と、前記第１のメモリに格納された画像と前記第１の周波数逆変換手段の出力とを参照して予測復号処理を行う第１の予測復号手段と、前記第１の予測復号手段の出力にフィルタ処理を行い、下位階層復号画像を出力する第１のフィルタと、前記第１の予測復号手段の出力に第１のフィルタを簡略化したフィルタ処理を行い、下位階層疑似復号画像を生成する簡易フィルタと、出力する階層が上位か否かを表す信号である復号階層指示信号を参照し、前記第１の予測復号手段の出力を前記第１のフィルタと前記簡易フィルタのいずれかに入力するスイッチと、上位階層復号画像が格納される第２のメモリと、上位階層データをエントロピー復号する第２のエントロピー復号手段と、前記第２のエントロピー復号手段の出力を逆量子化する第２の逆量子化手段と、前記第２の逆量子化手段の出力を周波数逆変換する第２の周波数逆変換手段と、前記第１のメモリに格納された下位階層復号画像と前記第２のメモリに格納された上位階層復号画像と前記第２の周波数逆変換手段の出力とを参照して予測復号処理を行う第２の予測復号手段と、前記第２の予測復号手段の出力にフィルタ処理を行う第２のフィルタと、を備え、下位階層画像を出力画像とする場合には、前記第１の予測復号手段の出力に前記第１のフィルタを乗じた下位階層復号画像を出力するとともに前記第１のメモリに格納し、上位階層画像を出力画像とする場合には、前記第１の予測復号手段の出力に前記簡易フィルタを乗じた下位階層擬似復号画像を前記第１のメモリに格納し、上位階層復号処理において参照することを特徴とする。
上記課題を解決する第９の発明は、階層化された画像データを復号する画像復号装置のプログラムであって、前記プログラムは、前記画像復号装置に、下位階層の復号時には、下位階層データを復号した下位階層仮復号画像にフィルタを乗じて下位階層復号画像を生成する処理と、上位階層の復号時には、前記下位階層仮復号画像に対し前記フィルタを簡略化した簡易フィルタを乗じて下位階層擬似復号画像を生成した後、前記下位階層擬似復号画像を参照して上位階層復号データを復号する処理とを実行させることを特徴とする。
このような動作を採用し、上位階層の復号画像を出力する場合には、下位階層における高画質化フィルタを簡略化することにより、本発明の目的を達成することができる。
本発明によれば、下位階層の復号画像を出力する場合には通常の高画質化フィルタ処理を行い、上位階層の復号画像を出力する場合には、下位階層における高画質化フィルタを簡略化する。これにより上位階層の復号において高画質化フィルタ処理に要する処理量を低減できる。
本発明の第１の発明を実施する最良の形態の構成を示すブロック図である。 第１の発明を実施する最良の形態の動作を示すフロー図である。 本発明の第２の発明を実施する最良の形態の構成を示すブロック図である。 第２の発明を実施する最良の形態の動作を示すフロー図である。 本発明の具体的な実施例となる画像復号装置の構成を示すブロック図である。 従来の階層画像復号装置の構成を示すブロック図である。
符号の説明
100 下位階層復号器
200 上位階層復号器
101,201 エントロピー復号部
102,202 逆量子化部
103,203 周波数逆変換部
104,204 メモリ
105,205 予測復号部
106,206 フィルタ
107 簡易フィルタ
108 スイッチ
1000 下位階層データ
2000 上位階層データ
1002 量子化係数信号
1003 係数信号
1004 予測誤差信号
1006 予測信号
1007 下位階層仮復号画像
2007 上位階層仮復号画像
1005,1008 下位階層復号画像
2008 上位階層復号画像
1009 下位階層擬似復号画像
1100 復号階層指示信号
本発明の第１の発明を実施するための最良の形態について図面を用いて説明する。
図１は本発明の第１の実施形態となる画像復号装置の構成を示すブロック図である。
本発明における階層画像復号装置は、下位階層データ復号器100と、上位階層データ復号器200と、フィルタ106,206と、簡易フィルタ107と、スイッチ108とからなる。
図２は図１に示す画像復号装置において復号画像を出力するまでの処理の流れを示すフロー図である。図１および図２を用い、本実施の形態の全動作について説明する。
下位階層復号器100は下位階層データ1001を復号し、下位階層仮復号画像1007を生成する(図２のS10)。スイッチ108は階層画像復号装置が上位下位どちらの階層を復号するかを表す復号階層指示信号1100を受け取り、フィルタ処理を切り替える(図２のS11)。下位階層を復号する場合、スイッチ108は下位階層仮復号信号1007をフィルタ106に入力する。フィルタ106によって下位階層復号画像1008が出力される(図２のS12)。
上位階層を出力する場合、スイッチ108は下位階層仮復号信号1007を簡易フィルタ107に入力する。簡易フィルタ107によって下位階層擬似復号画像1009が出力される(図２のS19)。上位階層復号器200は下位階層擬似復号画像1009を参照して上位階層データ2000を復号し、上位階層仮復号画像2007を生成する(図２のS20)。上位階層仮復号画像2007にフィルタ206を乗ずることで出力となる上位階層復号画像2008を生成する(図２のS21)。
本実施の形態では、上位階層の復号において、フィルタ106でなく簡易フィルタ107が動作するように構成されているため処理量を低減できる。
次に、本発明の第２の発明を実施するための最良の形態について図面を用いて説明する。
図３は本発明の第１の実施形態となる画像復号装置の構成を示すブロック図である。
本発明における階層画像復号装置は、下位階層データ復号器100と、上位階層データ復号器200と、フィルタ106,206と、スイッチ108とからなる。
図４は図３に示す画像復号装置において復号画像を出力するまでの処理の流れを示すフロー図である。図３および図４を用い、本実施の形態の全動作について説明する。
下位階層復号器100は下位階層データ1001を復号し、下位階層仮復号画像1007を生成する(図４のS10)。スイッチ108は階層画像復号装置が上位下位どちらの階層を復号するかを表す復号階層指示信号1100を受け取り、フィルタ処理を行うか否かを切り替える(図４のS11)。
下位階層を復号する場合、スイッチ108は下位階層仮復号信号1007をフィルタ106に入力する。フィルタ106によって下位階層復号画像1008が出力される(図４のS12)。
上位階層を出力する場合、スイッチ108は下位階層仮復号信号1007を直接上位階層復号器に入力する。上位階層復号器200は下位階層仮復号信号1007を参照して上位階層データ2000を復号し、上位階層仮復号画像2007を生成する(図４のS20)。上位階層仮復号画像2007にフィルタ206を乗ずることで出力となる上位階層復号画像2008を生成する(図４のS21)。
本実施の形態では、上位階層の復号において、フィルタ106の処理が行われないため、処理量を低減できる。
次に具体的な実施例を用いて本発明を実施する最良の形態の動作を説明する。
図５は本発明の実施例となる画像復号装置の構成を示すブロック図である。図５における画像復号装置は、エントロピー復号部101,201と、逆量子化部102,202と、周波数逆変換部103, 203と、メモリ104,204と、予測復号部105, 205と、フィルタ106,206と、簡易フィルタ107と, スイッチ108とからなる。
図５におけるエントロピー復号部101、逆量子化部102、周波数逆変換部103、メモリ104、予測復号部105は、図１における下位階層復号器100に相当する。また、図５におけるエントロピー復号部201、逆量子化部202、周波数逆変換部203、メモリ204、予測復号部205は、図１における上位階層復号器200に相当する。
以下、図５を用いて本発明における実施例の詳細な動作を説明する。
エントロピー復号部101は、下位階層データ1001をエントロピー復号し、量子化係数信号1002を生成する。逆量子化部102は量子化係数信号1002を逆量子化し係数信号1003を生成する。周波数逆変換部103は係数信号1003を周波数逆変換し、予測誤差信号1004を生成する。
予測復号部105は、メモリ104に格納されている下位階層復号画像1005を参照して予測復号処理を行って予測信号1006を生成する。予測復号処理として、別に符号化された動き情報と復号済みのフレームとを参照して行う動き補償処理、同一フレーム内復号済みの隣接画素を参照して行うフレーム内挿入処理が用いられる。予測信号1006と予測誤差信号1004とを加算して下位階層仮復号画像1007を生成する。
スイッチ108は復号階層指示信号1100を参照し、出力する階層に応じてフィルタ処理を切り替える。下位階層を出力する場合、スイッチ108は下位階層仮復号信号1007をフィルタ106に入力する。フィルタ106によって高画質化フィルタ処理が行われ、下位階層復号画像1008が出力される。下位階層復号画像1008はメモリ104に格納され、後の復号に用いられる。
なお、フィルタ106の行う高画質化フィルタ処理として、画像データにおいて符号化単位となるブロックの境界での信号の不連続を平滑化して抑制するデブロッキングフィルタ、輪郭に沿って現れる歪みを抑制するデリンギングフィルタ、ぼけた画像を鮮鋭化するシャープネスフィルタがあげられる。
上位階層を出力する場合、スイッチ108は下位階層仮復号信号1007を簡易フィルタ107に入力する。簡易フィルタ107によって下位階層擬似復号画像1009が出力される。下位階層擬似復号画像1009はメモリ104に格納され、後の復号に用いられる。
簡易フィルタとして、前述した高画質化フィルタに対し、タップ長を短くする、整数演算で実現するなどの演算の簡易化が考えられる。また、分散や高周波数成分など画像データの特徴量に応じてフレーム内の一部もしくは全体の高画質化処理の簡易化を切り替えることが考えられる。
次に、上位階層データ2001に対し、エントロピー復号部201、逆量子化部202、周波数逆変換部203が処理を行い、予測誤差信号2004を生成する。
予測復号部205は、メモリ204に格納された下位階層擬似復号画像1010と、メモリ204に格納された上位階層復号画像2005を参照し、予測復号処理を行い予測信号2006を生成する。下位階層復号画像を用いた予測復号処理として、上位階層と同じ解像度へのアップサンプルがある。予測信号2006と予測誤差信号2004とを加算して得られた上位階層仮復号画像2007に対し、フィルタ206を乗じて出力となる上位階層復号画像2008を生成する。上位階層復号画像2008はメモリ204に格納され、後の復号に用いられる。
以上の説明では、図１に示す本発明の第１の実施形態に対応する具体的な実施例について述べた。
なお、図４に示す本発明の第２の実施形態に対応する具体的な実施例では、図５における簡易フィルタ107を取り除き、下位階層仮復号画像1007を下位階層擬似復号画像1009と見なして動作を行う。
また、本実施例では階層数が２の場合について説明したが、階層数が３つ以上の場合にも本発明は適用可能である。この場合、出力となる階層よりも下の階層において高画質化フィルタを簡略化する。
さらには、上述した説明からも明らかなように、本発明をハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
この場合、プログラムメモリには、上述した各部と同様な動作をさせるプログラムが格納され、このプログラムによりプロセッサは動作して上述した実施例と同様な処理を行う。
以上説明した本発明の実施の形態では、上位階層を出力する際に下位階層の高画質化フィルタ処理を簡略化する、もしくは行わない。下位階層画像を出力する場合、復号画像の各種歪みは出力画像の品質低下に大きく影響する。しかし、上位階層の復号に参照される場合、下位階層復号画像の各種歪みは出力画像の品質低下に比較的影響しない。特に下位階層と上位階層の解像度が異なる場合、下位階層に行われる拡大処理により歪みは減衰され、出力画像の画質に及ぼす影響は少なくなる。
さらに、復号画像装置もしくは方法に対応する符号化装置もしくは方式に本発明を適用することで、出力画像の品質低下はさらに抑えられる。
上位階層画像の符号化において、符号化内でローカルに行う下位階層復号処理に簡易フィルタを用いることで、符号化側で上位階層において参照される下位階層復号画像と、復号化側で上位階層において参照される下位階層復号画像とが一致する。これにより上位階層復号画像に大きな歪みをもたらすことなく復号画像装置の処理量低減を実現できる。

Claims (9)

  1. 階層化された画像データを復号する画像復号方法であって、
    下位階層の復号時には、下位階層データを復号した下位階層仮復号画像にフィルタを乗じて下位階層復号画像を生成し、
    上位階層の復号時には、前記下位階層仮復号画像に対し前記フィルタを簡略化した簡易フィルタを乗じて下位階層擬似復号画像を生成した後、前記下位階層擬似復号画像を参照して上位階層復号データを復号する
    ことを特徴とする画像復号方法。
  2. 下位階層データもしくは上位階層データを復号する処理は、
    復号画像を格納する処理と、
    前記格納された復号画像を参照して予測復号を行う予測復号処理と
    を備えることを特徴とする請求項１に記載の画像復号方法。
  3. フィルタが画像データの符号化単位となるブロックの境界を平滑化することを特徴とする請求項１又は請求項２に記載の画像復号方法。
  4. 階層化された画像データを復号する画像復号方法であって、
    下位階層の復号画像を第１のメモリに格納するステップと、
    下位階層データをエントロピー復号する第１のエントロピー復号ステップと、
    前記第１のエントロピー復号ステップの出力を逆量子化する第１の逆量子化ステップと、
    前記第１の逆量子化ステップの出力を周波数逆変換する第１の周波数逆変換ステップと、
    前記第１のメモリに格納された画像と前記第１の周波数逆変換ステップの出力とを参照して予測復号処理を行う第１の予測復号ステップと、
    前記第１の予測復号ステップの出力にフィルタ処理を行い、下位階層復号画像を出力する第１のフィルタステップと、
    前記第１の予測復号ステップの出力に第１のフィルタを簡略化したフィルタ処理を行い、下位階層疑似復号画像を生成する簡易フィルタステップと、
    出力する階層が上位か否かを表す信号である復号階層指示信号を参照し、前記第１の予測復号ステップの出力を前記第１のフィルタと前記簡易フィルタのいずれかに入力するステップと、
    上位階層復号画像を第２のメモリに格納するステップと、
    上位階層データをエントロピー復号する第２のエントロピー復号ステップと、
    前記第２のエントロピー復号ステップの出力を逆量子化する第２の逆量子化ステップと、
    前記第２の逆量子化ステップの出力を周波数逆変換する第２の周波数逆変換ステップと、
    前記第１のメモリに格納された下位階層復号画像と前記第２のメモリに格納された上位階層復号画像と前記第２の周波数逆変換ステップの出力とを参照して予測復号処理を行う第２の予測復号ステップと、
    前記第２の予測復号ステップの出力にフィルタ処理を行う第２のフィルタステップと、
    を備え、
    下位階層画像を出力画像とする場合には、前記第１の予測復号ステップの出力に前記第１のフィルタを乗じた下位階層復号画像を出力するとともに前記第１のメモリに格納し、
    上位階層画像を出力画像とする場合には、前記第１の予測復号ステップの出力に前記簡易フィルタを乗じた下位階層擬似復号画像を前記第１のメモリに格納し、上位階層復号処理において参照することを特徴とする画像復号方法。
  5. 階層化された画像データを復号する画像復号装置であって、
    下位階層の復号時には、下位階層データを復号した下位階層仮復号画像にフィルタを乗じて下位階層復号画像を生成する手段と、
    上位階層の復号時には、前記下位階層仮復号画像に対し前記フィルタを簡略化した簡易フィルタを乗じて下位階層擬似復号画像を生成した後、前記下位階層擬似復号画像を参照して上位階層復号データを復号する手段と
    を有することを特徴とする画像復号装置。
  6. 復号画像を格納するメモリと、
    前記メモリに格納された復号画像を参照して予測復号処理を行う予測復号部と
    を有することを特徴とする請求項５に記載の画像復号装置。
  7. 前記フィルタが画像データの符号化単位となるブロックの境界を平滑化することを特徴とする請求項５又は請求項６に記載の画像復号装置。
  8. 階層化された画像データを復号する画像復号装置であって、
    下位階層の復号画像が格納される第１のメモリと、
    下位階層データをエントロピー復号する第１のエントロピー復号手段と、
    前記第１のエントロピー復号手段の出力を逆量子化する第１の逆量子化手段と、
    前記第１の逆量子化手段の出力を周波数逆変換する第１の周波数逆変換手段と、
    前記第１のメモリに格納された画像と前記第１の周波数逆変換手段の出力とを参照して予測復号処理を行う第１の予測復号手段と、
    前記第１の予測復号手段の出力にフィルタ処理を行い、下位階層復号画像を出力する第１のフィルタと、
    前記第１の予測復号手段の出力に第１のフィルタを簡略化したフィルタ処理を行い、下位階層疑似復号画像を生成する簡易フィルタと、
    出力する階層が上位か否かを表す信号である復号階層指示信号を参照し、前記第１の予測復号手段の出力を前記第１のフィルタと前記簡易フィルタのいずれかに入力するスイッチと、
    上位階層復号画像が格納される第２のメモリと、
    上位階層データをエントロピー復号する第２のエントロピー復号手段と、
    前記第２のエントロピー復号手段の出力を逆量子化する第２の逆量子化手段と、
    前記第２の逆量子化手段の出力を周波数逆変換する第２の周波数逆変換手段と、
    前記第１のメモリに格納された下位階層復号画像と前記第２のメモリに格納された上位階層復号画像と前記第２の周波数逆変換手段の出力とを参照して予測復号処理を行う第２の予測復号手段と、
    前記第２の予測復号手段の出力にフィルタ処理を行う第２のフィルタと、
    を備え、
    下位階層画像を出力画像とする場合には、前記第１の予測復号手段の出力に前記第１のフィルタを乗じた下位階層復号画像を出力するとともに前記第１のメモリに格納し、
    上位階層画像を出力画像とする場合には、前記第１の予測復号手段の出力に前記簡易フィルタを乗じた下位階層擬似復号画像を前記第１のメモリに格納し、上位階層復号処理において参照する
    ことを特徴とする画像復号装置。
  9. 階層化された画像データを復号する画像復号装置のプログラムであって、
    前記プログラムは、前記画像復号装置に、
    下位階層の復号時には、下位階層データを復号した下位階層仮復号画像にフィルタを乗じて下位階層復号画像を生成する処理と、
    上位階層の復号時には、前記下位階層仮復号画像に対し前記フィルタを簡略化した簡易フィルタを乗じて下位階層擬似復号画像を生成した後、前記下位階層擬似復号画像を参照して上位階層復号データを復号する処理と
    を実行させることを特徴とする画像復号装置のプログラム。
JP2007514747A 2005-04-27 2006-04-25 画像復号方法、画像復号装置及びプログラム Expired - Fee Related JP5019053B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007514747A JP5019053B2 (ja) 2005-04-27 2006-04-25 画像復号方法、画像復号装置及びプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005130282 2005-04-27
JP2005130282 2005-04-27
JP2007514747A JP5019053B2 (ja) 2005-04-27 2006-04-25 画像復号方法、画像復号装置及びプログラム
PCT/JP2006/308656 WO2006118113A1 (ja) 2005-04-27 2006-04-25 画像復号方法、画像復号装置及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2006118113A1 JPWO2006118113A1 (ja) 2008-12-18
JP5019053B2 true JP5019053B2 (ja) 2012-09-05

Family

ID=37307913

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007514747A Expired - Fee Related JP5019053B2 (ja) 2005-04-27 2006-04-25 画像復号方法、画像復号装置及びプログラム

Country Status (3)

Country Link
US (1) US20090028452A1 (ja)
JP (1) JP5019053B2 (ja)
WO (1) WO2006118113A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006345445A (ja) * 2005-06-10 2006-12-21 Sony Corp 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム
US8077773B2 (en) * 2008-07-19 2011-12-13 Worldplay (Barbados) Inc. Systems and methods for highly efficient video compression using selective retention of relevant visual detail
US20110243222A1 (en) * 2010-04-05 2011-10-06 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using adaptive prediction filtering, method and apparatus for decoding video by using adaptive prediction filtering
JP5700968B2 (ja) * 2010-07-16 2015-04-15 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN110063059B (zh) * 2016-12-15 2022-05-13 华为技术有限公司 视频编解码方法、相关编解码器和计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07203426A (ja) * 1993-12-28 1995-08-04 Toshiba Corp 階層符号化復号化装置
JPH0818965A (ja) * 1994-06-30 1996-01-19 Sony Corp 画像データ復号方法及びその装置
JPH0937260A (ja) * 1995-07-14 1997-02-07 Sharp Corp 動画像符号化装置及び動画像復号装置
JP2001238210A (ja) * 2000-02-25 2001-08-31 Matsushita Electric Ind Co Ltd 階層型符号化装置、階層型復号化装置、映像信号伝送システム、媒体、および情報集合体
JP2002252793A (ja) * 2000-12-21 2002-09-06 Matsushita Electric Ind Co Ltd ノイズ除去装置およびノイズ除去方法
JP2004343451A (ja) * 2003-05-15 2004-12-02 Matsushita Electric Ind Co Ltd 動画像復号化方法および動画像復号化装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005316764A (ja) * 2004-04-28 2005-11-10 Toshiba Corp 情報処理装置および同装置のシステム制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07203426A (ja) * 1993-12-28 1995-08-04 Toshiba Corp 階層符号化復号化装置
JPH0818965A (ja) * 1994-06-30 1996-01-19 Sony Corp 画像データ復号方法及びその装置
JPH0937260A (ja) * 1995-07-14 1997-02-07 Sharp Corp 動画像符号化装置及び動画像復号装置
JP2001238210A (ja) * 2000-02-25 2001-08-31 Matsushita Electric Ind Co Ltd 階層型符号化装置、階層型復号化装置、映像信号伝送システム、媒体、および情報集合体
JP2002252793A (ja) * 2000-12-21 2002-09-06 Matsushita Electric Ind Co Ltd ノイズ除去装置およびノイズ除去方法
JP2004343451A (ja) * 2003-05-15 2004-12-02 Matsushita Electric Ind Co Ltd 動画像復号化方法および動画像復号化装置

Also Published As

Publication number Publication date
WO2006118113A1 (ja) 2006-11-09
US20090028452A1 (en) 2009-01-29
JPWO2006118113A1 (ja) 2008-12-18

Similar Documents

Publication Publication Date Title
US8351502B2 (en) Method and apparatus for adaptively selecting context model for entropy coding
US7379496B2 (en) Multi-resolution video coding and decoding
KR101033548B1 (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
JP5259396B2 (ja) ハイブリッド映像圧縮のための非線形予測フィルタ
US20060120448A1 (en) Method and apparatus for encoding/decoding multi-layer video using DCT upsampling
EP1715693A2 (en) Method and apparatus for adaptively selecting context model for entropy coding
US20130163660A1 (en) Loop Filter Techniques for Cross-Layer prediction
JP2008541653A (ja) スムージング予測を用いた多階層基盤のビデオエンコーディング方法、デコーディング方法、ビデオエンコーダ及びビデオデコーダ
KR20080114388A (ko) 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
JP2014523695A (ja) スケーラブルビデオ符号化技法
JP5019053B2 (ja) 画像復号方法、画像復号装置及びプログラム
US7676099B2 (en) Method of down-sampling data values
KR20080067922A (ko) 영상 축소 기능을 갖는 영상 복호화 방법 및 장치
JPH10224790A (ja) 圧縮伸張された画像中のブロック状ノイズを除去するフィルタおよびフィルタ方法
JP6269137B2 (ja) 動画像復号装置及びプログラム
JPWO2006038679A1 (ja) 動画像符号化の装置、方法及びプログラムと、動画像復号の装置方法及びプログラム
JP4762486B2 (ja) マルチ・リゾルーション・ビデオ符号化および復号化
JP5019054B2 (ja) 画像復号方法、その装置及びプログラム
JP7541439B2 (ja) 画像符号化装置、画像復号装置及びこれらのプログラム
EP1889487A1 (en) Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction
JP7514395B2 (ja) 参照画像再サンプリング（ｒｐｒ）によるルマ及びクロマのための適応アップサンプリングフィルタ
JP2019532578A (ja) 処理装置及びその制御方法
Choi et al. Macroblock-level adaptive dynamic resolution conversion technique
AU2008201768A1 (en) Method and apparatus for adaptively selecting context model for entropy coding
WO2005104560A1 (en) Method of processing decoded pictures.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120516

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120529

R150 Certificate of patent or registration of utility model

Ref document number: 5019053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150622

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees