JPWO2007148619A1 - 動画像復号装置、復号画像記録装置、それらの方法及びプログラム - Google Patents

動画像復号装置、復号画像記録装置、それらの方法及びプログラム Download PDF

Info

Publication number
JPWO2007148619A1
JPWO2007148619A1 JP2008522422A JP2008522422A JPWO2007148619A1 JP WO2007148619 A1 JPWO2007148619 A1 JP WO2007148619A1 JP 2008522422 A JP2008522422 A JP 2008522422A JP 2008522422 A JP2008522422 A JP 2008522422A JP WO2007148619 A1 JPWO2007148619 A1 JP WO2007148619A1
Authority
JP
Japan
Prior art keywords
pixel
image
decoded image
compression
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008522422A
Other languages
English (en)
Other versions
JP4973886B2 (ja
Inventor
純二 田治米
純二 田治米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008522422A priority Critical patent/JP4973886B2/ja
Publication of JPWO2007148619A1 publication Critical patent/JPWO2007148619A1/ja
Application granted granted Critical
Publication of JP4973886B2 publication Critical patent/JP4973886B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

動画像復号装置は、復号装置が対象とする圧縮符号化方式の参照する画素位置からフレーム内のある画素位置の参照されやすさが設定された参照度重み付け縮小部１０２および参照度重み付け圧縮部１０６を、実装している。参照度重み付け縮小部１０２では、参照されやすい画素に対しては、拡大後の画像特性が縮小前の画像特性を保持するようにＬＰＦの係数を定め、間引きの対象画素としないような制御をかけ縮小し、参照度重み付け圧縮部１０６は、参照されやすい画素に対しては量子化代表値の割り当てビット数(量子化代表値数)を多くするような制御をかけ、圧縮する。

Description

本発明は、圧縮符号化された動画像ビットストリームを入力とする動画像復号装置に関し、特に、復号に必要となるメモリ容量及びメモリ帯域を削減するために復号画像を縮小、あるいは縮小および圧縮する手段を備えた動画像復号装置、復号画像記録装置、それらの方法及びプログラムに関する。
近年のデジタル技術の急速な進歩に伴い、MPEG-2 VIDEO (ISO 13818-2/ITU-TH.262)、MPEG-4 Visual (ISO 14496-2)、H.264(ITU-T H.264/ISO 14496-10)などに代表されるデジタル動画像圧縮符号化方式が広く利用されるようになった。
しかし、圧縮符号化された動画像ビットストリームを入力とする動画像復号装置は、圧縮符号化方式の複雑化、復号対象画像の高解像度化により、多大なメモリ容量及びメモリ帯域を必要とし、実装する上で問題となっている。
この問題を解決する一つの方法として、復号画像を縮小、あるいは縮小および圧縮する手段を備えた動画像復号装置が開示されている。このような、復号画像を縮小、あるいは縮小および圧縮する手段を備えた動画像復号装置の代表的な技術として、例えば、特許文献１に記載されている従来の動画像復号装置を図２に示す。
この動画像復号装置は、復号部２０１(バッファ２０１１、ＶＬＤ２０１２、逆量子化２０１３、逆ＤＣＴ２０１４、加算２０１５、動き補償２０１６)と、水平ローパスフィルタ（ＬＰＦ）およびデシメーション２０２と、ブロックコンプレッサ２０３と、水平アップサンプル２０４と、ブロックデコンプレッサ２０５、２０９と、内部メモリ・バス２０６と、ＭＵＸ／ＤＥＭＵＸ（多重化／分配）２０７と、ビデオ・フレームメモリ２０８と、ディスプレイプロセッサ２１０と、ディスプレイデバイス２１１とから構成される。尚、以下の説明において、特許文献１に記載されている表示機能(ブロックデコンプレッサ２０９、ディスプレイプロセッサ２１０、ディスプレイデバイス２１１)に関しては、復号時の水平アップサンプル２０４およびブロックデコンプレッサ２０５と同様の動作となるので説明を省略する。
復号部２０１は、入力された圧縮動画像ビットストリームと、ブロックデコンプレッサ２０５で伸長、水平アップサンプル２０４で拡大された参照画像を用いて画像を復号する。復号部２０１で復号された復号画像は、水平ＬＰＦおよびデシメーション２０２で縮小され、ブロックコンプレッサ２０３で、画素ごとあるいは圧縮処理単位ごとに圧縮され、情報量が削減される。
水平ＬＰＦおよびデシメーション２０２で縮小、ブロックコンプレッサ２０３で圧縮された圧縮データは、後に復号する画像の参照画像として用いられるためにビデオ・フレームメモリ２０８へ書き込まれる。
書き込まれた圧縮データは、復号のためにブロックデコンプレッサ２０５で伸長、水平アップサンプル２０４で拡大される。
尚、説明では復号画像を縮小および圧縮する場合について述べたが、水平ＬＰＦおよびデシメーション２０２による縮小のみ、ブロックコンプレッサ２０３による圧縮のみでも情報量の削減は可能である。
また、同様の発明が、特許文献２にも開示されている。
次に具体例を用いて特許文献１に開示された動画像復号装置の効果を示す。尚、以下の説明において、特許文献１に開示された動画像復号装置の復号部２０１としてH.264を考える。
図３にH.264復号装置における復号部３１のブロック図を示す。
H.264は、MPEG-2 VIDEOやMPEG-4 Visualと同様に、動き補償と周波数変換を組み合わせたハイブリッド符号化をベースにしており、さらに新しい技術であるイントラ（空間、フレーム内)予測、デブロックフィルタが用いられている。
図４に示す水平ＬＰＦおよびデシメーション２０２として、水平1/2縮小(３タップのＬＰＦおよび偶数画素位置をダウンサンプル）、ブロックコンプレッサ２０３の圧縮符号化方式として、１次元の差分PCM(1-D DPCM)を考える。図４より輝度信号の圧縮処理単位はH.264の圧縮符号化処理単位の一つであるマクロブロック(MB: Macroblock)幅を水平1/2縮小した８画素とし、左画素を参照画素とし、予測誤差値は５ビット固定の量子化代表値を持つ非線形量子化を行う。
図５に、ある映像シーケンスにおける通常の(縮小および圧縮する手段を持たない)H.264復号装置の復号画像を基準とした、縮小および圧縮する手段を備えたH.264復号装置の復号画像のフレーム平均輝度信号PSNR(Peak Signal-to-Noise Ratio)を示す。
ここで、H.264の符号化条件は、イントラ予測フレーム間隔Ｎを１５フレーム、参照フレーム間隔Ｍを３フレームとしている。
縮小および圧縮する手段を備えた動画像復号装置では復号画像を縮小しない、かつ圧縮する圧縮符号化方式に非可逆変換方式を利用しない限り、参照画像には縮小および圧縮による歪みが含まれる。
この歪みはイントラ予測フレームが復号されるまで蓄積することになる。
このことは図５において、PSNRの劣化周期がＮフレームであることからも確認できる。
ただし、画質劣化は生じるものの、表示する画像サイズが小さい場合などの簡易的な復号の用途では、劣化を許容できる場合もあり、縮小および圧縮する手段を備えた動画像復号装置は効果がある。
特開平10-66081号公報（第9-11頁、図１） 特開平11-298892号公報(図１）
しかしながら、これらの特許文献１〜２に開示された縮小および圧縮する手段を備えた動画像復号装置は、著しい画質劣化が生じる場合がある。
具体例を用いて画質劣化の原因を説明する。
先に述べた映像シーケンスと異なる映像シーケンスを用いた場合のフレーム平均輝度信号PSNRを図６に示す。
図６ではフレーム数が、６０〜１２０フレーム及び２７０〜３００フレーム付近のイントラ予測フレームのPSNRとイントラ予測フレーム直前のPSNRとの差は10dB以上にもなる。
PSNRが低下する原因は縮小および圧縮の処理が関係している。例えば、図７に示す画像が図８に示す符号化モードで圧縮符号化されたH.264ビットストリームを考える。
図７に示した画像は、画像端から１５画素連続して黒い画素があり、１６画素目から本来の画像が始まる。また、このH.264ビットストリームにおけるインター(フレーム間)予測フレームは画像左端のMBが静止画のインター予測MBとして、右隣のMBがイントラ予測MBかつ予測モードは図９に示す水平方向予測として符号化されている。
ここで、H.264ではイントラ予測モード、イントラ予測対象のブロックサイズは複数存在するが、説明を簡単にするため、ブロックサイズが１６×１６の水平方向予測としている。このH.264ビットストリームの輝度信号を縮小および圧縮し、伸長および拡大した時の動作を図１０に示す。
イントラ予測フレームでは通常の復号画素に対して水平1/2縮小および1-D DPCM圧縮を行う。この例の場合、１５画素目から１６画素目にかけ画素値の変化が大きい。そして、ＬＰＦや、偶数画素位置のダウンサンプルによる間引きを考慮すると、１３画素目から１５画素目にかけ画素値の変化が大きくなる。通常、非線形の量子化は予測誤差値が大きい場合に歪みを許容するように設計するので、縮小および圧縮による大きな歪みが混入した１５画素目に加え、それを利用し補間される１６画素目にも歪みが混入する。
インター予測フレームの画像左端のMBは多くの画素が黒い画素であるので静止画として符号化される。その結果、イントラ予測フレームにおける同位置のMBが参照画素となる。右隣のMBはイントラ予測MBかつ水平方向予測なので画像左端MBの１６画素目の一列が参照画素となる。ここで、このMBの参照画素はイントラ予測フレームの縮小および圧縮で生じた歪みを含んでいる。その結果、図９に示した水平方向予測で予測画像を作成すると縮小および圧縮による歪みはMB全体に伝播する。
このように、イントラ予測では参照画素として周辺画素を利用するので、縮小および圧縮による歪みはMBだけでなく、イントラ予測MBが連続する場合、歪みは空間的にも伝播する。
さらに、このインター予測フレームが参照フレームとして利用される場合、歪みは時間的にも伝搬する。その結果、著しい画質劣化が生じる。
従って、従来の縮小、あるいは縮小および圧縮する手段を備えた動画像復号装置の問題点は、時間的、空間的な歪みの伝搬を考慮せずに、各処理単位の歪みが最小となるように縮小および圧縮していることである。
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、時間的、空間的な圧縮による歪みの伝搬、すなわち画質劣化を抑制できる縮小手段、あるいは縮小および圧縮手段を備えた動画像復号装置、復号画像記録装置、それらの方法及びプログラムを提供することにある。
上記課題を解決する本発明は、予測処理を利用して圧縮符号化された動画像ビットストリームを画像信号へ復号する復号手段と、前記復号手段により得られた復号画像信号を縮小し、縮小画像を得る縮小手段と、前記縮小手段により得られた縮小画像を保持する予測フレームメモリ手段と、前記予測フレームメモリ手段に保持された縮小画像を読み出し、これを拡大した後に前記復号手段の予測処理で利用するデータとして供給する拡大手段と、前記予測フレームメモリ手段に対する縮小画像の書き込み、又は、読み出しを制御するアドレス制御手段とを有する動画像復号装置において、前記縮小手段は、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御を行うように構成されていることを特徴とする。
上記課題を解決する本発明は、予測画像符号化復号方法の予測画像を作成するための復号画像の記録方法であって、復号画像を縮小して記録する時に、前記復号画像の領域が予測で参照される頻度を推定し、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにすることを特徴とする。
上記課題を解決する本発明は、予測画像符号化復号方法の予測画像を作成するための復号画像の記録方法であって、復号画像を縮小および圧縮して記録する時に、前記復号画像の領域が予測で参照される頻度を推定し、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも、拡大後の画素値が縮小前の画素値に近い値をとるようし、かつ、高い精度で圧縮することを特徴とする。
上記課題を解決する本発明は、予測画像符号化復号方法の予測画像を作成するための復号画像を記録するプログラムであって、復号画像を縮小して記録する時に、前記復号画像の領域が予測で参照される頻度を推定する処理と、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにする処理とを情報処理装置に実行させることを特徴とする。
上記課題を解決する本発明は、予測画像符号化復号方法の予測画像を作成するための復号画像を記録するプログラムであって、復号画像を縮小および圧縮して記録する時に、前記復号画像の領域が予測で参照される頻度を推定する処理と、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにする処理と、高い精度で圧縮する処理と、を情報処理装置に実行させることを特徴とする。
上記課題を解決する本発明は、予測画像符号化復号方法の予測画像を作成するための復号画像の記録装置であって、復号画像を縮小して記録する時に、前記復号画像の領域が予測で参照される頻度を推定し、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにする縮小手段を有することを特徴とする。
上記課題を解決する本発明は、予測画像符号化復号方法の予測画像を作成するための復号画像の記録装置であって、復号画像を縮小および圧縮して記録する時に、前記復号画像の領域が予測で参照される頻度を推定し、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにする縮小手段および高い精度で圧縮する圧縮手段を有することを特徴とする。
上記課題を解決する本発明は、復号画像信号を縮小し、縮小画像を得る動画像復号方法において、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御することを特徴とする。
上記課題を解決する本発明は、復号画像信号を縮小し、画素ごとに、異なるビット数を割り当てた量子化を行って圧縮処理を行い、圧縮データを得る動画像復号方法において、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御し、かつ、量子化代表値を表す割当ビット数を多くするように圧縮データ量を制御することを特徴とする。
上記課題を解決する本発明は、復号画像信号を縮小し、縮小画像を得る動画像復号方法におけるプログラムであって、前記プログラムは、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御する処理を情報処理装置に実行させることを特徴とする。
上記課題を解決する本発明は、復号画像信号を縮小し、画素ごとに、異なるビット数を割り当てた量子化を行って圧縮処理を行い、圧縮データを得る動画像復号方法において、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御し、かつ、量子化代表値を表す割当ビット数を多くするように圧縮データ量を制御することを特徴とする。
上記課題を解決する本発明は、復号画像信号を縮小し、縮小画像を得る動画像復号方法におけるプログラムであって、前記プログラムは、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御する処理を情報処理装置に実行させることを特徴とする。
上記課題を解決する本発明は、復号画像信号を縮小し、画素ごとに、異なるビット数を割り当てた量子化を行って圧縮処理を行い、圧縮データを得る動画像復号方法におけるプログラムであって、前記プログラムは、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御し、かつ、量子化代表値を表す割当ビット数を多くするように圧縮データ量を制御する処理を情報処理装置に実行させることを特徴とする。
本発明の効果は、縮小または圧縮による歪み、すなわち画質劣化を抑制できる縮小手段、あるいは縮小および圧縮手段を備えた動画像復号装置及びその技術を提供することができる。
その理由は、復号装置が対象とする圧縮符号化方式の参照する画素位置からフレーム内のある画素位置の参照されやすさを予め設定して、参照度重み付け縮小部１０２あるいは参照度重み付け圧縮部１０６を実装するので、参照度重み付け縮小部１０２では、参照されやすい画素に対しては、拡大後の画像特性が縮小前の画像特性を保持するようにＬＰＦの係数を定め、間引きの対象画素としないような制御をかけ、縮小し、参照度重み付け圧縮部１０６では、参照されやすい画素に対しては、量子化代表値の割り当てビット数(量子化代表値数)を多くするような制御をかけ、圧縮する。その結果、参照されやすい画素の歪みを軽減し、時間的、空間的な歪みの伝搬を抑制することが可能となるからである。
ここで、参照されやすさは、圧縮符号化方式の参照する画素位置に加え、復号装置が対象とする圧縮符号化方式の圧縮符号化処理単位、参照度重み付け縮小部が対象とする縮小率、画素の間引き位置、参照度重み付け圧縮部が対象とする圧縮符号化方式の参照する画素位置、圧縮処理単位、圧縮率のいずれか一つ以上を用いて設定してもよい。
本発明の実際の効果として、図６の結果に実施例２の結果を加えたフレーム平均輝度信号PSNRを、図２２に示す。図２２中、Embodiment2が実施例２を示している。
図より本発明ではPSNRの劣化が抑制できていることが分かる。
本発明の実施形態の構成を示すブロック図である。 特許文献1に開示された動画像復号装置の構成を示すブロック図である。 特許文献1に開示された動画像復号装置においてH.264を用いた構成例を示すブロック図である。 復号画像の縮小および圧縮に利用する圧縮符号化方式の一例を示す図である。 従来の動画像復号装置の効果を示すグラフである。 従来の動画像復号装置の問題点を示すグラフである。 従来の動画像復号装置の問題点を説明するための具体例である。 従来の動画像復号装置の問題点を説明するための具体例である。 H.264イントラ予測モードを説明する図である。 縮小および圧縮による歪み発生原因を説明する図である。 本発明の第２の実施形態の構成を示すブロック図である。 実施例１における各画素位置の参照度を示す図である。 実施例１における各画素位置の別の参照度を示す図である。 実施例１における各画素位置の別の参照度を示す図である。 実施例２における各画素位置の量子化代表値の割り当てビット数および参照関係を示す図である。 実施例２における各画素位置の縮小時の参照度、量子化代表値の割り当てビット数および参照関係を示す図である。 実施例２における各画素位置の量子化代表値の割り当てビット数および参照関係を示す図である。 実施例２における各画素位置の量子化代表値の割り当てビット数および参照関係を示す図である。 実施例２における各画素位置の量子化代表値の割り当てビット数および参照関係を示す図である。 実施例２における各画素位置の量子化代表値の割り当てビット数および参照関係を示す図である。 実施例３における本発明による動画像復号装置をインプリメントした情報処理システムの一般的ブロック構成図である。 図６の結果に実施例２の結果を加えたフレーム平均輝度信号PSNRを示した図である。
符号の説明
１０１、２０１、３１ 復号部
１０２ 参照度重み付け縮小部
１０３ 予測フレームメモリ部
１０４ 拡大部
１０５ アドレス制御部
１０６ 参照度重み付け圧縮部
１０７ 伸長部
２０２ 水平ローパスフィルタおよびデシメーション
２０３ ブロックコンプレッサ
２０４ 水平アップサンプル
２０５、２０９ ブロックデコンプレッサ
２０６ 内部メモリ・バス
２０７ 多重化／分配
２０８ ビデオ・フレームメモリ
２１０ ディスプレイプロセッサ
２１１ ディスプレイデバイス
２０１１、３０１ バッファ
２０１２ 可変長復号
２０１３、３０３ 逆量子化
２０１４ 逆離散コサイン変換
２０１５、３０５ 加算
２０１６、３０６ 動き補償
３０２ 可変長復号
３０４ 逆整数変換
３０７ イントラ予測
３０８ デブロックフィルタ
次に、本発明の実施の形態について図面を参照して詳細に説明する。
図１は、本発明の実施形態による動画像復号装置の全体構成を示すブロック図である。
本実施の形態の動画像復号装置は、復号部１０１と、参照度重み付け縮小部１０２と、予測フレームメモリ部１０３と、拡大部１０４と、アドレス制御部１０５とから構成される。
次に、本実施の形態の動画像復号装置の動作を説明する。
復号部１０１は、入力された圧縮動画像ビットストリームと、拡大部１０４で拡大された参照画像を用いて画像を復号する。復号部１０１で復号された復号画像は、参照度重み付け縮小部１０２で、縮小され、情報量が削減される。
参照度重み付け縮小部１０２で縮小された画像は、後に復号する画像の参照画像として用いられるために予測フレームメモリ部１０３へ書き込まれる。書き込みにおいては、アドレス制御部１０５は、縮小画像を書き込むフレームメモリのアドレスを作成し、アドレス線を介して、予測フレームメモリ部１０３に供給する。
書き込まれた縮小画像は、復号のために拡大部１０４で拡大される。
ここで参照度とは、フレーム内のある画素位置の参照されやすさ(予測に利用される頻度)を表し、正確な参照度は圧縮動画像ビットストリームを解析することで求めることもできる。しかし、本実施の形態では、復号装置が対象とする圧縮符号化方式の参照する画素位置から予め参照度を推定し定める。
参照度重み付け縮小部１０２は、復号画像を縮小するという点では水平ＬＰＦおよびデシメーション２０２と同様の動作をする。しかし、参照度重み付け縮小部１０２の縮小方式は推定された参照度を考慮して設計され、実装されているので、参照度が大きい画素値に対しては拡大後の画像特性が縮小前の画像特性を保持するようにＬＰＦの係数を定め、間引きの対象画素としないような制御をかけ、縮小する。ここで、参照度は圧縮符号化方式の参照する画素位置に加え、復号装置が対象とする圧縮符号化方式の圧縮符号化処理単位、参照度重み付け縮小部１０２の縮小率、画素の間引き位置のいずれか一つ以上を用いて設定してもよい。
次に、本発明の第２の発明を実施するための最良の形態について図面を参照して詳細に説明する図１１は、本発明の第２の実施形態による動画像復号装置の全体構成を示すブロック図である。
第２の実施形態の動画像復号装置は、第１の実施形態の動画像復号装置に参照度重み付け圧縮部１０６、伸長部１０７を追加した構成となる。
復号部１０１は、入力された圧縮動画像ビットストリームと、伸長部１０７で伸長、拡大部１０４で拡大された参照画像を用いて画像を復号する。復号部１０１で復号された復号画像は、参照度重み付け縮小部１０２で縮小され、参照度重み付け圧縮部１０６で画素ごとあるいは圧縮処理単位ごとに、圧縮され、情報量が削減される。
参照度重み付け縮小部１０２で縮小、参照度重み付け圧縮部１０６で圧縮された圧縮データは、後に復号する画像の参照画像として用いられるために予測フレームメモリ部１０３へ書き込まれる。書き込みにおいては、アドレス制御部１０５は、圧縮データを書き込むフレームメモリのアドレスを作成し、アドレス線を介して、予測フレームメモリ部１０３に供給する。
書き込まれた圧縮データは、復のために伸長部１０７で伸長、拡大部１０４で拡大される。
参照度重み付け圧縮部１０６は、復号画像を圧縮するという点ではブロックコンプレッサ２０３と同様の動作をする。しかし、参照度重み付け圧縮部１０６が対象とする圧縮符号化方式は推定された参照度を考慮して設計され、実装されている。ここで、参照度は圧縮符号化方式の参照する画素位置に加え、復号装置が対象とする圧縮符号化方式の圧縮符号化処理単位、参照度重み付け縮小部１０２の縮小率、画素の間引き位置、参照度重み付け圧縮部１０６が対象とする圧縮符号化方式の参照する画素位置、圧縮処理単位、圧縮率のいずれか一つ以上を用いて設定してもよい。
次に、具体的な実施例を用いて本発明を実施するための最良の形態の構成および動作を説明する。
本実施例では、復号部１０１としてH.264を用い、参照度重み付け縮小部１０２では水平1/2の縮小を行う。
ここで、参照度重み付け縮小部１０２における参照度は、H.264のイントラ予測の参照画素位置および圧縮符号化処理単位、縮小率、画素の間引き位置から決定する。例えばH.264の圧縮符号化処理単位としては2、4、8、16が考えられる。また、本実施例の場合、縮小率は1/2となる。
参照度は式１（数１）で定める。
Figure 2007148619
この参照度はH.264のイントラ予測の参照画素位置および縮小率、ダウンサンプルにおける画素の間引き位置を考慮しており、R0>R1>R2を満たしている。
参照度重み付け縮小部１０２で用いるＬＰＦは、参照度に応じてフィルタの強度を変更する。
具体的には参照度が大きいものほど、拡大後の画像特性が縮小前の画像特性を保持するようにする。参照度R1に対して(4, 8, 4)/16のような３タップのフィルタ処理を行う場合、R1より参照度の大きいR0に対しては拡大後の画像特性が縮小前の画像特性を保持するように(3, 10, 3)/16や(0, 16, 0)/16のフィルタ処理を行う。また、最も参照度の小さいR2はダウンサンプルの間引き対象画素とする。
本実施例における参照度を図１２に示す。
本実施例では、イントラ予測の参照画素位置および縮小率から参照度R0, R1, R2を設定し、参照度の大きい画素に対しては拡大後の画像特性が縮小前の画像特性を保持するようにＬＰＦの係数を定め、間引きの対象画素としないような制御をかけ縮小する。
その結果、図７、８、１０のような例では縮小による歪みを抑制できる。
また、本実施例では参照度を定めるためにイントラ予測の参照画素位置、縮小率、画素の間引き位置を考慮したが、縮小画像のエイリアシングを減らすには参照度R0となる画素は減らした方がよい。
例えば、図１３に示すようにMB境界のイントラ参照画素位置のみをR0と定めることで、R0となる画素を減らせる。
また、R0となる画素をさらに減らすため、もしくは実装を容易にするため図１４に示すように縦方向MB境界のイントラ参照画素位置のみをR0を定めることも可能である。
また、本実施例では３種類の参照度を定めたが、３種類よりも多くの参照度を定めることも可能である。
また、本実施例では３タップフィルタを用いたが、参照度に応じて任意のタップ数のフィルタを定めることも可能である。
また、本実施例では水平方向の縮小を用いたが、垂直方向の縮小および水平、垂直方向の縮小も同様に参照度を定めることが可能である。
次に、具体的な実施例を用いて本発明を実施するため第２の実施の形態の構成および動作を説明する。
本実施例では、復号部１０１、参照度重み付け縮小部１０２は実施例１と同様であるので説明を省略し、動作の異なる参照度重み付け圧縮部の動作を説明する。
参照度重み付け圧縮部１０６の圧縮符号化方式として1-D DPCMを用いる。
ここで、1-D DPCMではX画素を圧縮処理単位とする。Xの値は、H.264の圧縮符号化処理単位、実装の容易さから決定する。
実施例１における参照度も考慮し、参照度重み付け圧縮部で用いる参照度を式２（数２）で定める。
Figure 2007148619
 この参照度はH.264の「イントラ予測符号化対象ブロックの左ブロックを参照画素として利用する」という参照される画素位置を考慮しており、R0>R1を満たしている。
参照度重み付け圧縮部１０６に用いる1-D DPCMでは、参照度をそのまま量子化代表値の割り当てビット数として用いる。この場合、参照度重み付け圧縮部の圧縮率はR0、R1で決まる。
本実施例における量子化代表値の割り当てビット数および参照関係を図１５に示す。
本実施例では、圧縮処理単位の右端画素を予測画素の起点とし、右画素を予測画素とする。
図１２に示した縮小部で利用する参照度に対して、本実施例でXの値を８として用いた場合、図１６に示すように各MBの参照画素となる周辺画素に対して量子化代表値の割り当てビット数をR0にすることになる。
その結果、図７、８、１０のような例では縮小および圧縮による歪みを抑制できる。
また、本実施例では図１２に示した縮小部で利用する参照度の例を示したが、これに限らず、図１３、１４など様々な縮小方式の組み合わせに適応できる。
また、本実施例では圧縮処理単位内で２つの参照度を定めたが、各画素毎に参照度を定めることも可能である。
この時、参照度の設定の際に1-D DPCMの「右画素を予測画素とする」という予測画素位置を考慮すると、左端画素に近いほど歪みの伝搬は小さくなるので、圧縮処理単位内の右画素ほど参照度を大きくするように定めることも可能である。
また、本実施例では右画素、図４では左画素を予測画素としていたが、上画素もしくは下画素を予測画素とすることも可能である。ただし、H.264の「イントラ予測符号化対象ブロックの上ブロックを参照画素として利用する」という参照画素位置を考慮すれば、垂直画素位置に対しても式２（数２）と同様の参照度を定め、下画素を予測画素にすべきである。
図１６の実施例では右画素を予測画素としていた。図１６の実施例の圧縮符号化方式を用いてラスタスキャン表示をする場合、表示順に並び替えるために復号画像を一時的に保持しておく必要があり、実用上望ましくない場合がある。そこで、本実施例３では参照度を式３（数３）で定める。
Figure 2007148619
 式３（数３）で定めた参照度を利用すると、参照度R0となる画素の水平位置をずらすことが可能になり、左画素を予測画素としながらも実施例２と同様の効果を得ることができる。
本実施例において、Xを８とした場合の量子化代表値の割り当てビット数および参照関係を図１７に示す。
各MBの参照画素となる周辺画素の割り当てビット数は図１６と同じになる。
上述した図１６、１７の実施例は、図７、８、１０で示したように参照画素を含むブロックが静止画として符号化されていれば有効である。しかし、一般的には全てのブロックが静止画として符号化されることはなく、従来の圧縮する手段を備えた動画像復号装置と同様の問題が生じる可能性がある。そこで、本実施例ではインター予測で参照されるブロック内に、割り当てビット数がR0となる参照画素が含まれる確率が高くなるように参照度を定める。
具体的には、縦または横に隣接する画素と参照度が等しくならないように定める。一例として式４（数４）で参照度を定める。
Figure 2007148619
 本実施例における量子化代表値の割り当てビット数および参照関係を図１８に示す。
Ｘ＝２、４、８として本実施例を用いた場合、図１５に示すように各MBの参照画素となる周辺画素に対してR0(>R1)ビットを割り当てることになる。
インター予測で静止画ブロックが参照された場合は、図１２等に比べ割り当てビット数がR0となる参照画素は減るが、一般的なインター予測を考えた場合、参照ブロック内に割り当てビット数がR0となる参照画素が含まれる確率は高くなる。
この例では1ラインごとに参照度、参照関係を設定したが、例えば、式５（数５）および図１９に示すようにX種類のものを設定することも可能である。
Figure 2007148619
 ここで、本実施例ではイントラ予測だけでなく、インター予測の参照画素に対しても同様の効果が得られる。そこで、復号部１０１としてH.264以外のインター予測を用いた圧縮符号化方式を利用することができる。
上述した図１６〜１９の実施例では参照度重み付け圧縮部１０６の圧縮符号化方式として1-D DPCMを用いていた。
本発明は圧縮符号化方式としては任意の方式を用いることができる。そこで本実施例では圧縮符号化方式として２次元DPCM (2-D DPCM)を用いる。
2-D DPCMは、横X画素×縦Y画素のブロックを圧縮処理単位とする。X、Yの値はH.264の圧縮符号化処理単位、圧縮率、実装の容易さ等から決定するもので、２、４、８、１６が考えられる。参照度は式６（数６）で定める。
Figure 2007148619
 この参照度はH.264の「符号化対象ブロックの左ブロックを参照画素として利用する」、「イントラ予測符号化対象ブロックの上ブロックを参照画素として利用する」という参照される画素位置を考慮している。
参照度重み付け圧縮部１０６に用いる2-D DPCMでは1-D DPCM同様、参照度をそのまま量子化代表値の割り当てビット数として用いる。
本実施例における量子化代表値の割り当てビット数および参照関係を図２０に示す。
本実施例では圧縮処理単位の右下端画素を予測画素の起点とし、1-D DPCMを用いる画素は右または下画素を予測画素とし、2-D DPCMを用いる画素は右、下、右下の3画素を予測画素とする。
本発明による動画像復号装置は、以上の説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
図２１は、本発明による動画像復号装置をインプリメントした情報処理システムの一般的ブロック構成図である。
図２１に示す情報処理システムは、プロセッサ４００、プログラムメモリ４０１，記憶媒体４０２からなる。記憶媒体４０２は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ＲＡＭや、ハードディスク等の磁気記憶媒体を用いることができ、上述した予測フレームメモリ部１０３の役割を果たす。
プログラムメモリ４０１には、上述した復号部１０１と、参照度重み付け縮小部１０２と、拡大部１０４と、アドレス制御部１０５と、参照度重み付け圧縮部１０６と、伸長部１０７との各部の処理を、プロセッサ４００に行わせるプログラムが格納されており、このプログラムによってプロセッサ４００は動作する。
このように、コンピュータプログラムにより実現することも可能である。
尚、復号部１０１、参照度重み付け縮小部１０２、拡大部１０４、アドレス制御部１０５、参照度重み付け圧縮部１０６および伸長部１０７の全てをプログラムで動作させる必要はなく、一部をハードウェアで構成してもかまわない。
本発明の活用例として、デジタル放送チューナ、ＨＤＤレコーダ、ＤＶＤプレーヤのようなデジタル動画像復号装置が挙げられる。
本出願は、２００６年６月２１日に出願された日本出願特願２００６−１７１２１８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (38)

  1. 予測処理を利用して圧縮符号化された動画像ビットストリームを画像信号へ復号する復号手段と、前記復号手段により得られた復号画像信号を縮小し、縮小画像を得る縮小手段と、前記縮小手段により得られた縮小画像を保持する予測フレームメモリ手段と、前記予測フレームメモリ手段に保持された縮小画像を読み出し、これを拡大した後に前記復号手段の予測処理で利用するデータとして供給する拡大手段と、前記予測フレームメモリ手段に対する縮小画像の書き込み、又は、読み出しを制御するアドレス制御手段とを有する動画像復号装置において、
    前記縮小手段は、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御を行うように構成されていることを特徴とする動画像復号装置。
  2. 前記縮小手段により得られた縮小画像を画素ごとに異なるビット数を割り当てた量子化を行って圧縮処理を行い、圧縮データを得る圧縮手段と、前記圧縮手段により得られた圧縮データを保持する前記予測フレームメモリ手段と、前記予測フレームメモリ手段に保持された圧縮データを読み出し、圧縮データを伸張した後に前記拡大手段へ供給する伸張手段と、前記予測フレームメモリ手段に対する圧縮データの書き込み、又は、読み出しを制御する前記アドレス制御手段とを有する動画像復号装置において、
    前記参照度の大きい画素に対しては、量子化代表値を表す割当ビット数を多くするように圧縮データ量制御を行うように構成されていることを特徴とする請求項１に記載の動画像復号装置。
  3. 前記圧縮符号化方式はフレーム内予測を用いた圧縮符号化方式であり、前記圧縮符号化方式において予測画像作成の際に参照される画素位置は、フレーム内予測画像作成の際に参照される画素位置であることを特徴とする請求項１又は請求項２に記載の動画像復号装置。
  4. 前記参照度は、前記圧縮符号化方式における圧縮符号化処理単位、前記縮小手段における縮小率、又は、前記縮小手段における画素の間引き位置のいずれか一つ以上を用いて定めることを特徴とする請求項１から請求項３のいずれかに記載の動画像復号装置。
  5. 前記参照度は、前記圧縮符号化方式における圧縮符号化処理単位、前記縮小手段における縮小率、前記縮小手段における画素の間引き位置、前記圧縮手段において予測画像作成の際に参照される画素位置、前記圧縮手段における圧縮処理単位、又は、前記圧縮手段における圧縮率のいずれか一つ以上を用いて定めることを特徴とする請求項２又は請求項３に記載の動画像復号装置。
  6. 前記圧縮手段は、圧縮処理単位の画素の一つを基準画素とし、前記基準画素の量子化を行い、前記基準画素以外の画素に関しては、隣接する画素との差分に対して量子化を行うように構成されていることを特徴とする請求項３から請求項５のいずれかに記載の動画像復号装置。
  7. 前記圧縮手段における圧縮処理単位内で最大の参照度は、縦または横に隣接する画素と参照度が等しくならないように定めることを特徴とする請求項６に記載の動画像復号装置。
  8. 予測画像符号化復号方法の予測画像を作成するための復号画像の記録方法であって、
    復号画像を縮小して記録する時に、前記復号画像の領域が予測で参照される頻度を推定し、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにすることを特徴とする復号画像記録方法。
  9. 予測画像符号化復号方法の予測画像を作成するための復号画像の記録方法であって、
    復号画像を縮小および圧縮して記録する時に、前記復号画像の領域が予測で参照される頻度を推定し、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも、拡大後の画素値が縮小前の画素値に近い値をとるようし、かつ、高い精度で圧縮することを特徴とする復号画像記録方法。
  10. 前記復号画像の領域が予測で参照される頻度の推定は、復号画像の領域内の予測で参照される画素位置の数で推定することを特徴とする請求項８又は請求項９に記載の復号画像記録方法。
  11. 前記予測画像符号化復号方法は、フレーム内予測を用いた予測画像符号化復号方法であり、前記予測で参照される画素位置は、フレーム内予測画像を作成する際に参照される画素位置であることを特徴とする請求項１０に記載の復号画像記録方法。
  12. 前記画復号像の領域が予測で参照される頻度の推定は、前記予測画像符号化復号方法における予測画像符号化処理単位、復号画像の縮小方法における縮小率、又は、復号画像の縮小方法における画素の間引き位置のいずれか一つ以上を用いて推定することを特徴とする請求項１０又は請求項１１に記載の復号画像記録方法。
  13. 前記画復号像の領域が予測で参照される頻度の推定は、前記予測画像符号化復号方法における予測画像符号化処理単位、復号画像の縮小方法における縮小率、復号画像の縮小方法における画素の間引き位置、復号画像の圧縮方法における予測画像作成の際に参照される画素位置、復号画像の圧縮方法における圧縮処理単位、又は、復号画像の圧縮方法における圧縮率のいずれか一つ以上を用いて推定することを特徴とする請求項１０又は請求項１１に記載の復号画像記録方法。
  14. 前記復号画像の圧縮方法は、圧縮処理単位の画素の一つを基準画素とし、前記基準画素の量子化を行い、前記基準画素以外の画素に関しては、隣接する画素との差分に対して量子化を行うことを特徴とする請求項１３に記載の復号画像記録方法。
  15. 予測画像符号化復号方法の予測画像を作成するための復号画像を記録するプログラムであって、
    復号画像を縮小して記録する時に、前記復号画像の領域が予測で参照される頻度を推定する処理と、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにする処理とを情報処理装置に実行させることを特徴とするプログラム。
  16. 予測画像符号化復号方法の予測画像を作成するための復号画像を記録するプログラムであって、
    復号画像を縮小および圧縮して記録する時に、前記復号画像の領域が予測で参照される頻度を推定する処理と、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにする処理と、高い精度で圧縮する処理と、を情報処理装置に実行させることを特徴とするプログラム。
  17. 前記復号画像の領域が予測で参照される頻度を推定する処理は、復号画像の領域内の予測で参照される画素位置の数で推定することを特徴とする請求項１５又は請求項１６に記載のプログラム。
  18. 前記予測画像符号化復号方法は、フレーム内予測を用いた予測画像符号化復号方法であり、前記予測で参照される画素位置は、フレーム内予測画像を作成する際に参照される画素位置であることを特徴とする請求項１７に記載のプログラム。
  19. 前記画復号像の領域が予測で参照される頻度を推定する処理は、前記予測画像符号化復号方法における予測画像符号化処理単位、復号画像の縮小方法における縮小率、又は、復号画像の縮小方法における画素の間引き位置のいずれか一つ以上を用いて推定することを特徴とする請求項１７又は請求項１８に記載のプログラム。
  20. 前記画復号像の領域が予測で参照される頻度を推定する処理は、前記予測画像符号化復号方法における予測画像符号化処理単位、復号画像の縮小方法における縮小率、復号画像の縮小方法における画素の間引き位置、復号画像の圧縮方法における予測画像作成の際に参照される画素位置、復号画像の圧縮方法における圧縮処理単位、又は、復号画像の圧縮方法における圧縮率のいずれか一つ以上を用いて推定することを特徴とする請求項１７又は請求項１８に記載のプログラム。
  21. 前記復号画像の圧縮方法は、圧縮処理単位の画素の一つを基準画素とし、前記基準画素の量子化を行い、前記基準画素以外の画素に関しては、隣接する画素との差分に対して量子化を行うことを特徴とする請求項２０に記載のプログラム。
  22. 予測画像符号化復号方法の予測画像を作成するための復号画像の記録装置であって、
    復号画像を縮小して記録する時に、前記復号画像の領域が予測で参照される頻度を推定し、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにする縮小手段を有することを特徴とする復号画像記録装置。
  23. 予測画像符号化復号方法の予測画像を作成するための復号画像の記録装置であって、
    復号画像を縮小および圧縮して記録する時に、前記復号画像の領域が予測で参照される頻度を推定し、参照頻度の高い復号画像の領域を、参照頻度の低い復号画像の領域よりも拡大後の画素値が縮小前の画素値に近い値をとるようにする縮小手段および高い精度で圧縮する圧縮手段を有することを特徴とする復号画像記録装置。
  24. 前記縮小手段あるいは前記圧縮手段は、復号画像の領域内の予測で参照される画素位置の数に基づいて、前記復号画像の領域が予測で参照される頻度を推定することを特徴とする請求項２２又は請求項２３に記載の復号画像記録装置。
  25. 前記予測画像符号化復号方法は、フレーム内予測を用いた予測画像符号化復号方法であり、前記予測で参照される画素位置は、フレーム内予測画像を作成する際に参照される画素位置であることを特徴とする請求項２４に記載の復号画像記録装置。
  26. 前記縮小手段は、前記予測画像符号化復号方法における予測画像符号化処理単位、復号画像の縮小方法における縮小率、又は、復号画像の縮小方法における画素の間引き位置のいずれか一つ以上を用いて、前記画復号像の領域が予測で参照される頻度を推定することを特徴とする請求項２４又は請求項２５に記載の復号画像記録装置。
  27. 前記縮小手段および前記圧縮手段は、前記予測画像符号化復号方法における予測画像符号化処理単位、復号画像の圧縮方法における予測画像作成の際に参照される画素位置、復号画像の縮小方法における縮小率、復号画像の縮小方法における画素の間引き位置、復号画像の圧縮方法における圧縮処理単位、又は、復号画像の圧縮方法における圧縮率のいずれか一つ以上を用いて、前記画復号像の領域が予測で参照される頻度を推定することを特徴とする請求項２４又は請求項２５に記載の復号画像記録装置。
  28. 前記復号画像の圧縮方法は、圧縮処理単位の画素の一つを基準画素とし、前記基準画素の量子化を行い、前記基準画素以外の画素に関しては、隣接する画素との差分に対して量子化を行うことを特徴とする請求項２７に記載の復号画像記録装置。
  29. 復号画像信号を縮小し、縮小画像を得る動画像復号方法において、
    圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御することを特徴とする動画像復号方法。
  30. 復号画像信号を縮小し、画素ごとに、異なるビット数を割り当てた量子化を行って圧縮処理を行い、圧縮データを得る動画像復号方法において、
    圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御し、かつ、量子化代表値を表す割当ビット数を多くするように圧縮データ量を制御することを特徴とする動画像復号方法。
  31. 前記圧縮符号化方式はフレーム内予測を用いた圧縮符号化方式であり、前記圧縮符号化方式において予測画像作成の際に参照される画素位置は、フレーム内予測画像作成の際に参照される画素位置であることを特徴とする請求項２９又は請求項３０に記載の動画像復号方法。
  32. 前記参照度は、前記圧縮符号化方式における圧縮符号化処理単位、復号画像の縮小処理における縮小率、又は、復号画像の縮小処理における画素の間引き位置のいずれか一つ以上を用いて定めることを特徴とする請求項２９又は請求項３１に記載の動画像復号方法。
  33. 前記参照度は、前記圧縮符号化方式における圧縮符号化処理単位、復号画像の縮小処理における縮小率、復号画像の縮小処理における画素の間引き位置、復号画像の圧縮処理において予測画像作成の際に参照される画素位置、復号画像の圧縮処理における圧縮処理単位、又は、復号画像の圧縮処理における圧縮率のいずれか一つ以上を用いて定めることを特徴とする請求項３０又は請求項３１に記載の動画像復号方法。
  34. 圧縮処理単位の画素の一つを基準画素とし、前記基準画素の量子化を行い、前記基準画素以外の画素に関しては、隣接する画素との差分に対して量子化を行うことを特徴とする請求項３３に記載の動画像復号方法。
  35. 復号画像信号を縮小し、縮小画像を得る動画像復号方法におけるプログラムであって、
    前記プログラムは、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御する処理を情報処理装置に実行させることを特徴とするプログラム。
  36. 復号画像信号を縮小し、画素ごとに、異なるビット数を割り当てた量子化を行って圧縮処理を行い、圧縮データを得る動画像復号方法において、
    圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御し、かつ、量子化代表値を表す割当ビット数を多くするように圧縮データ量を制御することを特徴とする動画像復号方法。
  37. 復号画像信号を縮小し、縮小画像を得る動画像復号方法におけるプログラムであって、
    前記プログラムは、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御する処理を情報処理装置に実行させることを特徴とするプログラム。
  38. 復号画像信号を縮小し、画素ごとに、異なるビット数を割り当てた量子化を行って圧縮処理を行い、圧縮データを得る動画像復号方法におけるプログラムであって、
    前記プログラムは、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度を定め、参照度の大きい画素に対しては、拡大後の画素値が縮小前の画素値に近い値をとるように制御し、かつ、量子化代表値を表す割当ビット数を多くするように圧縮データ量を制御する処理を情報処理装置に実行させることを特徴とするプログラム。
JP2008522422A 2006-06-21 2007-06-15 動画像復号装置、復号画像記録装置、それらの方法及びプログラム Active JP4973886B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008522422A JP4973886B2 (ja) 2006-06-21 2007-06-15 動画像復号装置、復号画像記録装置、それらの方法及びプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006171218 2006-06-21
JP2006171218 2006-06-21
PCT/JP2007/062086 WO2007148619A1 (ja) 2006-06-21 2007-06-15 動画像復号装置、復号画像記録装置、それらの方法及びプログラム
JP2008522422A JP4973886B2 (ja) 2006-06-21 2007-06-15 動画像復号装置、復号画像記録装置、それらの方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2007148619A1 true JPWO2007148619A1 (ja) 2009-11-19
JP4973886B2 JP4973886B2 (ja) 2012-07-11

Family

ID=38833361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008522422A Active JP4973886B2 (ja) 2006-06-21 2007-06-15 動画像復号装置、復号画像記録装置、それらの方法及びプログラム

Country Status (2)

Country Link
JP (1) JP4973886B2 (ja)
WO (1) WO2007148619A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8542730B2 (en) 2008-02-22 2013-09-24 Qualcomm, Incorporated Fast macroblock delta QP decision
WO2011138912A1 (ja) * 2010-05-06 2011-11-10 日本電気株式会社 映像符号装置、映像復号装置、映像符号方法、映像復号方法及びプログラム
WO2012014472A1 (ja) * 2010-07-29 2012-02-02 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、及び動画像復号装置
CN103329527B (zh) * 2011-01-12 2017-03-01 西门子公司 在视频编码器中参考图像的压缩和解压缩
JP5651628B2 (ja) 2012-03-22 2015-01-14 株式会社東芝 磁気記録媒体の製造方法
JPWO2014050676A1 (ja) * 2012-09-28 2016-08-22 ソニー株式会社 画像処理装置および方法
JP5845202B2 (ja) 2013-03-22 2016-01-20 株式会社東芝 画像圧縮装置および画像処理システム
JP6005572B2 (ja) 2013-03-28 2016-10-12 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01251974A (ja) * 1988-03-31 1989-10-06 Hitachi Ltd 符号化装置および復号化装置
JPH08116539A (ja) * 1994-10-17 1996-05-07 Hitachi Ltd 動画像符号化装置と動画像符号化方法
JP3552811B2 (ja) * 1995-09-29 2004-08-11 三菱電機株式会社 ディジタル映像信号符号化装置および復号化装置
JP3575508B2 (ja) * 1996-03-04 2004-10-13 Ｋｄｄｉ株式会社 符号化動画像再生装置
US5818530A (en) * 1996-06-19 1998-10-06 Thomson Consumer Electronics, Inc. MPEG compatible decoder including a dual stage data reduction network
JP3384727B2 (ja) * 1997-11-05 2003-03-10 三洋電機株式会社 画像復号装置
JPH11298892A (ja) * 1998-04-13 1999-10-29 Hitachi Ltd 符号化画像の復号装置及び画像表示装置
CN1369175A (zh) * 1998-05-07 2002-09-11 萨尔诺夫公司 增加信息流解码器中存储器资源利用的方法及设备
JP3712344B2 (ja) * 2000-05-12 2005-11-02 日本電信電話株式会社 繰り返しビデオ信号符号化方法およびこの方法のプログラムを記録した記録媒体
JP2002016913A (ja) * 2000-06-28 2002-01-18 Yamaha Corp トランスコーディング方法およびトランスコーディング装置
CN1823531B (zh) * 2003-12-22 2010-05-26 日本电气株式会社 编码运动图像的方法和设备
US20090052536A1 (en) * 2006-02-09 2009-02-26 Nec Corporation Video Decoding Device, Decoded Image Recording Device, Their Method and Program

Also Published As

Publication number Publication date
JP4973886B2 (ja) 2012-07-11
WO2007148619A1 (ja) 2007-12-27

Similar Documents

Publication Publication Date Title
RU2409005C2 (ru) Способ масштабируемого кодирования и декодирования видеосигнала
JP5197630B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JP4973886B2 (ja) 動画像復号装置、復号画像記録装置、それらの方法及びプログラム
US8831103B2 (en) Image processing apparatus and method
JP5581688B2 (ja) 画像処理装置および方法、並びにプログラム
KR20200023500A (ko) 화상 처리 장치 및 방법
JP5396711B2 (ja) 動画像復号装置、動画像復号方法及びプログラム
JP4774315B2 (ja) 画像復号化装置及び画像復号化方法
US20130216150A1 (en) Image processing device, image processing method, and program
JP2010098352A (ja) 画像情報符号化装置
US20110235711A1 (en) Image processing device and method
KR20080067922A (ko) 영상 축소 기능을 갖는 영상 복호화 방법 및 장치
JP4776505B2 (ja) 画像符号化装置、画像復号装置及び画像処理プログラム
JP4318019B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2010098633A (ja) 予測符号化装置および予測符号化方法
JP2016158282A (ja) 動画像予測復号方法及び動画像予測復号装置
JP4559811B2 (ja) 情報処理装置及び情報処理方法
JP5972687B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
JP6875566B2 (ja) 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法及び動画像予測復号プログラム
US20110051815A1 (en) Method and apparatus for encoding data and method and apparatus for decoding data
JP2009278473A (ja) 画像処理装置、それを搭載した撮像装置、および画像再生装置
JP2011114369A (ja) 画像符号化復号装置
JP6071618B2 (ja) 画像処理装置及びプログラム
JP2019033535A (ja) 動画像予測復号方法及び動画像予測復号装置
JP2012209873A (ja) 動画像符号化装置及び動画像符号化方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110330

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120314

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120327

R150 Certificate of patent or registration of utility model

Ref document number: 4973886

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3