JP5396711B2 - 動画像復号装置、動画像復号方法及びプログラム - Google Patents

動画像復号装置、動画像復号方法及びプログラム Download PDF

Info

Publication number
JP5396711B2
JP5396711B2 JP2007557862A JP2007557862A JP5396711B2 JP 5396711 B2 JP5396711 B2 JP 5396711B2 JP 2007557862 A JP2007557862 A JP 2007557862A JP 2007557862 A JP2007557862 A JP 2007557862A JP 5396711 B2 JP5396711 B2 JP 5396711B2
Authority
JP
Japan
Prior art keywords
recompression
pixel
compression
unit
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007557862A
Other languages
English (en)
Other versions
JPWO2007091588A1 (ja
Inventor
純二 田治米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2007557862A priority Critical patent/JP5396711B2/ja
Publication of JPWO2007091588A1 publication Critical patent/JPWO2007091588A1/ja
Application granted granted Critical
Publication of JP5396711B2 publication Critical patent/JP5396711B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Description

本発明は、圧縮符号化された動画像ビットストリームを入力とする動画像復号装置に関し、特に、復号に必要となるメモリ容量及びメモリ帯域を削減するために復号画像を再圧縮する手段を備えた動画像復号装置、復号画像記録装置、それらの方法及びプログラムに関する。
近年のデジタル技術の急速な進歩に伴い、MPEG-2 VIDEO (ISO 13818-2/ITU-TH.262)、MPEG-4 Visual (ISO 14496-2)、H.264(ITU-T H.264/ISO 14496-10)などに代表されるデジタル動画像圧縮符号化方式が広く利用されるようになった。
しかし、圧縮符号化された動画像ビットストリームを入力とする動画像復号装置は、圧縮符号化方式の複雑化、復号対象画像の高解像度化により、多大なメモリ容量及びメモリ帯域を必要とし、実装する上で問題となっている。
この問題を解決する一つの方法として、復号画像を再圧縮する手段を備えた動画像復号装置が開示されている。このような、復号画像を再圧縮する手段を備えた動画像復号装置の代表的な技術として、例えば、特許文献１に記載されている従来の動画像復号装置を図２に示す。
この動画像復号装置は、復号部２０１と、再圧縮部２０２と、予測フレームメモリ部２０３と、第１の伸長部２０４と、アドレス制御部２０５とから構成される。尚、以下の説明において、特許文献１に記載されている表示機能に関しては説明を省略する。
具体的には第２の伸長部を削除し、予測・表示フレームメモリ部を予測フレームメモリ部２０３に変更している。
復号部２０１は、入力された圧縮動画像ビットストリームと、伸長部２０４で伸長された参照画像を用いて画像を復号する。復号部２０１で復号された復号画像には、再圧縮部２０２で、画素ごとあるいは再圧縮処理単位ごとになるビット数を割り当てた量子化を行う再圧縮処理が行われ、復号情報量が削減される。
再圧縮部２０２で再圧縮された再圧縮データは、後に復号する画像の参照画像として用いられるために予測フレームメモリ部２０３へ書き込まれる。書き込みにおいては、アドレス制御部２０５は、各再圧縮処理単位に対応したアドレス位置に、再圧縮データが書き込まれるようにフレームメモリのアドレスを作成し、アドレス線を介して、予測フレームメモリ部２０３に供給する。
書き込まれた再圧縮データは、復号のために伸長部２０４において伸長される。
尚、同様の発明が、特許文献２〜特許文献１１にも開示されている。
次に具体例を用いて特許文献１に開示された動画像復号装置の効果を示す。尚、以下の説明において、特許文献１に開示された動画像復号装置の復号部２０１としてH.264を考える。
図３に復号画像を再圧縮する手段を備えたH.264復号装置のブロック図を示す。
H.264は、MPEG-2 VIDEOやMPEG-4 Visualと同様に、動き補償と周波数変換を組み合わせたハイブリッド符号化をベースにしており、さらに新しい技術であるイントラ（空間、フレーム内)予測、デブロックフィルタが用いられている。図３において、３０１は可変長復号部、３０２はスケーリング／逆量子化／逆整数変換部、３０は加算器、３０４はデブロックフィルタ部、３２は圧縮部、３３は予測フレームメモリ部である。また、３０５はイントラ予測部、３０６は動き補償部、３４は伸長部、３５はアドレス制御部である。
再圧縮部２０２の再圧縮符号化方式として、図４に示す１次元の差分PCM(1-D DPCM)を考える。
図４では輝度信号の再圧縮処理単位はH.264の圧縮符号化処理単位の一つであるマクロブロック(MB: Macroblock)幅の半分である８画素とし、左画素を参照画素とし、予測誤差値は５ビット固定の量子化代表値を持つ非線形量子化を行う。
図５に、ある映像シーケンスにおける通常の(再圧縮する手段を持たない)H.264復号装置の復号画像と、再圧縮する手段を備えたH.264復号装置の復号画像とのフレーム平均輝度信号PSNR(Peak Signal-to-Noise Ratio)を示す。
ここで、H.264の符号化条件は、イントラ予測フレーム間隔Ｎを１５フレーム、参照フレーム間隔Ｍを３フレームとしている。
再圧縮する手段を備えた動画像復号装置では復号画像を再圧縮するので、再圧縮する再圧縮符号化方式に非可逆変換方式を利用しない限りは参照画像には再圧縮による歪みが含まれる。
この歪みはイントラ予測フレームが復号されるまで蓄積することになる。
このことは図５において、PSNRの劣化周期がＮフレームであることからも確認できる。ただし、この例ではPSNRの劣化が最大となるイントラ予測フレームの直前フレームにおいてもPSNRは４２dB以上という高い(歪みが小さい)結果となっており、主観的な画質劣化も認識できなかった。
この例からは、Ｎが短い動画像ビットストリームを入力とする場合に再圧縮する手段を備えた動画像復号装置は効果があるといえる。
特開平9-247671号公報（第7-8頁、図1） 特開平9-247671号公報(図1） 特開平9-261635号公報(図1） 特開平10-4550号公報(図1） 特開平10-271516号公報(図1） 特開平10-66081号公報(図1） 特開平11-298892号公報(図1） 特開平11-341288号公報(図1） 特開2004-254344号公報(図1） 特許第3271585号公報(図1） 特許第3575508号公報(図1）
しかしながら、これらの特許文献１〜１１に開示された再圧縮する手段を備えた動画像復号装置は、著しい画質劣化が生じる場合がある。
具体例を用いて画質劣化の原因を説明する。
先に述べた映像シーケンスと異なる映像シーケンスを用いた場合のフレーム平均輝度信号PSNRを図６に示す。
図６ではフレーム数が、６０〜１２０フレーム及び２７０〜３００フレーム付近(図６中で円弧で囲んだ箇所)のイントラ予測フレームのPSNRとイントラ予測フレーム直前のPSNRとの差は10dB以上にもなる。
PSNRが低下する原因は再圧縮部の再圧縮符号化方式が関係している。例えば、図７に示す画像が図８に示す符号化モードで圧縮符号化されたH.264ビットストリームを考える。
図７に示した画像は、画像端から１５画素連続して黒い画素があり、１６画素目から本来の画像が始まる。また、このH.264ビットストリームにおけるインター(フレーム間)予測フレームは画像左端のMBが静止画のインター予測MBとして、右隣のMBがイントラ予測MBかつ予測モードは図９に示す水平方向予測として符号化されている。
ここで、H.264ではイントラ予測モード、イントラ予測対象のブロックサイズは複数存在するが、説明を簡単にするため、ブロックサイズが１６×１６の水平方向予測としている。このH.264ビットストリームの輝度信号を再圧縮・伸長した時の動作を図１０に示す。
イントラ予測フレームでは通常の復号画素に対して1-D DPCM圧縮を行う。この例の場合、１５画素目から１６画素目にかけ画素値の変化が大きい。通常、非線形の量子化は予測誤差値が大きい場合に歪みを許容するように設計するので、１６画素目の画素には再圧縮による大きな歪みが混入する。
インター予測フレームの画像左端のMBは多くの画素が黒い画素であるので、静止画として符号化される。その結果、イントラ予測フレームにおける同位置のMBが参照画素となる。右隣のMBはイントラ予測MBかつ水平方向予測なので、画像左端MBの１６画素目の一列が参照画素となる。ここで、このMBの参照画素はイントラ予測フレームの再圧縮・伸長で生じた再圧縮による歪みを含んでいる。その結果、図９に示した水平方向予測で予測画像を作成すると、再圧縮による歪みはMB全体に伝播する。
このように、イントラ予測では参照画素として周辺画素を利用するので、再圧縮による歪みはMBだけでなく、イントラ予測MBが連続する場合、歪みは空間的にも伝播する。
さらに、このインター予測フレームが参照フレームとして利用される場合、歪みは時間的にも伝搬する。その結果、著しい画質劣化が生じる。
従って、従来の再圧縮する手段を備えた動画像復号装置の問題点は、時間的、空間的な歪みの伝搬を考慮せずに、各再圧縮処理単位の歪みが最小となるように再圧縮していることである。
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、時間的、空間的な再圧縮による歪みの伝搬、すなわち画質劣化を抑制できる再圧縮手段を備えた動画像復号装置、復号画像記録装置、それらの方法及びプログラムを提供することにある。
上記課題を解決する本発明は、予測処理を利用して圧縮符号化された動画像ビットストリームを画像信号へ復号する復号手段と、前記復号手段により得られた復号画像信号を画素ごと、又は、再圧縮処理単位ごとに異なるビット数を割り当てた量子化を行って再圧縮処理を行い、再圧縮データを得る再圧縮手段と、前記再圧縮手段により得られた再圧縮データを保持する予測フレームメモリ手段と、前記予測フレームメモリ手段に保持された再圧縮データを読み出し、これを伸張した後に前記復号手段の予測処理で利用するデータとして供給する伸張手段と、前記予測フレームメモリ手段に対する再圧縮データの書き込み、又は、読み出しを制御するアドレス制御手段とを有する動画像復号装置において、前記再圧縮手段は、前記圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度又は再圧縮処理単位ごとの参照度を予測に用いられる頻度に基づいて予め推定してこれを定め、参照度の大きい画素又は参照度の大きい再圧縮処理単位に対しては、量子化代表値を表す割当ビット数を多くするように再圧縮データ量制御を行うように構成されていることを特徴とする。
上記課題を解決する本発明は、復号画像信号を画素ごと、又は、再圧縮処理単位ごとに異なるビット数を割り当てた量子化を行って再圧縮処理を行い、再圧縮データを得る動画像復号方法において、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度又は再圧縮処理単位ごとの参照度を予測に用いられる頻度に基づいて予め推定してこれを定め、参照度の大きい画素又は参照度の大きい再圧縮処理単位に対しては、量子化代表値を表す割当ビット数を多くするように再圧縮データ量を制御することを特徴とする。
上記課題を解決する本発明は、復号画像信号を画素ごと、又は、再圧縮処理単位ごとに異なるビット数を割り当てた量子化を行って再圧縮処理を行い、再圧縮データを得る動画像復号方法におけるプログラムであって、前記プログラムは、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度又は再圧縮処理単位ごとの参照度を予測に用いられる頻度に基づいて予め推定してこれを定め、参照度の大きい画素又は参照度の大きい再圧縮処理単位に対しては、量子化代表値を表す割当ビット数を多くするように再圧縮データ量を制御する処理を情報処理装置に実行させることを特徴とする。
本発明の効果は、再圧縮による歪み、すなわち画質劣化を抑制できる再圧縮手段を備えた動画像復号装置及びその技術を提供することができる。
その理由は、復号装置が対象とする圧縮符号化方式の参照する画素位置からフレーム内のある画素位置の参照されやすさを予め設定して、参照度重み付け再圧縮部１０２を実装するので、参照されやすい画素に対しては量子化代表値の割り当てビット数(量子化代表値数)を多くするような制御をかけ、再圧縮する。その結果、参照されやすい画素の歪みを軽減し、時間的、空間的な歪みの伝搬を抑制することが可能となるからである。
ここで、参照されやすさは、圧縮符号化方式の参照する画素位置に加え、復号装置が対象とする圧縮符号化方式の圧縮符号化処理単位、参照度重み付け再圧縮部が対象とする再圧縮符号化方式の参照する画素位置、再圧縮処理単位、圧縮率のいずれか一つ以上を用いて設定してもよい。
本発明の実際の効果として、図６の結果に実施例１、実施例３の結果を加えたフレーム平均輝度信号PSNRを、図１８に示す。図１８中、Embodiment1が実施例１を表し、Embodiment3が実施例３を示している。再圧縮符号化単位Xは８画素で、参照度R0は８、参照度R1は５としている。X、R0、R1に関しては実施の形態で詳細に述べる。
図より本発明ではPSNRの劣化が抑制できていることが分かる。
次に、本発明の実施の形態について図面を参照して詳細に説明する。
図１は、本発明の実施形態による動画像復号装置の全体構成を示すブロック図である。
本実施の形態の動画像復号装置は、復号部１０１と、参照度重み付け再圧縮部１０２と、予測フレームメモリ部１０３と、伸長部１０４と、アドレス制御部１０５とから構成される。これは、従来の動画像復号装置における再圧縮部２０２を参照度重み付け再圧縮部１０２で置き換えた構成である。
復号部１０１は、予測処理を利用して圧縮符号化された動画像ビットストリームを画像信号へ復号する。
参照度重み付け再圧縮部１０２は、復号部１０１により得られた復号画像信号を画素ごと、又は、再圧縮処理単位ごとに異なるビット数を割り当てた量子化を行って再圧縮処理を行い、再圧縮データを得るものであって、再圧縮手段として用いている。参照度重み付け再圧縮部１０２は、圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度又は再圧縮処理単位ごとの参照度を定め、参照度の大きい画素又は参照度の大きい再圧縮処理単位に対しては、量子化代表値を表す割当ビット数を多くするように再圧縮データ量制御を行う。
予測フレームメモリ部１０３は、参照度重み付け再圧縮部１０２で得られた再圧縮データを保持する。伸長部１０４は、予測フレームメモリ部１０３に保持された再圧縮データを読み出し、これを伸長した後に復号部１０１の予測処理で利用するデータとして供給する。アドレス制御部１０５は、予測フレームメモリ部１０３に対する再圧縮データの書き込み、又は、読み出しを制御する。
ここで、前記参照度とは、フレーム内のある画素位置の参照されやすさ(予測に利用される頻度)を表し、正確な参照度は圧縮動画像ビットストリームを解析することで求めることもできる。しかし、本実施の形態では、復号装置が対象とする圧縮符号化方式の参照する画素位置から予め参照度を推定し定める。
参照度重み付け再圧縮部１０２は、復号画像を再圧縮するという点では再圧縮部２０２と同様の動作をする。しかし、参照度重み付け再圧縮部１０２が対象とする再圧縮符号化方式は推定された参照度を考慮して設計され、実装されている。ここで、参照度は圧縮符号化方式の参照する画素位置に加え、復号装置が対象とする圧縮符号化方式の圧縮符号化処理単位、参照度重み付け再圧縮部１０２が対象とする再圧縮符号化方式の参照する画素位置、再圧縮処理単位、圧縮率のいずれか一つ以上を用いて設定してもよい。
次に、本実施の形態の動画像復号装置の動作を説明する。
尚、復号部１０１、予測フレームメモリ部１０３、伸長部１０４、アドレス制御部１０５は、従来の再圧縮する手段を備えた動画像復号装置と同様の動作であるので、説明を省略する。
参照度重み付け再圧縮部１０２は、復号部１０１で復号された復号画像を再圧縮し、再圧縮データを作成する。ここで参照度重み付け再圧縮部１０２は、参照度を考慮し、実装されているので、参照度が大きい画素値に対しては量子化代表値の割り当てビット数(量子化代表値数)を多くするような再圧縮データ量制御をかけ、再圧縮する。
次に、具体的な実施例を用いて本発明を実施するための最良の形態の構成及び動作を説明する。
本実施例では、復号部１０１としてH.264を用い、参照度重み付け再圧縮部１０２の再圧縮符号化方式として1-D DPCMを用いる。
ここで、1-D DPCMではX画素を再圧縮処理単位とする。Xの値は、H.264の圧縮符号化処理単位、実装の容易さから決定する。例えばH.264の圧縮符号化処理単位としては2、4、8、16が考えられるので、実装の容易さからいづれかを選択することになる。
参照度は式１（数１）で定める。
Figure 0005396711
 この参照度はH.264の「イントラ予測符号化対象ブロックの左ブロックを参照画素として利用する」という参照される画素位置を考慮しており、R0>R1を満たしている。
参照度重み付け再圧縮部１０２に用いる1-D DPCMでは、参照度をそのまま量子化代表値の割り当てビット数として用いる。この場合、参照度重み付け再圧縮部の圧縮率はR0、R1で決まる。
本実施例における量子化代表値の割り当てビット数および参照関係を図１１に示す。
本実施例では、再圧縮処理単位の右端画素を予測画素の起点とし、右画素を予測画素とする。
Xの値を２、４、８、１６として本実施例を用いた場合、図１２に示すように各MB（Macroblock）の参照画素となる周辺画素に対して量子化代表値の割り当てビット数をR0にすることになる。
その結果、図７、８、１０のような例では再圧縮による歪みを抑制できる。
また、本実施例では再圧縮処理単位内で２つの参照度を定めたが、各画素毎に参照度を定めることも可能である。
この時、参照度の設定の際に1-D DPCMの「右画素を予測画素とする」という予測画素位置を考慮すると、左端画素に近いほど歪みの伝搬は小さくなるので、再圧縮処理単位内の右画素ほど参照度を大きくするように定めることも可能である。
また、本実施例では右画素、図４では左画素を予測画素としていたが、上画素もしくは下画素を予測画素とすることも可能である。ただし、H.264の「イントラ予測符号化対象ブロックの上ブロックを参照画素として利用する」という参照画素位置を考慮すれば、垂直画素位置に対しても式１（数１）と同様の参照度を定め、下画素を予測画素にすべきである。
実施例１では右画素を予測画素としていた。実施例１の再圧縮符号化方式を用いてラスタスキャン表示をする場合、表示順に並び替えるために復号画像を一時的に保持しておく必要があり、実用上望ましくない場合がある。そこで、本実施例２では参照度を式２（数２）で定める。
Figure 0005396711
 式２（数２）で定めた参照度を利用すると、参照度R0となる画素の水平位置をずらすことが可能になり、左画素を予測画素としながらも実施例１と同様の効果を得ることができる。
本実施例２において、Xを８とした場合の量子化代表値の割り当てビット数および参照関係を図１３に示す。
各MB（Macroblock）の参照画素となる周辺画素の割り当てビット数は図１２と同じになる。
上述した実施例１、２は、図７、８、１０で示したように参照画素を含むブロックが静止画として符号化されていれば有効である。しかし、一般的には全てのブロックが静止画として符号化されることはなく、従来の再圧縮する手段を備えた動画像復号装置と同様の問題が生じる可能性がある。そこで、本実施例３ではインター予測で参照されるブロック内に、割り当てビット数がR0となる参照画素が含まれる確率が高くなるように参照度を定める。
具体的には、縦または横に隣接する画素と参照度が等しくならないように定める。一例として式３（数３）で参照度を定める。
Figure 0005396711
 本実施例３における量子化代表値の割り当てビット数および参照関係を図１４に示す。
Ｘ＝２、４、８、１６として本実施例を用いた場合、図１５に示すように各MB（Macroblock）の参照画素となる周辺画素に対してR0(>R1)ビットを割り当てることになる。
インター予測で静止画ブロックが参照された場合は、図１２に比べ割り当てビット数がR0となる参照画素は減るが、一般的なインター予測を考えた場合、参照ブロック内に割り当てビット数がR0となる参照画素が含まれる確率は高くなる。
この例では1ラインごとに参照度、参照関係を設定したが、例えば、式４（数４）および図１６に示すようにX種類のものを設定することも可能である。
Figure 0005396711
 ここで、本実施例ではイントラ予測だけでなく、インター予測の参照画素に対しても同様の効果が得られる。そこで、復号部１０１としてH.264以外のインター予測を用いた圧縮符号化方式を利用することができる。
上述した実施例１から４では参照度重み付け再圧縮部102の再圧縮符号化方式として1-D DPCMを用いていた。
本発明は再圧縮符号化方式としては任意の方式を用いることができる。そこで本実施例では再圧縮符号化方式として２次元DPCM (2-D DPCM)を用いる。
2-D DPCMは、横X画素×縦Y画素のブロックを再圧縮処理単位とする。X、Yの値はH.264の圧縮符号化処理単位、圧縮率、実装の容易さ等から決定するもので、２、４、８、１６が考えられる。参照度は式５（数５）で定める。
Figure 0005396711
 この参照度はH.264の「符号化対象ブロックの左ブロックを参照画素として利用する」、「イントラ予測符号化対象ブロックの上ブロックを参照画素として利用する」という参照される画素位置を考慮している。
参照度重み付け再圧縮部１０２に用いる2-D DPCMでは1-D DPCM同様、参照度をそのまま量子化代表値の割り当てビット数として用いる。
本実施例における量子化代表値の割り当てビット数および参照関係を図１７に示す。
本実施例では再圧縮処理単位の右下端画素を予測画素の起点とし、1-D DPCMを用いる画素は右または下画素を予測画素とし、2-D DPCMを用いる画素は右、下、右下の3画素を予測画素とする。
本発明による動画像復号装置は、以上の説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
図１９は、本発明による動画像復号装置をインプリメントした情報処理システムの一般的ブロック構成図である。
図１９に示す情報処理システムは、プロセッサ４００、プログラムメモリ４０１，記憶媒体４０２からなる。記憶媒体４０２は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ＲＡＭや、ハードディスク等の磁気記憶媒体を用いることができ、上述した予測フレームメモリ部１０３の役割を果たす。
プログラムメモリ４０１には、上述した復号部１０１と、参照度重み付け再圧縮部１０２と、伸長Ａ部１０４と、アドレス制御部１０５との各部の処理を、プロセッサ４００に行わせるプログラムが格納されており、このプログラムによってプロセッサ４００は動作する。
このように、コンピュータプログラムにより実現することも可能である。
尚、復号部１０１、参照度重み付け再圧縮部１０２、伸長Ａ部１０４、及びアドレス制御部１０５の全てをプログラムで動作させる必要はなく、一部をハードウェアで構成してもかまわない。
本発明の活用例として、デジタル放送チューナ、ＨＤＤレコーダ、ＤＶＤプレーヤのようなデジタル動画像復号装置が挙げられる。
本発明の実施形態の構成を示すブロック図である。 特許文献1に開示された動画像復号装置の構成を示すブロック図である。 特許文献1に開示された動画像復号装置においてH.264を用いた構成例を示すブロック図である。 復号画像の再圧縮に利用する再圧縮符号化方式の一例を示す図である。 従来の動画像復号装置の効果を示すグラフである。 従来の動画像復号装置の問題点を示すグラフである。 従来の動画像復号装置の問題点を説明するための具体例である。 従来の動画像復号装置の問題点を説明するための具体例である。 H.264イントラ予測モードを説明する図である。 再圧縮による歪み発生原因を説明する図である。 実施例１における各画素位置の量子化代表値の割り当てビット数および参照関係を示す図である。 実施例１におけるMB境界付近の量子化代表値の割り当てビット数を示す図である。 実施例２における各画素位置の量子化代表値の割り当てビット数および参照関係を示す図である。 実施例３における各画素位置の量子化代表値の割り当てビット数および参照関係を示す図である。 実施例３におけるMB境界付近の量子化代表値の割り当てビット数を示す図である。 実施例３における各画素位置の量子化代表値の割り当てビット数および参照関係を示す図である。 実施例４における各画素位置の量子化代表値の割り当てビット数および参照関係を示す図である。 本発明(実施例１および実施例３)の効果を示すグラフである。 本発明による動画像復号装置をインプリメントした情報処理システムの一般的ブロック構成図である。
符号の説明
１０１、２０１、３１ 復号部
１０２ 参照度重み付け再圧縮部
２０２、３２ 再圧縮部
１０３、２０３、３３ 予測フレームメモリ部
１０４、２０４、３４ 伸長Ａ部
１０５、２０５、３５ アドレス制御部
１０６ 参照度情報
３０１ 可変長復号部
３０２ スケーリング/逆量子化/逆整数変換部
３０３ 加算部
３０４ デブロックフィルタ部
３０５ イントラ予測部
３０６ 動き補償部

Claims (12)

  1. フレーム内予測処理およびフレーム間予測処理を利用する圧縮符号化方式により圧縮符号化された動画像ビットストリームを画像信号へ復号する復号手段と、前記復号手段により得られた復号画像信号を画素ごと、又は、再圧縮処理単位ごとに異なるビット数を割り当てた量子化を行って再圧縮処理を行い、再圧縮データを得る再圧縮手段と、前記再圧縮手段により得られた再圧縮データを保持する予測フレームメモリ手段と、前記予測フレームメモリ手段に保持された再圧縮データを読み出し、これを伸長した後に前記復号手段の予測処理で利用するデータとして供給する伸長手段と、前記予測フレームメモリ手段に対する再圧縮データの書き込み、又は、読み出しを制御するアドレス制御手段とを有する動画像復号装置において、
    前記再圧縮手段は、前記圧縮符号化方式における予測処理で参照される画素位置に従い、画素ごとの参照度又は再圧縮処理単位ごとの参照度を予測に用いられる頻度に基づいて予め推定してこれを定め、参照度の大きい画素又は参照度の大きい再圧縮処理単位に対しては、量子化代表値を表す割当ビット数を多くするように再圧縮データ量制御を行うように構成されていることを特徴とする動画像復号装置。
  2. 前記参照度は、前記圧縮符号化方式における圧縮符号化処理単位、前記再圧縮手段において予測画像作成の際に参照される画素位置、前記再圧縮手段における再圧縮処理単位、又は、前記再圧縮手段における圧縮率のいずれか一つ以上を用いて定める、請求項１に記載の動画像復号装置。
  3. 前記再圧縮手段は、再圧縮処理単位の画素の一つを基準画素とし、前記基準画素の量子化を行い、前記基準画素以外の画素に関しては、隣接する画素との差分に対して量子化を行うように構成されている、請求項１に記載の動画像復号装置。
  4. 前記再圧縮手段における再圧縮処理単位内で最大の参照度は、縦または横に隣接する画素と参照度が等しくならないように定める、請求項３に記載の動画像復号装置。
  5. フレーム内予測処理およびフレーム間予測処理を利用する圧縮符号化方式により圧縮符号化された動画像ビットストリームを画像信号へ復号し、前記復号画像信号を画素ごと、又は、再圧縮処理単位ごとに異なるビット数を割り当てた量子化を行って再圧縮処理を行う動画像復号方法において、
    前記圧縮符号化方式におけるフレーム内予測処理で参照される画素位置に従い、画素ごとの参照度又は再圧縮処理単位ごとの参照度を予測に用いられる頻度に基づいて予め推定してこれを定め、参照度の大きい画素又は参照度の大きい再圧縮処理単位に対しては、量子化代表値を表す割当ビット数を多くするように再圧縮データ量制御を行い、再圧縮処理で生じた誤差の蓄積を抑制することを特徴とする動画像復号方法。
  6. 予測画像符号化復号方法の予測画像を作成するための復号画像を記録するための情報処理装置を構成するコンピュータに、
    フレーム内予測処理およびフレーム間予測処理を利用する圧縮符号化方式により圧縮符号化された動画像ビットストリームを画像信号へ復号する機能と、
    前記復号画像信号を画素ごと、又は、再圧縮処理単位ごとに異なるビット数を割り当てた量子化を行って再圧縮処理を行う機能と、
    前記圧縮符号化方式におけるフレーム内予測処理で参照される画素位置に従い、画素ごとの参照度又は再圧縮処理単位ごとの参照度を予測に用いられる頻度に基づいて予め推定してこれを定め、参照度の大きい画素又は参照度の大きい再圧縮処理単位に対しては、量子化代表値を表す割当ビット数を多くするように再圧縮データ量制御を行い、再圧縮処理で生じた誤差の蓄積を抑制する機能とを実行させるプログラムを記録した記録媒体。
  7. 予測処理を利用する画像符号化復号方法により復号された画素ごと、又は、再圧縮処理単位ごとに異なるビット数を割り当てた量子化を行って再圧縮処理を行い、再圧縮データを得る動画像復号方法において、
    前記圧縮符号化復号方法における予測処理で参照される画素位置に従い、画素ごとの参照度又は再圧縮処理単位ごとの参照度を予測に用いられる頻度に基づいて予め推定してこれを定め、参照度の大きい画素又は参照度の大きい再圧縮処理単位に対しては、量子化代表値を表す割当ビット数を多くするように再圧縮データ量を制御することを特徴とする動画像復号方法。
  8. 前記圧縮符号化方式はフレーム内予測を用いた圧縮符号化方式であり、
    前記圧縮符号化方式において予測画像作成の際に参照される画素位置は、フレーム内予測画像作成の際に参照される画素位置であることを特徴とする請求項７に記載の動画像復号方法。
  9. 前記参照度は、前記圧縮符号化方式における圧縮符号化処理単位、前記再圧縮手段において予測画像作成の際に参照される画素位置、前記再圧縮手段における再圧縮処理単位、又は、前記再圧縮手段における圧縮率のいずれか一つ以上を用いて定めることを特徴とする請求項７に記載の動画像復号方法。
  10. 再圧縮処理単位の画素の一つを基準画素とし、前記基準画素の量子化を行い、前記基準画素以外の画素に関しては、隣接する画素との差分に対して量子化を行うことを特徴とする請求項８に記載の動画像復号方法。
  11. 前記再圧縮処理単位内で最大の参照度は、縦または横に隣接する画素と参照度が等しくならないように定めることを特徴とする請求項１０に記載の動画像復号方法。
  12. 予測処理を利用する画像符号化復号方法により復号された画素ごと、又は、再圧縮処理単位ごとに異なるビット数を割り当てた量子化を行って再圧縮処理を行い、再圧縮データを得る動画像復号装置を構成するコンピュータに、
    前記圧縮符号化復号方法における予測処理で参照される画素位置に従い、画素ごとの参照度又は再圧縮処理単位ごとの参照度を予測に用いられる頻度に基づいて予め推定してこれを定め、参照度の大きい画素又は参照度の大きい再圧縮処理単位に対しては、量子化代表値を表す割当ビット数を多くするように再圧縮データ量を制御する処理を実行させることを特徴とするプログラム。
JP2007557862A 2006-02-09 2007-02-07 動画像復号装置、動画像復号方法及びプログラム Expired - Fee Related JP5396711B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007557862A JP5396711B2 (ja) 2006-02-09 2007-02-07 動画像復号装置、動画像復号方法及びプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006032510 2006-02-09
JP2006032510 2006-02-09
PCT/JP2007/052096 WO2007091588A1 (ja) 2006-02-09 2007-02-07 動画像復号装置、復号画像記録装置、それらの方法及びプログラム
JP2007557862A JP5396711B2 (ja) 2006-02-09 2007-02-07 動画像復号装置、動画像復号方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2007091588A1 JPWO2007091588A1 (ja) 2009-07-02
JP5396711B2 true JP5396711B2 (ja) 2014-01-22

Family

ID=38345184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007557862A Expired - Fee Related JP5396711B2 (ja) 2006-02-09 2007-02-07 動画像復号装置、動画像復号方法及びプログラム

Country Status (3)

Country Link
US (1) US20090052536A1 (ja)
JP (1) JP5396711B2 (ja)
WO (1) WO2007091588A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4973886B2 (ja) * 2006-06-21 2012-07-11 日本電気株式会社 動画像復号装置、復号画像記録装置、それらの方法及びプログラム
WO2011138912A1 (ja) * 2010-05-06 2011-11-10 日本電気株式会社 映像符号装置、映像復号装置、映像符号方法、映像復号方法及びプログラム
US20130170548A1 (en) * 2010-08-03 2013-07-04 Nec Corporation Video encoding device, video decoding device, video encoding method, video decoding method and program
UA109312C2 (uk) 2011-03-04 2015-08-10 Імпульсно-кодова модуляція з квантуванням при кодуванні відеоінформації
JP5741092B2 (ja) * 2011-03-15 2015-07-01 富士通株式会社 画像符号化方法及び画像符号化装置
US9591329B2 (en) 2012-09-28 2017-03-07 Sony Corporation Image processing device and method for encoding and decoding image
KR20140119220A (ko) * 2013-03-27 2014-10-10 한국전자통신연구원 영상 재압축 제공 장치 및 방법
CN114222121B (zh) * 2021-12-21 2023-11-14 北京达佳互联信息技术有限公司 视频编码方法、装置、电子设备和计算机可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01205668A (ja) * 1988-02-12 1989-08-18 Nec Corp 画像信号符号化装置
JPH01251974A (ja) * 1988-03-31 1989-10-06 Hitachi Ltd 符号化装置および復号化装置
JPH02200083A (ja) * 1989-01-30 1990-08-08 Matsushita Electric Ind Co Ltd 信号符号化装置と信号復号化装置
EP0535272A1 (en) * 1991-10-02 1993-04-07 Alcatel N.V. Hybrid encoder arrangement for an image processing system
JPH0998429A (ja) * 1995-09-29 1997-04-08 Mitsubishi Electric Corp ディジタル映像信号符号化装置および復号化装置
JPH09214981A (ja) * 1995-12-27 1997-08-15 Thomson Consumer Electron Inc イメージを表す情報を処理するシステムおよびｍｐｅｇ符号化イメージを表すデータのディジタル・データストリームを処理する方法
JPH1098731A (ja) * 1996-03-04 1998-04-14 Mitsubishi Electric Corp ディジタル画像復号装置及びディジタル画像復号方法
JP2000023169A (ja) * 1998-06-26 2000-01-21 Sony Corp 復号装置
JP2001285876A (ja) * 2000-03-30 2001-10-12 Sony Corp 画像符号化装置とその方法、ビデオカメラ、画像記録装置、画像伝送装置
EP0687111B1 (de) * 1994-06-06 2003-08-06 sci worx GmbH Verfahren zur Codierung/Decodierung eines Datenstroms

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3058028B2 (ja) * 1994-10-31 2000-07-04 三菱電機株式会社 画像符号化データ再符号化装置
EP0778709B1 (en) * 1995-12-04 2001-05-23 STMicroelectronics S.r.l. MPEG-2 decoding with a reduced RAM requisite by ADPCM recompression before storing MPEG decompressed data
JP3575508B2 (ja) * 1996-03-04 2004-10-13 Ｋｄｄｉ株式会社 符号化動画像再生装置
JPH09247671A (ja) * 1996-03-04 1997-09-19 Mitsubishi Electric Corp デジタル画像復号装置
US6208689B1 (en) * 1996-03-04 2001-03-27 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for digital image decoding
US5818530A (en) * 1996-06-19 1998-10-06 Thomson Consumer Electronics, Inc. MPEG compatible decoder including a dual stage data reduction network
US6341144B1 (en) * 1996-09-20 2002-01-22 At&T Corp. Video coder providing implicit coefficient prediction and scan adaptation for image coding and intra coding of video
JP4294743B2 (ja) * 1996-12-13 2009-07-15 富士通株式会社 動きベクトル探索装置および動画像符号化装置
US6097843A (en) * 1997-01-27 2000-08-01 Sony Corporation Compression encoding apparatus, encoding method, decoding apparatus, and decoding method
JP3271585B2 (ja) * 1998-06-19 2002-04-02 日本電気株式会社 動画像復号装置
US7023924B1 (en) * 2000-12-28 2006-04-04 Emc Corporation Method of pausing an MPEG coded video stream
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01205668A (ja) * 1988-02-12 1989-08-18 Nec Corp 画像信号符号化装置
JPH01251974A (ja) * 1988-03-31 1989-10-06 Hitachi Ltd 符号化装置および復号化装置
JPH02200083A (ja) * 1989-01-30 1990-08-08 Matsushita Electric Ind Co Ltd 信号符号化装置と信号復号化装置
EP0535272A1 (en) * 1991-10-02 1993-04-07 Alcatel N.V. Hybrid encoder arrangement for an image processing system
EP0687111B1 (de) * 1994-06-06 2003-08-06 sci worx GmbH Verfahren zur Codierung/Decodierung eines Datenstroms
JPH0998429A (ja) * 1995-09-29 1997-04-08 Mitsubishi Electric Corp ディジタル映像信号符号化装置および復号化装置
JPH09214981A (ja) * 1995-12-27 1997-08-15 Thomson Consumer Electron Inc イメージを表す情報を処理するシステムおよびｍｐｅｇ符号化イメージを表すデータのディジタル・データストリームを処理する方法
JPH1098731A (ja) * 1996-03-04 1998-04-14 Mitsubishi Electric Corp ディジタル画像復号装置及びディジタル画像復号方法
JP2000023169A (ja) * 1998-06-26 2000-01-21 Sony Corp 復号装置
JP2001285876A (ja) * 2000-03-30 2001-10-12 Sony Corp 画像符号化装置とその方法、ビデオカメラ、画像記録装置、画像伝送装置

Also Published As

Publication number Publication date
WO2007091588A1 (ja) 2007-08-16
JPWO2007091588A1 (ja) 2009-07-02
US20090052536A1 (en) 2009-02-26

Similar Documents

Publication Publication Date Title
US20200195937A1 (en) Image processing device and method
JP5396711B2 (ja) 動画像復号装置、動画像復号方法及びプログラム
JP4542447B2 (ja) 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
JP4908180B2 (ja) 動画像符号化装置
JP4534935B2 (ja) トランスコーダ、記録装置及びトランスコード方法
JP4973886B2 (ja) 動画像復号装置、復号画像記録装置、それらの方法及びプログラム
JP2006114979A (ja) 画像符号化装置及びその方法
JP4774315B2 (ja) 画像復号化装置及び画像復号化方法
WO2010070818A1 (ja) 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
KR20140029363A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
JP2010098633A (ja) 予測符号化装置および予測符号化方法
JP2007067526A (ja) 画像処理装置
JP2016158282A (ja) 動画像予測復号方法及び動画像予測復号装置
JP2007258882A (ja) 画像復号装置
JP5972687B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
JP2006246277A (ja) 再符号化装置、再符号化方法、および再符号化用プログラム
JP7359653B2 (ja) 動画像符号化装置
KR20110021198A (ko) 데이터 부호화 방법 및 장치와 데이터 복호화 방법 및 장치
JP5057872B2 (ja) 情報処理装置およびプログラム
JP6646125B2 (ja) 動画像予測復号方法及び動画像予測復号装置
JP5061355B2 (ja) 画像符号化方法、装置およびプログラムならびに画像処理機器
WO2013073422A1 (ja) 動画像符号化装置
JP4676474B2 (ja) 画像符号化方法
JP2020141376A (ja) 画像符号化装置及びその制御方法及びプログラム
WO2011089876A1 (ja) 映像復号化装置、映像復号化方法、および映像復号化用集積回路装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120724

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120910

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130423

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130718

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131007

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees