JP6147368B2 - 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法 - Google Patents
画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法 Download PDFInfo
- Publication number
- JP6147368B2 JP6147368B2 JP2015560063A JP2015560063A JP6147368B2 JP 6147368 B2 JP6147368 B2 JP 6147368B2 JP 2015560063 A JP2015560063 A JP 2015560063A JP 2015560063 A JP2015560063 A JP 2015560063A JP 6147368 B2 JP6147368 B2 JP 6147368B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- unit
- image
- prediction
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 277
- 238000006243 chemical reaction Methods 0.000 title claims description 89
- 230000008569 process Effects 0.000 claims description 189
- 238000012545 processing Methods 0.000 claims description 178
- 238000001914 filtration Methods 0.000 claims description 37
- 238000007906 compression Methods 0.000 claims description 22
- 230000006835 compression Effects 0.000 claims description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 238000013139 quantization Methods 0.000 description 169
- 239000011159 matrix material Substances 0.000 description 85
- 108091000069 Cystinyl Aminopeptidase Proteins 0.000 description 78
- 102100020872 Leucyl-cystinyl aminopeptidase Human genes 0.000 description 78
- 230000007774 longterm Effects 0.000 description 58
- 230000003044 adaptive effect Effects 0.000 description 54
- 239000012536 storage buffer Substances 0.000 description 29
- 230000008859 change Effects 0.000 description 27
- 239000013598 vector Substances 0.000 description 25
- 238000011084 recovery Methods 0.000 description 24
- 239000000872 buffer Substances 0.000 description 19
- 230000000694 effects Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000014509 gene expression Effects 0.000 description 11
- 238000005192 partition Methods 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/439—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Description
また、その符号化ブロックをさらに細かい予測ブロックに分割し、その予測ブロックに対する画面内予測や動き補償予測を実施することで予測誤差を生成する。
また、その予測誤差を符号化ブロック内で階層的に変換ブロックに分割し、それぞれの変換係数をエントロピー符号化することで高い圧縮率を達成している。
また、非特許文献2においても同様のランダムアクセス機能を有している。ただし、非特許文献2ではランダムアクセス用のピクチャとしてIDRピクチャのみが定義されている。
図1はこの発明の実施の形態1における画像符号化装置を示す構成図である。なお、この発明の特徴は、図1の構成中、主に動き補償予測部5、動き補償予測フレームメモリ12、及び可変長符号化部13を用いて、インターピクチャにおいてもランダムアクセスを可能とする点にある。ここで、ブロック分割部1及びスライス分割部14は、請求項に記載のブロック分割部を構成し、符号化制御部2は符号化モード決定部を構成し、切換スイッチ3、イントラ予測部4、動き補償予測部5及び予測画像生成部を構成している。
また、減算部6は差分画像生成部を構成し、変換・量子化部7は画像圧縮部を構成し、逆量子化・逆変換部8及び加算部9は局所復号画像生成部を構成している。
さらに、ループフィルタ部11はフィルタリング処理部を構成し、可変長符号化部13は符号化部を構成している。
この実施の形態1の画像符号化装置が処理対象とする映像信号は、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直2次元のディジタルサンプル(画素)列から構成される任意の映像信号である。
各画素の階調は8ビットでもよいし、10ビット、12ビットなどの階調であってもよい。
また、入力信号は映像信号ではなく静止画像信号でもよいことは、静止画像信号を1フレームのみで構成される映像信号と解釈できることから当然である。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態1では、「ピクチャ」は順次走査(プログレッシブスキャン)された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
即ち、ブロック分割部1はスライスを符号化制御部2により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる1つないし複数の予測ブロックに分割される。
また、符号化制御部2は選択可能な1以上の符号化モード(予測処理単位を示す予測ブロックのサイズなどが異なる1以上のイントラ符号化モード、予測ブロックのサイズなどが異なる1以上のインター符号化モード)の中から、ブロック分割部1から出力される符号化ブロックに適用する符号化モードを選択する処理を実施する。選択手法の例としては、選択可能な1以上の符号化モードの中から、ブロック分割部1から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。
さらに、符号化制御部2は変換・量子化部7及び逆量子化・逆変換部8に与える予測差分符号化パラメータを決定する処理を実施する。予測差分符号化パラメータには、符号化ブロックにおける直交変換処理単位となる変換ブロックの分割情報を示す変換ブロック分割情報や、変換係数の量子化を行う際の量子化ステップサイズを規定する量子化パラメータなどが含まれる。
変換ブロックサイズは、図19に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
輝度信号の変換ブロックの分割情報は、例えば、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部13に出力する。
一方、色差信号については、色差信号のイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合(イントラ予測パラメータが輝度色差共通イントラ予測モード(DMモード)を示している場合)、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。
また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード(LMモード)を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。
YUV4:4:4信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
具体的には、図26に示すように、輝度信号の予測方向ベクトルをvL=(dxL,dyL)とした場合、色差信号の予測方向ベクトルは、vC=(dxL/2,dyL)となる。即ち、図27に示すように、予測方向の角度をθとした場合、輝度信号の予測方向の角度をθL、色差信号の予測方向の角度をθCとして、tanθC=2tanθLの関係となる予測方向で予測する必要がある。
このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみで、YUV4:2:2信号のフォーマットに応じた色差信号の適切な予測を実施することができる。
変換・量子化部7は符号化制御部2により決定された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、減算部6から出力された予測差分信号に対する直交変換処理(例えば、DCT(離散コサイン変換)やDST(離散サイン変換)、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を変換ブロック単位に実施して変換係数を算出するとともに、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する処理を実施する。
ここで、図10は4×4DCTの量子化マトリクスの一例を示す説明図である。
図中の数字は、各変換係数の量子化ステップサイズのスケーリング値を示している。
例えば、符号化ビットレートを抑制するために、図10に示すように、高域の変換係数程、量子化ステップサイズを大きな値にスケーリングすることで、複雑な画像領域等で発生する高域の変換係数を抑制して符号量を抑えつつ、主観品質に大きく影響する低域の係数の情報を落とさずに符号化することができる。
このように、変換係数毎の量子化ステップサイズを制御したい場合には量子化マトリクスを用いればよい。
したがって、変換・量子化部7は、各直交変換サイズに対して色信号や符号化モード毎に、新しい量子化マトリクスを用いるか否かを示すフラグ情報を符号化すべき量子化マトリクスパラメータに設定する。
一方、新しい量子化マトリクスを用いない場合には、初期値として、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクス、または、既に符号化された量子化マトリクスの中から、使用するマトリクスを特定するインデックスを符号化すべき量子化マトリクスパラメータに設定する。ただし、参照可能な既に符号化された量子化マトリクスが存在しない場合、画像符号化装置及び画像復号装置で予め共通に用意されている量子化マトリクスのみ選択可能となる。
加算部9は逆量子化・逆変換部8により算出された局所復号予測差分信号と、イントラ予測部4により生成されたイントラ予測画像、または、動き補償予測部5により生成されたインター予測画像とを加算して、ブロック分割部1から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。
ループフィルタ部11は加算部9により算出された局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を出力する処理を実施する。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
一般に使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にある。また、各フィルタ処理の画像品質改善効果はフィルタ処理対象画像の特性によって異なる。したがって、画像符号化装置が許容する処理負荷や符号化処理対象画像の特性にしたがって使用するフィルタ処理を決めればよい。例えば、図11の構成よりも処理不可を削減したい場合、デブロッキングフィルタ処理と画素適応オフセット処理のみで構成するといったことが考えられる。
画素適応オフセット処理では、最初に、画像を複数のブロックに分割し、そのブロック単位に、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、予め用意されている複数のクラス分類手法の中から、1つのクラス分類手法を選択する。
次に、選択したクラス分類手法によって、ブロック内の各画素をクラス分類し、クラス毎に符号化歪みを補償するオフセット値を算出する。
最後に、局所復号画像の輝度値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。
したがって、画素適応オフセット処理では、ブロック分割情報、各ブロックのクラス分類手法を示すインデックス、ブロック単位の各クラスのオフセット値を特定するオフセット情報をヘッダ情報として可変長符号化部13に出力する。
なお、画素適応オフセット処理において、例えば、最大符号化ブロックといった固定サイズのブロック単位に常に分割して、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行ってもよい。この場合、上記ブロック分割情報が不要となり、ブロック分割情報に要する符号量分だけ符号量が削減され、符号化効率を高めることができる。
そして、クラス毎に設計したフィルタをヘッダ情報として可変長符号化部13に出力する。
クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性(分散など)に応じて分類する手法がある。
また、適応フィルタ処理で使用するクラス数は、予め画像符号化装置及び画像復号装置に共通の値として設定してもよいし、符号化すべきパラメータとしてもよい。
前者と比較して後者の方が、使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。
可変長符号化部13は変換・量子化部7から出力された圧縮データと、符号化制御部2の出力信号(最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータ)と、動き補償予測部5から出力された動きベクトル(符号化モードがインター符号化モードである場合)とを可変長符号化して符号化データを生成する。
また、可変長符号化部13は、図13に例示するように、符号化ビットストリームのヘッダ情報として、シーケンスレベルヘッダ、ピクチャレベルヘッダを符号化し、ピクチャデータと共に符号化ビットストリームを生成する。
シーケンスレベルヘッダは、画像サイズ、色信号フォーマット、輝度信号や色差信号の信号値のビット深度、シーケンス単位でのループフィルタ部11における各フィルタ処理(適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理)の有効フラグ情報、量子化マトリクスの有効フラグ情報など、一般的にシーケンス単位に共通となるヘッダ情報をまとめたものである。
ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックスや動き補償時の参照ピクチャ数、エントロピー符号化の確率テーブル初期化フラグ、量子化マトリクスパラメータなど、ピクチャ単位で設定するヘッダ情報をまとめたものである。
非特許文献1では、ランダムアクセスするピクチャについて、対応するアクセスユニット内のスライスデータのNALユニットタイプをIRAPピクチャとして符号化する。このIRAPピクチャは当該ピクチャから復号を開始しても正常に復号できるよう、イントラ予測のみで符号化されるイントラピクチャとして符号化される。なお、上述の通り、IRAPピクチャとしては、IDRピクチャ、CRAピクチャ、BLAピクチャが定義されている。
非特許文献2も同様であるが、ランダムアクセス可能なピクチャとしてIDRピクチャのみ定義されている点が異なる。以下、非特許文献1のIRAPピクチャを前提に説明するが、非特許文献2においてもIRAPピクチャをIDRピクチャに置き換えることで同様の処理が実現できる。
ランダムアクセス可能なピクチャとして設定されたインターピクチャは、動き補償予測部5において、1以上の長期参照ピクチャを参照して動き補償予測を行うことによって予測画像を生成する。
即ち、可変長符号化部13は、ランダムアクセス可能なインターピクチャのアクセスユニット内に、Supplemental Enhancement Information(SEI)として、ランダムアクセス可能なインターピクチャであることを示す補足情報(識別情報)を符号化し、その補足情報の符号化データをビットストリームに多重化する。このSEIには、当該アクセスユニットのインターピクチャが参照する、単独復号可能な長期参照ピクチャ(ランダムアクセス時使用参照ピクチャ)のピクチャ番号を示すピクチャ位置情報が含まれる。したがって、復号側ではランダムアクセスする際、IRAPピクチャの他に、上記SEIを持つアクセスユニットのインターピクチャについてもランダムアクセスが可能となる。この場合、上記SEIが示す長期参照ピクチャを復号後にその長期参照ピクチャのみを参照する当該インターピクチャを復号する。
即ち、後述する図3の画像復号装置において、復号部を構成する可変長復号部31が、ビットストリームに多重化されている符号化データからSEIを復号すると、画像復号装置は、そのSEIに含まれているピクチャ位置情報が示すピクチャ番号の長期参照ピクチャであるイントラピクチャの復号画像をはじめに復号して、そのイントラピクチャの復号画像を動き補償予測フレームメモリ39に格納したのち、動き補償部35が、動き補償予測フレームメモリ39に格納されているイントラピクチャの復号画像を参照して、そのSEIが示すランダムアクセス可能なインターピクチャの動き補償予測を実施することで、そのSEIが示すランダムアクセス可能なインターピクチャからの途中復号(ランダムアクセス)が実現できる。
このように、ピクチャ内のみを予測に利用するイントラピクチャだけでなく、動き補償用できるインターピクチャをランダムアクセスポイントとして利用できることで、非特許文献1及び2と比較して高効率な符号化が実現できる。
図2はこの発明の実施の形態1による画像符号化装置の処理内容(画像符号化方法)を示すフローチャートである。
ここで、可変長復号部31は復号部を構成し、逆量子化・逆変換部32は差分画像生成部を構成し、切換スイッチ33、イントラ予測部34及び動き補償部35は予測画像生成部を構成している。
また、加算部36は復号画像生成部を構成し、ループフィルタ部38はフィルタリング処理部を構成している。
図3において、可変長復号部31は図1の画像符号化装置により生成された符号化ビットストリームを入力すると、そのビットストリームからシーケンスレベルヘッダ、ピクチャレベルヘッダ、スライスレベルヘッダなどの各ヘッダ情報を復号するとともに、その符号化ビットストリームから、階層的に分割されている各々の符号化ブロックの分割状況を示すブロック分割情報を可変長復号する。このとき、YUV4:4:4フォーマット信号やRGB4:4:4フォーマット信号の各信号をモノクローム画像信号とみなしてそれぞれ独立にモノクローム(YUV4:0:0)符号化していることを示す情報がヘッダ情報に含まれる場合、各色信号の符号化ビットストリームに対してそれぞれ独立に復号処理することができる。
また、ランダムアクセス可能なインターピクチャが参照する長期参照ピクチャ数は予め画像符号化装置及び復号装置で共通の値として決定しておき、その定めた上記長期参照ピクチャ数だけの長期参照ピクチャのピクチャ番号を復号する。あるいは、上記長期参照ピクチャ数も補足情報として符号化するように画像符号化装置を構成する場合、画像復号装置は参照する長期参照ピクチャ数を復号し、その復号した長期参照ピクチャ数だけの長期参照ピクチャのピクチャ番号を復号する復号装置を構成する。このように符号化された長期参照ピクチャ数を復号するように構成することで、適応的に参照ピクチャ数を変更してランダムアクセス可能なインターピクチャの符号化効率を改善した画像符号化装置で生成したストリームを正しく復号することができる。
上記ヘッダ情報に含まれる量子化マトリクスの有効フラグ情報が“有効”を示す場合、可変長復号部31は量子化マトリクスパラメータを可変長復号し、量子化マトリクスを特定する。具体的には、各直交変換サイズの色信号や符号化モード毎に、量子化マトリクスパラメータが初期値として、画像符号化装置及び画像復号装置で予め共通に用意されている量子化マトリクス、または、既に復号された量子化マトリクスである(新しい量子化マトリクスでない)ことを示す場合は、上記マトリクスの内のどの量子化マトリクスであるかを特定するインデックス情報を参照して量子化マトリクスを特定し、量子化マトリクスパラメータが新しい量子化マトリクスを用いることを示す場合は、量子化マトリクスパラメータに含まれる量子化マトリクスを使用する量子化マトリクスとして特定する。
具体的には、各ヘッダ情報から特定される量子化マトリクスを用いて逆量子化処理を行う。
一方、色差信号については、色差信号のイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合(イントラ予測パラメータが輝度色差共通イントラ予測モード(DMモード)を示している場合)、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。
また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード(LMモード)を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。
YUV4:4:4信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
具体的には、図26に示すように、輝度信号の予測方向ベクトルをvL=(dxL,dyL)とした場合、色差信号の予測方向ベクトルは、vC=(dxL/2,dyL)となる。即ち、図27に示すように、予測方向の角度をθとした場合、輝度信号の予測方向の角度をθL、色差信号の予測方向の角度をθCとして、tanθC=2tanθLの関係となる予測方向で予測する必要がある。
このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみで、YUV4:2:2信号のフォーマットに応じた色差信号の適切な予測を実施することができる。
ループフィルタ部38は加算部36により算出された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を出力する処理を実施する。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部38は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、可変長復号部31により可変長復号された各ヘッダ情報を参照して、当該スライスで行うか否かを特定する。
このとき、2つ以上のフィルタ処理を行う場合において、例えば、画像符号化装置のループフィルタ部11が図11のように構成されていれば、図12に示すようにループフィルタ部38が構成される。当然、画像符号化装置のループフィルタ部11がデブロッキングフィルタ処理と画素適応オフセット処理から構成されていれば、ループフィルタ部38もデブロッキングフィルタ処理と画素適応オフセット処理で構成される。
なお、クラス分類手法の候補として、ループフィルタ部11の画素適応オフセット処理のクラス分類手法の候補と同一のものが予め用意されている。
そして、ブロック単位の各クラスのオフセット値を特定するオフセット情報を参照して、復号画像の輝度値にオフセットを加算する処理を行う。
動き補償予測フレームメモリ39はループフィルタ部38のフィルタ処理後の復号画像をインター予測処理(動き補償予測処理)で用いる参照画像として格納する記録媒体である。
図4はこの発明の実施の形態1による画像復号装置の処理内容(画像復号方法)を示すフローチャートである。
この実施の形態1では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行って符号化ビットストリームを生成する画像符号化装置と、その画像符号化装置から出力される符号化ビットストリームを復号する画像復号装置について説明する。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
まず、符号化制御部2は、符号化対象となるピクチャ(カレントピクチャ)のスライス分割状態を決めると共に、ピクチャの符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する(図2のステップST1)。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
なお、上記最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限は、シーケンスレベルヘッダなどに符号化してもよいし、符号化せずに画像復号装置側も同一の決定処理を行うようにしてもよい。
後者は反対に、画像復号装置側で上記決定処理を行うため、画像復号装置の処理負荷が増加するが、ヘッダ情報の符号量は増加しない。
また、上記最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限をシーケンスレベルヘッダなどに符号化する場合、分割階層数の上限の代わりに、符号化ブロックの最小ブロックサイズを符号化するようにしてもよい。即ち、最大符号化ブロックを分割階層数の上限まで分割したときのブロックのサイズが、符号化ブロックの最小ブロックサイズであるため、画像復号装置側において、最大符号化ブロックのサイズと符号化ブロックの最小ブロックサイズから分割階層数の上限を特定することができる。
即ち、符号化制御部2は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、1つないし複数のイントラ符号化モード(総称して「INTRA」と称する)と、1つないし複数のインター符号化モード(総称して、「INTER」と称する)とがあり、符号化制御部2は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。
符号化制御部2による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択する。
変換ブロックサイズは、図19に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
また、図21に示すように、入力信号フォーマットがYUV4:4:4信号である場合、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
また、符号化制御部2は、イントラ予測パラメータを必要に応じてイントラ予測部4に出力する。
また、符号化制御部2は、インター予測パラメータを必要に応じて動き補償予測部5に出力する。
ブロック分割部1は、スライス分割部14から各スライスを入力する毎に、そのスライスを符号化制御部2により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部2により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。
図5において、最大符号化ブロックは、「第0階層」と記されている輝度成分が(L0,M0)のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、4分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さnにおいては、符号化ブロックはサイズ(Ln,Mn)の画像領域である。
ただし、LnとMnは、同じであってもよいし、異なっていてもよいが、図5では、Ln=Mnのケースを示している。
4分木分割を行うため、常に、(Ln+1,Mn+1)=(Ln/2,Mn/2)が成立する。
なお、RGB信号など、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)では、全ての色成分のサイズが(Ln,Mn)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは(Ln/2,Mn/2)になる。
複数の色成分からなるカラー映像信号の場合、符号化モードm(Bn)は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
以降、符号化ブロックBnに属する予測ブロックをPi n(iは、第n階層における予測ブロック番号)と表記する。図5にはP0 0とP1 0の例を示している。
符号化ブロックBn内の予測ブロックの分割が、どのようになされているかは、符号化モードm(Bn)の中に情報として含まれる。
予測ブロックPi nは、全て符号化モードm(Bn)に従って予測処理が行われるが、予測ブロックPi n毎に、個別の予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択することができる。
図6(a)の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図6(b)は、図6(a)の例について、階層分割によって符号化モードm(Bn)が割り当てられる状況を4分木グラフで示したものである。図6(b)の□で囲まれているノードは、符号化モードm(Bn)が割り当てられたノード(符号化ブロック)である。
この4分木グラフの情報は符号化モードm(Bn)と共に符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
一方、符号化制御部2により決定された符号化モードm(Bn)がインター符号化モードである場合(m(Bn)∈INTERの場合)、ブロック分割部1から出力された符号化ブロックBnを動き補償予測部5に出力する。
したがって、符号化モードがイントラ符号化モードである符号化ブロックでは、選択可能な変換ブロックのブロックサイズは、予測ブロックのサイズ以下に制限され、さらに、変換ブロックが予測ブロックより小さい場合(予測ブロック内に複数の変換ブロックが存在する場合)には、変換ブロック単位に、当該予測ブロックで定められたイントラ予測パラメータを用いたイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
なお、画像復号装置がイントラ予測画像PINTRAi nと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
イントラ予測部4の処理内容の詳細は後述する。
なお、画像復号装置がインター予測画像PINTERi nと全く同じインター予測画像を生成する必要があるため、インター予測画像PINTERi nの生成に用いられたインター予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
また、動き補償予測部5により探索された動きベクトルも可変長符号化部13に出力されて、ビットストリームに多重化される。
また、変換・量子化部7は、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する(ステップST7)。このとき、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて量子化処理を実施するようにしてもよい。
したがって、変換・量子化部7は、各直交変換サイズに対して色信号や符号化モード毎に、新しい量子化マトリクスを用いるか否かを示すフラグ情報を符号化すべき量子化マトリクスパラメータに設定する。
さらに、新しい量子化マトリクスを用いる場合には、図10に示すような量子化マトリクスの各スケーリング値を符号化すべき量子化マトリクスパラメータに設定する。
一方、新しい量子化マトリクスを用いない場合には、初期値として、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクス、または、既に符号化された量子化マトリクスの中から、使用するマトリクスを特定するインデックスを符号化すべき量子化マトリクスパラメータに設定する。ただし、参照可能な既に符号化された量子化マトリクスが存在しない場合、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクスのみ選択可能となる。
そして、変換・量子化部7は、設定した量子化マトリクスパラメータを可変長符号化部13に出力する。
変換・量子化部7が量子化処理に量子化マトリクスを用いている場合には、逆量子化処理時においても、その量子化マトリクスを参照して、対応した逆量子化処理を実施する。
また、逆量子化・逆変換部8は、変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理(例えば、逆DCT、逆DST、逆KL変換など)を実施して、減算部6から出力された予測差分信号ei nに相当する局所復号予測差分信号を算出して加算部9に出力する(ステップST8)。
なお、加算部9は、その局所復号画像をループフィルタ部11に出力するとともに、その局所復号画像をイントラ予測用メモリ10に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
一般に使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にある。また、各フィルタ処理の画像品質改善効果はフィルタ処理対象画像の特性によって異なる。したがって、画像符号化装置が許容する処理負荷や符号化処理対象画像の特性にしたがって使用するフィルタ処理を決めればよい。
次に、選択したクラス分類手法によってブロック内の各画素をクラス分類し、クラス毎に符号化歪みを補償するオフセット値を算出する。
最後に、局所復号画像の輝度値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。
これらの手法は、予め画像符号化装置及び画像復号装置で共通に用意されており、例えば図14に示すように、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、これらの手法のうち、どの手法でクラス分類を行うかを示すインデックスを上記ブロック単位に選択する。
なお、画素適応オフセット処理において、例えば最大符号化ブロックといった固定サイズのブロック単位に常に分割して、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行ってもよい。この場合、上記ブロック分割情報が不要となり、ブロック分割情報に要する符号量分だけ符号量が削減され、符号化効率を高めることができる。
そして、クラス毎に設計したフィルタをヘッダ情報として可変長符号化部13に出力する。
ここで、クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性(分散など)に応じて分類する手法がある。また、適応フィルタ処理で使用するクラス数は、予め画像符号化装置及び画像復号装置で共通の値に設定してもよいし、符号化すべきパラメータの一つとしてもよい。
前者と比較して後者の方が、使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。
図15は16×16画素の変換ブロックにおける係数の符号化順(スキャン順)を示している。
このように、4×4画素単位の16個のCGを右下のCGから順に符号化処理し、さらに、各CGはCG内の16個の係数を右下の係数から順に符号化する。
その際、有意(非零)係数がなるべく連続で発生するように偏るスキャン順とした方がエントロピー符号化による符号化効率を高めることができる。
直交変換後の係数は、左上に位置する直流成分をはじめとして、左上に近い程、低い周波数成分の低い係数を表すことから、図16に示す例のように、一般的に左上に近いほど有意(非零)係数が多く発生するために、図15に示すように、右下から順に符号化することで効率的に符号化することができる。
なお、上記では16×16画素の変換ブロックについて説明したが、8×8画素や32×32画素の変換ブロック等、16×16画素以外のブロックサイズにおいてもCG(符号化サブブロック)単位の符号化処理を実施するものとする。
ただし、ピクチャデータは1以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある上記符号化データをまとめたものである。
ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックスや動き補償時の参照ピクチャ数、エントロピー符号化の確率テーブル初期化フラグ等のピクチャ単位で設定するヘッダ情報をまとめたものである。
スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかを示す位置情報、どのピクチャレベルヘッダを参照するかを示すインデックス、スライスの符号化タイプ(イントラ符号化、インター符号化など)、ループフィルタ部11における各フィルタ処理(適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理)を行うか否かを示すフラグ情報などといったスライス単位のパラメータをまとめたものである。
イントラ予測部4は、上述したように、予測ブロックPi nのイントラ予測パラメータを参照して、その予測ブロックPi nに対するイントラ予測処理を実施して、イントラ予測画像PINTRAi nを生成するが、ここでは、輝度信号における予測ブロックPi nのイントラ予測画像を生成するイントラ処理について説明する。
なお、イントラ予測モード数は、処理対象となるブロックのサイズに応じて異なるように構成してもよい。
大きいサイズのブロックでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのブロックでは、選択できるイントラ予測方向数を多くするように構成することで演算量を抑制することができる。
ここで、イントラ予測画像を生成する変換ブロックを予測画像生成ブロックと呼ぶこととする。したがって、イントラ予測部4は、予測画像生成ブロック単位に下記に述べるイントラ予測画像生成処理を実施して、予測ブロックPi nのイントラ予測画像を生成する。
予測画像生成ブロックのサイズをli n×mi n画素とする。
図8はli n=mi n=4の場合の予測画像生成ブロック内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図8では、予測画像生成ブロックの上の符号化済みの画素(2×li n+1)個と、左の符号化済みの画素(2×mi n)個を予測に用いる画素としているが、予測に用いる画素は、図8に示す画素より多くても少なくてもよい。
また、図8では、予測画像生成ブロックの近傍の1行又は1列分の画素を予測に用いているが、2行又は2列、あるいは、それ以上の画素を予測に用いてもよい。
さらに、予測画像生成ブロックの上端及び左端に位置する図17の領域A,B,Cに対して、ブロック境界を平滑化するフィルタ処理を行って最終的な予測画像とする。例えば、下記の式(1)にしたがって、図18のフィルタの参照画素配置で、下記のフィルタ係数を用いてフィルタ処理を実施する。
・領域A(パーティションPi nの左上の画素)
a0=1/2,a1=1/4,a2=1/4
・領域B(領域A以外のパーティションPi nの上端の画素)
a0=3/4,a2=1/4,(a1=0)
・領域C(領域A以外のパーティションPi nの左端の画素)
a0=3/4,a1=1/4,(a2=0)
一般にブロック端のみフィルタ処理を行って予測値を変化させる場合、大きなブロックサイズのブロックでは、フィルタ処理により予測値が変化する領域の占める割合が小さいために、この予測値の変化によって生じた予測残差信号の変化を非常に高い周波数成分で表されることになり、この高周波数成分を符号化するために符号化効率の悪化を生じさせてしまう傾向がある。また、符号化効率を優先して、この高周波数成分を符号化しないようにすることで、ブロック端の予測残差信号の変化を復元できずに、ブロック境界に歪みが生じてしまう傾向がある。
したがって、例えば、32×32画素以上のブロックサイズの予測画像生成ブロックでは、上記フィルタ処理を適用せずに、32×32画素より小さいブロックのみに上記フィルタ処理を適用することで、従来の平均値予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
ただし、座標(x,y)は予測画像生成ブロック内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。また、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
ただし、座標(x,y)は予測画像生成ブロック内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。また、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
一般にブロック端のみ予測方向の輝度値の変化量に比例する値を加算するフィルタ処理を行うことで予測値を変化させる場合、大きなブロックサイズのブロックでは、上述した予測画像生成ブロックのブロック端のフィルタ処理により予測値が変化する領域の占める割合が小さいために、この予測値の変化によって生じた予測残差信号の変化を非常に高い周波数成分で表されることになり、この高周波数成分を符号化するために符号化効率の悪化を生じさせてしまう傾向がある。また、符号化効率を優先して、この高周波数成分を符号化しないようにすることで、ブロック端の予測残差信号の変化を復元できずにブロック境界に歪みが生じてしまう傾向がある。
したがって、例えば、32×32画素以上のブロックサイズの予測画像生成ブロックでは、予測対象画素の座標によらず、式(2)及び式(3)の2行目の式を常に用いるようにし(予測画像生成ブロックのブロック端のフィルタ処理を行わないことにする)、32×32画素より小さいブロックのみに、上記フィルタ処理を行う式(2)及び式(3)を適用することで、従来の垂直方向予測、水平方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
図9に示すように、予測画像生成ブロックの左上画素を原点として、予測画像生成ブロック内の相対座標を(x,y)と設定すると、予測に用いる参照画素の位置は、下記のLと隣接画素の交点になる。
ただし、kは負の実数である。
図8の例では、参照画素は整数画素位置にないので、参照画素に隣接する2画素から内挿したものを予測値とする。なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
なお、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータ(イントラ予測モード)は、ビットストリームに多重化するために可変長符号化部13に出力される。
あるいは、上記参照画素へのフィルタ処理は予測画像へのフィルタ処理を行う平均値予測、垂直方向予測、水平方向予測以外の予測の際のみ実施するようにしてもよい。このようにすることで、各予測モードに対して最大で1つのフィルタ処理しか行わずに済み、演算量の増加を抑えることができる。
予測ブロックPi nの色差信号に対して、色差信号のイントラ予測パラメータ(イントラ予測モード)に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部13に出力する。
色差信号のイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合(イントラ予測パラメータが輝度色差共通イントラ予測モード(DMモード)を示している場合)、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。
また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード(LMモード)を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。
当然、YUV4:4:4信号の場合においても、色差信号に対して、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。
具体的には、図26に示すように、輝度信号の予測方向ベクトルをvL=(dxL,dyL)とした場合、色差信号の予測方向ベクトルは、vC=(dxL/2,dyL)となる。即ち、図27に示すように、予測方向の角度をθとした場合、輝度信号の予測方向の角度をθL、色差信号の予測方向の角度をθCとして、tanθC=2tanθLの関係となる予測方向で予測する必要がある。
図28は図7のイントラ予測モードにおけるイントラ予測モードインデックスの変換例を示している。
図28の変換テーブルは、予測方向の角度がθであるとき(図27を参照)、イントラ予測モードの方向性予測が図29に示すtanθとなる角度である場合、tanθC=2tanθLの関係に最も近い角度θCに変換するテーブルの例である。
変換処理の実現は、上記のように、インデックスの変換テーブルを用意し、その変換テーブルを参照することでインデックスを変換するように構成してもよいし、変換式を用意し、その変換式に従ってインデックスを変換するように構成してもよい。
このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみでYUV4:2:2信号のフォーマットに応じた色差信号の適切な予測を実施することができる。
このようにLMモードも用いないようにすることで、予測対象画素の輝度信号と色差信号の依存性がなくなるため、輝度信号と色差信号の予測処理の並列化が可能となり、高速な演算処理を実現することができる。
可変長復号部31は、図1の画像符号化装置により生成された符号化ビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して(図4のステップST21)、1フレーム以上のピクチャから構成されるシーケンス単位のヘッダ情報(シーケンスレベルヘッダ)及びピクチャ単位のヘッダ情報(ピクチャレベルヘッダ)、ループフィルタ部38で使用するフィルタパラメータや量子化マトリクスパラメータを復号する。
具体的には、各直交変換サイズの色信号や符号化モード毎に、量子化マトリクスパラメータが初期値として、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクス、または、既に復号された量子化マトリクスである(新しい量子化マトリクスでない)ことを示す場合は、量子化マトリクスパラメータに含まれる上記マトリクスの内のどの量子化マトリクスであるかを特定するインデックス情報を参照して量子化マトリクスを特定し、量子化マトリクスパラメータが新しい量子化マトリクスを用いることを示す場合は、量子化マトリクスパラメータに含まれる量子化マトリクスを使用する量子化マトリクスとして特定する。
そして、ピクチャ単位のデータを構成するスライスデータから、スライス分割情報等のスライス単位のヘッダ情報(スライスレベルヘッダ)を復号し、各スライスの符号化データを復号する。
例えば、最大符号化ブロックサイズや分割階層数の上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数の上限が、画像符号化装置側でシーケンスレベルヘッダなどに多重化されている場合には、上記ヘッダから復号した値を用いるようにする。ただし、分割階層数の上限の代わりに、符号化ブロックの最小ブロックサイズが符号化されている場合、これを復号することで分割階層数の上限を決定する。即ち、最大符号化ブロックを上記最小ブロックサイズまで分割した場合が分割階層数の上限となる。
可変長復号部31は、決定された最大符号化ブロック単位に、図6で示されるような最大符号化ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に符号化ブロックを特定する(ステップST23)。
一方、符号化ブロックに割り当てられている符号化モードがインター符号化モードである場合、符号化ブロックに含まれており、予測処理単位となる1つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する(ステップST24)。
その際、図1の画像符号化装置の可変長符号化部13での圧縮データの符号化処理と同様に、CG単位の係数の復号処理を実施する。
したがって、図15に示すように、4×4画素単位の16個のCGを右下のCGから順に復号処理し、さらに、各CGはCG内の16個の係数を右下の係数から順に復号していくことになる。
具体的には、まず、CG内の16個の係数の中に有意(非零)係数が存在するか否かのフラグ情報を復号し、次に復号したフラグ情報がCG内に有意(非零)係数が存在することを示す場合のみCG内の各係数が有意(非零)係数であるかを上記順に復号し、最後に有意(非零)係数を示す係数に対して、その係数値情報を順に復号する。これをCG単位に上記順に行う。
一方、可変長復号部31により可変長復号された符号化モードm(Bn)がインター符号化モードであれば(m(Bn)∈INTERの場合)、可変長復号部31により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部35に出力する。
一方、色差信号については、色差信号のイントラ予測パラメータに基づくイントラ予測処理を実施して、色差信号の予測画像を生成する。
色差信号のイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合(イントラ予測パラメータが輝度色差共通イントラ予測モード(DMモード)を示している場合)、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。
また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード(LMモード)を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。
YUV4:4:4信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
具体的には、図26に示すように、輝度信号の予測方向ベクトルをvL=(dxL,dyL)とした場合、色差信号の予測方向ベクトルは、vC=(dxL/2,dyL)となる。即ち、図27に示すように、予測方向の角度をθとした場合、輝度信号の予測方向の角度をθL、色差信号の予測方向の角度をθCとして、tanθC=2tanθLの関係となる予測方向で予測する必要がある。
図28は図7のイントラ予測モードにおけるイントラ予測モードインデックスの変換例を示している。
図28の変換テーブルは、予測方向の角度がθであるとき(図27を参照)、イントラ予測モードの方向性予測が図29に示すtanθとなる角度である場合、tanθC=2tanθLの関係に最も近い角度θCに変換するテーブルの例である。
変換処理の実現は、上記のように、インデックスの変換テーブルを用意し、その変換テーブルを参照することでインデックスを変換するように構成してもよいし、変換式を用意し、その変換式に従ってインデックスを変換するように構成してもよい。
このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみでYUV4:2:2信号のフォーマットに応じた色差信号の適切な予測を実施することができる。
このときの色差信号のイントラ予測パラメータ(インデックス値)と色差イントラ予測モードの対応例として、図23が挙げられる。
このようにLMモードも用いないようにすることで、予測対象画素の輝度信号と色差信号の依存性がなくなるため、輝度信号と色差信号の予測処理の並列化が可能になり、高速な演算処理を実現することができる。
このようにフィルタ処理を行わないことで、予測処理の低演算化を図ることができる。
このとき、可変長復号部31により可変長復号された各ヘッダ情報を参照し、各ヘッダ情報が、当該スライスで量子化マトリクスを用いて、逆量子化処理を実施することを示している場合は、量子化マトリクスを用いて逆量子化処理を行う。
また、逆量子化・逆変換部32は、変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図1の逆量子化・逆変換部8から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する(ステップST28)。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部38は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、可変長復号部31により可変長復号された各ヘッダ情報を参照して、当該スライスで処理を行うか否かを特定する。
このとき、2つ以上のフィルタ処理を行う場合に、例えば、画像符号化装置のループフィルタ部11が図11のように構成されている場合には、図12に示すようにループフィルタ部38が構成される。
なお、クラス分類手法の候補として、ループフィルタ部11の画素適応オフセット処理のクラス分類手法の候補と同一のものが予め用意されている。
このループフィルタ部38によるフィルタ処理後の復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
上記実施の形態1の画像符号化装置においては、ランダムアクセス可能なインターピクチャが参照するランダムアクセス時使用参照ピクチャのピクチャ番号を示すピクチャ位置情報を含むランダムアクセス可能なインターピクチャを示す補足情報としてSEIを新たに定義したが、本実施の形態の画像符号化装置では、新たなSEIを定義せずに、非特許文献1及び非特許文献2に定義されるRecovery Point SEI Messageの意味を下記の通り解釈するように変更する。すなわち、Recovery Point SEI Messageが付与されているピクチャをランダムアクセス可能なインターピクチャとし、さらにRecovery Point SEI Messageのシンタックスrecovery_poc_cnt(非特許文献2では、recovery_frame_cnt)を、復号開始位置であるリカバリポイントとなるピクチャの位置ではなく、ランダムアクセス時使用参照ピクチャの位置を示す情報として解釈するようにする。このような構成とすれば、新たなSEIを定義することなく、上記実施の形態1の画像符号化装置と同じ処理が可能となり、同様の効果を得ることができる。ただし、ランダムアクセス可能なインターピクチャが参照できるランダムアクセス時使用参照ピクチャ数は1つに限定される。
本実施の形態では、ランダムアクセス可能なインターピクチャの参照するランダムアクセス時使用参照ピクチャを後述する直前のIRAPピクチャに限定して、直前のIRAPピクチャの復号画像を動き補償予測フレームメモリ12に格納し、動き補償予測部5が、動き補償予測フレームメモリ12に格納されている直前のIRAPピクチャの復号画像を参照して、そのインターピクチャの動き補償予測を実施し、可変長符号化部13が、そのインターピクチャがランダムアクセス可能なピクチャである旨を示すSEIを符号化し、そのSEIの符号化データを符号化ビットストリームに多重化するようにする。
ここで、直前のIRAPピクチャは、1つ以上のIRAPピクチャの中で、ランダムアクセス可能なインターピクチャの符号化順(復号順)に対して、符号化順(復号順)が先かつ符号化順(復号順)が最も近い(符号化順がより近い)IRAPピクチャを意味する。
したがって、このような構成とすれば、本SEIが付与されているピクチャから復号を開始する場合は、直前のIRAPピクチャを復号して、そのIRAPピクチャの復号画像を動き補償予測フレームメモリ39に格納したのち、動き補償部35が、動き補償予測フレームメモリ39に格納されている直前のIRAPピクチャの復号画像を参照して、そのSEIが示すランダムアクセス可能なインターピクチャの動き補償予測を実施することで、そのインターピクチャを復号する。その後、本SEIが示すランダムアクセス可能なインターピクチャより表示順で後のピクチャを復号することで、このSEIが示すランダムアクセス可能なピクチャから正常に再生することが可能となる。したがって、本実施の形態の画像符号化装置で生成したビットストリームの途中から正しく復号することができる。
上記実施の形態1の画像符号化装置においては、ランダムアクセス可能なインターピクチャであることを示す情報をSEIに設定する場合について説明したが、上位ヘッダで設定できれば、これに限られない。例えば、ランダムアクセス可能なインターピクチャということを示す特別なNALユニットタイプを定義し、そのNALの中に上記SEIと同様の情報を持つように構成しても良い。
すなわち、この場合、SEIを付与することでランダムアクセス可能なインターピクチャを識別するようにするのではなく、ランダムアクセス可能なインターピクチャを示すNALユニットタイプを新たに定義して、本NALユニットタイプを示すNALユニットとしてランダムアクセス可能なインターピクチャを符号化する。
また、本実施の形態はランダムアクセス可能なインターピクチャであることを示す情報を上位ヘッダで設定することを特徴としており、その上位ヘッダはランダムアクセスが可能ならばどのように構成しても良いことは明らかである。したがって、例えば実施の形態3との組み合わせとして、ランダムアクセス可能なインターピクチャの参照するランダムアクセス時使用参照ピクチャは直前のIRAPピクチャに限定し、ランダムアクセス時使用参照ピクチャのピクチャ番号を識別する情報を省略することも可能である。
実施の形態1〜4では、インターピクチャによるランダムアクセスを実現する符号化ストリームを生成する画像符号化装置と、生成した符号化ストリームを正しく復号できる画像復号装置について説明した。本実施の形態では、イントラピクチャ(非特許文献1のIRAPピクチャまたは非特許文献2のIDRピクチャ)のみによるランダムアクセスを実現している符号化ストリームを部分的に変換するだけで、インターピクチャによるランダムアクセスを実現する符号化ストリームを生成する符号化ストリーム変換装置と、生成した符号化ストリームを正しく復号できる画像復号装置について説明する。
ここで、再符号化制御部42及び入力映像信号制御部44は再符号化設定部を構成し、復号部43は画像復号部を構成し、ビットストリーム合成部45はビットストリーム合成部を構成している。
本実施の形態における符号化ストリーム変換装置は、変換対象となる符号化ストリーム(ビットストリーム)のIRAPピクチャ(非特許文献2の場合、IDRピクチャ)の中から、1以上の任意のピクチャをランダムアクセス可能なインターピクチャとして再符号化する再符号化部41を有する。
このようにイントラピクチャをインターピクチャに再符号化することにより、元の符号化ストリームより符号量が削減された符号化ストリームを生成することができる。
すなわち、符号化ストリーム変換装置は、まず再符号化制御部42が、非特許文献3や非特許文献2等の従来の画像符号化装置によって生成された符号化ストリームからランダムアクセス可能なイントラピクチャ(非特許文献1ではIRAPピクチャ、非特許文献2ではIDRピクチャ)を特定する情報を、復号部43を用いて復号する。次に、再符号化制御部42は、復号したランダムアクセス可能なイントラピクチャを特定する情報から特定される複数のランダムアクセス可能なイントラピクチャの中から、任意のピクチャを再符号化対象のピクチャに設定すると共に、複数のランダムアクセス可能なイントラピクチャの中で、再符号化対象のピクチャよりも先に符号化されている少なくとも1つのピクチャ(再符号化参照ピクチャ)を復号部43にて復号して再符号化部41の動き補償予測フレームメモリ12に格納するように制御する。そして再符号化制御部42にしたがって再符号化部41は、上記復号した少なくとも1つの再符号化参照ピクチャを参照して、再符号化対象のピクチャの動き補償予測を動き補償予測部5にて実施することでインター予測画像を生成し、そのインター予測画像を用いて、インターピクチャの符号化データを生成する。このとき、復号部43は上記符号化ストリームを生成した従来の符号化装置に対応する復号装置を示す(復号部43は上記符号化ストリームを正しく復号できる)。さらに、再符号化部41は実施の形態1の画像符号化装置(図1)と同じ構成となる。
また、符号化ストリーム変換装置は、上記符号化ストリームの中の再符号化対象のイントラピクチャの符号化データに当たる部分のストリームを、再符号化部41により生成されたインターピクチャの符号化データからなるビットストリームに置き換えることで再符号化後のストリーム(再符号化ストリーム)を生成するビットストリーム合成部45を有する。
なお、再符号化部41の動き補償予測フレームメモリ12では、変換対象となるピクチャが参照するピクチャを長期参照ピクチャとして保存する。この長期参照ピクチャはIRAPピクチャ(上記符号化ストリームが非特許文献2の符号化装置で生成されている場合、IDRピクチャ)に限定するものとする。このように、長期参照ピクチャとして特定のピクチャを保存するようにした場合、元の符号化ストリームに対して、符号化順で上記特定のピクチャより後かつ変換対象となるピクチャの前に符号化するピクチャの符号化データに該当する部分を、上記特定のピクチャが長期参照ピクチャとして保存されているようにビットストリーム合成部45が符号化ストリームを変更する必要がある。
あるいは、ビットストリーム合成部45にて上記補足情報を生成、符号化し、再符号化ストリームに多重化するように符号化ストリーム変換装置を構成してもよい。この場合、再符号化部41は、上記補足情報の生成・符号化を行う必要がないため、再符号化前の符号化ストリームを生成した符号化装置(非特許文献4や非特許文献2等の従来の画像符号化装置)と同一の符号化処理で再符号化を実現できる。
あるいは、SEI情報としてではなく、実施の形態2や実施の形態4と同様の形態でランダムアクセス可能なインターピクチャであることを示す情報を符号化するようにしても良い。
このようにすることで、各各再符号化対象ピクチャに対して、再符号化前後の復号画像が同一となるように制御する必要がなく、再符号化処理を簡易化できる。
また、実施の形態3と同様にランダムアクセス時使用参照ピクチャ(再符号化対象のランダムアクセス可能なイントラピクチャを再符号化する際に参照するピクチャ)を直前のIRAPピクチャ(非特許文献2の場合、IDRピクチャ)に限定する場合、ランダムアクセス可能なインターピクチャとするピクチャからではなく、直前のIRAPピクチャから、ランダムアクセス可能なインターピクチャとするピクチャの次の(復号順で後となる最も近い)ランダムアクセス可能なイントラピクチャの1つ前に復号されるピクチャまで再符号化するようにしてもよい。このようにすることで、直前のIRAPピクチャから再符号化前の符号化ストリームが生成する復号画像に依存しない自由な再符号化が実施可能となる。なお、再符号化された複数のピクチャの中に直前のIRAPを参照する複数のランダムアクセス可能なインターピクチャが含まれていてもよい。
本構成の場合、上記ランダムアクセス時使用参照ピクチャを符号化した後かつランダムアクセス可能なインターピクチャを符号化する前までのピクチャの符号化データを変更する必要がない利点がある。
上記実施の形態1では、ランダムアクセス可能なインターピクチャより表示順が後(表示時刻が未来)となるランダムアクセス不可能なインターピクチャ(図33(b)の白色で示す「インターピクチャ」)はランダムアクセス可能なインターピクチャより表示順が前(表示時刻が過去)となるピクチャは参照しないようにすることで、ランダムアクセス可能なインターピクチャによるランダムアクセスを実現した。本実施例では、図35に示す例のようにランダムアクセス可能なインターピクチャより復号順が後となるランダムアクセス不可能なインターピクチャはランダムアクセス可能なインターピクチャより復号順が先となるピクチャは参照しないようにすることで、ランダムアクセス可能なインターピクチャによるランダムアクセスを実現する。この場合、非特許文献1、非特許文献2のIDRピクチャをランダムアクセス可能なインターピクチャに置き換えることに相当する。
また、本実施の形態は、実施の形態1の参照ピクチャの制限を変更するのみであり、実施の形態1の画像符号化装置及び画像復号装置と同様の方法で他の実施の形態と組み合わせることができることは明らかである。
上記実施の形態1の画像符号化装置においては、ランダムアクセス可能なインターピクチャが参照するランダムアクセス時使用参照ピクチャのピクチャ番号を識別する情報を含むランダムアクセス可能なインターピクチャを識別する情報としてSEIを新たに定義したが、本実施の形態の画像符号化装置では、ランダムアクセス可能なインターピクチャを識別する情報として、非特許文献1及び非特許文献2に定義されるRecovery Point SEI Messageを用いる。また、上記実施の形態2においてはRecovery Point SEI Messageの解釈を変えて用いたが、本実施の形態においては、Recovery Point SEI Messageのシンタックスrecovery_poc_cnt(非特許文献2では、recovery_frame_cnt)を、非特許文献1及び非特許文献2に定義されるとおり、復号開始位置であるリカバリポイントとなるピクチャの位置と解釈した上で、そのリカバリポイントとなるピクチャがインターピクチャである場合のみ上記実施の形態1のランダムアクセス時使用参照ピクチャのピクチャ番号を識別する情報をRecovery Point SEI Messageのシンタックスとして符号化するようにする。
本実施の形態では、リカバリポイントとなるピクチャがイントラピクチャである場合は非特許文献1及び非特許文献2からの変更はなく、非特許文献1及び非特許文献2準拠の画像復号装置を用いてリカバリポイントとなるイントラピクチャからの途中復号を正常に行える。
上記実施の形態1、2、4〜7では、ランダムアクセス時使用参照ピクチャの位置をピクチャ番号として符号化していたが、本実施の形態では、上記実施の形態1、2、4〜7に対して、図36に示すようにランダムアクセス時使用参照ピクチャの位置を、ランダムアクセス可能なインターピクチャを識別する情報からの移動バイト数で示すようにする。このようにすることで、上記ランダムアクセス時使用参照ピクチャを特定するために符号化された各ピクチャデータからピクチャ番号を復号してランダムアクセス時使用参照ピクチャのピクチャ番号と照合する処理を行うことなしにランダムアクセス時使用参照ピクチャの復号開始位置を知ることができ、復号処理の処理負荷を低減することができる。また、ランダムアクセス時使用参照ピクチャの位置を、図37のように符号化ビットストリームの先頭からの移動バイト数で示すようにしてもよい。このようにすることで、ランダムアクセス時使用参照ピクチャの復号開始位置を符号化ビットストリームの相対的位置(ランダムアクセス可能なインターピクチャを識別する情報からの移動バイト数)ではなく、絶対的な位置として知ることができる。また、移動バイト数の開始点は画像符号化装置と画像復号装置との間で統一していれば、図36、図37と異なる点を設定しても良いことは明らかである。
本実施の形態では、実施の形態1においてSEIで示した、ランダムアクセス可能なインターピクチャの識別情報と、ランダムアクセス時使用参照ピクチャの位置を識別する情報を、映像や音声の符号化ビットストリームをまとめるメディアファイルフォーマット内の情報として付与するようにする。メディアファイルフォーマットは、例えばISO/IEC 23008−1、ISO/IEC 13818−1/ITU−T H.222.0、ISO/IEC 14496−14:2003等に規定されている。このようにすることでメディアファイルの中から上記実施の形態1〜7で説明した画像符号化装置によって生成された符号化ビットストリームを抜き出す前にランダムアクセス可能なインターピクチャとそのランダムアクセス可能なインターピクチャの復号に必要なランダムアクセス時使用参照ピクチャを識別することができ、高速なランダムアクセスを実現することができる。
実施の形態1〜9ではランダムアクセス可能なインターピクチャが参照するランダムアクセス時使用参照ピクチャを長期保存用バッファに保存される長期参照ピクチャとしたが、本実施の形態ではランダムアクセス時使用参照ピクチャを長期参照ピクチャでないイントラピクチャとする。この場合、ランダムアクセス時使用参照ピクチャはその他のピクチャの符号化・復号における参照ピクチャと同じ短期参照(short−term reference)ピクチャとして短期保存用バッファに格納する。しかし、ランダムアクセス可能なインターピクチャの符号化・復号の際にランダムアクセス時使用参照ピクチャが短期保存用バッファに存在するようにするために、短期保存用バッファ格納後の各ピクチャの符号化・復号の際に上記ランダムアクセス時使用参照ピクチャが短期保存用バッファに保存されたままになるようにする必要がある。そこで、画像符号化装置においては、ランダムアクセス可能なインターピクチャの符号化・復号の際にランダムアクセス時使用参照ピクチャが短期保存用バッファに保存された状態となるように非特許文献1及び非特許文献2に規定されている短期参照ピクチャの管理情報を符号化する。また、画像復号装置は符号化ストリームから上記管理情報を復号し本情報に従ってバッファを管理することで、ランダムアクセス可能なインターピクチャの符号化・復号の際に上記ランダムアクセス時使用参照ピクチャが短期保存用バッファに保存されたままとなり参照可能となる。したがって、本実施の形態の画像符号化装置で生成した符号化ストリームに対して、ランダムアクセス可能なインターピクチャからの正常再生が可能となる。
実施の形態1〜10では、ランダムアクセス可能なインターピクチャはランダムアクセス時使用参照ピクチャとして設定されたピクチャのみを参照するピクチャとし、非特許文献1あるいは非特許文献2の長期保存用バッファあるいは短期保存用バッファにランダムアクセス時使用参照ピクチャを格納して実現している。すなわち、非特許文献1あるいは非特許文献2にしたがって、符号化側は長期保存用バッファ及び短期保存用バッファの参照ピクチャ管理情報を符号化し、復号側は上記参照ピクチャ管理情報を復号して参照する必要がある。本実施の形態では、実施の形態3と実施の形態4を組み合わせることで、ランダムアクセス可能なインターピクチャにおいて上記参照ピクチャ管理情報の符号化を不要とする。
実施の形態1〜11では、ランダムアクセス可能なインターピクチャが参照するランダムアクセス時使用参照ピクチャをイントラピクチャとしたが、本実施の形態では、図38に示すようにIRAPピクチャを先頭にランダムアクセス可能なインターピクチャを順々に参照するようにする。このとき、ランダムアクセス時使用参照ピクチャの位置を識別する情報として、各ランダムアクセス可能なインターピクチャが持つランダムアクセス可能なインターピクチャを識別する情報を符号化する。さらに、上述のとおりランダムアクセス可能なインターピクチャを順々に参照可能とするために、各ランダムアクセス可能なインターピクチャを符号化する際に符号化済みのIRAPピクチャ及びランダムアクセス可能なインターピクチャの中で、直前のピクチャ(符号化順(復号順)で最も近いピクチャ)が参照可能となるように、長期保存用バッファあるいは短期保存用バッファの参照ピクチャを管理する。
実施の形態12に対して、本実施の形態では、各ランダムアクセス可能なインターピクチャは、直前のIRAPピクチャ(符号化順(復号順)で最も近いIRAPピクチャ)及び直前のIRAPピクチャ以降に符号化(復号)したランダムアクセス可能なインターピクチャの中から、参照するピクチャを選択して符号化するようにする。
このとき、実施の形態12に対して、各ランダムアクセス可能なインターピクチャが参照するピクチャを特定する情報を更に符号化するようにする。上記参照するピクチャを特定する情報の例としては、ピクチャ番号(Picture Ooder Count:POC)がある。さらに、上述のように参照ピクチャを選択可能とするために、各ランダムアクセス可能なインターピクチャを符号化する際に直前のIRAPピクチャ及びそれ以降のランダムアクセス可能なインターピクチャが参照可能となるように、長期保存用バッファあるいは短期保存用バッファの参照ピクチャを管理する。
ここで、wi(i=0、1、…、5)は重み係数、E(S)はピクチャ内の画素値Sの平均、V(S)はピクチャ内の画素値Sの分散、STXは符号化対象ピクチャ(符号化対象の上記イントラピクチャとして符号化するように割り当てられたピクチャ)の色成分Xの画素値、SRXはランダムアクセス時使用参照ピクチャの色成分Xの画素値をそれぞれ示している。上記指標Iが予め設定した閾値より小さい場合、ピクチャ間の相関が高いと判断して符号化対象ピクチャをランダムアクセス可能なインターピクチャとして符号化する。一方、上記指標Iが上記閾値以上の場合、ピクチャ間の相関が低いと判断して符号化対象ピクチャをランダムアクセス可能なイントラピクチャとして符号化する。上記閾値を適切な値に設定した上で、ピクチャ間相関指標に基づいてランダムアクセス可能なインターピクチャとするか否かを決定するようにすることで、ランダムアクセスポイントとなるピクチャ(上記イントラピクチャとして符号化するように割り当てられたピクチャ)の符号化方法(イントラ符号化かインター符号化か)を適応的に制御可能となり、ビットストリーム全体の符号化効率を改善することができる。また、上記の式(5)はYUV信号の例を示しているが、RGB信号等の他の色信号であっても勿論良い。
また、この発明に係る画像復号装置及び画像復号方法は、ランダムアクセス間隔が維持されながら、符号化効率が高められている場合でも、ランダムアクセスが可能なインターピクチャを含む符号化ビットストリームを正しく復号する必要性が高いものに適している。
Claims (5)
- 入力画像を符号化処理単位のブロックに分割するブロック分割部と、前記ブロック分割部により分割されるブロックに対する符号化モードを決定する符号化モード決定部と、前記符号化モード決定部により決定された符号化モードにしたがって、前記ブロック分割部により分割されたブロックに対する符号化処理を実施して、前記ブロックの圧縮データを出力する画像符号化装置であって、
前記ブロック分割部により分割されたブロックの予測画像を生成する予測画像生成部と、前記ブロック分割部により分割されたブロックと前記予測画像生成部により生成された予測画像との差分画像を圧縮し、前記差分画像の圧縮データを出力する画像圧縮部と、前記画像圧縮部により圧縮された差分画像を伸張し、伸張後の差分画像と前記予測画像生成部により生成された予測画像を加算して局所復号画像を生成する局所復号画像生成部と、前記局所復号画像生成部により生成された局所復号画像に対するフィルタリング処理を実施するフィルタリング処理部と、前記画像圧縮部から出力された圧縮データ及び前記符号化モード決定部により決定された符号化モードを符号化して、前記圧縮データ及び前記符号化モードの符号化データが多重化されているビットストリームを生成する符号化部とを備え、
前記予測画像生成部は、ランダムアクセス可能なインターピクチャを符号化する場合は、GOP(Group Of Pictures)内の前記ランダムアクセス可能な複数のインターピクチャそれぞれに対して、符号化順が先かつ符号化順が最も近いランダムアクセス可能なイントラピクチャのみを参照ピクチャに設定し、その設定した参照ピクチャを予測処理に用いる動き補償予測を実施し、
前記符号化部は、前記ランダムアクセス可能なインターピクチャがランダムアクセス可能であることを示す識別情報を符号化し、前記識別情報の符号化データを前記ビットストリームに多重化することを特徴とする画像符号化装置。 - 画像をブロック単位に圧縮符号化したビットストリームを入力して復号画像を生成する画像復号装置であって、
前記ビットストリームから各々のブロックに係る圧縮データ及び符号化モードを復号する復号部と、前記復号部により復号された符号化モードにしたがって復号済み画素を参照し、各々のブロックに対する予測画像を生成する予測画像生成部と、前記復号部により復号された圧縮データを伸長して生成された差分画像と前記予測画像生成部により生成された予測画像とを加算して復号画像を生成する復号画像生成部と、前記復号画像生成部により生成された復号画像に対するフィルタリング処理を実施するフィルタリング処理部とを備え、
前記復号部は、どのインターピクチャがランダムアクセス可能なインターピクチャであるかを示す識別情報を復号し、
前記予測画像生成部は、前記識別情報によって識別されたランダムアクセス可能なインターピクチャを復号する場合は、GOP(Group Of Pictures)内の前記ランダムアクセス可能な複数のインターピクチャそれぞれに対して、復号順が先かつ復号順が最も近いランダムアクセス可能なイントラピクチャのみを参照ピクチャに設定し、その設定した参照ピクチャを予測処理に用いる動き補償予測を実施することを特徴とする画像復号装置。 - 画像をブロック単位に圧縮符号化したビットストリームを入力して再符号化したビットストリームを出力する符号化ストリーム変換装置であって、
前記ビットストリームを復号して復号画像を生成するとともに、ランダムアクセス可能なイントラピクチャを特定する画像復号部と、前記特定したランダムアクセス可能なイントラピクチャの中からランダムアクセス可能なインターピクチャに再符号化する再符号化対象イントラピクチャを設定する再符号化設定部と、前記再符号化対象イントラピクチャを再符号化する再符号化部と、前記ビットストリームと前記再符号化部により再符号化された再符号化対象イントラピクチャとを合成して再符号化ビットストリームを出力するビットストリーム合成部とを備え、
前記再符号化部は、前記ランダムアクセス可能なインターピクチャに再符号化されたピクチャがランダムアクセス可能であることを示す識別情報を符号化し、前記識別情報の符号化データを前記再符号化ビットストリームに多重化することを特徴とする符号化ストリーム変換装置。 - ブロック分割部が、入力画像を符号化処理単位のブロックに分割し、符号化モード決定部が、前記ブロック分割部により分割されるブロックに対する符号化モードを決定すると、前記符号化モードにしたがって、前記ブロック分割部により分割されたブロックに対する符号化処理を実施して、前記ブロックの圧縮データを出力する画像符号化方法であって、
予測画像生成部が、前記ブロック分割部により分割されたブロックの予測画像を生成し、画像圧縮部が、前記ブロック分割部により分割されたブロックと前記予測画像生成部により生成された予測画像との差分画像を圧縮して、前記差分画像の圧縮データを出力し、局所復号画像生成部が、前記画像圧縮部により圧縮された差分画像を伸張し、伸張後の差分画像と前記予測画像生成部により生成された予測画像を加算して局所復号画像を生成し、フィルタリング処理部が、前記局所復号画像生成部により生成された局所復号画像に対するフィルタリング処理を実施し、符号化部が、前記画像圧縮部から出力された圧縮データ及び前記符号化モード決定部により決定された符号化モードを符号化して、前記圧縮データ及び前記符号化モードの符号化データが多重化されているビットストリームを生成するものであり、
前記予測画像生成部が、ランダムアクセス可能なインターピクチャを符号化する場合は、GOP(Group Of Pictures)内の前記ランダムアクセス可能な複数のインターピクチャそれぞれに対して、符号化順が先かつ符号化順が最も近いランダムアクセス可能なイントラピクチャのみを参照ピクチャに設定し、その設定した参照ピクチャを予測処理に用いる動き補償予測を実施し、
前記符号化部が、前記ランダムアクセス可能なインターピクチャがランダムアクセス可能であることを示す識別情報を符号化し、前記識別情報の符号化データを前記ビットストリームに多重化することを特徴とする画像符号化方法。 - 画像をブロック単位に圧縮符号化したビットストリームを入力して復号画像を生成する画像復号方法であって、
復号部が、前記ビットストリームから各々のブロックに係る圧縮データ及び符号化モードを復号し、予測画像生成部が、前記復号部により復号された符号化モードにしたがって復号済み画素を参照して、各々のブロックに対する予測画像を生成し、復号画像生成部が、前記復号部により復号された圧縮データを伸長して生成された差分画像と前記予測画像生成部により生成された予測画像とを加算して復号画像を生成し、フィルタリング処理部が、前記復号画像生成部により生成された復号画像に対するフィルタリング処理を実施するものであり、
前記復号部が、どのインターピクチャがランダムアクセス可能なインターピクチャであるかを示す識別情報を復号し、
前記予測画像生成部が、前記識別情報によって識別されたランダムアクセス可能なインターピクチャを復号する場合は、GOP(Group Of Pictures)内の前記ランダムアクセス可能な複数のインターピクチャそれぞれに対して、復号順が先かつ復号順が最も近いランダムアクセス可能なイントラピクチャのみを参照ピクチャに設定し、その設定した参照ピクチャを予測処理に用いる動き補償予測を実施することを特徴とする画像復号方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014018368 | 2014-02-03 | ||
JP2014018368 | 2014-02-03 | ||
JP2014228604 | 2014-11-11 | ||
JP2014228604 | 2014-11-11 | ||
PCT/JP2015/052855 WO2015115644A1 (ja) | 2014-02-03 | 2015-02-02 | 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015115644A1 JPWO2015115644A1 (ja) | 2017-03-23 |
JP6147368B2 true JP6147368B2 (ja) | 2017-06-14 |
Family
ID=53757209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015560063A Active JP6147368B2 (ja) | 2014-02-03 | 2015-02-02 | 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10075725B2 (ja) |
EP (1) | EP3104614A4 (ja) |
JP (1) | JP6147368B2 (ja) |
KR (1) | KR101785886B1 (ja) |
CN (1) | CN105981389B (ja) |
WO (1) | WO2015115644A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102024516B1 (ko) | 2011-06-30 | 2019-09-24 | 미쓰비시덴키 가부시키가이샤 | 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체 |
JP6348188B2 (ja) * | 2014-06-18 | 2018-06-27 | テレフオンアクチーボラゲット エルエム エリクソン(パブル) | ビデオにおけるピクチャのロバストな符号化および復号化 |
JP6546197B2 (ja) | 2014-06-18 | 2019-07-17 | テレフオンアクチーボラゲット エルエム エリクソン(パブル) | 従属ランダムアクセスポイントピクチャ |
US10841597B2 (en) * | 2015-06-05 | 2020-11-17 | Telefonaktiebolaget Lm Ericsson (Publ) | Encoding a pixel of an input video sequence |
US10063861B2 (en) * | 2015-10-07 | 2018-08-28 | Qualcomm Incorporated | Methods and systems of performing predictive random access using a background picture |
CN109661818A (zh) * | 2016-09-12 | 2019-04-19 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
WO2018169571A1 (en) * | 2017-03-15 | 2018-09-20 | Google Llc | Segmentation-based parameterized motion models |
KR102412007B1 (ko) * | 2017-07-20 | 2022-06-22 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서 하이 다이나믹 레인지 이미지 데이터를 압축하는 방법 |
WO2019187096A1 (ja) * | 2018-03-30 | 2019-10-03 | 株式会社ソシオネクスト | 復号方法、復号装置、符号化装置及びプログラム |
US11800099B2 (en) | 2018-09-20 | 2023-10-24 | Electronics And Telecommunications Research Institute | Method and device for encoding/decoding image, and recording medium for storing bitstream |
CN111372085B (zh) * | 2018-12-25 | 2021-07-09 | 厦门星宸科技有限公司 | 影像解码装置与方法 |
US10735745B1 (en) * | 2019-06-06 | 2020-08-04 | Tencent America LLC | Method and apparatus for video coding |
US11825073B2 (en) * | 2020-03-20 | 2023-11-21 | Qualcomm Incorporated | High level syntax for video with mixed NAL unit types |
CN115514967B (zh) * | 2022-11-07 | 2023-03-21 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 基于二进制块双向编码的图像压缩方法及图像解压方法 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5023739B1 (ja) | 1970-06-16 | 1975-08-09 | ||
ES2569491T3 (es) * | 1999-02-09 | 2016-05-11 | Sony Corporation | Sistema de codificación y método asociado |
JP3840895B2 (ja) * | 2000-11-22 | 2006-11-01 | 日本電気株式会社 | 動画像符号化データ変換装置及びその方法 |
US7505485B2 (en) * | 2002-01-22 | 2009-03-17 | Microsoft Corporation | Methods and systems for start code emulation prevention and data stuffing |
US20040179610A1 (en) * | 2003-02-21 | 2004-09-16 | Jiuhuai Lu | Apparatus and method employing a configurable reference and loop filter for efficient video coding |
US8290063B2 (en) * | 2003-09-04 | 2012-10-16 | Nec Corporation | Moving image data conversion method, device, and program |
EP2348716B1 (en) | 2004-07-01 | 2015-01-21 | Mitsubishi Electric Corporation | Playback system comprising randomly accessible visual information recording medium |
US8514938B2 (en) * | 2004-10-07 | 2013-08-20 | Hewlett-Packard Development Company L.P. | Picture coding apparatus for a still picture sequence and picture decoding apparatus for a still picture sequence |
US20060153299A1 (en) * | 2005-01-07 | 2006-07-13 | Kabushiki Kaisha Toshiba | Coded video sequence conversion apparatus, method and program product for coded video sequence conversion |
JP2006246277A (ja) * | 2005-03-07 | 2006-09-14 | Pioneer Electronic Corp | 再符号化装置、再符号化方法、および再符号化用プログラム |
JP4810298B2 (ja) * | 2006-05-09 | 2011-11-09 | キヤノン株式会社 | 画像符号化装置及び符号化方法並びに画像復号化装置及び復号化方法 |
US8279928B2 (en) | 2006-05-09 | 2012-10-02 | Canon Kabushiki Kaisha | Image encoding apparatus and encoding method, image decoding apparatus and decoding method |
JP5023739B2 (ja) | 2007-02-28 | 2012-09-12 | ソニー株式会社 | 画像情報符号化装置及び符号化方法 |
CN101459840B (zh) * | 2007-12-13 | 2010-04-21 | 华为技术有限公司 | 视频图像编码和解码方法及装置和系统 |
US8675979B2 (en) | 2008-12-12 | 2014-03-18 | Panasonic Corporation | Transcoder, method of transcoding, and digital recorder |
US8929443B2 (en) * | 2009-01-09 | 2015-01-06 | Microsoft Corporation | Recovering from dropped frames in real-time transmission of video over IP networks |
RU2011135321A (ru) * | 2009-01-28 | 2013-03-10 | Нокиа Корпорейшн | Способ и устройство для кодирования и декодирования видеосигналов |
MX2012011695A (es) * | 2010-04-09 | 2012-11-16 | Mitsubishi Electric Corp | Dispositivo codificador de imagen en movimiento y dispositivo decodificador de imagen en movimento. |
CN105516722B (zh) * | 2010-09-30 | 2018-12-07 | 三菱电机株式会社 | 运动图像编码装置及方法、运动图像解码装置及方法 |
US9299133B2 (en) * | 2011-01-12 | 2016-03-29 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method, and image decoding method for generating a prediction image |
KR102024516B1 (ko) * | 2011-06-30 | 2019-09-24 | 미쓰비시덴키 가부시키가이샤 | 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체 |
KR102157481B1 (ko) * | 2012-01-19 | 2020-09-18 | 미쓰비시덴키 가부시키가이샤 | 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체 |
KR101612217B1 (ko) * | 2012-04-13 | 2016-04-12 | 미쓰비시덴키 가부시키가이샤 | 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체 |
US10051264B2 (en) * | 2012-04-20 | 2018-08-14 | Qualcomm Incorporated | Marking reference pictures in video sequences having broken link pictures |
CN104335585B (zh) * | 2012-06-24 | 2019-02-19 | Lg 电子株式会社 | 图像解码方法和使用其的装置 |
JPWO2014049981A1 (ja) * | 2012-09-28 | 2016-08-22 | 三菱電機株式会社 | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
US20150271502A1 (en) * | 2012-09-28 | 2015-09-24 | Mitsubishi Electric Corporation | Video encoding device, video decoding device, video encoding method, and video decoding method |
-
2015
- 2015-02-02 EP EP15743236.0A patent/EP3104614A4/en not_active Ceased
- 2015-02-02 CN CN201580006481.XA patent/CN105981389B/zh active Active
- 2015-02-02 US US15/110,650 patent/US10075725B2/en active Active
- 2015-02-02 JP JP2015560063A patent/JP6147368B2/ja active Active
- 2015-02-02 KR KR1020167024148A patent/KR101785886B1/ko active IP Right Grant
- 2015-02-02 WO PCT/JP2015/052855 patent/WO2015115644A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN105981389A (zh) | 2016-09-28 |
KR20160115974A (ko) | 2016-10-06 |
KR101785886B1 (ko) | 2017-10-16 |
WO2015115644A1 (ja) | 2015-08-06 |
US10075725B2 (en) | 2018-09-11 |
US20160330468A1 (en) | 2016-11-10 |
JPWO2015115644A1 (ja) | 2017-03-23 |
EP3104614A4 (en) | 2017-09-13 |
CN105981389B (zh) | 2019-03-01 |
EP3104614A1 (en) | 2016-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6147368B2 (ja) | 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法 | |
JP6573689B2 (ja) | 画像符号化装置および画像符号化方法 | |
JP6863669B2 (ja) | 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法 | |
JP6580185B2 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP6226863B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP7012809B2 (ja) | 画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体 | |
JP5551837B2 (ja) | 画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法 | |
JPWO2014163200A1 (ja) | カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法 | |
JPWO2014049981A1 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP6373008B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP6362370B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP2014204311A (ja) | カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法 | |
JP2016046641A (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP6300660B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP6555856B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JPWO2014049982A1 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2018166329A (ja) | 画像符号化装置および画像復号装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160302 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160302 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170516 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6147368 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |