JPWO2012176381A1 - 画像復号装置及び画像復号方法 - Google Patents
画像復号装置及び画像復号方法 Download PDFInfo
- Publication number
- JPWO2012176381A1 JPWO2012176381A1 JP2013521419A JP2013521419A JPWO2012176381A1 JP WO2012176381 A1 JPWO2012176381 A1 JP WO2012176381A1 JP 2013521419 A JP2013521419 A JP 2013521419A JP 2013521419 A JP2013521419 A JP 2013521419A JP WO2012176381 A1 JPWO2012176381 A1 JP WO2012176381A1
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- block
- value
- intra
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 403
- 230000008569 process Effects 0.000 claims abstract description 337
- 230000008859 change Effects 0.000 claims abstract description 124
- 238000013139 quantization Methods 0.000 claims description 157
- 230000009466 transformation Effects 0.000 claims description 31
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 230000006835 compression Effects 0.000 claims description 12
- 238000007906 compression Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 description 60
- 239000013598 vector Substances 0.000 description 52
- 238000004364 calculation method Methods 0.000 description 38
- 238000010586 diagram Methods 0.000 description 34
- 230000000694 effects Effects 0.000 description 24
- 230000007423 decrease Effects 0.000 description 22
- 230000002123 temporal effect Effects 0.000 description 20
- 230000003044 adaptive effect Effects 0.000 description 10
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 4
- 230000000750 progressive effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000010187 selection method Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
MPEG−4 AVC/H.264において、輝度のイントラ予測モードでは、ブロック単位に、複数の予測モードの中から1つの予測モードを選択することができる。
図14は輝度のブロックサイズが4×4画素の場合のイントラ予測モードを示す説明図である。
図14では、ブロック内の白丸が符号化対象の画素を表し、黒丸は予測に用いる画素である符号化済みの画素を表している。輝度のブロックサイズが4×4画素の場合には、モード0からモード8の9つのイントラ予測モードが規定されている。
モード2以外のモードは方向性予測を行うモードである。モード0は垂直方向予測であり、ブロックの上の隣接画素を垂直方向に繰り返すことで予測画像を生成するものである。例えば、縦縞模様のときにはモード0が選択される。
モード1は水平方向予測であり、ブロックの左の隣接画素を水平方向に繰り返すことで予測画像を生成するものである。例えば、横縞模様のときにはモード1が選択される。
モード3からモード8は、ブロックの上又は左の符号化済みの画素を用いて、所定の方向(矢印が示す方向)に補間画素を生成して予測画像を生成するものである。
これに対し、16×16画素の場合には、平均値予測、垂直方向予測及び水平方向予測に係るイントラ予測モードに加えて、Plane予測と呼ばれる4つのイントラ予測モードが規定されている。
Plane予測に係るイントラ予測モードは、ブロックの上と左の符号化済みの隣接画素を斜め方向に内挿補間して生成された画素を予測値とするモードである。
実施の形態1.
図1はこの発明の実施の形態1による動画像符号化装置を示す構成図である。
図1において、ブロック分割部1は入力画像を示す映像信号を入力すると、その入力画像を符号化制御部2により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割するとともに、符号化制御部2により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロックへ分割する処理を実施する。
即ち、ブロック分割部1は入力画像を符号化制御部2により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる1つないし複数の予測ブロックに分割される。
なお、ブロック分割部1はブロック分割手段を構成している。
また、符号化制御部2は選択可能な1以上の符号化モード(1以上のイントラ符号化モード、1以上のインター符号化モード)の中から、ブロック分割部1から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する処理を実施する。
また、符号化制御部2は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを予測処理単位である予測ブロック毎に決定する処理を実施する。
さらに、符号化制御部2は変換・量子化部7及び逆量子化・逆変換部8に与える予測差分符号化パラメータを決定する処理を実施する。
なお、符号化制御部2は符号化制御手段を構成している。
なお、イントラ予測部4は予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定する。
イントラ予測部4及びイントラ予測用メモリ10からイントラ予測手段が構成されている。
変換・量子化部7は符号化制御部2により決定された予測差分符号化パラメータを参照して、減算部6から出力された予測差分信号に対する直交変換処理(例えば、DCT(離散コサイン変換)や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施して変換係数を算出するとともに、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する処理を実施する。
なお、減算部6及び変換・量子化部7から量子化手段が構成されている。
加算部9は逆量子化・逆変換部8により算出された局所復号予測差分信号と、イントラ予測部4により生成されたイントラ予測画像、又は、動き補償予測部5により生成されたインター予測画像とを加算して、ブロック分割部1から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。
ループフィルタ部11は加算部9により算出された局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を出力する処理を実施する。
動き補償予測フレームメモリ12はフィルタリング処理後の局所復号画像を格納する記録媒体である。
なお、可変長符号化部13は可変長符号化手段を構成している。
図2はこの発明の実施の形態1による動画像符号化装置の処理内容(動画像符号化方法)を示すフローチャートである。
図3において、可変長復号部31は図1の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームから圧縮データ、ブロック分割情報、符号化モード、イントラ予測パラメータ(符号化モードがイントラ符号化モードである場合)、インター予測パラメータ(符号化モードがインター符号化モードである場合)、予測差分符号化パラメータ及び動きベクトル(符号化モードがインター符号化モードである場合)を可変長復号する処理を実施する。
なお、可変長復号部31は可変長復号手段を構成している。
なお、逆量子化・逆変換部32は逆量子化手段を構成している。
なお、イントラ予測部34は予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定する。
イントラ予測部34及びイントラ予測用メモリ37からイントラ予測手段が構成されている。
加算部36は逆量子化・逆変換部32により算出された復号予測差分信号と、イントラ予測部34により生成されたイントラ予測画像、又は、動き補償部35により生成されたインター予測画像とを加算して、図1の加算部9から出力された局所復号画像と同一の復号画像を算出する処理を実施する。
ループフィルタ部38は加算部36により算出された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を出力する処理を実施する。
動き補償予測フレームメモリ39はフィルタリング処理後の復号画像を格納する記録媒体である。
図4はこの発明の実施の形態1による動画像復号装置の処理内容(動画像復号方法)を示すフローチャートである。
この実施の形態1では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
ただし、各画素の階調は、8ビットでもよいし、10ビットや12ビットなどの階調でもよい。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態1では、「ピクチャ」は順次走査(プログレッシブスキャン)された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
まず、符号化制御部2は、符号化対象となるピクチャ(カレントピクチャ)の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する(図2のステップST1)。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
即ち、符号化制御部2は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、1つないし複数のイントラ符号化モード(総称して「INTRA」と称する)と、1つないし複数のインター符号化モード(総称して、「INTER」と称する)とがあり、符号化制御部2は、当該ピクチャで利用可能な全ての符号化モード、又は、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。
符号化制御部2による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択できる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、後述するようにイントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。
符号化制御部2は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13に出力する。
また、符号化制御部2は、イントラ予測パラメータを必要に応じてイントラ予測部4に出力する。
また、符号化制御部2は、インター予測パラメータを必要に応じて動き補償予測部5に出力する。
ブロック分割部1は、入力画像の映像信号を入力すると、その入力画像の映像信号を符号化制御部2により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部2により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。
図5において、最大符号化ブロックは、「第0階層」と記されている輝度成分が(L0,M0)のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、4分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さnにおいては、符号化ブロックはサイズ(Ln,Mn)の画像領域である。
ただし、LnとMnは、同じであってもよいし、異なっていてもよいが、図5では、Ln=Mnのケースを示している。
4分木分割を行うため、常に、(Ln+1,Mn+1)=(Ln/2,Mn/2)が成立する。
なお、RGB信号など、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)では、全ての色成分のサイズが(Ln,Mn)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは(Ln/2,Mn/2)になる。
複数の色成分からなるカラー映像信号の場合、符号化モードm(Bn)は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
以降、符号化ブロックBnに属する予測ブロックをPi n(iは、第n階層における予測ブロック番号)と表記する。図5にP0 0とP1 0の一例を示す。
符号化ブロックBnの予測ブロック分割がどのようになされているかは、符号化モードm(Bn)の中に情報として含まれる。
予測ブロックPi nは、全て符号化モードm(Bn)に従って予測処理が行われるが、予測ブロックPi n毎に、個別の予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択することができる。
図6(a)の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図6(b)は、図6(a)の例について、階層分割によって符号化モードm(Bn)が割り当てられる状況を4分木グラフで示したものである。図6(b)の□で囲まれているノードは、符号化モードm(Bn)が割り当てられたノード(符号化ブロック)である。
この4分木グラフの情報は符号化モードm(Bn)と共に符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
一方、符号化制御部2により決定された符号化モードm(Bn)がインター符号化モードである場合(m(Bn)∈INTERの場合)、ブロック分割部1から出力された符号化ブロックBnを動き補償予測部5に出力する。
なお、動画像復号装置がイントラ予測画像PINTRAi nと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
イントラ予測部4の処理内容の詳細は後述する。
なお、動画像復号装置がインター予測画像PINTERi nと全く同じインター予測画像を生成する必要があるため、インター予測画像PINTERi nの生成に用いられたインター予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
また、動き補償予測部5により探索された動きベクトルも可変長符号化部13に出力されて、ビットストリームに多重化される。
また、変換・量子化部7は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する(ステップST7)。
また、逆量子化・逆変換部8は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理(例えば、逆DCT、逆KL変換など)を実施して、減算部6から出力された予測差分信号ei nに相当する局所復号予測差分信号を算出して加算部9に出力する(ステップST8)。
なお、加算部9は、その局所復号画像をループフィルタ部11に出力するとともに、その局所復号画像をイントラ予測用メモリ10に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。
なお、ループフィルタ部11によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1ピクチャ分の局所復号画像が入力された後に1ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性(ブロックノイズ)が目立たなくなるようにブロック境界をフィルタリングする処理、入力画像である図1の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理などが挙げられる。
ただし、入力画像である図1の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理を行う場合には、映像信号をループフィルタ部11で参照する必要があるため、ループフィルタ部11に映像信号を入力するように図1の動画像符号化装置を変更する必要がる。
図7は符号化ブロックBn内の各予測ブロックPi nが選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。
図7では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを示しており、図7の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
図8はli n=mi n=4の場合の予測ブロックPi n内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図8では、予測ブロックPi nの上の符号化済みの画素(2×li n+1)個と、左の符号化済みの画素(2×mi n)個を予測に用いる画素としているが、予測に用いる画素は、図8に示す画素より多くても少なくてもよい。
また、図8では、予測ブロックPi nの近傍の1行又は1列分の画素を予測に用いているが、2行又は2列、あるいは、それ以上の画素を予測に用いてもよい。
ただし、座標(x,y)は予測ブロックPi n内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにする。
例えば、t=2x+1とすれば、図11に示すように、スケーリング値が左端の列から順に1/2,1/4,1/8,1/16というように小さくなっていくため、予測ブロックPi nの左に隣接する符号化済み画素からの距離が離れるほど、加算する垂直方向の輝度値の変化量が小さくなる。
これにより、予測ブロックPi nの左に隣接する符号化済み画素との距離が離れて相関が低くなる予測対象画素ほど、予測ブロックPi nの左に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックPi nの左に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
さらに、式(1)の予測処理を行う予測ブロックPi nのブロックサイズを限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、16×16画素以上のブロックサイズの予測ブロックPi nでは式(1)は適用せずに従来の垂直方向予測の予測値(予測ブロックPi nの上に隣接する符号化済み画素の輝度値S(x,−1))とし、16×16画素より小さいブロックのみで式(1)を適用することで、従来の垂直方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
ただし、座標(x,y)は予測ブロックPi n内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにする。
例えば、u=2y+1とすれば、図13に示すように、スケーリング値が上端の行から順に1/2,1/4,1/8,1/16というように小さくなっていくため、予測ブロックPi nの上に隣接する符号化済み画素からの距離が離れるほど、加算する水平方向の輝度値の変化量が小さくなる。
これにより、予測ブロックPi nの上に隣接する符号化済み画素との距離が離れて相関が低くなる画素ほど、予測ブロックPi nの上に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックPi nの上に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
さらに、式(2)の予測処理を行う予測ブロックPi nのブロックサイズを限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、16×16画素以上のブロックサイズの予測ブロックPi nでは式(2)は適用せずに従来の水平方向予測の予測値(予測ブロックPi nの左に隣接する符号化済み画素の輝度値S(−1,y))とし、16×16画素より小さいブロックのみで式(2)を適用することで、従来の水平方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
イントラ予測モードのインデックス値が0(垂直方向予測)、1(水平方向予測)、2(平均値予測)以外の場合には、インデックス値が示す予測方向ベクトルυp=(dx,dy)に基づいて、予測ブロックPi n内の画素の予測値を生成する。
図9に示すように、予測ブロックPi nの左上画素を原点として、予測ブロックPi n内の相対座標を(x,y)と設定すると、予測に用いる参照画素の位置は、下記のLと隣接画素の交点になる。
ただし、kは負のスカラ値である。
図8の例では、参照画素は整数画素位置にないので、参照画素に隣接する2画素から内挿したものを予測値とする。なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
同様の手順で、予測ブロックPi n内の輝度信号の全ての画素に対する予測画素を生成してイントラ予測画像PINTRAi nを出力する。
なお、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部13に出力される。
ただし、色差信号で選択可能なイントラ予測パラメータ(イントラ予測モード)は輝度信号と同じである必要はなく、また、垂直方向予測及び水平方向予測については従来(MPEG−4 AVC/H.264)の予測手法であってもよい。
例えば、YUV信号4:2:0フォーマットの場合、色差信号(U、V信号)は、輝度信号(Y信号)に対して解像度を水平方向、垂直方向共に1/2に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易であることから、選択可能なイントラ予測パラメータ(イントラ予測モード)は輝度信号よりも少ない数とし、垂直方向予測及び水平方向予測についても従来の簡易な予測手法とすることで、予測効率をあまり低下させることなくイントラ予測パラメータ(イントラ予測モード)を符号化するのに要する符号量の削減や、予測処理の低演算化を実現することができる。
このようにシーケンス単位あるいはピクチャ単位に、t,uを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
このようにシーケンス単位あるいはピクチャ単位に、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
可変長復号部31は、図1の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して(図4のステップST21)、1フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。
このとき、垂直方向予測で用いるスケーリング値のパラメータt、水平方向予測で用いるスケーリング値のパラメータu、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のON/OFFフラグの内、いずれか1つでも可変長符号化されてビットストリームに多重化されている場合、図1の動画像符号化装置で符号化された単位(シーケンス単位、あるいは、ピクチャ単位)に復号する。
例えば、最大符号化ブロックサイズや分割階層数上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数上限が、動画像符号化装置側でビットストリームに多重化されている場合には、ビットストリームから復号した値を用いる。
以降、動画像復号装置では上記最大符号化ブロックサイズを最大復号ブロックサイズと呼び、最大符号化ブロックを最大復号ブロックと呼ぶ。
可変長復号部31は、決定された最大復号ブロック単位に、図6で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック(図1の動画像符号化装置の「符号化ブロック」に相当するブロック)を特定する(ステップST23)。
さらに、可変長復号部31は、復号ブロックを予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる1つないし複数の変換ブロックに分割し、変換ブロック毎に圧縮データ(変換・量子化後の変換係数)を復号する(ステップST24)。
一方、可変長復号部31により可変長復号された符号化モードm(Bn)がインター符号化モードであれば(m(Bn)∈INTERの場合)、可変長復号部31により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部35に出力する。
即ち、イントラ予測部34は、予測ブロックPi nに対するイントラ予測モードのインデックス値が0(垂直方向予測)の場合には、上記の式(1)から予測ブロックPi n内の画素の予測値を算出して、イントラ予測画像PINTRAi nを生成する。
また、予測ブロックPi nに対するイントラ予測モードのインデックス値が1(水平方向予測)の場合には、上記の式(2)から予測ブロックPi n内の画素の予測値を算出して、イントラ予測画像PINTRAi nを生成する。
ただし、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズが制限されている場合は、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズ以外のサイズの予測ブロックPi nでは従来(MPEG−4 AVC/H.264)の垂直方向予測及や水平方向予測によってイントラ予測処理を行う。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。
なお、ループフィルタ部38によるフィルタリング処理は、入力される復号画像の最大復号ブロックあるいは個々の復号ブロック単位で行ってもよいし、1ピクチャ分の復号画像が入力された後に1ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性(ブロックノイズ)が目立たなくなるようにブロック境界をフィルタリングする処理、復号画像の歪みを補償するフィルタ処理などが挙げられる。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
また、イントラ予測部4,34により垂直方向予測処理が実施される際に用いられるスケーリング値である1/tについては、予測ブロックの左に隣接している画素から距離が遠い列に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの左に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの左に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。
上記実施の形態1では、イントラ予測部4,34が、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、その予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に予測ブロック内の列毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を予測画像の予測値に決定するものを示したが、低演算な処理を実現するために、予測ブロック内の左端から所定の数列については、その予測ブロックの上に隣接している画素の輝度値に対して、その予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの列については、その予測ブロックの上に隣接している画素の輝度値を予測画像の予測値に決定するようにしてもよい。
また、同様の理由で、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロック内の上端から所定の数行については、その予測ブロックの左に隣接している画素の輝度値に対して、その予測ブロックの上に隣接している画素の水平方向の輝度値変化量に予測ブロック内の行毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの行については、その予測ブロックの左に隣接している画素の輝度値を予測画像の予測値に決定するようにしてもよい。
イントラ予測部4,34は、予測ブロックPi nに対するイントラ予測モードのインデックス値が0(垂直方向予測)の場合、下記の式(4)から予測ブロックPi n内の画素の予測値を算出して予測画像を生成する。
Bの値を小さくするほど、低演算な処理を実現することが可能であり、B=0の場合、予測ブロックPi nの上に隣接する符号化済み(復号済み)画素の輝度値S(x,−1)のみを用いる従来(MPEG−4 AVC/H.264)の垂直方向予測と一致する。
Bの値は、予測ブロックPi nのブロックサイズによって変更してもよい。一般に、予測するブロックサイズが大きくなると、ブロック内に様々な信号変化が含まれ易く、単一の方向で予測することが難しくなるため、方向性予測で高精度に予測できるケースは減少する。
したがって、予測ブロックPi nのブロックサイズが所定サイズより小さい場合に限り、B≧1に設定し、予測ブロックPi nのブロックサイズが所定サイズ以上であれば、B=0とする。
例えば、所定サイズが16×16画素であれば、16×16画素以上のブロックサイズの予測ブロックPi nでは、B=0となるため、従来の垂直方向予測と同じなり、演算処理の増加を抑制することができる。即ち、B=0のブロックサイズでは、x<Bかx≧Bかのいずれに属するかの条件判定処理は不要となるため、常に上記条件判定処理を行わずに従来の垂直方向予測を行うようにすることで、従来の垂直方向予測処理からの演算処理の増加は一切発生しない。
一方、4×4画素や8×8画素等の16×16画素より小さいブロックサイズの予測ブロックPi nでは、B≧1となるため、従来の垂直方向予測よりも予測性能を向上させることができる。
一方、予測ブロックPi n内の左端から2番目〜4番目の列については、式(4)の下式が適用されて、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値は加算されない。
このようにBの値を小さい値に設定することで、演算量の増加を大幅に抑えることができる。
Cの値を小さくするほど、低演算な処理を実現することが可能であり、C=0の場合、予測ブロックPi nの左に隣接する符号化済み(復号済み)画素の輝度値S(−1,y)のみを用いる従来(MPEG−4 AVC/H.264)の水平方向予測と一致する。
Cの値は、予測ブロックPi nのブロックサイズによって変更してもよい。一般に、予測するブロックサイズが大きくなると、ブロック内に様々な信号変化が含まれ易く、単一の方向で予測することが難しくなるため、方向性予測で高精度に予測できるケースは減少する。
したがって、予測ブロックPi nのブロックサイズが所定サイズより小さい場合に限り、C≧1に設定し、予測ブロックPi nのブロックサイズが所定サイズ以上であれば、C=0とする。
例えは、所定サイズが16×16画素であれば、16×16画素以上のブロックサイズの予測ブロックPi nでは、C=0となるため、従来の水平方向予測と同じなり、演算処理の増加を抑制することができる。即ち、C=0のブロックサイズでは、y<Cかy≧Cかのいずれに属するかの条件判定処理は不要となるため、常に上記条件判定処理を行わずに従来の水平方向予測を行うようにすることで、従来の水平方向予測処理からの演算処理の増加は一切発生しない。
一方、4×4画素や8×8画素等の16×16画素より小さいブロックサイズの予測ブロックPi nでは、C≧1となるため、従来の水平方向予測よりも予測性能を向上させながら、演算量の増加を大幅に抑えることができる。
一方、予測ブロックPi n内の上端から2番目〜4番目の行については、式(5)の下式が適用されて、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値は加算されない。
このようにCの値を小さい値に設定することで、演算量の増加を大幅に抑えることができる。
このようにシーケンス単位あるいはピクチャ単位に、t,u,B,Cを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
このようにシーケンス単位あるいはピクチャ単位に、式(4)の垂直方向予測や式(5)の水平方向予測を用いるブロックサイズを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
また、イントラ予測部4,34は、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロック内の左端から所定の数列については、その予測ブロックの上に隣接している画素の輝度値に対して、その予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの列については、その予測ブロックの上に隣接している画素の輝度値を予測画像の予測値に決定するように構成したので、演算量の増加を抑えながら、垂直方向予測の予測効率を改善することができる効果を奏する。
この実施の形態3における動画像符号化装置の構成図は、上記実施の形態1で示した図1と同様であり、この実施の形態3における動画像復号装置の構成図は、上記実施の形態1で示した図3と同様である。
この実施の形態3では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
ただし、各画素の階調は、8ビットでもよいし、10ビットや12ビットなどの階調でもよい。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態3では、「ピクチャ」は順次走査(プログレッシブスキャン)された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
まず、符号化制御部2は、符号化対象となるピクチャ(カレントピクチャ)の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する(図2のステップST1)。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
即ち、符号化制御部2は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、1つないし複数のイントラ符号化モード(総称して「INTRA」と称する)と、1つないし複数のインター符号化モード(総称して、「INTER」と称する)とがあり、符号化制御部2は、当該ピクチャで利用可能な全ての符号化モード、又は、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。
符号化制御部2による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択できる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、後述するようにイントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。
符号化制御部2は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13に出力する。
また、符号化制御部2は、イントラ予測パラメータを必要に応じてイントラ予測部4に出力する。
また、符号化制御部2は、インター予測パラメータを必要に応じて動き補償予測部5に出力する。
ブロック分割部1は、入力画像の映像信号を入力すると、その入力画像の映像信号を符号化制御部2により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部2により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。
図5において、最大符号化ブロックは、「第0階層」と記されている輝度成分が(L0,M0)のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、4分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さnにおいては、符号化ブロックはサイズ(Ln,Mn)の画像領域である。
ただし、LnとMnは、同じであってもよいし、異なっていてもよいが、図5では、Ln=Mnのケースを示している。
4分木分割を行うため、常に、(Ln+1,Mn+1)=(Ln/2,Mn/2)が成立する。
なお、RGB信号など、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)では、全ての色成分のサイズが(Ln,Mn)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは(Ln/2,Mn/2)になる。
複数の色成分からなるカラー映像信号の場合、符号化モードm(Bn)は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
以降、符号化ブロックBnに属する予測ブロックをPi n(iは、第n階層における予測ブロック番号)と表記する。図5にP0 0とP1 0の一例を示す。
符号化ブロックBnの予測ブロック分割がどのようになされているかは、符号化モードm(Bn)の中に情報として含まれる。
予測ブロックPi nは、全て符号化モードm(Bn)に従って予測処理が行われるが、予測ブロックPi n毎に、個別の予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択することができる。
図6(a)の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図6(b)は、図6(a)の例について、階層分割によって符号化モードm(Bn)が割り当てられる状況を4分木グラフで示したものである。図6(b)の□で囲まれているノードは、符号化モードm(Bn)が割り当てられたノード(符号化ブロック)である。
この4分木グラフの情報は符号化モードm(Bn)と共に符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
一方、符号化制御部2により決定された符号化モードm(Bn)がインター符号化モードである場合(m(Bn)∈INTERの場合)、ブロック分割部1から出力された符号化ブロックBnを動き補償予測部5に出力する。
なお、動画像復号装置がイントラ予測画像PINTRAi nと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
イントラ予測部4の処理内容の詳細は後述する。
なお、動画像復号装置がインター予測画像PINTERi nと全く同じインター予測画像を生成する必要があるため、インター予測画像PINTERi nの生成に用いられたインター予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
また、動き補償予測部5により探索された動きベクトルも可変長符号化部13に出力されて、ビットストリームに多重化される。
また、変換・量子化部7は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する(ステップST7)。
また、逆量子化・逆変換部8は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理(例えば、逆DCT、逆KL変換など)を実施して、減算部6から出力された予測差分信号ei nに相当する局所復号予測差分信号を算出して加算部9に出力する(ステップST8)。
なお、加算部9は、その局所復号画像をループフィルタ部11に出力するとともに、その局所復号画像をイントラ予測用メモリ10に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。
なお、ループフィルタ部11によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1ピクチャ分の局所復号画像が入力された後に1ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性(ブロックノイズ)が目立たなくなるようにブロック境界をフィルタリングする処理、入力画像である図1の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理などが挙げられる。
ただし、入力画像である図1の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理を行う場合には、映像信号をループフィルタ部11で参照する必要があるため、ループフィルタ部11に映像信号を入力するように図1の動画像符号化装置を変更する必要がる。
図17は符号化ブロックBn内の各予測ブロックPi nが選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。ただし、NIはイントラ予測モード数を表している。
図17では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを示しており、図17の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
図8はli n=mi n=4の場合の予測ブロックPi n内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図8では、予測ブロックPi nの上の符号化済みの画素(2×li n+1)個と、左の符号化済みの画素(2×mi n)個を予測に用いる画素としているが、予測に用いる画素は、図8に示す画素より多くても少なくてもよい。
また、図8では、予測ブロックPi nの近傍の1行又は1列分の画素を予測に用いているが、2行又は2列、あるいは、それ以上の画素を予測に用いてもよい。
ただし、座標(x,y)は予測ブロックPi n内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにしてもよい。このようにすることで、丸め処理を行う分演算量が僅かに増加するものの、輝度値の取り得る値の範囲外となる予測値の発生を抑えて予測誤差を減少させることができる。
例えば、t=2x+1とすれば、図11に示すように、スケーリング値が左端の列から順に1/2,1/4,1/8,1/16というように小さくなっていくため、予測ブロックPinの左に隣接する符号化済み画素からの距離が離れるほど、加算する垂直方向の輝度値の変化量が小さくなる。
これにより、予測ブロックPi nの左に隣接する符号化済み画素との距離が離れて相関が低くなる予測対象画素ほど、予測ブロックPi nの左に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックPi nの左に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
また、t=2x+1の場合、式(1)を下記に示すようにビットシフトによる式で表現することができる。
式(1a)において、“>>a”は、右にaビットだけ算術シフトする演算を示している。
式(1)の除算の代わりにシフト演算を用いることで、コンピュータ上に実装する場合に高速な演算が可能になる。
ただし、S(−1,y)−S(−1,−1)は負値も取り得るため、実装環境(コンパイラ)等によっては“>>”が算術シフトでなく論理シフトとして扱われてしまい、計算結果が式(1)と異なってしまう場合がある。
そこで、実装環境に依存しないt=2x+1の場合の式(1)の近似式としては、下記の式(1b)が挙げられる。
式(1b)では、輝度値輝度値S(−1,y)、S(−1,−1)をそれぞれ先に(x+1)ビット右シフトしてから減算を行うため、輝度値を正値で定義すれば、算術シフト、論理シフト共に同一の計算結果が得られる。
ただし、座標(x,y)は予測ブロックPi n内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにしてもよい。このようにすることで、丸め処理を行う分演算量が僅かに増加するものの、輝度値の取り得る値の範囲外となる予測値の発生を抑えて予測誤差を減少させることができる。
例えば、u=2y+1とすれば、図13に示すように、スケーリング値が上端の行から順に1/2,1/4,1/8,1/16というように小さくなっていくため、予測ブロックPinの上に隣接する符号化済み画素からの距離が離れるほど、加算する水平方向の輝度値の変化量が小さくなる。
これにより、予測ブロックPi nの上に隣接する符号化済み画素との距離が離れて相関が低くなる画素ほど、予測ブロックPi nの上に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックPi nの上に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
また、u=2y+1の場合、式(2)を下記に示すようにビットシフトによる式で表現することができる。
式(2a)において、“>>a”は、右にaビットだけ算術シフトする演算を示している。
式(2)の除算の代わりにシフト演算を用いることで、コンピュータ上に実装する場合に高速な演算が可能になる。
ただし、S(x,−1)−S(−1,−1)は負値も取り得るため、実装環境(コンパイラ)等によっては“>>”が算術シフトでなく論理シフトとして扱われてしまい、計算結果が式(2)と異なってしまう場合がある。
そこで、実装環境に依存しないu=2y+1の場合の式(2)の近似式としては、下記の式(2b)が挙げられる。
式(2b)では、輝度値輝度値S(x,−1)、S(−1,−1)をそれぞれ先に(y+1)ビット右シフトしてから減算を行うため、輝度値を正値で定義すれば、算術シフト、論理シフト共に同一の計算結果が得られる。
イントラ予測モードのインデックス値が0(平面(Planar)予測)、1(垂直方向予測)、2(水平方向予測)、3(平均値(DC)予測)以外の場合には、インデックス値が示す予測方向ベクトルυp=(dx,dy)に基づいて、予測ブロックPi n内の画素の予測値を生成する。
図9に示すように、予測ブロックPi nの左上画素を原点として、予測ブロックPi n内の相対座標を(x,y)と設定すると、予測に用いる参照画素の位置は、下記のLと隣接画素の交点になる。
ただし、kは負のスカラ値である。
図8の例では、参照画素は整数画素位置にないので、参照画素に隣接する2画素から内挿したものを予測値とする。なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
同様の手順で、予測ブロックPi n内の輝度信号の全ての画素に対する予測画素を生成してイントラ予測画像PINTRAi nを出力する。
なお、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部13に出力される。
ただし、色差信号で選択可能なイントラ予測パラメータ(イントラ予測モード)は輝度信号と同じである必要はなく、また、垂直方向予測及び水平方向予測については従来(MPEG−4 AVC/H.264)の予測手法であってもよい。
例えば、YUV信号4:2:0フォーマットの場合、色差信号(U、V信号)は、輝度信号(Y信号)に対して解像度を水平方向、垂直方向共に1/2に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易であることから、選択可能なイントラ予測パラメータ(イントラ予測モード)は輝度信号よりも少ない数とし、垂直方向予測及び水平方向予測についても従来の簡易な予測手法とすることで、予測効率をあまり低下させることなくイントラ予測パラメータ(イントラ予測モード)を符号化するのに要する符号量の削減や、予測処理の低演算化を実現することができる。
このようにシーケンス単位あるいはピクチャ単位に、t,uを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
このようにシーケンス単位あるいはピクチャ単位に、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
可変長復号部31は、図1の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して(図4のステップST21)、1フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。
このとき、垂直方向予測で用いるスケーリング値のパラメータt、水平方向予測で用いるスケーリング値のパラメータu、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のON/OFFフラグの内、いずれか1つでも可変長符号化されてビットストリームに多重化されている場合、図1の動画像符号化装置で符号化された単位(シーケンス単位、あるいは、ピクチャ単位)に復号する。
例えば、最大符号化ブロックサイズや分割階層数上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数上限が、動画像符号化装置側でビットストリームに多重化されている場合には、ビットストリームから復号した値を用いる。
以降、動画像復号装置では上記最大符号化ブロックサイズを最大復号ブロックサイズと呼び、最大符号化ブロックを最大復号ブロックと呼ぶ。
可変長復号部31は、決定された最大復号ブロック単位に、図6で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック(図1の動画像符号化装置の「符号化ブロック」に相当するブロック)を特定する(ステップST23)。
一方、復号ブロックに割り当てられている符号化モードがインター符号化モードである場合、復号ブロックに含まれており、予測処理単位となる1つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する(ステップST24)。
一方、可変長復号部31により可変長復号された符号化モードm(Bn)がインター符号化モードであれば(m(Bn)∈INTERの場合)、可変長復号部31により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部35に出力する。
即ち、イントラ予測部34は、予測ブロックPi nに対するイントラ予測モードのインデックス値が0(垂直方向予測)の場合には、上記の式(1)から予測ブロックPi n内の画素の予測値を算出して、イントラ予測画像PINTRAi nを生成する。
また、予測ブロックPi nに対するイントラ予測モードのインデックス値が1(水平方向予測)の場合には、上記の式(2)から予測ブロックPi n内の画素の予測値を算出して、イントラ予測画像PINTRAi nを生成する。
ただし、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズが制限されている場合は、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズ以外のサイズの予測ブロックPi nでは従来(MPEG−4 AVC/H.264)の垂直方向予測及や水平方向予測によってイントラ予測処理を行う。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。
なお、ループフィルタ部38によるフィルタリング処理は、入力される復号画像の最大復号ブロックあるいは個々の復号ブロック単位で行ってもよいし、1ピクチャ分の復号画像が入力された後に1ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性(ブロックノイズ)が目立たなくなるようにブロック境界をフィルタリングする処理、復号画像の歪みを補償するフィルタ処理などが挙げられる。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
また、イントラ予測部4,34により垂直方向予測処理が実施される際に用いられるスケーリング値である1/tについては、予測ブロックの左に隣接している画素から距離が遠い列に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの左に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの左に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。
MPEG−4 AVC/H.264において、輝度のイントラ予測モードでは、ブロック単位に、複数の予測モードの中から1つの予測モードを選択することができる。
図14は輝度のブロックサイズが4×4画素の場合のイントラ予測モードを示す説明図である。
図14では、ブロック内の白丸が符号化対象の画素を表し、黒丸は予測に用いる画素である符号化済みの画素を表している。輝度のブロックサイズが4×4画素の場合には、モード0からモード8の9つのイントラ予測モードが規定されている。
モード2以外のモードは方向性予測を行うモードである。モード0は垂直方向予測であり、ブロックの上の隣接画素を垂直方向に繰り返すことで予測画像を生成するものである。例えば、縦縞模様のときにはモード0が選択される。
モード1は水平方向予測であり、ブロックの左の隣接画素を水平方向に繰り返すことで予測画像を生成するものである。例えば、横縞模様のときにはモード1が選択される。
モード3からモード8は、ブロックの上又は左の符号化済みの画素を用いて、所定の方向(矢印が示す方向)に補間画素を生成して予測画像を生成するものである。
これに対し、16×16画素の場合には、平均値予測、垂直方向予測及び水平方向予測に係るイントラ予測モードに加えて、Plane予測と呼ばれる4つのイントラ予測モードが規定されている。
Plane予測に係るイントラ予測モードは、ブロックの上と左の符号化済みの隣接画素を斜め方向に内挿補間して生成された画素を予測値とするモードである。
実施の形態1.
図1はこの発明の実施の形態1による動画像符号化装置を示す構成図である。
図1において、ブロック分割部1は入力画像を示す映像信号を入力すると、その入力画像を符号化制御部2により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割するとともに、符号化制御部2により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロックへ分割する処理を実施する。
即ち、ブロック分割部1は入力画像を符号化制御部2により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる1つないし複数の予測ブロックに分割される。
なお、ブロック分割部1はブロック分割手段を構成している。
また、符号化制御部2は選択可能な1以上の符号化モード(1以上のイントラ符号化モード、1以上のインター符号化モード)の中から、ブロック分割部1から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する処理を実施する。
また、符号化制御部2は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを予測処理単位である予測ブロック毎に決定する処理を実施する。
さらに、符号化制御部2は変換・量子化部7及び逆量子化・逆変換部8に与える予測差分符号化パラメータを決定する処理を実施する。
なお、符号化制御部2は符号化制御手段を構成している。
なお、イントラ予測部4は予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定する。
イントラ予測部4及びイントラ予測用メモリ10からイントラ予測手段が構成されている。
変換・量子化部7は符号化制御部2により決定された予測差分符号化パラメータを参照して、減算部6から出力された予測差分信号に対する直交変換処理(例えば、DCT(離散コサイン変換)や、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を実施して変換係数を算出するとともに、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する処理を実施する。
なお、減算部6及び変換・量子化部7から量子化手段が構成されている。
加算部9は逆量子化・逆変換部8により算出された局所復号予測差分信号と、イントラ予測部4により生成されたイントラ予測画像、又は、動き補償予測部5により生成されたインター予測画像とを加算して、ブロック分割部1から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。
ループフィルタ部11は加算部9により算出された局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を出力する処理を実施する。
動き補償予測フレームメモリ12はフィルタリング処理後の局所復号画像を格納する記録媒体である。
なお、可変長符号化部13は可変長符号化手段を構成している。
図2はこの発明の実施の形態1による動画像符号化装置の処理内容(動画像符号化方法)を示すフローチャートである。
図3において、可変長復号部31は図1の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームから圧縮データ、ブロック分割情報、符号化モード、イントラ予測パラメータ(符号化モードがイントラ符号化モードである場合)、インター予測パラメータ(符号化モードがインター符号化モードである場合)、予測差分符号化パラメータ及び動きベクトル(符号化モードがインター符号化モードである場合)を可変長復号する処理を実施する。
なお、可変長復号部31は可変長復号手段を構成している。
なお、逆量子化・逆変換部32は逆量子化手段を構成している。
なお、イントラ予測部34は予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロックの左に隣接している画素の輝度値に対して、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定し、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定する。
イントラ予測部34及びイントラ予測用メモリ37からイントラ予測手段が構成されている。
加算部36は逆量子化・逆変換部32により算出された復号予測差分信号と、イントラ予測部34により生成されたイントラ予測画像、又は、動き補償部35により生成されたインター予測画像とを加算して、図1の加算部9から出力された局所復号画像と同一の復号画像を算出する処理を実施する。
ループフィルタ部38は加算部36により算出された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を出力する処理を実施する。
動き補償予測フレームメモリ39はフィルタリング処理後の復号画像を格納する記録媒体である。
図4はこの発明の実施の形態1による動画像復号装置の処理内容(動画像復号方法)を示すフローチャートである。
この実施の形態1では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
ただし、各画素の階調は、8ビットでもよいし、10ビットや12ビットなどの階調でもよい。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態1では、「ピクチャ」は順次走査(プログレッシブスキャン)された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
まず、符号化制御部2は、符号化対象となるピクチャ(カレントピクチャ)の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する(図2のステップST1)。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
即ち、符号化制御部2は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、1つないし複数のイントラ符号化モード(総称して「INTRA」と称する)と、1つないし複数のインター符号化モード(総称して、「INTER」と称する)とがあり、符号化制御部2は、当該ピクチャで利用可能な全ての符号化モード、又は、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。
符号化制御部2による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択できる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、後述するようにイントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。
符号化制御部2は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13に出力する。
また、符号化制御部2は、イントラ予測パラメータを必要に応じてイントラ予測部4に出力する。
また、符号化制御部2は、インター予測パラメータを必要に応じて動き補償予測部5に出力する。
ブロック分割部1は、入力画像の映像信号を入力すると、その入力画像の映像信号を符号化制御部2により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部2により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。
図5において、最大符号化ブロックは、「第0階層」と記されている輝度成分が(L0,M0)のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、4分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さnにおいては、符号化ブロックはサイズ(Ln,Mn)の画像領域である。
ただし、LnとMnは、同じであってもよいし、異なっていてもよいが、図5では、Ln=Mnのケースを示している。
4分木分割を行うため、常に、(Ln+1,Mn+1)=(Ln/2,Mn/2)が成立する。
なお、RGB信号など、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)では、全ての色成分のサイズが(Ln,Mn)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは(Ln/2,Mn/2)になる。
複数の色成分からなるカラー映像信号の場合、符号化モードm(Bn)は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
以降、符号化ブロックBnに属する予測ブロックをPi n(iは、第n階層における予測ブロック番号)と表記する。図5にP0 0とP1 0の一例を示す。
符号化ブロックBnの予測ブロック分割がどのようになされているかは、符号化モードm(Bn)の中に情報として含まれる。
予測ブロックPi nは、全て符号化モードm(Bn)に従って予測処理が行われるが、予測ブロックPi n毎に、個別の予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択することができる。
図6(a)の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図6(b)は、図6(a)の例について、階層分割によって符号化モードm(Bn)が割り当てられる状況を4分木グラフで示したものである。図6(b)の□で囲まれているノードは、符号化モードm(Bn)が割り当てられたノード(符号化ブロック)である。
この4分木グラフの情報は符号化モードm(Bn)と共に符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
一方、符号化制御部2により決定された符号化モードm(Bn)がインター符号化モードである場合(m(Bn)∈INTERの場合)、ブロック分割部1から出力された符号化ブロックBnを動き補償予測部5に出力する。
なお、動画像復号装置がイントラ予測画像PINTRAi nと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
イントラ予測部4の処理内容の詳細は後述する。
なお、動画像復号装置がインター予測画像PINTERi nと全く同じインター予測画像を生成する必要があるため、インター予測画像PINTERi nの生成に用いられたインター予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
また、動き補償予測部5により探索された動きベクトルも可変長符号化部13に出力されて、ビットストリームに多重化される。
また、変換・量子化部7は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する(ステップST7)。
また、逆量子化・逆変換部8は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理(例えば、逆DCT、逆KL変換など)を実施して、減算部6から出力された予測差分信号ei nに相当する局所復号予測差分信号を算出して加算部9に出力する(ステップST8)。
なお、加算部9は、その局所復号画像をループフィルタ部11に出力するとともに、その局所復号画像をイントラ予測用メモリ10に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。
なお、ループフィルタ部11によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1ピクチャ分の局所復号画像が入力された後に1ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性(ブロックノイズ)が目立たなくなるようにブロック境界をフィルタリングする処理、入力画像である図1の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理などが挙げられる。
ただし、入力画像である図1の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理を行う場合には、映像信号をループフィルタ部11で参照する必要があるため、ループフィルタ部11に映像信号を入力するように図1の動画像符号化装置を変更する必要がる。
図7は符号化ブロックBn内の各予測ブロックPi nが選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。
図7では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを示しており、図7の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
図8はli n=mi n=4の場合の予測ブロックPi n内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図8では、予測ブロックPi nの上の符号化済みの画素(2×li n+1)個と、左の符号化済みの画素(2×mi n)個を予測に用いる画素としているが、予測に用いる画素は、図8に示す画素より多くても少なくてもよい。
また、図8では、予測ブロックPi nの近傍の1行又は1列分の画素を予測に用いているが、2行又は2列、あるいは、それ以上の画素を予測に用いてもよい。
ただし、座標(x,y)は予測ブロックPi n内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにする。
例えば、t=2x+1とすれば、図11に示すように、スケーリング値が左端の列から順に1/2,1/4,1/8,1/16というように小さくなっていくため、予測ブロックPi nの左に隣接する符号化済み画素からの距離が離れるほど、加算する垂直方向の輝度値の変化量が小さくなる。
これにより、予測ブロックPi nの左に隣接する符号化済み画素との距離が離れて相関が低くなる予測対象画素ほど、予測ブロックPi nの左に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックPi nの左に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
さらに、式(1)の予測処理を行う予測ブロックPi nのブロックサイズを限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、16×16画素以上のブロックサイズの予測ブロックPi nでは式(1)は適用せずに従来の垂直方向予測の予測値(予測ブロックPi nの上に隣接する符号化済み画素の輝度値S(x,−1))とし、16×16画素より小さいブロックのみで式(1)を適用することで、従来の垂直方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
ただし、座標(x,y)は予測ブロックPi n内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにする。
例えば、u=2y+1とすれば、図13に示すように、スケーリング値が上端の行から順に1/2,1/4,1/8,1/16というように小さくなっていくため、予測ブロックPi nの上に隣接する符号化済み画素からの距離が離れるほど、加算する水平方向の輝度値の変化量が小さくなる。
これにより、予測ブロックPi nの上に隣接する符号化済み画素との距離が離れて相関が低くなる画素ほど、予測ブロックPi nの上に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックPi nの上に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
さらに、式(2)の予測処理を行う予測ブロックPi nのブロックサイズを限定してもよい。一般に大きなブロックサイズではブロック内に様々な信号変化が含まれ易く、方向性予測を用いて高精度に予測できるケースが少ないため、例えば、16×16画素以上のブロックサイズの予測ブロックPi nでは式(2)は適用せずに従来の水平方向予測の予測値(予測ブロックPi nの左に隣接する符号化済み画素の輝度値S(−1,y))とし、16×16画素より小さいブロックのみで式(2)を適用することで、従来の水平方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
イントラ予測モードのインデックス値が0(垂直方向予測)、1(水平方向予測)、2(平均値予測)以外の場合には、インデックス値が示す予測方向ベクトルυp=(dx,dy)に基づいて、予測ブロックPi n内の画素の予測値を生成する。
図9に示すように、予測ブロックPi nの左上画素を原点として、予測ブロックPi n内の相対座標を(x,y)と設定すると、予測に用いる参照画素の位置は、下記のLと隣接画素の交点になる。
ただし、kは負のスカラ値である。
図8の例では、参照画素は整数画素位置にないので、参照画素に隣接する2画素から内挿したものを予測値とする。なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
同様の手順で、予測ブロックPi n内の輝度信号の全ての画素に対する予測画素を生成してイントラ予測画像PINTRAi nを出力する。
なお、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部13に出力される。
ただし、色差信号で選択可能なイントラ予測パラメータ(イントラ予測モード)は輝度信号と同じである必要はなく、また、垂直方向予測及び水平方向予測については従来(MPEG−4 AVC/H.264)の予測手法であってもよい。
例えば、YUV信号4:2:0フォーマットの場合、色差信号(U、V信号)は、輝度信号(Y信号)に対して解像度を水平方向、垂直方向共に1/2に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易であることから、選択可能なイントラ予測パラメータ(イントラ予測モード)は輝度信号よりも少ない数とし、垂直方向予測及び水平方向予測についても従来の簡易な予測手法とすることで、予測効率をあまり低下させることなくイントラ予測パラメータ(イントラ予測モード)を符号化するのに要する符号量の削減や、予測処理の低演算化を実現することができる。
このようにシーケンス単位あるいはピクチャ単位に、t,uを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
このようにシーケンス単位あるいはピクチャ単位に、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
可変長復号部31は、図1の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して(図4のステップST21)、1フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。
このとき、垂直方向予測で用いるスケーリング値のパラメータt、水平方向予測で用いるスケーリング値のパラメータu、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のON/OFFフラグの内、いずれか1つでも可変長符号化されてビットストリームに多重化されている場合、図1の動画像符号化装置で符号化された単位(シーケンス単位、あるいは、ピクチャ単位)に復号する。
例えば、最大符号化ブロックサイズや分割階層数上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数上限が、動画像符号化装置側でビットストリームに多重化されている場合には、ビットストリームから復号した値を用いる。
以降、動画像復号装置では上記最大符号化ブロックサイズを最大復号ブロックサイズと呼び、最大符号化ブロックを最大復号ブロックと呼ぶ。
可変長復号部31は、決定された最大復号ブロック単位に、図6で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック(図1の動画像符号化装置の「符号化ブロック」に相当するブロック)を特定する(ステップST23)。
さらに、可変長復号部31は、復号ブロックを予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる1つないし複数の変換ブロックに分割し、変換ブロック毎に圧縮データ(変換・量子化後の変換係数)を復号する(ステップST24)。
一方、可変長復号部31により可変長復号された符号化モードm(Bn)がインター符号化モードであれば(m(Bn)∈INTERの場合)、可変長復号部31により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部35に出力する。
即ち、イントラ予測部34は、予測ブロックPi nに対するイントラ予測モードのインデックス値が0(垂直方向予測)の場合には、上記の式(1)から予測ブロックPi n内の画素の予測値を算出して、イントラ予測画像PINTRAi nを生成する。
また、予測ブロックPi nに対するイントラ予測モードのインデックス値が1(水平方向予測)の場合には、上記の式(2)から予測ブロックPi n内の画素の予測値を算出して、イントラ予測画像PINTRAi nを生成する。
ただし、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズが制限されている場合は、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズ以外のサイズの予測ブロックPi nでは従来(MPEG−4 AVC/H.264)の垂直方向予測及や水平方向予測によってイントラ予測処理を行う。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。
なお、ループフィルタ部38によるフィルタリング処理は、入力される復号画像の最大復号ブロックあるいは個々の復号ブロック単位で行ってもよいし、1ピクチャ分の復号画像が入力された後に1ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性(ブロックノイズ)が目立たなくなるようにブロック境界をフィルタリングする処理、復号画像の歪みを補償するフィルタ処理などが挙げられる。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
また、イントラ予測部4,34により垂直方向予測処理が実施される際に用いられるスケーリング値である1/tについては、予測ブロックの左に隣接している画素から距離が遠い列に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの左に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの左に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。
上記実施の形態1では、イントラ予測部4,34が、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロックの上に隣接している画素の輝度値に対して、その予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に予測ブロック内の列毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を予測画像の予測値に決定するものを示したが、低演算な処理を実現するために、予測ブロック内の左端から所定の数列については、その予測ブロックの上に隣接している画素の輝度値に対して、その予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの列については、その予測ブロックの上に隣接している画素の輝度値を予測画像の予測値に決定するようにしてもよい。
また、同様の理由で、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、予測ブロック内の上端から所定の数行については、その予測ブロックの左に隣接している画素の輝度値に対して、その予測ブロックの上に隣接している画素の水平方向の輝度値変化量に予測ブロック内の行毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの行については、その予測ブロックの左に隣接している画素の輝度値を予測画像の予測値に決定するようにしてもよい。
イントラ予測部4,34は、予測ブロックPi nに対するイントラ予測モードのインデックス値が0(垂直方向予測)の場合、下記の式(4)から予測ブロックPi n内の画素の予測値を算出して予測画像を生成する。
Bの値を小さくするほど、低演算な処理を実現することが可能であり、B=0の場合、予測ブロックPi nの上に隣接する符号化済み(復号済み)画素の輝度値S(x,−1)のみを用いる従来(MPEG−4 AVC/H.264)の垂直方向予測と一致する。
Bの値は、予測ブロックPi nのブロックサイズによって変更してもよい。一般に、予測するブロックサイズが大きくなると、ブロック内に様々な信号変化が含まれ易く、単一の方向で予測することが難しくなるため、方向性予測で高精度に予測できるケースは減少する。
したがって、予測ブロックPi nのブロックサイズが所定サイズより小さい場合に限り、B≧1に設定し、予測ブロックPi nのブロックサイズが所定サイズ以上であれば、B=0とする。
例えば、所定サイズが16×16画素であれば、16×16画素以上のブロックサイズの予測ブロックPi nでは、B=0となるため、従来の垂直方向予測と同じなり、演算処理の増加を抑制することができる。即ち、B=0のブロックサイズでは、x<Bかx≧Bかのいずれに属するかの条件判定処理は不要となるため、常に上記条件判定処理を行わずに従来の垂直方向予測を行うようにすることで、従来の垂直方向予測処理からの演算処理の増加は一切発生しない。
一方、4×4画素や8×8画素等の16×16画素より小さいブロックサイズの予測ブロックPi nでは、B≧1となるため、従来の垂直方向予測よりも予測性能を向上させることができる。
一方、予測ブロックPi n内の左端から2番目〜4番目の列については、式(4)の下式が適用されて、予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値は加算されない。
このようにBの値を小さい値に設定することで、演算量の増加を大幅に抑えることができる。
Cの値を小さくするほど、低演算な処理を実現することが可能であり、C=0の場合、予測ブロックPi nの左に隣接する符号化済み(復号済み)画素の輝度値S(−1,y)のみを用いる従来(MPEG−4 AVC/H.264)の水平方向予測と一致する。
Cの値は、予測ブロックPi nのブロックサイズによって変更してもよい。一般に、予測するブロックサイズが大きくなると、ブロック内に様々な信号変化が含まれ易く、単一の方向で予測することが難しくなるため、方向性予測で高精度に予測できるケースは減少する。
したがって、予測ブロックPi nのブロックサイズが所定サイズより小さい場合に限り、C≧1に設定し、予測ブロックPi nのブロックサイズが所定サイズ以上であれば、C=0とする。
例えは、所定サイズが16×16画素であれば、16×16画素以上のブロックサイズの予測ブロックPi nでは、C=0となるため、従来の水平方向予測と同じなり、演算処理の増加を抑制することができる。即ち、C=0のブロックサイズでは、y<Cかy≧Cかのいずれに属するかの条件判定処理は不要となるため、常に上記条件判定処理を行わずに従来の水平方向予測を行うようにすることで、従来の水平方向予測処理からの演算処理の増加は一切発生しない。
一方、4×4画素や8×8画素等の16×16画素より小さいブロックサイズの予測ブロックPi nでは、C≧1となるため、従来の水平方向予測よりも予測性能を向上させながら、演算量の増加を大幅に抑えることができる。
一方、予測ブロックPi n内の上端から2番目〜4番目の行については、式(5)の下式が適用されて、予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値は加算されない。
このようにCの値を小さい値に設定することで、演算量の増加を大幅に抑えることができる。
このようにシーケンス単位あるいはピクチャ単位に、t,u,B,Cを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
このようにシーケンス単位あるいはピクチャ単位に、式(4)の垂直方向予測や式(5)の水平方向予測を用いるブロックサイズを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
また、イントラ予測部4,34は、予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、予測ブロック内の左端から所定の数列については、その予測ブロックの上に隣接している画素の輝度値に対して、その予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を予測画像の予測値に決定するが、その予測ブロック内の残りの列については、その予測ブロックの上に隣接している画素の輝度値を予測画像の予測値に決定するように構成したので、演算量の増加を抑えながら、垂直方向予測の予測効率を改善することができる効果を奏する。
この実施の形態3における動画像符号化装置の構成図は、上記実施の形態1で示した図1と同様であり、この実施の形態3における動画像復号装置の構成図は、上記実施の形態1で示した図3と同様である。
この実施の形態3では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
ただし、各画素の階調は、8ビットでもよいし、10ビットや12ビットなどの階調でもよい。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態3では、「ピクチャ」は順次走査(プログレッシブスキャン)された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
まず、符号化制御部2は、符号化対象となるピクチャ(カレントピクチャ)の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する(図2のステップST1)。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
即ち、符号化制御部2は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、1つないし複数のイントラ符号化モード(総称して「INTRA」と称する)と、1つないし複数のインター符号化モード(総称して、「INTER」と称する)とがあり、符号化制御部2は、当該ピクチャで利用可能な全ての符号化モード、又は、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。
符号化制御部2による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択できる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、後述するようにイントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。
符号化制御部2は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13に出力する。
また、符号化制御部2は、イントラ予測パラメータを必要に応じてイントラ予測部4に出力する。
また、符号化制御部2は、インター予測パラメータを必要に応じて動き補償予測部5に出力する。
ブロック分割部1は、入力画像の映像信号を入力すると、その入力画像の映像信号を符号化制御部2により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部2により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。
図5において、最大符号化ブロックは、「第0階層」と記されている輝度成分が(L0,M0)のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、4分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さnにおいては、符号化ブロックはサイズ(Ln,Mn)の画像領域である。
ただし、LnとMnは、同じであってもよいし、異なっていてもよいが、図5では、Ln=Mnのケースを示している。
4分木分割を行うため、常に、(Ln+1,Mn+1)=(Ln/2,Mn/2)が成立する。
なお、RGB信号など、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)では、全ての色成分のサイズが(Ln,Mn)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは(Ln/2,Mn/2)になる。
複数の色成分からなるカラー映像信号の場合、符号化モードm(Bn)は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
以降、符号化ブロックBnに属する予測ブロックをPi n(iは、第n階層における予測ブロック番号)と表記する。図5にP0 0とP1 0の一例を示す。
符号化ブロックBnの予測ブロック分割がどのようになされているかは、符号化モードm(Bn)の中に情報として含まれる。
予測ブロックPi nは、全て符号化モードm(Bn)に従って予測処理が行われるが、予測ブロックPi n毎に、個別の予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択することができる。
図6(a)の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図6(b)は、図6(a)の例について、階層分割によって符号化モードm(Bn)が割り当てられる状況を4分木グラフで示したものである。図6(b)の□で囲まれているノードは、符号化モードm(Bn)が割り当てられたノード(符号化ブロック)である。
この4分木グラフの情報は符号化モードm(Bn)と共に符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
一方、符号化制御部2により決定された符号化モードm(Bn)がインター符号化モードである場合(m(Bn)∈INTERの場合)、ブロック分割部1から出力された符号化ブロックBnを動き補償予測部5に出力する。
なお、動画像復号装置がイントラ予測画像PINTRAi nと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
イントラ予測部4の処理内容の詳細は後述する。
なお、動画像復号装置がインター予測画像PINTERi nと全く同じインター予測画像を生成する必要があるため、インター予測画像PINTERi nの生成に用いられたインター予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
また、動き補償予測部5により探索された動きベクトルも可変長符号化部13に出力されて、ビットストリームに多重化される。
また、変換・量子化部7は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する(ステップST7)。
また、逆量子化・逆変換部8は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理(例えば、逆DCT、逆KL変換など)を実施して、減算部6から出力された予測差分信号ei nに相当する局所復号予測差分信号を算出して加算部9に出力する(ステップST8)。
なお、加算部9は、その局所復号画像をループフィルタ部11に出力するとともに、その局所復号画像をイントラ予測用メモリ10に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。
なお、ループフィルタ部11によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、1ピクチャ分の局所復号画像が入力された後に1ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性(ブロックノイズ)が目立たなくなるようにブロック境界をフィルタリングする処理、入力画像である図1の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理などが挙げられる。
ただし、入力画像である図1の映像信号と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理を行う場合には、映像信号をループフィルタ部11で参照する必要があるため、ループフィルタ部11に映像信号を入力するように図1の動画像符号化装置を変更する必要がる。
図17は符号化ブロックBn内の各予測ブロックPi nが選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。ただし、NIはイントラ予測モード数を表している。
図17では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを示しており、図17の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
図8はli n=mi n=4の場合の予測ブロックPi n内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図8では、予測ブロックPi nの上の符号化済みの画素(2×li n+1)個と、左の符号化済みの画素(2×mi n)個を予測に用いる画素としているが、予測に用いる画素は、図8に示す画素より多くても少なくてもよい。
また、図8では、予測ブロックPi nの近傍の1行又は1列分の画素を予測に用いているが、2行又は2列、あるいは、それ以上の画素を予測に用いてもよい。
ただし、座標(x,y)は予測ブロックPi n内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにしてもよい。このようにすることで、丸め処理を行う分演算量が僅かに増加するものの、輝度値の取り得る値の範囲外となる予測値の発生を抑えて予測誤差を減少させることができる。
例えば、t=2x+1とすれば、図11に示すように、スケーリング値が左端の列から順に1/2,1/4,1/8,1/16というように小さくなっていくため、予測ブロックPinの左に隣接する符号化済み画素からの距離が離れるほど、加算する垂直方向の輝度値の変化量が小さくなる。
これにより、予測ブロックPi nの左に隣接する符号化済み画素との距離が離れて相関が低くなる予測対象画素ほど、予測ブロックPi nの左に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックPi nの左に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
また、t=2x+1の場合、式(1)を下記に示すようにビットシフトによる式で表現することができる。
式(1a)において、“>>a”は、右にaビットだけ算術シフトする演算を示している。
式(1)の除算の代わりにシフト演算を用いることで、コンピュータ上に実装する場合に高速な演算が可能になる。
ただし、S(−1,y)−S(−1,−1)は負値も取り得るため、実装環境(コンパイラ)等によっては“>>”が算術シフトでなく論理シフトとして扱われてしまい、計算結果が式(1)と異なってしまう場合がある。
そこで、実装環境に依存しないt=2x+1の場合の式(1)の近似式としては、下記の式(1b)が挙げられる。
式(1b)では、輝度値輝度値S(−1,y)、S(−1,−1)をそれぞれ先に(x+1)ビット右シフトしてから減算を行うため、輝度値を正値で定義すれば、算術シフト、論理シフト共に同一の計算結果が得られる。
ただし、座標(x,y)は予測ブロックPi n内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。
ただし、上記予測値が輝度値の取り得る値の範囲に収まっていない場合には、その範囲内に収まるように値を丸めるようにしてもよい。このようにすることで、丸め処理を行う分演算量が僅かに増加するものの、輝度値の取り得る値の範囲外となる予測値の発生を抑えて予測誤差を減少させることができる。
例えば、u=2y+1とすれば、図13に示すように、スケーリング値が上端の行から順に1/2,1/4,1/8,1/16というように小さくなっていくため、予測ブロックPinの上に隣接する符号化済み画素からの距離が離れるほど、加算する水平方向の輝度値の変化量が小さくなる。
これにより、予測ブロックPi nの上に隣接する符号化済み画素との距離が離れて相関が低くなる画素ほど、予測ブロックPi nの上に隣接する符号化済み画素の影響を小さくすることができるため、予測ブロックPi nの上に隣接する符号化済み画素との相関に応じた高精度な予測を行うことができる。
また、u=2y+1の場合、式(2)を下記に示すようにビットシフトによる式で表現することができる。
式(2a)において、“>>a”は、右にaビットだけ算術シフトする演算を示している。
式(2)の除算の代わりにシフト演算を用いることで、コンピュータ上に実装する場合に高速な演算が可能になる。
ただし、S(x,−1)−S(−1,−1)は負値も取り得るため、実装環境(コンパイラ)等によっては“>>”が算術シフトでなく論理シフトとして扱われてしまい、計算結果が式(2)と異なってしまう場合がある。
そこで、実装環境に依存しないu=2y+1の場合の式(2)の近似式としては、下記の式(2b)が挙げられる。
式(2b)では、輝度値輝度値S(x,−1)、S(−1,−1)をそれぞれ先に(y+1)ビット右シフトしてから減算を行うため、輝度値を正値で定義すれば、算術シフト、論理シフト共に同一の計算結果が得られる。
イントラ予測モードのインデックス値が0(平面(Planar)予測)、1(垂直方向予測)、2(水平方向予測)、3(平均値(DC)予測)以外の場合には、インデックス値が示す予測方向ベクトルυp=(dx,dy)に基づいて、予測ブロックPi n内の画素の予測値を生成する。
図9に示すように、予測ブロックPi nの左上画素を原点として、予測ブロックPi n内の相対座標を(x,y)と設定すると、予測に用いる参照画素の位置は、下記のLと隣接画素の交点になる。
ただし、kは負のスカラ値である。
図8の例では、参照画素は整数画素位置にないので、参照画素に隣接する2画素から内挿したものを予測値とする。なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
同様の手順で、予測ブロックPi n内の輝度信号の全ての画素に対する予測画素を生成してイントラ予測画像PINTRAi nを出力する。
なお、イントラ予測画像PINTRAi nの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部13に出力される。
ただし、色差信号で選択可能なイントラ予測パラメータ(イントラ予測モード)は輝度信号と同じである必要はなく、また、垂直方向予測及び水平方向予測については従来(MPEG−4 AVC/H.264)の予測手法であってもよい。
例えば、YUV信号4:2:0フォーマットの場合、色差信号(U、V信号)は、輝度信号(Y信号)に対して解像度を水平方向、垂直方向共に1/2に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易であることから、選択可能なイントラ予測パラメータ(イントラ予測モード)は輝度信号よりも少ない数とし、垂直方向予測及び水平方向予測についても従来の簡易な予測手法とすることで、予測効率をあまり低下させることなくイントラ予測パラメータ(イントラ予測モード)を符号化するのに要する符号量の削減や、予測処理の低演算化を実現することができる。
このようにシーケンス単位あるいはピクチャ単位に、t,uを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
このようにシーケンス単位あるいはピクチャ単位に、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズを適応制御できるようにすることで、より入力画像の映像信号の特性に応じた予測処理が実現できる。
可変長復号部31は、図1の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して(図4のステップST21)、1フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。
このとき、垂直方向予測で用いるスケーリング値のパラメータt、水平方向予測で用いるスケーリング値のパラメータu、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズを表すブロックサイズ毎のON/OFFフラグの内、いずれか1つでも可変長符号化されてビットストリームに多重化されている場合、図1の動画像符号化装置で符号化された単位(シーケンス単位、あるいは、ピクチャ単位)に復号する。
例えば、最大符号化ブロックサイズや分割階層数上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数上限が、動画像符号化装置側でビットストリームに多重化されている場合には、ビットストリームから復号した値を用いる。
以降、動画像復号装置では上記最大符号化ブロックサイズを最大復号ブロックサイズと呼び、最大符号化ブロックを最大復号ブロックと呼ぶ。
可変長復号部31は、決定された最大復号ブロック単位に、図6で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック(図1の動画像符号化装置の「符号化ブロック」に相当するブロック)を特定する(ステップST23)。
一方、復号ブロックに割り当てられている符号化モードがインター符号化モードである場合、復号ブロックに含まれており、予測処理単位となる1つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する(ステップST24)。
一方、可変長復号部31により可変長復号された符号化モードm(Bn)がインター符号化モードであれば(m(Bn)∈INTERの場合)、可変長復号部31により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部35に出力する。
即ち、イントラ予測部34は、予測ブロックPi nに対するイントラ予測モードのインデックス値が0(垂直方向予測)の場合には、上記の式(1)から予測ブロックPi n内の画素の予測値を算出して、イントラ予測画像PINTRAi nを生成する。
また、予測ブロックPi nに対するイントラ予測モードのインデックス値が1(水平方向予測)の場合には、上記の式(2)から予測ブロックPi n内の画素の予測値を算出して、イントラ予測画像PINTRAi nを生成する。
ただし、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズが制限されている場合は、式(1)の垂直方向予測や式(2)の水平方向予測を用いるブロックサイズ以外のサイズの予測ブロックPi nでは従来(MPEG−4 AVC/H.264)の垂直方向予測及や水平方向予測によってイントラ予測処理を行う。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。
なお、ループフィルタ部38によるフィルタリング処理は、入力される復号画像の最大復号ブロックあるいは個々の復号ブロック単位で行ってもよいし、1ピクチャ分の復号画像が入力された後に1ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性(ブロックノイズ)が目立たなくなるようにブロック境界をフィルタリングする処理、復号画像の歪みを補償するフィルタ処理などが挙げられる。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
また、イントラ予測部4,34により垂直方向予測処理が実施される際に用いられるスケーリング値である1/tについては、予測ブロックの左に隣接している画素から距離が遠い列に係るスケーリング値ほど小さな値に設定されているように構成したので、予測ブロックの左に隣接している画素との距離が離れて、相関が低くなる画素ほど、予測ブロックの左に隣接している画素の影響を小さくすることができるようになり、その結果、高精度に予測することができる効果を奏する。
Claims (20)
- 符号化ブロックに対応する符号化モードとして、イントラ符号化モードが選択された場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成するイントラ予測手段を備え、
上記イントラ予測手段は、上記予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定し、
上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定することを特徴とする動画像符号化装置。 - 符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な1以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御手段と、入力画像を上記符号化制御手段により決定された最大サイズの符号化ブロックに分割するとともに、上記符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックと上記イントラ予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されたビットストリームを生成する可変長符号化手段とを備えていることを特徴とする請求項1記載の動画像符号化装置。
- ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、符号化制御手段によりインター符号化モードが選択された場合、符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、参照画像を用いて、当該予測ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段を設け、
差分画像生成手段は、上記ブロック分割手段により分割された符号化ブロックとイントラ予測手段又は上記動き補償予測手段により生成された予測画像との差分画像を生成することを特徴とする請求項2記載の動画像符号化装置。 - 符号化制御手段は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを当該符号化ブロックの予測ブロック毎に決定し、
画像圧縮手段は、上記符号化制御手段により決定された変換ブロックサイズ単位で、差分画像生成手段により生成された差分画像の変換処理を実施するとともに、上記符号化制御手段により決定された量子化パラメータを用いて、上記差分画像の変換係数を量子化して量子化後の変換係数を上記差分画像の圧縮データとして出力し、
可変長符号化手段は、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化する際、上記符号化制御手段により決定されたイントラ予測パラメータ又はインター予測パラメータと、量子化パラメータ及び変換ブロックサイズとを可変長符号化して、上記圧縮データ、上記符号化モード、上記イントラ予測パラメータ又は上記インター予測パラメータ、上記量子化パラメータ及び上記変換ブロックサイズの符号化データが多重化されたビットストリームを生成することを特徴とする請求項3記載の動画像符号化装置。 - イントラ予測手段は、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に上記予測ブロックの行毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を上記予測画像の予測値に決定し、
上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に上記予測ブロックの列毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を上記予測画像の予測値に決定することを特徴とする請求項1記載の動画像符号化装置。 - イントラ予測手段により水平方向予測処理が実施される際に用いられるスケーリング値については、上記予測ブロックの上に隣接している画素からの距離が遠い行に係るスケーリング値ほど小さな値に設定され、上記イントラ予測手段により垂直方向予測処理が実施される際に用いられるスケーリング値については、上記予測ブロックの左に隣接している画素からの距離が遠い列に係るスケーリング値ほど小さな値に設定されていることを特徴とする請求項5記載の動画像符号化装置。
- イントラ予測手段は、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロック内の上端から所定の行数内の行については、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定するが、上記予測ブロック内の残りの行については、上記予測ブロックの左に隣接している画素の輝度値を上記予測画像の予測値に決定し、
上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロック内の左端から所定の列数内の列については、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定するが、上記予測ブロック内の残りの列については、上記予測ブロックの上に隣接している画素の輝度値を上記予測画像の予測値に決定することを特徴とする請求項1記載の動画像符号化装置。 - 可変長符号化手段は、上記予測ブロックの行毎に設定されているスケーリング値及び上記予測ブロックの列毎に設定されているスケーリング値を可変長符号化して、上記スケーリング値、圧縮データ及び符号化モードの符号化データが多重化されたビットストリームを生成することを特徴とする請求項5記載の動画像符号化装置。
- 可変長符号化手段は、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算した値を予測値とする予測ブロック内の行を特定するブロック内情報、又は、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算した値を予測値とする予測ブロック内の列を特定するブロック内情報を可変長符号化し、上記ブロック内情報、圧縮データ及び符号化モードの符号化データが多重化されたビットストリームを生成することを特徴とする請求項7記載の動画像符号化装置。
- 可変長復号された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成するイントラ予測手段を備え、
上記イントラ予測手段は、上記予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定し、
上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定することを特徴とする動画像復号装置。 - ビットストリームに多重化された符号化データから階層的に分割された各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記イントラ予測手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備えていることを特徴とする請求項10記載の動画像復号装置。
- 可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがインター符号化モードである場合、符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、参照画像を用いて、当該予測ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段を設け、
復号画像生成手段は、差分画像生成手段により生成された差分画像とイントラ予測手段又は上記動き補償予測手段により生成された予測画像とを加算して復号画像を生成することを特徴とする請求項11記載の動画像復号装置。 - 可変長復号手段は、ビットストリームに多重化された符号化データから各々の符号化ブロックに係る圧縮データ、符号化モード、イントラ予測パラメータ又はインター予測パラメータ、量子化パラメータ及び変換ブロックサイズを可変長復号し、
差分画像生成手段は、上記可変長復号手段により可変長復号された符号化ブロックに係る量子化パラメータを用いて、当該符号化ブロックに係る圧縮データを逆量子化し、上記変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理を実施することで、圧縮前の差分画像を生成することを特徴とする請求項12記載の動画像復号装置。 - イントラ予測手段は、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に上記予測ブロックの行毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を上記予測画像の予測値に決定し、
上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に上記予測ブロックの列毎に設定されているスケーリング値が乗算された値を加算して、その加算後の値を上記予測画像の予測値に決定することを特徴とする請求項10記載の動画像復号装置。 - イントラ予測手段により水平方向予測処理が実施される際に用いられるスケーリング値については、上記予測ブロックの上に隣接している画素から距離が遠い行に係るスケーリング値ほど小さな値に設定され、上記イントラ予測手段により垂直方向予測処理が実施される際に用いられるスケーリング値については、上記予測ブロックの左に隣接している画素から距離が遠い列に係るスケーリング値ほど小さな値に設定されていることを特徴とする請求項14記載の動画像復号装置。
- イントラ予測手段は、予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロック内の上端から所定の行数内の行については、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定するが、上記予測ブロック内の残りの行については、上記予測ブロックの左に隣接している画素の輝度値を上記予測画像の予測値に決定し、
上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロック内の左端から所定の列数内の列については、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定するが、上記予測ブロック内の残りの列については、上記予測ブロックの上に隣接している画素の輝度値を上記予測画像の予測値に決定することを特徴とする請求項10記載の動画像復号装置。 - 可変長復号手段は、ビットストリームに多重化された符号化データから符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する際、上記予測ブロックの行毎に設定されているスケーリング値及び上記予測ブロックの列毎に設定されているスケーリング値を可変長復号することを特徴とする請求項14記載の動画像復号装置。
- 可変長復号手段は、ビットストリームに多重化された符号化データから符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する際、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算した値を予測値とする予測ブロック内の行を特定するブロック内情報、又は、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算した値を予測値とする予測ブロック内の列を特定するブロック内情報を可変長復号することを特徴とする請求項16記載の動画像復号装置。
- イントラ予測手段が、符号化ブロックに対応する符号化モードとして、イントラ符号化モードが選択された場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成するイントラ予測処理ステップを備え、
上記イントラ予測処理ステップでは、上記予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定し、
上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定することを特徴とする動画像符号化方法。 - イントラ予測手段が、可変長復号された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成するイントラ予測処理ステップを備え、
上記イントラ予測処理ステップでは、上記予測画像を生成する際のフレーム内予測処理が水平方向予測処理である場合、上記予測ブロックの左に隣接している画素の輝度値に対して、上記予測ブロックの上に隣接している画素の水平方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定し、
上記予測画像を生成する際のフレーム内予測処理が垂直方向予測処理である場合、上記予測ブロックの上に隣接している画素の輝度値に対して、上記予測ブロックの左に隣接している画素の垂直方向の輝度値変化量に比例する値を加算して、その加算後の値を上記予測画像の予測値に決定することを特徴とする動画像復号方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013521419A JP5389297B2 (ja) | 2011-06-24 | 2012-05-30 | 画像復号装置及び画像復号方法 |
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011140598 | 2011-06-24 | ||
JP2011140598 | 2011-06-24 | ||
JP2012009115 | 2012-01-19 | ||
JP2012009115 | 2012-01-19 | ||
JP2013521419A JP5389297B2 (ja) | 2011-06-24 | 2012-05-30 | 画像復号装置及び画像復号方法 |
PCT/JP2012/003555 WO2012176381A1 (ja) | 2011-06-24 | 2012-05-30 | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013211099A Division JP5752204B2 (ja) | 2011-06-24 | 2013-10-08 | 画像復号装置及び画像復号方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5389297B2 JP5389297B2 (ja) | 2014-01-15 |
JPWO2012176381A1 true JPWO2012176381A1 (ja) | 2015-02-23 |
Family
ID=47422246
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013521419A Active JP5389297B2 (ja) | 2011-06-24 | 2012-05-30 | 画像復号装置及び画像復号方法 |
JP2013211099A Active JP5752204B2 (ja) | 2011-06-24 | 2013-10-08 | 画像復号装置及び画像復号方法 |
JP2013271883A Active JP5744168B2 (ja) | 2011-06-24 | 2013-12-27 | 画像復号装置 |
JP2014092779A Active JP5762596B2 (ja) | 2011-06-24 | 2014-04-28 | 画像復号装置及び画像復号方法 |
JP2015091172A Active JP5992070B2 (ja) | 2011-06-24 | 2015-04-28 | 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及び符号化データのデータ構造 |
JP2016124445A Active JP6261660B2 (ja) | 2011-06-24 | 2016-06-23 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
Family Applications After (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013211099A Active JP5752204B2 (ja) | 2011-06-24 | 2013-10-08 | 画像復号装置及び画像復号方法 |
JP2013271883A Active JP5744168B2 (ja) | 2011-06-24 | 2013-12-27 | 画像復号装置 |
JP2014092779A Active JP5762596B2 (ja) | 2011-06-24 | 2014-04-28 | 画像復号装置及び画像復号方法 |
JP2015091172A Active JP5992070B2 (ja) | 2011-06-24 | 2015-04-28 | 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及び符号化データのデータ構造 |
JP2016124445A Active JP6261660B2 (ja) | 2011-06-24 | 2016-06-23 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
Country Status (15)
Country | Link |
---|---|
US (6) | US9723316B2 (ja) |
EP (6) | EP2725795B1 (ja) |
JP (6) | JP5389297B2 (ja) |
KR (6) | KR101895744B1 (ja) |
CN (5) | CN106686382B (ja) |
BR (1) | BR112013031133B1 (ja) |
CA (5) | CA2833902C (ja) |
ES (4) | ES2869201T3 (ja) |
HK (1) | HK1232359A1 (ja) |
MX (3) | MX347117B (ja) |
PL (2) | PL3849187T3 (ja) |
RU (5) | RU2547457C1 (ja) |
SG (5) | SG10201902274SA (ja) |
TW (5) | TWI571112B (ja) |
WO (1) | WO2012176381A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9807412B2 (en) | 2012-01-18 | 2017-10-31 | Electronics And Telecommunications Research Institute | Method and device for encoding and decoding image |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101474756B1 (ko) * | 2009-08-13 | 2014-12-19 | 삼성전자주식회사 | 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치 |
EP3678373A1 (en) * | 2011-06-20 | 2020-07-08 | HFI Innovation Inc. | Method and apparatus of directional intra prediction |
KR20120140181A (ko) | 2011-06-20 | 2012-12-28 | 한국전자통신연구원 | 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치 |
SG10201902274SA (en) | 2011-06-24 | 2019-04-29 | Mitsubishi Electric Corp | Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method |
EP2672452B1 (en) | 2012-02-23 | 2017-12-27 | Square Enix Holdings Co., Ltd. | Moving image distribution server, moving image playback device, control method, program, and recording medium |
WO2013153787A1 (ja) | 2012-04-12 | 2013-10-17 | 株式会社スクウェア・エニックス・ホールディングス | 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体 |
KR20170075746A (ko) * | 2014-10-31 | 2017-07-03 | 삼성전자주식회사 | 영상을 부호화 또는 복호화 하는 방법 및 장치 |
WO2016072777A1 (ko) * | 2014-11-06 | 2016-05-12 | 삼성전자 주식회사 | 인트라 결합 예측 부호화, 복호화 방법 및 장치 |
CN106331722B (zh) | 2015-07-03 | 2019-04-26 | 华为技术有限公司 | 图像预测方法和相关设备 |
US9743092B2 (en) * | 2015-10-13 | 2017-08-22 | Nokia Technologies Oy | Video coding with helper data for spatial intra-prediction |
EP3301915A1 (en) * | 2016-09-30 | 2018-04-04 | Thomson Licensing | Method and apparatus for omnidirectional video coding with adaptive intra most probable modes |
CA3048242C (en) * | 2016-12-28 | 2023-10-31 | Arris Enterprises Llc | Improved video bitstream coding |
WO2018229327A1 (en) * | 2017-06-16 | 2018-12-20 | Nokia Technologies Oy | A method and an apparatus and a computer program product for video encoding and decoding |
JP2019041165A (ja) * | 2017-08-23 | 2019-03-14 | 富士通株式会社 | 画像符号化装置、画像復号装置、画像処理方法、及び画像処理プログラム |
KR20240125065A (ko) * | 2017-12-08 | 2024-08-19 | 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 | 이미지 인코딩 장치, 이미지 디코딩 장치, 이미지 인코딩 방법 및 이미지 디코딩 방법 |
EP3815359B1 (en) * | 2018-06-27 | 2024-10-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Contour mode prediction |
WO2021018084A1 (en) * | 2019-07-26 | 2021-02-04 | Beijing Bytedance Network Technology Co., Ltd. | Interdependence of transform size and coding tree unit size in video coding |
MX2022000716A (es) | 2019-07-26 | 2022-02-23 | Beijing Bytedance Network Tech Co Ltd | Determinación del modo de particionado de imagen con base en el tamaño de bloque. |
WO2021054868A1 (en) * | 2019-09-20 | 2021-03-25 | Huawei Technologies Co., Ltd. | Method and apparatus for intra prediction |
US20240267541A1 (en) * | 2023-02-08 | 2024-08-08 | Realtek Semiconductor Corp. | Encoder and associated signal processing method |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6061474A (en) | 1995-06-22 | 2000-05-09 | Canonkabushiki Kaisha | Image processing apparatus and method |
JP3689454B2 (ja) * | 1995-06-22 | 2005-08-31 | キヤノン株式会社 | 画像符号化装置及び方法 |
RU2314656C2 (ru) * | 2002-06-11 | 2008-01-10 | Нокиа Корпорейшн | Внутреннее кодирование, основанное на пространственном прогнозировании |
JP4617644B2 (ja) * | 2003-07-18 | 2011-01-26 | ソニー株式会社 | 符号化装置及び方法 |
WO2005020588A1 (en) * | 2003-08-25 | 2005-03-03 | Agency For Science, Technology And Research | Mode decision for inter prediction in video coding |
JP4310697B2 (ja) * | 2004-04-20 | 2009-08-12 | ソニー株式会社 | 信号処理装置および方法、記録媒体、並びにプログラム |
JP5037938B2 (ja) * | 2004-04-28 | 2012-10-03 | 日立コンシューマエレクトロニクス株式会社 | 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法 |
JP4542447B2 (ja) * | 2005-02-18 | 2010-09-15 | 株式会社日立製作所 | 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法 |
KR100813958B1 (ko) * | 2004-06-07 | 2008-03-14 | 세종대학교산학협력단 | 동영상의 무손실 인코딩 및 디코딩 방법, 그 장치 |
JP2006157481A (ja) * | 2004-11-30 | 2006-06-15 | Canon Inc | 画像符号化装置及びその方法 |
KR100679031B1 (ko) * | 2004-12-03 | 2007-02-05 | 삼성전자주식회사 | 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치 |
JP2006254232A (ja) * | 2005-03-11 | 2006-09-21 | Toshiba Corp | 情報処理装置およびプログラム |
JP4600315B2 (ja) * | 2006-03-01 | 2010-12-15 | ソニー株式会社 | カメラ装置の制御方法及びこれを用いたカメラ装置 |
CN101455084A (zh) * | 2006-03-30 | 2009-06-10 | Lg电子株式会社 | 用于解码/编码视频信号的方法和装置 |
US8270490B2 (en) * | 2006-07-06 | 2012-09-18 | Canon Kabushiki Kaisha | Motion vector detection apparatus, motion vector detection method, image encoding apparatus, image encoding method, and computer program |
FR2908007A1 (fr) * | 2006-10-31 | 2008-05-02 | Thomson Licensing Sas | Procede de codage d'une sequence d'images |
JP4707118B2 (ja) * | 2007-03-28 | 2011-06-22 | 株式会社Kddi研究所 | 動画像符号化装置および動画像復号装置のイントラ予測方式 |
US8345968B2 (en) * | 2007-06-28 | 2013-01-01 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method and image decoding method |
RU2496252C2 (ru) | 2007-06-29 | 2013-10-20 | Шарп Кабусики Кайся | Устройство кодирования изображения, способ кодирования изображения, устройство декодирования изображения, способ декодирования изображения, программа и запоминающий носитель |
RU2479940C2 (ru) * | 2007-10-15 | 2013-04-20 | Ниппон Телеграф Энд Телефон Корпорейшн | Устройство кодирования и декодирования изображения, способы кодирования и декодирования изображения, их программы и носитель записи, записанный программами |
US9049457B2 (en) * | 2007-12-21 | 2015-06-02 | Telefonaktiebolaget L M Ericsson (Publ) | Pixel prediction for video coding |
CN101217669A (zh) * | 2008-01-15 | 2008-07-09 | 北京中星微电子有限公司 | 帧内预测方法及装置 |
KR101291196B1 (ko) * | 2008-01-25 | 2013-07-31 | 삼성전자주식회사 | 영상의 부호화, 복호화 방법 및 장치 |
KR101596829B1 (ko) | 2008-05-07 | 2016-02-23 | 엘지전자 주식회사 | 비디오 신호의 디코딩 방법 및 장치 |
KR101379187B1 (ko) * | 2008-06-23 | 2014-04-15 | 에스케이 텔레콤주식회사 | 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를이용한 영상 부호화/복호화 방법 및 장치 |
WO2010102935A1 (en) * | 2009-03-09 | 2010-09-16 | Thomson Licensing | Estimation of the prediction mode for the intra coding mode |
CN101600116A (zh) * | 2009-03-11 | 2009-12-09 | 北京中星微电子有限公司 | 一种帧内预测方法及装置 |
CN101964906B (zh) * | 2009-07-22 | 2012-07-04 | 北京工业大学 | 基于纹理特性的快速帧内预测方法和装置 |
KR101452860B1 (ko) * | 2009-08-17 | 2014-10-23 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치 |
MY189368A (en) | 2009-10-20 | 2022-02-08 | Sharp Kk | Moving image decoding device, moving image decoding method, moving image coding device, and moving image coding method |
KR101487687B1 (ko) * | 2010-01-14 | 2015-01-29 | 삼성전자주식회사 | 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치 |
KR101503269B1 (ko) * | 2010-04-05 | 2015-03-17 | 삼성전자주식회사 | 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치 |
CN101895755B (zh) * | 2010-07-20 | 2012-10-03 | 杭州电子科技大学 | 一种快速4x4块帧内预测模式选择方法 |
CN101895761B (zh) * | 2010-07-29 | 2013-01-23 | 江苏大学 | 一种快速帧内预测算法 |
CN105516723B (zh) | 2010-09-30 | 2018-07-27 | 三菱电机株式会社 | 运动图像编码装置及方法、运动图像解码装置及方法 |
SG10202008690XA (en) | 2011-01-12 | 2020-10-29 | Mitsubishi Electric Corp | Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method |
EP3678373A1 (en) | 2011-06-20 | 2020-07-08 | HFI Innovation Inc. | Method and apparatus of directional intra prediction |
SG10201902274SA (en) * | 2011-06-24 | 2019-04-29 | Mitsubishi Electric Corp | Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method |
-
2012
- 2012-05-30 SG SG10201902274SA patent/SG10201902274SA/en unknown
- 2012-05-30 KR KR1020177031523A patent/KR101895744B1/ko active IP Right Grant
- 2012-05-30 PL PL21160216.4T patent/PL3849187T3/pl unknown
- 2012-05-30 CA CA2833902A patent/CA2833902C/en active Active
- 2012-05-30 JP JP2013521419A patent/JP5389297B2/ja active Active
- 2012-05-30 ES ES12801936T patent/ES2869201T3/es active Active
- 2012-05-30 KR KR1020157012669A patent/KR101821867B1/ko active IP Right Grant
- 2012-05-30 EP EP12801936.1A patent/EP2725795B1/en active Active
- 2012-05-30 EP EP21160216.4A patent/EP3849187B1/en active Active
- 2012-05-30 SG SG10201902300VA patent/SG10201902300VA/en unknown
- 2012-05-30 CN CN201710029724.2A patent/CN106686382B/zh active Active
- 2012-05-30 CA CA3208227A patent/CA3208227A1/en active Pending
- 2012-05-30 ES ES14182010T patent/ES2869204T3/es active Active
- 2012-05-30 KR KR1020137031464A patent/KR101565228B1/ko active IP Right Grant
- 2012-05-30 MX MX2016003959A patent/MX347117B/es unknown
- 2012-05-30 CA CA3073053A patent/CA3073053C/en active Active
- 2012-05-30 ES ES21160199T patent/ES2961890T3/es active Active
- 2012-05-30 KR KR1020167027099A patent/KR101795332B1/ko active IP Right Grant
- 2012-05-30 PL PL21160199.2T patent/PL3849186T3/pl unknown
- 2012-05-30 CA CA3011659A patent/CA3011659C/en active Active
- 2012-05-30 US US14/114,567 patent/US9723316B2/en active Active
- 2012-05-30 CN CN201710030191.XA patent/CN106658013B/zh active Active
- 2012-05-30 WO PCT/JP2012/003555 patent/WO2012176381A1/ja active Application Filing
- 2012-05-30 SG SG10202011514QA patent/SG10202011514QA/en unknown
- 2012-05-30 EP EP23188026.1A patent/EP4254952A3/en active Pending
- 2012-05-30 CN CN201710029710.0A patent/CN106791880B/zh active Active
- 2012-05-30 BR BR112013031133-9A patent/BR112013031133B1/pt active IP Right Grant
- 2012-05-30 ES ES21160216T patent/ES2961936T3/es active Active
- 2012-05-30 RU RU2014102221/07A patent/RU2547457C1/ru active
- 2012-05-30 KR KR1020147018589A patent/KR101921781B1/ko active IP Right Grant
- 2012-05-30 CA CA3128548A patent/CA3128548C/en active Active
- 2012-05-30 MX MX2013014581A patent/MX343503B/es active IP Right Grant
- 2012-05-30 CN CN201280021843.9A patent/CN103503457B/zh active Active
- 2012-05-30 SG SG10201902297VA patent/SG10201902297VA/en unknown
- 2012-05-30 EP EP14182010.0A patent/EP2824926B1/en active Active
- 2012-05-30 KR KR1020187025002A patent/KR20180099950A/ko not_active Application Discontinuation
- 2012-05-30 SG SG10201406891TA patent/SG10201406891TA/en unknown
- 2012-05-30 CN CN201710030192.4A patent/CN106507109B/zh active Active
- 2012-05-30 EP EP23188324.0A patent/EP4266683A3/en active Pending
- 2012-05-30 EP EP21160199.2A patent/EP3849186B1/en active Active
- 2012-06-05 TW TW104132493A patent/TWI571112B/zh active
- 2012-06-05 TW TW101120068A patent/TWI508566B/zh active
- 2012-06-05 TW TW105142413A patent/TWI643494B/zh active
- 2012-06-05 TW TW105142414A patent/TWI600317B/zh active
- 2012-06-05 TW TW105142416A patent/TWI645717B/zh active
-
2013
- 2013-10-08 JP JP2013211099A patent/JP5752204B2/ja active Active
- 2013-12-10 MX MX2020010376A patent/MX2020010376A/es unknown
- 2013-12-27 JP JP2013271883A patent/JP5744168B2/ja active Active
-
2014
- 2014-04-04 HK HK17105716.3A patent/HK1232359A1/zh unknown
- 2014-04-28 JP JP2014092779A patent/JP5762596B2/ja active Active
- 2014-10-24 RU RU2014143010A patent/RU2678497C2/ru active
-
2015
- 2015-04-28 JP JP2015091172A patent/JP5992070B2/ja active Active
-
2016
- 2016-06-23 JP JP2016124445A patent/JP6261660B2/ja active Active
-
2017
- 2017-06-27 US US15/634,360 patent/US10237560B2/en active Active
-
2018
- 2018-08-03 US US16/054,640 patent/US10511840B2/en active Active
-
2019
- 2019-01-15 RU RU2019100700A patent/RU2700396C1/ru active
- 2019-01-15 RU RU2019100698A patent/RU2699256C1/ru active
- 2019-01-15 RU RU2019100699A patent/RU2699411C1/ru active
- 2019-10-18 US US16/657,410 patent/US11006125B2/en active Active
-
2021
- 2021-04-07 US US17/224,937 patent/US11632556B2/en active Active
-
2023
- 2023-02-24 US US18/114,034 patent/US11876979B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9807412B2 (en) | 2012-01-18 | 2017-10-31 | Electronics And Telecommunications Research Institute | Method and device for encoding and decoding image |
US10397598B2 (en) | 2012-01-18 | 2019-08-27 | Electronics And Telecommunications Research Institue | Method and device for encoding and decoding image |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6261660B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
KR101678351B1 (ko) | 기억 매체 | |
WO2013065402A1 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2014123988A (ja) | 画像復号装置及び画像復号方法 | |
JPWO2014049981A1 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2014090327A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2014090326A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2013098713A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JPWO2014049982A1 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP2013098715A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130910 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131008 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5389297 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |