JP6473078B2 - 画像復号装置 - Google Patents
画像復号装置 Download PDFInfo
- Publication number
- JP6473078B2 JP6473078B2 JP2015510167A JP2015510167A JP6473078B2 JP 6473078 B2 JP6473078 B2 JP 6473078B2 JP 2015510167 A JP2015510167 A JP 2015510167A JP 2015510167 A JP2015510167 A JP 2015510167A JP 6473078 B2 JP6473078 B2 JP 6473078B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- prediction
- image
- ctb
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明のその他の態様は、複数のレイヤ画像を復号する画像復号装置において、第1のレイヤ画像の復号時に前記第1のレイヤ画像とは異なる第2のレイヤ画像を参照する場合には、前記第2のレイヤ画像の参照不可範囲を定義するエントロピー復号部を備えており、前記エントロピー復号部は、垂直方向のみに基づいて定義される前記参照不可範囲か、垂直方向及び水平方向のオフセットに基づいて定義される前記参照不可範囲かを選択することを特徴とする画像復号装置。
以下、図面を参照しながら本発明の実施形態について説明する。
本実施形態に係る画像符号化装置11および画像復号装置31の詳細な説明に先立って、画像符号化装置11によって生成され、画像復号装置31によって復号される符号化ストリームTeのデータ構造について説明する。
シーケンスレイヤでは、処理対象のシーケンスSEQ(以下、対象シーケンスとも称する)を復号するために画像復号装置31が参照するデータの集合が規定されている。シーケンスSEQは、図2の(a)に示すように、ビデオパラメータセット(Video Parameter Set)シーケンスパラメータセットSPS(Sequence Parameter Set)、ピクチャパラメータセットPPS(Picture Parameter Set)、付加拡張情報SEI(Supplemental Enhancement Information)及び、ピクチャPICTを含んでいる。ここで#の後に示される値はレイヤIDを示す。図2では、#0と#1すなわちレイヤ0とレイヤ1の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれによらない。
図3は、並列デコード情報の符号化データの構成を示す図である。
参照不可範囲unreferenced region[i][j]とは、ある対象ビューiが、別の参照ビューjを参照する際に、参照範囲としてはならない範囲である。
xUnref = 0..pic_width_in_luma_samples - 1,
yUnref = yCtb + (pdi_unreferenced_region_ctu_vertical[i][j]*CtbSizeY) - PdiOffsetVal..pic_height_in_luma_samples - 1,
で定義される矩形の範囲である。すなわち、第1の参照不可範囲は、垂直方向のオフセットpdi_unreferenced_region_ctu_vertical[i][j]で定義される矩形領域となる。第1の参照不可範囲の左上座標のY座標は、対象ブロックのCTB座標のY座標yCtbと垂直方向のオフセットの和にCTBサイズCtbSizeYを乗じた値であり、前記左上座標のX座標は0であり、参照不可範囲の右下座標は、画面の右下である。
PdiOffsetValは、参照ビュー上で、ループフィルタを適用するかに応じて必要な参照不可範囲が変化することに対応する。ループフィルタとして、デブロッキングフィルタと適応オフセットフィルタ(SAO)を想定する場合、通常デブロッキングフィルタの適用範囲は3画素、適応オフセットフィルタの適用範囲は1画素であるからその合計の4画素分、参照ビューで適応オフセットフィルタが係る場合には、参照不可範囲を増やす必要がある。そのため、pdi_offset_flagが1の場合には、PdiOffsetValが4、pdi_offset_flagが0の場合には、PdiOffsetValが0となるようにしている。参照ビューでループフィルタが係る場合には、CTBの一番下に位置する水平境界及び一番右に位置する垂直境界のループフィルタ処理には、各々下に位置する次のCTBラインのCTBおよび右の位置する次のCTBの復号を待つ必要がある。つまり、境界付近の画素を参照する場合、復号待ちによる遅延が増大する。参照ビューにループフィルタが係る場合にはこの範囲を除外することにより遅延が増えることを防ぐ効果がある。
xUnref = xCtb + (pdi_unreferenced_region_ctu_horizontal[i][j]*CtbSizeY) - PdiOffsetVal..pic_width_in_luma_samples - 1
yUnref = yCtb + ((pdi_unreferenced_region_ctu_vertical[i][j]-1)*CtbSizeY) - PdiOffsetVal..pic_height_in_luma_samples - 1
で定義される矩形の範囲である。すなわち、第2の参照不可範囲は、垂直方向のオフセットpdi_unreferenced_region_ctu_vertical[i][j]と水平方向のオフセットpdi_unreferenced_region_ctu_horizontal[i][j]で定義される矩形領域となる。第2の参照不可範囲の左上座標のY座標は、対象ブロックのCTB座標のY座標yCtbと垂直方向のオフセットの和から1を引いた値にCTBサイズCtbSizeYを乗じた値であり、前記左上座標のX座標は対象ブロックのCTB座標のX座標xCtbと垂直方向のオフセットの和にCTBサイズCtbSizeYを乗じた値である。
yCtb = ( CtbAddrInRs / PicWidthInCtbsY )*CtbSizeY
(参照不可範囲の変形例)
並列デコード情報としてループフィルタ用の調整フラグを送らない場合(すなわちPdiOffsetValを固定的に0とする場合)には、参照不可範囲をピクセル単位ではなく対象ビューのCTBサイズCtbSizeY単位で定義することが可能である。変形例(参照不可範囲の定義2)においては、第1の参照不可範囲は、pdi_unreferenced_region_ctu_verticalが0の場合には定義されず、0より大きい場合には以下のように定義される。
yUnrefCtb = CtbAddrY + pdi_unreferenced_region_ctu_vertical[i][j].. PicHeightInCtbsY - 1
なお、xUnrefCtb = x_min...x_maxは参照ピクチャ上のCTB座標のx座標がx_min以上、x_max以下を示し、yUnrefCtb = y_min...y_maxは、参照ピクチャ上のCTB座標のy座標がy_min以上、y_max以下を示す。X座標とY座標の範囲を示すことで、矩形範囲を示している(以下同様)。
yUnrefCtb = CtbAddrY + (pdi_unreferenced_region_ctu_vertical[i][j]-1)..PicHeightInCtbsY - 1
なお、CtbAddrX、 CtbAddrYは、対象ビュー上の対象ブロックを含むCTBのX方向のCTB座標、Y方向のCTB座標を示し、対象ブロックのCTBアドレスCtbAddrInRsと、対象ビューのCTBサイズによる画面サイズPicWidthInCtbsYを用いて以下の式による導出される。
CtbAddrY = CtbAddrInRs / PicWidthInCtbsY
(ピクチャレイヤ)
ピクチャレイヤでは、処理対象のピクチャPICT(以下、対象ピクチャとも称する)を復号するために画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図2の(b)に示すように、スライスS0〜SNS−1を含んでいる(NSはピクチャPICTに含まれるスライスの総数)。
スライスレイヤでは、処理対象のスライスS(対象スライスとも称する)を復号するために画像復号装置31が参照するデータの集合が規定されている。スライスSは、図2の(c)に示すように、スライスヘッダSH、および、スライスデータSDATAを含んでいる。
スライスデータレイヤでは、処理対象のスライスデータSDATAを復号するために画像復号装置31が参照するデータの集合が規定されている。スライスデータSDATAは、図2の(d)に示すように、符号化ツリーブロック(CTB:Coded Tree Block)を含んでいる。CTBは、スライスを構成する固定サイズ(例えば64×64)のブロックであり、最大符号化単位(LCU:Largest Cording Unit)と呼ぶこともある。
符号化ツリーレイヤは、図2の(e)に示すように、処理対象の符号化ツリーブロックを復号するために画像復号装置31が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な4分木分割により分割される。再帰的な4分木分割により得られる木構造のノードのことを符号化ツリー(coding tree)と称する。4分木の中間ノードは、符号化ツリーユニット(CTU:Coded Tree Unit)であり、符号化ツリーブロック自身も最上位のCTUとして規定される。CTUは、分割フラグ(split_flag)を含み、split_flagが1の場合には、4つの符号化ツリーユニットCTUに分割される。split_flagが0の場合には、符号化ツリーユニットCTUは4つの符号化ユニット(CU:Coded Unit)に分割される。符号化ユニットCUは符号化ツリーレイヤの末端ノードであり、このレイヤではこれ以上分割されない。符号化ユニットCUは、符号化処理の基本的な単位となる。
符号化ユニットレイヤは、図2の(f)に示すように、処理対象の符号化ユニットを復号するために画像復号装置31が参照するデータの集合が規定されている。具体的には、符号化ユニットは、CUヘッダCUH、予測ツリー、変換ツリー、CUヘッダCUFから構成される。CUヘッダCUHでは、符号化ユニットが、イントラ予測を用いるユニットであるか、インター予測を用いるユニットであるかなどが規定される。符号化ユニットは、予測ツリー(prediction tree;PT)および変換ツリー(transform tree;TT)のルートとなる。CUヘッダCUFは、予測ツリーと変換ツリーの間、もしくは、変換ツリーの後に含まれる。
予測ユニットの予測画像は、予測ユニットに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ(インター予測パラメータ)について説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、ベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々L0リスト、L1リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が1の場合に対応する参照ピクチャリストが用いられる。なお、本明細書中「XXであるか否かを示すフラグ」と記す場合、1をXXである場合、0をXXではない場合とし、論理否定、論理積などでは1を真、0を偽と扱う(以下同様)。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。2つの参照ピクチャリストが用いられる場合、つまり、predFlagL0=1, predFlagL1=1の場合が、双予測に対応し、1つの参照ピクチャリストを用いる場合、すなわち(predFlagL0, predFlagL1) = (1, 0)もしくは(predFlagL0, predFlagL1) = (0, 1)の場合が単予測に対応する。なお、予測リスト利用フラグの情報は、後述のインター予測フラグinter_pred_idxで表現することもできる。通常、後述の予測画像生成部、予測パラメータメモリでは、予測リスト利用フラグが用いれ、符号化データから、どの参照ピクチャリストが用いられるか否かの情報を復号する場合にはインター予測フラグinter_pred_idxが用いられる。
次に、参照ピクチャリストの一例について説明する。参照ピクチャリストとは、参照ピクチャメモリ306(図6)に記憶された参照ピクチャからなる列である。図5は、参照ピクチャリストの一例を示す概念図である。参照ピクチャリスト601において、左右に一列に配列された5個の長方形は、それぞれ参照ピクチャを示す。左端から右へ順に示されている符号、P1、P2、Q0、P3、P4は、それぞれの参照ピクチャを示す符号である。P1等のPとは、視点Pを示し、そしてQ0のQとは、視点Pとは異なる視点Qを示す。P及びQの添字は、ピクチャ順序番号POCを示す。refIdxLXの真下の下向きの矢印は、参照ピクチャインデックスrefIdxLXが、参照ピクチャメモリ306において参照ピクチャQ0を参照するインデックスであることを示す。
次に、ベクトルを導出する際に用いる参照ピクチャの例について説明する。図4は、参照ピクチャの例を示す概念図である。図4において、横軸は表示時刻を示し、縦軸は視点を示す。図4に示されている、縦2行、横3列(計6個)の長方形は、それぞれピクチャを示す。6個の長方形のうち、下行の左から2列目の長方形は復号対象のピクチャ(対象ピクチャ)を示し、残りの5個の長方形がそれぞれ参照ピクチャを示す。対象ピクチャから上向きの矢印で示される参照ピクチャQ0は対象ピクチャと同表示時刻であって視点が異なるピクチャである。対象ピクチャを基準とする変位予測においては、参照ピクチャQ0が用いられる。対象ピクチャから左向きの矢印で示される参照ピクチャP1は、対象ピクチャと同じ視点であって、過去のピクチャである。対象ピクチャから右向きの矢印で示される参照ピクチャP2は、対象ピクチャと同じ視点であって、未来のピクチャである。対象ピクチャを基準とする動き予測においては、参照ピクチャP1又はP2が用いられる。
次に、本実施形態に係る画像復号装置31の構成について説明する。図6は、本実施形態に係る画像復号装置31の構成を示す概略図である。画像復号装置31は、エントロピー復号部301、予測パラメータ復号部302、参照ピクチャメモリ(参照画像記憶部、フレームメモリ)306、予測パラメータメモリ(予測パラメータ記憶部、フレームメモリ)307、予測画像生成部308、逆量子化・逆DCT部311、及び加算部312、残差格納部313(残差記録部)を含んで構成される。
予測ピクチャブロック復号待機部は、並列デコード情報に従い、参照ピクチャの特定CTBが復号されたか否かを判定する。参照ピクチャの特定CTBが復号されていない場合には、上記、予測ピクチャブロックPの生成を行わずに待機し、参照ピクチャの特定CTBが復号されてから、予測ピクチャブロックPの生成を行う。対象ビューiに属する予測ピクチャブロックPが参照ビューjの参照ピクチャを参照する場合、参照ピクチャの特定CTBの座標(xRefCtb, yRefCtb)は以下の式により導出する。
(refPicWidthInCtbsY * refCtbSizeY)
yRefCtb = min( ((yCtb + -(pdi_unreferenced_region_ctu_vertical[i][j] - 1) * CtbSizeY + refCtbSizeY - 1) / refCtbSizeY - 1) * refCtbSizeY,
(refPicHeightInCtbsY * refCtbSizeY)
ただし、第2の参照不可範囲が定義されない場合(pdi_unreferenced_region_ctu_horizontalが0の場合)には、第1の参照不可範囲の左上座標の直前のCTBとなるように、xRefCtbは画面右端のCTBとなるように以下のように設定する。
(予測ピクチャブロック復号待機部の変形例)
特定CTBの座標はピクセル単位ではなく参照ビューのCTBサイズrefCtbSizeY単位で定義することが可能である(参照不可範囲の定義2に対応)。その場合、対象ビューiに属する予測ピクチャブロックPが参照ビューjの参照ピクチャを参照する場合、参照ピクチャの特定CTBの座標(xRefCtb, yRefCtb)は、以下の式により導出する。
yRefCtb = min( ((yCtb + (pdi_unreferenced_region_ctu_vertical[i][j] - 1) * CtbSizeY + refCtbSizeY - 1) / refCtbSizeY - 1), (refPicHeightInCtbsY - 1))
ただし、pdi_unreferenced_region_ctu_horizontalが0の場合には、xRefCtbは以下のように設定する。
予測モードpredModeがイントラ予測モードを示す場合、イントラ予測画像生成部310は、イントラ予測パラメータ復号部304から入力されたイントラ予測パラメータと読み出した参照ピクチャを用いてイントラ予測を行う。具体的には、イントラ予測画像生成部310は、復号対象のピクチャであって、既に復号されたブロックのうち復号対象ブロックから予め定めた範囲にある参照ピクチャブロックを参照ピクチャメモリ306から読み出す。予め定めた範囲とは、復号対象ブロックがいわゆるラスタースキャンの順序で順次移動する場合、例えば、左、左上、上、右上の隣接ブロックのうちのいずれかであり、イントラ予測モードによって異なる。ラスタースキャンの順序とは、各ピクチャにおいて、上端から下端まで各行について、順次左端から右端まで移動させる順序である。
図7は、並列デコード動作を説明するための図である。
対象CTBを復号する際、予測ピクチャブロック復号待機部がレイヤ0の画像の座標(xRefCtb, yRefCtb)で示される特定CTBの復号が完了したか否かを判定し、特定CTBが復号されていない場合には、対象CTBの復号を待機し、特定CTBの復号が完了してから、対象CTBの復号を開始する。
次に、本実施形態に係る画像符号化装置11の構成について説明する。図8は、本実施形態に係る画像符号化装置11の構成を示すブロック図である。画像符号化装置11は、予測画像生成部101、減算部102、DCT・量子化部103、エントロピー符号化部104、逆量子化・逆DCT部105、加算部106、予測パラメータメモリ(予測パラメータ記憶部、フレームメモリ)108、参照ピクチャメモリ(参照画像記憶部、フレームメモリ)109、符号化パラメータ決定部110、予測パラメータ符号化部111、残差格納部313(残差記録部)を含んで構成される。予測パラメータ符号化部111は、インター予測パラメータ符号化部112及びイントラ予測パラメータ符号化部113を含んで構成される。
ここで4は、動き補償フィルタが8タップフィルタである場合に、動き補償用に4画素だけ対象画素より離れた画素を参照することを考慮して、範囲を4画素分小さくしたものである。
それ以外の場合には、判定式として以下の式を用いる。
同様に、予測パラメータ制限部は、第2の参照不可範囲を含むか否かを、以下の判定により判定する。
上記、式が真の場合には、第2の参照不可範囲を参照している、すなわち、予測パラメータが制限範囲を超えていると判定する。ただし、pdi_unreferenced_region_ctu_horizontalが0の場合には、第2の参照不可範囲を含むか否かの判定は行わない。
それ以外の場合には、判定式として以下の式を用いる。
符号化パラメータ決定部110は、制限範囲を超える予測パラメータについては、選択候補から外し、最終的には符号化パラメータとしては出力しない。逆に、符号化パラメータ決定部110は、制限範囲を超えない予測パラメータから符号化パラメータを選択する。
以下、第2の実施形態について説明する。
さらに、参照不可範囲を示すオフセットを参照画像のCTBサイズrefCtbSizeY単位で指定することも可能である。以下、オフセットを参照画像のCTBサイズrefCtbSizeY単位で指定する変形例Cを説明する。
refCtbAddrY = (CtbAddrInRS / PicWidthInCtbsY) * CtbSizeY / refCtbSizeY)
上記では、対象ブロックのCTBアドレスCtbAddrInRsと、対象ビューのCTBサイズによる画面サイズPicWidthInCtbsYから導出される対象ビューのCTB座標(CtbAddrInRS % PicWidthInCtbsY、CtbAddrInRS / PicWidthInCtbsY)を導出し、そのCTB座標を対象ビューのCTBサイズCtbSizeYで乗じてから、参照ビューのCTBサイズrefCtbSizeYで割ることにより導出される。例えば、対象ビューのCTBサイズCtbSizeYが参照ビューのCTBサイズrefCtbSizeYよりも大きい場合には、CtbSizeY / refCtbSizeYが1より大きくなり、結果、参照ビュー上のCTB座標refCtbAddrX、refCtbAddrYが、対象ビューのCTB座標よりも大きくなる。
yUnref = yCtb + (pdi_unreferenced_region_ctu_vertical[i][j]*refCtbSizeY) - PdiOffsetVal..pic_height_in_luma_samples - 1,
yCtb = refCtbAddrY*refCtbSizeY
第2の参照不可範囲は、pdi_unreferenced_region_ctu_horizontalが0の場合には定義されず、0より大きい場合には以下のように定義される。
yUnref = yCtb + ((pdi_unreferenced_region_ctu_vertical[i][j]-1)*refCtbSizeY) -PdiOffsetVal..pic_height_in_luma_samples - 1,
xCtb = refCtbAddrX*refCtbSizeY,
yCtb = refCtbAddrY*refCtbSizeY
(参照不可範囲の定義4)
PdiOffsetValが0の場合には、参照不可範囲をピクセル単位ではなく参照ビューのCTBサイズrefCtbSizeY単位で定義することが可能である。
refCtbAddrY = (CtbAddrInRS / PicWidthInCtbsY) * CtbSizeY / refCtbSizeY)
第1の参照不可範囲は、pdi_unreferenced_region_ctu_verticalが0の場合には定義されず、0より大きい場合には以下のように定義される。
yUnrefCtb = refCtbAddrY + (pdi_unreferenced_region_ctu_vertical[i][j])..PicHeightInCtbsY - 1
また、第1の参照不可範囲を、画像をCTB単位でラスタースキャン順で走査したときに、第1の参照不可範囲内で最初にアクセスされるCTBである開始CTBのCTBアドレスrefCtbAddrで表現することも可能である。この場合、画像内のCTBのうち、CTBアドレスが、開始CTBのCTBアドレスrefCtbAddr以降のCTBは全て第1の参照不可範囲に含まれることとなる。開始CTBのCTBアドレスrefCtbAddrは以下のように定義される。
第1の参照不可範囲は、垂直方向のオフセットpdi_unreferenced_region_ctu_vertical[i][j]で定義される矩形領域となる。第1の参照不可範囲の開始CTBアドレスは、参照CTBアドレスのY座標refCtbAddrYと垂直方向のオフセットの和に参照ピクチャのCTB幅refPicWidthInCtbsを乗じた値から定義され、参照CTBアドレスのY座標refCtbAddrYは、対象ブロックのCTB座標のY座標yCtbに対象ピクチャのCTBサイズCtbSizeYを乗じて参照ピクチャのCTBサイズrefCtbSizeYで割った値で定義される。
yUnrefCtb = refCtbAddrY + ((pdi_unreferenced_region_ctu_vertical[i][j]-1))..PicHeightInCtbsY - 1
また、参照不可範囲を、画像をCTB単位でラスタースキャン順で走査したときに、第2の参照不可範囲内で最初にアクセスされるCTBである開始CTBのCTBアドレスrefCtbAddrで定義することも可能である。この場合、画像内のCTBのうち、CTBアドレスのが、開始CTBのCTBアドレスrefCtbAddr以降であるCTBは全て参照不可範囲に含まれることとなる。開始CTBのCTBアドレスrefCtbAddrは以下のように定義される。
第2の参照不可範囲は、垂直方向のオフセットpdi_unreferenced_region_ctu_vertical[i][j]と水平方向のオフセットpdi_unreferenced_region_ctu_horizontal[i][j]定義される領域となる。第2の参照不可範囲の開始CTBアドレスは、参照CTBアドレスのY座標refCtbAddrYと垂直方向のオフセットの和から1を引いた値に参照ピクチャのCTB幅refPicWidthInCtbsを乗じた値に、参照CTBアドレスのX座標refCtbAddrXと水平方向のオフセットの和と、参照ピクチャのCTB幅refPicWidthInCtbから1を引いた値の最小値を加えた値から定義され、参照CTBアドレスのY座標refCtbAddrYは、対象ブロックのCTB座標のY座標yCtbに対象ピクチャのCTBサイズCtbSizeYを乗じて参照ピクチャのCTBサイズrefCtbSizeYで割った値で定義され、参照CTBアドレスのX座標refCtbAddrXは、対象ブロックのCTB座標のX座標xCtbに対象ピクチャのCTBサイズCtbSizeYを乗じて参照ピクチャのCTBサイズrefCtbSizeYで割った値で定義される。
予測ピクチャブロック復号待機部Bは、予測ピクチャブロック復号待機部に対して、特定CTBの座標(xRefCtb, yRefCtb)の導出方法が異なる。対象ビューiに属する予測ピクチャブロックPが参照ビューjの参照ピクチャを参照する場合、参照ピクチャの特定CTBの座標(xRefCtb, yRefCtb)は以下の式により導出する。
yRefCtb = min( ((yCtb + (pdi_unreferenced_region_ctu_vertical[i][j] - 1) * refCtbSizeY, (pic_height_in_luma_samples - 1) / refCtbSizeY * refCtbSizeY)
ただし、pdi_unreferenced_region_ctu_horizontalが0の場合には、xRefCtbは以下のように設定する。
(予測ピクチャブロック復号待機部Bの変形例)
特定CTBの座標はピクセル単位ではなく参照ビューのCTBサイズrefCtbSizeY単位で定義することが可能である。その場合、対象ビューiに属する予測ピクチャブロックPが参照ビューjの参照ピクチャを参照する場合、参照ピクチャの特定CTBの座標(xRefCtb, yRefCtb)は以下の式により導出する。
yRefCtb = min( ((yCtb + (pdi_unreferenced_region_ctu_vertical[i][j] - 1), (refPicHeightInCtbsY - 1))
ただし、pdi_unreferenced_region_ctu_horizontalが0の場合には、xRefCtbは以下のように設定する。
以上の構成の画像復号装置31Bによれば、pdi_unreferenced_region_ctu_horizontal[i][j]及びpdi_unreferenced_region_ctu_vertical[i][j]の単位を参照ビューのCTBサイズとすることにより、特定CTBの座標を導出する処理が簡略化されるという効果を奏する。
本実施形態における画像符号化装置11Bは、画像符号化装置11に対して、符号化パラメータ決定部110が予測パラメータ制限部に替えて予測パラメータ制限部Bを備える点のみが異なる。
予測パラメータ制限部Bは、予測パラメータ制限部に対し、予測パラメータが参照不可範囲を参照しているか否かの判定方法が異なる。
dy = (( CtbAddrInRs / PicWidthInCtbsY ) * CtbSizeY ) % refCtbSizeY
上記、式が真の場合には、第1の参照不可範囲を参照している、すなわち、予測パラメータが制限範囲を超えていると判定する。
dx = (( CtbAddrInRs % PicWidthInCtbsY ) * CtbSizeY ) % refCtbSizeY
上記、式が真の場合には、第2の参照不可範囲を参照している、すなわち、予測パラメータが制限範囲を超えていると判定する。ただし、pdi_unreferenced_region_ctu_horizontalが0の場合には、第2の参照不可範囲を含むか否かの判定は行わない。
本明細書には、少なくとも以下の発明についても記載されている。
(2)本発明のその他の態様は、上述の符号化データ構造であって、前記第1の参照不可範囲の左上座標のY座標は、対象ブロックのCTB座標のY座標yCtbと垂直方向のオフセットの和にCTBサイズCtbSizeYを乗じた値であり、前記左上座標のX座標は0であり、
参照不可範囲の右下座標は、画面の右下であることを特徴とする。
(3)本発明のその他の態様は、上述の符号化データ構造であって、前記第2の参照不可範囲の左上座標のY座標は、対象ブロックのCTB座標のY座標yCtbと垂直方向のオフセットの和から1を引いた値にCTBサイズCtbSizeYを乗じた値であり、前記左上座標のX座標は対象ブロックのCTB座標のX座標xCtbと垂直方向のオフセットの和にCTBサイズCtbSizeYを乗じた値であることを特徴とする。
(4)本発明のその他の態様は、上述の符号化データ構造であって、前記符号化データは、ループフィルタ用の調整を示す調整フラグを含み、前記調整フラグに応じて、前記第1の参照不可範囲と、前記第2の参照不可の座標が所定の値だけ変化することを特徴とする。
(5)本発明のその他の態様は、上述の符号化データ構造であって、前記第1の参照不可範囲の開始CTBアドレスは、参照CTBアドレスのY座標refCtbAddrYと垂直方向のオフセットの和に参照ピクチャのCTB幅refPicWidthInCtbsを乗じた値から定義され、参照CTBアドレスのY座標refCtbAddrYは、対象ブロックのCTB座標のY座標yCtbに対象ピクチャのCTBサイズCtbSizeYを乗じて参照ピクチャのCTBサイズrefCtbSizeYで割った値で定義されることを特徴とする。
(6)本発明のその他の態様は、上述の符号化データ構造であって、前記第2の参照不可範囲の開始CTBアドレスは、参照CTBアドレスのY座標refCtbAddrYと垂直方向のオフセットの和から1を引いた値に参照ピクチャのCTB幅refPicWidthInCtbsを乗じた値に、参照CTBアドレスのX座標refCtbAddrXと水平方向のオフセットの和と、参照ピクチャのCTB幅refPicWidthInCtbから1を引いた値の最小値を加えた値から定義され、前記参照CTBアドレスのY座標refCtbAddrYは、対象ブロックのCTB座標のY座標yCtbに対象ピクチャのCTBサイズCtbSizeYを乗じて参照ピクチャのCTBサイズrefCtbSizeYで割った値で定義され、前記参照CTBアドレスのX座標refCtbAddrXは、対象ブロックのCTB座標のX座標xCtbに対象ピクチャのCTBサイズCtbSizeYを乗じて参照ピクチャのCTBサイズrefCtbSizeYで割った値で定義されることを特徴とする。
(7)複数のレイヤ画像を復号する画像復号装置において、第1のレイヤとは異なる第2のレイヤ画像を参照する場合に、第2のレイヤ画像の参照不可範囲を示す並列デコード情報を復号するSEI復号部を備え、前記参照不可範囲は、第1の参照不可範囲と第2の参照不可範囲から構成されることを特徴とする画像復号装置。
(8)本発明のその他の態様は、上述の画像復号装置であって、前記並列デコード情報から、前記第2レイヤ画像のブロックを特定し、該ブロックの復号が完了するまで、前記第1レイヤ画像の復号処理を待機させる予測ピクチャブロック復号待機部と、を備えることを特徴とする画像復号装置。
(9)本発明のその他の態様は、上述の画像復号装置であって、前記並列デコード情報として第1の参照不可範囲が定義されていなかった場合には、前記ブロックのX座標として既定の値を設定する予測ピクチャブロック復号待機部と、を備えることを特徴とする。
(10)本発明のその他の態様は、上述の画像復号装置であって、ループフィルタ用の調整を示す調整フラグを含む前記並列デコード情報を復号するSEI復号部と、前記調整フラグを用いて、前記第1レイヤ画像のブロックを特定する予測ピクチャブロック復号待機部と、を備えることを特徴とする。
(11)第1レイヤ画像と、前記第1レイヤ画像とは異なる第2レイヤ画像の間で参照不可能な領域を、第1の参照不可範囲と第2の参照不可範囲に分けて定義した並列デコード情報を符号化するSEI符号化部と、予測パラメータが参照不可範囲を参照しているか否かを判定する予測パラメータ制限部と、参照不可範囲を参照していると判定された予測パラメータを候補から除外する予測パラメータ決定部と、を備えることを特徴とする画像符号化装置。
11…画像符号化装置
11B…画像符号化装置
101…予測画像生成部
102…減算部
103…DCT・量子化部
104…エントロピー符号化部
105…逆量子化・逆DCT部
106…加算部
108…予測パラメータメモリ(フレームメモリ)
109…参照ピクチャメモリ(フレームメモリ)
110…符号化パラメータ決定部
111…予測パラメータ符号化部
112…インター予測パラメータ符号化部
113…イントラ予測パラメータ符号化部
21…ネットワーク
31…画像復号装置
31B…画像復号装置
301…エントロピー復号部
302…予測パラメータ復号部
303…インター予測パラメータ復号部
304…イントラ予測パラメータ復号部
306…参照ピクチャメモリ(フレームメモリ)
307…予測パラメータメモリ(フレームメモリ)
308…予測画像生成部
309…インター予測画像生成部
310…イントラ予測画像生成部
311…逆量子化・逆DCT部
312…加算部
41…画像表示装置
Claims (1)
- 複数のレイヤ画像を復号する画像復号装置において、
対象レイヤが参照レイヤを参照する場合における参照不可範囲を示す水平方向のオフセットと垂直方向のオフセットを復号するエントロピー復号部と、
参照ピクチャから予測ピクチャブロックを生成するインター予測画像生成部を備え、
インター予測画像生成部が参照レイヤの参照ピクチャを参照する場合の前記参照不可範囲は、前記水平方向のオフセットが0の場合、前記垂直方向のオフセットのみに基づいて定義されていることを特徴とする画像復号装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013079646 | 2013-04-05 | ||
JP2013079646 | 2013-04-05 | ||
PCT/JP2014/060121 WO2014163209A1 (ja) | 2013-04-05 | 2014-04-07 | 画像復号装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014163209A1 JPWO2014163209A1 (ja) | 2017-02-16 |
JP6473078B2 true JP6473078B2 (ja) | 2019-02-20 |
Family
ID=51658494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015510167A Expired - Fee Related JP6473078B2 (ja) | 2013-04-05 | 2014-04-07 | 画像復号装置 |
Country Status (3)
Country | Link |
---|---|
US (2) | US9497476B2 (ja) |
JP (1) | JP6473078B2 (ja) |
WO (1) | WO2014163209A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BR112015025151B1 (pt) * | 2013-04-09 | 2022-11-29 | Siemens Aktiengesellschaft | Método de codificação, método de decodificação, método de codificação e decodificação, aparelho para codificação, aparelho para decodificação e codec para codificar e decodificar uma sequência de imagens digitais |
US20160373744A1 (en) * | 2014-04-23 | 2016-12-22 | Sony Corporation | Image processing apparatus and image processing method |
EP3185553A1 (en) * | 2015-12-21 | 2017-06-28 | Thomson Licensing | Apparatus, system and method of video compression using smart coding tree unit scanning and corresponding computer program and medium |
CN109983771A (zh) * | 2016-11-21 | 2019-07-05 | 松下电器(美国)知识产权公司 | 编码装置、解码装置、编码方法及解码方法 |
CN116347077A (zh) | 2016-11-21 | 2023-06-27 | 松下电器(美国)知识产权公司 | 计算机可读介质 |
WO2021071186A1 (ko) * | 2019-10-07 | 2021-04-15 | 에스케이텔레콤 주식회사 | 픽처 분할 방법 및 복호화 장치 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06217346A (ja) * | 1993-01-13 | 1994-08-05 | Sony Corp | 信号伝送装置およびビデオシステム |
JP3495800B2 (ja) * | 1994-12-28 | 2004-02-09 | キヤノン株式会社 | 符号化装置及び方法 |
US5844140A (en) * | 1996-08-27 | 1998-12-01 | Seale; Joseph B. | Ultrasound beam alignment servo |
JP3844844B2 (ja) * | 1997-06-06 | 2006-11-15 | 富士通株式会社 | 動画像符号化装置及び動画像符号化方法 |
FR2769453B1 (fr) * | 1997-10-06 | 2000-01-07 | Telediffusion Fse | Procede d'evaluation de la degradation d'une image video introduite par un systeme de codage et/ou de stockage et/ou de transmission numerique |
EP1069779B1 (en) * | 1999-02-09 | 2016-04-13 | Sony Corporation | Coding system and its method |
JP4724351B2 (ja) * | 2002-07-15 | 2011-07-13 | 三菱電機株式会社 | 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置 |
KR101631270B1 (ko) * | 2009-06-19 | 2016-06-16 | 삼성전자주식회사 | 의사 난수 필터를 이용한 영상 필터링 방법 및 장치 |
US9185439B2 (en) * | 2010-07-15 | 2015-11-10 | Qualcomm Incorporated | Signaling data for multiplexing video components |
JP5982734B2 (ja) * | 2011-03-11 | 2016-08-31 | ソニー株式会社 | 画像処理装置および方法 |
KR20120140181A (ko) * | 2011-06-20 | 2012-12-28 | 한국전자통신연구원 | 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치 |
BR122021004576B1 (pt) * | 2011-06-28 | 2022-07-26 | Samsung Electronics Co., Ltd | Aparelho de decodificação de vídeo |
-
2014
- 2014-04-07 JP JP2015510167A patent/JP6473078B2/ja not_active Expired - Fee Related
- 2014-04-07 US US14/781,123 patent/US9497476B2/en active Active
- 2014-04-07 WO PCT/JP2014/060121 patent/WO2014163209A1/ja active Application Filing
-
2016
- 2016-10-07 US US15/287,830 patent/US10034017B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPWO2014163209A1 (ja) | 2017-02-16 |
WO2014163209A1 (ja) | 2014-10-09 |
US20160057438A1 (en) | 2016-02-25 |
US20170026660A1 (en) | 2017-01-26 |
US9497476B2 (en) | 2016-11-15 |
US10034017B2 (en) | 2018-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6469588B2 (ja) | 残差予測装置、画像復号装置、画像符号化装置、残差予測方法、画像復号方法、および画像符号化方法 | |
US10200712B2 (en) | Merge candidate derivation device, image decoding device, and image coding device | |
TWI538489B (zh) | 在高效率視訊寫碼及其擴充中之運動向量寫碼及雙向預測 | |
KR102099494B1 (ko) | 비대칭 모션 파티셔닝을 이용한 비디오 코딩 기법들 | |
JP6360053B2 (ja) | 照度補償装置、画像復号装置、画像符号化装置 | |
JP6225241B2 (ja) | 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法 | |
WO2016125685A1 (ja) | 画像復号装置、画像符号化装置および予測ベクトル導出装置 | |
WO2015056719A1 (ja) | 画像復号装置、画像符号化装置 | |
JP6473078B2 (ja) | 画像復号装置 | |
WO2015194669A1 (ja) | 画像復号装置、画像符号化装置および予測画像生成装置 | |
WO2015056620A1 (ja) | 画像復号装置、画像符号化装置 | |
JP6118199B2 (ja) | 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法及びコンピュータ読み取り可能な記録媒体。 | |
WO2015141696A1 (ja) | 画像復号装置、画像符号化装置および予測装置 | |
JP2016066864A (ja) | 画像復号装置、画像符号化装置およびマージモードパラメータ導出装置 | |
WO2016056587A1 (ja) | 変位配列導出装置、変位ベクトル導出装置、デフォルト参照ビューインデックス導出装置及びデプスルックアップテーブル導出装置 | |
JP6401707B2 (ja) | 画像復号装置、画像復号方法、および記録媒体 | |
JP2015080053A (ja) | 画像復号装置、及び画像符号化装置 | |
JP2014204327A (ja) | 画像復号装置および画像符号化装置 | |
JP2015015626A (ja) | 画像復号装置および画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170404 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170404 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180619 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181211 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20181227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6473078 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |