JPWO2015083575A1 - 画像復号装置、画像符号化装置、および、符号化データ変換装置 - Google Patents
画像復号装置、画像符号化装置、および、符号化データ変換装置 Download PDFInfo
- Publication number
- JPWO2015083575A1 JPWO2015083575A1 JP2015551470A JP2015551470A JPWO2015083575A1 JP WO2015083575 A1 JPWO2015083575 A1 JP WO2015083575A1 JP 2015551470 A JP2015551470 A JP 2015551470A JP 2015551470 A JP2015551470 A JP 2015551470A JP WO2015083575 A1 JPWO2015083575 A1 JP WO2015083575A1
- Authority
- JP
- Japan
- Prior art keywords
- layer
- encoded data
- picture
- unit
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Abstract
Description
本実施の形態に係る階層動画像復号装置(画像復号装置)1は、階層動画像符号化装置(画像符号化装置)2によって階層符号化された符号化データを復号する。階層符号化とは、動画像を低品質のものから高品質のものにかけて階層的に符号化する符号化方式のことである。階層符号化は、例えば、SVCやSHVCにおいて標準化されている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”、“画質”、および、“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合(すなわち、異なる符号化雑音により符号化された動画像の場合)も互いに動画像の品質が異なるといえる。
ここで、図2を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図2は、動画像を、下位階層L3、中位階層L2、および上位階層L1の3階層により階層的に符号化/復号する場合について模式的に表す図である。つまり、図2(a)および(b)に示す例では、3階層のうち、上位階層L1が最上位層となり、下位階層L3が最下位層となる。
以下、各階層の符号化データを生成する符号化方式として、HEVCおよびその拡張方式を用いる場合について例示する。しかしながら、これに限られず、各階層の符号化データを、MPEG-2や、H.264/AVCなどの符号化方式により生成してもよい。
図3は、基本レイヤにおいて採用できる符号化データ(図2の例でいえば、階層符号化データDATA#C)のデータ構造を例示する図である。階層符号化データDATA#Cは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
シーケンスレイヤでは、処理対象のシーケンスSEQ(以下、対象シーケンスとも称する)を復号するために階層動画像復号装置1が参照するデータの集合が規定されている。シーケンスSEQは、図3の(a)に示すように、ビデオパラメータセットVPS(Video Parameter Set)、シーケンスパラメータセットSPS(Sequence Parameter Set)、ピクチャパラメータセットPPS(Picture Parameter Set)、ピクチャPICT1〜PICTNP(NPはシーケンスSEQに含まれるピクチャの総数)、及び、付加拡張情報SEI(Supplemental Enhancement Information)を含んでいる。
ピクチャレイヤでは、処理対象のピクチャPICT(以下、対象ピクチャとも称する)を復号するために階層動画像復号装置1が参照するデータの集合が規定されている。ピクチャPICTは、図3の(b)に示すように、スライスヘッダSH1〜SHNS、及び、スライスS1〜SNSを含んでいる(NSはピクチャPICTに含まれるスライスの総数)。
スライスレイヤでは、処理対象のスライスS(対象スライスとも称する)を復号するために階層動画像復号装置1が参照するデータの集合が規定されている。スライスSは、図3の(c)に示すように、符号化ツリーユニットCTU1〜CTUNC(NCはスライスSに含まれるCTUの総数)を含んでいる。
CTUレイヤでは、処理対象の符号化ツリーユニットCTU(以下、対象CTUとも称する)を復号するために階層動画像復号装置1が参照するデータの集合が規定されている。なお、符号化ツリーユニットのことを符号化ツリーブロック(CTB: Coding Tree block)、または、最大符号化単位(LCU:Largest Cording Unit)と呼ぶこともある。
CTUヘッダCTUHには、対象CTUの復号方法を決定するために階層動画像復号装置1が参照する符号化パラメータが含まれる。具体的には、図3の(d)に示すように、対象CTUの各CUへの分割パターンを指定するCTU分割情報SP_CTU、および、量子化ステップの大きさを指定する量子化パラメータ差分Δqp(qp_delta)が含まれる。
CUレイヤでは、処理対象のCU(以下、対象CUとも称する)を復号するために階層動画像復号装置1が参照するデータの集合が規定されている。
続いて、図3(e)を参照しながらCU情報CUに含まれるデータの具体的な内容を説明する。図3(e)に示すように、CU情報CUは、具体的には、スキップフラグSKIP、予測ツリー情報(以下、PT情報と略称する)PTI、および、変換ツリー情報(以下、TT情報と略称する)TTIを含む。
PT情報PTIは、CUに含まれる予測ツリー(以下、PTと略称する)に関する情報である。言い換えれば、PT情報PTIは、PTに含まれる1または複数のPUそれぞれに関する情報の集合であり、階層動画像復号装置1により予測画像を生成する際に参照される。PT情報PTIは、図3(e)に示すように、予測タイプ情報PType、および、予測情報PInfoを含んでいる。
TT情報TTIは、CUに含まれる変換ツリー(以下、TTと略称する)に関する情報である。言い換えれば、TT情報TTIは、TTに含まれる1または複数の変換ブロックそれぞれに関する情報の集合であり、階層動画像復号装置1により残差データを復号する際に参照される。
処理2:処理1にて得られた変換係数を量子化する;
処理3:処理2にて量子化された変換係数を可変長符号化する;
なお、上述した量子化パラメータqpは、階層動画像符号化装置2が変換係数を量子化する際に用いた量子化ステップQPの大きさを表す(QP=2qp/6)。
PU分割情報によって指定されるPU分割タイプには、対象CUのサイズを2N×2N画素とすると、次の合計8種類のパターンがある。すなわち、2N×2N画素、2N×N画素、N×2N画素、およびN×N画素の4つの対称的分割(symmetric splittings)、並びに、2N×nU画素、2N×nD画素、nL×2N画素、およびnR×2N画素の4つの非対称的分割(asymmetric splittings)である。なお、N=2m(mは1以上の任意の整数)を意味している。以下、対象CUを分割して得られる予測単位のことを予測ブロック、または、パーティションと称する。
拡張レイヤのレイヤ表現に含まれる符号化データ(以下、拡張レイヤ符号化データ)についても、例えば、図3に示すデータ構造とほぼ同様のデータ構造を採用できる。ただし、拡張レイヤ符号化データでは、以下のとおり、付加的な情報を追加したり、パラメータを省略できる。
次に、本発明に係る重要な概念であるピクチャ、タイル、スライスについて、相互の関係および符号化データとの関係を図4を参照して説明する。図4は、階層符号化データにおけるピクチャとタイル・スライスの関係を説明する図である。タイルは、ピクチャ内の矩形の部分領域、および、該部分領域に係る符号化データに対応付けられる。スライスはピクチャ内の部分領域、および、該部分領域に係る符号化データ、すなわち、該部分領域に係るスライスヘッダおよびスライスデータに対応付けられる。
本実施形態に係る階層動画像復号装置1、階層動画像符号化装置2、および、符号化データ変換装置3の説明に先立って、階層動画像復号装置1、階層動画像符号化装置2、および、符号化データ変換装置3を組み合わせて実現できるシステムの例を図5を参照して説明しておく。図5は、階層動画像復号装置1、階層動画像符号化装置2、および、符号化データ変換装置3を組み合わせて実現できる階層動画像の伝送と再生を行うシステムSYS_ROI1を例示している。
以下では、本実施形態に係る階層動画像復号装置1の構成について、図1〜図15を参照して説明する。
図6を用いて、階層動画像復号装置1の概略的構成を説明すると次のとおりである。図6は、階層動画像復号装置1の概略的構成を示した機能ブロック図である。階層動画像復号装置1は、階層符号化データDATA(階層動画像符号化装置2から提供される階層符号化データDATAF、または、符号化データ変換装置3から提供される階層符号化データDATAR)を復号して、対象レイヤの復号画像POUT#Tを生成する。なお、以下では、対象レイヤは基本レイヤを参照レイヤとする拡張レイヤであるとして説明する。そのため、対象レイヤは、参照レイヤに対する上位レイヤでもある。逆に、参照レイヤは、対象レイヤに対する下位レイヤでもある。
パラメータセット復号部12は、入力される対象レイヤの符号化データから、対象レイヤの復号に用いられるパラメータセット(VPS、SPS、PPS)を復号して出力する。一般に、パラメータセットの復号は既定のシンタックス表に基づいて実行される。すなわち、シンタックス表の定める手順に従って符号化データからビット列を読み出して、シンタックス表に含まれるシンタックスのシンタックス値を復号する。また、必要に応じて、復号したシンタックス値に基づいて導出した変数を導出して、出力するパラメータセットに含めてもよい。したがって、パラメータセット復号部12から出力されるパラメータセットは、符号化データに含まれるパラメータセット(VPS、SPS、PPS)に係るシンタックスのシンタックス値、および、該シンタックス値より導出される変数の集合と表現することもできる。
パラメータセット復号部12は、入力される対象レイヤ符号化データからピクチャ情報を復号する。ピクチャ情報は、概略的には、対象レイヤの復号ピクチャのサイズを定める情報である。例えば、ピクチャ情報は、対象レイヤの復号ピクチャの幅や高さを表わす情報を含んでいる。
パラメータセット復号部12は、入力される対象レイヤ符号化データから表示領域情報を復号する。表示領域情報は、例えば、SPSに含まれている。SPSから復号される表示領域情報は、表示領域フラグ(conformance_flag)を含む。表示領域フラグは表示領域の位置を表わす情報(表示領域位置情報)が追加でSPSに含まれるか否かを示す。すなわち、表示領域フラグが1の場合、表示領域位置情報が追加で含まれることを示し、表示領域フラグが0の場合、表示領域位置情報が追加で含まれないことを示す。
パラメータセット復号部12は、入力される対象レイヤ符号化データからレイヤ間位置対応情報を復号する。レイヤ間位置対応情報は、概略的には、対象レイヤと参照レイヤの対応する領域の位置関係を示す。例えば、対象レイヤのピクチャと参照レイヤのピクチャにある物体(物体A)が含まれる場合、対象レイヤのピクチャ上の物体Aに対応する領域と、参照レイヤのピクチャ上の物体Aに対応する領域が、前記対象レイヤと参照レイヤの対応する領域に相当する。なお、レイヤ間位置対応情報は、必ずしも上記の対象レイヤと参照レイヤの対応する領域の位置関係を正確に示す情報でなくてもよいが、一般的には、レイヤ間予測の正確性を高めるために正確な対象レイヤと参照レイヤの対応する領域の位置関係を示している。
レイヤ間画素対応情報は、例えば、上位レイヤのSPSの一部であるSPS拡張(sps_estension)に含まれており、図9に示すシンタックス表に従って復号される。図9は、パラメータセット復号部12がSPS復号時に参照するシンタックス表の一部であって、レイヤ間画素対応情報に係る部分である。
パラメータセット復号部12は、入力される対象レイヤ符号化データから、スケール補正情報を復号する。スケール補正情報は、例えば、SPS拡張に含まれており、図11に示すシンタックス表に従って復号される。図11は、パラメータセット復号部12がSPS復号時に参照するシンタックス表の一部であって、スケール補正情報に係る部分である。
・A0:スケール補正情報数(num_scale_adjust_info)
加えて、SPSには、シンタックス要素の組(A1、A2L、A2T、A2R、A2B、A3W、A3H)が、スケール補正情報数の示す個数含まれる。
・A1:スケール補正参照レイヤ識別子(scale_adjust_ref_layer_id[i])
・A2L:拡大参照レイヤ左追加オフセット(srl_add_left_offset[i])
・A2T:拡大参照レイヤ上追加オフセット(srl_add_top _offset[i])
・A2R:拡大参照レイヤ右追加オフセット(srl_add_right_offset[i])
・A2B:拡大参照レイヤ下追加オフセット(srl_add_bottom_offset[i])
・A3W:仮想参照レイヤ幅(rl_virtual_width[i])
・A3H:仮想参照レイヤ高(rl_virtual_height[i])
なお、上記A2L、A2T、A2R、A2Bを総称して、拡大参照レイヤ追加オフセットとも呼ぶ。また、上記A2LとA2Tを総称して、拡大参照レイヤ左上追加オフセットとも呼び、上記A2RとA2Bを総称して、拡大参照レイヤ右下追加オフセットとも呼ぶ。また、A3WとA3Hを総称して、仮想参照レイヤサイズとも呼ぶ。この定義を用いて換言すれば、スケール補正情報には、スケール補正情報数の示す個数の拡大参照レイヤ追加オフセットと仮想参照レイヤサイズが含まれている。
タイル設定部13は、入力されるパラメータセットに基づいてピクチャのタイル情報を導出して出力する。
図13はパラメータセットに含まれるPPSの復号時にパラメータ復号部12により参照されるシンタックス表の一部であって、タイル情報に係る部分である。
uniform_spacing_flagの値が1の場合、ピクチャに含まれるタイルサイズが均等、すなわち、各タイルの幅と高さが等しいことを示す。uniform_spacing_flagの値が0の場合、ピクチャに含まれるタイルサイズが不均等、すなわち、ピクチャに含まれるタイルの幅や高さが必ずしも一致しないことを示す。
つまり、ピクチャをタイル列数で等分して得られる(i+1)番目とi番目の境界位置の差分として、i番目のタイル列のCTU単位の幅であるColWidth[i]が計算される。
rowBd[j+1] = rowBd[j] + rowHeight[j]
続いて、ピクチャに含まれるラスタスキャンCTUアドレス(ctbAddrRs)で識別されるCTUに関連付けられるタイルスキャンCTUアドレスを以下の手順で導出する。
tbY = ctbAddrRs / PicWidthInCtbsY
続いて、対象CTUを含むタイルのピクチャ内のタイル単位の位置(tileX、tileY)を導出する。tileXには、評価式(tbX >= colBd[i])が真となる最大のiの値が設定される。同様に、tileYには、評価式(tbY >= rowBd[j])が真となる最大のjの値が設定される。
(スライス復号部14)
スライス復号部14は、入力されるVCL NAL、パラメータセット、および、タイル情報に基づいて復号ピクチャを生成して出力する。
スライスヘッダ復号部141は、入力されるVCL NALとパラメータセットに基づいてスライスヘッダを復号し、スライス位置設定部142、スキップスライス判定部143、および、CTU復号部144に出力する。
スライス位置設定部142は、入力されるスライスヘッダとタイル情報に基づいてピクチャ内のスライス位置を特定してCTU復号部144に出力する。スライス位置設定部142で導出されるピクチャ内のスライス位置は、スライスに含まれる各CTUのピクチャ内での位置を含む。
CTU復号部144は、概略的には、入力されるスライスヘッダ、スライスデータ、および、パラメータセットに基づいて、スライスに含まれる各CTUに対応する領域の復号画像を復号することで、スライスの復号画像を生成する。スライスの復号画像は、入力されるスライス位置の示す位置に、復号ピクチャの一部として出力される。CTUの復号画像は、CTU復号部144内部の予測残差復元部1441、予測画像生成部1442、および、CTU復号画像生成部1443により生成される。予測残差復元部1441は、入力のスライスデータに含まれる予測残差情報(TT情報)を復号して対象CTUの予測残差を生成して出力する。予測画像生成部1442は、入力のスライスデータに含まれる予測情報(PT情報)の示す予測方法と予測パラメータに基づいて予測画像を生成して出力する。その際、必要に応じて、参照ピクチャの復号画像や符号化らメータが利用される。CTU復号画像生成部1443は、入力される予測画像と予測残差を加算して対象CTUの復号画像を生成して出力する。
前述の予測画像生成部1442による予測画像生成処理のうち、レイヤ間画像予測が選択された場合の予測画像生成処理の詳細を説明する。
VSRLH = currPicH - SRLTOffset + SRLAddTOffset - SRLBOffset + SRLAddBOffset
ここで、currPicWとcurrPicHは対象ピクチャの高さと幅であり、対応参照位置導出処理の対象が輝度画素の場合は、対象レイヤにおけるSPSのピクチャ情報に含まれるpic_width_in_luma_samplesとpic_height_in_luma_samplesの各シンタックス値と一致する。対象が色差の場合は、色フォーマットの種類に応じて前記シンタックス値を変換した値を使用する。例えば色フォーマットが4:2:2の場合、各シンタックス値の半分の値を使用する。また、refPicWとrefPicHは参照ピクチャの高さと幅であり、対象が輝度画素の場合、参照レイヤにおけるSPSのピクチャ情報に含まれるpic_width_in_luma_samplesとpic_height_in_luma_samplesの各シンタックス値と一致する。
scaleY = rlVirtualH ÷ VSRLH
ここで、rlVirtualWは仮想参照レイヤ幅、rlVirtualHは仮想参照レイヤ高であり、パラメータセット復号部12で復号されたスケール補正情報に含まれる。すなわち、変数rlVirtualWにはrl_virtual_width[i]の値が、変数rlVirtualHにはrl_virtual_height[i]の値が設定される。
scaleIntY = ((rlVirtualH << 16) + (VSRLH >> 1)) / VSRLH
ここで、演算子「/」は割り算の商を表わす。「<< 16」の左シフト演算は算出されるレイヤ間スケールの整数表現の精度を維持するための処理であり、必ずしも16である必要はなく他の正の整数値の左シフト演算であってもよい。
yRef = (yP - SRLTOffset) * scaleY
ここで、xPとyPは対象レイヤピクチャ左上画素を基準とする対象レイヤ画素の水平成分と垂直成分をそれぞれ対象レイヤピクチャの画素単位で表わす。
yRef16 = ((yP - SRLTOffset) * scaleIntY + (1 << 11) ) >> 12
また、対象が色差の画素である場合に、輝度と色差の位相差を考慮した補正を行っても構わない。
上記の階層動画像復号装置1の予測画像生成部1442の処理や、変形例1、および、変形例2に記載の処理では、概略的には、拡張レイヤ(対象レイヤ)上の距離にレイヤ間スケールを乗算し、単位を調整した値を参照位置として導出している。特定の参照レイヤ上画素と対象レイヤの画素の間に整数画素以下の位相差がある場合、その位相差を補正するパラメータを追加して参照位置を計算してもよい。例えば、予測画像生成部1442の説明で上げた16分の1画素精度の参照位置は次式により計算できる。
yRef16 = ((yP - SRLTOffset) * scaleIntY + addY + (1 << 11) ) >> 12
ここで、addXとaddYはそれぞれ垂直方向と水平方向の位相のずれに対応する量であり、4分の1画素精度で表現された垂直方向の位相差であるphaseX、同様に水平方向の位相差であるphaseYを用いて次式により計算される。
addY = ( ScaleFactorY * phaseY + 2 ) >> 2
対象レイヤと参照レイヤの間に位相差がある場合は、上記の手順で参照位置を導出することで、正確な参照位置を計算できる。
以上説明した本実施形態に係る階層動画像復号装置1(階層画像復号装置)は、パラメータセットを復号するパラメータセット復号部12と、参照レイヤピクチャの復号画素を参照してレイヤ間予測により予測画像を生成する予測画像生成部1442を備えている。パラメータセット復号部12はスケール補正情報を復号し、予測画像生成部1442は、該スケール補正情報から導出されるレイヤ間スケールの値を用いて対象レイヤ上の画素に対する対応参照位置を導出する。
上記階層動画像復号装置1の説明では、スケール補正情報に含まれる以下のパラメータに基づいてレイヤ間スケールを計算する例を説明した。
・A2TL:拡大参照レイヤ左上追加オフセット
・A2BR:拡大参照レイヤ右下追加オフセット
・A3WH:仮想参照レイヤサイズ
上記とは異なるパラメータをスケール補正情報としてパラメータセットから復号し、該パラメータに基づきレイヤ間スケールを計算してもよい。例えば、以下のパラメータを用いることができる。
・A4S:代替レイヤ間スケール
・A4Sd:代替レイヤ間スケール差分
・A5WH:仮想参照レイヤ対応領域サイズ
・A5WHd:仮想参照レイヤ対応領域サイズ差分
・A3WHd:仮想参照レイヤサイズ差分
以下では、各パラメータの詳細を説明する。
パラメータセット復号部12は、入力される対象レイヤ符号化データから、スケール補正情報を復号する。スケール補正情報は、例えば、SPS拡張に含まれており、図16に示すシンタックス表に従って復号される。図16は、パラメータセット復号部12がSPS復号時に参照するシンタックス表の一部であって、スケール補正情報に係る部分である。
scaleY = alt_scale_y[i]
ここで、参照レイヤのレイヤ間識別子をref_layer_idとした場合、i はref_layer_id = scale_adjust_ref_layer_id[i] を満たす。
scaleY = ((rlH << 16) + (srlH >> 1)) / srlH
ここで、rlWとrlHはそれぞれ参照レイヤピクチャの幅と高さを表し、srlWとsrlHはそれぞれ参照レイヤ対応領域の幅と高さを表わす。
scaleY = alt_scale_y[i] + minScale
上記のようにminScaleの値を減算した代替レイヤ間スケールをSPSから復号することで、代替レイヤ間スケールの値域を狭くできるため、代替レイヤ間スケールの符号量を抑制できる。
パラメータセット復号部12は、入力される対象レイヤ符号化データから、スケール補正情報を復号する。スケール補正情報は、例えば、SPS拡張に含まれており、図17に示すシンタックス表に従って復号される。図17は、パラメータセット復号部12がSPS復号時に参照するシンタックス表の一部であって、スケール補正情報に係る部分である。
scaleY = (((rlH << 16) + (srlH >> 1)) / srlH) + alt_scale_y_diff[i]
すなわち、参照レイヤ対応領域サイズと参照レイヤサイズの比と、代替レイヤ間スケール差分の和をレイヤ間スケールに設定している。
scaleY = (((rlH << 16) + (srlH >> 1)) / srlH) + alt_scale_y_diff_present_flag[i] ? 1 - alt_scale_y_diff_sign_flag[i]*2 : 0
「?」は条件演算子であって、「 a ? b : c 」の値は、a が真ならば b、a が偽ならば cとなる。
仮想参照レイヤ対応領域直接サイズ(A5WH)は、レイヤ間スケール算出に用いる仮想参照レイヤ対応領域サイズの算出に用いるパラメータである。概略的には、仮想参照レイヤ対応領域直接サイズは、仮想参照レイヤ対応領域サイズの値として直接用いられる。レイヤ間スケールの値は、予測画像生成部1442で説明した処理と同じ方法で、仮想参照レイヤ対応領域サイズに対する仮想参照レイヤサイズの比として計算される。
VSRLH = srl_virtual_height[i]
なお、レイヤ間予測画像生成処理に用いる参照レイヤに対応する仮想参照レイヤ対応領域直接サイズがパラメータセットに存在しない場合、参照レイヤ対応領域サイズの値を仮想参照レイヤ対応領域直接サイズの値として用いる。
仮想参照レイヤ対応領域差分サイズ(A5WHd)は、レイヤ間スケール算出に用いる仮想参照レイヤ対応領域サイズの算出に用いるパラメータである。概略的には、仮想参照レイヤ対応領域差分サイズを、参照レイヤ対応領域サイズに加算することで、仮想参照レイヤ対応領域サイズを算出する。レイヤ間スケールの値は、予測画像生成部1442で説明した処理と同じ方法で、仮想参照レイヤ対応領域サイズに対する仮想参照レイヤサイズの比として計算される。
VSRLH = currPicH - SRLTOffset - SRLBOffset + srl_virtual_height_diff[i]
なお、レイヤ間予測画像生成処理に用いる参照レイヤに対応する仮想参照レイヤ対応領域差分サイズがパラメータセットに存在しない場合、仮想参照レイヤ対応領域差分の幅と高さはともに0に設定される。この場合、上記の式で導出される仮想参照レイヤ対応領域サイズは、参照レイヤ対応領域サイズに一致する。
仮想参照レイヤサイズ差分(A3WHd)は、レイヤ間スケール算出に用いる仮想参照レイヤサイズの算出に用いるパラメータである。概略的には、仮想参照レイヤ対応領域サイズ差分を、参照レイヤサイズに加算することで、仮想参照レイヤサイズを算出する。レイヤ間スケールの値は、予測画像生成部1442で説明した処理と同じ方法で、仮想参照レイヤ対応領域サイズに対する仮想参照レイヤサイズの比として計算される。
rlVirtualH = refPicH + rl_virtual_height_diff[i]
ここで、refPicWとrefPicHは予測画像生成処理に用いられる参照レイヤピクチャサイズの幅と高さにそれぞれ相当する。
スケール補正情報に含まれる各種のレイヤ間スケール導出に係るパラメータについて説明したが、ここではパラメータの好適な組み合わせを列挙する。
・A2TL:拡大参照レイヤ左上追加オフセット
・A2BR:拡大参照レイヤ右下追加オフセット
・A3WH:仮想参照レイヤサイズ
・A3WHd:仮想参照レイヤサイズ差分
・A4S:代替レイヤ間スケール
・A4Sd:代替レイヤ間スケール差分
・A5WH:仮想参照レイヤ対応領域サイズ
・A5WHd:仮想参照レイヤ対応領域サイズ差分
次に、上記の記号を用いて、スケール補正情報を構成する好適なパラメータの組み合わせを列挙する。
・Comb1:A2TL、A2BR、A3WH
・Comb2:A2TL、A2BR、A3WHd
・Comb3:A5WH、A3WH
・Comb4:A5WH、A3WHd
・Comb5:A5WHd、A3WH
・Comb6:A5WHd、A3WHd
・Comb7:A4S
・Comb8:A4Sd
上記いずれかのパラメータの組み合わせを含むスケール補正情報をパラメータセットに含めることで、階層符号化データの変換前後でレイヤ間スケールを維持する機能を実現できる。
階層動画像復号装置1の予測画像生成部1442において、パラメータセットに含まれるスケール補正情報を用いて対応参照位置を導出する方法を説明した。ここでは、上位レイヤの画素と下位レイヤの画素の位置関係を整数画素未満の単位で補正する目的で伝送されるレイヤ間位相対応情報を追加で用いて、対応参照位置を導出する方法を説明する。
+ (1 << 11)) >> 12
yRefOrg16 = ((yP - SRLTOffset + srl_add_top_offset[i]) * scaleIntY
+ (1 << 11)) >> 12
上記の式によれば、仮想参照レイヤ対応領域の左上画素を基準とする対象レイヤ上の対象画素の水平方向の位置(xP - SRLLOffset + srl_add_left_offset[i])をレイヤ間スケールの水平成分(scaleIntX)の値を乗じた値を16分の1画素精度に調整した値を仮想参照レイヤピクチャ上の対応参照位置の水平成分(xRefOrg16)に設定している。垂直成分も同様である。
yRefOffset = (srl_add_top_offset[i] * scaleIntY + (1 << 15)) >> 16
上記の式によれば、拡大参照レイヤ左オフセット(srl_add_left_offset[i])の値にレイヤ間スケールの水平成分(scaleIntX)を乗じた値を1画素精度に調整した値を参照レイヤピクチャ左上画素位置の水平成分(xRefOffset)に設定している。垂直成分も同様である。
yRef16 = yRefOrg16 - (yRefOffset << 4)
以上で対応参照位置の導出処理を終了する。
図19を用いて、階層動画像符号化装置2の概略構成を説明する。図19は、階層動画像符号化装置2の概略的構成を示した機能ブロック図である。階層動画像符号化装置2は、対象レイヤの入力画像PIN#Tを、参照レイヤ符号化データDATA#Rを参照しながら符号化して、対象レイヤの階層符号化データDATAを生成する。なお、参照レイヤ符号化データDATA#Rは、参照レイヤに対応する階層動画像符号化装置において符号化済みであるとする。
次に図20を参照して、スライス符号化部24の構成の詳細を説明する。図20は、スライス符号化部24の概略的構成を示した機能ブロック図である。
以上説明した本実施形態に係る階層動画像符号化装置2(階層画像符号化装置)は、パラメータセットを符号化するパラメータセット符号化部22と、参照レイヤピクチャの復号画素を参照してレイヤ間予測により予測画像を生成する予測画像符号化部2442を備えている。パラメータセット符号化部22はスケール補正情報を符号化し、予測画像符号化部2442は、該スケール補正情報から導出されるレイヤ間スケールの値を用いて対象レイヤ上の画素に対する対応参照位置を導出する。
図21を用いて、階層符号化データ変換装置3の概略構成を説明する。図21は、階層符号化データ変換装置3の概略的構成を示した機能ブロック図である。階層符号化データ変換装置3は、入力される階層符号化データDATAを変換して、入力される注目領域情報に係る階層符号化データDATA−ROIを生成する。なお、階層符号化データDATAは階層動画像符号化装置2により生成された階層符号化データである。また、階層符号化データDATA−ROIを階層動画像復号装置1に入力することで注目領域情報に係る上位レイヤの動画像を再生できる。
始めに、階層符号化データ変換装置3による変換処理によるパラメータセット修正の概略について、図22を参照して説明する。図22は、変換前後の階層符号化データにおけるピクチャ、注目領域、および、タイルの関係を例示した図である。図22では、拡張レイヤとベースレイヤの2レイヤから構成される階層符号化データ(変換前階層符号化データ)を変換して注目領域を含む階層符号化データ(変換後階層符号化データ)を生成する場合の、変換前後のピクチャの関係を示している。変換前階層符号化データの拡張レイヤは変換前ELピクチャに相当するデータであり、ベースレイヤは変換前BLピクチャに相当するデータである。同様に、変換後階層符号化データの拡張レイヤは変換後ELピクチャに相当するデータであり、ベースレイヤは変換後BLピクチャに相当するデータである。
パラメータセット修正部32は、入力される注目領域情報とタイル情報を参照して、対応する領域の一部が注目領域と重複するタイル(抽出対象タイル)のみを含むよう拡張レイヤのPPSタイル情報を更新する。抽出対象タイルの情報に基づいて、拡張レイヤのPPSタイル情報を更新する。まず、抽出対象タイルが1個の場合、tiles_enabled_flagを0に修正する。なお、抽出対象タイルが2個以上の場合は修正処理は省略できる。次に、ピクチャの水平方向と垂直方向に含まれる抽出対象タイルの個数に基づいて、タイル行数を表わす(num_tile_columns_minus1)とタイル列数を表わす(num_tile_rows_minus1)を修正する。次に、タイルサイズが不均等(uniform_spacing_flagが0)の場合には、抽出対象タイルを含まないタイル列の幅、抽出対象タイルを含まないタイル行の高さに係るシンタックスに対応するビット列をパラメータセットから削除する。
パラメータセット修正部32は、拡張レイヤの抽出対象タイルの集合に対応する領域を変換後ELピクチャサイズとしてピクチャ情報を修正する。変換後ELピクチャの幅と高さを拡張レイヤSPSのpic_width_in_luma_samplesとpic_height_in_luma_samplesの値としてそれぞれ設定する。
パラメータセット修正部32は、ピクチャサイズの変更を踏まえて、パラメータセットに含まれるレイヤ間画素対応情報を修正する。具体的には、レイヤ間画素対応情報に含まれる全てのレイヤ間画素対応オフセットを修正する。レイヤ間画素対応オフセットを構成する拡大参照レイヤ左オフセット(scaled_ref_layer_left_offset[i])は、変換後参照レイヤ対応領域の左上画素と変換後ELピクチャ左上画素の間の距離に相当する値が設定される。例えば、変換後参照レイヤ対応領域が変換後ELピクチャを包含する場合には拡大参照レイヤ左オフセットは負値に設定され、拡大参照レイヤ左オフセットの単位は2画素単位である場合には、前記距離を2画素単位で表現した値を絶対値とする負の整数が拡大参照レイヤ左オフセットの値に設定される。他の上、右、下に対応する拡大参照レイヤオフセットの値も同様に設定される。
パラメータセット修正部32は、ピクチャサイズの変更を踏まえて、パラメータセットに含まれるスケール補正情報を修正する。スケール補正情報は、概略的には、変換前後の階層符号化データの復号時に導出されるレイヤ間スケールが一致するように更新される。
パラメータセット修正部32は、入力される注目領域情報の示す注目領域と一致するように、入力されるパラメータセットに含まれるSPSの表示領域情報を書き換える。表示領域情報は、例えば、次のS301からS303の手順で書き換えられる。
階層符号化データ変換装置3による階層符号化データ変換処理は、S501〜S506に示す手順を順次実行することで実現される。
以上説明した本実施形態に係る階層符号化データ変換装置3は、対象レイヤ(上位レイヤ)の符号化データに含まれるビデオレイヤの符号化データ(VCL NAL)の一部を注目領域情報に基づいて修正するNAL選択部34と、パラメータセット修正部32を備えている。NAL選択部34は、注目領域情報の示す注目領域に基づいて、注目領域と重複する領域をもつタイルを抽出対象タイルとして選択し、前記選択した抽出対象タイルに含まれるスライスに係るビデオレイヤの符号化データが変換後の階層符号化データに含まれる。パラメータセット修正部32は、注目領域情報とタイル情報に基づいて、ピクチャ情報、PPSタイル情報、表示情報、レイヤ間画素対応情報、および、スケール補正情報を修正する。
上述した階層動画像復号装置1、階層動画像符号化装置2、及び、階層符号化データ変換装置3を組み合わせて、注目領域情報を表示するシステム(注目領域表示システムSYS)を構成できる。
注目領域表示システムによる処理は、階層符号化データ生成蓄積処理と注目領域データ生成再生処理に分けることができる。
以上説明した本実施形態に係る注目領域表示システムSYSは、注目領域情報を供給する注目領域通知部(ROI通知部SYS8)と、前記注目領域情報に基づいて階層符号化データを変換して変換後階層符号化データを生成する階層符号化データ変換部SYS3と、上記変換後階層符号化データを復号して上位レイヤ及び下位レイヤの復号ピクチャを出力する階層動画像復号部SYS4と、表示部SYS6を備えている。
上述した階層動画像符号化装置2及び階層動画像復号装置1は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用できる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい。
最後に、階層動画像復号装置1、階層動画像符号化装置2の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
11 NAL逆多重化部
12 パラメータセット復号部
13 タイル設定部
14 スライス復号部
141 スライスヘッダ復号部
142 スライス位置設定部
144 CTU復号部
1441 予測残差復元部
1442 予測画像生成部
1443 CTU復号画像生成部
15 ベース復号部
151 ベースNAL逆多重化部
152 ベースパラメータセット復号部
153 ベースタイル設定部
154 ベーススライス復号部
156 ベース復号ピクチャ管理部
16 復号ピクチャ管理部
2 階層動画像符号化装置(画像符号化装置)
21 NAL多重化部
22 パラメータセット符号化部
23 タイル設定部
24 スライス符号化部
241 スライスヘッダ設定部
242 スライス位置設定部
244 CTU符号化部
2441 予測残差符号化部
2442 予測画像符号化部
3 階層符号化データ変換装置(符号化データ変換装置)
32 パラメータセット修正部
34 NAL選択部
Claims (6)
- 階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、対象レイヤである上位レイヤの復号ピクチャを復元する画像復号装置であって、
パラメータセットを復号するパラメータセット復号部と、
参照レイヤピクチャの復号画素を参照して、レイヤ間予測により予測画像を生成する予測画像生成部を備え、
前記パラメータセット復号部は参照レイヤに関するスケール補正情報を復号し、
前記予測画像生成部は、前記スケール補正情報にもとづいて導出されるレイヤ間スケールを用いて対象レイヤの画素に対する参照レイヤ上の対応参照位置を導出することを特徴とする画像復号装置。 - 前記スケール補正情報にもとづいて、仮想参照レイヤサイズ差分が導出されることを特徴とする請求項1に記載の画像復号装置。
- 前記予測画像生成部で導出される前記レイヤ間スケールの値は、仮想参照レイヤ対応領域サイズと仮想参照レイヤサイズとの比の近似値であり、
前記仮想参照レイヤサイズは、参照レイヤピクチャサイズと前記仮想参照レイヤサイズ差分の和であることを特徴とする、請求項2に記載の画像復号装置。 - 前記スケール補正情報がパラメータセットに含まれない場合、前記仮想参照レイヤサイズと上記参照レイヤピクチャサイズが一致するよう上記スケール補正情報の値を設定することを特徴とする、請求項3に記載の画像復号装置。
- 入力画像から上位レイヤの符号化データを生成する画像符号化装置であって、
パラメータセットを復号するパラメータセット復号部と、
参照レイヤピクチャの復号画素を参照して、レイヤ間予測により予測画像を生成する予測画像符号化部を備え、
前記パラメータセット復号部は、スケール補正情報を符号化し、
前記予測画像符号化部は、前記スケール補正情報から導出されるレイヤ間スケールの値を用いて対象レイヤの復号画素に対する対応参照位置を導出し、
前記スケール補正情報にもとづいて、仮想参照レイヤサイズ差分が導出される
ことを特徴とする画像符号化装置。 - 入力される階層符号化データを入力される注目領域情報に基づいて変換し、注目領域階層符号化データを生成して出力する、パラメータセット修正部を備える階層符号化データ変換装置であって、
前記パラメータセット修正部は、変換前後の階層符号化データで導出されるレイヤ間スケールが一致するようにスケール補正情報を修正することを特徴とする階層符号化データ変換装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013253259 | 2013-12-06 | ||
JP2013253259 | 2013-12-06 | ||
PCT/JP2014/081033 WO2015083575A1 (ja) | 2013-12-06 | 2014-11-25 | 画像復号装置、画像符号化装置、および、符号化データ変換装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015083575A1 true JPWO2015083575A1 (ja) | 2017-03-16 |
JP6229904B2 JP6229904B2 (ja) | 2017-11-15 |
Family
ID=53273338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015551470A Active JP6229904B2 (ja) | 2013-12-06 | 2014-11-25 | 画像復号装置、画像符号化装置、および、符号化データ変換装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10142653B2 (ja) |
EP (1) | EP3068136B1 (ja) |
JP (1) | JP6229904B2 (ja) |
KR (1) | KR101782454B1 (ja) |
CN (1) | CN105981386B (ja) |
WO (1) | WO2015083575A1 (ja) |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9185387B2 (en) | 2012-07-03 | 2015-11-10 | Gopro, Inc. | Image blur based on 3D depth information |
CN103927767B (zh) * | 2014-04-18 | 2018-05-04 | 北京智谷睿拓技术服务有限公司 | 图像处理方法及图像处理装置 |
US9685194B2 (en) | 2014-07-23 | 2017-06-20 | Gopro, Inc. | Voice-based video tagging |
US9792502B2 (en) | 2014-07-23 | 2017-10-17 | Gopro, Inc. | Generating video summaries for a video using video summary templates |
US9734870B2 (en) | 2015-01-05 | 2017-08-15 | Gopro, Inc. | Media identifier generation for camera-captured media |
EP3099072A1 (en) * | 2015-05-28 | 2016-11-30 | Parabola Research Limited | Method, system and device for image and video coding |
US9639560B1 (en) | 2015-10-22 | 2017-05-02 | Gopro, Inc. | Systems and methods that effectuate transmission of workflow between computing platforms |
US9787862B1 (en) | 2016-01-19 | 2017-10-10 | Gopro, Inc. | Apparatus and methods for generating content proxy |
US9871994B1 (en) | 2016-01-19 | 2018-01-16 | Gopro, Inc. | Apparatus and methods for providing content context using session metadata |
US10078644B1 (en) | 2016-01-19 | 2018-09-18 | Gopro, Inc. | Apparatus and methods for manipulating multicamera content using content proxy |
US10129464B1 (en) | 2016-02-18 | 2018-11-13 | Gopro, Inc. | User interface for creating composite images |
US9972066B1 (en) | 2016-03-16 | 2018-05-15 | Gopro, Inc. | Systems and methods for providing variable image projection for spherical visual content |
US10402938B1 (en) | 2016-03-31 | 2019-09-03 | Gopro, Inc. | Systems and methods for modifying image distortion (curvature) for viewing distance in post capture |
US9838730B1 (en) | 2016-04-07 | 2017-12-05 | Gopro, Inc. | Systems and methods for audio track selection in video editing |
US10229719B1 (en) * | 2016-05-09 | 2019-03-12 | Gopro, Inc. | Systems and methods for generating highlights for a video |
US9953679B1 (en) | 2016-05-24 | 2018-04-24 | Gopro, Inc. | Systems and methods for generating a time lapse video |
US9922682B1 (en) | 2016-06-15 | 2018-03-20 | Gopro, Inc. | Systems and methods for organizing video files |
US9967515B1 (en) | 2016-06-15 | 2018-05-08 | Gopro, Inc. | Systems and methods for bidirectional speed ramping |
US10045120B2 (en) | 2016-06-20 | 2018-08-07 | Gopro, Inc. | Associating audio with three-dimensional objects in videos |
US10395119B1 (en) | 2016-08-10 | 2019-08-27 | Gopro, Inc. | Systems and methods for determining activities performed during video capture |
US9953224B1 (en) | 2016-08-23 | 2018-04-24 | Gopro, Inc. | Systems and methods for generating a video summary |
US10282632B1 (en) | 2016-09-21 | 2019-05-07 | Gopro, Inc. | Systems and methods for determining a sample frame order for analyzing a video |
US10268898B1 (en) | 2016-09-21 | 2019-04-23 | Gopro, Inc. | Systems and methods for determining a sample frame order for analyzing a video via segments |
US10397415B1 (en) | 2016-09-30 | 2019-08-27 | Gopro, Inc. | Systems and methods for automatically transferring audiovisual content |
US10044972B1 (en) | 2016-09-30 | 2018-08-07 | Gopro, Inc. | Systems and methods for automatically transferring audiovisual content |
US11106988B2 (en) | 2016-10-06 | 2021-08-31 | Gopro, Inc. | Systems and methods for determining predicted risk for a flight path of an unmanned aerial vehicle |
US10002641B1 (en) | 2016-10-17 | 2018-06-19 | Gopro, Inc. | Systems and methods for determining highlight segment sets |
US9916863B1 (en) | 2017-02-24 | 2018-03-13 | Gopro, Inc. | Systems and methods for editing videos based on shakiness measures |
US10339443B1 (en) | 2017-02-24 | 2019-07-02 | Gopro, Inc. | Systems and methods for processing convolutional neural network operations using textures |
US10360663B1 (en) | 2017-04-07 | 2019-07-23 | Gopro, Inc. | Systems and methods to create a dynamic blur effect in visual content |
US10395122B1 (en) | 2017-05-12 | 2019-08-27 | Gopro, Inc. | Systems and methods for identifying moments in videos |
WO2018221368A1 (ja) * | 2017-05-31 | 2018-12-06 | シャープ株式会社 | 動画像復号装置、及び動画像符号化装置 |
CN116248863A (zh) * | 2017-07-03 | 2023-06-09 | 汉阳大学校产学协力团 | 利用包含追加区域的分割单位的影像解码方法以及装置 |
US10614114B1 (en) | 2017-07-10 | 2020-04-07 | Gopro, Inc. | Systems and methods for creating compilations based on hierarchical clustering |
US10402698B1 (en) | 2017-07-10 | 2019-09-03 | Gopro, Inc. | Systems and methods for identifying interesting moments within videos |
KR102229410B1 (ko) | 2017-09-18 | 2021-03-17 | 주식회사 엘지화학 | 배터리 모듈 및 이를 포함하는 배터리 팩 |
WO2019103126A1 (en) * | 2017-11-22 | 2019-05-31 | Sharp Kabushiki Kaisha | Systems and methods for signaling tile structures for pictures of coded video |
WO2020125738A1 (en) * | 2018-12-21 | 2020-06-25 | Huawei Technologies Co., Ltd. | An encoder, a decoder and corresponding methods using history based motion vector prediction |
KR102619997B1 (ko) * | 2019-01-02 | 2024-01-02 | 애플 인크. | 영상 신호 부호화/복호화 방법 및 이를 위한 장치 |
RU2751552C1 (ru) * | 2019-01-16 | 2021-07-14 | Телефонактиеболагет Лм Эрикссон (Пабл) | Кодирование видео, содержащее равномерное мозаичное разделение с остатком |
KR20220079983A (ko) * | 2019-11-18 | 2022-06-14 | 엘지전자 주식회사 | 필터링을 위한 정보의 시그널링 기반 영상 코딩 장치 및 방법 |
CN115004707A (zh) | 2019-12-19 | 2022-09-02 | 抖音视界(北京)有限公司 | 自适应颜色变换和量化参数之间的相互作用 |
CN115211123A (zh) * | 2020-01-05 | 2022-10-18 | 抖音视界有限公司 | 视频编解码的通用约束信息 |
WO2021143896A1 (en) | 2020-01-18 | 2021-07-22 | Beijing Bytedance Network Technology Co., Ltd. | Adaptive colour transform in image/video coding |
EP4097988A4 (en) * | 2020-02-21 | 2023-03-01 | Beijing Bytedance Network Technology Co., Ltd. | SIGNALING OF SLICE AND TILE LPICTURE SUBDIVISIONS |
KR20220143943A (ko) * | 2020-02-28 | 2022-10-25 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 슬라이스 헤더 신택스 엘리먼트의 시그널링을 단순화하는 인코더, 디코더, 및 대응하는 방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008536438A (ja) * | 2005-04-13 | 2008-09-04 | エルジー エレクトロニクス インコーポレーテッド | 基準ピクチャを用いてビデオ信号をデコードする方法及び装置 |
WO2015053287A1 (ja) * | 2013-10-08 | 2015-04-16 | シャープ株式会社 | 画像復号装置、画像符号化装置、および、符号化データ変換装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BRPI0517780A2 (pt) * | 2004-11-05 | 2011-04-19 | Matsushita Electric Ind Co Ltd | aparelho de decodificação escalável e aparelho de codificação escalável |
WO2006109988A1 (en) * | 2005-04-13 | 2006-10-19 | Lg Electronics Inc. | Method and apparatus for decoding video signal using reference pictures |
US20080056373A1 (en) * | 2006-08-29 | 2008-03-06 | Newlin John B | Method and system for dynamic frequency adjustment during video decoding |
CN101395922A (zh) * | 2006-11-17 | 2009-03-25 | Lg电子株式会社 | 用于解码/编码视频信号的方法及装置 |
KR101349836B1 (ko) * | 2006-11-17 | 2014-01-10 | 엘지전자 주식회사 | 비디오 신호의 디코딩/인코딩 방법 및 장치 |
EP2051527A1 (en) | 2007-10-15 | 2009-04-22 | Thomson Licensing | Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs |
US8797903B2 (en) * | 2009-12-01 | 2014-08-05 | Qualcomm Incorporated | Method and apparatus of utilizing uplink synchronization shift command bits in TD-SCDMA uplink transmission |
CN104255032B (zh) * | 2012-03-29 | 2018-03-27 | Lg 电子株式会社 | 层间预测方法和使用其的编码设备和解码设备 |
-
2014
- 2014-11-25 CN CN201480061744.2A patent/CN105981386B/zh active Active
- 2014-11-25 JP JP2015551470A patent/JP6229904B2/ja active Active
- 2014-11-25 EP EP14868412.9A patent/EP3068136B1/en active Active
- 2014-11-25 KR KR1020167016343A patent/KR101782454B1/ko active IP Right Grant
- 2014-11-25 WO PCT/JP2014/081033 patent/WO2015083575A1/ja active Application Filing
-
2016
- 2016-06-06 US US15/174,648 patent/US10142653B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008536438A (ja) * | 2005-04-13 | 2008-09-04 | エルジー エレクトロニクス インコーポレーテッド | 基準ピクチャを用いてビデオ信号をデコードする方法及び装置 |
WO2015053287A1 (ja) * | 2013-10-08 | 2015-04-16 | シャープ株式会社 | 画像復号装置、画像符号化装置、および、符号化データ変換装置 |
Non-Patent Citations (6)
Title |
---|
DO-KYOUNG KWON AND MADHUKAR BUDAGAVI: "Reference-layer cropping offsets signaling in SHVC", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-M0219-r2, JPN6017021935, April 2013 (2013-04-01), pages 1 - 5, ISSN: 0003579257 * |
E. FRANCOIS ET AL.: "Spatial scalable coding using cropped areas", JOINT VIDEO TEAM (JVT) OF ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16 Q.6), vol. JVT-O040, JPN6017021915, April 2005 (2005-04-01), pages 1 - 14, ISSN: 0003579256 * |
JIANLE CHEN ET AL.: "High efficiency video coding (HEVC) scalable extension Draft 4", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-O1008_v1 (version1), JPN6017021944, 14 November 2013 (2013-11-14), pages 12 - 15, ISSN: 0003579254 * |
KEMAL UGUR AND MISKA M. HANNUKSELA: "AHG9: On signaling of scaled reference layer offsets", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-O0098r1, JPN6017021939, October 2013 (2013-10-01), pages 1 - 3, ISSN: 0003579259 * |
SATORU SAKAZUME ET AL.: "Extended spatial scalability with a partial geometric transform", JOINT VIDEO TEAM (JVT) OF ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16 Q.6), vol. JVT-O025, JPN6017021910, April 2005 (2005-04-01), pages 1 - 17, ISSN: 0003579255 * |
TOMOYUKI YAMAMOTO ET AL.: "MV-HEVC/SHVC HLS: On conversion to ROI-oriented multi-layer bitstream", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-O0056, JPN6017021937, October 2013 (2013-10-01), pages 1 - 5, ISSN: 0003579258 * |
Also Published As
Publication number | Publication date |
---|---|
KR101782454B1 (ko) | 2017-09-28 |
JP6229904B2 (ja) | 2017-11-15 |
CN105981386A (zh) | 2016-09-28 |
US10142653B2 (en) | 2018-11-27 |
CN105981386B (zh) | 2019-02-26 |
WO2015083575A1 (ja) | 2015-06-11 |
KR20160085895A (ko) | 2016-07-18 |
EP3068136A1 (en) | 2016-09-14 |
EP3068136B1 (en) | 2022-01-05 |
US20160286235A1 (en) | 2016-09-29 |
EP3068136A4 (en) | 2016-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6229904B2 (ja) | 画像復号装置、画像符号化装置、および、符号化データ変換装置 | |
JP6363088B2 (ja) | 画像復号装置、画像復号方法、画像符号化装置、および画像符号化方法 | |
JP6542201B2 (ja) | 画像復号装置および画像復号方法 | |
JP6800837B2 (ja) | 画像復号装置、及び画像復号方法 | |
US10841600B2 (en) | Image decoding device, an image encoding device and a decoding method | |
US20160249056A1 (en) | Image decoding device, image coding device, and coded data | |
JP6352248B2 (ja) | 画像復号装置、および画像符号化装置 | |
US10136161B2 (en) | DMM prediction section, image decoding device, and image coding device | |
JP2015073213A (ja) | 画像復号装置、画像符号化装置、符号化データ変換装置、および、注目領域表示システム | |
WO2015098713A1 (ja) | 画像復号装置および画像符号化装置 | |
JP2015177318A (ja) | 画像復号装置、画像符号化装置 | |
JP2016072941A (ja) | Dmm予測装置、画像復号装置、および画像符号化装置 | |
JP2016143962A (ja) | 領域分割画像生成装置、画像復号装置、および符号化装置。 | |
JP2016076904A (ja) | Dcオフセット情報復号装置、画像復号装置、およびdcオフセット情報符号化装置。 | |
JP2015126508A (ja) | 画像復号装置、画像符号化装置、符号化データ変換装置、領域再生装置 | |
JP2015002495A (ja) | 画像復号装置、および画像符号化装置 | |
JP2015050506A (ja) | 画像復号装置および画像符号化装置 | |
JP2015076807A (ja) | 画像復号装置、画像符号化装置、および符号化データのデータ構造 | |
JP2015076806A (ja) | 画像復号装置および画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171004 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6229904 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |