JPWO2017051493A1 - Video encoding device and video decoding device - Google Patents
Video encoding device and video decoding device Download PDFInfo
- Publication number
- JPWO2017051493A1 JPWO2017051493A1 JP2017541222A JP2017541222A JPWO2017051493A1 JP WO2017051493 A1 JPWO2017051493 A1 JP WO2017051493A1 JP 2017541222 A JP2017541222 A JP 2017541222A JP 2017541222 A JP2017541222 A JP 2017541222A JP WO2017051493 A1 JPWO2017051493 A1 JP WO2017051493A1
- Authority
- JP
- Japan
- Prior art keywords
- pictures
- picture
- video
- temporal
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
映像符号化装置は、符号化統計情報を解析する解析手段と、解析手段の解析結果に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定する推定手段と、推定手段の推定結果に基づいて符号化構造を、Temporal ID が0のピクチャだけで構成されるSOP 構造、Temporal ID が0のピクチャおよび1のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、および2のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、2のピクチャおよび3のピクチャで構成されるSOP 構造のいずれかに適応的に決定する符号化構造決定手段とを備える。The video encoding device includes an analysis unit that analyzes the encoding statistical information, an estimation unit that estimates whether an optimal motion vector can be selected near the slice boundary based on an analysis result of the analysis unit, and an estimation unit Based on the estimation result, the coding structure is composed of an SOP structure composed only of pictures with a temporal ID of 0, an SOP structure composed of pictures with a temporal ID of 0 and 1 pictures, a picture with a temporal ID of 0, and a 1 SOP structure composed of picture and 2 pictures, coding structure determination adaptively determined to be either SOP structure composed of picture with temporal ID 0, 1 picture, 2 picture or 3 picture Means.
Description
本発明は、映像の画面を分割してから圧縮する符号化方法に基づく映像符号化装置、映像復号装置、映像システム、映像符号化方法、及び映像符号化プログラムに関する。 The present invention relates to a video encoding device, a video decoding device, a video system, a video encoding method, and a video encoding program based on an encoding method in which a video screen is divided and then compressed.
映像の高精細化の要請に応じて、水平方向1920×垂直方向1080(画素)のフルHD(High Definition )の映像コンテンツが供給されている。また、水平方向3840×垂直方向2160(画素)の高精細映像(以下、4Kという。)の試験放送や商用放送が開始されている。さらに、水平方向7680×垂直方向4320(画素)の高精細映像(以下、8Kという。)の商用放送が計画されている。
In response to a demand for higher definition of video, full HD (High Definition) video content of horizontal 1920 × vertical 1080 (pixel) is supplied. In addition, test broadcasts and commercial broadcasts of high-definition video (hereinafter referred to as 4K) in the horizontal direction 3840 × vertical direction 2160 (pixels) have been started. Furthermore, commercial broadcasting of high-definition video (hereinafter referred to as “8K”) in the
映像コンテンツの配信システムにおいて、一般に、送信側では映像信号はH.264/AVC (Advanced Video Coding )規格やHEVC(High Efficiency Video Coding)規格に基づいて符号化され、受信側では復号処理を経て映像信号が再生されるが、8Kの場合には画素数が多いので、符号化処理及び復号処理における処理負荷が高くなる。 In video content distribution systems, the video signal is generally encoded based on the H.264 / AVC (Advanced Video Coding) standard or HEVC (High Efficiency Video Coding) standard on the transmission side, and the video is processed after decoding on the reception side. The signal is reproduced, but in the case of 8K, since the number of pixels is large, the processing load in the encoding process and the decoding process becomes high.
8Kの場合の処理負荷を低減するための方法として、例えば非特許文献1に記載されたスライスを用いた画面4分割符号化がある(図10参照)。図11に示すように、非特許文献1では、画面4分割符号化が使用される場合、インター予測が行われるときに、スライス境界付近のブロックにおいて、動き補償(MC)のための動きベクトルの垂直方向(縦方向)の成分が128画素以下であるという制約が設けられている。なお、スライス境界付近に属さないブロックに対して、スライス境界を跨ぐ垂直方向の動きベクトル範囲の制約(以下、動きベクトル制約という。)はない。
As a method for reducing the processing load in the case of 8K, for example, there is a screen 4-division encoding using a slice described in Non-Patent Document 1 (see FIG. 10). As illustrated in FIG. 11, in Non-Patent
動きベクトル制限がある場合、画面中の物体や画面全体が縦方向に速く動くシーンを符号化するときに、スライス境界では最適な動きベクトルが選択できないことがある。その結果、局所的な画質劣化を発生させる可能性がある。劣化の程度は、速い動きのときにM値が大きいほど大きくなる。M値は、参照ピクチャの間隔である。なお、「最適な動きベクトル」は、映像符号化装置における画面間予測(インター予測)処理を行う予測器で選択された本来の(正規の)動きベクトルを意味する。 When there is a motion vector restriction, an optimal motion vector may not be selected at a slice boundary when an object in the screen or a scene in which the entire screen moves fast in the vertical direction is encoded. As a result, local image quality degradation may occur. The degree of deterioration increases as the M value increases during fast movement. The M value is a reference picture interval. Note that “optimal motion vector” means an original (normal) motion vector selected by a predictor that performs inter-screen prediction (inter prediction) processing in the video encoding device.
図13に、M=4の場合とM=8の場合の参照ピクチャの間隔が例示されている。一般に、M値が小さい場合には、フレーム間距離が小さくなるので、動きベクトルの値は小さくなる傾向がある。しかし、特に定常的なシーンにおいて、時間方向階層が少なくなるため階層(レイヤ)に応じた符号量配分が制約されるため、符号化効率は低下する。一方、M値が大きい場合には、フレーム間距離が大きくなるので、動きベクトルの値は大きくなる傾向がある。しかし、特に定常的なシーンにおいて、時間方向階層が多くなるため階層(レイヤ)に応じた符号量配分の制約が緩和されるため、符号化効率は向上する。一例として、M値を8から4に変えると、動きベクトルの値は1/2になり、M値を4から8に変えると、動きベクトルの値は2倍になる。 FIG. 13 illustrates the interval between reference pictures when M = 4 and M = 8. In general, when the M value is small, the inter-frame distance is small, so the value of the motion vector tends to be small. However, especially in a stationary scene, since the time-direction hierarchy is reduced, code amount distribution according to the hierarchy (layer) is restricted, so that the encoding efficiency is lowered. On the other hand, when the M value is large, the inter-frame distance is large, so that the value of the motion vector tends to be large. However, especially in a stationary scene, the number of time direction hierarchies increases, so that restrictions on code amount distribution according to the hierarchies (layers) are relaxed, so that coding efficiency is improved. As an example, when the M value is changed from 8 to 4, the value of the motion vector is halved, and when the M value is changed from 4 to 8, the value of the motion vector is doubled.
なお、非特許文献1においてSOP(Set of Pictures )という概念が導入されている。SOP は、時間方向階層符号化を行う場合に、各AU(Access Unit )の符号化順及び参照関係を記述する単位になる。時間方向階層符号化は、複数フレームの映像の中から、部分的にフレームを取り出せるようにする符号化である。
In
SOP構造は、L=0の構造、L=1の構造、L=2の構造及びL=3の構造を含む。図14に示すように、Lx(x=0,1,2,3)は、以下のような構造である。
・L=0の構造:Temporal ID が0のピクチャだけで構成されるSOP 構造(つまり、同SOPに含まれるピクチャの段数は1つである。最大Temporal ID を示すLが0であるともいえる。)
・L=1の構造:Temporal ID が0のピクチャおよび1のピクチャで構成されるSOP 構造(つまり、同SOP に含まれるピクチャの段数は2つである。最大Temporal ID を示すLが1であるともいえる。)
・L=2の構造:Temporal ID が0のピクチャ、1のピクチャ、および、2のピクチャで構成されるSOP 構造(つまり、同SOP に含まれるピクチャの段数は3つである。最大Temporal ID を示すLが2であるともいえる。)
・L=3の構造:Temporal ID が0のピクチャ、1のピクチャ、2のピクチャ、および3のピクチャで構成されるSOP 構造(つまり、同SOP に含まれるピクチャの段数は4つである。最大Temporal ID を示すLが3であるともいえる。)The SOP structure includes a structure with L = 0, a structure with L = 1, a structure with L = 2, and a structure with L = 3. As shown in FIG. 14, Lx (x = 0, 1, 2, 3) has the following structure.
Structure with L = 0: SOP structure composed only of pictures with Temporal ID 0 (that is, the number of stages of pictures included in the SOP is 1. It can be said that L indicating the maximum Temporal ID is 0. )
Structure with L = 1: SOP structure composed of a picture with a temporal ID of 0 and a picture of 1 (that is, the number of stages of pictures included in the SOP is two. L indicating the maximum temporal ID is 1) It can also be said.)
Structure with L = 2: SOP structure composed of a picture with a temporal ID of 0, a picture of 1, and a picture of 2 (that is, the number of stages of pictures included in the SOP is three. The maximum temporal ID is It can be said that L shown is 2.)
Structure with L = 3: SOP structure composed of picture with
本明細書の記載では、M=1はL=0の構造のSOP に対応し、M=2はN=1の場合のL=1の構造のSOP (図14参照)に対応し、M=3はN=2の場合のL=1の構造のSOP (図14参照)に対応し、M=4はL=2の構造のSOP に対応し、M=8はL=3の構造のSOP に対応する。 In the description of the present specification, M = 1 corresponds to the SOP having the structure of L = 0, M = 2 corresponds to the SOP having the structure of L = 1 when N = 1 (see FIG. 14), and M = 3 corresponds to the SOP having the structure of L = 1 when N = 2 (see FIG. 14), M = 4 corresponds to the SOP having the structure of L = 2, and M = 8 corresponds to the SOP having the structure of L = 3. Corresponding to
定常的なシーン(例えば、画面中の物体や画面全体が速く動かないシーン)については、上述したように参照ピクチャ間隔(M値)が大きいほど符号化効率がよい。よって、8Kなどの高精細映像を低レートで符号化するためには、映像符号化装置が基本的にM=8で動作することが好ましい。 For a stationary scene (for example, an object in the screen or a scene in which the entire screen does not move quickly), as described above, the larger the reference picture interval (M value), the better the coding efficiency. Therefore, in order to encode a high-definition video such as 8K at a low rate, it is preferable that the video encoding device basically operates at M = 8.
しかし、上述したように、M値を大きくすると動きベクトルの値が大きくなる傾向があるので、特に、画面中の物体や画面全体が縦方向に速く動くシーンにおいて、動きベクトル制限に起因して画質が劣化する。動きベクトル制限によって、スライス境界において、最適な動きベクトルを選択できない場合があるためである。 However, as described above, when the M value is increased, the value of the motion vector tends to increase. Therefore, particularly in a scene in which an object on the screen or the entire screen moves fast in the vertical direction, the image quality is caused by the motion vector limitation. Deteriorates. This is because an optimal motion vector may not be selected at a slice boundary due to motion vector limitation.
本発明は、映像の画面を分割してから圧縮する符号化方法であって、スライス境界付近において動きベクトルの選択の制約がある符号化方法を使用する場合に、画質劣化を抑制することを目的とする。 The present invention is an encoding method that compresses after dividing a video screen, and an object of the present invention is to suppress deterioration in image quality when using an encoding method that restricts motion vector selection in the vicinity of a slice boundary. And
本発明による映像符号化装置は、映像を所定個のスライスに分割し、スライス境界付近の動きベクトル制限の下で符号化処理を行う映像符号化装置であって、符号化統計情報を解析する解析手段と、解析手段の解析結果に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定する推定手段と、推定手段の推定結果に基づいて符号化構造を、Temporal ID が0のピクチャだけで構成されるSOP 構造、Temporal ID が0のピクチャおよび1のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、および2のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、2のピクチャおよび3のピクチャで構成されるSOP 構造のいずれかに適応的に決定する符号化構造決定手段とを備えることを特徴とする。
A video encoding device according to the present invention is a video encoding device that divides a video into a predetermined number of slices and performs encoding processing under a motion vector restriction in the vicinity of a slice boundary, and analyzes the encoding statistical information Means, an estimation means for estimating whether or not an optimal motion vector can be selected in the vicinity of the slice boundary based on the analysis result of the analysis means, a coding structure based on the estimation result of the estimation means, and a Temporal ID of 0 SOP structure consisting only of pictures,
本発明による映像復号装置は、Temporal ID が0のピクチャだけで構成されるSOP 構造、Temporal ID が0のピクチャおよび1のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、および2のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、2のピクチャ、および3のピクチャで構成されるSOP 構造のいずれかで符号化された映像を復号する復号手段を備えることを特徴とする。
The video decoding apparatus according to the present invention includes an SOP structure composed of only pictures with a temporal ID of 0, an SOP structure composed of pictures with a temporal ID of 0 and 1 pictures, a picture with a temporal ID of 0, a picture of 1, Decoding means for decoding video encoded with any one of the SOP structure composed of the picture SOP structure composed of the
本発明による映像符号化方法は、映像を所定個のスライスに分割し、スライス境界付近の動きベクトル制限の下で符号化処理を行う映像符号化方法であって、符号化統計情報を解析し、解析結果に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定し、推定結果に基づいて符号化構造を、Temporal ID が0のピクチャだけで構成されるSOP 構造、Temporal ID が0のピクチャおよび1のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、および2のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、2のピクチャおよび3のピクチャで構成されるSOP 構造のいずれかに適応的に決定することを特徴とする。
A video encoding method according to the present invention is a video encoding method that divides a video into a predetermined number of slices and performs an encoding process under a motion vector restriction near a slice boundary, and analyzes encoding statistical information, Based on the analysis result, it is estimated whether or not an optimal motion vector can be selected near the slice boundary, the coding structure is based on the estimation result, and the SOP structure consisting of only pictures with a Temporal ID of 0, Temporal ID SOP structure consisting of picture with 0 and 1 picture, SOP structure consisting of picture with 1 Temporal ID, 1 picture, and 2 pictures, picture with
本発明による映像復号方法は、Temporal ID が0のピクチャだけで構成されるSOP 構造、Temporal ID が0のピクチャおよび1のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、および2のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、2のピクチャ、および3のピクチャで構成されるSOP 構造のいずれかで符号化された映像を復号することを特徴とする。
The video decoding method according to the present invention includes an SOP structure composed of only pictures with a temporal ID of 0, an SOP structure composed of pictures with a temporal ID of 0 and 1 pictures, a picture with a temporal ID of 0, a picture of 1, And SOP structure composed of two pictures, picture with
本発明による映像符号化プログラムは、コンピュータに、符号化統計情報を解析する処理と、解析結果に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定する処理と、推定結果に基づいて符号化構造を、Temporal ID が0のピクチャだけで構成されるSOP 構造、Temporal ID が0のピクチャおよび1のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、および2のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、2のピクチャおよび3のピクチャで構成されるSOP 構造のいずれかに適応的に決定する処理とを実行させることを特徴とする。 A video encoding program according to the present invention includes a computer that analyzes encoding statistical information, a process that estimates whether an optimal motion vector can be selected in the vicinity of a slice boundary based on the analysis result, and an estimation result The coding structure is based on the SOP structure consisting of only pictures with a temporal ID of 0, the SOP structure consisting of pictures with a temporal ID of 0 and 1 pictures, the picture with a temporal ID of 0, the picture of 1 And an SOP structure composed of two pictures, and a process of adaptively determining one of a picture having a Temporal ID of 0, one picture, two pictures, and three pictures. It is characterized by.
本発明による映像復号プログラムは、コンピュータに、Temporal ID が0のピクチャだけで構成されるSOP 構造、Temporal ID が0のピクチャおよび1のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、および2のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、2のピクチャ、および3のピクチャで構成されるSOP 構造のいずれかで符号化された映像を復号する処理を実行させることを特徴とする。 The video decoding program according to the present invention includes a SOP structure composed only of a picture having a Temporal ID of 0, an SOP structure composed of a picture having a Temporal ID of 0 and a picture of 1, a picture having a Temporal ID of 0, Decode a video encoded with one of the SOP structure consisting of the picture of 2 and the picture of 2 and the SOP structure consisting of the picture whose temporal ID is 0, 1 picture, 2 pictures, and 3 pictures It is characterized in that the processing is performed.
本発明によれば、画質劣化を抑制することができる。 According to the present invention, image quality deterioration can be suppressed.
以下、本発明の実施形態を図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、映像符号化装置の実施形態の構成例を示すブロック図である。図1に示す映像符号化装置100は、符号化部101、解析部111、判定部112及びM値決定部113を含む。なお、映像符号化装置100は、HEVC規格に基づいて符号化処理を実行するが、他の規格、例えば、H.264/AVC規格に基づいて符号化処理を実行してもよい。また、以下、8Kの映像が入力される場合を例にする。
FIG. 1 is a block diagram illustrating a configuration example of an embodiment of a video encoding device. A
符号化部101は、入力画像を複数の画面に分割する画面分割器102、周波数変換/量子化器103、逆量子化/逆周波数変換器104、バッファ105、予測器106、及びエントロピー符号化器107を含む。
The
画面分割器102は、入力映像の画面を4つの画面に分割する(図10参照)。周波数変換/量子化器103は、入力映像信号から予測信号を減じた予測誤差画像を周波数変換する。周波数変換/量子化器103は、さらに、周波数変換された予測誤差画像(周波数変換係数)を量子化する。以下、量子化された周波数変換係数を変換量子化値という。
The
エントロピー符号化器107は、予測パラメータと変換量子化値をエントロピー符号化して、ビットストリームを出力する。予測パラメータは、予測モード(イントラ予測、インター予測)、イントラ予測ブロックサイズ、イントラ予測方向、インター予測ブロックサイズ、及び動きベクトルなど、CTU(Coding Tree Unit)及びブロックの予測に関連した情報である。
The
予測器106は、入力映像信号に対する予測信号を生成する。予測信号は、イントラ予測またはフレーム間予測に基づいて生成される。
The
逆量子化/逆周波数変換器104は、変換量子化値を逆量子化する。さらに、逆量子化/逆周波数変換器104は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ105に供給される。バッファ105は、再構築画像を格納する。
The inverse quantization /
解析部111は、符号化統計情報を解析する。判定部112は、上述した動きベクトル制限で、スライス境界付近で最適な動きベクトルを選択できるか否かを、解析部111の解析結果に基づいて判定する。なお、符号化統計情報は、過去のフレーム(例えば、現在の符号化対象のフレームの直前のフレーム)の符号化結果の情報であるが、符号化統計情報の具体例については後述する。
The
なお、スライス境界付近は、最適な動きベクトルを選択できなかった領域になるが、以下の制御を実現する際に、便宜的に、例えば、スライス境界から±128画素の範囲や±256画素の範囲を、スライス境界付近としてもよい。また、以下の制御を実現する際に、「スライス境界付近」の範囲を、映像の状況(動きが大きい/小さいなど)に応じて、適宜変更可能であるようにしてもよい。例えば、値が大きい動きベクトルの発生比率が高い場合に、「スライス境界付近」の範囲を広く設定するようにしてもよい。 Note that the vicinity of the slice boundary is an area in which an optimal motion vector could not be selected. However, for example, when realizing the following control, for example, a range of ± 128 pixels or a range of ± 256 pixels from the slice boundary. May be near the slice boundary. Further, when realizing the following control, the range of “near the slice boundary” may be appropriately changed according to the state of the video (such as large / small motion). For example, when the generation ratio of a motion vector having a large value is high, the range “near the slice boundary” may be set wide.
M値決定部113は、判定部112の判定結果に基づいて、M値を適応的に決定する。なお、上述したように、M値を決定することは、SOP構造におけるLx(x=0,1,2,3)構造を決定することと等価である。また、符号化統計情報については、後述する。
The M
図2は、映像復号装置の実施形態の構成例を示すブロック図である。図2に示す映像復号装置200は、エントロピー復号器202、逆量子化/逆周波数変換器203、予測器204、及びバッファ205を含む。
FIG. 2 is a block diagram illustrating a configuration example of an embodiment of a video decoding device. The
エントロピー復号器202は、映像のビットストリームをエントロピー復号する。エントロピー復号器202は、エントロピー復号した変換量子化値を逆量子化/逆周波数変換器203に供給する。
The
逆量子化/逆周波数変換器203は、量子化ステップ幅で、輝度及び色差の変換量子化値を逆量子化して周波数変換係数を得る。さらに、逆量子化/逆周波数変換器203は、逆量子化した周波数変換係数を逆周波数変換する。
The inverse quantization /
逆周波数変換後、予測器204は、バッファ205に格納された再構築ピクチャの画像を用いて予測信号を生成する(前記予測は、動き補償予測、または、MC参照とも呼ぶ)。逆量子化/逆周波数変換器203で逆周波数変換された再構築予測誤差画像は、予測器204から供給される予測信号が加えられて、再構築ピクチャとしてバッファ205に供給される。そして、バッファ205に格納された再構築ピクチャが復号映像として出力される。
After the inverse frequency conversion, the
次に、映像符号化装置100における解析部111、判定部112及びM値決定部113の動作を説明する。
Next, operations of the
実施形態1.
図3は、図1に示された映像符号化装置100の第1の実施形態の動作を示すフローチャートである。第1の実施形態では、8Kの映像は4分割され(図10参照)、スライス境界付近において動きベクトル制限があるとする。また、動きベクトル制限として、±128を例にする。8Kの映像は4分割され、かつ、動きベクトル制限があることは、他の実施形態でも同様である。なお、M値の初期値は8(M=8)である。
FIG. 3 is a flowchart showing the operation of the first embodiment of the
解析部111は、バッファ105に格納されている過去の符号化結果(例えば、直前フレームの符号化結果)を解析する。具体的には、解析部111は、スライス境界以外のブロックにおける動きベクトルの平均値又は中央値(以下、平均値又は中央値をMavgとする。)を算出する(ステップS101)。なお、第1の実施形態では、符号化統計情報は、動きベクトルの値であり、解析結果は、動きベクトルの平均値又は中央値である。The
判定部112は、Mavgが、動きベクトル制限としての±128を基準として、どの程度の大きさになっているかを判定する(ステップS102)。The
そして、M値決定部113は、Mavgがどの程度の大きさになっているかの判定結果に基づいて、M値を決定する(ステップS103)。Then, the M
M値決定部113は、判定結果に基づいて、例えば、以下のようにM値を決定する。
Based on the determination result, the M
(1)M=8である場合:
|Mavg|≦128 → M=8を維持
128<|Mavg|≦256 → M=4(M=8の1/2)に決定
256<|Mavg|≦512 → M=2(M=8の1/4)に決定
512<|Mavg| → M=1(M=8の1/8)に決定(1) When M = 8:
| M avg | ≦ 128 → M = 8 is maintained 128 <| M avg | ≦ 256 → M = 4 (1/2 of M = 8) 256 <| M avg | ≦ 512 → M = 2 (M = 8 <1/4) 512 <| M avg | → M = 1 (1/8 of M = 8)
(2)M=4である場合:
|Mavg|≦64 → M=8に決定
64<|Mavg|≦128 → M=4を維持
128<|Mavg|≦256 → M=2に決定
256<|Mavg| → M=1に決定(2) When M = 4:
| M avg | ≦ 64 → M = 8 determined 64 <| M avg | ≦ 128 → M = 4 maintained 128 <| M avg | ≦ 256 → M = 2 determined 256 <| M avg | → M = 1 Decided
M値決定部113は、M値がその他の値であるときにも、上記の(1),(2)の場合と同様に、M値を8にしたときに、動きベクトル制限の下で、スライス境界付近での動きベクトルの値が±128以内に収まると推定できたときには、M値を8に戻す。換言すれば、M値決定部113は、動きベクトル制限の下で、スライス境界付近で最適な動きベクトルを選択できると推定できた場合には、M値を8に戻す。その他の場合にも、Mavgに応じて、スライス境界付近での動きベクトルの値が±128以内に収まるようにM値を決定する。Even when the M value is any other value, the M
なお、上記の場合分け(閾値の設定)は一例であって、閾値を変えたり、より細かな場合分けをしてもよい。 Note that the above case division (threshold value setting) is an example, and the threshold value may be changed or a finer case division may be performed.
第1の実施形態の映像符号化装置の制御は、以下のような考え方に基づく。 The control of the video encoding device of the first embodiment is based on the following concept.
映像が、画面全体が速く動くシーンの映像であるときには、発生した全ての動きベクトルに対して、スライス境界付近でもスライス境界付近以外でも、値が大きい動きベクトルの数の比率が高い。しかし、動きベクトル制限があるので、スライス境界付近では、最適な動きベクトルが選択されていない可能性がある。そこで、判定部112は、スライス境界以外の領域において発生した符号化統計情報としての動きベクトル(動きベクトル制限はないので、正規の、換言すれば最適な動きベクトルである。)にもとづいて、符号化対象の画面が速く動くシーンの映像の画面であるか否かを推定する。M値決定部113は、速く動くシーンの映像であると判定部112が推定した場合には、スライス境界付近において最適な動きベクトルを選択可能になるようにM値を変える。
When the video is a video of a scene in which the entire screen moves fast, the ratio of the number of motion vectors having a large value is high with respect to all generated motion vectors, both near the slice boundary and near the slice boundary. However, since there is a motion vector restriction, there is a possibility that an optimal motion vector is not selected near the slice boundary. Therefore, the
なお、速く動くシーンの映像である場合には、スライス境界付近において最適な動きベクトルが選択されていない可能性があるので、速く動くシーンの映像であると推定されたことは、動きベクトル制限の下で、スライス境界付近において最適な動きベクトルが選択されていないと推定されたことと等価である。 Note that if it is a fast-moving scene video, the optimal motion vector may not be selected in the vicinity of the slice boundary. This is equivalent to estimating that the optimal motion vector is not selected near the slice boundary.
また、上述したように、M値とSOP構造とは相関している。よって、M値決定部113がM値を決定することは、SOP構造(すなわち、Lx(x=0,1,2,3)構造)を決定することと等価である。
Further, as described above, the M value and the SOP structure are correlated. Therefore, the M
実施形態2.
図4は、図1に示された映像符号化装置100の第2の実施形態の動作を示すフローチャートである。
FIG. 4 is a flowchart showing the operation of the second embodiment of the
解析部111は、バッファ105に格納されている過去の符号化結果(例えば、直前フレームの符号化結果)を解析する。具体的には、解析部111は、スライス境界以外の範囲における全てのブロック(例えば、PU:Prediction Unit )に対して、画面内予測(イントラ予測)が用いられたブロックの割合P1を算出し(ステップS201)、スライス境界付近の全てのブロックに対して、画面内予測が用いられたブロックの割合P2を算出する(ステップS202)。なお、第2の実施形態では、符号化統計情報は、スライス境界付近のブロックの予測モード(具体的には、画面内予測のブロックの数)であり、解析結果は、割合P1及び割合P2である。The
判定部112は、割合P1と割合P2とを比較し、それらの乖離の程度を判定する。具体的には、割合P1と比較して、割合P2がかなり大きいか否かを判定する。判定部112は、例えば、割合P2と割合P1との差が所定値を越えているか否か判定する(ステップS203)。The
M値決定部113は、割合P2と割合P1との差が所定値を越えている場合には、M値を小さくする(ステップS204)。なお、複数の所定値を設け、例えば、差が第1の所定値を越えているときにはM値を複数段階小さくし、差が第2の所定値(<第1の所定値)を越えているときにはM値を1段階小さくするようにしてもよい。M
また、M値決定部113は、割合P2と割合P1との差が所定値以下である場合には、M値を維持するか、又は、M値を大きくする(ステップS205)。例えば、M値決定部113は、差が第3の所定値(<第2の所定値)以下であるときにはM値を大きくし、差が第3の所定値を越えているときにはM値を維持する。Further, M
第2の実施形態の映像符号化装置の制御は、以下のような考え方に基づく。 The control of the video encoding device of the second embodiment is based on the following concept.
符号化部101は、画面内の各ブロックを符号化する際に、予測モードとして画面内予測と画面間予測(インター予測)とのいずれかを使用できる。映像が、画面全体が速く動くシーンの映像であるときには、スライス境界付近においても、画面間予測が使用されるときに値が大きい動きベクトルの数の発生率が高いと考えられる(動きベクトル制限がない場合)。動きベクトル制限があるので、スライス境界付近では、最適な動きベクトル(大きな動きベクトル)を発生することができず、その結果、スライス境界付近では、画面内予測が使用されることが多いと考えられる。スライス境界付近以外では、動きベクトル制限はないので、スライス境界付近に比べて、画面内予測が使用されることは少ないと考えられる。
The
よって、割合P1と割合P2とが大きく乖離している場合には、速く動くシーンの映像の信号が符号化部101に入力されていると推定される。Therefore, when the ratio P 1 and the ratio P 2 are greatly different from each other, it is estimated that a video signal of a fast moving scene is input to the
なお、速く動くシーンの映像である場合には、スライス境界付近において最適な動きベクトルが選択されていない可能性があるので、速く動くシーンの映像であると推定されたことは、動きベクトル制限の下で、割合P1と割合P2とが大きく乖離していることと等価である。Note that if it is a fast-moving scene video, the optimal motion vector may not be selected in the vicinity of the slice boundary. This is equivalent to the fact that the ratio P 1 and the ratio P 2 are greatly deviated.
大きく乖離しているか否か判定するための所定値として、一例として、経験的又は実験的に、そのような値を閾値として使用すれば、スライス境界付近において最適な動きベクトルが選択されていない可能性があることを推定可能な値が選択される。 As an example, the empirical or experimental use of such a value as a threshold value as a predetermined value for determining whether or not there is a large divergence may result in an optimal motion vector not being selected near the slice boundary. A value that can be estimated to be sexual is selected.
実施形態3.
図5は、図1に示された映像符号化装置100の第3の実施形態の動作を示すフローチャートである。
FIG. 5 is a flowchart showing the operation of the third embodiment of the
解析部111は、バッファ105に格納されている過去の符号化結果(例えば、直前フレームの符号化結果)を解析する。具体的には、解析部111は、以前のフレーム(例えば、現在の符号化対象のフレームの2フレーム前)のスライス境界付近のブロックにおける発生符号量C1を算出する(ステップS301)。また、解析部111は、直前のフレームのスライス境界付近のブロックにおける発生符号量C2を算出する(ステップS302)。なお、第3の実施形態では、符号化統計情報は、スライス境界付近のブロックの発生符号量であり、解析結果は、発生符号量C1及び発生符号量C2である。The
判定部112は、発生符号量C1と発生符号量C2とを比較し、それらの乖離の程度を判定する。具体的には、発生符号量C1と比較して、発生符号量C2がかなり大きいか否かを判定する。判定部112は、例えば、発生符号量C2と発生符号量C1との差が所定量を越えているか否か判定する(ステップS303)。The
M値決定部113は、発生符号量C2と発生符号量C1との差が所定量を越えている場合には、M値を小さくする(ステップS304)。なお、複数の所定量を設け、例えば、差が第1の所定量を越えているときにはM値を複数段階小さくし、差が第2の所定量(<第1の所定量)を越えているときにはM値を1段階小さくするようにしてもよい。M
また、M値決定部113は、発生符号量C2と発生符号量C1との差が所定量以下である場合には、M値を維持するか、又は、M値を大きくする(ステップS305)。例えば、M値決定部113は、差が第3の所定量(<第2の所定量)以下であるときにはM値を大きくし、差が第3の所定量を越えているときにはM値を維持する。Further, M
第3の実施形態の映像符号化装置の制御は、以下のような考え方に基づく。 The control of the video encoding device of the third embodiment is based on the following concept.
上述したように、画面全体が速く動くシーンの映像であるときには、スライス境界付近においても、画面間予測が使用されるときに値が大きい動きベクトルの数の比率が高いと考えられる(動きベクトル制限がない場合)。しかし、動きベクトル制限があるので、スライス境界付近では、最適な動きベクトル(大きな動きベクトル)を発生することができず、その結果、スライス境界付近では、画面内予測が使用されることが多いと考えられる。一般に、画面間予測が使用されるときに比べて、画面内予測が使用されるときには、発生符号量は多くなる。 As described above, when the entire screen is a fast-moving scene video, the ratio of the number of motion vectors having a large value when the inter-screen prediction is used is considered to be high even near the slice boundary (motion vector restriction). If not). However, since there is a motion vector limitation, an optimal motion vector (large motion vector) cannot be generated near the slice boundary, and as a result, in-screen prediction is often used near the slice boundary. Conceivable. In general, the amount of generated code is larger when intra prediction is used than when inter prediction is used.
よって、発生符号量C1と比較して、発生符号量C2がかなり多い場合には、速く動くシーンの映像の信号が符号化部101に入力される状況に変化したと推定される。Therefore, when the generated code amount C 2 is considerably larger than the generated code amount C 1 , it is presumed that the situation has changed so that the video signal of the fast moving scene is input to the
なお、速く動くシーンの映像になった場合には、スライス境界付近において最適な動きベクトルが選択されない可能性があるので、速く動くシーンの映像になったと推定されたことは、動きベクトル制限の下で、発生符号量C2が大きく増えたことと等価である。Note that when it comes to a fast-moving scene video, the optimal motion vector may not be selected near the slice boundary. in is equivalent to the generated code amount C 2 increases greatly.
大きく増えたか否か判定するための所定量として、一例として、経験的又は実験的に、そのような量を閾値として使用すれば、スライス境界付近において最適な動きベクトルが選択されない可能性があることを推定可能な値が選択される。 As an example of a predetermined amount for determining whether or not it has greatly increased, empirically or experimentally, if such an amount is used as a threshold value, an optimal motion vector may not be selected in the vicinity of the slice boundary. A value that can be estimated is selected.
以上に説明したように、上記の各実施形態では、過去の符号化結果(符号化統計情報)に基づいてM値が適応的に切り替えられる。符号化統計情報に基づいて動きベクトル制限の下で、スライス境界付近で最適な動きベクトル(換言すれば、動きベクトル制限を外れる動きベクトル)を選択できるか否かが推定される。選択できないと推定された場合には、M値はより小さな値に変更される。選択できると判定された場合、そのときのM値でも動きベクトル制限の下でスライス境界付近で最適な動きベクトルを選択できると考えられるので、M値は、維持されるか、又は、より大きな値に変更される。 As described above, in each of the above embodiments, the M value is adaptively switched based on the past encoding result (encoding statistical information). Based on the encoded statistical information, it is estimated whether or not an optimal motion vector (in other words, a motion vector outside the motion vector limit) can be selected near the slice boundary under the motion vector restriction. If it is estimated that it cannot be selected, the M value is changed to a smaller value. If it is determined that it can be selected, it is considered that an optimal motion vector can be selected in the vicinity of the slice boundary under the motion vector restriction even with the current M value, so that the M value is maintained or a larger value. Changed to
その結果、動きベクトル制限によってスライス境界付近で最適な動きベクトルを選択できない状態になることをできるだけ回避でき、局所的な画質劣化が生ずる可能性を低減できる。すなわち、動きの速さに応じてM値が適応的に切り替えられるので、好適な画質を得ることができる。 As a result, it can be avoided as much as possible that the optimal motion vector cannot be selected in the vicinity of the slice boundary due to the motion vector restriction, and the possibility of local image quality degradation can be reduced. That is, since the M value is adaptively switched according to the speed of movement, a suitable image quality can be obtained.
また、符号化結果(例えば、直前のフレームの符号化結果)に基づいてM値を切り替えることができるので、事前解析(現在のフレームを符号化する際に前処理として実行される解析処理)を行う必要がなく、事前解析を行う場合と比較して、符号化のための処理時間が延びてしまうことが防止される。 In addition, since the M value can be switched based on the encoding result (for example, the encoding result of the immediately preceding frame), pre-analysis (analysis processing executed as pre-processing when encoding the current frame) is performed. It is not necessary to perform this, and it is possible to prevent the processing time for encoding from being extended as compared with the case of performing the pre-analysis.
なお、映像符号化装置100において、第1〜第3の実施形態のうちの任意の2つ又は全ての形態が組み込まれるように、解析部111、判定部112及びM値決定部113が構成されていてもよい。
In the
また、図2に示された映像復号装置は、第1〜第3の実施形態において例示されたような、動きベクトル制限を満たす範囲で設定されたM値を用いて符号化されたビットストリームを復号する。 In addition, the video decoding apparatus shown in FIG. 2 is a bit stream encoded using an M value set in a range that satisfies the motion vector restriction as exemplified in the first to third embodiments. Decrypt.
図6は、映像システムの一例を示すブロック図である。図6に示す映像システムは、上記の各実施形態の映像符号化装置100と図2に示された映像復号装置200とが、無線伝送路又は有線伝送路300で接続されるシステムである。映像符号化装置100は、上記の第1〜第3の実施形態のいずれかの映像符号化装置100であるが、映像符号化装置100において、第1〜第3の実施形態のうちの任意の2つ又は全ての処理を実行するように、解析部111、判定部112及びM値決定部113が構成されていてもよい。
FIG. 6 is a block diagram illustrating an example of a video system. The video system shown in FIG. 6 is a system in which the
また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。 Moreover, although each said embodiment can also be comprised with a hardware, it is also possible to implement | achieve by a computer program.
図7に示す情報処理システムは、プロセッサ1001、プログラムメモリ1002、映像データを格納するための記憶媒体1003およびビットストリームを格納するための記憶媒体1004を備える。記憶媒体1003と記憶媒体1004とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
The information processing system shown in FIG. 7 includes a
図7に示された情報処理システムにおいて、プログラムメモリ1002には、図1,図2のそれぞれに示された各ブロック(バッファのブロックを除く)の機能を実現するためのプログラム(映像符号化プログラム又は映像復号プログラム)が格納される。そして、プロセッサ1001は、プログラムメモリ1002に格納されているプログラムに従って処理を実行することによって、図1,図2のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。
In the information processing system shown in FIG. 7, the
図8は、映像符号化装置の主要部を示すブロック図である。図8に示すように、映像符号化装置10は、符号化統計情報を解析する解析部11(実施形態における解析部111に相当)と、解析部11の解析結果に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定する推定部12(実施形態では、判定部112で実現される。)と、推定部12の推定結果に基づいて符号化構造を適応的に決定する符号化構造決定部13(実施形態では、M値決定部113で実現される。)とを備える。
FIG. 8 is a block diagram illustrating a main part of the video encoding device. As illustrated in FIG. 8, the
図9は、映像復号装置の主要部を示すブロック図である。図9に示すように、映像復号装置20は、動きベクトル制限の下で、スライス境界付近で最適な動きベクトルを選択できるように設定された符号化構造に基づいて符号化されたビットストリームを復号する復号部21(実施形態では、予測器204等で実現される。)を備える。
FIG. 9 is a block diagram showing a main part of the video decoding apparatus. As shown in FIG. 9, the
なお、復号部21は、設定された符号化構造として、Temporal IDが0のピクチャだけで構成されるSOP 構造、Temporal ID が0のピクチャおよび1のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、および、2のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、2のピクチャ、および3のピクチャで構成されるSOP 構造のいずれかのSOP 構造に基づいて符号化されたビットストリームを復号することができる。
Note that the
さらに、復号部21は、図10に示すような4個のスライスに分割されて、さらに、図11に示すような、あるスライスのPUが別のスライスを動き補償(MC)参照する場合に、スライス境界を跨ぐ同PUのMC参照はスライス境界から128ライン以内の画素のみを参照するように制限されて、符号化されたビットストリームを復号できる。
Furthermore, the
なお、実施形態では、120Pの動画像を扱う場合、映像符号化および復号側で図12に示すような、以下のSOP 構造を用いることができる。 In the embodiment, when a 120P moving image is handled, the following SOP structure as shown in FIG. 12 can be used on the video encoding and decoding side.
・L=0の構造:Temporal ID が0のピクチャだけで構成されるSOP 構造(つまり、同SOP に含まれるピクチャの段数は1つである。最大Temporal ID を示すLが0であるともいえる。)
・L=1の構造:Temporal ID が0のピクチャおよび1(またはM)のピクチャで構成されるSOP 構造(つまり、同SOP に含まれるピクチャの段数は2つである。最大Temporal ID を示すLが1(またはM)であるともいえる。)
・L=2の構造:Temporal ID が0のピクチャ、1のピクチャ、および、2(またはM)のピクチャで構成されるSOP 構造(つまり、同SOP に含まれるピクチャの段数は3つである。最大Temporal ID を示すLが2(またはM)であるともいえる。)
・L=3の構造:Temporal ID が0のピクチャ、1のピクチャ、2のピクチャ、および3(またはM)のピクチャで構成されるSOP 構造(つまり、同SOP に含まれるピクチャの段数は4つである。最大Temporal ID を示すLが3(またはM)であるともいえる。)
・L=4の構造:Temporal ID が0のピクチャ、1のピクチャ、2のピクチャ、3のピクチャ、および、4(またはM)のピクチャで構成されるSOP 構造(つまり、同SOP に含まれるピクチャの段数は4つである。最大Temporal ID を示すLが4(またはM)であるともいえる。)Structure with L = 0: SOP structure composed of only pictures with Temporal ID 0 (that is, the number of picture stages included in the SOP is 1. It can be said that L indicating the maximum Temporal ID is 0. )
Structure with L = 1: SOP structure composed of a picture with a temporal ID of 0 and a picture with 1 (or M) (that is, the number of stages of pictures included in the SOP is two. L indicating the maximum temporal ID) Can be said to be 1 (or M).
L = 2 structure: an SOP structure composed of a picture with a temporal ID of 0, a picture of 1 and a picture of 2 (or M) (that is, the number of stages of pictures included in the SOP is three). (It can also be said that L indicating the maximum Temporal ID is 2 (or M).)
Structure with L = 3: SOP structure composed of picture with
Structure with L = 4: SOP structure composed of a picture with a temporal ID of 0, a picture of 1, a picture of 2, a picture of 3, a picture of 4 (or M) (that is, a picture included in the SOP) (The number of stages is 4. It can also be said that L indicating the maximum Temporal ID is 4 (or M).)
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 While the present invention has been described with reference to the embodiments and examples, the present invention is not limited to the above embodiments and examples. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
この出願は、2015年9月25日に出願された日本特許出願2015−188043を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims the priority on the basis of the JP Patent application 2015-188043 for which it applied on September 25, 2015, and takes in those the indications of all here.
10 映像符号化装置
11 解析部
12 推定部
13 符号化構造決定部
20 映像復号装置
21 復号部
100 映像符号化装置
101 符号化部
102 画面分割器
103 周波数変換/量子化器
104 逆量子化/逆周波数変換器
105 バッファ
106 予測器
107 エントロピー符号化器
111 解析部
112 判定部
113 M値決定部
200 映像復号装置
202 エントロピー復号器
203 逆量子化/逆周波数変換器
204 予測器
205 バッファ
1001 プロセッサ
1002 プログラムメモリ
1003,1004 記憶媒体DESCRIPTION OF
映像復号プログラムが、コンピュータに、Temporal ID が0のピクチャだけで構成されるSOP 構造、Temporal ID が0のピクチャおよび1のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、および2のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、2のピクチャ、および3のピクチャで構成されるSOP 構造のいずれかで符号化された映像を復号する処理を実行させるように構成されていてもよい。
Film image decoding program, a computer, SOP structure consisting only of pictures Temporal ID is 0, SOP structure composed of picture and one picture of Temporal ID is 0, Temporal ID is 0
Claims (20)
符号化統計情報を解析する解析手段と、
前記解析手段の解析結果に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定する推定手段と、
前記推定手段の推定結果に基づいて符号化構造を、Temporal ID が0のピクチャだけで構成されるSOP 構造、Temporal ID が0のピクチャおよび1のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、および2のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、2のピクチャおよび3のピクチャで構成されるSOP 構造のいずれかに適応的に決定する符号化構造決定手段と
を備える映像符号化装置。A video encoding device that divides a video into a predetermined number of slices and performs encoding processing under motion vector restriction near a slice boundary,
An analysis means for analyzing the encoded statistical information;
Estimating means for estimating whether an optimal motion vector can be selected near the slice boundary based on the analysis result of the analyzing means;
Based on the estimation result of the estimation means, the coding structure is composed of an SOP structure composed only of pictures with a temporal ID of 0, an SOP structure composed of pictures with a temporal ID of 0 and 1 pictures, and a temporal ID of 0. SOP structure consisting of picture, picture of 1 and 2 pictures, adaptive decision to one of picture whose temporal ID is 0, SOP structure consisting of 1 picture, 1 picture, 2 pictures and 3 pictures A video encoding device comprising: an encoding structure determining unit.
請求項1記載の映像符号化装置。The video coding apparatus according to claim 1, wherein the coding structure determining unit determines a reference picture distance.
請求項1または請求項2に記載の映像符号化装置。The video encoding apparatus according to claim 1, wherein the analysis unit analyzes a motion vector as the encoded statistical information.
請求項1から請求項3のうちのいずれか1項に記載の映像符号化装置。The video encoding device according to any one of claims 1 to 3, wherein the analysis unit analyzes a prediction mode of a block near a slice boundary as the encoded statistical information.
請求項1から請求項4のうちのいずれか1項に記載の映像符号化装置。The video encoding apparatus according to any one of claims 1 to 4, wherein the analysis unit analyzes a generated code amount of a block near a slice boundary as the encoded statistical information.
を備える映像復号装置。SOP structure consisting of only pictures with Temporal ID 0, SOP structure consisting of pictures with Temporal ID 0 and 1 pictures, pictures with Temporal ID 0, 1 pictures, and 2 pictures A video decoding apparatus comprising: decoding means for decoding a video encoded with any one of an SOP structure, a picture having a temporal ID of 0, a picture of 1, a picture of 2, a picture of 2, and a picture of 3;
請求項6記載の映像復号装置。The video to be decoded is divided into a predetermined number of slices, encoded under the motion vector limit near the slice boundary, and set so that the optimal motion vector can be selected near the slice boundary under the motion vector limit The video decoding apparatus according to claim 6, wherein the video decoding apparatus is encoded with a structure.
符号化統計情報を解析し、
解析結果に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定し、
推定結果に基づいて符号化構造を、Temporal ID が0のピクチャだけで構成されるSOP 構造、Temporal ID が0のピクチャおよび1のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、および2のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、2のピクチャおよび3のピクチャで構成されるSOP 構造のいずれかに適応的に決定する
映像符号化方法。A video encoding method that divides a video into a predetermined number of slices and performs an encoding process under a motion vector restriction near a slice boundary,
Analyze encoding statistics,
Based on the analysis results, estimate whether the optimal motion vector can be selected near the slice boundary,
Based on the estimation result, the coding structure is composed of an SOP structure composed only of pictures with a temporal ID of 0, an SOP structure composed of pictures with a temporal ID of 0 and 1 pictures, a picture with a temporal ID of 0, and a 1 Picture coding method for adaptively determining one of a picture and a SOP structure composed of two pictures, a picture whose temporal ID is 0, a picture of one picture, a picture of two, and a picture of three .
請求項8記載の映像符号化方法。The video encoding method according to claim 8, wherein a reference picture distance is determined as the encoding structure.
請求項8または請求項9に記載の映像符号化方法。The video encoding method according to claim 8 or 9, wherein a motion vector is analyzed as the encoded statistical information.
請求項8から請求項10のうちのいずれか1項に記載の映像符号化方法。The video encoding method according to any one of claims 8 to 10, wherein a prediction mode of a block near a slice boundary is analyzed as the encoding statistical information.
請求項8から請求項11のうちのいずれか1項に記載の映像符号化方法。The video coding method according to any one of claims 8 to 11, wherein a generated code amount of a block near a slice boundary is analyzed as the coding statistical information.
映像復号方法。SOP structure consisting of only pictures with Temporal ID 0, SOP structure consisting of pictures with Temporal ID 0 and 1 pictures, pictures with Temporal ID 0, 1 pictures, and 2 pictures A video decoding method for decoding video encoded with an SOP structure, a picture having a temporal ID of 0, a picture of 1, a picture of 2, a picture of 2, and a picture of SOP.
請求項13記載の映像復号方法。It is divided into a predetermined number of slices, encoded under the motion vector limit near the slice boundary, and encoded with the SOP structure set so that the optimal motion vector can be selected near the slice boundary under the motion vector limit. The video decoding method according to claim 13, wherein the video is decoded.
コンピュータに、
符号化統計情報を解析する処理と、
解析結果に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定する処理と、
推定結果に基づいて符号化構造を、Temporal ID が0のピクチャだけで構成されるSOP 構造、Temporal ID が0のピクチャおよび1のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、および2のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、2のピクチャおよび3のピクチャで構成されるSOP 構造のいずれかに適応的に決定する処理と
を実行させるための映像符号化プログラム。A program for executing a video encoding method that divides a video into predetermined slices and performs an encoding process under a motion vector restriction near a slice boundary,
On the computer,
A process of analyzing the encoding statistics,
Based on the analysis result, a process for estimating whether an optimal motion vector can be selected near the slice boundary;
Based on the estimation result, the coding structure is composed of an SOP structure composed only of pictures with a temporal ID of 0, an SOP structure composed of pictures with a temporal ID of 0 and 1 pictures, a picture with a temporal ID of 0, and a 1 SOP structure consisting of pictures and 2 pictures, processing to adaptively determine either SOP structure consisting of pictures with temporal ID 0, 1 picture, 2 pictures and 3 pictures Video encoding program for
請求項15または請求項16に記載の映像符号化プログラム。The video encoding program according to claim 15, wherein the computer analyzes a prediction mode of a block near a slice boundary as the encoding statistical information.
請求項15から請求項17のうちのいずれか1項に記載の映像符号化プログラム。The video encoding program according to any one of claims 15 to 17, which causes a computer to analyze a generated code amount of a block near a slice boundary as the encoded statistical information.
Temporal ID が0のピクチャだけで構成されるSOP 構造、Temporal ID が0のピクチャおよび1のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、および2のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、2のピクチャ、および3のピクチャで構成されるSOP 構造のいずれかで符号化された映像を復号する処理
を実行させるための映像復号プログラム。On the computer,
SOP structure consisting of only pictures with Temporal ID 0, SOP structure consisting of pictures with Temporal ID 0 and 1 pictures, pictures with Temporal ID 0, 1 pictures, and 2 pictures A video decoding program for executing processing for decoding a video encoded with any of the SOP structure, a picture with a temporal ID of 0, 1 picture, 2 pictures, and 3 pictures.
所定個のスライスに分割されてスライス境界付近の動きベクトル制限の下で符号化され、動きベクトル制限の下でスライス境界付近で最適な動きベクトルを選択できるように設定されたSOP 構造で符号化されている映像を復号させる
請求項19記載の映像復号プログラム。On the computer,
It is divided into a predetermined number of slices, encoded under the motion vector limit near the slice boundary, and encoded with the SOP structure set so that the optimal motion vector can be selected near the slice boundary under the motion vector limit. The video decoding program according to claim 19, wherein the video is decoded.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015188043 | 2015-09-25 | ||
JP2015188043 | 2015-09-25 | ||
PCT/JP2016/003322 WO2017051493A1 (en) | 2015-09-25 | 2016-07-14 | Video encoding device and video decoding device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017051493A1 true JPWO2017051493A1 (en) | 2018-03-15 |
JP6489227B2 JP6489227B2 (en) | 2019-03-27 |
Family
ID=58386356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017541222A Active JP6489227B2 (en) | 2015-09-25 | 2016-07-14 | Video encoding apparatus and video encoding method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6489227B2 (en) |
WO (1) | WO2017051493A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011030217A (en) * | 2009-07-03 | 2011-02-10 | Panasonic Corp | Image coding apparatus and image decoding device |
JP2014096690A (en) * | 2012-11-09 | 2014-05-22 | Fujitsu Semiconductor Ltd | Moving image processing device |
WO2015025747A1 (en) * | 2013-08-22 | 2015-02-26 | ソニー株式会社 | Encoding device, encoding method, transmission device, decoding device, decoding method, and reception device |
-
2016
- 2016-07-14 JP JP2017541222A patent/JP6489227B2/en active Active
- 2016-07-14 WO PCT/JP2016/003322 patent/WO2017051493A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011030217A (en) * | 2009-07-03 | 2011-02-10 | Panasonic Corp | Image coding apparatus and image decoding device |
JP2014096690A (en) * | 2012-11-09 | 2014-05-22 | Fujitsu Semiconductor Ltd | Moving image processing device |
WO2015025747A1 (en) * | 2013-08-22 | 2015-02-26 | ソニー株式会社 | Encoding device, encoding method, transmission device, decoding device, decoding method, and reception device |
Also Published As
Publication number | Publication date |
---|---|
JP6489227B2 (en) | 2019-03-27 |
WO2017051493A1 (en) | 2017-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6132006B1 (en) | Video encoding device, video system, video encoding method, and video encoding program | |
EP3416386B1 (en) | Hash-based encoder decisions for video coding | |
US10652570B2 (en) | Moving image encoding device, moving image encoding method, and recording medium for recording moving image encoding program | |
US10003796B2 (en) | Method, system and apparatus for intra-prediction in a video signal processing | |
JP2013157662A (en) | Moving image encoding method, moving image encoding device, and moving image encoding program | |
JP6241565B2 (en) | Video encoding device, video system, video encoding method, and video encoding program | |
US9264715B2 (en) | Moving image encoding method, moving image encoding apparatus, and computer-readable medium | |
JP6677230B2 (en) | Video encoding device, video decoding device, video system, video encoding method, and video encoding program | |
JP6489227B2 (en) | Video encoding apparatus and video encoding method | |
JP2009049969A (en) | Device and method of coding moving image and device and method of decoding moving image | |
JP6241558B2 (en) | Video encoding device, video system, video encoding method, and video encoding program | |
US20160156905A1 (en) | Method and system for determining intra mode decision in h.264 video coding | |
US20210014501A1 (en) | Image encoding device, image decoding device, and program | |
US10034011B2 (en) | Video coding apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171026 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190211 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6489227 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |