WO2015151513A1 - Video image encoding apparatus, method, and program, and image decoding apparatus, method, and program - Google Patents

Video image encoding apparatus, method, and program, and image decoding apparatus, method, and program Download PDF

Info

Publication number
WO2015151513A1
WO2015151513A1 PCT/JP2015/001855 JP2015001855W WO2015151513A1 WO 2015151513 A1 WO2015151513 A1 WO 2015151513A1 JP 2015001855 W JP2015001855 W JP 2015001855W WO 2015151513 A1 WO2015151513 A1 WO 2015151513A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
encoding
prediction
redundant
input image
Prior art date
Application number
PCT/JP2015/001855
Other languages
French (fr)
Japanese (ja)
Inventor
誠也 柴田
慶一 蝶野
哲弘 南部
Original Assignee
日本電気株式会社
Ｎｅｃエンジニアリング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, Ｎｅｃエンジニアリング株式会社 filed Critical 日本電気株式会社
Priority to JP2016511389A priority Critical patent/JP6590412B2/en
Publication of WO2015151513A1 publication Critical patent/WO2015151513A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　A video image encoding apparatus is provided with: an image attachment means for making the size of an image an integral multiple of an encoding unit by attaching a redundant image to an input image; a prediction means for performing a prediction process that generates a prediction signal for each encoding unit; and an entropy encoding means for entropy-encoding parameters based on the prediction signals and the input image, the entropy-encoding means encoding parameters pertaining to the input image without encoding parameters pertaining to the redundant image when a redundant image is attached to the input image.

Description

映像符号化装置、方法及びプログラム、並びに映像復号装置、方法及びプログラムVideo encoding apparatus, method and program, and video decoding apparatus, method and program
　本発明は、伝送されるデータ量を削減可能な映像符号化装置及び映像復号装置に関する。 The present invention relates to a video encoding device and a video decoding device capable of reducing the amount of transmitted data.
　映像符号化方式として、ITU-T (International Telecommunication Union Telecommunication Standardization Sector)の勧告のH.264/AVC(Advanced Video Coding) が普及している。また、H.264/AVC の後続規格として、H.265/HEVC(High Efficiency Video Coding)がある。H.265 に基づく映像符号化方式では、ディジタル化された映像の各フレームは符号化ツリーユニット（CTU:Coding Tree Unit）に分割され、ラスタスキャン順に各CTU が符号化される。各CTUは、クアッドツリー構造で、符号化ユニット（CU:Coding Unit）に分割されて符号化される。各CUは、予測ユニット（PU:Prediction Unit）に分割されて予測される。また、各CUの予測誤差は、クアッドツリー構造で、変換ユニット（TU: Transform Unit）に分割されて周波数変換される。以後、最も大きなサイズのCUを最大CU（LCU: Largest Coding Unit）、最も小さなサイズのCUを最小CU（SCU: Smallest Coding Unit ）という。なお、LCU サイズとCTU サイズは同一である。 As a video encoding method, H.264 / AVC (Advanced Video Coding) recommended by ITU-T (International Telecommunication Union Union Telecommunication Standardization Sector) is widely used. Further, as a subsequent standard of H.264 / AVC, there is H.265 / HEVC (High Efficiency Video Coding). In the video coding system based on H.265, each frame of the digitized video is divided into coding tree units (CTU: Coding Tree Unit), and each CTU is coded in the raster scan order. Each CTU has a quad tree structure and is encoded by being divided into coding units (CU: Coding Unit). Each CU is predicted by being divided into prediction units (PU: Prediction Unit). Further, the prediction error of each CU is divided into transform units (TU: Transform） Unit) in a quadtree structure, and is frequency-transformed. Hereinafter, the largest CU is referred to as a maximum CU (LCU: Largest Coding Unit), and the smallest CU is referred to as a minimum CU (SCU: SmallestallCoding Unit). The LCU size and the CTU size are the same.
　CUは、イントラ予測又はフレーム間予測によって予測符号化される。イントラ予測（画面内予測）は、予測信号を符号化対象フレームの再構築画像から生成する予測である。非特許文献１では、図１１に示す33種類の角度イントラ予測が定義されている。角度イントラ予測では、符号化対象ブロック周辺の再構築画素を図１１に示す33種類の方向のいずれかに外挿して、イントラ予測信号が生成される。 CU is predictively encoded by intra prediction or inter-frame prediction. Intra prediction (intra-screen prediction) is prediction in which a prediction signal is generated from a reconstructed image of an encoding target frame. In Non-Patent Document 1, 33 types of angle intra prediction shown in FIG. 11 are defined. In the angle intra prediction, an intra prediction signal is generated by extrapolating the reconstructed pixels around the encoding target block in any one of the 33 types of directions shown in FIG.
　また、イントラ予測として、角度イントラ予測に加えて、DC予測及びPlanar予測が規定されている。DC予測では、参照画像の平均値が予測対象TUの全画素の予測値とされる。Planar予測では、予測画像は、参照画像における画素から線形補間によって生成される。 Also, in addition to angular intra prediction, DC prediction and Planar prediction are defined as intra prediction. In DC prediction, the average value of the reference image is used as the prediction value for all pixels of the prediction target TU. In Planar prediction, a predicted image is generated by linear interpolation from pixels in a reference image.
　フレーム間予測は、符号化対象フレームと表示時刻が異なる再構築フレーム（参照ピクチャ）の画像に基づく予測である。フレーム間予測をインター予測ともいう。インター予測では、参照ピクチャの再構築画像ブロックに基づいて（必要であれば画素補間を用いて）、インター予測信号が生成される。以下、フレーム間予測をインター予測ともいう。 Inter-frame prediction is prediction based on an image of a reconstructed frame (reference picture) having a display time different from that of the encoding target frame. Inter-frame prediction is also called inter prediction. In inter prediction, an inter prediction signal is generated based on a reconstructed image block of a reference picture (using pixel interpolation if necessary). Hereinafter, inter-frame prediction is also referred to as inter prediction.
　イントラCUのみで符号化されたフレームはＩフレーム（又はＩピクチャ）と呼ばれる。イントラCUだけでなくインターCUも含めて符号化されたフレームはＰフレーム（又はＰピクチャ）と呼ばれる。ブロックのインター予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターCUを含めて符号化されたフレームはＢフレーム（又はＢピクチャ）と呼ばれる。 A frame encoded only by an intra CU is called an I frame (or I picture). A frame encoded including not only an intra CU but also an inter CU is called a P frame (or P picture). A frame encoded by including not only one reference picture for inter prediction of a block but also an inter CU using two reference pictures at the same time is called a B frame (or B picture).
　図１２を参照して、一般的な映像符号化装置の構成と動作を説明する。なお、図１２に示す映像符号化装置は、H.265 に基づく映像符号化方式を用いる。 The configuration and operation of a general video encoding device will be described with reference to FIG. Note that the video encoding apparatus shown in FIG. 12 uses a video encoding system based on H.265.
　図１２に示す映像符号化装置は、バッファ１００、減算器１０１、変換器１０２、量子化器１０３、算術符号化器（CABAC : context-based adaptive binary arithmetic coder）３０４、逆量子化器１０５、逆変換器１０６、加算器１１４、第１フレームバッファ１０７、デブロッキングフィルタ３０８、第２フレームバッファ１０９、イントラ予測器３１０、インター予測器３１１、スイッチ１１３及び符号化制御部３１２を備える。 12 includes a buffer 100, a subtractor 101, a converter 102, a quantizer 103, an arithmetic encoder (CABAC: BAcontext-based binary arithmetic coder) 304, an inverse quantizer 105, and an inverse quantizer 105. A converter 106, an adder 114, a first frame buffer 107, a deblocking filter 308, a second frame buffer 109, an intra predictor 310, an inter predictor 311, a switch 113, and an encoding control unit 312 are provided.
　図１３は、フレームの空間解像度がCIF （CIF:Common Intermediate Format）、CTU サイズが64の場合のフレームt のCTU 分割例、及び、フレームt に含まれる第８のCTU （CTU8）のCU分割例を示す説明図である。図１３に示すように、CUの大きさは、64×64、32×32、16×16、8×8 のいずれかになる。また、図１４は、CTU8のCU分割例に対応する、クアッドツリー構造を示す説明図である。 FIG. 13 shows an example of CTU division of frame t when the spatial resolution of the frame is CIF (CIF: Common Format) and CTU size 64, and an example of CU division of the eighth CTU (CTU8) included in frame t. It is explanatory drawing which shows. As shown in FIG. 13, the size of the CU is 64 × 64, 32 × 32, 16 × 16, or 8 × 8cm. FIG. 14 is an explanatory diagram showing a quadtree structure corresponding to the CU partitioning example of CTU8.
　符号化制御部３１２は、CTU毎に、画像の特徴に合わせて符号化効率が高くなるようにCUクアッドツリー構造／PU分割形状／TUクアッドツリー構造を決定する。また、符号化制御部３１２は、PU毎に、符号化コストを最小とする、イントラ予測方向及び動きベクトルなどを決定する。 The encoding control unit 312 determines the CU quadtree structure / PU partition shape / TU quadtree structure so that the encoding efficiency is increased according to the feature of the image for each CTU. Also, the encoding control unit 312 determines an intra prediction direction, a motion vector, and the like that minimize the encoding cost for each PU.
　バッファ１００には、入力画像（入力画像フレームの画素値）が格納される。スイッチ１１３を介して、減算器１０１に、バッファ１００から入力画像（具体的には、CU）が供給される。減算器１０１は、入力画像から、イントラ予測器３１０又はインター予測器３１１から供給される予測信号を減算する。 The buffer 100 stores an input image (pixel value of the input image frame). An input image (specifically, CU) is supplied from the buffer 100 to the subtractor 101 via the switch 113. The subtractor 101 subtracts the prediction signal supplied from the intra predictor 310 or the inter predictor 311 from the input image.
　変換器１０２は、符号化制御部３１２が決定したTU分割形状に基づいて、入力画像信号から予測信号が減じられた予測誤差画像を周波数変換する。量子化器１０３は、周波数変換された予測誤差画像（周波数変換係数）を量子化する。以下、周波数変換係数を、単に、変換係数といい、量子化された変換係数を量子化係数という。 The converter 102 performs frequency conversion on the prediction error image obtained by subtracting the prediction signal from the input image signal based on the TU division shape determined by the encoding control unit 312. The quantizer 103 quantizes the prediction error image (frequency conversion coefficient) subjected to frequency conversion. Hereinafter, the frequency transform coefficient is simply referred to as a transform coefficient, and the quantized transform coefficient is referred to as a quantized coefficient.
　算術符号化器３０４は、符号化制御部３１２が決定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向の差分情報、動きベクトルの差分情報及び量子化係数等をエントロピー符号化（ここでは、２値算術符号化）する。算術符号化器３０４は、ビットストリームを出力する。 The arithmetic encoder 304 entropy indicates the split_cu_flag syntax value, pred_mode_flag syntax value, part_mode syntax value, split_tu_flag syntax value, intra prediction direction difference information, motion vector difference information, quantization coefficient, and the like determined by the coding control unit 312. Encoding (here binary arithmetic encoding) is performed. The arithmetic encoder 304 outputs a bit stream.
　逆量子化器１０５は、量子化係数を逆量子化する。逆変換器１０６は、逆量子化された変換係数を逆周波数変換する。加算器１１４は、逆周波数変換された再構築予測誤差画像に予測信号を加算して再構築画像を生成する。再構築画像は、第１フレームバッファ１０７に供給される。 The inverse quantizer 105 inversely quantizes the quantization coefficient. The inverse transformer 106 performs inverse frequency transform on the inversely quantized transform coefficient. The adder 114 adds a prediction signal to the reconstructed prediction error image that has been subjected to inverse frequency conversion, and generates a reconstructed image. The reconstructed image is supplied to the first frame buffer 107.
　デブロッキングフィルタ３０８は、第１フレームバッファ１０７に格納された再構築画像に対してブロック歪を除去するためのフィルタ処理を行う。デブロッキングフィルタ３０８の出力は、第２フレームバッファ１０９に格納される。 The deblocking filter 308 performs a filter process for removing block distortion on the reconstructed image stored in the first frame buffer 107. The output of the deblocking filter 308 is stored in the second frame buffer 109.
　第２フレームバッファ１０９は、ブロック歪が除去された再構築画像フレームを参照画像フレームとして格納する。なお、参照画像フレームの画像は、フレーム間予測信号を生成するための参照画像として利用される。 The second frame buffer 109 stores the reconstructed image frame from which block distortion has been removed as a reference image frame. Note that the image of the reference image frame is used as a reference image for generating an inter-frame prediction signal.
　イントラ予測器３１０は、第１フレームバッファ１０７に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。インター予測器３１１は、現在のフレームと表示時刻が異なる、第２フレームバッファ１０９に格納された参照画像を利用してフレーム間予測信号を生成する。 The intra predictor 310 generates an intra prediction signal using the reconstructed image stored in the first frame buffer 107 and having the same display time as the current frame. The inter predictor 311 generates an inter-frame prediction signal using a reference image stored in the second frame buffer 109 having a display time different from that of the current frame.
　入力画像がHDTV(High Definition Television)の映像信号である場合、例えば1920画素×1080ラインの解像度で１フレームが構成される。H.264/AVC では、16×16のマクロブロック（MB）単位で符号化が行われるが、HDTVの画像信号の垂直方向の画素数は16の倍数でないため、符号化の際に、バッファ１００において、8 ラインの冗長画素が付加される（例えば、特許文献１参照）。以下、本明細書において、冗長画素を付加する処理（画素パディング処理）と冗長画素が付加された画像に基づく符号化処理（周波数変換処理及び量子化処理等を含む。）とを含む処理を拡張画像処理という。また、8 ラインの冗長画素からなる画像を付加画像又は冗長画像という。 When the input image is an HDTV (High Definition Television) video signal, for example, one frame is configured with a resolution of 1920 pixels × 1080 lines. In H.264 / AVC, encoding is performed in units of 16 × 16 macroblocks (MB). However, since the number of pixels in the vertical direction of the HDTV image signal is not a multiple of 16, the buffer 100 is used for encoding. In FIG. 5, 8 -line redundant pixels are added (see, for example, Patent Document 1). Hereinafter, in the present specification, processing including processing for adding redundant pixels (pixel padding processing) and encoding processing based on an image with redundant pixels added (including frequency conversion processing, quantization processing, and the like) is extended. This is called image processing. An image composed of 8 pixels of redundant pixels is referred to as an additional image or a redundant image.
　そして、拡張画像処理が行われたことが、例えば、conformance_window_flag シンタクスによってシグナリングされる。映像復号装置は、映像符号化装置において拡張画像処理が実行されたことを認識すると、受信したビットストリームに基づいて復号した映像から付加画像を除去する。 Then, the fact that the extended image processing has been performed is signaled by, for example, conformance_window_flag syntax. When recognizing that the extended image processing has been executed in the video encoding device, the video decoding device removes the additional image from the video decoded based on the received bitstream.
特開２０１２－１９５７０２号公報JP 2012-195702 A
　H.265 に基づく映像符号化方式が用いられる場合にも、入力画像の水平方向又は垂直方向の画素数がSCU サイズに相当する8 の倍数でないときには、符号化の際に、拡張画像処理を行うことが要請される。冗長画像が付加されることによって入力画像の水平方向及び垂直方向の画素数が8 の倍数になれば、少なくとも、SCU で符号化処理を行うことが可能になる。入力画像の水平方向及び垂直方向の画素数が8 の倍数であっても、16の倍数でないときには、16×16のCUの使用が制限される領域が現れる。入力画像の水平方向及び垂直方向の画素数が16の倍数であっても、32の倍数でないときには、32×32のCUの使用が制限される領域が現れる。さらに、入力画像の水平方向及び垂直方向の画素数が32の倍数であっても、64の倍数でないときには、LCU サイズに相当する64×64のCUの使用が制限される領域が現れる。冗長画像がない場合には、このような場合に、例外的な制御フローを追加する必要があり、処理の複雑さが増す。LCU サイズの倍数になるように冗長画像を付加することにより、常にLCUサイズ（64×64）分の処理を行う単一の制御フローにすることができ、好ましい。すなわち、一般的なH.265 に基づく映像符号化方式の適用を可能にするために、入力画像の水平方向又は垂直方向の画素数が64（LCU サイズに相当）の倍数でないときには、64の倍数にするために、拡張画像処理を行うことが好ましい。 Even when a video encoding method based on H.265 is used, if the number of pixels in the horizontal or vertical direction of the input image is not a multiple of 8 corresponding to the SCU size, extended image processing is performed at the time of encoding. Is required. If the number of pixels in the horizontal direction and the vertical direction of the input image is a multiple of 8 by adding the redundant image, it is possible to perform the encoding process at least by the SCU. Even if the number of pixels in the horizontal and vertical directions of the input image is a multiple of 8, if it is not a multiple of 16, an area where the use of a 16 × 16 CU is restricted appears. Even if the number of pixels in the horizontal and vertical directions of the input image is a multiple of 16, if it is not a multiple of 32, an area where the use of a 32 × 32 CU is restricted appears. Furthermore, even if the number of pixels in the horizontal direction and the vertical direction of the input image is a multiple of 32, if it is not a multiple of 64, an area where the use of a 64 × 64 CU corresponding to the LCU size is restricted appears. In the case where there is no redundant image, it is necessary to add an exceptional control flow in such a case, and the processing complexity increases. By adding redundant images so as to be a multiple of the LCU size, a single control flow that always performs processing for the LCU size (64 × 64) can be obtained, which is preferable. That is, in order to enable application of a general video encoding method based on H.265, when the number of pixels in the horizontal or vertical direction of the input image is not a multiple of 64 (corresponding to the LCU size), a multiple of 64 Therefore, it is preferable to perform extended image processing.
　図１５は、拡張画像処理の概念を示す説明図である。図１５に示すように、映像符号化装置３２への入力画像の画素数が1920（水平方向）×1080（垂直方向）であるとする。映像符号化装置３２は、垂直方向の画素数が64の倍数になるように（LCU サイズの場合）、1920×8 の画像を付加する。そして、映像符号化装置３２は、1920×1088画素の画像について符号化処理を行う。符号化結果は、映像復号装置４２に伝送される。 FIG. 15 is an explanatory diagram showing the concept of extended image processing. As shown in FIG. 15, it is assumed that the number of pixels of an input image to the video encoding device 32 is 1920 (horizontal direction) × 1080 (vertical direction). The video encoding device 32 adds a 1920 × 8 × image so that the number of pixels in the vertical direction is a multiple of 64 (in the case of LCU size). Then, the video encoding device 32 performs an encoding process on an image of 1920 × 1088 pixels. The encoding result is transmitted to the video decoding device 42.
　映像復号装置４２は、復号処理によって、1920×1088画素のフレームを得る。次いで、映像復号装置４２は、そのフレームにおける下部にある付加画像を除去する。そして、映像復号装置４２は、1920×1080画素のフレームを表示装置（図示せず）等に出力する。 The video decoding device 42 obtains a frame of 1920 × 1088 pixels by decoding processing. Next, the video decoding device 42 removes the additional image at the bottom of the frame. Then, the video decoding device 42 outputs a 1920 × 1080 pixel frame to a display device (not shown) or the like.
　上記のように、入力画像の水平方向又は垂直方向の画素数がH.265 におけるCUサイズの倍数でない場合に（好ましい例では、LCU サイズの倍数でない場合に）、拡張画像処理を行うと、伝送されるデータ量が増加する。 As described above, when the number of pixels in the horizontal or vertical direction of the input image is not a multiple of the CU size in H.265 (in the preferred example, it is not a multiple of the LCU size), transmission is performed when extended image processing is performed. The amount of data to be increased.
　なお、拡張画像処理を行えないシステム、すなわちconformance_window_flag を使用しないシステムでは、水平方向又は垂直方向の画素数が8 の倍数ではない画像について符号化および復号した後に表示装置等に表示することはできない。 Note that in a system that cannot perform extended image processing, that is, a system that does not use conformance_window_flagwindow, an image whose horizontal or vertical pixel number is not a multiple of 8 cannot be encoded and decoded and displayed on a display device or the like.
　本発明は、拡張画像処理を行った後に伝送されるデータ量を削減することを目的とする。 An object of the present invention is to reduce the amount of data transmitted after performing extended image processing.
　本発明による映像符号化装置は、入力画像に冗長画像を付加することによって画像のサイズを符号化単位の整数倍にする画像付加手段と、符号化単位毎に、予測信号を生成する予測処理を実行する予測手段と、予測信号と入力画像とに基づくパラメータをエントロピー符号化するエントロピー符号化手段とを備え、エントロピー符号化手段は、入力画像に冗長画像が付加された場合に、冗長画像に関するパラメータを符号化せず、入力画像に関するパラメータを符号化することを特徴とする。 The video encoding apparatus according to the present invention includes an image adding unit that adds a redundant image to an input image to make the size of the image an integer multiple of the encoding unit, and a prediction process that generates a prediction signal for each encoding unit. And an entropy encoding unit that entropy-encodes a parameter based on the prediction signal and the input image. The entropy encoding unit includes a parameter related to the redundant image when the redundant image is added to the input image. The parameter relating to the input image is encoded without encoding.
　本発明による映像符号化方法は、入力画像に冗長画像を付加することによって画像のサイズを符号化単位の整数倍にし、符号化単位毎に、予測信号を生成する予測処理を実行し、予測信号と入力画像とに基づくパラメータをエントロピー符号化し、入力画像に冗長画像が付加された場合には、エントロピー符号化を行うときに、冗長画像に関するパラメータを符号化せず、入力画像に関するパラメータを符号化することを特徴とする。 The video encoding method according to the present invention increases the size of an image by an integral multiple of the encoding unit by adding a redundant image to the input image, and executes a prediction process for generating a prediction signal for each encoding unit, If the input image is entropy-encoded and a redundant image is added to the input image, the parameter related to the input image is encoded instead of encoding the parameter related to the redundant image when entropy encoding is performed. It is characterized by doing.
　本発明による映像符号化プログラムは、コンピュータに、入力画像に冗長画像を付加することによって画像のサイズを符号化単位の整数倍にする処理と、符号化単位毎に、予測信号を生成する予測処理を実行する処理と、予測信号と入力画像とに基づくパラメータをエントロピー符号化する処理とを実行させ、入力画像に冗長画像が付加された場合には、エントロピー符号化を行うときに、冗長画像に関するパラメータを符号化せず、入力画像に関するパラメータを符号化する処理を実行させることを特徴とする。 A video encoding program according to the present invention includes a process for adding a redundant image to an input image to a computer to make the image size an integer multiple of the encoding unit, and a prediction process for generating a prediction signal for each encoding unit. And a process for entropy encoding a parameter based on the prediction signal and the input image, and when a redundant image is added to the input image, The present invention is characterized in that a process for encoding parameters relating to an input image is executed without encoding the parameters.
　本発明による映像復号装置は、ビットストリームに含まれるパラメータをエントロピー復号するエントロピー復号手段と、パラメータに基づいて、符号化単位毎に、予測信号を生成する予測処理を実行する予測手段とを備え、予測手段は、イントラ予測手段とインター予測手段とを含み、イントラ予測手段は、復号画像に冗長画像が付加されたと見なして、復号対象が復号画像に含まれるブロックであるときには、冗長画像の画素を参照画素の候補から除外して予測処理を実行し、インター予測手段は、復号画像に冗長画像が付加されたと見なして予測処理を実行することを特徴とする。 The video decoding apparatus according to the present invention includes an entropy decoding unit that entropy decodes a parameter included in a bitstream, and a prediction unit that executes a prediction process for generating a prediction signal for each coding unit based on the parameter. The prediction means includes an intra prediction means and an inter prediction means. The intra prediction means considers that a redundant image has been added to the decoded image, and if the decoding target is a block included in the decoded image, the pixel of the redundant image is determined. The inter-prediction unit executes the prediction process excluding the reference pixel candidates, assuming that the redundant image is added to the decoded image.
　本発明による映像復号方法は、ビットストリームに含まれるパラメータをエントロピー復号し、パラメータに基づいて、符号化単位毎に、予測信号を生成するイントラ予測処理またはインター予測処理を実行し、イントラ予測処理を実行するときに、復号画像に冗長画像が付加されたと見なし、かつ、復号対象が復号画像に含まれるブロックであるときには、冗長画像の画素を参照画素の候補から除外し、復号画像に冗長画像が付加されたと見なしてインター予測処理を実行することを特徴とする。 The video decoding method according to the present invention entropy-decodes a parameter included in a bitstream, executes an intra prediction process or an inter prediction process for generating a prediction signal for each coding unit based on the parameter, and performs an intra prediction process. When executing, when it is considered that a redundant image has been added to the decoded image and the decoding target is a block included in the decoded image, the redundant image pixel is excluded from the reference pixel candidates, and the redundant image is included in the decoded image. It is characterized in that the inter-prediction process is executed assuming that it has been added.
　本発明による映像復号プログラムは、コンピュータに、ビットストリームに含まれるパラメータをエントロピー復号する処理と、パラメータに基づいて、符号化単位毎に、予測信号を生成するイントラ予測処理またはインター予測処理を実行する処理とを実行させ、イントラ予測処理を実行するときに、復号画像に冗長画像が付加されたと見なし、かつ、復号対象が復号画像に含まれるブロックであるときには、冗長画像の画素を参照画素の候補から除外し、復号画像に冗長画像が付加されたと見なしてインター予測処理を実行させることを特徴とする。 The video decoding program according to the present invention performs, on a computer, processing for entropy decoding parameters included in a bitstream, and intra prediction processing or inter prediction processing for generating a prediction signal for each coding unit based on the parameters. When the intra prediction process is performed, it is considered that the redundant image is added to the decoded image, and the decoding target is a block included in the decoded image, the pixel of the redundant image is selected as a reference pixel candidate. And the inter prediction process is executed on the assumption that a redundant image is added to the decoded image.
　本発明によれば、伝送されるデータ量を削減可能になる。 According to the present invention, the amount of data to be transmitted can be reduced.
映像符号化装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of a video coding apparatus. 部分的拡張画像処理が実行されるときのイントラ予測器の作用を説明するための説明図である。It is explanatory drawing for demonstrating an effect | action of an intra predictor when a partial expansion image process is performed. 部分的拡張画像処理が実行されるときのインター予測器の作用を説明するための説明図である。It is explanatory drawing for demonstrating an effect | action of the inter predictor when a partial expansion image process is performed. 部分的拡張画像処理の概念を示す説明図である。It is explanatory drawing which shows the concept of a partial expansion image process. 映像符号化装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of a video coding apparatus. 映像復号装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of a video decoding apparatus. 映像復号装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of a video decoding apparatus. 映像符号化装置及び映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of the information processing system which can implement | achieve the function of a video coding apparatus and a video decoding apparatus. 本発明による映像符号化装置の主要部を示すブロック図である。It is a block diagram which shows the principal part of the video coding apparatus by this invention. 本発明による映像復号装置の主要部を示すブロック図である。It is a block diagram which shows the principal part of the video decoding apparatus by this invention. 33種類の角度イントラ予測の例を示す説明図である。It is explanatory drawing which shows the example of 33 types of angle intra prediction. 一般的な映像符号化装置の構成を示す説明図である。It is explanatory drawing which shows the structure of a general video coding apparatus. フレームt のCTU 分割例、及び、フレームt のCTU8のCU分割例を示す説明図である。FIG. 10 is an explanatory diagram illustrating an example of CTU partitioning of frame t and a CU partitioning example of CTU8 of frame t. CTU8のCU分割例に対応するクアッドツリー構造を示す説明図である。It is explanatory drawing which shows the quadtree structure corresponding to the CU division | segmentation example of CTU8. 拡張画像処理の概念を示す説明図である。It is explanatory drawing which shows the concept of an extended image process.
　以下、本発明の実施形態を図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
実施形態１．
　第１の実施形態では、映像符号化装置は、図１５に示されたような拡張画像処理と部分的拡張画像処理とを選択的に実行できる。部分的拡張画像処理は、処理における一部の過程で付加画像を含む画像（例えば、1920×1088画素の画像）を処理対象とし、他の過程では付加画像を含まない画像（例えば、1920×1080画素の画像）を処理対象とするような処理である。 Embodiment 1. FIG.
In the first embodiment, the video encoding apparatus can selectively execute the extended image processing and the partial extended image processing as shown in FIG. In the partial extended image processing, an image including an additional image (for example, an image of 1920 × 1088 pixels) is processed in a part of the process, and an image not including the additional image in the other process (for example, 1920 × 1080). This is a process for processing a pixel image).
　図１は映像符号化装置の構成例を示すブロック図である。図１に示す映像符号化装置は、H.265規格（H.265/HEVC規格）に基づいて符号化処理を実行する。 FIG. 1 is a block diagram showing a configuration example of a video encoding device. The video encoding apparatus shown in FIG. 1 performs encoding processing based on the H.265 standard (H.265 / HEVC standard).
　映像符号化装置は、バッファ１００、減算器１０１、変換器１０２、量子化器１０３、算術符号化器１０４、逆量子化器１０５、逆変換器１０６、加算器１１４、第１フレームバッファ１０７、デブロッキングフィルタ１０８、第２フレームバッファ１０９、イントラ予測器１１０、インター予測器１１１、スイッチ１１３及び符号化制御部１１２を備える。 The video encoding apparatus includes a buffer 100, a subtractor 101, a converter 102, a quantizer 103, an arithmetic encoder 104, an inverse quantizer 105, an inverse transformer 106, an adder 114, a first frame buffer 107, a demultiplexer. A blocking filter 108, a second frame buffer 109, an intra predictor 110, an inter predictor 111, a switch 113, and an encoding control unit 112 are provided.
　減算器１０１、変換器１０２、量子化器１０３、逆量子化器１０５、逆変換器１０６、スイッチ１１３及び加算器１１４の機能は、図１２に示されたそれらの機能と同じである。 The functions of the subtractor 101, the converter 102, the quantizer 103, the inverse quantizer 105, the inverse transformer 106, the switch 113, and the adder 114 are the same as those shown in FIG.
　本実施形態では、符号化制御部１１２は、図１２に示された符号化制御部３１２の機能に加えて、映像符号化装置における各ユニットに対して、拡張画像処理又は部分的拡張画像処理を実行することの指示を発行する機能を有する。 In the present embodiment, the encoding control unit 112 performs extended image processing or partial extended image processing on each unit in the video encoding device in addition to the function of the encoding control unit 312 shown in FIG. It has a function of issuing an instruction to execute.
　また、符号化制御部１１２は、CTU をCUに分割する際に、入力画像と付加画像とに跨がるCUを生成しない。つまり、符号化制御部１１２は、入力画像に含まれる領域のみを包含するCUを生成するとともに、付加画像に含まれる領域のみを包含するCUを生成する。 Also, when the CTU is divided into CUs, the encoding control unit 112 does not generate a CU that straddles the input image and the additional image. That is, the encoding control unit 112 generates a CU that includes only a region included in the input image, and generates a CU that includes only a region included in the additional image.
　算術符号化器１０４、デブロッキングフィルタ１０８、イントラ予測器１１０及びインター予測器１１１は、図１２に示された算術符号化器３０４、デブロッキングフィルタ３０８、イントラ予測器３１０及びインター予測器３１１の機能（拡張画像処理を実行するための機能）に加えて、以下のような部分的拡張画像処理のための機能を有する。 The arithmetic encoder 104, the deblocking filter 108, the intra predictor 110, and the inter predictor 111 are functions of the arithmetic encoder 304, the deblocking filter 308, the intra predictor 310, and the inter predictor 311 illustrated in FIG. In addition to (function for executing extended image processing), the following functions for partial extended image processing are provided.
　デブロッキングフィルタ１０８は、部分的拡張画像処理の実行時には、入力画像の本来のサイズを越える部分を含む領域（付加画像の領域）に対するフィルタ処理を実行しない。 The deblocking filter 108 does not execute a filter process on an area including an area exceeding the original size of the input image (an additional image area) when the partial extended image process is executed.
　図２に示すように、部分的拡張画像処理の実行時には、イントラ予測器１１０は、符号化対象ブロック５１が本来の画像（入力画像）に含まれているブロックである場合には、付加画像６０の画素を参照画素の候補にしない（図２（Ａ）参照）。符号化対象ブロック５１が付加画像６０に含まれているブロックである場合には、付加画像６０の画素を、参照画素として使用可能である（図２（Ｂ）参照）。なお、本来必要とされない付加画像６０に含まれるブロックも符号化対象にする理由は、既存のイントラ予測器３１０との機能上の差異を少なくしたいためである。また、付加画像６０の符号化対象ブロック５２のイントラ予測信号は、映像符号化装置における後段のユニットで実質的に除去される。 As shown in FIG. 2, when executing the partial extended image processing, the intra predictor 110, when the encoding target block 51 is a block included in the original image (input image), adds the additional image 60. These pixels are not set as reference pixel candidates (see FIG. 2A). When the encoding target block 51 is a block included in the additional image 60, the pixel of the additional image 60 can be used as a reference pixel (see FIG. 2B). Note that the reason why the blocks included in the additional image 60 that are not originally required are to be encoded is to reduce functional differences from the existing intra predictor 310. Also, the intra prediction signal of the encoding target block 52 of the additional image 60 is substantially removed by a subsequent unit in the video encoding device.
　なお、イントラ予測器１１０は、部分的拡張画像処理の実行時に、符号化対象ブロック５１が本来の画像に含まれているブロックであって、付加画像６０の画素が参照画素にならないようなブロックについては、H.265 規格に従ってイントラ予測を実行する。 Note that the intra predictor 110 is a block in which the encoding target block 51 is included in the original image and the pixel of the additional image 60 does not become a reference pixel when the partial extended image processing is executed. Performs intra prediction according to the H.265 standard.
　インター予測器１１１は、部分的拡張画像処理の実行時に、H.265 規格に従ってインター予測を実行する。ただし、図３に示すように、インター予測器１１１は、予測元PU（カレントPU）６１に対する参照フレームのブロック６２が付加画像６０の画素を含む場合には画面外処理を行う（図３（Ａ）参照）。画面外処理は、付加画像６０すなわち本来の画像（受信側で表示される画像）ではない画像が参照されないようにするための処理である。具体的な一例として、インター予測器１１１が、画面端の部分６２２の画素で、PU６２における付加画像６０の部分６２１の画素を置き換える。 The inter predictor 111 performs inter prediction according to the H.265 standard when executing partial extended image processing. However, as illustrated in FIG. 3, the inter predictor 111 performs off-screen processing when the block 62 of the reference frame for the prediction source PU (current PU) 61 includes the pixel of the additional image 60 (FIG. 3A )reference). The off-screen processing is processing for preventing an additional image 60, that is, an image that is not an original image (image displayed on the receiving side) from being referred to. As a specific example, the inter predictor 111 replaces the pixel of the portion 621 of the additional image 60 in the PU 62 with the pixel of the portion 622 at the screen end.
　インター予測器１１１は、予測元PUが付加画像６０に含まれているブロックである場合には、H.265 規格に従ってインター予測を実行する。付加画像６０については、生成された予測信号は、後段のユニットで実質的に除去されるので、どのような予測信号が生成されてもよいからである。 When the prediction source PU is a block included in the additional image 60, the inter predictor 111 performs inter prediction according to the H.265 standard. This is because, with respect to the additional image 60, since the generated prediction signal is substantially removed by the subsequent unit, any prediction signal may be generated.
　具体的には、算術符号化器１０４は、部分的拡張画像処理の実行時には、付加画像６０に関するデータ（インター予測信号等）について算術符号化を実行しない。 Specifically, the arithmetic encoder 104 does not perform arithmetic encoding on data (such as an inter prediction signal) related to the additional image 60 when executing the partial extended image processing.
　図４は、部分的拡張画像処理の概念を示す説明図である。図４に例示するように、映像符号化装置３１への入力画像の画素数が1920×1080であるとする。映像符号化装置３１は、垂直方向の画素数が64の倍数になるように、1920×8 の画像を付加する。 FIG. 4 is an explanatory diagram showing the concept of partial extended image processing. As illustrated in FIG. 4, it is assumed that the number of pixels of an input image to the video encoding device 31 is 1920 × 1080. The video encoding device 31 adds a 1920 × 8 × image so that the number of pixels in the vertical direction is a multiple of 64.
　映像符号化装置３１において、算術符号化器１０４及びデブロッキングフィルタ１０８を除くユニットは、1920×1088画素の画像について符号化処理（周波数変換処理及び量子化処理等を含む。）を行う。ただし、イントラ予測器１１０及びインター予測器１１１は、付加画像６０の画素に関して、図２及び図３に示されたような処理を行う。符号化結果は、映像復号装置４１に伝送される。 In the video encoding device 31, units other than the arithmetic encoder 104 and the deblocking filter 108 perform encoding processing (including frequency conversion processing and quantization processing) on an image of 1920 × 1088 pixels. However, the intra predictor 110 and the inter predictor 111 perform processes as illustrated in FIGS. 2 and 3 for the pixels of the additional image 60. The encoding result is transmitted to the video decoding device 41.
　映像復号装置４１は、復号処理によって、1920×1080画素のフレームを得る。そして、映像復号装置４１は、1920×1080画素のフレームを表示装置（図示せず）等に出力する。ただし、本実施形態では、映像復号装置４１は、映像符号化装置３１において部分的拡張画像処理が実行された場合には、上記の部分的拡張画像処理に類似する処理を実行することができる。以下、映像復号装置４１において実行される部分的拡張画像処理に類似する処理も、部分的拡張画像処理と呼ぶ。 The video decoding device 41 obtains a frame of 1920 × 1080 pixels by decoding processing. Then, the video decoding device 41 outputs a 1920 × 1080 pixel frame to a display device (not shown) or the like. However, in the present embodiment, the video decoding device 41 can execute processing similar to the partial extended image processing described above when the partial extended image processing is executed in the video encoding device 31. Hereinafter, processing similar to the partial extended image processing executed in the video decoding device 41 is also referred to as partial extended image processing.
　次に、図５のフローチャートを参照して、符号化制御部１１２と算術符号器１０４の部分的拡張画像処理の実行時の動作を説明する。 Next, the operation of the encoding control unit 112 and the arithmetic encoder 104 during the partial extended image processing will be described with reference to the flowchart of FIG.
　部分的拡張画像処理の実行時には、符号化制御部１１２は、バッファ１００において、入力画像（例えば、1920×1080画素の画像）の下部に、8 ラインの冗長画像を付加するための制御を行う（ステップＳ１１）。冗長画像は、例えば、黒画像又はグレー画像であるが、部分的拡張画像処理を実行する際に冗長画像はどのような画像であってもよい。なお、入力画像における冗長画像との境界の画像等を冗長画像としてもよい。 At the time of executing the partial extended image processing, the encoding control unit 112 performs control for adding an 8 -line redundant image below the input image (for example, an image of 1920 × 1080 pixels) in the buffer 100 ( Step S11). The redundant image is, for example, a black image or a gray image, but the redundant image may be any image when executing the partial extended image processing. Note that an image at the boundary with the redundant image in the input image may be a redundant image.
　そして、符号化制御部１１２は、デブロッキングフィルタ１０８、イントラ予測器１１０、インター予測器１１１及び算術符号化器１０４に、部分的拡張画像処理の実行を指示する（ステップＳ１２）。 Then, the encoding control unit 112 instructs the deblocking filter 108, the intra predictor 110, the inter predictor 111, and the arithmetic encoder 104 to execute the partial extended image processing (step S12).
　デブロッキングフィルタ１０８、イントラ予測器１１０及びインター予測器１１１は、部分的拡張画像処理の実行が指示されると、上述したように、部分的拡張画像処理のために動作する。 When the execution of partial extended image processing is instructed, the deblocking filter 108, the intra predictor 110, and the inter predictor 111 operate for partial extended image processing as described above.
　算術符号化器１０４は、入力画像（例えば、1920×1080画素の領域）に関するパラメータのみを算術符号化する（ステップＳ１３）。すなわち、入力画像が1920×1080であり冗長画像がないとみなしてH.265 規格に従って算術符号化する。例えば、算術符号化器１０４は、冗長画像の領域に関して、CUを分割するか否かを示すパラメータであるsplit_cu_flag を符号化しない。また、冗長画像の領域に関する他のパラメータも符号化しない。他のパラメータには、例えば、CUに関連するcu_trasquant_bypass_flag、cu_skip_flag、pred_mode_flag、part_mode が含まれる。 The arithmetic encoder 104 arithmetically encodes only the parameters relating to the input image (for example, an area of 1920 × 1080 pixels) (step S13). That is, the input image is 1920 × 1080, and there is no redundant image, and arithmetic coding is performed according to the H.265 standard. For example, the arithmetic encoder 104 does not encode split_cu_flag that is a parameter indicating whether or not to divide a CU for a redundant image region. Also, other parameters relating to the redundant image area are not encoded. Other parameters include, for example, cu_trasquant_bypass_flag, cu_skip_flag, pred_mode_flag, and part_mode related to the CU.
　部分的拡張画像処理ではなく拡張画像処理を行う場合には、符号化制御部１１２は、算術符号化器１０４、デブロッキングフィルタ１０８、イントラ予測器１１０及びインター予測器１１１に、拡張画像処理の実行を指示する。 When performing extended image processing instead of partial extended image processing, the encoding control unit 112 performs the extended image processing on the arithmetic encoder 104, the deblocking filter 108, the intra predictor 110, and the inter predictor 111. Instruct.
　拡張画像処理の実行が指示された算術符号化器１０４、デブロッキングフィルタ１０８、イントラ予測器１１０及びインター予測器１１１は、図１５に示されたように処理を実行する。すなわち、拡張画像（例えば、1920×1088画素の画像）について、イントラ予測器１１０及びインター予測器１１１は、予測信号を生成する。算術符号化器１０４は、拡張画像（入力画像＋付加画像）に関するパラメータを算術符号化する。つまり、映像符号化装置の各ユニットは、H.265 規格に従って処理を実行する。 The arithmetic encoder 104, the deblocking filter 108, the intra predictor 110, and the inter predictor 111, which are instructed to execute the extended image processing, execute the processing as shown in FIG. That is, for an extended image (for example, an image of 1920 × 1088 pixels), the intra predictor 110 and the inter predictor 111 generate a prediction signal. The arithmetic encoder 104 arithmetically encodes parameters related to the extended image (input image + additional image). That is, each unit of the video encoding device executes processing according to the H.265 standard.
　映像符号化装置において拡張画像処理が実行された場合、映像復号装置は、復号処理によって拡張画像フレームを得るが、そのフレームにおける下部にある付加画像を除去する。そして、映像復号装置は、本来の画像フレーム（例えば、1920×1080画素のフレーム）を表示装置等に出力する。 When extended image processing is executed in the video encoding device, the video decoding device obtains an extended image frame by decoding processing, but removes an additional image at the bottom of the frame. Then, the video decoding device outputs an original image frame (for example, a 1920 × 1080 pixel frame) to a display device or the like.
　なお、算術符号化器１０４は、拡張画像処理が実行される場合には、「１」の値を持つconformance_window_flag をビットストリームに含め、部分的拡張画像処理が実行される場合には、「０」の値を持つconformance_window_flag をビットストリームに含める。 The arithmetic encoder 104 includes conformance_window_flag_ having a value of “1” in the bit stream when the extended image processing is executed, and “0” when the partial extended image processing is executed. Conformance_window_flag having the value of is included in the bitstream.
　以上に説明したように、本実施形態では、映像符号化装置において、部分的拡張画像処理が実行されるときに、一部のユニットは入力画像に冗長画像が付加された拡張画像を対象として処理を行う。しかし、冗長画像に関連するパラメータは映像符号化装置から出力されない。よって、伝送されるデータ量が削減される。 As described above, in the present embodiment, when partial extended image processing is executed in the video encoding device, some units process an extended image obtained by adding a redundant image to an input image. I do. However, parameters related to redundant images are not output from the video encoding device. Therefore, the amount of data transmitted is reduced.
　また、部分的拡張画像処理を実行する機能が実装される場合、水平方向及び垂直方向の画素数が64の倍数になるように冗長画像が付加されるので、変換器１０２、量子化器１０３、逆量子化器１０５及び逆変換器１０６として、一般に使用されるユニットをそのまま適用することができる。イントラ予測器１１０についても、参照画素の制約が生ずるが（図２（Ａ）参照）、一般に使用されるユニットをそのまま適用することができる。すなわち、伝送されるデータ量が削減される構成を実現するために、各ユニットのハードウェア又はソフトウェアの変更量は大きくない。 Further, when a function for executing partial extended image processing is implemented, a redundant image is added so that the number of pixels in the horizontal direction and the vertical direction is a multiple of 64, so that the converter 102, the quantizer 103, As the inverse quantizer 105 and the inverse transformer 106, commonly used units can be applied as they are. The intra predictor 110 also has reference pixel restrictions (see FIG. 2A), but generally used units can be applied as they are. That is, in order to realize a configuration in which the amount of transmitted data is reduced, the amount of change in hardware or software of each unit is not large.
　また、拡張画像処理を実行する機能がなくても、本実施形態における部分的拡張画像処理により、水平方向又は垂直方向の画素数が8 の倍数ではない画素の画像について符号化および復号した後に表示装置等に表示することができる。 Even if there is no function for executing the extended image processing, the partial extended image processing according to the present embodiment displays after encoding and decoding an image of a pixel whose horizontal or vertical pixel number is not a multiple of 8 で は. It can be displayed on a device or the like.
実施形態２．
　図６は、拡張画像処理と部分的拡張画像処理とを選択的に実行できる映像復号装置の構成例を示すブロック図である。図６に示す映像復号装置は、算術復号器（CABAD : context-based adaptive binary arithmetic decoder）２０１、逆量子化器２０２、逆変換器２０３、加算器２１１、第１フレームバッファ２０４、デブロッキングフィルタ２０５、第２フレームバッファ２０６、イントラ予測器２０７、インター予測器２０８、復号制御部２０９及びスイッチ２１０を備えている。 Embodiment 2. FIG.
FIG. 6 is a block diagram illustrating a configuration example of a video decoding apparatus that can selectively execute the extended image processing and the partial extended image processing. The video decoding apparatus shown in FIG. 6 includes an arithmetic decoder (CABAD: context-based adaptive binary arithmetic decoder) 201, an inverse quantizer 202, an inverse transformer 203, an adder 211, a first frame buffer 204, and a deblocking filter 205. , A second frame buffer 206, an intra predictor 207, an inter predictor 208, a decoding control unit 209, and a switch 210.
　算術復号器２０１は、ビットストリームを算術復号して、復号対象ＣＵの予測信号に関連するパラメータ及び量子化係数等を出力する。 The arithmetic decoder 201 arithmetically decodes the bitstream and outputs parameters, quantization coefficients, and the like related to the prediction signal of the decoding target CU.
　イントラ予測器２０７は、現在復号中のフレームと表示時刻が同一である、第１フレームバッファ２０４に格納された再構築画像を利用してイントラ予測信号を生成する。インター予測器２０８は、現在復号中のフレームと表示時刻が異なる、第２フレームバッファ２０６に格納された参照画像を利用してフレーム間予測信号を生成する。 The intra predictor 207 generates an intra prediction signal using the reconstructed image stored in the first frame buffer 204 having the same display time as the currently decoded frame. The inter predictor 208 generates an inter-frame prediction signal using a reference image stored in the second frame buffer 206 having a display time different from that of the currently decoded frame.
　復号制御部２０９は、エントロピー復号（具体的には、算術復号）されたフレーム間予測の種別に基づいて、イントラ予測信号またはフレーム間予測信号が加算器２１１に供給されるようにスイッチ２１０を制御する。 The decoding control unit 209 controls the switch 210 so that the intra prediction signal or the inter frame prediction signal is supplied to the adder 211 based on the type of inter frame prediction subjected to entropy decoding (specifically, arithmetic decoding). To do.
　逆量子化器２０２は、算術復号器２０１から供給される量子化係数を、図１に示された逆量子化器１０５と同様に、逆量子化する。すなわち、逆変換器２０３は、量子化代表値を逆周波数変換して元の空間領域に戻す。 The inverse quantizer 202 inversely quantizes the quantization coefficient supplied from the arithmetic decoder 201 in the same manner as the inverse quantizer 105 shown in FIG. That is, the inverse transformer 203 performs inverse frequency transformation on the quantized representative value and returns it to the original spatial domain.
　第１フレームバッファ２０４には、現在復号中のフレームに含まれるすべてのＣＵが復号されるまで、元の空間領域に戻された再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。 In the first frame buffer 204, a reconstructed image block obtained by adding a prediction signal to the reconstructed prediction error image block returned to the original spatial domain until all CUs included in the currently decoded frame are decoded. Is stored.
　本実施形態では、映像符号化装置において部分的拡張画像処理が実行されたと判定されると、映像復号装置においても、部分的拡張画像処理が実行される。部分的拡張画像処理が実行される場合、逆量子化器２０２及び逆変換器２０３は、復号画像（受信したビットストリームに基づいて生成される画像）に冗長画像が付加されたと見なして、冗長画像に関しても逆量子化処理及び逆周波数変換処理を実行する。 In this embodiment, when it is determined that the partial extended image processing has been executed in the video encoding device, the partial extended image processing is also executed in the video decoding device. When the partial extended image processing is executed, the inverse quantizer 202 and the inverse transformer 203 consider that the redundant image is added to the decoded image (the image generated based on the received bit stream), and the redundant image Also, the inverse quantization process and the inverse frequency conversion process are executed.
　部分的拡張画像処理の実行時には、デブロッキングフィルタ２０５は、映像符号化装置におけるデブロッキングフィルタ１０８と同様に、入力画像の本来のサイズを越える部分を含む領域（付加画像の領域）に対するフィルタ処理を実行しない。 At the time of executing the partial extended image processing, the deblocking filter 205 performs a filtering process on an area including an area exceeding the original size of the input image (additional image area), like the deblocking filter 108 in the video encoding device. Do not execute.
　部分的拡張画像処理の実行時には、イントラ予測器２０７は、復号画像に冗長画像が付加されたと見なした上で、イントラ予測を行う。ただし、映像符号化装置におけるイントラ予測器１１０と同様に、符号化対象ブロックが本来の画像（複合画像）に含まれているブロックである場合には、付加画像の画素を参照画素としない（図２（Ａ）参照）。符号化対象ブロックが付加画像に含まれているブロックである場合には、付加画像の画素を、参照画素として使用可能である（図２（Ｂ）参照）。 When executing the partial extended image processing, the intra predictor 207 performs intra prediction after assuming that a redundant image is added to the decoded image. However, similarly to the intra predictor 110 in the video encoding device, when the encoding target block is a block included in the original image (composite image), the pixel of the additional image is not used as the reference pixel (see FIG. 2 (A)). When the encoding target block is a block included in the additional image, the pixel of the additional image can be used as a reference pixel (see FIG. 2B).
　部分的拡張画像処理の実行時には、インター予測器２０８は、映像符号化装置におけるインター予測器１１１と同様に、予測元PU（カレントPU）に対する参照フレームのPUが付加画像の画素を含む場合には画面外処理を行う（図３（Ａ）参照）。既に説明したように、画面外処理は、付加画像６０すなわち本来の画像（復号画像）ではない画像が参照されないようにするための処理である。 When executing the partial extended image processing, the inter predictor 208, when the PU of the reference frame for the prediction source PU (current PU) includes the pixel of the additional image, like the inter predictor 111 in the video encoding device. Out-of-screen processing is performed (see FIG. 3A). As already described, the off-screen processing is processing for preventing the additional image 60, that is, an image that is not an original image (decoded image) from being referred to.
　次に、図７のフローチャートを参照して、復号制御部２０９の部分的拡張画像処理の実行時の動作を説明する。 Next, the operation of the decoding control unit 209 when executing the partial extended image processing will be described with reference to the flowchart of FIG.
　復号制御部２０９は、部分的拡張画像処理が実行されるべきであることを確認する（ステップＳ２１）。例えば、算術復号器２０１は、ビットストリームから「０」の値を持つconformance_window_flag を抽出したときに、その旨を復号制御部２０９に通知する。復号制御部２０９は、その通知を受けたら、部分的拡張画像処理が実行されるべきであると判定する。 The decoding control unit 209 confirms that the partial extended image processing should be executed (step S21). For example, when the arithmetic decoder 201 extracts conformance_window_flag having a value of “0” from the bitstream, the arithmetic decoder 201 notifies the decoding control unit 209 to that effect. When receiving the notification, the decoding control unit 209 determines that the partial extended image processing should be executed.
　復号制御部２０９は、逆量子化器２０２及び逆変換器２０３に、部分的拡張画像処理が実行されることを通知する（ステップＳ２２）。逆量子化器２０２及び逆変換器２０３は、その通知を受けたら、上述したような部分的拡張画像処理の実行時の動作を行う。 The decoding control unit 209 notifies the inverse quantizer 202 and the inverse transformer 203 that the partial extended image processing is executed (step S22). When receiving the notification, the inverse quantizer 202 and the inverse transformer 203 perform the operation at the time of executing the partial extended image processing as described above.
　さらに、復号制御部２０９は、デブロッキングフィルタ２０５、イントラ予測器２０７及びインター予測器２０８に、部分的拡張画像処理の実行を指示する（ステップＳ２３）。デブロッキングフィルタ２０５、イントラ予測器２０７及びインター予測器２０８は、部分的拡張画像処理の実行が指示されると、上述したような部分的拡張画像処理のための動作を実行する。 Furthermore, the decoding control unit 209 instructs the deblocking filter 205, the intra predictor 207, and the inter predictor 208 to execute partial extended image processing (step S23). When the deblocking filter 205, the intra predictor 207, and the inter predictor 208 are instructed to execute the partial extended image processing, the deblocking filter 205, the intra predictor 207, and the inter predictor 208 execute the operation for the partial extended image processing as described above.
　なお、映像符号化装置において上記のような部分的拡張画像処理が実行される場合、第１フレームバッファ２０４には、拡張画像フレーム（例えば、1920×1088画素のフレーム）が格納されるが、第１フレームバッファ２０４に格納されたフレームにおける下部にある付加画像が除去された後に、本来の画像フレーム（例えば、1920×1080画素のフレーム）のみが表示装置等に出力される。 When the partial extended image processing as described above is executed in the video encoding device, an extended image frame (for example, a frame of 1920 × 1088 pixels) is stored in the first frame buffer 204. After the additional image at the bottom of the frame stored in the one-frame buffer 204 is removed, only the original image frame (for example, a 1920 × 1080 pixel frame) is output to the display device or the like.
　また、映像符号化装置において拡張画像処理が実行される場合、映像復号装置は、H.265 規格に従って復号処理を実行する。その場合、映像復号装置は、復号処理によって拡張画像フレームを得るが、第１フレームバッファ２０４に格納されたフレームにおける下部にある付加画像が除去された後に、本来の画像フレーム（例えば、1920×1080画素のフレーム）のみが表示装置等に出力される。 Also, when the extended image processing is executed in the video encoding device, the video decoding device executes the decoding processing according to the H.265 standard. In that case, the video decoding apparatus obtains an extended image frame by decoding processing, but after the additional image at the bottom of the frame stored in the first frame buffer 204 is removed, the original image frame (eg, 1920 × 1080) is obtained. Only the pixel frame) is output to a display device or the like.
　また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。 Further, although each of the above embodiments can be configured by hardware, it can also be realized by a computer program.
　図８に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、記憶媒体１００３及び記憶媒体１００４を備えている。記憶媒体１００３及び記憶媒体１００４は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。 The information processing system shown in FIG. 8 includes a processor 1001, a program memory 1002, a storage medium 1003, and a storage medium 1004. The storage medium 1003 and the storage medium 1004 may be separate storage media, or may be storage areas composed of the same storage medium. A magnetic storage medium such as a hard disk can be used as the storage medium.
　図８に示された情報処理システムにおいて、プログラムメモリ１００２には、図１及び図６のそれぞれに示された各ユニット（バッファを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１及び図６のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。 In the information processing system shown in FIG. 8, the program memory 1002 stores a program for realizing the function of each unit (except for the buffer) shown in FIG. 1 and FIG. The processor 1001 implements the functions of the video encoding device or the video decoding device shown in FIGS. 1 and 6 by executing processing according to the program stored in the program memory 1002.
　図９は、本発明による映像符号化装置の主要部を示すブロック図である。図９に示すように、本発明による映像符号化装置１０は、入力画像に冗長画像を付加することによって画像のサイズを符号化単位の整数倍にする画像付加部１１（例えば、バッファ１００と符号化制御部１１２とで実現される。）と、符号化単位（例えば、CU）毎に、予測信号を生成する予測処理を実行する予測部１２（例えば、イントラ予測器１１０及びインター予測器１１１で実現される。）と、予測信号と入力画像とに基づくパラメータをエントロピー符号化するエントロピー符号化部１３（例えば、算術符号化器１０４で実現される。）とを備え、エントロピー符号化部１３は、入力画像に冗長画像が付加された場合に、冗長画像に関するパラメータを符号化せず、入力画像に関するパラメータを符号化する。 FIG. 9 is a block diagram showing the main part of the video encoding apparatus according to the present invention. As shown in FIG. 9, a video encoding apparatus 10 according to the present invention adds an image adding unit 11 (for example, a buffer 100 and a code) that adds a redundant image to an input image to make the size of the image an integral multiple of the encoding unit. And a prediction unit 12 (for example, an intra predictor 110 and an inter predictor 111) that executes a prediction process for generating a prediction signal for each coding unit (for example, CU). And an entropy encoding unit 13 (for example, realized by the arithmetic encoder 104) that entropy encodes a parameter based on the prediction signal and the input image. The entropy encoding unit 13 includes: When the redundant image is added to the input image, the parameter regarding the input image is encoded without encoding the parameter regarding the redundant image.
　エントロピー符号化部１３は、入力画像に冗長画像が付加された拡張画像に関するパラメータを符号化する機能（例えば、拡張画像処理を実行する機能）も有することが好ましい。 It is preferable that the entropy encoding unit 13 also has a function (for example, a function for executing extended image processing) for encoding a parameter related to an extended image in which a redundant image is added to the input image.
　予測部１２がイントラ予測部を含む場合に、イントラ予測部は、入力画像に冗長画像が付加された場合に、符号化対象が入力画像に含まれるブロックであるときには、冗長画像の画素を参照画素の候補から除外して予測処理を実行することが好ましい（図２（Ａ）参照）。 When the prediction unit 12 includes an intra prediction unit, when the redundant image is added to the input image and the encoding target is a block included in the input image, the intra prediction unit uses the pixel of the redundant image as a reference pixel. It is preferable to execute the prediction process by excluding the candidates (see FIG. 2A).
　予測部１２がインター予測部を含む場合に、インター予測部は、入力画像に冗長画像が付加された場合に、参照フレームにおけるブロックが冗長画像に含まれるブロックであるときには、入力画像における画素を当該ブロックの画素と見なして予測処理を実行することが好ましい（図３（Ａ）参照）。 When the prediction unit 12 includes an inter prediction unit, the inter prediction unit, when a redundant image is added to the input image and the block in the reference frame is a block included in the redundant image, It is preferable to execute the prediction process by regarding the pixel as a block (see FIG. 3A).
　ブロック歪を除去するためのフィルタ処理を行うデブロッキングフィルタ（例えば、デブロッキングフィルタ１０８）が設けられている場合には、デブロッキングフィルタは、入力画像に冗長画像が付加された場合に、冗長画像の領域に対するフィルタ処理を実行しないことが好ましい。 When a deblocking filter (for example, the deblocking filter 108) that performs a filter process for removing block distortion is provided, the deblocking filter performs a redundant image when a redundant image is added to the input image. It is preferable not to execute the filtering process for the region.
　図１０は、本発明による映像復号装置の主要部を示すブロック図である。図１０に示すように、本発明による映像復号装置２０は、ビットストリームに含まれるパラメータをエントロピー復号するエントロピー復号部２１（例えば、算術復号器２０１で実現される。）と、パラメータに基づいて、符号化単位毎に、予測信号を生成する予測処理を実行する予測部２２とを備え、予測部２２は、イントラ予測部２３（例えば、イントラ予測器２０７）とインター予測部２４（例えば、インター予測器２０８）とを含み、イントラ予測部２３は、復号画像に冗長画像が付加されたと見なして、復号対象が復号画像に含まれるブロックであるときには、冗長画像の画素を参照画素の候補から除外して予測処理を実行し、インター予測部２４は、復号画像に冗長画像が付加されたと見なして予測処理を実行する。 FIG. 10 is a block diagram showing the main part of the video decoding apparatus according to the present invention. As shown in FIG. 10, the video decoding apparatus 20 according to the present invention is based on an entropy decoding unit 21 (for example, realized by an arithmetic decoder 201) that entropy decodes a parameter included in a bitstream, and based on the parameter. A prediction unit 22 that executes a prediction process for generating a prediction signal for each coding unit, and the prediction unit 22 includes an intra prediction unit 23 (for example, an intra predictor 207) and an inter prediction unit 24 (for example, an inter prediction). 208), the intra prediction unit 23 considers that the redundant image is added to the decoded image, and excludes the pixel of the redundant image from the reference pixel candidates when the decoding target is a block included in the decoded image. The inter prediction unit 24 executes the prediction process by regarding that the redundant image is added to the decoded image.
　なお、イントラ予測部２３は、参照フレームにおけるブロックが冗長画像に含まれるブロックであるときには、復号画像における画素を当該ブロックの画素と見なして予測処理を実行することが好ましい。 Note that when the block in the reference frame is a block included in the redundant image, the intra prediction unit 23 preferably performs the prediction process by regarding the pixel in the decoded image as the pixel of the block.
　ブロック歪を除去するためのフィルタ処理を行うデブロッキングフィルタ（例えば、デブロッキングフィルタ２０５）が設けられている場合には、デブロッキングフィルタは、復号画像に冗長画像が付加された場合に、冗長画像の領域に対するフィルタ処理を実行しないことが好ましい。 In the case where a deblocking filter (for example, the deblocking filter 205) that performs a filter process for removing block distortion is provided, the deblocking filter performs a redundant image when a redundant image is added to the decoded image. It is preferable not to execute the filtering process for the region.
　なお、上記の各実施形態では、部分的拡張画像処理の対象である入力画像として主として水平方向の画素数が1920で垂直方向の画素数が1080の画像を想定したが、入力画像のサイズ（画素数）は、1920×1080画素に限られない。画素数が符号化単位（特に、LCU ）の整数倍にならない他の画像を部分的拡張画像処理の対象にすることができる。 In each of the above embodiments, the input image that is the target of the partial extended image processing is assumed to be an image mainly having 1920 pixels in the horizontal direction and 1080 pixels in the vertical direction. The number) is not limited to 1920 × 1080 pixels. Other images in which the number of pixels does not become an integral multiple of the encoding unit (particularly LCU) can be the target of the partial extended image processing.
　また、上記の各実施形態では、垂直方向の画素数が符号化単位の整数倍にならない入力画像を例にしたが、水平方向の画素数が符号化単位の整数倍にならない画像が入力される場合にも、上記の各実施形態の概念を適用することができる。 In each of the above embodiments, an input image in which the number of pixels in the vertical direction is not an integral multiple of the encoding unit is taken as an example. However, an image in which the number of pixels in the horizontal direction is not an integral multiple of the encoding unit is input. Even in this case, the concept of each of the above embodiments can be applied.
　以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 Although the present invention has been described with reference to the embodiments and examples, the present invention is not limited to the above embodiments and examples. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
　この出願は、２０１４年４月４日に出願された日本特許出願２０１４－０７７６００を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims priority based on Japanese Patent Application No. 2014-077600 filed on April 4, 2014, the entire disclosure of which is incorporated herein.
　１０　　　映像符号化装置
　１１　　　画像付加部
　１２　　　予測部
　１３　　　エントロピー符号化部
　２０　　　映像復号装置
　２１　　　エントロピー復号部
　２２　　　予測部
　２３　　　イントラ予測部
　２４　　　インター予測部
　３１　　　映像符号化装置
　４１　　　映像復号装置
　１００　　バッファ
　１０１　　減算器
　１０２　　変換器
　１０３　　量子化器
　１０４　　算術符号化器（CABAC ）
　１０５　　逆量子化器
　１０６　　逆変換器
　１０７　　第１フレームバッファ
　１０８　　デブロッキングフィルタ
　１０９　　第２フレームバッファ
　１１０　　イントラ予測器
　１１１　　インター予測器
　１１２　　符号化制御部
　１１３　　スイッチ
　１１４　　加算器
　２０１　　算術復号器（CABAD ）
　２０２　　逆量子化器
　２０３　　逆変換器
　２０４　　第１フレームバッファ
　２０５　　デブロッキングフィルタ
　２０６　　第２フレームバッファ
　２０７　　イントラ予測器
　２０８　　インター予測器
　２０９　　復号制御部
　２１０　　スイッチ
　２１１　　加算器
　１００１　プロセッサ
　１００２　プログラムメモリ
　１００３　記憶媒体
１００４　記憶媒体 DESCRIPTION OF SYMBOLS 10 Video coding apparatus 11 Image addition part 12 Prediction part 13 Entropy coding part 20 Video decoding apparatus 21 Entropy decoding part 22 Prediction part 23 Intra prediction part 24 Inter prediction part 31 Video coding apparatus 41 Video decoding apparatus 100 Buffer 101 Subtractor 102 Transformer 103 Quantizer 104 Arithmetic Encoder (CABAC)
105 Inverse Quantizer 106 Inverse Transformer 107 First Frame Buffer 108 Deblocking Filter 109 Second Frame Buffer 110 Intra Predictor 111 Inter Predictor 112 Coding Control Unit 113 Switch 114 Adder 201 Arithmetic Decoder (CABAD)
202 Inverse Quantizer 203 Inverse Transformer 204 First Frame Buffer 205 Deblocking Filter 206 Second Frame Buffer 207 Intra Predictor 208 Inter Predictor 209 Decoding Control Unit 210 Switch 211 Adder 1001 Processor 1002 Program Memory 1003 Storage Medium 1004 Storage Medium

Claims (16)

  1. 　入力画像に冗長画像を付加することによって画像のサイズを符号化単位の整数倍にする画像付加手段と、
    　前記符号化単位毎に、予測信号を生成する予測処理を実行する予測手段と、
    　前記予測信号と前記入力画像とに基づくパラメータをエントロピー符号化するエントロピー符号化手段とを備え、
    　前記エントロピー符号化手段は、前記入力画像に前記冗長画像が付加された場合に、前記冗長画像に関するパラメータを符号化せず、前記入力画像に関するパラメータを符号化する
    　ことを特徴とする映像符号化装置。     Image adding means for adding a redundant image to the input image to make the image size an integral multiple of the encoding unit;
    Prediction means for performing a prediction process for generating a prediction signal for each coding unit;
    Entropy encoding means for entropy encoding parameters based on the prediction signal and the input image,
    The entropy encoding means encodes the parameter related to the input image without encoding the parameter related to the redundant image when the redundant image is added to the input image. .
  2. 　前記エントロピー符号化手段は、前記入力画像に前記冗長画像が付加された拡張画像に関するパラメータを符号化する機能も有する
    　請求項１記載の映像符号化装置。     The video encoding apparatus according to claim 1, wherein the entropy encoding unit also has a function of encoding a parameter related to an extended image in which the redundant image is added to the input image.
  3. 　前記予測手段は、イントラ予測手段を含み、
    　前記イントラ予測手段は、前記入力画像に前記冗長画像が付加された場合に、符号化対象が前記入力画像に含まれるブロックであるときには、前冗長画像の画素を参照画素の候補から除外して前記予測処理を実行する
    　請求項１または請求項２記載の映像符号化装置。     The prediction means includes intra prediction means,
    When the redundant image is added to the input image and the encoding target is a block included in the input image, the intra prediction unit excludes the pixels of the previous redundant image from the reference pixel candidates, and The video encoding apparatus according to claim 1 or 2, wherein prediction processing is executed.
  4. 　前記予測手段は、インター予測手段を含み、
    　前記インター予測手段は、前記入力画像に前記冗長画像が付加された場合に、参照フレームにおけるブロックが前記冗長画像に含まれるブロックであるときには、前記入力画像における画素を当該ブロックの画素と見なして前記予測処理を実行する
    　請求項１から請求項３のうちのいずれか１項に記載の映像符号化装置。     The prediction means includes inter prediction means,
    When the redundant image is added to the input image and the block in the reference frame is a block included in the redundant image, the inter prediction means regards the pixel in the input image as a pixel of the block and The video encoding device according to any one of claims 1 to 3, wherein prediction processing is executed.
  5. 　ブロック歪を除去するためのフィルタ処理を行うデブロッキングフィルタをさらに備え、
    　前記デブロッキングフィルタは、前記入力画像に前記冗長画像が付加された場合に、前記冗長画像の領域に対するフィルタ処理を実行しない
    　請求項１から請求項４のうちのいずれか１項に記載の映像符号化装置。     A deblocking filter that performs filtering to remove block distortion;
    The video code according to any one of claims 1 to 4, wherein the deblocking filter does not perform a filtering process on a region of the redundant image when the redundant image is added to the input image. Device.
  6. 　H.265/HEVC規格に基づいて符号化処理を実行する
    　請求項１から請求項５のうちのいずれか１項に記載の映像符号化装置。     The video encoding device according to any one of claims 1 to 5, wherein encoding processing is executed based on the H.265 / HEVC standard.
  7. 　入力画像に冗長画像を付加することによって画像のサイズを符号化単位の整数倍にし、
    　前記符号化単位毎に、予測信号を生成する予測処理を実行し、
    　前記予測信号と前記入力画像とに基づくパラメータをエントロピー符号化し、
    　前記入力画像に前記冗長画像が付加された場合には、前記エントロピー符号化を行うときに、前記冗長画像に関するパラメータを符号化せず、前記入力画像に関するパラメータを符号化する
    　ことを特徴とする映像符号化方法。     By adding a redundant image to the input image, the image size is made an integral multiple of the encoding unit,
    For each coding unit, execute a prediction process for generating a prediction signal,
    Entropy encoding parameters based on the prediction signal and the input image,
    When the redundant image is added to the input image, the parameter regarding the input image is encoded without encoding the parameter regarding the redundant image when the entropy encoding is performed. Encoding method.
  8. 　前記エントロピー符号化を行うときに、前記入力画像に前記冗長画像が付加された拡張画像に関するパラメータを符号化する処理も実行可能な
    　請求項７記載の映像符号化方法。     The video encoding method according to claim 7, wherein when performing the entropy encoding, a process for encoding a parameter related to an extended image in which the redundant image is added to the input image can be executed.
  9. 　コンピュータに、
    　入力画像に冗長画像を付加することによって画像のサイズを符号化単位の整数倍にする処理と、
    　前記符号化単位毎に、予測信号を生成する予測処理を実行する処理と、
    　前記予測信号と前記入力画像とに基づくパラメータをエントロピー符号化する処理とを実行させ、
    　前記入力画像に前記冗長画像が付加された場合には、前記エントロピー符号化を行うときに、前記冗長画像に関するパラメータを符号化せず、前記入力画像に関するパラメータを符号化する処理を実行させる
    　ための映像符号化プログラム。     On the computer,
    Processing to make the size of the image an integral multiple of the encoding unit by adding a redundant image to the input image;
    A process of performing a prediction process for generating a prediction signal for each coding unit;
    A process of entropy encoding a parameter based on the prediction signal and the input image;
    When the redundant image is added to the input image, when the entropy encoding is performed, a parameter related to the input image is encoded without encoding the parameter related to the redundant image. Video encoding program.
  10. 　コンピュータに、
    　前記エントロピー符号化を行うときに、前記入力画像に前記冗長画像が付加された拡張画像に関するパラメータを符号化する処理も実行させる
    　請求項９記載の映像符号化プログラム。     On the computer,
    The video encoding program according to claim 9, wherein when performing the entropy encoding, a process for encoding a parameter related to an extended image in which the redundant image is added to the input image is also executed.
  11. 　ビットストリームに含まれるパラメータをエントロピー復号するエントロピー復号手段と、
    　前記パラメータに基づいて、前記符号化単位毎に、予測信号を生成する予測処理を実行する予測手段とを備え、
    　前記予測手段は、イントラ予測手段とインター予測手段とを含み、
    　前記イントラ予測手段は、復号画像に前記冗長画像が付加されたと見なして、復号対象が前記復号画像に含まれるブロックであるときには、前記冗長画像の画素を参照画素の候補から除外して前記予測処理を実行し、
    　前記インター予測手段は、前記復号画像に前記冗長画像が付加されたと見なして前記予測処理を実行する
    　ことを特徴とする映像復号装置。     Entropy decoding means for entropy decoding parameters included in the bitstream;
    Prediction means for executing a prediction process for generating a prediction signal for each coding unit based on the parameters;
    The prediction means includes an intra prediction means and an inter prediction means,
    The intra prediction means considers that the redundant image is added to the decoded image, and when the decoding target is a block included in the decoded image, excludes the pixel of the redundant image from the reference pixel candidates and performs the prediction process. Run
    The video prediction apparatus, wherein the inter prediction means executes the prediction process by regarding that the redundant image is added to the decoded image.
  12. 　ブロック歪を除去するためのフィルタ処理を行うデブロッキングフィルタをさらに備え、
    　前記デブロッキングフィルタは、前記復号画像に前記冗長画像が付加された場合に、前記冗長画像の領域に対するフィルタ処理を実行しない
    　請求項１１記載の映像復号装置。     A deblocking filter that performs filtering to remove block distortion;
    The video decoding device according to claim 11, wherein the deblocking filter does not perform a filtering process on a region of the redundant image when the redundant image is added to the decoded image.
  13. 　H.265/HEVC規格に基づいて復号処理を実行する
    　請求項１１または請求項１２記載の映像復号装置。     The video decoding device according to claim 11 or 12, wherein decoding processing is executed based on the H.265 / HEVC standard.
  14. 　ビットストリームに含まれるパラメータをエントロピー復号し、
    　前記パラメータに基づいて、符号化単位毎に、予測信号を生成するイントラ予測処理またはインター予測処理を実行し、
    　前記イントラ予測処理を実行するときに、復号画像に冗長画像が付加されたと見なし、かつ、復号対象が前記復号画像に含まれるブロックであるときには、前記冗長画像の画素を参照画素の候補から除外し、
    　前記復号画像に前記冗長画像が付加されたと見なして前記インター予測処理を実行する
    　ことを特徴とする映像復号方法。     Entropy decodes the parameters included in the bitstream,
    Based on the parameters, for each coding unit, execute an intra prediction process or an inter prediction process for generating a prediction signal,
    When executing the intra prediction process, it is considered that a redundant image is added to the decoded image, and when the decoding target is a block included in the decoded image, the pixel of the redundant image is excluded from the reference pixel candidates. ,
    The video decoding method, wherein the inter prediction process is executed assuming that the redundant image is added to the decoded image.
  15. 　H.265/HEVC規格に基づいて復号処理を実行する
    　請求項１４記載の映像復号方法。     The video decoding method according to claim 14, wherein the decoding process is executed based on the H.265 / HEVC standard.
  16. 　コンピュータに、
    　ビットストリームに含まれるパラメータをエントロピー復号する処理と、
    　前記パラメータに基づいて、符号化単位毎に、予測信号を生成するイントラ予測処理またはインター予測処理を実行する処理とを実行させ、
    　前記イントラ予測処理を実行するときに、復号画像に冗長画像が付加されたと見なし、かつ、復号対象が前記復号画像に含まれるブロックであるときには、前記冗長画像の画素を参照画素の候補から除外し、
    　前記復号画像に前記冗長画像が付加されたと見なして前記インター予測処理を実行させる
    　ための映像復号プログラム。     On the computer,
    A process of entropy decoding the parameters included in the bitstream;
    Based on the parameter, for each coding unit, to perform a prediction signal generating intra prediction process or inter prediction process is executed,
    When executing the intra prediction process, it is considered that a redundant image is added to the decoded image, and when the decoding target is a block included in the decoded image, the pixel of the redundant image is excluded from the reference pixel candidates. ,
    A video decoding program for executing the inter prediction process on the assumption that the redundant image is added to the decoded image.
PCT/JP2015/001855 2014-04-04 2015-03-31 Video image encoding apparatus, method, and program, and image decoding apparatus, method, and program WO2015151513A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016511389A JP6590412B2 (en) 2014-04-04 2015-03-31 Video encoding apparatus, method and program, and video decoding apparatus, method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-077600 2014-04-04
JP2014077600 2014-04-04

Publications (1)

Publication Number Publication Date
WO2015151513A1 true WO2015151513A1 (en) 2015-10-08

Family

ID=54239858

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/001855 WO2015151513A1 (en) 2014-04-04 2015-03-31 Video image encoding apparatus, method, and program, and image decoding apparatus, method, and program

Country Status (2)

Country Link
JP (1) JP6590412B2 (en)
WO (1) WO2015151513A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019159846A1 (en) * 2018-02-14 2019-08-22 日本電気株式会社 Signal processing device, signal processing system, signal processing method, and storage medium storing signal processing program
WO2019159850A1 (en) * 2018-02-14 2019-08-22 日本電気株式会社 Signal processing device, signal processing system, signal processing method, and storage medium storing signal processing program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010100672A1 (en) * 2009-03-04 2010-09-10 ルネサスエレクトロニクス株式会社 Compressed dynamic image encoding device, compressed dynamic image decoding device, compressed dynamic image encoding method and compressed dynamic image decoding method
JP2012195702A (en) * 2011-03-15 2012-10-11 Fujitsu Ltd Image encoding method and image encoding device
JP2013509788A (en) * 2009-10-30 2013-03-14 サムスン エレクトロニクス カンパニー リミテッド Method and apparatus for encoding / decoding picture boundary coding unit

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010100672A1 (en) * 2009-03-04 2010-09-10 ルネサスエレクトロニクス株式会社 Compressed dynamic image encoding device, compressed dynamic image decoding device, compressed dynamic image encoding method and compressed dynamic image decoding method
JP2013509788A (en) * 2009-10-30 2013-03-14 サムスン エレクトロニクス カンパニー リミテッド Method and apparatus for encoding / decoding picture boundary coding unit
JP2012195702A (en) * 2011-03-15 2012-10-11 Fujitsu Ltd Image encoding method and image encoding device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019159846A1 (en) * 2018-02-14 2019-08-22 日本電気株式会社 Signal processing device, signal processing system, signal processing method, and storage medium storing signal processing program
WO2019159850A1 (en) * 2018-02-14 2019-08-22 日本電気株式会社 Signal processing device, signal processing system, signal processing method, and storage medium storing signal processing program

Also Published As

Publication number Publication date
JPWO2015151513A1 (en) 2017-04-13
JP6590412B2 (en) 2019-10-16

Similar Documents

Publication Publication Date Title
KR102555352B1 (en) Intra prediction method and encoding apparatus and decoding apparatus using same
RU2654129C2 (en) Features of intra block copy prediction mode for video and image coding and decoding
KR101493140B1 (en) Flexible band offset mode in sample adaptive offset in hevc
JP2020022171A (en) Intra-prediction method and encoder and decoder using the same
KR102175472B1 (en) Method for intra prediction and apparatus thereof
EP2920971B1 (en) Devices and methods for processing of non-idr related syntax for high efficiency video coding (hevc)
US20080084932A1 (en) Controlling loop filtering for interlaced video frames
JP6376130B2 (en) Video encoding apparatus, video decoding apparatus, video encoding method, video decoding method, and program
JP6172162B2 (en) Video encoding apparatus, video decoding apparatus, video encoding method, video decoding method, and program
US20140092975A1 (en) Devices and methods for using base layer motion vector for enhancement layer motion vector prediction
WO2018123314A1 (en) Image encoding method, image decoding method, image encoding device, image decoding device and program
JP6590412B2 (en) Video encoding apparatus, method and program, and video decoding apparatus, method and program
KR20180096194A (en) Apparatus for coding and decoding a transform coefficient, and coding device and decoding device for the same
US10542293B2 (en) Video encoding method, video decoding method, video encoding device, video decoding device, and program
WO2018123315A1 (en) Image encoding method, image decoding method, image encoding device, image decoding device and program
KR102505364B1 (en) Decryption device, program, and decryption method
CN114830646A (en) Image encoding method and image decoding method
CN114830642A (en) Image encoding method and image decoding method
CN114830643A (en) Image encoding method and image decoding method
CN114830641A (en) Image encoding method and image decoding method
CN114830645A (en) Image encoding method and image decoding method
CN114830650A (en) Image encoding method and image decoding method
CN114788270A (en) Image encoding method and image decoding method
KR20190023294A (en) Method and apparatus for encoding/decoding a video signal
KR20140079519A (en) Quantization parameter coding method using average quantization parameter

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15774344

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016511389

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15774344

Country of ref document: EP

Kind code of ref document: A1