WO2017010664A1 - 스케일러블 영상의 고속 부호화/복호화 방법 및 장치 - Google Patents

스케일러블 영상의 고속 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
WO2017010664A1
WO2017010664A1 PCT/KR2016/004645 KR2016004645W WO2017010664A1 WO 2017010664 A1 WO2017010664 A1 WO 2017010664A1 KR 2016004645 W KR2016004645 W KR 2016004645W WO 2017010664 A1 WO2017010664 A1 WO 2017010664A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
picture
encoding
upsampling
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2016/004645
Other languages
English (en)
French (fr)
Inventor
김용환
권기원
우용제
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Electronics Technology Institute
Original Assignee
Korea Electronics Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Electronics Technology Institute filed Critical Korea Electronics Technology Institute
Publication of WO2017010664A1 publication Critical patent/WO2017010664A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Definitions

  • the present invention relates to fast encoding and decoding of an image, and more particularly, to a method for speeding up pixel block upsampling, which is an essential module for supporting spatial scalability in a layer-based scalable image encoder and a decoder.
  • SHVC High Efficiency Video Coding
  • SHVC is video coding with scalable coding based on HEVC codec.
  • Scalable coding is based on a multi-layer structure, and the biggest difference from the existing single layer coding standard is that an inter-layer prediction process is added as shown in FIG. Therefore, the SHVC encoder and the decoder add memory and arithmetic operations required for inter-layer prediction as compared to the conventional single layer HEVC coding.
  • pixel interpolation calculation through an up-sampling filter is essential to support spatial scalability.
  • the SHM reference software which is announced for algorithm verification, implements the 'picture-based upsampling process'.
  • the picture-based upsampling process can be divided into two modules.
  • the first module is a module that precomputes the upsampling pixel coordinates of FIG. 2 (that is, the RL pixel coordinates corresponding to the EL pixel coordinates), and the second module 3 is a picture based upsampling operation module.
  • EL stands for Enhancement Layer
  • RL stands for Reference Layer.
  • el_width and el_height mean width and length of an EL picture, respectively.
  • CroppingChangeFlag is a flag indicating a case where cropping offsets of EL and RL pictures vary for each picture in one sequence.
  • the x and y pixel coordinates of the luma (Y) plane computed by the formulas defined in the SHVC standard are stored in the m_xPosY [] and m_yPosY [] arrays, and the coordinates of the chroma (Cb / Cr) planes are m_xPosC [] and m_yPosC []. Stored in an array.
  • up-sampling pixel coordinate calculation may be performed in advance on only the first picture for one sequence, or only when the cropping offset information is changed, thereby reducing the amount of computation.
  • the size of the luma pixel coordinate m_xPosY [] is el_width and the size of m_yPosY [] is el_height.
  • the size of m_xPosC [], which is the chroma pixel coordinates, is the width of the EL chroma picture, and the size of m_yPosC [] is the height of the EL chroma picture.
  • the picture-based upsampling method of FIG. 3 is a method of upsampling the entire RL picture and storing it in a separate picture buffer before all EL picture decoding or encoding.
  • the upsampling filtering operations of (1) and (3) are performed using the values of m_xPosY [], m_yPosY [], m_xPosC [], and m_yPosC [] calculated in the common preparation process of FIG.
  • This picture-based upsampling method has two disadvantages as a result.
  • two picture size buffer memories are required. That is, a temporary buffer having a picture size to store the horizontal up-sampling result is required, and a picture buffer to store the vertical up-sampling result is required.
  • the present invention has been made to solve the above problems, and an object of the present invention is to perform an upsampling process on only necessary blocks in a PU (Prediction Unit) encoding / decoding process, thereby using the memory usage of the encoder / decoder and
  • the present invention provides a fast encoding / decoding method that reduces computation amount.
  • a scalable image processing method includes: calculating a position of an RL block in a reference layer (RL) picture; Up-sampling the calculated RL block; And encoding or decoding the current PU (Prediction Unit) with reference to the up-sampled RL block.
  • RL reference layer
  • the RL block may include RL pixels to be referred to for encoding or decoding of a current PU of an EL (Enhancement Layer) picture.
  • the up-sampling may include: up-sampling the RL block horizontally; And vertically up-sampling the RL block.
  • the up-sampling may further include padding at least one of a top and a bottom of the horizontally up-sampled RL block, wherein the vertical up-sampling step vertically ups the padded RL block.
  • the size of the RL block may be determined by the structure of the up-sampling filter.
  • a computer-readable recording medium comprising: calculating the position of the RL block in the reference layer (RL) picture; Up-sampling the calculated RL block; And encoding or decoding the current PU (Prediction Unit) with reference to the up-sampled RL block.
  • the program capable of performing the scalable image processing method according to claim 1 is included.
  • the upsampling process is performed on only necessary blocks, thereby reducing the memory usage of the encoder / decoder and reducing the amount of computation, thereby increasing the encoding / decoding rate. It can be improved.
  • 5 is block coordinates (for Y PB case) of an RL picture corresponding to a current PU of an EL picture
  • FIG. 6 is a block diagram conceptual diagram of PU-based upsampling filtering
  • FIG. 9 is a block diagram of an image encoding / decoding apparatus according to another embodiment of the present invention.
  • the most significant difference from the conventional HEVC is that SHVC performs inter-layer prediction.
  • the picture upsampling process is essential for inter-layer prediction.
  • the upsampling process is computationally expensive because it uses an 8-tap polyphase FIR filter for luma and a 4-tap polyphase FIR filter for chroma.
  • the fast sampling that reduces the memory usage and the amount of computation of the encoder / decoder by performing an upsampling process only when necessary, i.e., only when inter-layer prediction is required.
  • the fast sampling that reduces the memory usage and the amount of computation of the encoder / decoder by performing an upsampling process only when necessary, i.e., only when inter-layer prediction is required.
  • upsampling is performed only on blocks necessary in a PU (Prediction Unit) decoding or encoding process without performing upsampling on the entire picture. do.
  • PU Prediction Unit
  • the conventional 'picture-based upsampling method' is inefficient in terms of calculation amount and memory consumption because upsampling is performed on reference layer (RL) pixel blocks that are not referred to by EL (Enhancement Layer). .
  • the upsampling is performed only on the RL pixel blocks referred to in the EL to avoid unnecessary computation, and the memory usage is greatly reduced as compared with the upsampling in the picture unit by the upsampling in the PU unit.
  • FIG. 4 is a flowchart provided to explain a PU-based upsampling method according to an embodiment of the present invention.
  • the entire process is divided into picture unit processing and PU unit processing.
  • the relatively low complexity preprocessing portion is performed in advance in picture units. This process is the same as the common preliminary preparation process for upsampling in FIG.
  • PU-based upsampling filtering is performed only when a reference picture is an RL picture through a flag in a reference picture stored in a coded picture buffer (CPB) or a decoded picture buffer (DPB) at the time of Inter PU encoding or decoding of an EL picture.
  • CPB coded picture buffer
  • DPB decoded picture buffer
  • Intra PU does not perform inter-layer prediction in the SHVC standard.
  • the texture up-sampling procedure is as follows.
  • y coordinates yRef0 and yRef1 of the RL luma (Y) plane corresponding to the y coordinates cur_y0 and cur_y0 + H of the current PU of the EL are calculated based on the SHVC standard. Since the calculation has already been performed through the common preliminary preparation process of FIG. 2, the value is simply obtained by using a table look-up. Since the luma upsampling uses an 8-tap polyphase filter, the y coordinate of the RL luma block actually used for PU-based upsampling becomes ref_y0 and ref_y1 of FIG. 5, which is obtained using Equation 1 below.
  • W and H respectively representing the width and height of the EL PU may be the same value or different values depending on the PU type.
  • the maximum value for each of W and H is 64, the maximum width or height of the luma coding tree block (CTB).
  • CTB luma coding tree block
  • the width and height of the RL block required for upsampling filtering can be expressed by W_RL and H_RL, and can be obtained from Equation 3.
  • W_RL ref_x1-ref_x0
  • H_RL ref_y1-ref_y0 (expression 3)
  • m_pTempBuf [] 64 * (64 + 4 * 2) regardless of the size of the picture and is a 16-bit data type.
  • m_lumaFilter [16] [8] is an 8-tap FIR filter coefficient array with 16 phases. Filter coefficient values are specified in the SHVC standard.
  • the sumLumaHor8 (src, pFC) function of FIG. 7 is a filtering function that multiplies and adds 8 pixels and 8 filter coefficients in the horizontal direction, respectively.
  • C pseudo code is as follows.
  • the sumLumaVer8 (src, pFC, stride) function of FIG. 7 is a filtering function of multiplying 8 pixels and 8 filter coefficients in a vertical direction, respectively, and C pseudo code is as follows.
  • shift1Y is a value obtained by subtracting 8 from luma bit depth of RL as specified in the SHVC standard.
  • M_TempBuf [] of FIG. 8 is the same buffer as FIG. 7, and m_chromaFilter [16] [4] is a 4-tap FIR filter coefficient array having 16 phases. Filter coefficient values are specified in the SHVC standard.
  • the sumChromaHor4 (src, pFC) function of FIG. 8 is a filtering function that multiplies and adds four pixels and four filter coefficients in a horizontal direction, respectively.
  • C pseudo code is as follows.
  • the sumChromaVer4 (src, pFC, stride) function of FIG. 8 is a filtering function of multiplying four pixels and four filter coefficients in a vertical direction, respectively, and the C pseudo code is as follows.
  • Shift1C of FIG. 8 is obtained by subtracting 8 from the chroma bit depth of the RL as specified in the SHVC standard.
  • the algorithm of FIG. 8 should be applied to Cb and Cr PB respectively. In other words, the same routine should be executed twice after changing only the RL picture pixel.
  • the memory usage of the temporary buffer of the conventional technology 'picture-based upsampling method' is el_width * el_height * sizeof (int16_t), and the luma picture memory size in which pixels are stored as the result of upsampling is el_width * el_height * 1.5.
  • An image encoding / decoding apparatus includes an image input unit 110, an SHVC codec 120, an image output unit 130, and a memory 140.
  • the SHVC codec 120 performs encoding or decoding on the image input through the image input unit 110 and outputs the image through the image output unit 130. In this process, the SHVC codec 120 selectively up-samples a specific block in the RL according to the PU-based upsampling method shown in FIG. 4, and encodes or decodes the current PU with reference to the up-sampled RL block. Thus, the minimum memory 140 is used.
  • the size of the RL block is determined by the structure of the up-sampling filter, the size of the RL block at the time of luma upsampling and the size of the RL block at the time of chroma upsampling are different from each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

스케일러블 영상의 고속 부호화/복호화 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 스케일러블 영상 처리 방법은, RL 픽처에서 RL 블록의 위치를 계산하고, 계산된 RL 블록을 업-샘플링하며, 업-샘플링된 RL 블록을 참조하여 현재 PU를 부호화 또는 복호화한다. 이에 의해, PU 부호화/복호화 과정에서, 필요한 블록에 대해서만 업샘플링 프로세스를 수행함으로써 부호화기/복호화기의 메모리 사용량을 줄이고, 연산량을 감소시켜 부호화/복호화 속도를 향상시킬 수 있게 된다.

Description

스케일러블 영상의 고속 부호화/복호화 방법 및 장치
본 발명은 영상의 고속 부호화 및 복호화에 관한 것으로, 더욱 상세하게는 레이어 기반 스케일러블 영상 부호화기 및 복호화기에서 공간 스케일러빌러티 지원을 위해 필수적인 모듈인 화소 블록 업샘플링의 고속화 방법에 관한 것이다.
1. SHVC(Scalable High efficiency Video Coding)
SHVC는 HEVC 코덱을 기반으로 스케일러블 코딩 기능을 추가한 비디오 코딩이다. 스케일러블 코딩은 멀티 레이어 구조를 기반으로 하고 있고, 기존의 싱글 레이어 코딩 표준과의 가장 큰 차이는 도 1에 보이듯이 레이어 간 예측(inter-layer prediction) 프로세스가 추가되는 점이다. 따라서 SHVC 부호화기 및 복호화기는 기존의 싱글 레이어 HEVC 코딩에 비하여 레이어 간 예측에 필요한 메모리와 연산량이 추가된다. 특히, 공간(spatial) 스케일러빌터를 지원하기 위해서는 업샘플링(Up-sampling) 필터를 통한 화소 보간(interpolation) 계산이 필수적이다.
2. 픽처 기반 업샘플링 프로세스
SHVC 표준화 과정에서 알고리듬 검증용으로 발표하고 있는 SHM 참조 SW에서는 '픽처 기반 업샘플링 프로세스'를 구현하고 있다.
먼저 픽처 기반 업샘플링 프로세스는 2개의 모듈로 나눌 수가 있는데, 첫 번째 모듈은 도 2의 업샘플링 화소 좌표(즉, EL 화소 좌표에 대응하는 RL 화소 좌표)를 미리 계산하는 모듈이고, 두 번째는 도 3의 픽처 기반 업샘플링 연산 모듈이다. 도 2에서 EL은 Enhancement Layer, RL은 Reference Layer를 의미한다. 또한 el_width 및 el_height는 EL 픽처의 넓이, 길이를 각각 의미한다. CroppingChangeFlag는 하나의 시퀀스 내에서 픽처마다 EL 및 RL 픽처의 cropping offset이 달라지는 경우를 나타내는 플래그이다. SHVC 표준에 정의된 수식으로 계산된 루마(Y) 플레인의 x, y 화소 좌표는 m_xPosY[] 및 m_yPosY[] 배열에 저장되고, 크로마(Cb/Cr) 플레인의 좌표는 m_xPosC[] 및 m_yPosC[] 배열에 저장된다. 플레인 공통 사전 준비 모듈을 통해 업샘플링 화소 좌표 계산을 하나의 시퀀스에 대해서 첫 번째 픽처에서만 미리 수행함으로써, 또는 cropping offset 정보가 변경될 때만 수행함으로써, 연산량을 줄일 수 있다. 루마 화소 좌표인 m_xPosY[]의 크기는 el_width이고 m_yPosY[]의 크기는 el_height이다. 크로마 화소 좌표인 m_xPosC[]의 크기는 EL 크로마 픽처의 width이고 m_yPosC[]의 크기는 EL 크로마 픽처의 height이다.
도 3의 픽처 기반 업샘플링 방법은 모든 EL 픽처 복호화 또는 부호화 전에 RL 픽처 전체를 업샘플링하여 별도의 픽처 버퍼에 저장하는 방식이다. 도 2의 공통 준비 프로세스에서 계산한 m_xPosY[], m_yPosY[], m_xPosC[], m_yPosC[]의 값들을 이용하여 (1)과 (3)의 업샘플링 필터링 연산을 수행하게 된다.
이러한 픽처 기반 업샘플링 방법은 결과적으로 2가지 단점을 갖게 된다.
1) 추가적으로 픽처 크기의 버퍼 메모리가 2개 필요하다. 즉, Horizontal up-sampling 결과를 저장할 픽처 크기의 임시 버퍼가 필요하고, Vertical up-sampling 결과를 저장할 픽처 버퍼가 필요하다.
2) 실제로 레이어간 예측에 사용하지 않는 화소 블록 영역까지도 전부 업샘플링하는 연산 부하가 발생한다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, PU(Prediction Unit) 부호화/복호화 과정에서, 필요한 블록에 대해서만 업샘플링 프로세스를 수행함으로써 부호화기/복호화기의 메모리 사용량 및 연산량을 줄이는 고속 부호화/복호화 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 스케일러블 영상 처리 방법은, RL(Reference Layer) 픽처에서 RL 블록의 위치를 계산하는 단계; 계산된 RL 블록을 업-샘플링하는 단계; 및 상기 업-샘플링된 RL 블록을 참조하여, 상기 현재 PU(Prediction Unit)를 부호화 또는 복호화하는 단계;를 포함한다.
그리고, 상기 RL 블록은, EL(Enhancement Layer) 픽처의 현재 PU의 부호화 또는 복호화에 참조하게 될 RL 화소들로 구성될 수 있다.
또한, 상기 업-샘플링 단계는, 상기 RL 블록을 수평으로 업-샘플링하는 단계; 및 상기 RL 블록을 수직으로 업-샘플링하는 단계;를 포함
그리고, 상기 업-샘플링 단계는, 수평으로 업-샘플링된 RL 블록의 상부 및 하부 중 적어도 하나를 패딩하는 단계;를 더 포함하고, 상기 수직 업-샘플링 단계는, 패딩된 RL 블록을 수직으로 업-샘플링
또한, 상기 RL 블록의 크기는, 업-샘플링 필터의 구조에 의해 결정될 수 있다.
한편, 본 발명의 다른 실시예에 따른, 컴퓨터로 읽을 수 있는 기록매체에는, RL(Reference Layer) 픽처에서 RL 블록의 위치를 계산하는 단계; 계산된 RL 블록을 업-샘플링하는 단계; 및 상기 업-샘플링된 RL 블록을 참조하여, 상기 현재 PU(Prediction Unit)를 부호화 또는 복호화하는 단계;를 포함하는 것을 특징으로 하는 스케일러블 영상 처리 방법을 수행할 수 있는 프로그램이 수록된다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, PU 부호화/복호화 과정에서, 필요한 블록에 대해서만 업샘플링 프로세스를 수행함으로써 부호화기/복호화기의 메모리 사용량을 줄이고, 연산량을 감소시켜 부호화/복호화 속도를 향상시킬 수 있게 된다.
도 1은 SHVC 부호화기 블록도,
도 2는 화소 업샘플링을 위한 공통 사전 준비 프로세스,
도 3은 픽처 기반 업샘플링 방법,
도 4는 PU 기반 업샘플링 방법의 흐름도,
도 5는 EL 픽처의 현재 PU에 해당하는 RL 픽처의 블록 좌표(Y PB 경우),
도 6은 PU 기반 업샘플링 필터링의 블록 버퍼 개념도,
도 7은 PU 기반 루마 업샘플링 필터링의 C 의사 코드,
도 8은 PU 기반 크로마 업샘플링 필터링의 C 의사 코드, 그리고,
도 9는 본 발명의 다른 실시예에 따른 영상 부호화/복호화 장치의 블록도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
SHVC가 기존의 HEVC와 가장 크게 다른 점은 레이어 간 예측(inter-layer prediction)을 수행하는 점이다. 그런데 공간 스케일러빌러티는 레이어 간 예측에 픽처 업샘플링 프로세스가 필수적이다. 업샘플링 프로세스는 루마의 경우 8-tap polyphase FIR 필터를 사용하고, 크로마의 경우 4-tap polyphase FIR 필터를 사용하기 때문에 연산량이 많다.
본 발명의 실시예에서는 PU(Prediction Unit) 부호화/복호화 과정에서, 필요한 경우에만, 즉, 레이어간 예측이 필요한 경우에만, 업샘플링 프로세스를 수행함으로써 부호화기/복호화기의 메모리 사용량 및 연산량을 줄이는 고속 부호화/복호화 방법을 제시한다.
또한, 본 발명의 실시예에서는, 기존의 '픽처 기반 업샘플링 방법'과 달리, 픽처 전체에 대해서 업샘플링을 수행하지 않고, PU(Prediction Unit) 복호화 또는 부호화 과정에서 필요한 블록에 대해서만 업샘플링을 수행한다.
기존의 '픽처 기반 업샘플링 방법'은, EL(Enhancement Layer) 에서 참조하지 않는 RL(Reference Layer) 화소 블록에 대해서도 업샘플링을 수행하여, 불필요한 연산을 수행하게 되기 때문에 연산량과 메모리 소비 측면에서 비효율적이었다.
본 발명의 실시예에서는 EL에서 참조하는 RL 화소 블록에 대해서만 업샘플링을 수행하여 불필요한 연산을 피하고, PU 단위의 업샘플링을 통하여 픽처 단위의 업샘플링에 비해 메모리 사용량을 크게 줄인다.
도 4는 본 발명의 일 실시예에 따른 PU 기반 업샘플링 방법(PU-based upsampling method)의 설명에 제공되는 흐름도이다.
도 4에 도시된 바와 같이, PU 기반 업샘플링 방법에서는, 전체 프로세스를 픽처 단위 처리와 PU 단위 처리를 분리한다. 비교적 낮은 복잡도의 전처리 부분은 픽처 단위로 미리 수행한다. 이 과정은, 도 2의 업샘플링을 위한 공통 사전 준비 프로세스와 동일하다.
한편, 높은 복잡도와 많은 메모리가 필요한 업샘플링 필터링은 EL PU의 Inter 예측 타입에 따라 필요할 때만 PU 단위로 수행한다.
본 발명의 실시예에 따른 PU 기반 업샘플링 방법에서, RL 픽처의 좌/우 경계 패딩은 RL 픽처 부호화 또는 복호화시 이미 수행되었다고 가정한다. PU 기반 업샘플링 필터링은 EL 픽처의 Inter PU 부호화 또는 복호화시에 CPB(Coded Picture Buffer) 또는 DPB(Decoded Picture Buffer) 내에 저장된 참조 픽처 내의 플래그를 통해서 참조 픽처가 RL 픽처인 경우에만 수행한다. 참고로, SHVC 표준에서 Intra PU는 레이어간 예측을 수행하지 않는다.
Texture up-sampling 절차는 다음과 같다.
(1) 현재 PU에 대응하는 RL 블록 위치를 계산
- EL 픽처에서 현재 부호화 또는 복호화되고 있는 현재 PU가 업샘플링에서 참조하게 될 RL 픽처의 대응하는 블록의 좌표 및 필터링에 필요한 좌표를 계산한다. 도 5에는 EL 픽처의 현재 PU에 대응하는 RL 픽처의 블록 좌표를 나타내었다.
도 5에서, EL의 현재 PU의 y좌표 cur_y0과 cur_y0 + H에 각각 대응하는 RL 루마(Y) 플레인의 y 좌표 yRef0 와 yRef1는 SHVC 표준에 근거하여 계산한다. 이는, 도 2의 공통 사전 준비 프로세스를 통하여 이미 계산을 다 하였기 때문에 단순히 table look-up으로 값을 얻게 된다. 루마 업샘플링의 경우 8-tap polyphase filter를 사용하므로, 실제로 PU 기반 업샘플링에 이용되는 RL 루마 블록의 y 좌표는 도 5의 ref_y0와 ref_y1이 되며, 이는 다음의 (식 1)을 이용하여 구한다.
ref_y0 = yRef0 - 3
ref_y1 = yRef1 + 4 (식 1)
크로마(Cb/Cr)의 경우는 4-tap polyphase filter를 사용하므로, 다음의 (식 2)를 이용하여 RL 크로마 블록의 y 좌표를 구한다.
ref_cy0 = cyRef0 - 1
ref_cy1 = cyRef1 + 2 (식 2)
도 5에서 EL PU의 넓이와 높이를 각각 나타내는 W와 H는 PU 타입에 따라 동일한 값일 수도 있고 다른 값일 수도 있다. W와 H 각각의 최대값은 루마 CTB(Coding Tree Block)의 최대 넓이 또는 높이인 64이다. 또한 업샘플링 필터링에 필요한 RL 블록의 넓이와 높이는 W_RL과 H_RL로 표시하고, (식 3)으로 구할 수 있다.
W_RL = ref_x1 - ref_x0
H_RL = ref_y1 - ref_y0 (식 3)
다음, (2) 수평으로 업샘플링(Horizontanl up-sampling), (3) 수평으로 업샘플링된 RL 블록의 상부(top) 또는 하부(botttom)를 패딩(padding)하며, (4) 수직으로 업샘플링(Vertical up-sampling) 한다. 도 6에는 '(2)', '(3)' 및 '(4)' 절차에 대한 개념을 블록 버퍼 관점에서 나타내었다.
도 4에 제시된 알고리듬에 의한 PU 기반 루마 업샘플링 방법의 C 의사 코드는 도 7에 나타난 바와 같다.
도 7에서 m_pTempBuf[]의 크기는 픽처의 크기와 상관없이 64*(64+4*2)이고, 16-bit 데이터 타입이다. m_lumaFilter[16][8]는 16개의 phase를 갖는 8-tap FIR 필터 계수 배열이다. 필터 계수 값은 SHVC 표준에 명시되어 있다.
도 7의 sumLumaHor8(src, pFC) 함수는 8개의 화소와 8개의 필터 계수를 가로 방향으로 각각 곱하여 더해주는 필터링 함수이고 C 의사코드는 다음과 같다.
result = (src[0]*pFC[0] + src[1]*pFC[1] + src[2]*pFC[2] + src[3]*pFC[3] + src[4]*pFC[4] + src[5]*pFC[5] + src[6]*pFC[6] + src[7]*pFC[7]);
도 7의 sumLumaVer8(src, pFC, stride) 함수는 8개의 화소와 8개의 필터 계수를 세로 방향으로 각각 곱하여 더해주는 필터링 함수이고 C 의사코드는 다음과 같다.
result = (src[0]*pFC[0] + src[1*stride]*pFC[1] + src[2*stride]*pFC[2] + src[3*stride]*pFC[3] + src[4*stride]*pFC[4] + src[5*stride]*pFC[5] + src[6*stride]*pFC[6] + src[7*stride]*pFC[7]);
도 7에서 shift1Y 는 SHVC 표준에 명시된 대로 RL의 루마 Bit Depth에서 8을 뺀 값이다.
한편, 도 4에 제시된 알고리듬에 의한 PU 기반 크로마 업샘플링 방법의 C 의사 코드는 도 8에 나타난 바와 같다.
도 8의 m_TempBuf[]는 도 7과 동일한 버퍼이고, m_chromaFilter[16][4]는 16개의 phase를 갖는 4-tap FIR 필터 계수 배열이다. 필터 계수 값은 SHVC 표준에 명시되어 있다.
도 8의 sumChromaHor4(src, pFC) 함수는 4개의 화소와 4개의 필터 계수를 가로 방향으로 각각 곱하여 더해주는 필터링 함수이고 C 의사코드는 다음과 같다.
result = (src[0]*pFC[0] + src[1]*pFC[1] + src[2]*pFC[2] + src[3]*pFC[3]);
도 8의 sumChromaVer4(src, pFC, stride) 함수는 4개의 화소와 4개의 필터 계수를 세로 방향으로 각각 곱하여 더해주는 필터링 함수이고 C 의사코드는 다음과 같다.
result = (src[0]*pFC[0] + src[1*stride]*pFC[1] + src[2*stride]*pFC[2] + src[3*stride]*pFC[3]);
도 8의 shift1C는 SHVC 표준에 명시된 대로 RL의 크로마 Bit Depth에서 8을 뺀 값이다.
도 8의 알고리듬은 Cb 와 Cr PB에 각각 적용되어야 한다. 즉, 동일한 루틴을 RL 픽처 화소만 변경한 후에 2번 실행시켜야 한다.
PU 기반 업샘플링 방법의 임시 버퍼의 메모리 크기는, 도 7 과 8을 통해 알 수 있는 바와 같이, 최대 PB 크기인 CTB 크기에 top/down 패딩을 위한 4를 더해준 크기이다. 즉, 64*(64+4*2)*sizeof(int16_t) = 9216 바이트이다. 또한 예를 들어, YCbCr420 포맷 영상에서 최종 업샘플링 결과 화소가 저장되는 블록의 메모리 크기는 64*64*1.5 = 6144 바이트 크기이다. 그에 반해 기존 기술인 '픽처 기반 업샘플링 방법'의 임시 버퍼의 메모리 사용량은 el_width*el_height*sizeof(int16_t) 이고, 업샘플링 결과 화소가 저장되는 루마 픽처 메모리 크기는 el_width*el_height*1.5 이다.
UHD 영상 부호화기 및 복호화기에서 기존 기술과 본 발명의 실시예는 메모리 사용량은 큰 차이를 보인다. 즉, 픽처 기반 업샘플링 방법은 3840*2160*2 + 3840*2160*1.5 = 28304640 바이트의 메모리가 필요하게 되지만, 본 발명의 실시예인 PU 기반 업샘플링 방법은 단지 9216+6144=15360 바이트의 메모리만 필요하다.
또한, 레이어간 예측이 필요한 경우에만 업샘플링 필터링 연산을 수행하기 때문에, 연산량 절감을 통한 고속 SHVC 부호화기 및 복호화기 설계가 가능해진다.
도 9는 본 발명의 다른 실시예에 따른 영상 부호화/복호화 장치의 블록도이다. 본 발명의 실시예에 따른 영상 부호화/복호화 장치는, 도 9에 도시된 바와 같이, 영상 입력부(110), SHVC 코덱(120), 영상 출력부(130) 및 메모리(140)를 포함한다.
SHVC 코덱(120)는 영상 입력부(110)를 통해 입력된 영상에 대해 부호화 또는 복호화를 수행하여 영상 출력부(130)를 통해 출력한다. 이 과정에서, SHVC 코덱(120)은 도 4에 도시된 PU 기반 업샘플링 방법에 따라 RL에서 특정 블록만을 선별적으로 업-샘플링하고, 업-샘플링된 RL 블록을 참조하여 현재 PU를 부호화 또는 복호화하여, 최소한의 메모리(140)를 이용한다.
이때, RL 블록의 크기는 업-샘플링 필터의 구조에 의해 결정되므로, 루마 업샘플링 시의 RL 블록의 크기와 크로마 업샘플링 시의 RL 블록의 크기는 서로 다르다.
지금까지, 스케일러블 영상의 고속 부호화/복호화 방법 및 장치에 대해 바람직한 실시예들을 들어 상세히 설명하였다. 제시된 방법과 장치 외에도, 스케일러블 영상의 고속 부호화/복호화 방법을 소프트웨어로 구현하는 경우는 물론, 업샘플링 방법만을 소프트웨어로 구현하는 경우도, 본 발명의 범주에 포함될 수 있음에 유념하여야 한다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (6)

  1. RL(Reference Layer) 픽처에서 RL 블록의 위치를 계산하는 단계;
    계산된 RL 블록을 업-샘플링하는 단계; 및
    상기 업-샘플링된 RL 블록을 참조하여, 상기 현재 PU(Prediction Unit)를 부호화 또는 복호화하는 단계;를 포함하는 것을 특징으로 하는 스케일러블 영상 처리 방법.
  2. 청구항 1에 있어서,
    상기 RL 블록은,
    EL(Enhancement Layer) 픽처의 현재 PU의 부호화 또는 복호화에 참조하게 될 RL 화소들로 구성되는 것을 특징으로 하는 스케일러블 영상 처리 방법.
  3. 청구항 1에 있어서,
    상기 업-샘플링 단계는,
    상기 RL 블록을 수평으로 업-샘플링하는 단계; 및
    상기 RL 블록을 수직으로 업-샘플링하는 단계;를 포함하는 것을 특징으로 하는 스케일러블 영상 처리 방법.
  4. 청구항 3에 있어서,
    상기 업-샘플링 단계는,
    수평으로 업-샘플링된 RL 블록의 상부 및 하부 중 적어도 하나를 패딩하는 단계;를 더 포함하고,
    상기 수직 업-샘플링 단계는,
    패딩된 RL 블록을 수직으로 업-샘플링하는 것을 특징으로 하는 스케일러블 영상 처리 방법.
  5. 청구항 1에 있어서,
    상기 RL 블록의 크기는,
    업-샘플링 필터의 구조에 의해 결정되는 것을 특징으로 하는 스케일러블 영상 처리 방법.
  6. RL(Reference Layer) 픽처에서 RL 블록의 위치를 계산하는 단계;
    계산된 RL 블록을 업-샘플링하는 단계; 및
    상기 업-샘플링된 RL 블록을 참조하여, 상기 현재 PU(Prediction Unit)를 부호화 또는 복호화하는 단계;를 포함하는 것을 특징으로 하는 스케일러블 영상 처리 방법을 수행할 수 있는 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2016/004645 2015-07-10 2016-05-03 스케일러블 영상의 고속 부호화/복호화 방법 및 장치 Ceased WO2017010664A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0098346 2015-07-10
KR1020150098346A KR20170006926A (ko) 2015-07-10 2015-07-10 스케일러블 영상의 고속 부호화/복호화 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2017010664A1 true WO2017010664A1 (ko) 2017-01-19

Family

ID=57757860

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/004645 Ceased WO2017010664A1 (ko) 2015-07-10 2016-05-03 스케일러블 영상의 고속 부호화/복호화 방법 및 장치

Country Status (2)

Country Link
KR (1) KR20170006926A (ko)
WO (1) WO2017010664A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070140354A1 (en) * 2005-12-15 2007-06-21 Shijun Sun Methods and Systems for Block-Based Residual Upsampling
KR100900294B1 (ko) * 2006-11-09 2009-05-29 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
KR101005682B1 (ko) * 2006-01-11 2011-01-05 콸콤 인코포레이티드 미세 입도 공간 확장성을 가지는 비디오 코딩
KR101066117B1 (ko) * 2009-11-12 2011-09-20 전자부품연구원 스케일러블 영상 코딩 방법 및 장치
KR20150009468A (ko) * 2013-07-15 2015-01-26 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070140354A1 (en) * 2005-12-15 2007-06-21 Shijun Sun Methods and Systems for Block-Based Residual Upsampling
KR101005682B1 (ko) * 2006-01-11 2011-01-05 콸콤 인코포레이티드 미세 입도 공간 확장성을 가지는 비디오 코딩
KR100900294B1 (ko) * 2006-11-09 2009-05-29 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
KR101066117B1 (ko) * 2009-11-12 2011-09-20 전자부품연구원 스케일러블 영상 코딩 방법 및 장치
KR20150009468A (ko) * 2013-07-15 2015-01-26 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치

Also Published As

Publication number Publication date
KR20170006926A (ko) 2017-01-18

Similar Documents

Publication Publication Date Title
US20240064297A1 (en) Virtual Boundary Processing Simplification for Adaptive Loop Filtering (ALF) in Video Coding
CN113039798B (zh) 解码设备实现的译码方法及解码器
CN114531589B (zh) 图像数据编码/解码方法、介质和发送比特流的方法
CN107710761B (zh) 图像预测方法和相关设备
CN113891096B (zh) 图像数据编码/解码方法和装置
JP2023139107A (ja) クロスコンポーネント依存性を低減するための方法
CN115174906B (zh) 几何分割模式的译码过程
US11159811B2 (en) Partitioning of coded point cloud data
US20210136389A1 (en) Fast Intra-Prediction Mode Selection in Video Coding
WO2015005621A1 (ko) 비디오 신호 처리 방법 및 장치
US20190052896A1 (en) Intra block copy (intrabc) cost estimation
CN112740703B (zh) 编码器、解码器和用于变换处理的对应方法
CN118945379B (zh) 图像预测方法、编码器、解码器以及存储介质
CN110602493B (zh) 一种仿射运动补偿的交织预测的方法及设备
WO2017010664A1 (ko) 스케일러블 영상의 고속 부호화/복호화 방법 및 장치
CN111869215A (zh) 受限长距离运动矢量预测方法及装置
WO2013162272A1 (ko) 비디오 신호 처리 방법 및 장치
RU2815434C2 (ru) Способы уменьшения межкомпонентной зависимости
JPH07121687A (ja) 画像コーデック用プロセッサおよびアクセスパターン変換方法
CN117956168A (zh) 图像编解码方法和装置
CN121940553A (zh) 一种集成多标准的低复杂度帧内预测方法及系统
CN121729888A (zh) 用于在图像处理应用中提供色度格式可扩缩性的技术
JP2004179810A (ja) 画像符号化装置
JPH01114279A (ja) 画像符号化装置
HK40052117B (en) An encoder, a decoder, and corresponding methods that are used for transform process

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16824581

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16824581

Country of ref document: EP

Kind code of ref document: A1