KR101761131B1 - Apparatus and method for estimating distortion of video encoding device with high speed - Google Patents

Apparatus and method for estimating distortion of video encoding device with high speed Download PDF

Info

Publication number
KR101761131B1
KR101761131B1 KR1020160092649A KR20160092649A KR101761131B1 KR 101761131 B1 KR101761131 B1 KR 101761131B1 KR 1020160092649 A KR1020160092649 A KR 1020160092649A KR 20160092649 A KR20160092649 A KR 20160092649A KR 101761131 B1 KR101761131 B1 KR 101761131B1
Authority
KR
South Korea
Prior art keywords
quantization
transform
unit
error
reconstruction
Prior art date
Application number
KR1020160092649A
Other languages
Korean (ko)
Inventor
김용환
김성제
문정미
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020160092649A priority Critical patent/KR101761131B1/en
Application granted granted Critical
Publication of KR101761131B1 publication Critical patent/KR101761131B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

According to an embodiment of the present invention, a device for estimating a restoration error of a video encoding device at a high speed comprises: a transform/quantization unit for outputting a conversion coefficient (Vs) obtained by performing discrete cosine transform (DCT) and scaling with respect to an inputted prediction error image (U) and a quantization coefficient (Vg) obtained by performing inverse scaling and quantization with respect to the conversion coefficient (Vs); and a new distortion calculator unit for calculating an estimated restoration error (D_(mode)) in a transform region on the basis of the conversion coefficient (Vs) and the quantization coefficient (Vg), and transferring the estimated restoration error (D_(mode)) to a rate distortion optimization (RDO) mode decision unit.

Description

비디오 부호화기의 고속 복원 오차 추정 장치 및 방법{APPARATUS AND METHOD FOR ESTIMATING DISTORTION OF VIDEO ENCODING DEVICE WITH HIGH SPEED}[0001] APPARATUS AND METHOD FOR ESTIMATING DISTORTION OF VIDEO ENCODING DEVICE WITH HIGH SPEED [0002]

본 발명은 HEVC(high efficiency video coding) 비디오 부호화기의 고속 복원 오차 추정 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and a method for estimating a fast reconstruction error of a high efficiency video coding (HEVC) video encoder.

최근 DTV, 모바일 기기, 다양한 온라인 비디오 스트리밍 서비스 등의 발전에 의해 멀티미디어 콘텐츠의 접근이 용이해 지면서, 고화질 영상에 대한 수요가 증가하고 있다. Recently, with the development of DTV, mobile devices, various online video streaming services, and the like, the accessibility of multimedia contents has become easier and the demand for high quality video is increasing.

특히, 4K 내지 8K급 초고해상도 비디오에 대한 수요가 증가하고 있다. 또한 휴대용 디스플레이 기기에서도 Full HD급 영상 재생이 요구되고, 기존의 30프레임보다 2배가 많은 60프레임 이상의 재생률이 요구되고 있다.In particular, there is an increasing demand for 4K to 8K class ultra high resolution video. Also, portable display devices are required to reproduce full HD images, and a refresh rate of 60 frames or more, which is twice as large as that of the conventional 30 frames, is required.

이러한 초고해상도 및 고프레임 비디오 콘텐츠는 기존의 비디오 콘텐츠에 비해 많게는 수십 배에 달하는 데이터 처리량이 필요하다. 이러한 비디오 콘텐츠들을 보다 효율적으로 처리하기 위하여 기존의 H.264/AVC보다 압축 효율이 높은 새로운 비디오 표준이 필요하게 되었고, 이에 따라 JCTVC(joint collaborative team on video coding)에서는 2010년 1월 차세대 비디오 부호화 표준인 HEVC(high efficiency video coding)에 대한 표준화를 진행하여 2013년 1월에 HEVC Main Profile에 대한 표준화 제정을 완료하였다. Such ultra high resolution and high frame video content requires as much as ten times as much data throughput as conventional video content. In order to process these video contents more efficiently, a new video standard with higher compression efficiency than the existing H.264 / AVC has become necessary. Accordingly, Jointly collaborative team on video coding (JCTVC) Standardization of HEVC (High Efficiency Video Coding) was completed and the standardization of HEVC Main Profile was completed in January 2013.

한편, HEVC 압축 표준은 부호화 효율을 높이기 위해 다양한 부호화 기법들을 채택하였다. 특히, 이전 표준인 AVC는 최대 16x16 Macroblock 내에서 다양한 block 크기에 대한 예측 모드들을 사용한 반면, HEVC는 최대 64x64 CTU(Coding Tree Block) 내에서 다양한 block 크기들에 대한 예측 모드들을 지원한다. On the other hand, the HEVC compression standard adopts various coding techniques in order to increase the coding efficiency. In particular, the previous standard, AVC, uses prediction modes for various block sizes within a maximum of 16x16 macroroblocks, while HEVC supports prediction modes for various block sizes within a maximum of 64x64 Coding Tree Block (CTU).

위와 같은 다양한 block 크기들에 대한 예측 모드들 중에서 압축 효율 관점에서 최적의 모드 조합을 결정하기 위해 HEVC 부호화기의 복잡도는 AVC에 비해 대략 300% 증가하게 되었고, 이는 실시간 UHD 동영상 서비스의 상용화를 위해 HEVC 부호화기의 복잡도 최적화를 필요로 하게 되었다. Among the prediction modes for the various block sizes, the complexity of the HEVC encoder is increased by about 300% in comparison with the AVC in order to determine the optimum mode combination in terms of compression efficiency. In order to commercialize the real-time UHD video service, the HEVC encoder To optimize the complexity of the system.

본 발명의 목적은 원 영상과 복원 영상의 입력 없이도 추정 복원 오차를 계산할 수 있는 New Distortion calculator 부를 포함하는 비디오 부호화기의 고속 복원 오차 추정 장치를 제공하는 데 있다.It is an object of the present invention to provide a fast reconstruction error estimation apparatus for a video encoder including a New Distortion calculator capable of calculating an estimated reconstruction error without inputting an original image and a reconstructed image.

본 발명의 다른 목적은 종래에 요구되었던 N개 모드에 대한 영상 복원(Reconstruction) 과정을 생략시켜 부호화에 필요한 수행 시간을 단축시키는 비디오 부호화기의 고속 복원 오차 추정 장치 및 방법을 제공하는 데 있다.It is another object of the present invention to provide an apparatus and method for estimating a fast reconstruction error of a video encoder that shortens the execution time required for encoding by omitting the image reconstruction process for the N modes which has been required in the past.

본 발명의 또 다른 목적은 종래 N개 모드에 영상 복원(Reconstruction)에 요구되었던 Memory access와 power 소모를 절약할 수 있는 비디오 부호화기의 고속 복원 오차 추정 장치 및 방법을 제공하는 데 있다.It is another object of the present invention to provide an apparatus and method for estimating a fast reconstruction error of a video encoder that can save memory access and power consumption, which are required for image reconstruction in N modes.

상기와 같은 기술적 과제를 해결하기 위해, 본 발명의 일 실시 예에 따른 비디오 부호화기의 고속 복원 오차 추정 장치는 입력된 예측 오차 영상(U)에 대하여 이산 여현 변환(DCT, discrete cosine transform)과 스케일링(scaling)을 수행한 변환계수(Vs) 및 상기 변환계수(Vs)에 대하여 역스케일링(inverse scaling)과 양자화를 수행한 양자화 계수(Vq)를 출력하는 Transform/Quantization 부, 및 상기 변환계수(Vs) 및 상기 양자화 계수(Vq)에 기반하여, Transform 영역에서 추정 복원 오차(

Figure 112016070988700-pat00001
)를 계산하고, 상기 추정 복원 오차(
Figure 112016070988700-pat00002
)를 RDO(rate distortion optimization) Mode Decision 부에 전달하는 New Distortion Calculator부를 포함할 수 있다.According to an aspect of the present invention, there is provided an apparatus for estimating a fast reconstruction error of a video encoder, the apparatus comprising: a discrete cosine transform (DCT) and a scaling a transform coefficient Vs for performing a scaling operation and a quantization coefficient Vq for performing inverse scaling and quantization on the transform coefficient Vs, And an estimated reconstruction error (Vq) in the transform region based on the quantization coefficient (Vq)
Figure 112016070988700-pat00001
), And the estimated restoration error (
Figure 112016070988700-pat00002
) To a rate distortion optimization (RDO) mode decision unit.

실시 예에 있어서, 상기 New Distortion Calculator부는 정수 연산의 양자화(quantization) 및 역양자화(inverse quantization)을 위해 HEVC(high efficiency video coding)에 정의된 상수 값을 이용하고, 추가적인 상수 테이블이나 실수 연산 없이 상기 정수 연산만으로 상기 추정 복원 오차(

Figure 112016070988700-pat00003
)를 계산할 수 있다.In an exemplary embodiment, the New Distortion Calculator may use a constant value defined in HEVC (High Efficiency Video Coding) for quantization and inverse quantization of integer operations, The estimated restoration error ("
Figure 112016070988700-pat00003
) Can be calculated.

실시 예에 있어서, 상기 추정 복원 오차(

Figure 112016070988700-pat00004
) 및 비트율(
Figure 112016070988700-pat00005
)에 기반하여, 최소의 율-왜곡 비용을 가지는 율-왜곡 최적화(RDO)된 모드를 결정하는 상기 RDO Mode Decision부를 더 포함할 수 있다In an embodiment, the estimated restoration error (
Figure 112016070988700-pat00004
) And bit rate (
Figure 112016070988700-pat00005
), The RDO Mode Decision section may determine a rate-distortion optimized (RDO) mode having a minimum rate-distortion cost

실시 예에 있어서, 상기 결정된 모드에 대해서만 영상 복원(Reconstruction)을 CTU(coding tree block)당 한번만 수행하는 Reconstruction 부를 더 포함할 수 있다.In an embodiment, the apparatus may further include a reconstruction unit that performs image reconstruction only once per coding tree block (CTU) only for the determined mode.

실시 예에 있어서, 상기 결정된 모드에 대해서만 상기 예측 오차 영상(U)의 변환(Transform), 양자화(Quantization), 엔트로피코딩(Entropy Coding) 및 영상 복원(Reconstruction)을 수행하여 최종 비트 스트림과 최종 복원 영상을 생성할 수 있다.In an embodiment, transform, quantization, entropy coding, and image reconstruction of the prediction error image U are performed only for the determined mode, Can be generated.

실시 예에 있어서, 상기 최종 복원 영상을 Deblock/SAO Filters 부를 거쳐 Decoded Picture Buffer부에 저장하여 다음 영상의 예측에 사용할 수 있다.In an exemplary embodiment, the final reconstructed image may be stored in a decoded picture buffer unit through a deblock / SAO filter unit and used for predicting a next image.

상기와 같은 기술적 과제를 해결하기 위해, 본 발명의 다른 일 실시 예에 따른 비디오 부호화기의 고속 복원 오차 추정 방법은 입력된 예측 오차 영상(U)에 대하여 이산 여현 변환(DCT, discrete cosine transform)과 스케일링(scaling)을 수행하여 변환계수를 생성하는 단계, 상기 변환계수(Vs)에 대하여 역스케일링(inverse scaling)과 양자화를 수행하여 양자화 계수(Vq)를 생성하는 단계, 및 상기 변환계수(Vs) 및 상기 양자화 계수(Vq)에 기반하여, Transform 영역에서 추정 복원 오차(

Figure 112016070988700-pat00006
)를 계산하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method for estimating a fast reconstruction error of a video encoder, comprising the steps of: performing discrete cosine transform (DCT) and scaling generating a transform coefficient by performing inverse scaling and quantization on the transform coefficient Vs to generate a quantization coefficient Vq; and performing the inverse scaling and quantization on the transform coefficient Vs, Based on the quantization coefficient (Vq), an estimated reconstruction error ("
Figure 112016070988700-pat00006
). ≪ / RTI >

실시 예에 있어서, 상기 추정 복원 오차(

Figure 112016070988700-pat00007
) 및 비트율(
Figure 112016070988700-pat00008
)에 기반하여, 최소의 율-왜곡 비용을 가지는 율-왜곡 최적화(RDO, rate distortion optimization)된 모드를 결정하는 단계, 상기 결정된 모드에 대해서만 영상 복원(Reconstruction)을 CTU(coding tree block)당 한번만 수행하여 최종 비트 스트림과 최종 복원 영상을 생성하는 단계, 및 상기 최종 복원 영상을 저장하여 다음 영상의 예측에 사용하는 단계를 더 포함할 수 있다.In an embodiment, the estimated restoration error (
Figure 112016070988700-pat00007
) And bit rate (
Figure 112016070988700-pat00008
Determining a rate distortion optimization (RDO) mode having a minimum rate-distortion cost based on the first and second prediction modes, and reconstructing the reconstructed mode for the determined mode only once per CTU (coding tree block) Generating a final bitstream and a final reconstructed image, and storing the final reconstructed image to be used for predicting a next image.

본 발명에 따른 비디오 부호화기의 고속 복원 오차 추정 장치 및 방법의 효과에 대해 설명하면 다음과 같다.The effects of the fast reconstruction error estimation apparatus and method of the video encoder according to the present invention will be described as follows.

본 발명의 실시 예들 중 적어도 하나에 의하면, 원 영상과 복원 영상의 입력 없이도 추정 복원 오차를 계산할 수 있는 New Distortion calculator 부를 포함할 수 있다.According to at least one of the embodiments of the present invention, a new distortion calculator unit that can calculate the estimated reconstruction error without inputting the original image and the reconstructed image may be included.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 종래에 요구되었던 N개 모드에 대한 영상 복원(Reconstruction) 과정을 생략시켜 부호화에 필요한 수행 시간을 단축시킬 수 있다.In addition, according to at least one of the embodiments of the present invention, it is possible to shorten the execution time required for encoding by omitting the image reconstruction process for the N modes, which has been conventionally required.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 종래 N개 모드에 대한 영상 복원(Reconstruction)에 요구되었던 Memory access와 power 소모를 절약할 수 있다.In addition, according to at least one embodiment of the present invention, memory access and power consumption, which are conventionally required for image reconstruction for N modes, can be saved.

도 1은 일반적인 HEVC 부호화기를 나타내는 도면이다.
도 2는 도 1의 Reconstruction 부를 구체적으로 나타내는 도면이다.
도 3은 도 1의 Distortion Calculator 부를 구체적으로 나타내는 도면이다.
도 4는 도 1의 RDO Mode Decision 부를 구체적으로 나타내는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 비디오 부호화기의 고속 복원 오차 추정 장치를 나타내는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 비디오 부호화기의 고속 복원 오차 추정 장치에 포함되는 Transform/Quantization 부를 구체적으로 나타내는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 비디오 부호화기의 고속 복원 오차 추정 장치에 포함되는 New Distortion Calculator부를 구체적으로 나타내는 도면이다.
1 is a diagram showing a general HEVC encoder.
FIG. 2 is a diagram specifically illustrating a reconstruction unit of FIG. 1. FIG.
FIG. 3 is a diagram specifically illustrating the distortion calculator of FIG. 1. FIG.
FIG. 4 is a diagram specifically illustrating the RDO mode decision unit of FIG.
5 is a block diagram illustrating a fast reconstruction error estimation apparatus of a video encoder according to an embodiment of the present invention.
6 is a diagram specifically illustrating a transform / quantization unit included in the fast reconstruction error estimation apparatus of a video encoder according to an embodiment of the present invention.
7 is a block diagram illustrating a New Distortion Calculator included in a fast reconstruction error estimation apparatus of a video encoder according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals are used to designate identical or similar elements, and redundant description thereof will be omitted. The suffix "module" and " part "for the components used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role. In the following description of the embodiments of the present invention, a detailed description of related arts will be omitted when it is determined that the gist of the embodiments disclosed herein may be blurred. It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. , ≪ / RTI > equivalents, and alternatives.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinals, such as first, second, etc., may be used to describe various elements, but the elements are not limited to these terms. The terms are used only for the purpose of distinguishing one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The singular expressions include plural expressions unless the context clearly dictates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present application, the terms "comprises", "having", and the like are used to specify that a feature, a number, a step, an operation, an element, a component, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

도 1은 일반적인 HEVC 부호화 장치를 나타내는 도면이다.1 is a view showing a general HEVC encoding apparatus.

도 1을 참조하면, 일반적인 HEVC 부호화 장치는 Transform/Quantization 부(110), Reconstruction 부(120), Entropy Coding 부(130), Distortion Calculator 부(140), RDO(rate distortion optimization; 율-왜곡 최적화) Mode Decision 부(150), Intra/Inter Prediction부(160), Deblock/SAO Filters 부(170) 및 Decoded Picture Buffer부(180)를 포함할 수 있다.1, a general HEVC encoding apparatus includes a transform / quantization unit 110, a reconstruction unit 120, an entropy coding unit 130, a distortion calculator 140, a rate distortion optimization (RDO) A mode decision unit 150, an intra / inter prediction unit 160, a deblock / SAO filter unit 170, and a decoded picture buffer unit 180.

먼저, Transform/Quantization 부(110)는 부호화를 위해 원 영상(S)과 Intra/Inter Prediction부(160)로부터의 예측 영상(P)의 차이 값인 예측 오차 영상(U)을 변환 및 양자화할 수 있다.First, the transform / quantization unit 110 can transform and quantize the prediction error image U, which is a difference value between the original image S and the prediction image P from the intra / inter prediction unit 160, for encoding .

여기서, 양자화된 계수(Vq)들은 해당 예측 모드에 대한 비트율(

Figure 112016070988700-pat00009
)을 생성하기 위해 Entropy Coding 부(130)에 전달될 수 있고, 이와 함께 복원 영상(
Figure 112016070988700-pat00010
) 생성을 위해 Reconstruction 부(120)로 전달될 수 있다.Here, the quantized coefficients (Vq) are the bit rate
Figure 112016070988700-pat00009
To the Entropy Coding unit 130 to generate the reconstructed image
Figure 112016070988700-pat00010
To the reconstruction unit 120 in order to generate the reconstructed image.

Distortion Calculator 부(140)는 원 영상(S)과 Reconstruction 부(120)를 통해 복원된 영상을 전달받아 해당 예측 모드에 대한 복원 오차(

Figure 112016070988700-pat00011
)를 계산할 수 있다.The distortion calculator 140 receives the reconstructed image through the original image S and the reconstruction unit 120 and calculates a reconstruction error
Figure 112016070988700-pat00011
) Can be calculated.

여기서, Distortion Calculator 부(140)에서 계산된 복원 오차(

Figure 112016070988700-pat00012
)와 Entropy Coding 부(130)에서 생성된 비트율(
Figure 112016070988700-pat00013
)은 RDO Mode Decision 부(150)의 입력으로 전달될 수 있다.Here, the restoration error calculated by the distortion calculator 140
Figure 112016070988700-pat00012
) And the bit rate generated by the entropy coding unit 130
Figure 112016070988700-pat00013
May be passed to the input of the RDO Mode Decision Unit 150. [

RDO Mode Decision 부(150)는 각각의 예측 모드에 대한 복원 오차(

Figure 112016070988700-pat00014
)와 비트율(
Figure 112016070988700-pat00015
)을 전달받아 최소의 율-왜곡 비용을 가지는 율-왜곡 최적화(RDO)된 모드(
Figure 112016070988700-pat00016
)를 결정할 수 있다.The RDO mode decision unit 150 compares the reconstruction error (
Figure 112016070988700-pat00014
) And the bit rate (
Figure 112016070988700-pat00015
Rate-distortion optimized (RDO) mode with minimal rate-distortion cost
Figure 112016070988700-pat00016
Can be determined.

그리고, 율-왜곡 최적화(RDO)된 모드(

Figure 112016070988700-pat00017
)가 결정되면 최종적으로 결정된 모드에 대한 예측 오차의 변환/양자화, 엔트로피코딩, 영상 복원을 거쳐 최종 비트 스트림과 최종 복원 영상을 생성할 수 있다. 이렇게 생성된 최종 복원 영상은 Deblock/SAO Filters 부(170)를 거쳐 Decoded Picture Buffer부(180)에 저장되어 다음 영상의 예측에 사용될 수 있다.And, the rate-distortion optimized (RDO) mode
Figure 112016070988700-pat00017
), The final bitstream and the final reconstructed image can be generated through transformation / quantization, entropy coding, and image reconstruction of the prediction error for the finally determined mode. The final reconstructed image thus generated is stored in the decoded picture buffer unit 180 through the Deblock / SAO Filters unit 170 and can be used for predicting the next image.

도 2는 도 1의 Reconstruction 부를 구체적으로 나타내는 도면이다.FIG. 2 is a diagram specifically illustrating a reconstruction unit of FIG. 1. FIG.

도 2를 참조하면, Reconstruction 부(120)는 역양자화부(Inverse Quantization, 121) 및 역변환부(Inverse Transform, 122)를 포함할 수 있다.Referring to FIG. 2, the reconstruction unit 120 may include an inverse quantization unit 121 and an inverse transform unit 122.

구체적으로, Reconstruction 부(120)는 Transform/Quantization 부(110)로부터 입력되는 양자화된 계수(Vq)를 역양자화부(121)를 통하여 역양자화하고, 역변환부(122)를 통하여 역변환한 후, Intra/Inter Prediction부(160)로부터의 예측 영상(P)을 더하는(SUM) 과정을 거쳐 복원 영상(

Figure 112016070988700-pat00018
)을 생성하게 된다.Specifically, the reconstruction unit 120 dequantizes the quantized coefficient Vq input from the transform / quantization unit 110 through the inverse quantization unit 121, inversely transforms the quantized coefficient Vq through the inverse transform unit 122, (SUM) from the inter prediction unit 160 to the reconstructed image (P)
Figure 112016070988700-pat00018
).

도 3은 도 1의 Distortion Calculator 부를 구체적으로 나타내는 도면이다.FIG. 3 is a diagram specifically illustrating the distortion calculator of FIG. 1. FIG.

도 3을 참조하면, Distortion Calculator 부(140)는 예측 모드에 대한 복원 오차를 계산하기 위해서 원 영상(S)과 복원 영상(

Figure 112016070988700-pat00019
)을 입력받을 수 있다. 이 때 복원 영상(
Figure 112016070988700-pat00020
)을 얻기 위해서는 도 2에서 설명한 바와 같이 Reconstruction 부(120)는 많은 연산 과정들을 수행하게 된다.Referring to FIG. 3, the distortion calculator 140 calculates an original image S and a reconstructed image S
Figure 112016070988700-pat00019
Can be input. At this time,
Figure 112016070988700-pat00020
2, the reconstruction unit 120 performs a number of calculation processes.

도 4는 도 1의 RDO Mode Decision 부를 구체적으로 나타내는 도면이다.FIG. 4 is a diagram specifically illustrating the RDO mode decision unit of FIG.

도 4를 참조하면, RDO Mode Decision 부(150)는 각 모드에 대한 복원 오차(

Figure 112016070988700-pat00021
)와 비트율(
Figure 112016070988700-pat00022
)로부터 율-왜곡 비용(
Figure 112016070988700-pat00023
)를 계산하고, 율-왜곡 비용(
Figure 112016070988700-pat00024
)이 최소가 되는 모드(
Figure 112016070988700-pat00025
)를 최종 예측 모드로 결정할 수 있다.Referring to FIG. 4, the RDO Mode Decision Unit 150 calculates a restoration error
Figure 112016070988700-pat00021
) And the bit rate (
Figure 112016070988700-pat00022
) From the rate-distortion cost (
Figure 112016070988700-pat00023
), And the rate-distortion cost (
Figure 112016070988700-pat00024
) Is the minimum mode
Figure 112016070988700-pat00025
) As the final prediction mode.

한편, HEVC는 이전 동영상 압축 표준 방법과 달리, 최대 64x64 크기에서 최소 8x8 크기까지의 코딩 블록(CB, coding block)을 선택 가능하게 한다. 여기서, CB는 각각 다른 예측 블록(PB, prediction block)과 변환 블록(TB, transform block)으로 구성될 수 있다.On the other hand, the HEVC enables selection of a coding block (CB) ranging from a maximum size of 64x64 to a minimum size of 8x8, unlike the conventional moving picture compression standard method. Here, CB may be composed of different prediction blocks (PB) and transform blocks (TB).

이렇게 다양한 크기의 예측 모드들 중에서 압축 성능 관점에서 최적의 조합을 결정하기 위해서는 각각의 블록 크기에 대한 예측 모드에 대해서 율-왜곡 비용(

Figure 112016070988700-pat00026
)이 최소가 되는 모드(
Figure 112016070988700-pat00027
)의 결정을 수행하여야 한다.In order to determine the optimum combination of the prediction modes of the various sizes from the viewpoint of the compression performance, the rate-distortion cost
Figure 112016070988700-pat00026
) Is the minimum mode
Figure 112016070988700-pat00027
) Shall be carried out.

특히, 복원 오차(

Figure 112016070988700-pat00028
)를 구하기 위해서는 각각의 코딩 블록 크기(64x64, 32x32, 16x16, 8x8)마다 12개의 예측 블록 모드(INTER_SKIP, INTER_MERGE, INTER_2Nx2N, INTER_2NxN, INTER_Nx2N, INTER_2NxnU, INTER_2NxnD, INTER_nLx2N, INTER_nRx2N, INTER_NXN, INTRA_2Nx2N, INTRA_NxN) X 변환 블록 깊이만큼의 영상 복원(Reconstruction) 연산량이 필요하게 된다. 예를 들어, 변환 블록 깊이가 3인 경우, 64x64 코딩 블록 크기의 모드 결정에 필요한 영상 복원(Reconstruction)의 수는 (12) x (3) = (36)과 같다.In particular,
Figure 112016070988700-pat00028
12 prediction block modes (INTER_SKIP, INTER_MERGE, INTER_2Nx2N, INTER_2NxN, INTER_2NxNU, INTER_2NxnD, INTER_nLx2N, INTER_nRx2N, INTER_NXN, INTRA_2Nx2N, INTRA_NxN) of each coding block size (64x64, 32x32, 16x16, 8x8) A reconstruction operation amount corresponding to the depth of the conversion block is required. For example, when the transform block depth is 3, the number of image reconstructions required for mode determination of a 64x64 coding block size is equal to (12) x (3) = (36).

결국, HEVC 부호화기의 연산량 최적화를 위해서는 율-왜곡 비용(

Figure 112016070988700-pat00029
)이 최소가 되는 모드(
Figure 112016070988700-pat00030
)의 결정시에 Reconstruction 부(120)에서 수행되는 연산을 생략하는 과정이 절실히 요구된다.Finally, to optimize the computational complexity of the HEVC encoder, the rate-distortion cost
Figure 112016070988700-pat00029
) Is the minimum mode
Figure 112016070988700-pat00030
A process of omitting the operation performed in the reconstruction unit 120 is desperately required.

본 발명은 이러한 요구에 대응하여 율-왜곡 비용(

Figure 112016070988700-pat00031
)이 최소가 되는 모드(
Figure 112016070988700-pat00032
)의 결정시에 원 영상(S)과 Reconstruction 부(120)에서 생성된 복원 영상(
Figure 112016070988700-pat00033
)을 이용하지 않고, 추정 복원 오차(
Figure 112016070988700-pat00034
)를 계산할 수 있도록 한다.The present invention addresses the need for rate-distortion costs
Figure 112016070988700-pat00031
) Is the minimum mode
Figure 112016070988700-pat00032
The original image S and the reconstructed image generated in the reconstruction unit 120
Figure 112016070988700-pat00033
), The estimated restoration error (
Figure 112016070988700-pat00034
) Can be calculated.

구체적으로, 본 발명은 원 영상(S)과 복원 영상(

Figure 112016070988700-pat00035
)의 입력 없이도 추정 복원 오차(
Figure 112016070988700-pat00036
)를 계산할 수 있는 New Distortion calculator 부(도 5의 540)를 포함한다. 그 결과, 종래에 요구되었던 N개 모드에 대한 영상 복원(Reconstruction) 과정이 생략될 수 있고, 그에 따라 부호화에 필요한 수행 시간을 단축시킬 수 있게 된다.More specifically, the present invention relates to an image reconstruction method,
Figure 112016070988700-pat00035
) Without input of the estimated restoration error (
Figure 112016070988700-pat00036
(540 in Fig. 5) capable of calculating a new distortion calculator. As a result, the image reconstruction process for the N modes, which has been required in the past, can be omitted, thereby shortening the execution time required for encoding.

이하, 도면들을 참조하여 본 발명의 실시 예에 대해 상세히 설명하기로 한다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. It will be apparent to those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof.

다만, 도 5 내지 도 7을 통하여 설명되는 비디오 부호화기의 고속 복원 오차 추정 장치는, 본 발명에 따른 특징적인 기능을 소개함에 있어서, 필요한 구성요소만이 도시된 것으로서, 그 외 다양한 구성요소가 비디오 부호화기의 고속 복원 오차 추정 장치에 포함될 수 있음은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 자명하다.5 to 7, only the necessary components are shown in explaining the characteristic functions according to the present invention, and various other components are provided in the video encoder It is obvious to those skilled in the art that the present invention can be embodied in a high-speed reconstruction error estimation apparatus of the present invention.

도 5는 본 발명의 일 실시 예에 따른 비디오 부호화기의 고속 복원 오차 추정 장치를 나타내는 도면이다.5 is a block diagram illustrating a fast reconstruction error estimation apparatus of a video encoder according to an embodiment of the present invention.

도 5를 참조하면, 비디오 부호화기의 고속 복원 오차 추정 장치는 Transform/Quantization 부(510), Reconstruction 부(520), Entropy Coding 부(530), New Distortion Calculator 부(540), RDO Mode Decision 부(550), Intra/Inter Prediction부(560), Deblock/SAO Filters 부(570) 및 Decoded Picture Buffer부(580)를 포함할 수 있다.5, a fast reconstruction error estimation apparatus of a video encoder includes a transform / quantization unit 510, a reconstruction unit 520, an entropy coding unit 530, a new distortion calculator unit 540, an RDO Mode Decision unit 550 An Intra / Inter Prediction unit 560, a Deblock / SAO Filters unit 570, and a Decoded Picture Buffer unit 580.

여기서, Transform/Quantization 부(510) 및 New Distortion Calculator 부(540)를 제외한 나머지 구성인 Reconstruction 부(520), Entropy Coding 부(530), RDO Mode Decision 부(550), Intra/Inter Prediction부(560), Deblock/SAO Filters 부(570) 및 Decoded Picture Buffer부(580)는 앞서 도 1 내지 도 4를 통하여 설명된 구성들과 동일하므로, 반복되는 설명은 생략한다.The reconstruction unit 520, the entropy coding unit 530, the RDO mode decision unit 550, and the intra / inter prediction unit 560, which are the remaining components except for the transform / quantization unit 510 and the new distortion calculator unit 540, ), The Deblock / SAO Filters unit 570 and the Decoded Picture Buffer unit 580 are the same as those described above with reference to FIG. 1 to FIG. 4, and thus a repeated description will be omitted.

먼저, Transform/Quantization 부(510)는 원 영상(S)과 Intra/Inter Prediction부(560)로부터의 예측 영상(P)의 차이 값인 예측 오차 영상(U)을 입력받을 수 있다. First, the transform / quantization unit 510 can receive the prediction error image U, which is a difference value between the original image S and the prediction image P from the intra / inter prediction unit 560.

그리고, Transform/Quantization 부(510)는 입력된 예측 오차 영상(U)에 대하여 이산 여현 변환(DCT, discrete cosine transform)과 스케일링(scaling)을 수행하여 변환계수(Vs)를 생성하고, 이를 New Distortion Calculator 부(540)에 전달할 수 있다.The transform / quantization unit 510 generates a transform coefficient Vs by performing discrete cosine transform (DCT) and scaling on the input predictive error image U, To the calculator unit 540.

이와 함께, Transform/Quantization 부(510)는 생성된 변환계수(Vs)에 대하여 역스케일링(inverse scaling)과 양자화를 수행하여 양자화 계수(Vq)를 생성하고, 이를 New Distortion Calculator 부(540) 및 Reconstruction 부(520)에 전달할 수 있다.In addition, the transform / quantization unit 510 generates a quantization coefficient Vq by performing inverse scaling and quantization on the generated transform coefficient Vs, and outputs the quantization coefficient Vq to the New Distortion Calculator 540 and Reconstruction To the unit 520.

한편, Transform/Quantization 부(510)에 대한 보다 구체적인 설명은 도 6을 통하여 계속한다.Meanwhile, a more detailed description of the Transform / Quantization unit 510 will be continued with reference to FIG.

New Distortion Calculator 부(540)는 Transform/Quantization 부(510)로부터 전달되는 변환계수(Vs) 및 양자화 계수(Vq)에 기반하여, Transform 영역에서 추정 복원 오차(

Figure 112016070988700-pat00037
)를 계산할 수 있다. The New Distortion Calculator unit 540 calculates an estimated reconstruction error in the transform region based on the transform coefficient Vs and the quantization coefficient Vq transmitted from the transform /
Figure 112016070988700-pat00037
) Can be calculated.

그리고, New Distortion Calculator 부(540)는 추정 복원 오차(

Figure 112016070988700-pat00038
)를 RDO Mode Decision 부(550)에 전달할 수 있다.Then, the New Distortion Calculator unit 540 calculates an estimated restoration error (
Figure 112016070988700-pat00038
) To the RDO Mode Decision unit 550. [

즉, 본 발명에 따른 비디오 부호화기의 고속 복원 오차 추정 장치는 원 영상(S)과 Reconstruction 부(도 1의 120)에서 생성된 복원 영상(

Figure 112016070988700-pat00039
)을 입력으로 하여 복원 오차(
Figure 112016070988700-pat00040
)를 계산한 기존의 Distortion calculator 부(도 1의 140)와 달리 원 영상(S)과 복원 영상(
Figure 112016070988700-pat00041
)의 입력 없이, Transform/Quantization 부(510)에서 생성된 변환 계수(Vs)와 양자화 계수(Vq)를 입력으로 하여 추정 복원 오차(
Figure 112016070988700-pat00042
)를 계산할 수 있게 된다.That is, an apparatus for estimating a fast reconstruction error of a video encoder according to the present invention includes an original image S and a reconstructed image generated by a reconstruction unit 120
Figure 112016070988700-pat00039
) As the input,
Figure 112016070988700-pat00040
Unlike the conventional distortion calculator (140 in FIG. 1) which calculates the original image (S) and the restored image
Figure 112016070988700-pat00041
(Vs) and the quantization coefficient (Vq) generated by the Transform / Quantization unit 510 without inputting the estimated reconstruction error
Figure 112016070988700-pat00042
Can be calculated.

그 결과, 본 발명에 따른 비디오 부호화기의 고속 복원 오차 추정 장치는 종래 방식에서 요구되었던 N개 모드에 대한 영상 복원(Reconstruction) 과정이 생략될 수 있고, 그로 인해 종래 N개 모드에 대한 영상 복원(Reconstruction)에 요구되었던 Memory access와 power 소모가 절약될 수 있게 되고, 결국 부호화 시간이 상당량 감소될 수 있게 된다.As a result, the fast reconstruction error estimation apparatus of the video encoder according to the present invention can omit the image reconstruction process for the N modes, which was required in the conventional method, The memory access and the power consumption required for the memory access and the power consumption can be saved. As a result, the coding time can be significantly reduced.

한편, New Distortion Calculator 부(540)에 대한 보다 구체적인 설명은 도 7을 통하여 계속한다.Meanwhile, the New Distortion Calculator unit 540 will be described in more detail with reference to FIG.

도 6은 본 발명의 일 실시 예에 따른 비디오 부호화기의 고속 복원 오차 추정 장치에 포함되는 Transform/Quantization 부를 구체적으로 나타내는 도면이다.6 is a diagram specifically illustrating a transform / quantization unit included in the fast reconstruction error estimation apparatus of a video encoder according to an embodiment of the present invention.

도 6을 참조하면, Transform/Quantization 부(510)는 HEVC에서의 정수 단위 변환(Transform)과 양자화(Quantization) 연산을 위해서 변환부(Transform, 511) 및 양자화부(Quantization, 512)를 포함할 수 있다.Referring to FIG. 6, the transform / quantization unit 510 may include a transform unit 511 and a quantization unit 512 for an integer unit transform and a quantization operation in the HEVC. have.

구체적으로, 변환부(511)는 입력된 예측 오차 영상(U)에 대하여 정수 기반 이산 여현 변환(DCT, discrete cosine transform)을 수행(511a)할 수 있다. 인용부호 511a에서의

Figure 112016070988700-pat00043
는 DCT matrix를 나타내고,
Figure 112016070988700-pat00044
는 transpose된 DCT kernel matrix를 나타낸다. Specifically, the transform unit 511 may perform an integer-based discrete cosine transform (DCT) on the input predictive error image (511a). 511a
Figure 112016070988700-pat00043
Represents a DCT matrix,
Figure 112016070988700-pat00044
Represents the transposed DCT kernel matrix.

그리고, 변환부(511)는 DCT가 수행된 결과(V)에 대하여

Figure 112016070988700-pat00045
만큼의 스케일링(크기 변환, Scaling)을 수행(511b)하여 변환계수(Vs)를 출력할 수 있다. 인용부호 511b에서의
Figure 112016070988700-pat00046
Figure 112016070988700-pat00047
를 만족하고,
Figure 112016070988700-pat00048
Figure 112016070988700-pat00049
를 만족한다. 여기서,
Figure 112016070988700-pat00050
는 화소 bit 크기(8, 10, 12 등)를 나타내고,
Figure 112016070988700-pat00051
Figure 112016070988700-pat00052
Transform 크기(L=4, 8, 16, 32 등)를 나타낸다.Then, the converting unit 511 converts the DCT result (V)
Figure 112016070988700-pat00045
(511b) to output the conversion coefficient (Vs). 511b
Figure 112016070988700-pat00046
The
Figure 112016070988700-pat00047
Lt; / RTI >
Figure 112016070988700-pat00048
silver
Figure 112016070988700-pat00049
. here,
Figure 112016070988700-pat00050
Represents the pixel bit size (8, 10, 12, etc.)
Figure 112016070988700-pat00051
silver
Figure 112016070988700-pat00052
Transform size (L = 4, 8, 16, 32, etc.).

그리고, 양자화부(512)는 변환계수(Vs)에 대하여 역스케일링(크기 역변환, inverse scaling)을 수행(512a)할 수 있고, 역스케일링이 수행된 결과(V)에 대하여 양자화(Quantization)를 수행(512b)하여 양자화 계수(Vq)를 출력할 수 있다. 인용부호 512b에서의

Figure 112016070988700-pat00053
는 양자화 파라미터(QP, Quantization Parameter)에 따른 양자화 크기(Quantization Step Size)를 나타낸다.The quantization unit 512 may perform inverse scaling (512a) on the transform coefficient Vs and perform quantization on the inverse scaled result (V) (512b) to output the quantization coefficient Vq. At point 512b
Figure 112016070988700-pat00053
Represents a quantization step size according to a quantization parameter (QP).

따라서, 본 발명에 따른 비디오 부호화기의 고속 복원 오차 추정 장치에 포함되는 Transform/Quantization 부(510)에서 예측 오차 영상(U)은 Transform(511) 과정에서 DCT(511a)와 스케일링(511b)을 거쳐 변환 계수(Vs)로 출력될 수 있고, 이후 변환 계수(Vs)는 Quantization(512) 과정에서 역스케일링(512a)과 양자화(512b)를 거쳐 양자화 계수(Vq)로 출력될 수 있게 된다.Therefore, the prediction error image U in the transform / quantization unit 510 included in the fast reconstruction error estimation apparatus of the video encoder according to the present invention is transformed through the DCT 511a and the scaling 511b in the transform 511, The transform coefficient Vs can be outputted as the quantization coefficient Vq via the inverse scaling 512a and the quantization 512b in the quantization 512. [

이렇게 출력되는 변환계수(Vs) 및 양자화 계수(Vq)는 앞서 설명한 바와 같이 New Distortion Calculator부(도 5의 540)에 입력되고, 그에 따라, New Distortion Calculator부(도 5의 540)는 Transform 영역에서 추정 복원 오차(

Figure 112016070988700-pat00054
)를 계산할 수 있게 된다.5). As described above, the transform coefficient Vs and the quantization coefficient Vq outputted as described above are input to the New Distortion Calculator (540 in Fig. 5), and the New Distortion Calculator (540 in Fig. 5) Estimated restoration error (
Figure 112016070988700-pat00054
Can be calculated.

도 7은 본 발명의 일 실시 예에 따른 비디오 부호화기의 고속 복원 오차 추정 장치에 포함되는 New Distortion Calculator부를 구체적으로 나타내는 도면이다.7 is a block diagram illustrating a New Distortion Calculator included in a fast reconstruction error estimation apparatus of a video encoder according to an embodiment of the present invention.

HEVC 부호화기에서 원 영상(S)와 복원 영상(

Figure 112016070988700-pat00055
)에 대한 차이는 앞서 도 2를 통해 설명된 영상 복원(Reconstruction) 과정을 이용하여 아래의 수학식 1과 같이 예측 오차(U)와 역양자화(Inverse Quantization) 및 역변환(Inverse Transform)된 예측 오차(
Figure 112016070988700-pat00056
)의 차이로 나타낼 수 있다.In the HEVC encoder, the original image (S) and the reconstructed image (
Figure 112016070988700-pat00055
The difference between the prediction error (U) and the inverse quantization and inverse transformed prediction error (U) as shown in the following Equation 1 using the image reconstruction process described above with reference to FIG. 2
Figure 112016070988700-pat00056
).

Figure 112016070988700-pat00057
Figure 112016070988700-pat00057

일반적으로 DCT(511a)는 Parseval’s Theorem에 의해 에너지가 보존되는 변환이고, HEVC의 Transform 역시 DCT(511a)의 성질을 유지하고 있으므로, 수학식 1의 Distortion은 아래의 수학식 2와 같이 표현될 수 있다.In general, the DCT 511a is a transform in which energy is conserved by Parseval's Theorem, and the transform of the HEVC maintains the property of the DCT 511a. Thus, the distortion of Equation 1 can be expressed as Equation 2 below .

Figure 112016070988700-pat00058
Figure 112016070988700-pat00058

수학식 2에서 V는 도 6에 도시된 바와 같이 DCT(511a) 가 수행된 후의 계수를 나타내고,

Figure 112016070988700-pat00059
은 아래의 수학식 3과 같이 양자화와 역양자화를 거친 계수를 나타낸다.V in Equation (2) represents a coefficient after the DCT 511a is performed as shown in FIG. 6,
Figure 112016070988700-pat00059
Represents a coefficient obtained through quantization and inverse quantization as shown in Equation 3 below.

Figure 112016070988700-pat00060
Figure 112016070988700-pat00060

그리고, 수학식 3의

Figure 112016070988700-pat00061
은 HEVC에서 아래의 수학식 4와 같이 나타낼 수 있다.In Equation 3,
Figure 112016070988700-pat00061
Can be expressed by the following Equation (4) in the HEVC.

Figure 112016070988700-pat00062
Figure 112016070988700-pat00062

한편, 본 발명에 따른 비디오 부호화기의 고속 복원 오차 추정 장치는 도 6에서 도시된 변환부(511) 및 양자화부(512)와 수학식 1 내지4로부터 Transform 영역의 계수들을 이용해서 도 7에 도시된 바와 같이 추정 복원 오차(

Figure 112016070988700-pat00063
)를 계산할 수 있다.The fast reconstruction error estimation apparatus of the video encoder according to the present invention uses the coefficients of the transform region from Equations 1 to 4 and the transform unit 511 and quantization unit 512 shown in FIG. 6, The estimated restoration error (
Figure 112016070988700-pat00063
) Can be calculated.

앞서 설명한 바와 같이, 본 발명에서는 Transform 영역에서 추정 복원 오차(

Figure 112016070988700-pat00064
)를 계산하기 위해, 수학식 2와 같이 변환부(511)의 출력인 변환계수(Vs)와 양자화부(512)의 출력인 양자화 계수(Vq)를 이용한다. 즉, 수학식 3 및 4를 이용하여 수학식 2를 아래의 수학식 5와 같이 표현할 수 있다.As described above, in the present invention, the estimated reconstruction error (
Figure 112016070988700-pat00064
The transform coefficient Vs output from the transforming unit 511 and the quantization coefficient Vq output from the quantizing unit 512 are used as shown in Equation 2 below. That is, Equation (2) can be expressed as Equation (5) below using equations (3) and (4).

Figure 112016070988700-pat00065
Figure 112016070988700-pat00065

수학식 5에 아래의 수학식 6과 수학식 7을 대입하여 정리하면, 아래의 수학식 8과 같이 표현된다.Equation (6) and Equation (7) are substituted into Equation (5) and expressed as Equation (8) below.

Figure 112016070988700-pat00066
Figure 112016070988700-pat00066

여기서,

Figure 112016070988700-pat00067
Figure 112016070988700-pat00068
는 정수 연산의 양자화와 역양자화를 위해 HEVC에 정의된 상수값이다.here,
Figure 112016070988700-pat00067
and
Figure 112016070988700-pat00068
Is a constant value defined in HEVC for quantization and dequantization of integer operations.

Figure 112016070988700-pat00069
Figure 112016070988700-pat00069

Figure 112016070988700-pat00070
Figure 112016070988700-pat00070

한편, 수학식 8에서

Figure 112016070988700-pat00071
Figure 112016070988700-pat00072
를 만족하고,
Figure 112016070988700-pat00073
Figure 112016070988700-pat00074
를 만족한다. 그리고, 수학식 8로부터 추정 복원 오차(
Figure 112016070988700-pat00075
)는 아래의 수학식 9와 같이 표현될 수 있다.On the other hand, in Equation (8)
Figure 112016070988700-pat00071
The
Figure 112016070988700-pat00072
Lt; / RTI >
Figure 112016070988700-pat00073
The
Figure 112016070988700-pat00074
. From Equation (8), the estimated restoration error (
Figure 112016070988700-pat00075
) Can be expressed by Equation (9) below.

Figure 112016070988700-pat00076
Figure 112016070988700-pat00076

수학식 9는 수학식 5의 정수 연산을 위해 수학식 6과 수학식 7을 이용하여 정수 단위로 scaling 되었기 때문에, 정수 단위 곱셈과 자리 옮김(shift) 연산으로 수학식 10과 같이 계산이 가능하다.Since Equation (9) is scaled in integer units using Equations (6) and (7) for integer operation in Equation (5), it can be calculated as Equation (10) by integer unit multiplication and shift operation.

Figure 112016070988700-pat00077
Figure 112016070988700-pat00077

수학식 10에서

Figure 112016070988700-pat00078
Figure 112016070988700-pat00079
를 나타내고,
Figure 112016070988700-pat00080
Figure 112016070988700-pat00081
를 나타낸다.In Equation (10)
Figure 112016070988700-pat00078
The
Figure 112016070988700-pat00079
Lt; / RTI >
Figure 112016070988700-pat00080
The
Figure 112016070988700-pat00081
.

한편,

Figure 112016070988700-pat00082
Figure 112016070988700-pat00083
는 정수 연산의 양자화와 역양자화를 위해 HEVC에 정의된 상수값이므로, 본 발명에 따른 비디오 부호화기의 고속 복원 오차 추정 장치는 추가적인 상수 테이블을 필요로 하지 않는다.Meanwhile,
Figure 112016070988700-pat00082
and
Figure 112016070988700-pat00083
Is a constant value defined in the HEVC for quantization and dequantization of integer arithmetic operations. Therefore, the fast reconstruction error estimation apparatus of the video encoder according to the present invention does not require an additional constant table.

즉, 본 발명에 따른 비디오 부호화기의 고속 복원 오차 추정 장치에 포함되는 New Distortion Calculator부(540)는 도 5 및 도 7에 도시된 바와 같이, 율-왜곡 비용(

Figure 112016070988700-pat00084
)이 최소가 되는 모드(
Figure 112016070988700-pat00085
)의 결정을 위한 복원 오차의 계산시에 원 영상(S) 과 복원 영상(
Figure 112016070988700-pat00086
)을 필요로 하지 않는다. 5 and 7, the New Distortion Calculator 540 included in the fast reconstruction error estimation apparatus of the video encoder according to the present invention calculates the rate-
Figure 112016070988700-pat00084
) Is the minimum mode
Figure 112016070988700-pat00085
(S) and reconstructed image (S) in the calculation of the reconstruction error
Figure 112016070988700-pat00086
).

그 대신, HEVC의 변환부(도 6의 511)와 양자화부(도 6의 512)로부터 얻을 수 있는 변환계수(Vs)와 양자화 계수(Vq)를 이용하여 추정 복원 오차(

Figure 112016070988700-pat00087
)를 계산한다. Instead, an estimated restoration error (Vs) is obtained by using a transform coefficient (Vs) and a quantization coefficient (Vq) obtained from the transform unit (511 in Fig. 6) of the HEVC and the quantization unit
Figure 112016070988700-pat00087
).

이러한 과정에서. New Distortion Calculator부(540)는 추가적인 상수 테이블이나 실수 연산 없이 정수 연산만으로 효과적으로 추정 복원 오차(

Figure 112016070988700-pat00088
)를 계산할 수 있다. 본 발명에 따른 비디오 부호화기의 고속 복원 오차 추정 장치는 32x32부터 4x4까지 모든 크기의 Transform 연산과 8-bit/10-bit 등의 화소 크기에 모두 적용 가능하고, HEVC에서 지원하는 4x4 블록에서의 Transform Skip 모드에도 적용 가능하다.In this process. The New Distortion Calculator unit 540 effectively estimates the restoration error ("
Figure 112016070988700-pat00088
) Can be calculated. The apparatus for fast reconstruction error estimation of a video encoder according to the present invention can be applied to all sizes of 32x32 to 4x4 transform operations and pixel sizes such as 8-bit and 10-bit, and Transform Skip in a 4x4 block supported by HEVC Mode.

결국, 본 발명에 따른 비디오 부호화기의 고속 복원 오차 추정 장치는 New Distortion Calculator부(540)를 구비함으로써, 종래 방식에서 요구되었던 N개 모드에 대한 영상 복원(Reconstruction) 과정을 생략할 수 있고, 이로 인해서, 종래 N개 모드에 대한 영상 복원(Reconstruction)에 요구되었던 Memory access와 power 소모를 절약할 수 있고, 부호화 시간을 상당량 감소시킬 수 있다.As a result, the fast reconstruction error estimation apparatus of the video encoder according to the present invention includes the New Distortion Calculator unit 540, thereby omitting the image reconstruction process for the N modes required in the conventional system, , Memory access and power consumption required for image reconstruction in the conventional N modes can be saved, and coding time can be significantly reduced.

따라서, 이상의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.Accordingly, the foregoing detailed description should not be construed in any way as limiting and should be considered illustrative. The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the scope of equivalents of the present invention are included in the scope of the present invention.

Claims (8)

입력된 예측 오차 영상(U)에 대하여 이산 여현 변환(DCT, discrete cosine transform)과 스케일링(scaling)을 수행한 변환계수(Vs) 및 상기 변환계수(Vs)에 대하여 역스케일링(inverse scaling)과 양자화를 수행한 양자화 계수(Vq)를 출력하는 Transform/Quantization 부; 및
상기 변환계수(Vs) 및 상기 양자화 계수(Vq)에 기반하여, Transform 영역에서 추정 복원 오차(
Figure 112017024192347-pat00089
)를 계산하고, 상기 추정 복원 오차(
Figure 112017024192347-pat00090
)를 RDO(rate distortion optimization) Mode Decision 부에 전달하는 New Distortion Calculator부를 포함하며,
상기 Transform/Quantization 부는 상기 이산 여현 변환(DCT)이 수행된 결과에 대하여 2ST만큼의 스케일링을 수행하여 상기 변환계수(Vs)를 출력하고, 여기서 ST는 ST=15-B-M을 만족하며, M은 M=log2L을 만족하고, B는 화소 비트(bit) 크기를 나타내며, L=L x L Transform 크기(L=2n, n은 2 이상의 자연수)를 나타내는 비디오 부호화기의 고속 복원 오차 추정 장치.
A transform coefficient Vs obtained by performing discrete cosine transform (DCT) and scaling on an input predictive error image U and inverse scaling and quantization A Transform / Quantization unit for outputting the quantization coefficient Vq performed; And
Based on the transform coefficient (Vs) and the quantization coefficient (Vq), an estimated reconstruction error (
Figure 112017024192347-pat00089
), And the estimated restoration error (
Figure 112017024192347-pat00090
) To a rate distortion optimization (RDO) mode decision unit,
Wherein the Transform / Quantization unit scales the result of performing the DCT by 2 ST , and outputs the transform coefficient Vs, wherein ST satisfies ST = 15-BM, L = L x L Transform size (L = 2n, n is a natural number of 2 or more), where M = log 2 L, B denotes a pixel bit size, and L = L x L.
제1항에 있어서,
상기 New Distortion Calculator부는,
정수 연산의 양자화(quantization) 및 역양자화(inverse quantization)을 위해 HEVC(high efficiency video coding)에 정의된 상수 값을 이용하고, 추가적인 상수 테이블이나 실수 연산 없이 상기 정수 연산만으로 상기 추정 복원 오차(
Figure 112016070988700-pat00091
)를 계산하는 비디오 부호화기의 고속 복원 오차 추정 장치.
The method according to claim 1,
The New Distortion Calculator unit,
A constant value defined in HEVC (High Efficiency Video Coding) is used for quantization and inverse quantization of an integer operation, and the estimated restoration error
Figure 112016070988700-pat00091
) Of the video encoder.
제1항에 있어서,
상기 추정 복원 오차(
Figure 112016070988700-pat00092
) 및 비트율(
Figure 112016070988700-pat00093
)에 기반하여, 최소의 율-왜곡 비용을 가지는 율-왜곡 최적화(RDO)된 모드를 결정하는 상기 RDO Mode Decision부를 더 포함하는 비디오 부호화기의 고속 복원 오차 추정 장치.
The method according to claim 1,
The estimated restoration error (
Figure 112016070988700-pat00092
) And bit rate (
Figure 112016070988700-pat00093
(RDO) mode determining unit that determines a rate-distortion optimized (RDO) mode having a minimum rate-distortion cost, based on the RDO mode decision unit.
제3항에 있어서,
상기 결정된 모드에 대해서만 영상 복원(Reconstruction)을 CTU(coding tree block)당 한번만 수행하는 Reconstruction 부를 더 포함하는 비디오 부호화기의 고속 복원 오차 추정 장치.
The method of claim 3,
And a reconstruction unit which performs reconstruction only once per coding tree block (CTU) only for the determined mode.
제3항에 있어서,
상기 결정된 모드에 대해서만 상기 예측 오차 영상(U)의 변환(Transform), 양자화(Quantization), 엔트로피코딩(Entropy Coding) 및 영상 복원(Reconstruction)을 수행하여 최종 비트 스트림과 최종 복원 영상을 생성하는 비디오 부호화기의 고속 복원 오차 추정 장치.
The method of claim 3,
Quantization, entropy coding, and image reconstruction of the predictive error image U only for the determined mode to generate a final bitstream and a final reconstructed image, Speed reconstruction error estimation apparatus.
제5항에 있어서,
상기 최종 복원 영상을 Deblock/SAO Filters 부를 거쳐 Decoded Picture Buffer부에 저장하여 다음 영상의 예측에 사용하는 비디오 부호화기의 고속 복원 오차 추정 장치.
6. The method of claim 5,
And the final reconstructed image is stored in a decoded picture buffer unit through a deblock / SAO filter unit and used for prediction of a next image.
입력된 예측 오차 영상(U)에 대하여 이산 여현 변환(DCT, discrete cosine transform)과 스케일링(scaling)을 수행하여 변환계수를 생성하는 단계;
상기 변환계수(Vs)에 대하여 역스케일링(inverse scaling)과 양자화를 수행하여 양자화 계수(Vq)를 생성하는 단계; 및
상기 변환계수(Vs) 및 상기 양자화 계수(Vq)에 기반하여, Transform 영역에서 추정 복원 오차(
Figure 112017024192347-pat00094
)를 계산하는 단계를 포함하며,
상기 변환계수를 생성하는 단계는 상기 이산 여현 변환(DCT)이 수행된 결과에 대하여 2ST만큼의 스케일링을 수행하여 상기 변환계수(Vs)를 출력하고, 여기서 ST는 ST=15-B-M을 만족하며, M은 M=log2L을 만족하고, B는 화소 비트(bit) 크기를 나타내며, L=L x L Transform 크기(L=2n, n은 2 이상의 자연수)를 나타내는 비디오 부호화기의 고속 복원 오차 추정 방법.
Generating transform coefficients by performing discrete cosine transform (DCT) and scaling on the input predictive error image (U);
Performing inverse scaling and quantization on the transform coefficient (Vs) to generate a quantization coefficient (Vq); And
Based on the transform coefficient (Vs) and the quantization coefficient (Vq), an estimated reconstruction error (
Figure 112017024192347-pat00094
), ≪ / RTI >
Wherein the step of generating the transform coefficients performs the scaling by 2 ST on the result of performing the DCT to output the transform coefficient Vs, wherein ST satisfies ST = 15-BM , M denotes a fast reconstruction error estimate of a video encoder that satisfies M = log 2 L, B denotes a pixel bit size, and L = L x L Transform size (L = 2n and n is a natural number of 2 or more) Way.
제7항에 있어서,
상기 추정 복원 오차(
Figure 112016070988700-pat00095
) 및 비트율(
Figure 112016070988700-pat00096
)에 기반하여, 최소의 율-왜곡 비용을 가지는 율-왜곡 최적화(RDO, rate distortion optimization)된 모드를 결정하는 단계;
상기 결정된 모드에 대해서만 영상 복원(Reconstruction)을 CTU(coding tree block)당 한번만 수행하여 최종 비트 스트림과 최종 복원 영상을 생성하는 단계; 및
상기 최종 복원 영상을 저장하여 다음 영상의 예측에 사용하는 단계를 더 포함하는 비디오 부호화기의 고속 복원 오차 추정 방법.
8. The method of claim 7,
The estimated restoration error (
Figure 112016070988700-pat00095
) And bit rate (
Figure 112016070988700-pat00096
Determining a rate distortion optimized (RDO) mode with a minimum rate-distortion cost,
Performing reconstruction only once per coding tree block (CTU) only for the determined mode to generate a final bitstream and a final reconstructed image; And
And storing the final reconstructed image to be used for prediction of a next image.
KR1020160092649A 2016-07-21 2016-07-21 Apparatus and method for estimating distortion of video encoding device with high speed KR101761131B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160092649A KR101761131B1 (en) 2016-07-21 2016-07-21 Apparatus and method for estimating distortion of video encoding device with high speed

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160092649A KR101761131B1 (en) 2016-07-21 2016-07-21 Apparatus and method for estimating distortion of video encoding device with high speed

Publications (1)

Publication Number Publication Date
KR101761131B1 true KR101761131B1 (en) 2017-08-04

Family

ID=59654167

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160092649A KR101761131B1 (en) 2016-07-21 2016-07-21 Apparatus and method for estimating distortion of video encoding device with high speed

Country Status (1)

Country Link
KR (1) KR101761131B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015111787A (en) * 2013-12-06 2015-06-18 富士通株式会社 Video coding device, video coding method and computer program for video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015111787A (en) * 2013-12-06 2015-06-18 富士通株式会社 Video coding device, video coding method and computer program for video coding

Similar Documents

Publication Publication Date Title
JP5777080B2 (en) Lossless coding and related signaling methods for composite video
KR102046520B1 (en) Methods of decoding using skip mode and apparatuses for using the same
CN106170092B (en) Fast coding method for lossless coding
KR20190016985A (en) Method and apparatus for decoding image
EP3140988B1 (en) Method and device for reducing a computational load in high efficiency video coding
KR20160040486A (en) Apparatus and method for coding/decoding image selectivly using descrete cosine/sine transtorm
US20160173907A1 (en) LM Mode with Uniform Bit-Width Multipliers
US20070237235A1 (en) Method of reducing computations in transform and scaling processes in a digital video encoder using a threshold-based approach
WO2011101452A2 (en) Data compression for video
KR101462637B1 (en) Method and apparatus for image encoding/decoding
KR20210103573A (en) Chroma block prediction method and device
KR20100079037A (en) Method and apparatus for intra encoding by fast intra mode searching
KR20130045151A (en) Method and apparatus for generating reconstruction block
KR20220112840A (en) Method and apparatus for video coding
CN104937934A (en) Autoregressive pixel prediction in the neighborhood of image borders
KR101596085B1 (en) Apparatus and method for video coding/decoding using adaptive intra prediction
KR101911587B1 (en) Apparatus and method for video coding/decoding using adaptive intra prediction
EP2801194A1 (en) Quantization matrix (qm) coding based on weighted prediction
KR101761131B1 (en) Apparatus and method for estimating distortion of video encoding device with high speed
KR20220124802A (en) Method and apparatus for video coding
WO2015045301A1 (en) Video encoding device, video encoding method, and video encoding program
CN105338365A (en) Video coding method and video coding apparatus
KR20180113868A (en) Image Reencoding Method based on Decoding Data of Image of Camera and System thereof
KR101096619B1 (en) The method for encoding/decoding data and the apparatus thereof
WO2022213122A1 (en) State transition for trellis quantization in video coding

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant