KR20160093149A

KR20160093149A - Method and apparatus of fast intra coding mode decision for screen content coding

Info

Publication number: KR20160093149A
Application number: KR1020150013410A
Authority: KR
Inventors: 안용조; 심동규
Original assignee: 광운대학교 산학협력단
Priority date: 2015-01-28
Filing date: 2015-01-28
Publication date: 2016-08-08

Abstract

In the present invention, disclosed are an apparatus and a method for encoding an image. More specifically, the image encoding apparatus and the method are an apparatus and a method for ending a mode determination process on encoding modes inside the remaining screen earlier by using information of a block copy mode inside a screen to determine an encoding mode of a current coding unit, or selectively performing encoding mode determination used for determining a mode when the mode determination process does not complete earlier through comparing encoding information between a representative mode of the block copy mode inside the screen and a representative mode of an estimation mode inside the screen.

Description

BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a method and an apparatus for determining a fast intra picture coding mode for screen content coding,

본 발명은 영상 처리 기술에 관한 것으로서, 보다 상세하게는 영상 부호화에 있어서 화면 내 부호화 모드를 빠르게 결정하는 방법 및 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing technique, and more particularly, to a method and apparatus for quickly determining an intra-picture coding mode in image encoding.

최근 고해상도, 고화질 영상에 대한 요구가 증가함에 따라 차세대 영상 서비스를 위한 고효율의 비디오 압축 기술에 대한 필요성이 대두되었다. 이러한 시장의 요구에 따라, MPEG (Moving Picture Expert Group)과 VCEG (Video Coding Expert Group)은 2010년 JCT-VC (Joint Collaborative Team on Video Coding)를 구성하여 차세대 비디오 표준인 HEVC (High Efficiency Video Coding)의 표준화를 진행하였다. 2013년 1월 HEVC version1 표준 기술의 개발이 완료되었으며, HEVC는 종래에 가장 높은 압축 효율을 갖는 것으로 알려진 H.264/AVC High 프로파일에 비하여 동일 주관적 화질 기준으로 약 50%의 압축 효율 향상을 달성하였다.Recently, as the demand for high resolution and high definition video has increased, there has been a need for a highly efficient video compression technology for the next generation video service. Moving Picture Expert Group (MPEG) and Video Coding Expert Group (VCEG) have formed Joint Collaborative Team on Video Coding (JCT-VC) in 2010 to meet the needs of the market. The high efficiency video coding (HEVC) . Development of the HEVC version 1 standard technology was completed in January 2013, and the HEVC achieves a compression efficiency improvement of about 50% with the same subjective quality standard as the H.264 / AVC High profile, which is conventionally known to have the highest compression efficiency .

최근 JCT-VC는 HEVC version1의 표준화 이후 4:0:0, 4:2:2, 4:4:4 컬러 포맷 및 최대 16비트까지의 비트 심도 (bit-depth)를 지원하기 위한 확장 표준 기술인 RExt (Range Extension) 을 개발하고 있다. 또한, JCT-VC는 HEVC RExt를 기반으로 스크린 콘텐츠를 효과적으로 부호화하기 위한 비디오 압축 표준을 개발하기 위하여 HEVC SCC (Screen Contents Coding)의 Joint Call for Proposal를 2014년 1월 발행하였다.Recently, JCT-VC has introduced RExt, an extended standard technology for supporting 4: 0: 0, 4: 2: 2, 4: 4: 4 color format and bit depth of up to 16 bits since standardization of HEVC version1. (Range Extension). In addition, JCT-VC issued the Joint Call for Proposal of HEVC SCC (Screen Contents Coding) in January 2014 to develop a video compression standard to effectively encode screen contents based on HEVC RExt.

본 발명의 일부 실시예는 화면 내 부호화 모드를 결정함에 있어서 화면 내 블록 카피 (IBC: Intra Block Copy) 모드의 정보들을 이용하여 화면 내 부호화 모드 결정을 고속화할 수 있도록 하는 장치 및 방법을 제공하는데 그 목적이 있다.Some embodiments of the present invention provide an apparatus and method for speeding up intra-picture coding mode determination using intra-picture block copy (IBC) mode information in determining intra-picture coding mode, There is a purpose.

또한, 본 발명의 일부 실시예는 화면 내 부호화 모드를 결정하는 순서를 적응적으로 조절하여 화면 내 부호화 모드 결정을 고속화할 수 있도록 하는 장치 및 방법을 제공하는 데 다른 목적이 있다.It is another object of the present invention to provide an apparatus and a method for adaptively adjusting an order of determining an intra-picture coding mode to speed up an intra-picture coding mode decision.

또한, 본 발명의 일부 실시예는 상기 화면 내 부호화 모드, 즉, 화면 내 예측 모드 및 화면 내 블록 카피 모드에 대한 모드 결정과정의 순서와 상기 화면 내 부호화 모드 결정 순서를 결정하는 장치 및 방법을 제공하는데 다른 목적이 있다.In addition, some embodiments of the present invention provide an apparatus and method for determining a sequence of a mode determination process and an intra-frame encoding mode determination sequence for the intra-frame encoding mode, i.e., intra-frame prediction mode and intra-frame block copy mode There is another purpose.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.It is to be understood, however, that the technical scope of the present invention is not limited to the above-described technical problems, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 영상 부호화 장치는, 현재 코딩 유닛이 조기 종료 조건을 만족하는 경우 나머지 화면 내 부호화 모드 결정 과정을 생략하는 화면 내 부호화 모드 조기 종료부를 포함하고, 상기 화면 내 부호화 모드의 조기 종료 조건을 만족하는 경우 이용되는 것이다.According to an aspect of the present invention, there is provided an apparatus and method for encoding an image according to an embodiment of the present invention. The apparatus includes an intra-picture encoding mode for omitting a remaining intra-picture encoding mode determination process when the current coding unit satisfies an early- And an early termination unit, and is used when an early termination condition of the intra-picture coding mode is satisfied.

또한, 본 발명의 다른 실시예에 따른 영상 부호화 장치는, 상기 코딩 트리 유닛에서 최적의 부호화 모드 결정과정에 대한 계속 수행 여부를 결정하기 위해 화면 내 블록 카피 모드의 소정의 정보들을 획득하는 화면 내 블록 카피 모드 정보 획득 부, 화면 내 예측 모드와 화면 내 블록 카피 모드의 율-왜곡 값 (RD-cost)를 비교하는 율-왜곡 값 비교부, 상기 화면 내 부호화 모드간의 율-왜곡 값 비교 결과를 바탕으로 최적의 부호화 모드 결정의 계속 수행에 포함되는 화면 내 부호화 모드를 선택하는 계속 수행 모드 결정부를 포함한다.In addition, the image encoding apparatus according to another embodiment of the present invention may further include an in-picture block copy mode in which predetermined information of an in-screen block copy mode is acquired to determine whether to continue performing the optimal encoding mode determination process in the coding tree unit, A rate-distortion value comparing unit for comparing a rate-distortion value (RD-cost) of an intra-picture prediction mode and an intra-picture block copy mode, And an on-screen coding mode included in the continuous execution of the optimal coding mode decision.

또한, 본 발명의 또 다른 실시예에 따른 영상 부호화 장치는, 화면 내 부호화 모드 중 종래의 화면 내 부호화 모드 결정 순서를 적응적으로 조절하여 스크린 콘텐츠 특성이 강한 영상의 부호화에서는 화면 내 블록 카피 모드의 모드 결정을 선행함으로써 화면 내 부호화 모드 결정의 조기 종료시 발생하는 압축 효율의 저하를 최소화한다.In addition, the image encoding apparatus according to another embodiment of the present invention adaptively adjusts the intra-picture coding mode determination order in the intra-picture coding mode, Mode decoding is performed in advance to minimize the degradation of the compression efficiency occurring at the early termination of the intra-picture coding mode determination.

또한, 본 발명의 또 다른 실시예에 따른 영상 부호화 방법은, 화면 내 부호화 모드 중 화면 내 블록 카피 모드의 차분 영상 특성이 화면 간 예측 모드의 차분 영상 특성과 유사한 점, 상기 화면 내 부호화 모드 중 화면 내 블록 카피 모드는 화면 간 예측 모드의 움직임 벡터 (MV: Motion Vector)와 유사한 블록 벡터 (BV: Block Vector)를 이용하여 예측 블록을 결정하는 단계를 포함한다.In addition, the image encoding method according to another embodiment of the present invention is characterized in that the difference image characteristic of the intra-picture block copy mode in intra-picture coding mode is similar to the difference picture characteristic of the inter-picture prediction mode, The intra-block copy mode includes a step of determining a prediction block using a block vector (BV) similar to a motion vector (MV) of the inter-picture prediction mode.

또한, 본 발명의 일 실시예에 따른 영상 부호화 방법은, 화면 내 예측 모드 결정 과정 이후 수행되는 화면 내 블록 카피 모드 결정 과정을 화면 내 예측 모드 결정 과정 이전으로 적응적으로 변경하는 것을 포함한다.Also, the image encoding method according to an embodiment of the present invention includes adaptively changing an in-screen block copy mode determination process performed after the in-picture prediction mode determination process to an intra-picture prediction mode determination process.

전술한 본 발명의 과제 해결 수단에 의하면, 현재 코딩 유닛의 화면 내 블록 카피 모드가 소정의 조건을 만족하는 경우 나머지 화면 내 부호화 모드에 대한 최적의 모드 결정 과정을 조기 종료함으로써, 화면 내 부호화 모드 중 최적의 부호화 모드에 대한 결정을 고속화 할 수 있다. According to the present invention, when the in-screen block copy mode of the current coding unit satisfies a predetermined condition, the optimal mode determination process for the remaining intra-picture coding mode is prematurely terminated, It is possible to speed up the determination of the optimal encoding mode.

또한, 전술한 일부 실시예에 의하면, 화면 내 블록 카피 모드의 모드 결정 순서를 적응적으로 위치시킬 수 있으며 상기 화면 내 부호화 모드의 결정 순서 변경에 따라 스크린 콘텐츠 특성이 높은 영상에서 화면 내 예측 모드의 추가 수행에 따른 부호화 복잡도를 감소 시킬 수 있다.In addition, according to some embodiments described above, it is possible to adaptively position the mode determination order of the intra-picture block copy mode and to change the intra-picture prediction mode from an image having a high screen content characteristic The encoding complexity due to the additional performance can be reduced.

또한, 전술한 일부 실시예에 의하면, 화면 내 블록 카피 모드의 조기 수행으로 인하여 기존의 화면 간 예측 모드의 고속 부호화 모드 결정과정에서 사용되는 부호화 정보들을 화면 내 부호화 모드에서도 유사하게 사용함으로써 추가적인 고속 부호화 모드 결정 방법을 적용하는데 용이하다.In addition, according to some embodiments described above, since the early execution of the intra-picture block copy mode allows the encoding information used in the fast encoding mode determination process of the existing inter picture prediction mode to be similarly used in the intra picture encoding mode, It is easy to apply the mode determination method.

도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 전체적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 복호화 장치를 전체적으로 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 기존 영상 부호화 장치에서의 부호화 모드 결정 과정을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 화면 내 블록 카피 모드의 모드 결정 순서가 변경된 부호화 모드 결정 과정을 나타낸 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 화면 내 블록 카피 모드의 하나 혹은 그 이상의 정보를 이용하여 나머지 화면 내 부호화 모드에 대한 조기 종료를 도시한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 화면 내 블록 카피 모드의 하나 혹은 그 이상의 정보를 이용하여 나머지 화면 내 부호화 모드에 대한 조기 종료 및 조기 종료 되지 않은 경우 추가 조건을 통해 화면 내 예측 모드 와 화면 내 블록 카피 모드간의 선택적 모드 수행을 도시한 블록도이다. FIG. 1 is a block diagram of an image coding apparatus according to an exemplary embodiment of the present invention. Referring to FIG.
FIG. 2 is a block diagram of an image decoding apparatus according to an exemplary embodiment of the present invention. Referring to FIG.
3 is a flowchart illustrating a coding mode determination process in a conventional image encoding apparatus according to an embodiment of the present invention.
FIG. 4 is a flowchart illustrating a coding mode determination process in which a mode determination order of an in-screen block copy mode according to an embodiment of the present invention is changed.
5 is a block diagram illustrating early termination of the remaining intra-picture coding mode using one or more pieces of in-picture block copy mode information according to an embodiment of the present invention.
6 illustrates an example of an intra-picture prediction mode and an intra-picture prediction mode using an in-picture block copy mode according to an exemplary embodiment of the present invention, Block mode, and FIG.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when a part is referred to as "including " an element, it does not exclude other elements unless specifically stated otherwise.

본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.Throughout this specification, when an element is referred to as "including " an element, it is understood that the element may include other elements as well, without departing from the other elements unless specifically stated otherwise. The word " step (or step) "or" step "used to the extent that it is used throughout the specification does not mean" step for.

또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. Also, the terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

덧붙여, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시 예 및 분리된 실시 예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.In addition, the components shown in the embodiments of the present invention are shown independently to represent different characteristic functions, which does not mean that each component is composed of separate hardware or software constituent units. That is, each constituent unit is described by arranging each constituent unit for convenience of explanation, and at least two constituent units of each constituent unit may be combined to form one constituent unit or one constituent unit may be divided into a plurality of constituent units to perform a function. The integrated embodiments and the separate embodiments of each of these components are also included in the scope of the present invention without departing from the essence of the present invention.

이하에서는, 본 발명에서 제안하는 영상 부호화/복호화 장치에 대해 도 1과 도 2를 참고하여 설명하기로 한다. 도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 전체적으로 도시한 블록도이며, 도 2는 본 발명의 일 실시예에 따른 영상 복호화 장치를 전체적으로 도시한 블록도이다.Hereinafter, a video encoding / decoding apparatus proposed by the present invention will be described with reference to FIGS. 1 and 2. FIG. FIG. 1 is a block diagram of an image encoding apparatus according to an embodiment of the present invention. FIG. 2 is a block diagram of an image decoding apparatus according to an embodiment of the present invention. Referring to FIG.

참고로, 영상 부호화 과정과 영상 복호화 과정은 많은 부분에서 서로 대응되므로, 이 기술 분야에 속한 기술자라면 후술될 영상 복호화 과정에 대한 설명을 통해 영상 부호화 과정도 쉽게 이해할 수 있을 것이다. For reference, since the image encoding process and the image decoding process correspond to each other in many parts, a person skilled in the art can easily understand the image encoding process by explaining the image decoding process to be described later.

도 1을 참조하면, 본 발명에서 제안하는 영상 부호화 장치는 화면 내 예측부(100), 화면 내 블록 카피 예측부(110), 화면 간 예측부(120), 감산부(130), 합산부(135), 변환부(140), 역변환부(145), 양자화부(150), 역양자화부(155), 엔트로피 부호화부(160), 디블록킹 필터부(170), 샘플 적응적 오프셋부(180), 복원 픽쳐 버퍼(190)를 포함할 수 있다.1, an image encoding apparatus proposed by the present invention includes an intra-picture prediction unit 100, an in-picture block copy prediction unit 110, an inter-picture prediction unit 120, a subtraction unit 130, A transform unit 140, an inverse transform unit 145, a quantization unit 150, an inverse quantization unit 155, an entropy coding unit 160, a deblocking filter unit 170, a sample adaptive offset unit 180 ), And a restored picture buffer 190.

화면 내 예측부(100)는 부호화되는 현재 블록과 인접하는 기 복호화된 주변 블록의 화소 값을 이용하여 공간적 예측을 수행함으로써, 화면내 예측 기반의 예측 신호를 생성한다. 또한, 화면 내 예측부(110)에서 예측을 수행하는 화면 내 예측 모드는 Intra 2Nx2N, Intra NxN, Intra PCM 모드를 예로 들 수 있다.The intra picture prediction unit 100 generates a prediction signal based on intra picture prediction by performing spatial prediction using pixel values of neighboring decoded neighboring blocks adjacent to the current block to be coded. The Intra 2Nx2N, Intra NxN, and Intra PCM modes are examples of intra-picture prediction modes for performing intra-picture prediction by the intra-frame prediction unit 110. [

화면 내 블록 카피 예측부(110)는 부호화되는 현재 블록과 이미 복호화된 현재 픽쳐내의 모든 영역 중 정합되는 블록에 대하여 예측을 수행함으로써, 화면 내 블록 카피 예측 기반의 예측 신호를 생성한다. 또한, 화면 내 블록 카피 예측부(110)에서 예측을 수행하는 모드는 IBC 2Nx2N, IBC 2NxN, IBC Nx2N, IBC NxN 모드를 예로 들 수 있다.In-picture block copy predicting unit 110 generates a predictive signal based on intra-picture block copy prediction by performing prediction on the current block to be coded and a block that is matched among all the areas in the current picture that has already been decoded. In addition, the modes for performing the prediction in the in-screen block copy predicting unit 110 include IBC 2Nx2N, IBC 2NxN, IBC Nx2N, and IBC NxN modes.

화면 간 예측부(120)는 움직임 예측을 수행하여 최적의 참조 블록을 예측하여 화면 간 예측 기반의 예측 신호를 생성한다.The inter-picture predicting unit 120 performs motion prediction to predict an optimal reference block to generate a prediction signal based on an inter picture prediction.

감산부(130)는 화면 내 예측부(100), 화면 내 블록 카피 예측부(110), 혹은 화면 간 예측부(120)에서 예측된 예측 신호와 입력된 원본 영상간의 잔차 신호를 생성한다.The subtractor 130 generates a residual signal between the predictive signal predicted by the intra-picture prediction unit 100, intra-picture block copy predicting unit 110, or inter-picture predicting unit 120 and the input original image.

변환부(140) 및 양자화부(150)는 잔차 신호를 입력 받아, 변환 및 양자화를 차례로 수행하여 양자화된 변환 신호를 출력한다.The conversion unit 140 and the quantization unit 150 receive the residual signal, perform conversion and quantization in order, and output the quantized conversion signal.

엔트로피 부호화부(160)에서는 부호화 정보 및 양자화된 변환 신호를 신택스 요소 (syntax elements) 형태의 비트스트림으로 출력한다.The entropy encoding unit 160 outputs the encoded information and the quantized transformed signal as a bitstream in the form of syntax elements.

역양자화부(155) 및 역변환부(145)는 양자화된 계수를 입력 받아, 역양자화 및 역변환을 차례로 수행하고, 잔차 신호를 출력한다.The inverse quantization unit 155 and the inverse transformation unit 145 receive the quantized coefficients, perform inverse quantization and inverse transformation in order, and output residual signals.

합산부(135)는 역양자화 및 역변환된 잔차 신호와 예측 신호를 합산하여 복원 신호를 출력한다.The summation unit 135 sums the inversely quantized and inverse-transformed residual signal and the prediction signal, and outputs a reconstructed signal.

복원된 블록 단위의 영상은 디블록킹 필터부(170)과 SAO 수행부(180)으로 전달되어, 디블록킹 필터링 및 SAO 적용된 복원 블록을 생성한다. 복원된 블록은 복원 픽쳐 버퍼(190)에 차례로 저장되어 하나의 픽쳐를 구성하게되며, 화면 간 예측부(120)에서 참조 픽쳐로 사용될 수 있다.The reconstructed block-based image is transferred to the deblocking filter unit 170 and the SAO performing unit 180 to generate deblocking filtering and SAO-applied restoration blocks. The restored blocks are sequentially stored in the restored picture buffer 190 to constitute one picture, and the inter picture prediction unit 120 can be used as a reference picture.

도 2를 참조하면, 본 발명에서 제안하는 영상 복호화 장치는 엔트로피 복호화부(200), 역영자화부(210), 역변환부(220), 화면 간 예측부(230), 화면 내 블록 카피 예측부(240), 화면 내 예측부(250), 합산부(255), 디블록킹 필터부(260), 샘플 적응적 오프셋(SAO)부(270), 참조 영상 버퍼(280)를 포함할 수 있다. 2, the image decoding apparatus proposed by the present invention includes an entropy decoding unit 200, an inverse mapping unit 210, an inverse transform unit 220, an inter-picture prediction unit 230, an in- An in-picture prediction unit 250, a summation unit 255, a deblocking filter unit 260, a sample adaptive offset (SAO) unit 270, and a reference image buffer 280.

엔트로피 복호화부(200)는 입력된 비트스트림을 복호화하여 신택스 요소 및 양자화된 계수 등과 같은 복호화 정보를 출력한다. The entropy decoding unit 200 decodes the input bitstream and outputs decoded information such as a syntax element and a quantized coefficient.

역양자화부 (210) 및 역변환부 (220)는 양자화된 계수를 수신하여 역양자화 및 역변환을 차례대로 수행하고, 잔차 신호를 출력한다. The inverse quantization unit 210 and the inverse transformation unit 220 receive the quantized coefficients, perform inverse quantization and inverse transformation in order, and output residual signals.

화면 간 예측부(230)는 인코더로부터 전송된 움직임 벡터와 복원 영상 버퍼(280)에 저장되어 있는 복원 영상을 이용하여 움직임 보상을 수행함으로써, 화면간 예측 기반의 예측 신호를 생성한다.The inter-picture predicting unit 230 performs motion compensation using the motion vector transmitted from the encoder and the reconstructed picture stored in the reconstructed picture buffer 280, thereby generating a prediction signal based on inter picture prediction.

화면 내 예측부(250)는 복호화되는 현재 블록과 인접하는 기 복호화된 주변 블록의 화소 값을 이용하여 공간적 예측을 수행함으로써, 화면내 예측 기반의 예측 신호를 생성한다. The intra-picture prediction unit 250 generates spatial prediction-based prediction signals by performing spatial prediction using pixel values of neighboring decoded neighboring blocks adjacent to the current block to be decoded.

화면 내 블록 카피 예측부(240)는 부호화되는 현재 블록과 이미 복호화된 현재 픽쳐내의 모든 영역 중 정합되는 블록에 대하여 예측을 수행함으로써, 화면 내 블록 카피 예측 기반의 예측 신호를 생성한다. In-picture block copy prediction unit 240 generates a prediction signal based on the in-picture block copy prediction by performing prediction on the current block to be coded and a block that is matched among all the areas in the current picture that has already been decoded.

화면 간 예측부(230), 화면 내 블록 카피 예측부(240), 또는 화면 내 예측부(250)로부터 출력된 예측 신호는 합산부(255)를 통해 잔차 신호와 합해지고, 그에 따라 블록 단위로 생성된 복원 신호는 복원된 영상을 포함한다. The predictive signals output from the inter-picture predicting unit 230, intra-picture block copy predicting unit 240, or intra-picture predicting unit 250 are summed with the residual signal through the summing unit 255, The generated restoration signal includes the reconstructed image.

복원된 블록 단위의 영상은 디블록킹 필터부(260)와 SAO 수행부(270)로 전달된다. 디블록킹 필터링 및 샘플 적응적 오프셋이 적용된 복원 픽쳐는 복원 픽쳐 버퍼(280)에 저장되며, 화면간 예측부(230)에서 참조 픽쳐로써 사용될 수 있다.The restored block unit image is transferred to the deblocking filter unit 260 and the SAO performing unit 270. The restored picture to which the deblocking filtering and the sample adaptive offset are applied is stored in the reconstructed picture buffer 280 and can be used as a reference picture in the inter-picture predictor 230.

도 3를 참조하면, 기존 영상 부호화 방법 및 장치에서의 부호화 모드 결정 과정에서는 화면 간 예측 모드의 결정이 완료된 이후, 화면 내 예측 모드(310)에 대한 모드 결정 과정을 수행한다. 화면 내 예측 모드(310)에서의 모드 결정 순서는 Intra 2Nx2N(311), Intra NxN(312), Intra PCM(313) 순으로 이루어 지며, Intra NxN mode(312) 는 코딩 유닛의 크기에 따라 수행되거나 수행되지 않을 수 있다. 또한, 화면 내 예측 모드(310)에 대한 모드 결정 과정을 마친 이후, 화면 내 블록 카피 모드(320)들에 대한 모드 결정 과정을 거친다. 화면 내 블록 카피 모드(320)에서의 모드 결정 순서는 IBC 2Nx2N(321), IBC Nx2N(322), IBC 2NxN(323), IBC NxN(324) 순으로 이루어지며, IBC 2Nx2N(321)을 제외한 화면 내 블록 카피 모드의 경우 코딩 유닛의 크기에 따라 수행되거나 수행되지 않을 수 있다.Referring to FIG. 3, in the encoding mode determination process in the conventional image encoding method and apparatus, a mode determination process for the intra prediction mode 310 is performed after the determination of the inter picture prediction mode is completed. Intra NxN mode 312 is performed in accordance with the size of the coding unit, or the Intra NxN mode 312 is performed in the order of Intra 2Nx2N 311, Intra NxN 312 and Intra PCM 313 in the intra prediction mode 310 May not be performed. In addition, after the mode determination process for the intra-picture prediction mode 310 is completed, a mode determination process for intra-picture block copy modes 320 is performed. The mode determination order in the in-screen block copy mode 320 is in the order of IBC 2Nx2N 321, IBC Nx2N 322, IBC 2NxN 323 and IBC NxN 324, In the case of the inner block copy mode, it may or may not be performed depending on the size of the coding unit.

현재 코딩 유닛에서의 모드 결정과정을 마치면, 쿼드 트리 구조의 4개의 서비 코딩 유닛(330)에 대한 모드 결정과정을 순차적으로 수행한다.Upon completion of the mode determination process in the current coding unit, the mode determination process for the four service coding units 330 in the quad tree structure is sequentially performed.

도 4를 참조하면, 본 발명에서 제안하는 영상 부호화 장치 및 방법에서는 영상 부호화 모드 결정 중 화면 내 부호화 모드의 순서는 IBC 2Nx2N(I421)에 대한 모드 결정 과정이 Intra 2Nx2N(411)의 앞에 위치한다. 즉, 화면 내 예측 모드에 대한 결정 과정 이전에 화면 내 블록 카피 모드의 대표 모드인 IBC 2Nx2N(421)을 위치 시킬 수 있다.Referring to FIG. 4, in the image encoding apparatus and method proposed in the present invention, the intra picture coding mode in intra picture coding mode determination is located before Intra 2Nx2N (411) in the mode determination process for IBC 2Nx2N (I421). In other words, IBC 2Nx2N (421), which is a representative mode of the in-screen block copy mode, can be located prior to the determination of the intra prediction mode.

도 3과 도 4를 참조하면, 본 발명에서 제안하는 영상 부호화 장치 및 방법에서는 영상의 특성에 따라 영상 부호화 모드 결정과정에서 모드 결정 순서를 적응적으로 조정할 수 있다. 다만, 도 4는 본 발명에서 제안하는 영상 부호화 장치 및 방법에서의 부호화 모드 결정 과정에서의 모드 결정 순서의 일 실시예에 해당하는 도시이며, 본 발명에서 제안하는 영상 부호화 장치 및 방법에서 화면 내 부호화 모드 중, 나머지 화면 내 부호화 모드들에 대한 모드 결정과정을 조기 종료하기 위한 부호화 정보의 획득에 보다 유리한 하나 혹은 그 이상의 화면 내 블록 카피 모드를 화면 내 예측 모드의 앞에 위치시키는 것을 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Referring to FIGS. 3 and 4, in the image encoding apparatus and method proposed in the present invention, the mode determination order in the image encoding mode determination process can be adaptively adjusted according to the characteristics of the image. 4 is a view corresponding to an embodiment of a mode determination procedure in the encoding mode determination process in the image encoding apparatus and method proposed by the present invention. In the image encoding apparatus and method proposed in the present invention, In-picture block copy mode, which is advantageous in obtaining coding information for early termination of the mode determination process for the remaining intra-picture coding modes, is placed in front of the intra-picture prediction mode in the scope of the present invention Should be interpreted to include.

도 5를 참조하면, 화면 간 예측 모드(510)에 대한 모드 결정 과정이 완료된 이후, IBC 2Nx2N(520)에 대한 모드 결정 과정을 거친다. 이때, IBC 2Nx2N(520)의 부호화 정보 중 하나 혹은 그 이상을 이용하여 조기 종료 조건(530)을 생성할 수 있으며, 해당 조기 종료 조건(530)을 만족하는 경우에는 나머지 화면 내 예측 모드(540) 및 화면 내 블록 카피 모드(550)에 대한 모드 결정 과정을 생략하고 모드 결정 과정을 조기 종료 할 수 있다.Referring to FIG. 5, after the mode decision process for the inter-picture prediction mode 510 is completed, a mode decision process for the IBC 2Nx2N 520 is performed. At this time, an early termination condition 530 can be generated using one or more of the encoding information of the IBC 2Nx2N 520. If the early termination condition 530 is satisfied, The in-picture block copy mode 550 may be omitted and the mode determination process may be terminated early.

이때, 조기 종료 조건(530)의 대표적 실시예로 IBC 2Nx2N(520)의 CBF (Coded Block Flag), BVD(Block Vector Difference), 및 BV(Block Vector)와 같은 정보들이 있다.As an exemplary embodiment of the early termination condition 530, there are CBF (Coded Block Flag), BVD (Block Vector Difference), and BV (Block Vector) information of the IBC 2Nx2N 520.

도 6을 참조하면, 화면 간 예측 모드(610)에 대한 모드 결정 과정이 완료된 이후, IBC 2Nx2N(620)에 대한 모드 결정 과정을 거친다. 이때, IBC 2Nx2N(620)의 부호화 정보 중 하나 혹은 그 이상을 이용하여 조기 종료 조건1(630)을 생성할 수 있으며, 해당 조기 종료 조건1(630)을 만족하는 경우에는 나머지 화면 내 부호화 모드들에 대한 모드 결정 과정을 조기 종료 할 수 있다. 반면, 해당 조기 종료 조건1(630)을 만족하지 않는 경우에는 Intra 2Nx2N(640)에 대한 모드 결정 과정을 수행하여 Intra 2Nx2N(640)과 IBC 2Nx2N(620)에서 획득한 부호화 정보들을 비교 혹은 결합하여 새로운 조기 종료 조건2(650)을 생성할 수 있다. 해당 조기 종료 조건2(650)을 만족하는 경우, 나머지 화면 내 블록 카피 모드들만을 수행할 수 있으며, 만족하지 않는 경우, 나머지 화면 내 예측 모드들만을 수행할 수 있다. 혹은, 해당 조기 종료 조건2(650)에 따라 그 반대의 수행 또한 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Referring to FIG. 6, after the mode decision process for the inter picture prediction mode 610 is completed, a mode decision process for the IBC 2Nx2N 620 is performed. At this time, an early termination condition 1 630 can be generated using one or more of the coding information of the IBC 2Nx2N 620. If the early termination condition 1 630 is satisfied, Can be terminated early. On the other hand, when the early termination condition 1 630 is not satisfied, the mode determination process for Intra 2Nx2N 640 is performed to compare or combine the coded information obtained from Intra 2Nx2N 640 and IBC 2Nx2N 620 A new early termination condition 2 (650) can be generated. If the early termination condition 2 (650) is satisfied, only the remaining intra-picture block copy modes can be performed. Otherwise, only the remaining intra-picture prediction modes can be performed. Alternatively, the opposite term according to the early termination condition 2 (650) should be construed as being included in the scope of the present invention.

조기 종료 조건1(630)의 대표적 실시예로 전술한 바와 같이, IBC 2Nx2N(620)의 CBF, BVD, BV 등의 정보들이 있으며, 조기 종료 조건2(650)의 대표적 실시예로 IBC 2Nx2N(620)과 Intra 2Nx2N(640)의 율-왜곡 값(RD-cost)의 비교를 들 수 있다.There are information such as CBF, BVD, and BV of the IBC 2Nx2N 620 as described in the representative embodiment of the early termination condition 1 630, and IBC 2Nx2N 620 as the representative embodiment of the early termination condition 2 650 ) And the rate-distortion value (RD-cost) of Intra 2Nx2N (640).

한편, 도 1, 도 2, 도 3, 도 4, 도 5, 및 도 6에서 도시된 각각의 구성요소는 일종의 '모듈'로 구성될 수 있다. 상기 '모듈'은 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(ASIC, Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 구성요소들과 모듈들에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다.The components shown in FIGS. 1, 2, 3, 4, 5, and 6 may be configured as a 'module'. The term 'module' refers to a hardware component such as software or a Field Programmable Gate Array (FPGA) or an Application Specific Integrated Circuit (ASIC), and the module performs certain roles. However, a module is not limited to software or hardware. A module may be configured to reside on an addressable storage medium and may be configured to execute one or more processors. The functionality provided by the components and modules may be combined into a smaller number of components and modules or further separated into additional components and modules.

본 발명의 장치 및 방법은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다. While the apparatus and method of the present invention has been described in connection with specific embodiments, some or all of those elements or operations may be implemented using a computer system having a general purpose hardware architecture.

아울러, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.In addition, an embodiment of the present invention may also be embodied in the form of a recording medium including instructions executable by a computer, such as program modules, being executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium can include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

630: 조기 종료 조건부
650: 선택적 화면 내 부호화 수행부630: early termination condition
650: Selective intra picture coding unit

Claims

A video encoding apparatus and method,
In determining the coding mode of the current coding unit, mode determination is performed by changing the order of the intra-picture prediction mode and intra-picture block copy mode in intra-picture coding mode,
And using the encoding information of the mode obtained in the changed order as a condition to terminate the remaining mode determination process prematurely.

The method according to claim 1,
Wherein the early termination condition part in the image encoding apparatus and method uses an in-picture block copy mode information as an early termination condition to omit a mode decision process for an intra-frame block copy mode and an intra- And methods.

The method according to claim 1,
The in-picture intra-picture coding unit in the image coding apparatus and method performs a representative mode among the intra-picture prediction modes when the early-termination condition using the intra-picture block copy mode information is not satisfied, And a picture coding apparatus and method for selectively performing intra block copy mode and intra prediction mode.