KR100763181B1 - Method and apparatus for improving coding rate by coding prediction information from base layer and enhancement layer - Google Patents

Method and apparatus for improving coding rate by coding prediction information from base layer and enhancement layer Download PDF

Info

Publication number
KR100763181B1
KR100763181B1 KR1020050059371A KR20050059371A KR100763181B1 KR 100763181 B1 KR100763181 B1 KR 100763181B1 KR 1020050059371 A KR1020050059371 A KR 1020050059371A KR 20050059371 A KR20050059371 A KR 20050059371A KR 100763181 B1 KR100763181 B1 KR 100763181B1
Authority
KR
South Korea
Prior art keywords
data
base layer
frame
enhancement layer
difference
Prior art date
Application number
KR1020050059371A
Other languages
Korean (ko)
Other versions
KR20060110714A (en
Inventor
한우진
이배근
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to AU2006201490A priority Critical patent/AU2006201490B2/en
Priority to TW095113739A priority patent/TW200644646A/en
Priority to PCT/KR2006/001419 priority patent/WO2006112642A1/en
Priority to RU2006113092/09A priority patent/RU2336661C2/en
Priority to JP2006114648A priority patent/JP2006304307A/en
Priority to CA 2543947 priority patent/CA2543947A1/en
Priority to EP06252086A priority patent/EP1715693A3/en
Priority to US11/405,665 priority patent/US8351502B2/en
Priority to BRPI0602466 priority patent/BRPI0602466A/en
Priority to ARP060101545A priority patent/AR053062A1/en
Publication of KR20060110714A publication Critical patent/KR20060110714A/en
Application granted granted Critical
Publication of KR100763181B1 publication Critical patent/KR100763181B1/en
Priority to RU2008106939/09A priority patent/RU2008106939A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Abstract

본 발명은 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를 코딩하여 코딩율을 향상시키는 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for improving coding rate by coding prediction information based on data of a base layer and an enhancement layer.

본 발명의 일 실시예에 따른 비디오 인코딩 방법은 다계층 기반의 비디오 인코더에서 입력 프레임에서 기초 계층 프레임을 생성하는 단계, 상기 입력 프레임에서 상기 기초 계층 프레임을 참조하는 향상 계층의 데이터를 생성하는 단계, 및 상기 기초 계층 프레임의 데이터가 상기 향상 계층의 데이터를 예측할 수 있는지 판단한 결과에 따라 상기 향상 계층의 데이터를 인코딩하는 단계를 포함한다.A video encoding method according to an embodiment of the present invention comprises the steps of generating a base layer frame from an input frame in a multi-layer based video encoder, generating data of an enhancement layer referencing the base layer frame from the input frame, And encoding data of the enhancement layer according to a result of determining whether data of the base layer frame can predict data of the enhancement layer.

인코딩, 엔트로피 인코딩, 예측, 비디오 압축, MPEG, SVM Encoding, Entropy Encoding, Prediction, Video Compression, MPEG, SVM

Description

기초계층과 향상계층의 데이터를 바탕으로 예측 정보를 코딩하여 코딩율을 향상시키는 방법 및 장치{Method and apparatus for improving coding rate by coding prediction information from base layer and enhancement layer}A method and apparatus for improving coding rate by coding prediction information based on data of a base layer and an enhancement layer

도 1은 다 계층 구조를 이용한 스케일러블 비디오 코덱을 보여주는 도면이다.1 illustrates a scalable video codec using a multi-layered structure.

도 2는 상기 3가지 예측 방법을 설명하는 개략도이다.2 is a schematic diagram illustrating the three prediction methods.

도 3은 비디오 코딩에서의 잔차 예측(Residual prediction)의 예를 보여주는 예시도이다.3 is an exemplary diagram illustrating an example of residual prediction in video coding.

도 4는 본 발명의 일 실시예에 따른 잔차 예측 플래그의 인코딩 효율을 높이는 순서도이다.4 is a flowchart for increasing encoding efficiency of a residual prediction flag according to an embodiment of the present invention.

도 5는 본 발명의 일 실시예에 따른 도 4에서 인코딩된 데이터를 디코딩하는 순서도이다.5 is a flowchart for decoding the data encoded in FIG. 4 according to an embodiment of the present invention.

도 6은 비디오 코딩에서의 모션 예측(Residual prediction)의 예를 보여주는 예시도이다.6 is an exemplary diagram illustrating an example of motion prediction in video coding.

도 7은 본 발명의 일 실시예에 따른 모션예측 플래그의 인코딩 효율을 높이는 순서도이다.7 is a flowchart of improving encoding efficiency of a motion prediction flag according to an embodiment of the present invention.

도 8은 본 발명의 일 실시예에 따른 도 7에서 인코딩된 데이터를 디코딩하는 순서도이다.8 is a flowchart of decoding data encoded in FIG. 7 according to an embodiment of the present invention.

도 9는 본 발명의 일 실시예에 따른 비디오 인코더의 구조를 보여주는 예시도이다.9 is an exemplary view showing a structure of a video encoder according to an embodiment of the present invention.

도 10은 본 발명의 일 실시예에 따른 비디오 디코더의 구조를 보여주는 예시도이다.10 is an exemplary view showing a structure of a video decoder according to an embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for main parts of the drawings>

300: 기초계층 인코더 400: 향상계층 인코더300: base layer encoder 400: enhancement layer encoder

420: 향상계층 인코더의 변환부 500: 비디오 인코더420: converter of the enhancement layer encoder 500: video encoder

550: 비디오 디코더 600: 기초계층 디코더550: video decoder 600: base layer decoder

730: 향상계층 디코더의 역변환부730: inverse transform unit of the enhancement layer decoder

본 발명은 비디오 신호를 인코딩 및 디코딩하는 방법과 장치에 관한 것으로, 보다 상세하게는 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를 코딩하여 코딩율을 향상시키는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for encoding and decoding a video signal, and more particularly, to a method and apparatus for improving coding rate by coding prediction information based on data of a base layer and an enhancement layer.

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.As information and communication technology including the Internet is developed, not only text and voice but also video communication are increasing. Conventional text-based communication methods are not enough to satisfy various needs of consumers, and accordingly, multimedia services that can accommodate various types of information such as text, video, and music are increasing. Multimedia data has a huge amount and requires a large storage medium and a wide bandwidth in transmission. Therefore, in order to transmit multimedia data including text, video, and audio, it is essential to use a compression coding technique.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 제거함으로써 데이터를 압축할 수 있다. 일반적인 비디오 코딩 방법에 있어서, 시간적 중복은 모션 보상에 근거한 시간적 필터링(temporal filtering)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다.The basic principle of compressing data is to eliminate redundancy in the data. Spatial overlap, such as the same color or object repeating in an image, temporal overlap, such as when there is almost no change in adjacent frames in a movie frame, or the same note over and over in audio, or high frequency of human vision and perception Data can be compressed by removing the psychological duplication taking into account the insensitive to. In a general video coding method, temporal redundancy is eliminated by temporal filtering based on motion compensation, and spatial redundancy is removed by spatial transform.

데이터의 중복을 제거한 후 생성되는 멀티미디어를 전송하기 위해서는, 전송매체가 필요한데 그 성능은 전송매체 별로 차이가 있다. 현재 사용되는 전송매체는 초당 수십 메가비트의 데이터를 전송할 수 있는 초고속통신망부터 초당 384 kbit의 전송속도를 갖는 이동통신망 등과 같이 다양한 전송속도를 갖는다. 이와 같은 환경에서, 다양한 속도의 전송매체를 지원하기 위하여 또는 전송환경에 따라 이에 적합한 전송률로 멀티미디어를 전송할 수 있도록 하는, 즉 스케일러블 비디오 코딩(scalable video coding) 방법이 멀티미디어 환경에 보다 적합하다 할 수 있다. 한편, 멀티미디어를 재생시 재생하는 기기의 크기 또는 기기의 특징에 따라 화면이 4:3 비율 또는 16:9 비율 등 크기가 다양해질 수 있다.In order to transmit multimedia generated after deduplication of data, a transmission medium is required, and its performance is different for each transmission medium. Currently used transmission media have various transmission speeds, such as high speed communication networks capable of transmitting tens of megabits of data per second to mobile communication networks having a transmission rate of 384 kbits per second. In such an environment, a scalable video coding method may be more suitable for a multimedia environment in order to support transmission media of various speeds or to transmit multimedia at a transmission rate suitable for the transmission environment. have. Meanwhile, the screen may vary in size, such as 4: 3 ratio or 16: 9 ratio, depending on the size of the device to be played back or the characteristics of the device.

이러한 스케일러블 비디오 코딩이란, 이미 압축된 비트스트림(bit-stream)에 대하여 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라 상기 비트스트림의 일부를 잘라내어 비디오의 해상도, 프레임율, 및 비트율(bit-rate) 등을 조절할 수 있게 해주는 부호화 방식을 의미한다. 이러한 스케일러블 비디오 코딩에 관하여, 이미 MPEG-4(moving picture experts group-21) Part 10에서 그 표준화 작업을 진행 중에 있다. 이 중에서도, 다 계층(multi-layered) 기반으로 스케일러빌리티를 구현하고자 하는 많은 노력들이 있다. 예를 들면, 기초 계층(base layer), 제1 향상 계층(enhanced layer 1), 제2 향상 계층(enhanced layer 2)의 다 계층을 두어, 각각의 계층은 서로 다른 해상도(QCIF, CIF, 2CIF), 또는 서로 다른 프레임율(frame-rate)을 갖도록 구성할 수 있다.Such scalable video coding means that a portion of the bitstream is cut out according to surrounding conditions such as a transmission bit rate, a transmission error rate, and a system resource with respect to a bit-stream that has already been compressed. bit-rate). With regard to such scalable video coding, standardization is already underway in Part 10 of Moving Picture Experts Group-21 (MPEG-4). Among these, there are many efforts to implement scalability on a multi-layered basis. For example, there are multiple layers of a base layer, an enhanced layer 1, and an enhanced layer 2, each layer having different resolutions (QCIF, CIF, 2CIF). , Or may be configured to have different frame rates.

하나의 계층으로 코딩하는 경우와 마찬가지로, 다 계층으로 코딩하는 경우에 있어서도, 각 계층별로 시간적 중복성(temporal redundancy)를 제거하기 위한 모션 벡터(motion vector; MV)를 구할 필요가 있다. 이러한 모션 벡터는 각 계층마다 별도로 검색하여 사용하는 경우(전자)가 있고, 하나의 계층에서 모션 벡터 검색을 한 후 이를 다른 계층에서도 사용(그대로 또는 업/다운 샘플링하여)하는 경우(후자)도 있다. 전자의 경우는 후자의 경우에 비하여 정확한 모션 벡터를 찾음으로써 얻는 이점과, 계층 별로 생성된 모션 벡터가 오버 헤드로 작용하는 단점이 동시에 존재한다. 따라서, 전자의 경우에는 각 계층 별 모션 벡터들 간의 중복성을 보다 효율적으로 제거하는 것이 매우 중요한 과제가 된다.As in the case of coding in one layer, even in the case of coding in multiple layers, it is necessary to obtain a motion vector (MV) for removing temporal redundancy for each layer. These motion vectors may be searched and used separately for each layer (the former), or may be used in other layers (as it is or up / down sampled) after the motion vector search is performed in one layer (the latter). . In the former case, compared with the latter case, there are advantages obtained by finding an accurate motion vector, and a disadvantage that the motion vector generated for each layer acts as an overhead. Therefore, in the former case, it is very important to remove redundancy between motion vectors for each layer more efficiently.

도 1은 다 계층 구조를 이용한 스케일러블 비디오 코덱을 보여주는 도면이 다. 먼저 기초 계층을 QCIF(Quarter Common Intermediate Format), 15Hz(프레임 레이트)로 정의하고, 제1 향상 계층을 CIF(Common Intermediate Format), 30hz로, 제2 향상 계층을 SD(Standard Definition), 60hz로 정의한다. 만약 CIF 0.5Mbps 스트림(stream)을 원한다면, 제1 향상 계층의 CIF_30Hz_0.7M에서 비트율(bit-rate)이 0.5M로 되도록 비트스트림을 잘라서 보내면 된다. 이러한 방식으로 공간적, 시간적, SNR 스케일러빌리티를 구현할 수 있다.1 illustrates a scalable video codec using a multi-layer structure. First, the base layer is defined as Quarter Common Intermediate Format (QCIF) and 15 Hz (frame rate), the first enhancement layer is defined as CIF (Common Intermediate Format), 30hz, and the second enhancement layer is defined as SD (Standard Definition), 60hz. do. If a CIF 0.5Mbps stream is desired, the bit stream may be cut and sent so that the bit rate is 0.5M at CIF_30Hz_0.7M of the first enhancement layer. In this way, spatial, temporal, and SNR scalability can be implemented.

도 1에서 보는 바와 같이, 동일한 시간적 위치를 갖는 각 계층에서의 프레임(예: 10, 20, 및 30)은 그 이미지가 유사할 것으로 추정할 수 있다. 따라서, 하위 계층의 텍스쳐로부터(직접 또는 업샘플링 후) 현재 계층의 텍스쳐를 예측하고, 예측된 값과 실제 현재 계층의 텍스쳐와의 차이를 인코딩하는 방법이 알려져 있다. "Scalable Video Model 3.0 of ISO/IEC 21000-13 Scalable Video Coding"(이하 "SVM 3.0"이라 함)에서는 이러한 방법을 인트라 BL 예측(Intra_BL prediction)이라고 정의하고 있다.As shown in FIG. 1, frames (eg, 10, 20, and 30) in each layer having the same temporal position may assume that their images will be similar. Thus, a method is known for predicting the texture of the current layer from the texture of the lower layer (directly or after upsampling) and encoding the difference between the predicted value and the texture of the actual current layer. "Scalable Video Model 3.0 of ISO / IEC 21000-13 Scalable Video Coding" (hereinafter referred to as "SVM 3.0") defines this method as Intra BL prediction.

이와 같이, SVM 3.0에서는, 기존의 H.264에서 현재 프레임을 구성하는 블록 내지 매크로블록에 대한 예측을 위하여 사용된 인터 예측(inter prediction) 및 방향적 인트라 예측(directional intra prediction)이외에도, 현재 블록과 이에 대응되는 하위 계층 블록 간의 연관성(correlation)을 이용하여 현재 블록을 예측하는 방법을 추가적으로 채택하고 있다. 이러한 예측 방법을 "인트라 BL(Intra_BL) 예측"이라고 하고 이러한 예측을 사용하여 부호화하는 모드를 "인트라 BL 모드"라고 한다.As such, in SVM 3.0, in addition to the inter prediction and directional intra prediction used for prediction of blocks or macroblocks constituting the current frame in the existing H.264, A method of predicting a current block by using correlation between lower layer blocks corresponding thereto is additionally adopted. This prediction method is called "Intra BL" prediction, and the mode of encoding using this prediction is called "Intra BL mode".

도 2는 상기 3가지 예측 방법을 설명하는 개략도로서, 현재 프레임(11)의 어떤 매크로블록(14)에 대하여 인트라 예측을 하는 경우(①)와, 현재 프레임(11)과 다른 시간적 위치에 있는 프레임(12)을 이용하여 인터 예측을 하는 경우(②)와, 상기 매크로블록(14)과 대응되는 기초 계층 프레임(13)의 영역(16)에 대한 텍스쳐 데이터를 이용하여 인트라 BL 예측을 하는 경우(③)를 각각 나타내고 있다.FIG. 2 is a schematic diagram illustrating the three prediction methods, in which intra prediction is performed on a macroblock 14 of the current frame 11 and a frame at a time position different from that of the current frame 11. When inter prediction is performed using (12) (2), and when intra BL prediction is performed using texture data of the region 16 of the base layer frame 13 corresponding to the macroblock 14 ( ③) are shown respectively.

이와 같이, 상기 스케일러블 비디오 코딩 표준에서는 매크로블록 단위로 상기 세가지 예측 방법 중 유리한 하나의 방법을 선택하여 이용한다. As described above, the scalable video coding standard selects and uses an advantageous one of the three prediction methods in units of macroblocks.

그런데 이러한 예측 방법을 사용하기 위해서는 어떤 예측 방법이 사용되었는지, 또는 예측할 때 참조하는 데이터가 무엇인지에 대한 정보를 디코딩 측에 넘겨주기 위해 여러가지 플래그(flag)를 사용한다. 매크로블록 단위, 또는 슬라이스, 프레임 단위로 인코딩 하는 경우, 해당 단위에 따라 작게는 1 bit에서 수 bit 또는 수십 bit에 해당할 수 있다. 이러한 정보들이 전체 동영상에 매크로블록마다, 또는 슬라이스나 프레임마다 설정될 경우에 데이터의 크기는 커진다. 따라서 이들 정보를 효율적으로 압축하기 위한 방법과 장치가 필요하다.However, in order to use such a prediction method, various flags are used to pass information to the decoding side about which prediction method is used or what data is referred to when the prediction is performed. When encoding in macroblock units, slices, or frame units, the size may correspond to 1 bit to several bits or tens of bits depending on the corresponding unit. When such information is set for each macroblock, or for every slice or frame in the entire video, the size of data becomes large. Therefore, there is a need for a method and apparatus for efficiently compressing this information.

본 발명은 상기한 문제점을 개선하기 위해 안출된 것으로, 본 발명은 기초 계층의 데이터를 통해 예측 방법에 소요되는 데이터의 크기를 줄이는데 목적이 있다.The present invention has been made to solve the above problems, and an object of the present invention is to reduce the size of data required for the prediction method through the data of the base layer.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것 이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects that are not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명은 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를 코딩하여 코딩율을 향상시키는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for improving coding rate by coding prediction information based on data of a base layer and an enhancement layer.

본 발명의 일 실시예에 따른 비디오 인코딩 방법은 다계층 기반의 비디오 인코더에서 입력 프레임에서 기초 계층 프레임을 생성하는 단계, 상기 입력 프레임에서 상기 기초 계층 프레임을 참조하는 향상 계층의 데이터를 생성하는 단계, 및 상기 기초 계층 프레임의 데이터가 상기 향상 계층의 데이터를 예측할 수 있는지 판단한 결과에 따라 상기 향상 계층의 데이터를 인코딩하는 단계를 포함한다.A video encoding method according to an embodiment of the present invention comprises the steps of generating a base layer frame from an input frame in a multi-layer based video encoder, generating data of an enhancement layer referencing the base layer frame from the input frame, And encoding data of the enhancement layer according to a result of determining whether data of the base layer frame can predict data of the enhancement layer.

본 발명의 일 실시예에 따른 비디오 디코딩 방법은 다계층 기반의 비디오 디코더에서 입력된 기초 계층 프레임을 디코딩하는 단계, 상기 디코딩된 기초 계층 프레임의 데이터가 상기 기초 계층 프레임을 참조하는 향상 계층의 데이터를 예측하는데 필요한지 여부를 판단하는 단계, 및 상기 판단한 결과에 따라 상기 향상 계층의 데이터를 디코딩하는 단계를 포함한다.A video decoding method according to an embodiment of the present invention includes decoding a base layer frame input by a multi-layer based video decoder, and the data of the enhancement layer in which the data of the decoded base layer frame refers to the base layer frame. Determining whether it is necessary to predict, and decoding data of the enhancement layer according to the determined result.

본 발명의 일 실시예에 다른 비디오 인코더는 입력 프레임에서 기초 계층 프레임을 생성하는 기초 계층 인코더, 및 상기 입력 프레임에서 상기 기초 계층 프레임을 참조하는 향상 계층의 데이터를 생성하는 향상 계층 인코더를 포함하며, 상기 향상 계층 인코더는 상기 기초 계층 프레임의 데이터가 상기 향상 계층의 데이터를 예측할 수 있는지 판단한 결과에 따라 상기 향상 계층의 데이터를 인코딩하는 변환부를 포함한다.Another video encoder according to an embodiment of the present invention includes a base layer encoder for generating a base layer frame in an input frame, and an enhancement layer encoder for generating data of an enhancement layer referencing the base layer frame in the input frame, The enhancement layer encoder includes a converter configured to encode data of the enhancement layer according to a result of determining whether data of the base layer frame can predict data of the enhancement layer.

본 발명의 일 실시예에 따른 비디오 디코더는 입력된 기초 계층 프레임을 디코딩하는 기초 계층 디코더, 및 상기 기초 계층 프레임을 참조하여 향상 계층의 데이터를 디코딩하는 향상 계층 디코더를 포함하며, 상기 향상 계층 디코더는 상기 디코딩된 기초 계층 프레임의 데이터가 상기 기초 계층 프레임을 참조하는 향상 계층의 데이터를 예측하는데 필요한지 여부를 판단하여 상기 판단한 결과에 따라 상기 향상 계층의 데이터를 디코딩하는 역변환부를 포함한다.The video decoder according to an embodiment of the present invention includes a base layer decoder for decoding an input base layer frame, and an enhancement layer decoder for decoding data of an enhancement layer with reference to the base layer frame. And determining whether data of the decoded base layer frame is necessary to predict data of an enhancement layer referring to the base layer frame, and including an inverse transform unit for decoding the data of the enhancement layer according to the determined result.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. Specific details of other embodiments are included in the detailed description and the drawings.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다 Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but can be implemented in various different forms, and only the embodiments make the disclosure of the present invention complete, and the general knowledge in the art to which the present invention belongs. It is provided to fully inform the person having the scope of the invention, which is defined only by the scope of the claims. Like reference numerals refer to like elements throughout.

이하, 본 발명의 실시예들에 의하여 기초계층과 향상계층의 데이터를 바탕으로 예측 정보를 코딩하여 코딩율을 향상시키는 방법 및 장치를 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프 로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑제되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다. Hereinafter, the present invention will be described with reference to a block diagram or a flowchart illustrating a method and apparatus for improving a coding rate by coding prediction information based on data of a base layer and an enhancement layer according to embodiments of the present invention. Explain about. At this point, it will be understood that each block of the flowchart illustrations and combinations of flowchart illustrations may be performed by computer program instructions. These computer program instructions may be mounted on a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment such that the instructions performed through the processor of the computer or other programmable data processing equipment are shown in the flowchart block (s). It will create means for performing the described functions. These computer program instructions may be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular manner, and thus the computer usable or computer readable memory. It is also possible for the instructions stored in to produce an article of manufacture containing instruction means for performing the functions described in the flowchart block (s). Computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operating steps are performed on the computer or other programmable data processing equipment to create a computer-implemented process to create a computer or other programmable data. Instructions for performing the processing equipment may also provide steps for performing the functions described in the flowchart block (s).

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때 로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each block may represent a portion of a module, segment, or code that includes one or more executable instructions for executing a specified logical function (s). It should also be noted that in some alternative implementations, the functions noted in the blocks may occur out of order. For example, two blocks shown in succession may, in fact, be executed substantially concurrently, or they may sometimes be executed in the reverse order, depending on the functionality involved.

도 2에서 살펴본 예측 방법을 디코딩 측에서 사용하기 위해서 어떤 방식의 예측이 이루어졌는지, 혹은 어느 데이터를 참조하는지 등에 대한 정보를 설정해서 인코딩 측에서 전송한다. 데이터를 압축하는 기법 중 하나인 엔트로피 코딩(entropy coding)은 무손실 압축을 사용하여 최종 압축을 수행한다. 통상 허프만 코딩(Huffman coding)을 많이 사용한다. 허프만 코딩은 가변길이(variable length) 코딩 방식으로, 정보가 나타나는 확률에 따라 비트를 할당하는 방식이다. 따라서, 엔트로피 코딩을 사용하여 전체 비트 효율을 높이기 위해서는 정보를 나타내는 방식을 조절할 수 있다. In order to use the prediction method described with reference to FIG. 2 on the decoding side, information on what type of prediction is made or which data is referred to is set and transmitted by the encoding side. Entropy coding, one of the techniques for compressing data, performs final compression using lossless compression. Usually Huffman coding is used a lot. Huffman coding is a variable length coding scheme in which bits are allocated according to a probability of information appearing. Therefore, in order to increase overall bit efficiency using entropy coding, a method of representing information may be adjusted.

한편 도 2에서 살펴본 예측 방법을 디코딩 측에 알려주기 위한 정보중에서 기초 계층의 정보를 참조하여 예측하는 방식이 존재한다. 예를 들어 기초계층의 잔차 데이터를 참조하여 예측하거나, 기초계층의 모션 벡터를 참조하여 예측하는 경우가 발생한다. 이때, 기초계층의 정보를 참조하여 예측 방법을 적용하는지 알려주기 위한 플래그로 잔차예측 플래그(residual_prediction_flag), 모션예측 플래그(motion_prediction_flag) 등과 같은 예측 정보가 존재한다. 이들 플래그는 매크로블록 또는 슬라이스나 프레임 단위로 설정될 수 있다. 따라서, 이들 플래그는 상기 단위별로 항상 존재하는 정보이므로, 이들의 크기를 줄이거나 엔트로피 코딩과 같이 코딩시 압축 효율을 높일 수 있도록 하는 것이 중요하다. 이를 위해 상기 예측 플래그들을 디코딩단에서 예측할 수 있도록 정보를 설정하고, 상기 정보를 이용하여 상기 예측 플래그를 복원할 수 있다.Meanwhile, among the information for informing the decoding side of the prediction method described with reference to FIG. 2, there is a method of predicting with reference to the information of the base layer. For example, a prediction occurs by referring to residual data of the base layer or by referring to a motion vector of the base layer. In this case, prediction information such as a residual prediction flag (residual_prediction_flag) and a motion prediction flag (motion_prediction_flag) may be present as a flag for indicating whether to apply a prediction method with reference to information of the base layer. These flags may be set in macroblocks or slices or frames. Therefore, since these flags are information that is always present in each unit, it is important to reduce their size or to increase the compression efficiency during coding such as entropy coding. To this end, information may be set to predict the prediction flags at a decoding end, and the prediction flag may be restored using the information.

도 3은 비디오 코딩에서의 잔차 예측(Residual prediction)의 예를 보여준다. 잔차 예측이란 잔차 결과, 즉, 도 2에서 살펴본 예측 방법 중 하나를 사용하여 얻은 결과인 잔차 데이터(residual data)에 대해서 다시한번 예측을 수행하는 것을 의미한다. 기초계층의 어느 한 매크로블록, 슬라이스 또는 프레임(14)은 도 2에서 살펴본 예측 방법 중 하나인 시간적 인터 예측을 사용하여 잔차 데이터(residual data)로 매크로블록, 슬라이스 또는 프레임을 구성할 수 있다. 이때, 기초계층을 참조하는 향상계층의 매크로블록, 슬라이스, 또는 프레임 역시 기초계층의 잔차 데이터를 참조하는 인트라 BL 예측을 수행할 수 있다. 이하 매크로블록을 중심으로 설명하지만 본 발명의 범위가 매크로블록에 한정되는 것은 아니다. 매크로블록 외에도 슬라이스, 프레임 등에도 적용될 수 있다.3 shows an example of residual prediction in video coding. Residual prediction means to perform prediction on the residual data, that is, the residual data which is a result obtained by using one of the prediction methods described with reference to FIG. 2. One macroblock, slice, or frame 14 of the base layer may configure a macroblock, slice, or frame with residual data using temporal inter prediction, which is one of the prediction methods described with reference to FIG. 2. In this case, the macroblock, slice, or frame of the enhancement layer referring to the base layer may also perform intra BL prediction referring to the residual data of the base layer. Hereinafter, the macroblock will be described, but the scope of the present invention is not limited to the macroblock. In addition to macroblocks, it can be applied to slices, frames, and the like.

향상계층의 매크로블록이 시간적 인터 예측을 수행하기 위해 기초계층의 잔차(residual)를 참조할 수 있다. 디코딩 단에 기초계층의 잔차를 참조했음을 알리기 위해, 잔차예측 플래그(residual_prediction_flag)를 1로 설정할 수 있다. 그런데, 기초계층의 매크로블록(잔차 데이터로 구성된 매크로블록)이 모두 0인 값을 가지거나 0이 아닌 정보를 가지는 픽셀이 특정 기준(threshold)보다 낮은 경우에는 잔차예측 플래그를 설정할 필요가 없다. 기초계층에서 실행한 시간적 인터예측의 결과, 움직임이 거의 없는 경우를 의미한다. 따라서 이 경우 향상계층의 매크로블록은 참조할 데이터가 없거나 부족하므로 잔차예측 플래그가 필요하지 않다. 따라서 이러한 경우에는 잔차예측 플래그를 설정하지 않음으로써 비트를 절약할 수 있다.The macroblock of the enhancement layer may refer to the residual of the base layer in order to perform temporal inter prediction. In order to inform the decoding stage that the residual of the base layer has been referred, the residual prediction flag (residual_prediction_flag) may be set to one. However, when the macroblocks (macroblocks composed of residual data) of the base layer have all zero values or pixels having non-zero information are lower than a specific threshold, the residual prediction flag need not be set. As a result of temporal inter prediction performed in the base layer, it means that there is little motion. Therefore, in this case, the macroblock of the enhancement layer does not need the residual prediction flag because there is no or insufficient data to refer to. Therefore, in such a case, the bit can be saved by not setting the residual prediction flag.

잔차예측은 향상계층의 모션 벡터(motion vector)와 기초계층의 모션벡터가 유사한 경우에 의미가 있다. 따라서, 각 계층 간의 모션 벡터의 차이는 잔차예측 플래그의 값을 예측하는 인자가 될 수 있다. 먼저 잔차예측 플래그의 값을 예측하기 위한 결정 정보를 편의상 예측 결정 플래그라 한다. JSVM(Joint Scalable Video Model) 1에서 잔차예측 플래그(residual_prediction_flag)를 설정하는 대신에 잔차예측 플래그와 예측결정 플래그(PrdRpFlag)의 차이를 코딩할 경우에 엔트로피 코딩(entropy coding)의 효율을 높일 수 있다. 따라서 이러한 차이를 나타내는 잔차예측 차이 플래그(residual_prediction_flag_diff)를 도입하여 비디오 정보를 인코딩할 수 있다.The residual prediction is meaningful when the motion vector of the enhancement layer is similar to the motion vector of the base layer. Therefore, the difference of the motion vectors between the layers may be a factor for predicting the value of the residual prediction flag. First, decision information for predicting the value of the residual prediction flag is called a prediction decision flag for convenience. Instead of setting the residual prediction flag (residual_prediction_flag) in JSVM (Joint Scalable Video Model) 1, the efficiency of entropy coding can be improved when coding the difference between the residual prediction flag and the prediction decision flag PrdRpFlag. Accordingly, video information may be encoded by introducing a residual prediction difference flag (residual_prediction_flag_diff) indicating the difference.

잔차예측 차이 플래그를 구하는 방법은 다음과 같다. 먼저 기초계층의 잔차에 존재하는 비제로 픽셀(non-zero pixel)의 개수가 일정 기준(threshold)이하인 경우에는 잔차예측 플래그를 코딩하는 과정을 지나친다. The method for obtaining the residual prediction difference flag is as follows. First, when the number of non-zero pixels present in the residual of the base layer is less than a predetermined threshold, the process of coding the residual prediction flag is passed.

비제로 픽셀의 개수가 일정 기준 이상인 경우에는 잔차예측 플래그가 아닌 잔차예측 차이 플래그를 코딩한다. 잔차예측 차이 플래그를 구하기 위해서는 기초계층의 모션 벡터(BaseMV)와 향상계층의 모션벡터(CurrMV)의 차이를 사용한다. 잔차예측 차이 플래그를 코딩하기 위해서는 예측결정 플래그(PrpRpFlag)를 구해야한다.If the number of non-zero pixels is greater than or equal to a predetermined criterion, the residual prediction difference flag is coded instead of the residual prediction flag. In order to obtain the residual prediction difference flag, the difference between the motion vector BaseMV of the base layer and the motion vector CurrMV of the enhancement layer is used. In order to code the residual prediction difference flag, a prediction decision flag PrpRpFlag should be obtained.

만약 |BaseMV-CurrMV| < 특정 값(threshold) 인 경우 PrpRpFlag를 1로 하고, 그외의 경우 0으로 한다. 구해진 PrpRpFlag와 잔차예측 플래그(residual_predicion_flag)사이의 차이가 되는 값인 잔차예측 차이 플래그 (residual_prediction_flag_diff)를 코딩한다. 상기의 과정을 다시 정리하면 다음과 같다.If | BaseMV-CurrMV | If << threshold, PrpRpFlag is set to 1, otherwise, it is set to 0. The residual prediction difference flag (residual_prediction_flag_diff), which is a value that is a difference between the obtained PrpRpFlag and the residual prediction flag (residual_predicion_flag), is coded. The above process is summarized as follows.

기초계층의 잔차의 에너지(또는 비제로 픽셀의 수)가 특정 값(Thresholdresidual)보다 낮은 경우에 잔차예측 플래그(residual_predicion_flag)를 코딩하지 않는다.The residual prediction flag (residual_predicion_flag) is not coded when the energy of the residual of the base layer (or the number of non-zero pixels) is lower than a specific value (Threshold residual ).

그 외의 경우를 다시 둘로 나누면 다음과 같다. |BaseMV-CurrMV| < 특정 값(ThresholdMV)인 경우에는 1-residual_prediction_flag를 코딩하며, 아닌 경우에는 0-residual_prediction_flag, 즉 residual_prediction_flag를 코딩한다. Dividing the other cases into two is as follows. | BaseMV-CurrMV | If 1 <threshold MV , 1-residual_prediction_flag is coded, otherwise 0-residual_prediction_flag, that is, residual_prediction_flag is coded.

상기의 개념을 구현하기 위한 순서도를 살펴보면 도 4와 같다. A flowchart for implementing the above concept is shown in FIG. 4.

도 4는 본 발명의 일 실시예에 따른 잔차 예측 플래그의 인코딩 효율을 높이는 순서도이다. 먼저 기초계층의 잔차 데이터를 구한다(S101). 기초계층의 잔차 데이터는 기초계층이 시간적 인터 코딩과 같이 다른 프레임 또는 다른 블록 등을 참조하여 얻은 결과를 의미한다. 기초계층의 잔차데이터가 특정값(Thresholdresidual)보다 작은 경우(S105), 예를 들어 0을 기준으로 한 경우라든지 또는 전체 에너지가 특정값 보다 작을 경우에는 잔차 예측 플래그(residual_prediction_flag)를 설정할 필요가 없다. 따라서 잔차 예측 플래그를 코딩하지 않는다. 4 is a flowchart for increasing encoding efficiency of a residual prediction flag according to an embodiment of the present invention. First, residual data of the base layer is obtained (S101). Residual data of the base layer means a result obtained by referring to another frame or another block, such as temporal inter coding. If the residual data of the base layer is smaller than the specific residual (Threshold residual ) (S105), for example, if the reference is zero or if the total energy is smaller than the specific value, it is not necessary to set the residual prediction flag (residual_prediction_flag). . Therefore, the residual prediction flag is not coded.

한편 기초계층의 잔차데이터가 특정값(Thresholdresidual)보다 큰 경우(S105), 잔차 예측 플래그(residual_prediction_flag)를 선택적으로 1 또는 0을 가질 수 있다. 선택을 위해서 예측결정 플래그를 설정하는 기준을 정할 수 있다. S110 단계에 서 기초계층의 모션벡터(BaseMV)와 향상계층 또는 현재 계층의 모션벡터(CurrMV)의 차이가 특정값(ThresholdMV)보다 작은 경우, 기초계층의 잔차 데이터를 사용할 가능성이 높다. 따라서 예측결정 플래그를 1로 한다(S111). 한편 S110 단계에서 기초계층의 모션벡터(BaseMV)와 향상계층 또는 현재 계층의 모션벡터(CurrMV)의 차이가 특정값(ThresholdMV)보다 큰 경우, 기초계층의 잔차 데이터를 사용할 가능성이 낮다. 따라서 예측결정 플래그를 0으로 한다(S112). S111과 S112 단계에서 설정한 예측결정 플래그 및 예측결정 플래그와 잔차 예측 플래그(residual_prediction_flag)의 차이인 잔차예측 차이 플래그를 코딩한다. 인코딩 단에서는 매크로블록별로, 또는 슬라이스 단위 또는 프레임 단위로 상기의 예측결정 플래그와 잔차예측 차이 플래그를 코딩할 수 있다.On the other hand, when the residual data of the base layer is larger than a specific value (Threshold residual ) (S105), the residual prediction flag (residual_prediction_flag) may optionally have 1 or 0. For selection, a criterion for setting a prediction decision flag may be determined. In step S110, when the difference between the motion vector BaseMV of the base layer and the motion vector CurrMV of the enhancement layer or the current layer is smaller than a specific value Threshold MV , the residual data of the base layer is likely to be used. Therefore, the prediction decision flag is set to 1 (S111). On the other hand, when the difference between the motion vector BaseMV of the base layer and the motion vector CurrMV of the enhancement layer or the current layer is greater than the specific value Threshold MV in step S110, it is unlikely that the residual data of the base layer is used. Therefore, the prediction decision flag is set to 0 (S112). The residual prediction difference flag, which is the difference between the prediction determination flag and the prediction determination flag and the residual prediction flag (residual_prediction_flag) set in steps S111 and S112, is coded. In the encoding stage, the prediction decision flag and the residual prediction difference flag may be coded for each macroblock or for each slice or frame.

도 5는 본 발명의 일 실시예에 따른 도 4에서 인코딩된 데이터를 디코딩하는 순서도이다. 먼저 인코딩된 데이터에서 기초계층의 잔차 데이터를 구한다(S151). 잔차데이터가 특정값(Thresholdresidual)보다 적은 경우(S155), 인코딩된 예측결정 플래그와 잔차예측 차이 플래그의 차이를 통해 잔차예측 플래그(residual_prediction_flag)를 설정한다(S161). 인코딩 측에서 예측 결정 플래그를 PrdRpFlag, 잔차예측 차이 플래그를 residual_pred_flag_diff로 둘 경우, residual_pred_flag_diff = PrdRpFlag - residual_prediction_flag로 구해진다. 따라서 residual_prediction_flag를 구하기 위해서는 PrdRpFlag와 residual_pred_flag_diff의 차이를 구하면 얻을 수 있다.5 is a flowchart for decoding the data encoded in FIG. 4 according to an embodiment of the present invention. First, residual data of the base layer is obtained from the encoded data (S151). If the residual data is less than the threshold residual (S155), the residual prediction flag residual_prediction_flag is set through the difference between the encoded prediction decision flag and the residual prediction difference flag (S161). When the prediction decision flag is set to PrdRpFlag and the residual prediction difference flag is residual_pred_flag_diff, the encoding side obtains residual_pred_flag_diff = PrdRpFlag-residual_prediction_flag. Therefore, to obtain residual_prediction_flag, the difference between PrdRpFlag and residual_pred_flag_diff can be obtained.

잔차데이터가 특정값(Thresholdresidual)보다 큰 경우(S155), 잔차 예측 플래그(residual_prediction_flag)를 참조하여 향상계층을 생성한 것이 아니므로 잔차 예측 플래그를 0으로 설정한다(S162).When the residual data is larger than the threshold residual (S155), since the enhancement layer is not generated by referring to the residual prediction flag (residual_prediction_flag), the residual prediction flag is set to 0 (S162).

전술한 과정은 기초 계층의 잔차데이터를 참조하는지 여부와 관련된 잔차예측 플래그 대신에 다른 정보를 인코딩하여 인코딩 효율을 향상시키는 경우를 살펴보았다. 이와 유사한 방식으로 기초 계층의 모션 정보를 참조하는 모션예측 플래그 대신에 다른 정보를 인코딩하여 인코딩 효율을 향상시키는 경우를 살펴보고자 한다. In the above-described process, the encoding efficiency is improved by encoding other information instead of the residual prediction flag related to whether the residual data of the base layer is referred to. In a similar manner, the case where the encoding efficiency is improved by encoding other information instead of the motion prediction flag referring to the motion information of the base layer will be described.

도 6은 비디오 코딩에서의 모션 예측(Residual prediction)의 예를 보여준다. 모션 예측이란 기초계층의 모션벡터를 참조하여 향상계층 또는 현재 계층의 모션 벡터를 예측하는 것을 의미한다. 따라서 모션예측 플래그(motion_prediction_flag)가 1인 경우 기초계층의 모션 벡터를 참조하여 향상계층의 모션벡터를 예측한다. 반대로 0인 경우, 기초계층의 모션 벡터를 참조하지 않는다. 도 6의 21과 25는 매크로 블록 또는 서브블록, 슬라이스, 프레임 등의 하나이다. 설명의 편의를 위해 매크로블록을 중심으로 한다. 기초계층의 매크로블록(21)의 모션벡터와 향상계층의 매크로블록(25)의 모션벡터를 비교해보면 동일하다. 이 경우, 모션예측 플래그(motion_prediction_flag)를 코딩할 필요가 없으므로, 이 단계를 건너뛴다. 여기에서, 두 모션벡터가 같은지 다른지 여부보다 일정 기준(ThresholdMotion) 이하인 경우에는 모션예측 플래그를 코딩하지 않는 방식을 차용할 수 있다.6 shows an example of motion prediction in video coding. Motion prediction refers to predicting a motion vector of an enhancement layer or a current layer with reference to a motion vector of a base layer. Therefore, when the motion prediction flag motion_prediction_flag is 1, the motion vector of the enhancement layer is predicted by referring to the motion vector of the base layer. On the contrary, if it is 0, it does not refer to the motion vector of the base layer. 21 and 25 of FIG. 6 are one of macro blocks or sub blocks, slices, frames, and the like. For convenience of explanation, the macro blocks are centered. The motion vector of the macroblock 21 of the base layer and the motion vector of the macroblock 25 of the enhancement layer are the same. In this case, since it is not necessary to code the motion prediction flag motion_prediction_flag, this step is skipped. Here, when the two motion vectors are equal to or less than a certain threshold (Threshold Motion ) or less, the motion prediction flag may not be coded.

한편, 기초계층의 모션벡터와 공간적으로 이웃한 영역을 통해 구해진 모션벡터를 비교하여 모션예측 플래그(motion_prediction_flag)를 판단할 수 있다. 공간적으로 이웃하는 영역으로부터 산출된 모션벡터는 정확한 모션 벡터를 제공한다. 그러나, 모션 예측이 항상 정확하게 수행되는 것은 아니다. 그 결과 모션 벡터에 있어서의 큰 차이를 가져올 수 있다. 기초계층의 모션벡터를 통한 예측이 공간적 모션 예측보다 정확성이 낮은 경우라도, 전반적으로 합리적인 결과를 제공한다. 이 관점에서 모션예측 플래그(motion_prediction_flag)를 예측하는데 상기의 두 모션 벡터의 차이를 사용할 수 있다.Meanwhile, the motion prediction flag motion_prediction_flag may be determined by comparing a motion vector of the base layer with a motion vector obtained through a spatially neighboring region. Motion vectors calculated from spatially neighboring regions provide accurate motion vectors. However, motion prediction is not always accurate. As a result, large differences in motion vectors can be brought about. Even if the prediction through the motion vector of the base layer is less accurate than the spatial motion prediction, the overall result is reasonable. In this regard, the difference between the two motion vectors may be used to predict the motion prediction flag motion_prediction_flag.

매크로블록(22)와 매크로블록(26)의 모션벡터의 차이가 특정 값(ThresholdMV) 이상인 경우에는 모션예측 플래그(motion_prediction_flag)를 1로 설정할 가능성이 높으므로, 예측결정 플래그(PrdMotPrdFlag)를 1로 한다. 반면 매크로블록(22)와 매크로블록(26)의 모션벡터의 차이가 특정 값(ThresholdMV) 이하인 경우에는 모션예측 플래그(motion_prediction_flag)를 0로 설정할 가능성이 높으므로, 예측결정 플래그(PrdMotPrdFlag)를 0으로 한다. If the difference between the motion vector of the macroblock 22 and the macroblock 26 is greater than or equal to a certain value (Threshold MV ), the motion prediction flag (motion_prediction_flag) is likely to be set to 1, so that the prediction decision flag (PrdMotPrdFlag) is set to 1. do. On the other hand, when the difference between the motion vector of the macroblock 22 and the macroblock 26 is less than or equal to a certain value (Threshold MV ), since it is highly likely to set the motion prediction flag (motion_prediction_flag) to 0, the prediction decision flag (PrdMotPrdFlag) is set to 0. It is done.

상기의 과정을 거쳐 예측결정 플래그의 값을 정하면, 이 값과 모션예측 플래그(motion_prediction_flag)의 차이를 구하여 인코딩한다. 차이는 모션예측 차이 플래그(motion_pred_flag_diff)에 설정하여 인코딩할 수 있다.After determining the value of the prediction determination flag through the above process, the difference between the value and the motion prediction flag motion_prediction_flag is obtained and encoded. The difference may be encoded by setting the motion prediction difference flag motion_pred_flag_diff.

도 7은 본 발명의 일 실시예에 따른 모션예측 플래그의 인코딩 효율을 높이 는 순서도이다. 먼저 기초계층으로부터 예측한 모션 벡터(Predict_MV_From_BaseLayer)와 공간적으로 이웃한 영역으로부터 예측한 모션 벡터(Predict_MV_From_Spatia)를 구한다(S201). 그리고 두 모션 벡터간의 차이가 특정 값(ThresholdMotion)보다 작은 경우에는 모션예측 플래그를 인코딩하지 않는다(S205). 한편 두 모션 벡터간의 차이가 특정 값(ThresholdMotion)보다 큰 경우에는 모션예측 플래그 대신에 모션예측 플래그를 예측하기 위한 예측결정 플래그를 설정하는 과정으로 진행한다. 기초계층으로부터 예측한 모션벡터(Predict_MV_From_BaseLayer)와 공간적으로 이웃한 모션벡터(Predict_MV_From_Spatia)의 차이가 특정 값(ThresholdMV)보다 큰 경우와 작은 경우에 따라 예측결정 플래그를 설정하는 값이 달라진다(S210). 7 is a flowchart for increasing encoding efficiency of a motion prediction flag according to an embodiment of the present invention. First, a motion vector (Predict_MV_From_BaseLayer) predicted from the base layer and a motion vector (Predict_MV_From_Spatia) predicted from spatially neighboring regions are obtained (S201). If the difference between the two motion vectors is smaller than a specific value (Threshold Motion ), the motion prediction flag is not encoded (S205). On the other hand, when the difference between the two motion vectors is greater than a specific value (Threshold Motion ), the process of setting the prediction decision flag for predicting the motion prediction flag instead of the motion prediction flag. When the difference between the motion vector Predict_MV_From_BaseLayer predicted from the base layer and the spatially neighboring motion vector Predict_MV_From_Spatia is greater than or smaller than a specific value Threshold MV , the value for setting the prediction decision flag is different (S210).

S210에서 차이가 특정 값(ThresholdMV)보다 큰 경우에는 예측결정 플래그를 1로 설정하며(S211), S210에서 특정 값(ThresholdMV)보다 작은 경우에는 예측결정 플래그를 0으로 설정한다(S212). S211과 S212 단계에서 설정한 예측결정 플래그의 값과 모션예측 플래그(motion_prediction_flag)의 차이인 모션예측 차이 플래그와 예측결정 플래그를 인코딩한다(S220).If the difference is greater than the specific value Threshold MV in S210, the prediction decision flag is set to 1 (S211). If the difference is smaller than the specific value Threshold MV in S210, the prediction decision flag is set to 0 (S212). The motion prediction difference flag and the prediction decision flag, which are the difference between the values of the prediction decision flag set in steps S211 and S212 and the motion prediction flag motion_prediction_flag, are encoded (S220).

도 8은 본 발명의 일 실시예에 따른 도 7에서 인코딩된 데이터를 디코딩하는 순서도이다. 먼저 인코딩된 데이터에서 기초계층에서 예측한 모션벡터 및 공간적으로 이웃한 영역에서 모션벡터를 구한다(S251). 두 모션벡터의 차이가 특정값 (ThresholdMotion)보다 적은 경우(S255), 인코딩된 예측결정 플래그와 모션예측 차이 플래그의 차이를 통해 모션예측 플래그(motion_prediction_flag)를 설정한다(S261). 인코딩 측에서 예측 결정 플래그를 PrdRpFlag, 모션예측 차이 플래그를 motion_pred_flag_diff로 둘 경우, motion_pred_flag_diff = PrdRpFlag - motion_prediction_flag로 구해진다. 따라서 motion_prediction_flag를 구하기 위해서는 PrdRpFlag와 motion_pred_flag_diff의 차이를 구하면 얻을 수 있다.8 is a flowchart of decoding data encoded in FIG. 7 according to an embodiment of the present invention. First, the motion vector predicted in the base layer and the motion vector in the spatially neighboring region are obtained from the encoded data (S251). If the difference between the two motion vectors is less than the specified value (Sreshold Motion ) (S255), the motion prediction flag (motion_prediction_flag) is set through the difference between the encoded prediction decision flag and the motion prediction difference flag (S261). When the encoding decision flag sets the prediction decision flag to PrdRpFlag and the motion prediction difference flag to motion_pred_flag_diff, motion_pred_flag_diff = PrdRpFlag-motion_prediction_flag. Therefore, in order to obtain motion_prediction_flag, the difference between PrdRpFlag and motion_pred_flag_diff can be obtained.

모션벡터의 차이가 특정값(ThresholdMotion)보다 큰 경우(S255), 모션 예측 플래그(motion_prediction_flag)를 0으로 설정한다(S262).If the difference between the motion vectors is greater than the specific value Threshold Motion (S255), the motion prediction flag motion_prediction_flag is set to 0 (S262).

본 실시예에서 사용되는 '~부'라는 용어, 즉 '~모듈' 또는 '~테이블' 등은 소프트웨어, FPGA(Field Programmable Gate Array) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)와 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 기능들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들 안에서 제공되는 기 능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 모듈들은 디바이스 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.As used herein, the term 'unit', that is, 'module' or 'table' or the like, refers to a hardware component such as software, a field programmable gate array (FPGA), or an application specific integrated circuit (ASIC). The module performs some functions. However, modules are not meant to be limited to software or hardware. The module may be configured to be in an addressable storage medium and may be configured to play one or more processors. Thus, as an example, a module may include components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, procedures, subroutines. , Segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables. The functionality provided within the components and modules may be combined into a smaller number of components and modules or further separated into additional components and modules. In addition, the components and modules may be implemented to reproduce one or more CPUs in a device.

도 9는 본 발명의 일 실시예에 따른 비디오 인코더의 구조를 보여주는 예시도이다. 도 9 및 후술하는 도 10의 설명에서는 하나의 기초 계층과 하나의 향상 계층을 사용하는 경우를 예로 들겠지만, 더 많은 계층을 이용하더라도 하위 계층과 현재 계층 간에는 본 발명을 적용할 수 있음은 당업자라면 충분히 알 수 있을 것이다.9 is an exemplary view showing a structure of a video encoder according to an embodiment of the present invention. In FIG. 9 and the description of FIG. 10 to be described below, a case in which one base layer and one enhancement layer are used will be taken as an example. You will know enough.

상기 비디오 인코더(500)는 크게 향상 계층 인코더(400)와 기초 계층 인코더(300)로 구분될 수 있다. 먼저, 기초 계층 인코더(300)의 구성을 살펴 본다.The video encoder 500 may be largely divided into an enhancement layer encoder 400 and a base layer encoder 300. First, the configuration of the base layer encoder 300 will be described.

다운 샘플러(310)는 입력된 비디오를 기초 계층에 맞는 해상도와 프레임율, 또는 비디오 영상의 크기에 따라 다운 샘플링한다. 해상도면에서의 다운 샘플링은 MPEG 다운 샘플러나 웨이블릿 다운샘플러를 이용할 수 있다. 그리고, 프레임율 면에서의 다운 샘플링은 프레임 스킵 또는 프레임 보간 등의 방법을 통하여 간단히 수행될 수 있다. 비디오 영상의 크기에 따른 다운 샘플링은 원래 입력된 비디오가 16:9이어도 4:3으로 보여지도록 하는 것을 의미한다. 비디오 정보에서 경계 영역에 해당하는 정보를 제거하거나 비디오 정보를 해당 화면 크기에 맞게 축소하는 방식을 사용할 수 있다.The down sampler 310 down-samples the input video according to the resolution and frame rate for the base layer or the size of the video image. Downsampling in terms of resolution may use an MPEG down sampler or a wavelet downsampler. In addition, downsampling in terms of frame rate may be simply performed through a method such as frame skipping or frame interpolation. Downsampling according to the size of the video image means that the original input video is displayed in 4: 3 even when the video is 16: 9. The video information may be removed from the information corresponding to the boundary area or the video information may be reduced to fit the screen size.

모션 추정부(350)는 기초 계층 프레임에 대해 모션 추정을 수행하여 기초 계층 프레임을 구성하는 파티션 별로 모션 벡터(mv)를 구한다. 이러한 모션 추정은 프레임 버퍼에 저장된 이전의 참조 프레임(Fr')상에서, 현재 프레임(Fc)의 각 파티션과 가장 유사한, 즉 가장 에러가 작은 영역을 찾는 과정으로서, 고정 크기 블록 매칭 방법, 또는 계층적 가변 사이즈 블록 매칭 등 다양한 방법을 사용할 수 있다. 상기 참조 프레임(Fr')은 프레임 버퍼(380)에 의하여 제공될 수 있다. 다만, 도 9의 기초 계층 인코더(300)는 복원된 프레임을 참조 프레임으로 이용하는 방식, 즉 폐루프 부호화 방식을 채택하고 있지만, 이에 한하지 않고 다운 샘플러(310)에 의하여 제공되는 원래 기초 계층 프레임을 참조 프레임으로 이용하는 개루프 부호화 방식을 채택할 수도 있다.The motion estimation unit 350 performs motion estimation on the base layer frame to obtain a motion vector mv for each partition constituting the base layer frame. This motion estimation is a process of finding a region that is most similar to each partition of the current frame Fc, i.e., the least error, on a previous reference frame Fr 'stored in the frame buffer. Various methods such as variable size block matching can be used. The reference frame Fr 'may be provided by the frame buffer 380. However, although the base layer encoder 300 of FIG. 9 uses a reconstructed frame as a reference frame, that is, a closed loop encoding scheme, the base layer encoder 300 is not limited thereto and the original base layer frame provided by the down sampler 310 is not limited thereto. An open loop coding scheme used as a reference frame may be adopted.

한편 모션 추정부(350)의 모션 벡터(mv)는 가상 영역 프레임 생성부(390)에 전달된다. 이는 현재 프레임의 경계 영역 블록의 모션 벡터가 프레임의 중앙을 향하는 경우, 가상 영역을 부가한 가상 영역 프레임을 생성하기 위함이다. Meanwhile, the motion vector mv of the motion estimator 350 is transmitted to the virtual region frame generator 390. This is to generate a virtual region frame to which a virtual region is added when the motion vector of the boundary region block of the current frame is toward the center of the frame.

모션 보상부(360)는 상기 구한 모션 벡터를 이용하여 상기 참조 프레임을 모션 보상(motion compensation)한다. 그리고, 차분기(315)는 기초 계층의 현재 프레임(Fc)과 상기 모션 보상된 참조 프레임을 차분함으로써 잔차 프레임(residual frame)을 생성한다. The motion compensation unit 360 motion compensates the reference frame using the obtained motion vector. The difference unit 315 generates a residual frame by differentiating the current frame Fc of the base layer from the motion compensated reference frame.

변환부(320)는 상기 생성된 잔차 프레임에 대하여, 공간적 변환(spatial transform)을 수행하여 변환 계수(transform coefficient)를 생성한다. 이러한 공간적 변환 방법으로는, DCT(Discrete Cosine Transform), 웨이블릿 변환(wavelet transform) 등의 방법이 주로 이용된다. DCT를 사용하는 경우 상기 변환 계수는 DCT 계수를 의미하고, 웨이블릿 변환을 사용하는 경우 상기 변환 계수는 웨이블릿 계수를 의미한다.The transform unit 320 generates a transform coefficient by performing a spatial transform on the generated residual frame. As such a spatial transform method, a method such as a discrete cosine transform (DCT), a wavelet transform, or the like is mainly used. When using DCT, the transform coefficients mean DCT coefficients, and when using wavelet transform, the transform coefficients mean wavelet coefficients.

양자화부(330)는 변환부(320)에 의하여 생성되는 변환 계수를 양자화(quantization)한다. 양자화(quantization)란 임의의 실수 값으로 표현되는 상기 DCT 계수를 양자화 테이블에 따라 소정의 구간으로 나누어 불연속적인 값(discrete value)으로 나타내고, 이를 대응되는 인덱스로 매칭(matching)시키는 작업을 의미한다. 이와 같이 양자화된 결과 값을 양자화 계수(quantized coefficient)라고 한다.The quantization unit 330 quantizes the transform coefficients generated by the transform unit 320. Quantization refers to an operation of dividing the DCT coefficients, expressed as arbitrary real values, into discrete values according to a quantization table, as discrete values, and matching them with corresponding indices. The resultant quantized value is called a quantized coefficient.

엔트로피 부호화부(340)은 양자화부(330)에 의하여 생성된 양자화 계수, 모션 추정부(350)에서 생성된 모션 벡터를 무손실 부호화하여 기초 계층 비트스트림을 생성한다. 이러한 무손실 부호화 방법으로는, 허프만 부호화(Huffman coding), 산술 부호화(arithmetic coding), 가변 길이 부호화(variable length coding) 등의 다양한 무손실 부호화 방법을 사용할 수 있다.The entropy encoder 340 losslessly encodes the quantization coefficients generated by the quantizer 330 and the motion vectors generated by the motion estimation unit 350 to generate a base layer bitstream. As such a lossless coding method, various lossless coding methods such as Huffman coding, arithmetic coding, and variable length coding can be used.

한편, 역 양자화부(371)는 양자화부(330)에서 출력되는 양자화 계수를 역 양자화한다. 이러한 역 양자화 과정은 양자화 과정의 역에 해당되는 과정으로서, 양자화 과정에서 사용된 양자화 테이블을 이용하여 양자화 과정에서 생성된 인덱스로부터 그에 매칭되는 값을 복원하는 과정이다.Meanwhile, the inverse quantizer 371 inverse quantizes the quantization coefficients output from the quantizer 330. The inverse quantization process corresponds to the inverse of the quantization process, and is a process of restoring a corresponding value from an index generated in the quantization process by using the quantization table used in the quantization process.

역 변환부(372)는 상기 역 양자화된 결과 값에 대하여 역 공간적 변환을 수행한다. 이러한 역 공간적 변환은 변환부(320)에서의 변환 과정의 역으로 진행되며, 구체적으로 역 DCT 변환, 역 웨이블릿 변환 등이 이용될 수 있다.The inverse transform unit 372 performs inverse spatial transform on the inverse quantized result. The inverse spatial transformation is performed in the inverse of the transformation process in the transformation unit 320, and specifically, an inverse DCT transformation, an inverse wavelet transformation, or the like may be used.

가산기(325)는 모션 보상부(360)의 출력 값과 역 변환부(372)의 출력 값을 가산하여 현재 프레임을 복원(Fc')하고 이를 프레임 버퍼(380)에 제공한다. 프레임 버퍼(380)는 상기 복원된 프레임을 일시 저장하였다고 다른 기초 계층 프레임의 인터 예측을 위하여 참조 프레임으로서 제공한다.The adder 325 adds the output value of the motion compensation unit 360 and the output value of the inverse transform unit 372 to restore the current frame (Fc ') and provide it to the frame buffer 380. The frame buffer 380 temporarily stores the reconstructed frame and provides it as a reference frame for inter prediction of another base layer frame.

복원된 프레임(Fc')은 업샘플러(395)를 거쳐서 향상 계층 인코더(400)에 제공된다. 물론, 기초 계층의 해상도와 향상 계층의 해상도가 동일하다면 상기 업샘플링 과정은 생략될 수 있다.The reconstructed frame Fc 'is provided to the enhancement layer encoder 400 via an upsampler 395. Of course, if the resolution of the base layer and the resolution of the enhancement layer are the same, the upsampling process may be omitted.

다음으로, 향상 계층 인코더(200)의 구성을 살펴 본다. 기초 계층 인코더(300)에서 제공된 프레임과 입력 프레임은 차분기(410)로 입력된다. 차분기(210)는 상기 입력 프레임에서 상기 입력된 가상 영역을 포함하는 기초 계층 프레임을 차분하여 잔차 프레임을 생성한다. 상기 잔차 프레임은 변환부(420), 양자화부(430), 및 엔트로피 부호화부(440)를 거쳐서 향상 계층 비트스트림으로 변환되어 출력된다. Next, the configuration of the enhancement layer encoder 200 will be described. The frame provided by the base layer encoder 300 and the input frame are input to the difference 410. The difference unit 210 generates a residual frame by dividing the base layer frame including the input virtual region from the input frame. The residual frame is converted into an enhancement layer bitstream through the transform unit 420, the quantizer 430, and the entropy encoder 440.

향상 계층 인코더(400)의 변환부(420)는 입력 프레임의 매크로블록과 기초 계층 프레임의 매크로블록의 잔차 신호에 대하여 공간적 변환을 수행하여 변환 계수를 생성한다. 이때, 공간적 변환 방법으로 DCT, 웨이블릿 변환 등이 사용됨은 전술하였다. DCT 사용시의 DCT 계수 또는 웨이블릿 변환을 사용시 웨이블릿 계수들은 향상 계층의 매크로블록이 가지는 특성상 유사성이 존재한다. 따라서 이들 계수들 사이에 존재하는 유사성을 제거하여 압축율을 높이는 과정을 향상 계층 인코더(400)의 변환부(420)가 수행한다. The transform unit 420 of the enhancement layer encoder 400 generates a transform coefficient by performing spatial transform on the residual signal of the macroblock of the input frame and the macroblock of the base layer frame. In this case, it has been described above that DCT, wavelet transform, and the like are used as the spatial transform method. When using the DCT coefficients or the wavelet transform when using the DCT wavelet coefficients have similarities in the characteristics of the macroblock of the enhancement layer. Therefore, the transform unit 420 of the enhancement layer encoder 400 performs a process of increasing the compression ratio by removing similarities between the coefficients.

한편 도 4와 도 7에서 살펴본 바와 같이, 향상 계층의 데이터가 기초 계층 프레임의 데이터를 참조하는지 여부에 대해, 예측 데이터와 예측한 결과와의 차이를 인코딩하여 이후 엔트로피 부호화부(440)에서 인코딩되어 전달하는 정보의 손실은 없도록 할 수 있다. 변환부(420)에서 압축을 위해 정보를 비트로 설정하는 과정은 잔차 데이터를 예측하는 경우(도 4)와 모션 벡터를 예측하는 경우(도 7)에서 살펴본 바와 같다.As shown in FIGS. 4 and 7, whether the data of the enhancement layer refers to the data of the base layer frame is encoded by the entropy encoder 440 after encoding the difference between the prediction data and the predicted result. There can be no loss of information. The process of setting information as bits for compression in the transform unit 420 is as described in the case of predicting the residual data (FIG. 4) and the case of predicting the motion vector (FIG. 7).

양자화부(430) 및 엔트로피 부호화부(440)의 기능 및 동작은 각각 양자화부(330) 및 엔트로피 부호화부(340)의 그것들과 마찬가지이므로 중복된 설명은 생략하기로 한다.Since the functions and operations of the quantization unit 430 and the entropy encoding unit 440 are the same as those of the quantization unit 330 and the entropy encoding unit 340, the description thereof will be omitted.

도 9에서 나타낸 향상 계층 인코더(400)는 기초 계층 프레임에 대해 잔차 데이터 또는 모션 벡터와 같이 기초 계층 프레임을 참조할 수 있는 데이터가 인코딩 과정에서 기초 계층 프레임의 데이터를 참조하는지 여부를 예측할 수 있다.The enhancement layer encoder 400 illustrated in FIG. 9 may predict whether data that may refer to the base layer frame, such as residual data or motion vector, for the base layer frame refers to data of the base layer frame in the encoding process.

도 10은 본 발명의 일 실시예에 따른 비디오 디코더의 구조를 보여주는 예시도이다. 상기 비디오 디코더(550)는 크게 향상 계층 디코더(700)와 기초 계층 디코더(600)로 구분될 수 있다. 먼저, 기초 계층 디코더(600)의 구성을 살펴 본다.10 is an exemplary view showing a structure of a video decoder according to an embodiment of the present invention. The video decoder 550 may be roughly divided into an enhancement layer decoder 700 and a base layer decoder 600. First, the configuration of the base layer decoder 600 will be described.

엔트로피 복호화부(610)는 기초 계층 비트스트림을 무손실 복호화하여, 기초 계층 프레임의 텍스쳐 데이터와, 모션 데이터(모션 벡터, 파티션 정보, 참조 프레임 번호 등)를 추출한다.The entropy decoder 610 losslessly decodes the base layer bitstream and extracts texture data and motion data (motion vectors, partition information, reference frame numbers, etc.) of the base layer frame.

역 양자화부(620)는 상기 텍스쳐 데이터를 역 양자화한다. 이러한 역 양자화 과정은 비디오 인코더(500) 단에서 수행되는 양자화 과정의 역에 해당되는 과정으로서, 양자화 과정에서 사용된 양자화 테이블을 이용하여 양자화 과정에서 생성된 인덱스로부터 그에 매칭되는 값을 복원하는 과정이다.The inverse quantizer 620 inverse quantizes the texture data. The inverse quantization process corresponds to the inverse of the quantization process performed by the video encoder 500, and is a process of restoring a value matched from the index generated in the quantization process using the quantization table used in the quantization process. .

역 변환부(630)는 상기 역 양자화된 결과 값에 대하여 역 공간적 변환을 수행하여 잔차 프레임을 복원한다. 이러한 역 공간적 변환은 비디오 인코더(500) 단의 변환부(320)에서의 변환 과정의 역으로 진행되며, 구체적으로 역 DCT 변환, 역 웨이블릿 변환 등이 이용될 수 있다.The inverse transformer 630 restores the residual frame by performing inverse spatial transform on the inverse quantized result. The inverse spatial transform is performed in the reverse of the conversion process in the transform unit 320 of the video encoder 500. Specifically, inverse DCT transform, inverse wavelet transform, and the like may be used.

한편, 엔트로피 복호화부(610)는 모션 벡터(mv)를 포함한 모션 데이터를 모션 보상부(660)에 제공한다.Meanwhile, the entropy decoder 610 provides motion data including the motion vector mv to the motion compensator 660.

모션 보상부(660)는 엔트로피 복호화부(610)로부터 제공되는 모션 데이터를 이용하여, 프레임 버퍼(650)으로부터 제공되는 기 복원된 비디오 프레임, 즉 참조 프레임을 모션 보상하여 모션 보상 프레임을 생성한다. The motion compensator 660 generates a motion compensation frame by motion compensating the reconstructed video frame, that is, the reference frame, provided from the frame buffer 650 by using the motion data provided from the entropy decoder 610.

가산기(615)는 역 변환부(630)에서 복원되는 잔차 프레임과 상기 모션 보상부(660)에서 생성된 모션 보상 프레임을 가산하여 기초 계층 비디오 프레임을 복원한다. 복원된 비디오 프레임은 프레임 버퍼(650)에 일시 저장될 수 있으며, 이후의 다른 프레임의 복원을 위하여 모션 보상부(660)에 참조 프레임으로서 제공될 수 있다.The adder 615 reconstructs the base layer video frame by adding the residual frame reconstructed by the inverse transformer 630 and the motion compensation frame generated by the motion compensator 660. The reconstructed video frame may be temporarily stored in the frame buffer 650 and may be provided as a reference frame to the motion compensator 660 for reconstruction of another frame later.

현재 프레임을 복원한 Fc'는 업샘플러(680)를 거쳐서 향상 계층 디코더(700)에 제공된다. 따라서, 기초 계층의 해상도와 향상 계층의 해상도가 동일하다면 상기 업샘플링 과정은 생략될 수 있다. 만약 기초 계층의 비디오 정보가 향상 계층의 비디오 정보와 비교해서 일부 영역 정보가 제거된 경우라면, 역시 상기 업샘플링 과정은 생략될 것이다.The Fc 'reconstructing the current frame is provided to the enhancement layer decoder 700 via the upsampler 680. Therefore, if the resolution of the base layer and the resolution of the enhancement layer are the same, the upsampling process may be omitted. If the video information of the base layer is removed from some area information in comparison with the video information of the enhancement layer, the upsampling process will also be omitted.

다음으로, 향상 계층 디코더(700)의 구성을 살펴 본다. 향상 계층 비트스트림이 엔트로피 복호화부(710)에 입력되면, 엔트로피 복호화부(710)는 상기 입력된 비트스트림을 무손실 복호화하여, 비동기 프레임에 대한 텍스쳐 데이터를 추출한다.Next, the configuration of the enhancement layer decoder 700 will be described. When the enhancement layer bitstream is input to the entropy decoder 710, the entropy decoder 710 losslessly decodes the input bitstream and extracts texture data for an asynchronous frame.

그리고, 상기 추출된 텍스쳐 데이터는 역 양자화부(720) 및 역 변환부(730)를 거쳐서 잔차 프레임으로 복원된다. 역 양자화부(720)의 기능 및 동작은 기초 계층 디코더(550)의 역 양자화부(620)와 유사한 방식으로 구성된다.The extracted texture data is restored to the residual frame through the inverse quantizer 720 and the inverse transform unit 730. The function and operation of the inverse quantizer 720 is configured in a manner similar to the inverse quantizer 620 of the base layer decoder 550.

가산기(715)는 상기 복원된 잔차 프레임과 기초 계층 디코더(600)로부터 제공되는 기초 계층 프레임을 가산하여 프레임을 복원한다.The adder 715 reconstructs the frame by adding the reconstructed residual frame and the base layer frame provided from the base layer decoder 600.

향상 계층 디코더(700)의 역변환부(730)가 잔차 프레임을 복원하기 위해서는 도 5 또는 도 7에서 살펴본 과정을 진행할 수 있다. 향상 계층의 데이터가 기초 계층 프레임의 복호화된 데이터를 참조하는지 여부를 알기 위해 기초 계층 프레임을 구성하는 데이터, 예를 들어 잔차 데이터 또는 모션 벡터 등을 검토한다. 도 5에서 기초 계층의 잔차 데이터가 특정값(Thresholdresidual)보다 낮은 경우, 기초 계층의 잔차 데이터가 향상 계층의 잔차 데이터를 예측하는데 참조가 되지 않으므로, 예측 플래그의 값을 0으로 설정하도록 하는 과정이 진행된다. 또한 도 8에서 살펴본 바와 같이 기초 계층의 모션 벡터와 공간적으로 이웃한 모션 벡터의 차이를 구해서 그 차이가 특정 값(ThresholdMotion)보다 낮은지 높은지에 따라, 기초 계층의 모션 벡터를 예측값으로 사용하지 않을 수 있으므로 이에 해당하는 정보인 모션 예측 플래 그를 0으로 설정할 수 있다.The inverse transformer 730 of the enhancement layer decoder 700 may proceed with the process described with reference to FIG. 5 or 7 to restore the residual frame. In order to know whether the data of the enhancement layer refers to the decoded data of the base layer frame, the data constituting the base layer frame, for example, residual data or motion vector, is examined. In FIG. 5, when the residual data of the base layer is lower than a threshold residual , since the residual data of the base layer is not referred to predicting the residual data of the enhancement layer, the process of setting the value of the prediction flag to 0 is performed. Proceed. In addition, obtain the difference between the motion vectors adjacent to the motion vector and the spatial the base layer As described in Figure 8 the difference is depending on the higher or not lower than a certain value (Threshold Motion), not using a motion vector of the base layer as the predicted value Therefore, the motion prediction flag corresponding to the information may be set to zero.

이상 도 10에서 나타낸 향상 계층 디코더(700)는 기초 계층 프레임에 대해 인트라 BL 예측을 통해 디코딩하는 것을 중심으로 설명하였다. 이외에도 도 2에서 설명한 바와 같이 인터 예측 또는 인트라 예측 방법을 선택적으로 선택적으로 이용하여 디코딩할 수 있음은 당업자라면 이해할 수 있을 것이다.In the above description, the enhancement layer decoder 700 illustrated in FIG. 10 is mainly focused on decoding the base layer frame through intra BL prediction. In addition, it will be understood by those skilled in the art that the decoding can be selectively performed using the inter prediction or intra prediction method as described in FIG. 2.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Those skilled in the art will appreciate that the present invention can be embodied in other specific forms without changing the technical spirit or essential features of the present invention. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive. The scope of the present invention is indicated by the scope of the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and the equivalent concept are included in the scope of the present invention. Should be interpreted.

본 발명을 구현함으로써 기초 계층의 데이터에서 향상 계층의 데이터가 기초 계층의 데이터를 참조하는지 여부를 판단하여 데이터의 압축율을 높일 수 있다.By implementing the present invention, it is possible to determine whether the data of the enhancement layer refers to the data of the base layer in the data of the base layer to increase the compression ratio of the data.

Claims (40)

다계층 기반의 비디오 인코더에서In multi-layer video encoder (a) 입력 프레임에서 기초 계층 프레임을 생성하는 단계;(a) generating a base layer frame from an input frame; (b) 상기 입력 프레임에서 상기 기초 계층 프레임을 참조하는 향상 계층의 데이터를 생성하는 단계; 및(b) generating data of an enhancement layer that references the base layer frame in the input frame; And (c) 상기 기초 계층 프레임의 데이터가 상기 향상 계층의 데이터를 예측할 수 있는지 판단한 결과에 따라 상기 향상 계층의 데이터를 인코딩하는 단계를 포함하는, 인코딩 방법.(c) encoding data of the enhancement layer according to a result of determining whether data of the base layer frame can predict data of the enhancement layer. 제 1항에 있어서,The method of claim 1, 상기 (a) 단계는 상기 기초계층 프레임과 시간적 차이를 두는 제 2 프레임과 상기 기초계층 프레임과의 차분에 의한 잔차 데이터를 구하는 단계를 포함하며,The step (a) may include obtaining residual data based on a difference between the second frame having a time difference from the base layer frame and the base layer frame. 상기 잔차 데이터의 에너지가 특정 값 이하인 경우, 상기 (c) 단계는 상기 향상 계층의 데이터가 상기 기초 계층 프레임의 데이터를 참조하는지 여부에 대한 예측 정보를 제외하고 상기 향상 계층의 데이터를 인코딩하는 단계를 포함하는, 인코딩 방법.If the energy of the residual data is equal to or less than a specific value, step (c) includes encoding data of the enhancement layer except for prediction information on whether data of the enhancement layer refers to data of the base layer frame. Encoding method. 제 2항에 있어서,The method of claim 2, 상기 특정 값은 에너지가 0인 경우인, 인코딩 방법.And the specific value is where energy is zero. 제 1항에 있어서,The method of claim 1, 상기 (a) 단계는 상기 기초계층 프레임과 시간적 차이를 두는 제 2 프레임과 상기 기초계층 프레임과의 차분에 의한 잔차 데이터를 구하는 단계를 포함하며,The step (a) may include obtaining residual data based on a difference between the second frame having a time difference from the base layer frame and the base layer frame. 상기 잔차 데이터의 에너지가 특정 값 이상인 경우, 상기 (c) 단계는 If the energy of the residual data is more than a specific value, step (c) (d) 상기 기초 계층 프레임의 데이터의 모션 벡터와 상기 향상 계층의 데이터의 모션 벡터의 차이를 계산하는 단계;(d) calculating a difference between a motion vector of data of the base layer frame and a motion vector of data of the enhancement layer; (e) 상기 두 모션 벡터의 차이에 따라 상기 기초 계층의 데이터를 참조할 것인지 여부를 예측하는 결정 정보를 설정하는 단계; 및(e) setting decision information for predicting whether to reference data of the base layer according to the difference between the two motion vectors; And (f) 상기 (e) 단계에서 설정한 결정 정보와 상기 기초 계층 프레임의 데이터를 참조하는지 여부에 대한 정보의 차이를 포함하는 상기 향상 계층의 데이터를 인코딩하는 단계를 포함하는, 인코딩 방법.and (f) encoding data of the enhancement layer including a difference between the determination information set in the step (e) and information on whether to refer to the data of the base layer frame. 제 1항에 있어서,The method of claim 1, 상기 (c) 단계는Step (c) is (d) 상기 향상 계층의 데이터가 상기 기초계층 프레임의 데이터에서 예측한 모션 벡터를 구하는 단계;obtaining a motion vector predicted from the data of the base layer frame by the data of the enhancement layer; (e) 상기 향상 계층의 데이터에서 공간적으로 이웃한 영역의 데이터에서 예측한 모션 벡터를 구하는 단계; 및(e) obtaining a motion vector predicted from data of a spatially neighboring region from the data of the enhancement layer; And (f) 상기 (d) 단계와 상기 (e) 단계에서 구한 모션 벡터의 차이가 특정 값 이하인 경우, 상기 향상 계층의 데이터가 상기 기초 계층 프레임의 모션 벡터를 참조하는지 여부에 대한 정보를 제외하고 상기 향상 계층의 데이터를 인코딩하는 단계를 포함하는, 인코딩 방법.(f) when the difference between the motion vectors obtained in steps (d) and (e) is equal to or less than a specific value, except for information on whether data of the enhancement layer refers to a motion vector of the base layer frame. Encoding the data of the enhancement layer. 제 2항에 있어서,The method of claim 2, 상기 특정 값은 차이가 0인 경우인, 인코딩 방법.Wherein said particular value is a difference of zero. 제 1항에 있어서,The method of claim 1, 상기 (c) 단계는 Step (c) is (d) 상기 향상 계층의 데이터가 상기 기초계층 프레임의 데이터에서 예측한 모션 벡터를 구하는 단계;obtaining a motion vector predicted from the data of the base layer frame by the data of the enhancement layer; (e) 상기 향상 계층의 데이터에서 공간적으로 이웃한 영역에서 예측한 모션 벡터를 구하는 단계;(e) obtaining a motion vector predicted in a spatially neighboring region from the data of the enhancement layer; (f) 상기 (d) 단계와 상기 (e) 단계에서 구한 모션 벡터의 차이에 따라 상기 기초 계층 프레임의 데이터의 모션 벡터를 참조할 것인지 여부를 예측하도록 결정 정보를 설정하는 단계; 및(f) setting decision information to predict whether to refer to a motion vector of data of the base layer frame according to a difference between the motion vectors obtained in steps (d) and (e); And (g) 상기 (f) 단계에서 설정한 결정 정보와 상기 기초 계층 프레임의 데이터의 모션 벡터를 참조하는지 여부에 대한 정보의 차이를 포함하여 상기 향상 계층의 데이터를 인코딩하는 단계를 포함하는, 인코딩 방법.(g) encoding the data of the enhancement layer, including a difference between the determination information set in step (f) and information on whether to refer to a motion vector of the data of the base layer frame. . 제 1항에 있어서,The method of claim 1, 상기 (c) 단계의 향상 계층의 데이터는The data of the enhancement layer of step (c) 상기 향상 계층의 데이터가 상기 기초 계층 프레임의 데이터를 참조할 것인지 여부를 예측하기 위한 결정 정보 및Decision information for predicting whether data of the enhancement layer will refer to data of the base layer frame; and 상기 기초 계층 프레임의 데이터를 참조할 것인지에 대한 예측 정보와 상기 결정 정보의 차이를 포함하는, 인코딩 방법.And a difference between the prediction information and whether the reference information refers to data of the base layer frame. 제 1항에 있어서,The method of claim 1, 상기 인코딩하는 단계는 엔트로피 인코딩 방식으로 인코딩하는 단계를 포함하는, 인코딩 방법.And wherein said encoding comprises encoding in an entropy encoding scheme. 제 1항에 있어서,The method of claim 1, 상기 기초 계층 프레임의 데이터와 향상 계층의 데이터는 매크로블록, 슬라이스, 또는 프레임 중 하나인, 인코딩 방법.The data of the base layer frame and the data of the enhancement layer are one of a macroblock, a slice, or a frame. 다계층 기반의 비디오 디코더에서In a multi-layer video decoder (a) 입력된 기초 계층 프레임을 디코딩하는 단계;(a) decoding the input base layer frame; (b) 상기 디코딩된 기초 계층 프레임의 데이터가 상기 기초 계층 프레임을 참조하는 향상 계층의 데이터를 예측하는데 필요한지 여부를 판단하는 단계; 및(b) determining whether data of the decoded base layer frame is necessary to predict data of an enhancement layer referencing the base layer frame; And (c) 상기 판단한 결과에 따라 상기 향상 계층의 데이터를 디코딩하는 단계를 포함하는, 디코딩 방법.(c) decoding the data of the enhancement layer according to the determined result. 제 11항에 있어서,The method of claim 11, 상기 (b) 단계의 기초 계층 프레임의 데이터가 상기 기초 계층 프레임과 시간적 차이를 두는 제 2 프레임과의 차분에 의한 잔차 데이터를 포함하며 상기 잔차 데이터의 에너지가 특정 값 이하인 경우, When the data of the base layer frame of step (b) includes residual data by a difference from a second frame having a time difference from the base layer frame, and the energy of the residual data is equal to or less than a specific value, 상기 (c) 단계는 상기 향상 계층의 데이터가 상기 기초 계층 프레임의 데이터를 참조하지 않는 것으로 예측 정보를 설정하여 상기 향상 계층의 데이터를 디코딩하는 단계를 포함하는, 디코딩 방법.And (c) comprises decoding prediction data by setting prediction information such that data of the enhancement layer does not refer to data of the base layer frame. 제 12항에 있어서,The method of claim 12, 상기 특정 값은 에너지가 0인 경우인, 디코딩 방법.And the specific value is when energy is zero. 제 11항에 있어서,The method of claim 11, 상기 (b) 단계의 기초 계층 프레임의 데이터가 상기 기초 계층 프레임과 시간적 차이를 두는 제 2 프레임과의 차분에 의한 잔차 데이터를 포함하며 상기 잔차 데이터의 에너지가 특정 값 이상인 경우, When the data of the base layer frame of step (b) includes residual data by a difference from a second frame having a time difference from the base layer frame, and the energy of the residual data is greater than or equal to a specific value, 상기 (c) 단계는 Step (c) is 상기 기초 계층 프레임의 잔차 데이터를 참조하여 예측할 것인지 결정하는 결정 정보와 상기 결정 정보와 상기 기초 계층 프레임의 잔차 데이터를 참조하여 예측할 것인지 여부에 대한 예측 정보의 차이에 대한 값을 포함하는 정보를 디코딩하는 단계를 포함하는, 디코딩 방법.Decoding information including a determination information for determining whether to predict by referring to the residual data of the base layer frame and a value of a difference between the determination information and prediction information about whether to predict by referring to the residual data of the base layer frame Comprising the steps of: decoding method. 제 11항에 있어서,The method of claim 11, 상기 (b) 단계는 Step (b) is (d) 상기 향상 계층의 데이터가 상기 기초계층 프레임의 데이터에서 예측한 모션 벡터를 구하는 단계;obtaining a motion vector predicted from the data of the base layer frame by the data of the enhancement layer; (e) 상기 향상 계층의 데이터에서 공간적으로 이웃한 영역에서 예측한 모션 벡터를 구하는 단계; 및(e) obtaining a motion vector predicted in a spatially neighboring region from the data of the enhancement layer; And (f) 상기 (d) 단계와 상기 (e) 단계에서 구한 모션 벡터의 차이가 특정 값 이하인 경우, 상기 (c) 단계는 상기 향상 계층의 데이터가 상기 기초 계층 프레임의 데이터의 모션 벡터를 참조하지 않는 것으로 상기 예측 정보를 설정하여 상기 향상 계층의 데이터를 디코딩하는 단계를 포함하는, 디코딩 방법.(f) If the difference between the motion vectors obtained in steps (d) and (e) is equal to or less than a specific value, step (c) does not refer to the motion vector of the data of the base layer frame. Setting the prediction information to decode the data of the enhancement layer. 제 12항에 있어서,The method of claim 12, 상기 특정 값은 차이가 0인 경우인, 디코딩 방법.And the specific value is when the difference is zero. 제 11항에 있어서,The method of claim 11, 상기 (c) 단계는 Step (c) is (d) 상기 향상 계층의 데이터가 상기 기초계층 프레임의 데이터에서 예측한 모션 벡터를 구하는 단계;obtaining a motion vector predicted from the data of the base layer frame by the data of the enhancement layer; (e) 상기 향상 계층의 데이터에서 공간적으로 이웃한 영역에서 예측한 모션 벡터를 구하는 단계; 및(e) obtaining a motion vector predicted in a spatially neighboring region from the data of the enhancement layer; And (f) 상기 (d) 단계와 상기 (e) 단계에서 구한 모션 벡터의 차이가 특정 값 이상인 경우, 상기 (c) 단계는 (f) if the difference between the motion vectors obtained in the step (d) and the step (e) is greater than or equal to a specific value, the step (c) 상기 기초 계층 프레임의 모션 벡터를 참조하여 예측할 것인지 결정하는 결정 정보와 상기 결정 정보와 상기 기초 계층 프레임의 모션 벡터를 참조하여 예측할 것인지 여부에 대한 예측 정보의 차이에 대한 값을 포함하는 정보를 디코딩하는 단계를 포함하는, 디코딩 방법.Decoding information including a decision information for determining whether to predict the motion vector of the base layer frame and a value for a difference between the decision information and prediction information for whether to predict the motion vector of the base layer frame; Comprising the steps of: decoding method. 제 11항에 있어서,The method of claim 11, 상기 (c) 단계의 향상 계층의 데이터는The data of the enhancement layer of step (c) 상기 향상 계층의 데이터가 상기 기초 계층 프레임의 데이터를 참조할 것인지 여부를 예측하기 위한 결정 정보 및Decision information for predicting whether data of the enhancement layer will refer to data of the base layer frame; and 상기 기초 계층 프레임의 데이터를 참조할 것인지에 대한 예측 정보와 상기 결정 정보의 차이에 대한 값을 포함하는, 디코딩 방법.And a value for a difference between the prediction information and whether the reference information refers to data of the base layer frame. 제 11항에 있어서,The method of claim 11, 상기 디코딩하는 단계는 엔트로피 디코딩 방식으로 디코딩하는 단계를 포함 하는, 디코딩 방법.And wherein said decoding comprises decoding in an entropy decoding scheme. 제 11항에 있어서,The method of claim 11, 상기 기초 계층 프레임의 데이터와 향상 계층의 데이터는 매크로블록, 슬라이스, 또는 프레임 중 하나인, 디코딩 방법.And the data of the base layer frame and the data of the enhancement layer are one of a macroblock, a slice, or a frame. 입력 프레임에서 기초 계층 프레임을 생성하는 기초 계층 인코더; 및A base layer encoder for generating a base layer frame from an input frame; And 상기 입력 프레임에서 상기 기초 계층 프레임을 참조하는 향상 계층의 데이터를 생성하는 향상 계층 인코더를 포함하며, An enhancement layer encoder for generating data of an enhancement layer referencing the base layer frame in the input frame, 상기 향상 계층 인코더는 상기 기초 계층 프레임의 데이터가 상기 향상 계층의 데이터를 예측할 수 있는지 판단한 결과에 따라 상기 향상 계층의 데이터를 인코딩하는 변환부를 포함하는, 비디오 인코더.The enhancement layer encoder includes a converter that encodes data of the enhancement layer according to a result of determining whether data of the base layer frame can predict data of the enhancement layer. 제 21항에 있어서,The method of claim 21, 상기 기초 계층 인코더는 상기 기초계층 프레임과 시간적 차이를 두는 제 2 프레임과 상기 기초계층 프레임과의 차분에 의한 잔차 데이터를 구하며,The base layer encoder obtains residual data based on a difference between a second frame having a time difference from the base layer frame and the base layer frame, 상기 잔차 데이터의 에너지가 특정 값 이하인 경우, 상기 변환부는 상기 향상 계층의 데이터가 상기 기초 계층 프레임의 데이터를 참조하는지 여부에 대한 예측 정보를 제외하고 상기 향상 계층의 데이터를 인코딩하는, 비디오 인코더.And when the energy of the residual data is equal to or less than a specific value, the transform unit encodes data of the enhancement layer except for prediction information on whether data of the enhancement layer refers to data of the base layer frame. 제 22항에 있어서,The method of claim 22, 상기 특정 값은 에너지가 0인 경우인, 비디오 인코더.And the specific value is where energy is zero. 제 21항에 있어서,The method of claim 21, 상기 기초 계층 인코더는 상기 기초계층 프레임과 시간적 차이를 두는 제 2 프레임과 상기 기초계층 프레임과의 차분에 의한 잔차 데이터를 구하며,The base layer encoder obtains residual data based on a difference between a second frame having a time difference from the base layer frame and the base layer frame, 상기 잔차 데이터의 에너지가 특정 값 이상인 경우, 상기 변환부는 상기 기초 계층 프레임의 데이터의 모션 벡터와 상기 향상 계층의 데이터의 모션 벡터의 차이를 계산하여, 상기 두 모션 벡터의 차이에 따라 상기 기초 계층의 데이터를 참조할 것인지 여부를 예측하는 결정 정보를 설정하고, 상기 설정한 결정 정보와 상기 기초 계층 프레임의 데이터를 참조하는지 여부에 대한 정보의 차이를 포함하여 상기 향상 계층의 데이터를 인코딩하는, 비디오 인코더.When the energy of the residual data is equal to or greater than a specific value, the transform unit calculates a difference between a motion vector of data of the base layer frame and a motion vector of data of the enhancement layer, and according to the difference between the two motion vectors, A video encoder that sets decision information for predicting whether to reference data and encodes data of the enhancement layer including a difference between the set decision information and information on whether to refer to data of the base layer frame . 제 21항에 있어서,The method of claim 21, 상기 변환부는 상기 향상 계층의 데이터가 상기 기초계층 프레임의 데이터에서 예측한 모션 벡터와 상기 향상 계층의 데이터에서 공간적으로 이웃한 영역의 데이터에서 예측한 모션 벡터를 구하고,The conversion unit obtains a motion vector predicted by the data of the enhancement layer from the data of the base layer frame and a motion vector predicted from the data of the spatially neighboring region from the data of the enhancement layer, 상기 두 모션 벡터의 차이가 특정 값 이하인 경우, 상기 향상 계층의 데이터가 상기 기초 계층 프레임의 모션 벡터를 참조하는지 여부에 대한 정보를 제외하고 상기 향상 계층의 데이터를 인코딩하는, 비디오 인코더.And when the difference between the two motion vectors is equal to or less than a specific value, encoding the data of the enhancement layer except for information on whether the data of the enhancement layer refers to the motion vector of the base layer frame. 제 22항에 있어서,The method of claim 22, 상기 특정 값은 차이가 0인 경우인, 비디오 인코더.And the specific value is where the difference is zero. 제 21항에 있어서,The method of claim 21, 상기 변환부는 The conversion unit 상기 향상 계층의 데이터가 상기 기초계층 프레임의 데이터에서 예측한 모션 벡터와 상기 향상 계층의 데이터에서 공간적으로 이웃한 영역에서 예측한 모션 벡터를 구하고,Obtaining a motion vector predicted by the data of the enhancement layer from the data of the base layer frame and a motion vector predicted from a spatially neighboring region from the data of the enhancement layer, 상기 두 모션 벡터의 차이에 따라 상기 기초 계층 프레임의 데이터의 모션 벡터를 참조할 것인지 여부를 예측하도록 결정 정보를 설정하고,Setting determination information to predict whether to refer to a motion vector of data of the base layer frame according to a difference between the two motion vectors, 상기 설정한 결정 정보와 상기 기초 계층 프레임의 데이터의 모션 벡터를 참조하는지 여부에 대한 정보의 차이를 포함하여 상기 향상 계층의 데이터를 인코딩하는, 비디오 인코더.And encoding data of the enhancement layer including a difference between the set determination information and information about whether to refer to a motion vector of data of the base layer frame. 제 21항에 있어서,The method of claim 21, 상기 향상 계층의 데이터는The data of the enhancement layer 상기 향상 계층의 데이터가 상기 기초 계층 프레임의 데이터를 참조할 것인지 여부를 예측하기 위한 결정 정보 및Decision information for predicting whether data of the enhancement layer will refer to data of the base layer frame; and 상기 기초 계층 프레임의 데이터를 참조할 것인지에 대한 예측 정보와 상기 결정 정보의 차이를 포함하는, 비디오 인코더.And a difference between the prediction information and the determination information as to whether to refer to data of the base layer frame. 제 21항에 있어서,The method of claim 21, 상기 변환부는 엔트로피 인코딩 방식으로 인코딩하는, 비디오 인코더.And the converting unit encodes using an entropy encoding scheme. 제 21항에 있어서,The method of claim 21, 상기 기초 계층 프레임의 데이터와 향상 계층의 데이터는 매크로블록, 슬라이스, 또는 프레임 중 하나인, 비디오 인코더.And the data of the base layer frame and the data of the enhancement layer are one of a macroblock, slice, or frame. 입력된 기초 계층 프레임을 디코딩하는 기초 계층 디코더; 및A base layer decoder for decoding an input base layer frame; And 상기 기초 계층 프레임을 참조하여 향상 계층의 데이터를 디코딩하는 향상 계층 디코더를 포함하며,An enhancement layer decoder for decoding data of an enhancement layer with reference to the base layer frame; 상기 향상 계층 디코더는 상기 디코딩된 기초 계층 프레임의 데이터가 상기 기초 계층 프레임을 참조하는 향상 계층의 데이터를 예측하는데 필요한지 여부를 판단하여 상기 판단한 결과에 따라 상기 향상 계층의 데이터를 디코딩하는 역변환부를 포함하는, 비디오 디코더.The enhancement layer decoder includes an inverse transform unit that determines whether data of the decoded base layer frame is required to predict data of an enhancement layer that refers to the base layer frame, and decodes data of the enhancement layer according to the determined result. , Video decoder. 제 31항에 있어서,The method of claim 31, wherein 상기 기초 계층 프레임의 데이터가 상기 기초 계층 프레임과 시간적 차이를 두는 제 2 프레임과의 차분에 의한 잔차 데이터를 포함하며 상기 잔차 데이터의 에 너지가 특정 값 이하인 경우, When the data of the base layer frame includes residual data by a difference from a second frame having a time difference from the base layer frame, and the energy of the residual data is equal to or less than a specific value, 상기 역변환부는 상기 향상 계층의 데이터가 상기 기초 계층 프레임의 데이터를 참조하지 않는 것으로 예측 정보를 설정하여 상기 향상 계층의 데이터를 디코딩하는, 비디오 디코더.And the inverse transformer is configured to decode the data of the enhancement layer by setting prediction information that the data of the enhancement layer does not refer to the data of the base layer frame. 제 32항에 있어서,The method of claim 32, 상기 특정 값은 에너지가 0인 경우인, 비디오 디코더.And the specific value is where energy is zero. 제 31항에 있어서,The method of claim 31, wherein 상기 기초 계층 프레임의 데이터가 상기 기초 계층 프레임과 시간적 차이를 두는 제 2 프레임과의 차분에 의한 잔차 데이터를 포함하며 상기 잔차 데이터의 에너지가 특정 값 이상인 경우, When the data of the base layer frame includes residual data by a difference from a second frame having a time difference from the base layer frame, and the energy of the residual data is greater than or equal to a specific value, 상기 역변환부는 상기 인코딩된 향상 계층의 데이터를 디코딩시 상기 기초 계층 프레임의 잔차 데이터를 참조하여 예측할 것인지 결정하는 결정 정보와 상기 결정 정보와 상기 기초 계층 프레임의 잔차 데이터를 참조하여 예측할 것인지 여부에 대한 예측 정보의 차이에 대한 값을 포함하는 정보를 디코딩하는, 비디오 디코더.The inverse transform unit determines whether to predict the data of the encoded enhancement layer by referring to the residual data of the base layer frame and predicts whether to predict the prediction by referring to the determination information and the residual data of the base layer frame. A video decoder for decoding information comprising values for differences in the information. 제 31항에 있어서,The method of claim 31, wherein 상기 역변환부는 상기 향상 계층의 데이터가 상기 기초계층 프레임의 데이터 에서 예측한 모션 벡터와 상기 향상 계층의 데이터에서 공간적으로 이웃한 영역에서 예측한 모션 벡터를 구하여, 상기 두 모션 벡터의 차이가 특정 값 이하인 경우, 상기 향상 계층의 데이터가 상기 기초 계층 프레임의 데이터의 모션 벡터를 참조하지 않는 것으로 상기 예측 정보를 설정하여 상기 향상 계층의 데이터를 디코딩하는, 비디오 디코더.The inverse transform unit obtains a motion vector predicted by the data of the enhancement layer from the data of the base layer frame and a motion vector predicted from a spatially neighboring region from the data of the enhancement layer, and the difference between the two motion vectors is equal to or less than a specific value. If the data of the enhancement layer does not refer to the motion vector of the data of the base layer frame, setting the prediction information to decode the data of the enhancement layer. 제 32항에 있어서,The method of claim 32, 상기 특정 값은 차이가 0인 경우인, 비디오 디코더.And the specific value is when the difference is zero. 제 31항에 있어서,The method of claim 31, wherein 상기 역변환부는 상기 향상 계층의 데이터가 상기 기초계층 프레임의 데이터에서 예측한 모션 벡터와 상기 향상 계층의 데이터에서 공간적으로 이웃한 영역에서 예측한 모션 벡터를 구하여, 상기 두 모션 벡터의 차이가 특정 값 이상인 경우, The inverse transform unit obtains a motion vector predicted by the data of the enhancement layer from the data of the base layer frame and a motion vector predicted from a spatially neighboring area from the data of the enhancement layer, and the difference between the two motion vectors is equal to or greater than a specific value. Occation, 상기 기초 계층 프레임의 모션 벡터를 참조하여 예측할 것인지 결정하는 결정 정보와 상기 결정 정보와 상기 기초 계층 프레임의 모션 벡터를 참조하여 예측할 것인지 여부에 대한 예측 정보의 차이에 대한 값을 포함하는 정보를 디코딩하는, 비디오 디코더.Decoding information including a decision information for determining whether to predict the motion vector of the base layer frame and a value for a difference between the decision information and prediction information for whether to predict the motion vector of the base layer frame; , Video decoder. 제 31항에 있어서,The method of claim 31, wherein 상기 향상 계층의 데이터는The data of the enhancement layer 상기 향상 계층의 데이터가 상기 기초 계층 프레임의 데이터를 참조할 것인지 여부를 예측하기 위한 결정 정보; 및Decision information for predicting whether data of the enhancement layer will refer to data of the base layer frame; And 상기 기초 계층 프레임의 데이터를 참조할 것인지에 대한 예측 정보와 상기 결정 정보의 차이에 대한 값을 포함하는, 비디오 디코더.And a value for the difference between the prediction information and whether to refer to data of the base layer frame and the determination information. 제 31항에 있어서,The method of claim 31, wherein 상기 역변환부는 엔트로피 디코딩 방식으로 디코딩하는, 비디오 디코더.And the inverse transform unit decodes by entropy decoding. 제 31항에 있어서,The method of claim 31, wherein 상기 기초 계층 프레임의 데이터와 향상 계층의 데이터는 매크로블록, 슬라이스, 또는 프레임 중 하나인, 비디오 디코더.And the data of the base layer frame and the data of the enhancement layer are one of macroblocks, slices, or frames.
KR1020050059371A 2005-04-19 2005-07-01 Method and apparatus for improving coding rate by coding prediction information from base layer and enhancement layer KR100763181B1 (en)

Priority Applications (11)

Application Number Priority Date Filing Date Title
AU2006201490A AU2006201490B2 (en) 2005-04-19 2006-04-10 Method and apparatus for adaptively selecting context model for entropy coding
PCT/KR2006/001419 WO2006112642A1 (en) 2005-04-19 2006-04-18 Method and apparatus for adaptively selecting context model for entropy coding
RU2006113092/09A RU2336661C2 (en) 2005-04-19 2006-04-18 Method and device of adaptive choice of context model for entropy encoding
JP2006114648A JP2006304307A (en) 2005-04-19 2006-04-18 Method for adaptively selecting context model for entropy coding and video decoder
TW095113739A TW200644646A (en) 2005-04-19 2006-04-18 Method and apparatus for adaptively selecting context model for entropy coding
CA 2543947 CA2543947A1 (en) 2005-04-19 2006-04-18 Method and apparatus for adaptively selecting context model for entropy coding
EP06252086A EP1715693A3 (en) 2005-04-19 2006-04-18 Method and apparatus for adaptively selecting context model for entropy coding
US11/405,665 US8351502B2 (en) 2005-04-19 2006-04-18 Method and apparatus for adaptively selecting context model for entropy coding
BRPI0602466 BRPI0602466A (en) 2005-04-19 2006-04-19 method of encoding a residual prediction flag, method for decoding an enhancement layer of a multilayer video signal, video encoder, video decoder, decoder for decoding an enhancement layer of a multilayer video signal, encoding method performed by a multilayer video encoder, and video encoder
ARP060101545A AR053062A1 (en) 2005-04-19 2006-04-19 METHOD AND APPARATUS FOR SELECTING A CONTEXT MODEL FOR ENTROPIC CODING ADAPTABLELY
RU2008106939/09A RU2008106939A (en) 2005-04-19 2008-02-22 METHOD AND DEVICE OF ADAPTIVE SELECTION OF A CONTEXT MODEL FOR ENTROPY CODING

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US67254905P 2005-04-19 2005-04-19
US60/672,549 2005-04-19

Publications (2)

Publication Number Publication Date
KR20060110714A KR20060110714A (en) 2006-10-25
KR100763181B1 true KR100763181B1 (en) 2007-10-05

Family

ID=37616466

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050059371A KR100763181B1 (en) 2005-04-19 2005-07-01 Method and apparatus for improving coding rate by coding prediction information from base layer and enhancement layer

Country Status (2)

Country Link
KR (1) KR100763181B1 (en)
CN (1) CN1917647A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013147497A1 (en) * 2012-03-26 2013-10-03 엘지전자 주식회사 Method for applying sample adaptive offset in scalable video coding, and apparatus using the method

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
BRPI0810517A2 (en) * 2007-06-12 2014-10-21 Thomson Licensing METHODS AND APPARATUS SUPPORTING MULTIPASS VIDEO SYNTAX STRUCTURE FOR SECTION DATA
US8432968B2 (en) 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
US8155184B2 (en) * 2008-01-16 2012-04-10 Sony Corporation Video coding system using texture analysis and synthesis in a scalable coding framework
US8369415B2 (en) * 2008-03-06 2013-02-05 General Instrument Corporation Method and apparatus for decoding an enhanced video stream
US9167246B2 (en) 2008-03-06 2015-10-20 Arris Technology, Inc. Method and apparatus for decoding an enhanced video stream
US9338475B2 (en) * 2008-04-16 2016-05-10 Intel Corporation Tone mapping for bit-depth scalable video codec
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
JP2010288110A (en) * 2009-06-12 2010-12-24 Sony Corp Image processing apparatus and method
KR20110112168A (en) * 2010-04-05 2011-10-12 삼성전자주식회사 Method and apparatus for video encoding based on internal bitdepth increment, method and apparatus for video decoding based on internal bitdepth increment
CN106028045B (en) * 2010-04-13 2019-06-25 Ge视频压缩有限责任公司 The method of decoding data stream, the method and its decoder for generating data flow
KR101556821B1 (en) 2010-04-13 2015-10-01 지이 비디오 컴프레션, 엘엘씨 Inheritance in sample array multitree subdivision
KR102080450B1 (en) 2010-04-13 2020-02-21 지이 비디오 컴프레션, 엘엘씨 Inter-plane prediction
CN105872563B (en) * 2010-04-13 2019-06-14 Ge视频压缩有限责任公司 For decoding, generating, storing data stream and transmit video method
PT3703377T (en) 2010-04-13 2022-01-28 Ge Video Compression Llc Video coding using multi-tree sub-divisions of images
PT2559246T (en) 2010-04-13 2016-09-14 Ge Video Compression Llc Sample region merging
WO2011129673A2 (en) * 2010-04-16 2011-10-20 에스케이텔레콤 주식회사 Video encoding/decoding apparatus and method
KR101791242B1 (en) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 Video Coding and Decoding Method and Apparatus
US8755620B2 (en) 2011-01-12 2014-06-17 Panasonic Corporation Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus for performing arithmetic coding and/or arithmetic decoding
US9060173B2 (en) * 2011-06-30 2015-06-16 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
CN102256125B (en) * 2011-07-14 2013-06-05 北京工业大学 Context adaptive arithmetic coding method for HEVC (High Efficiency Video Coding)
WO2013051897A1 (en) * 2011-10-05 2013-04-11 한국전자통신연구원 Image-encoding method and image-decoding method
EP2773109B1 (en) * 2011-10-31 2016-12-14 Samsung Electronics Co., Ltd. Method and apparatus for determining a context model for transform coefficient level entropy encoding and decoding
CN103188489B (en) * 2011-12-30 2016-08-03 联芯科技有限公司 CBP analytic method and device thereof
JP6394966B2 (en) 2012-01-20 2018-09-26 サン パテント トラスト Encoding method, decoding method, encoding device, and decoding device using temporal motion vector prediction
EP3829177A1 (en) * 2012-02-03 2021-06-02 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
JP6421931B2 (en) 2012-03-06 2018-11-14 サン パテント トラスト Moving picture coding method and moving picture coding apparatus
US9906786B2 (en) * 2012-09-07 2018-02-27 Qualcomm Incorporated Weighted prediction mode for scalable video coding
EP3092806A4 (en) * 2014-01-07 2017-08-23 Nokia Technologies Oy Method and apparatus for video coding and decoding
KR102274322B1 (en) * 2014-03-06 2021-07-07 삼성전자주식회사 Method and apparatus for inter layer video decoding for performing a prediction based on sub-block and method and apparatus for inter layer video encoding for performing a prediction based on sub-block
US9425822B2 (en) * 2014-08-05 2016-08-23 Broadcom Corporation Simplified range and context update for multimedia context-adaptive binary arithmetic coding design
CN112235577B (en) * 2018-12-13 2021-08-20 华为技术有限公司 Prediction method and device of chrominance block
CN110290382A (en) * 2019-05-10 2019-09-27 同济大学 A kind of residual error data coding and decoding methods
US20210092388A1 (en) * 2019-09-23 2021-03-25 Alibaba Group Holding Limited Lossless coding of video data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040046890A (en) * 2002-11-28 2004-06-05 엘지전자 주식회사 Implementation method of spatial scalability in video codec
JP2005057789A (en) 2003-08-07 2005-03-03 Thomson Licensing Sa Device and method for compressing digital source images
KR20050082102A (en) * 2004-02-17 2005-08-22 한국전자통신연구원 Selective fine granular scalable coding apparatus and method thereof
KR20060043115A (en) * 2004-10-26 2006-05-15 엘지전자 주식회사 Method and apparatus for encoding/decoding video signal using base layer

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040046890A (en) * 2002-11-28 2004-06-05 엘지전자 주식회사 Implementation method of spatial scalability in video codec
JP2005057789A (en) 2003-08-07 2005-03-03 Thomson Licensing Sa Device and method for compressing digital source images
KR20050082102A (en) * 2004-02-17 2005-08-22 한국전자통신연구원 Selective fine granular scalable coding apparatus and method thereof
KR20060043115A (en) * 2004-10-26 2006-05-15 엘지전자 주식회사 Method and apparatus for encoding/decoding video signal using base layer

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013147497A1 (en) * 2012-03-26 2013-10-03 엘지전자 주식회사 Method for applying sample adaptive offset in scalable video coding, and apparatus using the method

Also Published As

Publication number Publication date
KR20060110714A (en) 2006-10-25
CN1917647A (en) 2007-02-21

Similar Documents

Publication Publication Date Title
KR100763181B1 (en) Method and apparatus for improving coding rate by coding prediction information from base layer and enhancement layer
KR100703774B1 (en) Method and apparatus for encoding and decoding video signal using intra baselayer prediction mode applying selectively intra coding
KR100746007B1 (en) Method and apparatus for adaptively selecting context model of entrophy coding
KR100781525B1 (en) Method and apparatus for encoding and decoding FGS layers using weighting factor
KR100664929B1 (en) Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer
KR100703734B1 (en) Method and apparatus for encoding/decoding multi-layer video using DCT upsampling
KR100703760B1 (en) Video encoding/decoding method using motion prediction between temporal levels and apparatus thereof
KR100631777B1 (en) Method and apparatus for effectively compressing motion vectors in multi-layer
KR100763194B1 (en) Intra base prediction method satisfying single loop decoding condition, video coding method and apparatus using the prediction method
KR100704626B1 (en) Method and apparatus for compressing multi-layered motion vectors
KR100703740B1 (en) Method and apparatus for effectively encoding multi-layered motion vectors
KR100714689B1 (en) Method for multi-layer based scalable video coding and decoding, and apparatus for the same
KR100791299B1 (en) Multi-layer based video encoding method and apparatus thereof
JP2006304307A5 (en)
JP2006304307A (en) Method for adaptively selecting context model for entropy coding and video decoder
KR20070075222A (en) Video encoding method, video decoding method, video encoder, and video decoder, which use smoothing prediction
JP2008541653A (en) Multi-layer based video encoding method, decoding method, video encoder and video decoder using smoothing prediction
KR100703746B1 (en) Video coding method and apparatus for predicting effectively unsynchronized frame
KR100763205B1 (en) Method and apparatus for motion prediction using motion reverse
KR100843080B1 (en) Video transcoding method and apparatus thereof
WO2006109985A1 (en) Method and apparatus for encoding and decoding video signals in intra-base-layer prediction mode by selectively applying intra-coding
KR100703751B1 (en) Method and apparatus for encoding and decoding referencing virtual area image
WO2006132509A1 (en) Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120830

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130829

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140828

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150828

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee