KR20070076392A - A method and apparatus for decoding/encoding a video signal - Google Patents
A method and apparatus for decoding/encoding a video signalInfo
- Publication number
- KR20070076392A KR20070076392A KR1020060110338A KR20060110338A KR20070076392A KR 20070076392 A KR20070076392 A KR 20070076392A KR 1020060110338 A KR1020060110338 A KR 1020060110338A KR 20060110338 A KR20060110338 A KR 20060110338A KR 20070076392 A KR20070076392 A KR 20070076392A
- Authority
- KR
- South Korea
- Prior art keywords
- current block
- block
- predictor
- reference number
- neighboring
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
도 1은 본 발명을 적용한 다시점 영상(multi-view sequence) 부호화 및 복호화 시스템을 도시한 것이다.1 illustrates a multi-view sequence encoding and decoding system to which the present invention is applied.
도 2는 본 발명을 적용한 다시점 비디오 코딩에 있어서, 픽쳐들 간의 예측 구조의 한 예를 나타낸다. 2 shows an example of a prediction structure between pictures in multi-view video coding to which the present invention is applied.
도 3은 본 발명이 적용되는 일실시예로서, 현재 블록의 오프셋 값을 획득하는 과정을 설명하기 위한 도면을 나타낸다.3 is a diagram for describing a process of obtaining an offset value of a current block according to an embodiment to which the present invention is applied.
도 4는 본 발명이 적용되는 일실시예로서, 현재 블록에 대한 조명 보상을 수행하는 과정을 설명하기 위한 흐름도를 나타낸다.4 is a flowchart illustrating a process of performing lighting compensation on a current block according to an embodiment to which the present invention is applied.
도 5는 본 발명이 적용되는 일실시예로서, 현재 블록과 이웃 블록의 참조 번호 동일 여부에 기초하여 프리딕터를 획득하는 방법을 설명하기 위한 흐름도를 나타낸다.FIG. 5 is a flowchart illustrating a method of acquiring a predictor based on whether a current block and a neighboring block have the same reference number as an embodiment to which the present invention is applied.
도 6는 본 발명이 적용되는 일실시예로서, 현재 블록의 프리딕션 타입에 기초하여 조명 보상을 수행하는 방법을 설명하기 위한 흐름도를 나타낸다.6 is a flowchart illustrating a method of performing lighting compensation based on a prediction type of a current block according to an embodiment to which the present invention is applied.
도 7은 본 발명이 적용되는 일실시예로서, 해당 블록의 조명 보상 수행여부를 나타내는 플래그 정보를 이용하여 조명 보상을 수행하는 방법을 설명하기 위한 흐름도를 나타낸다.FIG. 7 is a flowchart illustrating a method of performing lighting compensation using flag information indicating whether lighting compensation is performed on a corresponding block according to an embodiment to which the present invention is applied.
도 8은 본 발명이 적용되는 일실시예로서, 현재 블록과 이웃 블록의 참조 번호 동일 여부에 기초하여 현재 블록의 플래그 정보를 예측하는 방법을 설명하기 위한 흐름도를 나타낸다.8 is a flowchart illustrating a method of predicting flag information of a current block based on whether a reference number of a current block and a neighboring block is the same as an embodiment to which the present invention is applied.
도 9는 본 발명이 적용되는 일실시예로서, 현재 블록이 2이상의 참조 블록을 이용하여 예측 코딩된 경우에 있어서 조명 보상을 수행하는 방법을 설명하기 위한 흐름도이다.9 is a flowchart illustrating a method of performing illumination compensation when a current block is predictively coded using two or more reference blocks according to an embodiment to which the present invention is applied.
본 발명은 비디오 신호의 디코딩/인코딩 방법 및 장치에 관한 기술이다.The present invention relates to a method and apparatus for decoding / encoding a video signal.
현재 주류를 이루고 있는 비디오 방송 영상물은 한 대의 카메라로 획득한 단일시점 영상이다. 반면, 다시점 비디오(Multi-view video)란 한 대 이상의 카메라를 통해 촬영된 영상들을 기하학적으로 교정하고 공간적인 합성 등을 통하여 여러 방향의 다양한 시점을 사용자에게 제공하는 3차원(3D) 영상처리의 한 분야이다. 다시점 비디오는 사용자에게 3차원 입체 영상, 또는 많은 시점의 영상을 제공할 수 있으며, 한대의 카메라를 이용하여 획득할 수 있는 영상 영역에 비해 큰 영역을 포함하는 특징을 지닌다. The mainstream video broadcasting image is a single view image acquired with one camera. Multi-view video, on the other hand, is a three-dimensional (3D) image processing method that geometrically corrects images taken by more than one camera and provides users with various viewpoints in various directions through spatial synthesis. It is a field. A multi-view video may provide a 3D stereoscopic image or an image of many viewpoints to a user, and has a feature that includes a larger area than an image area that can be acquired using a single camera.
상기에서 설명한 다시점 비디오(Multi-view video)의 각 시점 영상(view sequence)들은 각기 다른 카메라에서 취득된 영상들이기 때문에 카메라의 내외적 요인으로 인하여 조명 (illumination) 차이가 발생하게 된다. 예를 들어, 카메라의 이질성(camera heterogeneity), 카메라 측정(camera calibration)의 차이, 또는 카메라의 정렬 (camera alignment)의 차이 등이 원인이 된다. 이러한 조명 (illumination) 차이는 다른 시점(view)들 간의 상관도를 현저히 떨어뜨려 효과적인 부호화를 저해하므로, 이를 방지하기 위해서 조명 보상 부호화(illumination compensated coding) 기술이 필요하다. Since the view sequences of the multi-view video described above are images obtained from different cameras, illumination differences may occur due to internal and external factors of the camera. For example, a camera heterogeneity, a difference in camera calibration, or a camera alignment is caused. Since such illumination differences significantly reduce the correlation between different views, thereby inhibiting effective coding, an illumination compensated coding technique is required to prevent this.
본 발명의 목적은 블록 간 또는 시점 간의 상관관계를 효과적으로 이용하여 비디오 영상의 복호화 효율을 높이는데 있다.An object of the present invention is to increase the decoding efficiency of a video image by effectively utilizing the correlation between blocks or viewpoints.
본 발명의 목적은 다시점 영상에 있어서, 시점들 간의 조명 차이를 효율적으로 보상하고자 하는데 있다.An object of the present invention is to efficiently compensate for lighting differences between viewpoints in a multiview image.
본 발명의 목적은 비디오 영상 데이터에 대하여 효율적으로 디코딩하는 방법 및 장치를 제공하는데 있다.An object of the present invention is to provide a method and apparatus for efficiently decoding video image data.
상기 목적을 달성하기 위하여 본 발명은 현재 블록에 인접하는 이웃 블록의 오프셋 값을 이용하여 상기 현재 블록의 조명 보상을 위한 프리딕터(predictor)를 획득하는 단계와 상기 프리딕터를 이용하여 상기 현재 블록의 오프셋 값을 복원하는 단계를 포함하되, 상기 프리딕터는 현재 블록의 참조 번호와 상기 이웃 블록들의 참조 번호가 동일한지 여부에 따라 결정되는 것을 특징으로 하는 비디오 신호 디코딩 방법을 제공한다.In order to achieve the above object, the present invention obtains a predictor for lighting compensation of the current block by using an offset value of a neighboring block adjacent to the current block, and uses the predictor to Restoring an offset value, wherein the predictor is determined according to whether a reference number of a current block and a reference number of the neighboring blocks are the same.
또한, 본 발명은 현재 블록에 인접하는 이웃 블록의 오프셋 값을 이용하여 상기 현재 블록의 조명 보상을 위한 프리딕터(predictor)를 획득하는 단계와 상기 프리딕터를 이용하여 상기 현재 블록의 오프셋 값을 복원하는 단계를 포함하되, 상기 프리딕터는 현재 블록의 참조 번호와 상기 이웃 블록들의 참조 번호가 동일한지 여부에 따라 결정되고, 상기 이용되는 이웃 블록은 현재 블록의 프리딕션 타입에 따라 결정되는 것을 특징으로 하는 비디오 신호 디코딩 방법을 제공한다.In addition, the present invention obtains a predictor for lighting compensation of the current block using the offset value of the neighboring block adjacent to the current block and restores the offset value of the current block using the predictor. Wherein the predictor is determined according to whether a reference number of a current block and a reference number of the neighboring blocks are the same, and the neighboring block used is determined according to a prediction type of the current block. A video signal decoding method is provided.
또한, 본 발명은 현재 블록의 조명 평균값과 참조 블록의 조명 평균값의 차이를 나타내는 현재 블록의 오프셋 값을 복원하는 단계와 상기 현재 블록이 2이상의 참조 블록을 이용하여 예측 코딩된 경우, 상기 오프셋 값을 이용하여 상기 현재 블록의 각 참조 블록에 대한 오프셋 값들을 획득하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법을 제공한다.The present invention also provides a method of restoring an offset value of a current block representing a difference between an illumination average value of a current block and an illumination average value of a reference block, and when the current block is predictively coded using two or more reference blocks, And obtaining offset values for each reference block of the current block using the video signal decoding method.
상술한 목적 및 구성의 특징은 첨부된 도면과 관련하여 다음의 상세한 설명을 통하여 보다 명확해질 것이다. 이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들를 상세히 설명한다.The above objects and features of the construction will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우는 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다.In addition, the terms used in the present invention was selected as a general term widely used as possible now, but in some cases, the term is arbitrarily selected by the applicant, in which case the meaning is described in detail in the description of the invention, It is to be understood that the present invention is to be understood as the meaning of terms rather than the names of terms.
도 1은 본 발명을 적용한 다시점 영상(multi-view sequence) 부호화 및 복호 화 시스템을 도시한 것이다. 도 1에 도시된 바와 같이, 본 발명을 적용한 다시점 영상 부호화 시스템은, 다시점 영상 발생부(10), 전처리부(20, preprocessing part) 및 인코딩부(30, encoding part)를 포함하여 구성된다. 또한, 복호화 시스템은 익스트랙터(40, extractor), 디코딩부(50, decoding part), 후처리부(60, post processing part) 및 디스플레이부(70, display part)를 포함하여 구성된다.1 illustrates a multi-view sequence encoding and decoding system to which the present invention is applied. As shown in FIG. 1, the multiview image encoding system to which the present invention is applied includes a
상기 다시점 영상 발생부(10)는 다시점 개수 만큼의 영상 획득장치(예를 들어, 카메라 #1 ~ #N)를 구비하여, 각 시점별로 독립적인 영상을 획득하게 된다. 전처리부(20)는 다시점 영상 데이터가 입력되면, 노이즈 제거, 임발란싱(imbalancing) 문제를 해결하면서 전처리 과정을 통해 다시점 영상 데이터들 간의 상관도를 높여주는 기능을 수행한다. 인코딩부(30)는 움직임(motion) 추정부, 움직임 보상부 및 시점 간의 변이(disparity) 추정부, 변이 보상부, 조명(illumination) 보상부, 비트율 제어 및 차분(residual) 영상 부호화부 등을 포함한다. 상기 인코딩부(30)는 일반적으로 알려진 방식을 적용할 수 있다.The
본 발명이 적용되는 상기 인코딩부(30)의 조명 보상부는 MVC를 위한 조명 변화에 적응적인 움직임 보상을 수행한다. 현재 블록의 평균 화소값과 그에 대응하는 참조 블록의 평균 화소값을 구하여, 상기 두 평균 화소값의 차이를 획득하여 전송함으로써 효율적인 부호화를 수행할 수 있다. 이때 상기 현재 블록의 평균 화소값과 그에 대응하는 참조 블록의 평균 화소값과의 차이를 오프셋 값이라 한다. 상기 현재 블록의 오프셋 값을 전송함에 있어서, 코딩할 비트수를 더 감소시킬 필요가 있다. 예를 들어, 상기 현재 블록의 이웃 블록들을 이용하여 상기 현재 블록의 오 프셋 값의 프리딕터를 획득하고, 상기 오프셋 값과 상기 프리딕터와의 차이값을 획득하여 그 차이값만 전송할 수 있다. 위와 같은 과정을 수행할 때, 다른 시점의 픽쳐를 참조 픽쳐로 이용할 수 있는데, 이 때 픽쳐의 시점을 나타내는 시점 식별자가 이용될 수 있다.The lighting compensator of the
익스트랙터(40)는 전송된 MVC 비트스트림으로부터 원하는 시점(view)에 해당하는 비트스트림만 추출할 수 있는 기능을 한다. 상기 익스트랙터는 헤더를 보고 선택적으로 원하는 시점만 디코딩할 수 있다. 또한, 픽쳐의 시점을 구별하는 시점 식별자(view identifier)를 이용하여 원하는 시점에 해당하는 비트스트림만을 추출함으로써 시점 확장성(view scalability)을 구현할 수 있다. MVC는 H.264/AVC와 완벽하게 호환이 가능해야 하기 때문에 H.264/AVC와 호환 가능한 특정 시점(view)만 디코딩해야 할 필요가 있다. 이러한 경우, 호환 가능한 시점만 디코딩하기 위해 픽쳐의 시점을 구별하는 시점 식별자가 이용될 수 있다. 익스트랙터(40)를 통해 추출된 비트스트림은 디코딩부(50)로 전송된다. 디코딩부(50)는 움직임 보상부, 조명 보상부, 가중치 예측부, 디블록킹 필터부 등을 포함한다. 디코딩부(50)는 전술한 방식에 의해 부호화된 비트스트림을 수신한 후, 이를 역으로 복호화한다. The
본 발명이 적용되는 상기 디코딩부(50)의 조명 보상부는 MVC를 위한 조명 변화에 적응적인 움직임 보상을 수행한다. 따라서, 현재 블록을 복원하기 위해서는 현재 블록의 평균 화소값과 그에 대응하는 참조 블록의 평균 화소값 사이의 차이값인 현재 블록의 오프셋 값이 인코딩부(30)로부터 전송되어져야 한다. 상기 오프셋 값을 전송함에 있어서, 코딩할 비트수를 더 감소시키기 위한 방법의 일례로, 상기 현재 블록의 이웃 블록들을 이용하여 상기 현재 블록의 오프셋 값의 프리딕터를 획득하고, 상기 오프셋 값과 상기 프리딕터와의 차이값(residual)을 획득하여 그 차이값만 전송하였다. 따라서, 디코딩부(50)에서는 비디오 신호로부터 상기 현재 블록의 이웃 블록들의 플래그 정보 및 오프셋 값, 상기 현재 블록과 그 이웃 블록들의 해당 참조 블록들의 참조 번호 등을 추출하고, 이를 이용하여 상기 프리딕터를 획득할 수 있다. 그리고, 상기 오프셋 값과 상기 프리딕터와의 차이값(residual)을 획득하고, 상기 차이값과 상기 프리딕터를 이용하여 상기 현재 블록의 오프셋 값을 복원할 수 있다. 위와 같이 상기 프리딕터를 획득하는 과정을 수행할 때, 다른 시점의 픽쳐를 참조 픽쳐로 이용하는 경우, 픽쳐의 시점을 나타내는 시점 식별자가 이용될 수 있다.The lighting compensator of the
또한, 후처리부(60)는 디코딩된 데이터의 신뢰도 및 해상도를 높여주는 기능을 수행하게 된다. 마지막으로 디스플레이부(70)는 디스플레이의 기능, 특히 다시점 영상을 처리하는 능력에 따라 다양한 방식으로 사용자에게 디코딩된 데이터를 제공하게 된다. 예를 들어, 평면 2차원 영상만을 제공하는 2D 디스플레이(71)이거나, 2개의 시점을 입체 영상으로 제공하는 스테레오(stereo) 타입의 디스플레이(73)이거나 또는 M개의 시점(2<M)을 입체 영상으로 제공하는 디스플레이(75)일 수 있다.In addition, the
도 2는 본 발명을 적용한 다시점 비디오 코딩에 있어서, 픽쳐들 간의 예측 구조의 한 예를 나타낸다. 2 shows an example of a prediction structure between pictures in multi-view video coding to which the present invention is applied.
도 2에 나타난 바와 같이 가로축의 T0 ~ T100 은 각각 시간에 따른 프레임을 나타낸 것이고, 세로축의 S0 ~ S7은 각각 시점에 따른 프레임을 나타낸 것이다. 예를 들어, T0에 있는 픽쳐들은 같은 시간대(T0)에 서로 다른 카메라에서 찍은 영상들을 의미하며, S0 에 있는 픽쳐들은 한 대의 카메라에서 찍은 다른 시간대의 영상들을 의미한다. 또한, 도면 상의 화살표들은 각 픽쳐들의 예측 방향과 순서를 나타낸 것으로서, 예를 들어, T0 시간대의 S2 시점에 있는 P0 픽쳐는 I0로부터 예측된 픽쳐이며, 상기 P0 픽쳐는 TO 시간대의 S4 시점에 있는 또 다른 P0 픽쳐의 참조 픽쳐가 된다. 또한, S2 시점의 T4, T2 시간대에 있는 B1, B2 픽쳐의 참조 픽쳐가 된다.As shown in FIG. 2, T0 to T100 on the horizontal axis represent frames according to time, and S0 to S7 on the vertical axis represent frames according to viewpoints, respectively. For example, pictures in T0 refer to images taken by different cameras in the same time zone (T0), and pictures in S0 refer to images in different time zones taken by one camera. In addition, the arrows in the drawing indicate the prediction direction and the order of each picture. For example, a P0 picture at S2 time point in the T0 time zone is a picture predicted from I0, and the P0 picture is also at S4 time point in the TO time zone. It becomes a reference picture of another P0 picture. It is also a reference picture of the B1 and B2 pictures in the T4 and T2 time zones at the time S2.
본 발명이 적용되는 조명 보상은 예를 들어, 움직임 추정(motion estimation), 또는 움직임 보상(motion compensation)을 수행하는 과정에서 적용될 수 있는데, 현재 블록이 다른 시점에 있는 참조 블록을 이용하여 조명 보상이 수행될 때 상기 예측 구조가 적용될 수 있다.The lighting compensation to which the present invention is applied may be applied, for example, in the process of performing motion estimation or motion compensation, and the lighting compensation may be applied using a reference block at which the current block is different. The prediction structure may be applied when performed.
도 3은 본 발명이 적용되는 일실시예로서, 현재 블록의 오프셋 값을 획득하는 과정을 설명하기 위한 도면을 나타낸다.3 is a diagram for describing a process of obtaining an offset value of a current block according to an embodiment to which the present invention is applied.
조명 보상은 움직임 추정(motion estimation) 과정에서 수행될 수 있다. 현재 블록과 후보 참조 블록(candidate reference block)의 유사성을 비교할 때 양 블록 사이의 조명 차이를 고려하여야 한다. 상기 조명 차이를 보상하기 위하여 새로운 움직임 추정/움직임 보상(motion compensation)이 수행된다. 새로운 SAD는 아래 수학식 2를 이용하여 구할 수 있다.Illumination compensation may be performed in a motion estimation process. When comparing the similarity between the current block and the candidate reference block, the lighting difference between the two blocks should be considered. New motion estimation / motion compensation is performed to compensate for the illumination difference. The new SAD can be obtained using
여기서, Mc 는 현재 블록의 평균 화소값을 나타내고, Mr 은 참조 블록의 평균 화소값을 나타낸다. Ic(x,y) 는 현재 블록의 (x,y)좌표에서의 화소값을 나타내고, Ir(x+△x, y+△y) 는 참조 블록의 움직임 벡터 (△x,△y)일 때의 화소값을 나타낸다. 상기 수학식 1의 새로운 SAD에 기초하여 움직임 추정을 수행함으로써 상기 현재 블록과 상기 참조 블록 사이의 평균 화소값 차이가 획득될 수 있다. 상기 획득된 평균 화소값 차이를 오프셋 값(IC_offset)이라 한다.Here, M c represents an average pixel value of the current block and M r represents an average pixel value of the reference block. I c (x, y) represents the pixel value at the (x, y) coordinate of the current block, and I r (x + Δx, y + Δy) is the motion vector (Δx, Δy) of the reference block. Indicates a pixel value. By performing motion estimation based on the new SAD of
조명 보상이 적용된 움직임 추정이 수행되는 경우, 오프셋 값과 움직임 벡터가 구해지고 조명 보상은 상기 오프셋 값과 상기 움직임 벡터를 이용하여 수학식 3과 같이 수행된다.When motion estimation with illumination compensation is performed, an offset value and a motion vector are obtained, and illumination compensation is performed using Equation 3 using the offset value and the motion vector.
여기서, R(x,y)는 조명 보상이 수행된 오차값(residual)을 나타낸다.Here, R (x, y) represents an error value in which illumination compensation is performed.
오프셋 값(IC_offset = Mc - Mr)은 디코딩부(50)로 전송되어야 한다. 디코딩부(50)에서의 조명 보상은 다음과 같이 수행된다.Offset value (IC_offset = M c M r ) should be transmitted to the
R'(x,y)는 복원된, 조명 보상이 수행된 오차값(residual)을 나타내고, I'c(x,y)는 복원된 현재 블록의 화소값을 나타낸다.R '(x, y) denotes a two restored, the illumination compensation values to perform the error (residual), I' c ( x, y) represents the pixel value of the restored current block.
현재 블록을 복원하기 위해서는 오프셋 값이 디코딩부(50)에 전송되어야 하고, 상기 오프셋 값은 이웃 블록들의 정보로부터 예측될 수 있다. 상기 오프셋 값을 코딩할 비트수를 더 감소시키기 위하여, 현재 블록의 오프셋 값(IC_offset)과 이웃 블록의 오프셋 값(IC_offset_pred)과의 차이값(RIC_offset)만 보낼 수 있다. 이는 아래 수학식 5와 같다.In order to recover the current block, an offset value must be transmitted to the
도 4는 본 발명이 적용되는 일실시예로서, 현재 블록에 대한 조명 보상을 수행하는 과정을 설명하기 위한 흐름도를 나타낸다.4 is a flowchart illustrating a process of performing lighting compensation on a current block according to an embodiment to which the present invention is applied.
현재 블록의 조명 보상 플래그가 0 인 경우에는 현재 블록에 대한 조명 보상이 수행되지 않는다. 플래그가 1인 경우에 현재 블록의 오프셋 값을 복원하는 과정이 수행된다. 이 때, 현재 블록의 프리딕터를 획득함에 있어서, 이웃 블록의 정보 를 이용할 수 있다. 먼저 현재 블록의 참조 번호와 이웃 블록의 참조 번호가 동일한지 여부를 판단한다(S410). 상기 판단 결과에 기초하여 현재 블록의 조명 보상을 위한 프리딕터를 획득한다(S420). 상기 획득된 프리딕터를 이용하여 현재 블록의 오프셋 값을 복원한다(S430). 여기서, 상기 현재 블록의 참조 번호와 이웃 블록의 참조 번호가 동일한지 여부를 판단하고, 그 판단 결과에 기초하여 프리딕터를 획득하는 단계에 대해서 보다 상세히 살펴볼 필요가 있다. 이에 대해서는 도 5에서 설명하도록 한다.When the lighting compensation flag of the current block is 0, lighting compensation for the current block is not performed. If the flag is 1, a process of restoring the offset value of the current block is performed. At this time, in obtaining the predictor of the current block, information of the neighboring block may be used. First, it is determined whether the reference number of the current block is the same as that of the neighboring block (S410). The predictor for lighting compensation of the current block is obtained based on the determination result (S420). The offset value of the current block is restored using the obtained predictor (S430). Here, it is necessary to examine in more detail the step of determining whether the reference number of the current block is the same as the reference number of the neighboring block and obtaining the predictor based on the determination result. This will be described with reference to FIG. 5.
도 5는 본 발명이 적용되는 일실시예로서, 현재 블록과 이웃 블록의 참조 번호 동일 여부에 기초하여 프리딕터를 획득하는 방법을 설명하기 위한 흐름도를 나타낸다.FIG. 5 is a flowchart illustrating a method of acquiring a predictor based on whether a current block and a neighboring block have the same reference number as an embodiment to which the present invention is applied.
디코딩부(50)에서는 조명 보상을 수행하기 위하여 비디오 신호로부터 현재 블록의 이웃 블록들의 플래그 정보 및 오프셋 값, 상기 현재 블록과 그 이웃 블록들의 해당 참조 블록들의 참조 번호 등을 추출하고, 이러한 정보들을 이용하여 현재 블록의 프리딕터를 획득할 수 있다. 그리고, 현재 블록의 오프셋 값과 상기 프리딕터 사이의 차이값(residual)을 획득하고, 상기 획득된 차이값과 상기 프리딕터를 이용하여 상기 현재 블록의 오프셋 값을 복원할 수 있다. 이때, 현재 블록의 프리딕터를 획득함에 있어서, 이웃 블록의 정보를 이용할 수 있다. 예를 들어, 상기 이웃 블록의 오프셋 값을 이용하여 상기 현재 블록의 오프셋 값을 예측할 수 있는데, 이에 앞서 현재 블록의 참조 번호(reference index)와 상기 이웃 블록의 참조 번호가 동일한지 여부를 확인하고, 그 확인 결과에 따라 어떤 이웃 블록을 이용할 지, 또는 어떤 값을 이용할지가 결정될 수 있다. 또한, 상기 이웃 블록의 플래그 정보가 참인지 여부를 확인하고, 그 확인 결과에 따라 상기 이웃 블록을 이용할지를 결정할 수 있다.In order to perform lighting compensation, the
그 구체적 실시예로, 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 존재하는지 여부를 판단한다(S510). 상기 판단 결과, 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 1개만 존재하는 경우, 상기 참조 번호가 동일한 이웃 블록의 오프셋 값을 현재 블록의 프리딕터에 할당하게 된다(S520). 상기 S510 단계의 판단 결과에 따라 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 2개 존재하는 경우에는 동일한 참조 번호를 가지는 2개의 이웃 블록들의 오프셋 값들의 평균값이 현재 블록의 프리딕터에 할당된다(S530). 또한, 상기 S510 단계의 판단 결과에 따라 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 3개 존재하는 경우에는 동일한 참조 번호를 가지는 3개의 이웃 블록들의 오프셋 값들의 중간값(Median)이 현재 블록의 프리딕터에 할당된다(S540). 또한, 상기 S510 단계의 판단 결과에 따라 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 존재하지 않는 경우, 현재 블록의 프리딕터는 "0"으로 할당된다(S550). 위의 참조 번호의 동일성을 확인하는 과정(S510)에서 해당 이웃 블록의 플래그가 1인지 여부를 확인하는 조건을 포함할 수 있다.In a specific embodiment, it is determined whether a neighboring block having the same reference number as the reference number of the current block exists (S510). As a result of the determination, when only one neighboring block having the same reference number as the reference number of the current block exists, the offset value of the neighboring block having the same reference number is allocated to the predictor of the current block (S520). When two neighboring blocks having the same reference number as the reference number of the current block exist according to the determination result of step S510, an average value of offset values of two neighboring blocks having the same reference number is assigned to the predictor of the current block. (S530). In addition, when there are three neighboring blocks having the same reference number as the reference number of the current block according to the determination result of step S510, the median of the offset values of the three neighboring blocks having the same reference number is present. It is assigned to the predictor of the block (S540). In addition, when there is no neighbor block having the same reference number as the reference number of the current block according to the determination result of step S510, the predictor of the current block is allocated to "0" (S550). In the process of checking the sameness of the above reference number (S510), it may include a condition of checking whether the flag of the corresponding neighboring block is 1.
또 다른 실시예로서, 이웃 블록이 현재 블록의 참조 번호와 동일한 참조 번호를 가지는지 여부를 확인하고, 상기 이웃 블록의 플래그가 1인지를 확인한다. 상 기 두가지 조건이 모두 만족되는 이웃 블록이 있으면, 그 이웃 블록의 오프셋 값을 프리딕터로 할 수 있다. 이때, 이웃 블록을 체크하는 순서는 좌측, 상단, 상우측, 상좌측 순으로 할 수도 있고, 상단, 좌측, 상우측, 상좌측 순으로 할 수도 있다. 상기 두가지 조건이 모두 만족되는 이웃 블록이 없는 경우에는, 좌측, 상단, 상우측(또는 상좌측)의 세 이웃블록의 플래그가 1이면, 세 블록의 오프셋 값의 중간값(median)을 프리딕터로 하고, 이 또한 만족하지 않으면, 현재 블록의 프리딕터는 "0"으로 할당될 수 있다.As another embodiment, it is checked whether the neighboring block has the same reference number as that of the current block, and whether the flag of the neighboring block is 1 is checked. If there is a neighboring block that satisfies both conditions, the offset value of the neighboring block can be used as a predictor. In this case, the order of checking the neighboring blocks may be in the order of left, top, top right, and top left, or in order of top, left, top right, and top left. If there are no neighboring blocks that satisfy both of the above conditions, if the flag of the three neighboring blocks of the left, upper, upper right (or upper left) is 1, the median of the offset values of the three blocks is set as a predictor. If this is also not satisfied, the predicate of the current block may be assigned to "0".
도 6는 본 발명이 적용되는 일실시예로서, 현재 블록의 프리딕션 타입에 기초하여 조명 보상을 수행하는 방법을 설명하기 위한 흐름도를 나타낸다.6 is a flowchart illustrating a method of performing lighting compensation based on a prediction type of a current block according to an embodiment to which the present invention is applied.
현재 블록의 프리딕션 타입에 따라 참조하는 이웃 블록이 달라질 수 있다. 예를 들어, 현재 블록과 이웃 블록의 형상이 동일한 경우에는 현재 블록은 이웃 블록들의 중간값(Median)을 이용하여 예측을 수행한다. 그러나, 그 형상이 다른 경우에는 다른 방법이 적용된다. 예를 들어, 현재 블록의 좌측에 있는 블록이 여러 블록으로 나뉘어져 있을 경우 그 중 가장 상단에 위치한 블록을 예측에 사용한다. 또는 현재 블록의 상단에 있는 블록이 여러 개로 나뉘어져 있을 경우 그 중 가장 좌측에 위치한 블록을 예측에 사용한다. 이와 같이 현재 블록의 프리딕션 타입이 어느 이웃 블록을 사용할 것인지에 따라 그 예측값이 달라질 수 있다. 따라서, 본 발명의 일실시예에서는 먼저 현재 블록의 프리딕션 타입에 따라 참조하는 이웃 블록을 결정한다(S610). 상기 결정된 이웃 블록의 참조 번호와 상기 현재 블록의 참조 번호가 동일한지 여부를 판단한다(S620). 여기서, 위의 참조 번호의 동일여부를 확 인하는 과정(S620)에서 해당 이웃 블록의 플래그가 1인지 여부를 확인하는 조건도 포함할 수 있다. 상기 판단 결과에 기초하여 현재 블록의 조명 보상을 위한 프리딕터를 획득한다(S630). 상기 획득된 프리딕터를 이용하여 현재 블록의 오프셋 값을 복원함으로써 조명 보상을 수행할 수 있다(S640). 여기서, 상기 S620 단계의 결과에 기초하여 S630 단계를 수행하는 과정에 대하여 구체적 실시예를 들어 설명하도록 한다. 이 부분에 대한 구체적 실시예들은 상기 도 5에서 설명한 방식과 유사한 방식으로 적용될 수 있다.The neighboring block referred to may vary according to the prediction type of the current block. For example, when the shape of the current block and the neighboring block is the same, the current block performs prediction by using the median of the neighboring blocks. However, when the shape is different, another method is applied. For example, if a block on the left side of the current block is divided into several blocks, the block located at the top of the block is used for prediction. Or, if the block at the top of the current block is divided into several, the leftmost block among them is used for prediction. As such, the prediction value may vary depending on which neighboring block the prediction type of the current block uses. Therefore, in an embodiment of the present invention, first, the neighboring block to be referred is determined according to the prediction type of the current block (S610). It is determined whether a reference number of the determined neighboring block and a reference number of the current block are the same (S620). Here, the process of checking whether the same reference number is the same may include a condition of checking whether the flag of the corresponding neighboring block is 1. The predictor for lighting compensation of the current block is obtained based on the determination result (S630). Lighting compensation may be performed by restoring the offset value of the current block by using the obtained predictor (S640). Here, the process of performing the step S630 based on the result of the step S620 will be described with reference to a specific embodiment. Specific embodiments of this part may be applied in a manner similar to that described with reference to FIG. 5.
예를 들어, 현재 블록의 프리딕션 타입이 현재 블록의 좌측 블록을 참조하여 예측을 수행하는 경우라면, 상기 현재 블록의 좌측 블록의 참조 번호가 상기 현재 블록의 참조 번호와 동일한지 여부를 판단한다. 상기 판단 결과, 참조 번호가 동일한 경우 상기 좌측 블록의 오프셋 값을 현재 블록의 프리딕터에 할당한다. 또한, 현재 블록의 프리딕션 타입이 현재 블록의 좌측 블록과 상단 블록 2개를 참조하여 예측을 수행하는 경우, 또는 현재 블록의 좌측 블록과 상단 블록, 그리고 우측 상단 블록 3개를 참조하는 경우 등 각각의 경우는 상기 도 5에서 설명한 방식과 동일하게 적용된다.For example, when the prediction type of the current block performs prediction by referring to the left block of the current block, it is determined whether the reference number of the left block of the current block is the same as the reference number of the current block. As a result of the determination, when the reference numbers are the same, the offset value of the left block is allocated to the predictor of the current block. In addition, when the prediction type of the current block performs prediction by referring to the left block and the top two blocks of the current block, or the left block and the top block and the top right block of the current block, respectively. Is applied in the same manner as described above with reference to FIG. 5.
도 7은 본 발명이 적용되는 일실시예로서, 해당 블록의 조명 보상 수행여부를 나타내는 플래그 정보를 이용하여 조명 보상을 수행하는 방법을 설명하기 위한 흐름도를 나타낸다.FIG. 7 is a flowchart illustrating a method of performing lighting compensation using flag information indicating whether lighting compensation is performed on a corresponding block according to an embodiment to which the present invention is applied.
본 발명의 다른 실시예로, 현재 블록의 오프셋 값을 복원할 때, 상기 현재 블록의 조명 보상 수행 여부를 나타내는 플래그 정보(IC_flag)도 이용할 수 있다. 또는 상기 도 5에서 설명했던 참조 번호를 확인하는 방법과 플래그 정보를 예측하는 방법 모두를 이용하여 상기 프리딕터를 획득할 수도 있다. 먼저 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 존재하는지 여부를 판단한다(S710). 상기 판단 결과에 기초하여 현재 블록의 조명 보상을 위한 프리딕터를 획득한다. 이때 이웃 블록의 플래그가 1인지 여부를 판단 기준으로 포함할 수 있다(S720). 또한 상기 판단 결과에 기초하여 현재 블록의 플래그 정보를 예측한다(S730). 상기 획득된 프리딕터와 상기 예측된 플래그 정보를 이용하여 현재 블록의 오프셋 값을 복원함으로써 조명 보상을 수행할 수 있게 된다(S740). 여기서, 상기 S720 단계는 상기 도 5에서 설명한 방식과 동일하게 적용될 수 있다. 그리고 상기 S730 단계는 이하 도 8에서 상세하게 설명하도록 한다.In another embodiment of the present invention, when restoring the offset value of the current block, flag information IC_flag indicating whether the current block performs lighting compensation may also be used. Alternatively, the predictor may be obtained using both the method of confirming the reference number described with reference to FIG. 5 and the method of predicting flag information. First, it is determined whether a neighboring block having the same reference number as the reference number of the current block exists (S710). The predictor for lighting compensation of the current block is obtained based on the determination result. In this case, whether the flag of the neighboring block is 1 may be included as a criterion of determination (S720). In addition, the flag information of the current block is predicted based on the determination result (S730). Lighting compensation may be performed by restoring the offset value of the current block by using the obtained predictor and the predicted flag information (S740). Here, step S720 may be applied in the same manner as described with reference to FIG. 5. The step S730 will be described in detail later with reference to FIG. 8.
도 8은 본 발명이 적용되는 일실시예로서, 현재 블록과 이웃 블록의 참조 번호 동일 여부에 기초하여 현재 블록의 플래그 정보를 예측하는 방법을 설명하기 위한 흐름도를 나타낸다.8 is a flowchart illustrating a method of predicting flag information of a current block based on whether a reference number of a current block and a neighboring block is the same as an embodiment to which the present invention is applied.
본 발명의 일실시예에서는, 먼저 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 존재하는지 여부를 판단한다(S810). 상기 판단 결과, 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 1개만 존재하는 경우, 상기 참조 번호가 동일한 이웃 블록의 플래그 정보로부터 현재 블록의 플래그 정보를 예측한다(S820). 상기 S810 단계의 판단 결과에 따라 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 2개 존재하는 경우에는 동일한 참조 번호를 가지는 2개의 이웃 블록들의 플래그 정보 중 어느 하나의 플래그 정보로부터 현재 블록의 플래그 정보를 예측한다(S830). 또한, 상기 S810 단계의 판단 결과에 따라 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 3개 존재하는 경우에는 동일한 참조 번호를 가지는 3개의 이웃 블록들의 플래그 정보 중 중간값(Median)으로부터 현재 블록의 플래그 정보를 예측한다(S840). 또한, 상기 S810 단계의 판단 결과에 따라 현재 블록의 참조 번호와 동일한 참조 번호를 가지는 이웃 블록이 존재하지 않는 경우, 현재 블록의 플래그 정보 예측은 수행하지 않는다(S850). In an embodiment of the present invention, first, it is determined whether a neighboring block having the same reference number as the reference number of the current block exists (S810). As a result of the determination, when only one neighboring block having the same reference number as the reference number of the current block exists, the flag information of the current block is predicted from the flag information of the neighboring block having the same reference number (S820). When there are two neighboring blocks having the same reference number as the reference number of the current block according to the determination result of step S810, the information on the current block may be determined from one of flag information of two neighboring blocks having the same reference number. The flag information is predicted (S830). In addition, when there are three neighboring blocks having the same reference number as the reference number of the current block according to the determination result of step S810, the current value is determined from the median value of the flag information of the three neighboring blocks having the same reference number. The flag information of the block is predicted (S840). In addition, when there is no neighbor block having the same reference number as the reference number of the current block according to the determination result of step S810, flag information prediction of the current block is not performed (S850).
도 9는 본 발명이 적용되는 일실시예로서, 현재 블록이 2개의 참조 블록을 이용하여 예측 코딩된 경우에 있어서 조명 보상을 수행하는 방법을 설명하기 위한 흐름도이다.9 is a flowchart illustrating a method of performing lighting compensation when a current block is predictively coded using two reference blocks according to an embodiment to which the present invention is applied.
조명 보상을 수행함에 있어서, 현재 블록이 2개의 참조 블록을 이용하여 예측 코딩된 경우에는 디코더에서 각 참조 블록에 대응되는 오프셋 값을 직접적으로 알 수 없게 된다. 왜냐하면, 현재 블록의 오프셋 값을 획득할 때, 상기 2개의 참조 블록을 평균한 화소값을 이용하였기 때문이다. 따라서, 본 발명의 일실시예에서는 각 참조 블록마다 대응되는 오프셋 값을 획득하여 보다 정확한 예측을 가능하게 할 수 있다. 먼저, 현재 블록의 프리딕터와 오차값을 이용하여 현재 블록의 오프셋 값을 복원한다(S910). 현재 블록이 2개의 참조 블록을 이용하여 예측 코딩된 경우, 상기 오프셋 값을 이용하여 각 참조 블록에 대응하는 오프셋 값을 획득한다(S920). 이는 아래 수학식 6과 같다.In performing illumination compensation, when the current block is predictively coded using two reference blocks, the decoder cannot directly know an offset value corresponding to each reference block. This is because, when the offset value of the current block is obtained, the pixel value obtained by averaging the two reference blocks is used. Therefore, in an embodiment of the present invention, an offset value corresponding to each reference block may be obtained to enable more accurate prediction. First, the offset value of the current block is restored using the predictor and the error value of the current block (S910). When the current block is predictively coded using two reference blocks, an offset value corresponding to each reference block is obtained using the offset value (S920). This is shown in Equation 6 below.
IC_OffsetL0 = 
IC_OffsetL1 = 
여기서, mc 는 현재 블록의 평균 화소값을 나타내고, mr ,1 , mr ,2는 각각 참조 블록의 평균 화소값을 나타낸다. w1 , w2 는 쌍방향 예측 코딩(bi-predictive coding)시의 가중치 계수를 나타낸다. 이러한 방법으로 조명 보상을 수행하게 되는 경우, 각 참조 블록에 대응하는 정확한 오프셋 값을 별도로 획득하여 이용할 수 있게 되므로 보다 정확한 예측 코딩을 할 수 있게 된다.Here, m c represents the average pixel value of the current block, and m r , 1 , m r , 2 represent the average pixel value of the reference block, respectively. w 1 and w 2 represent weight coefficients in bi-predictive coding. When the illumination compensation is performed in this manner, the accurate offset value corresponding to each reference block can be obtained and used separately, thereby enabling more accurate predictive coding.
상기 현재 블록의 오프셋 값을 복원할 때(S920), 복원된 오프셋 차이값(residual)과 프리딕터 값을 더하여 오프셋 값을 구할 수 있다. 이때, List 0, List 1 각각에 대한 프리딕터를 구하고, 이들을 조합하여 현재블록의 오프셋 값을 복원할 때 필요한 프리딕터 값을 구할 수 있다.When restoring the offset value of the current block (S920), the offset value may be obtained by adding the restored offset difference value and the predictor value. At this time, a predictor for each of List 0 and
또 다른 실시예로서, 본 발명은 스킵 매크로블록의 경우에도 적용될 수 있다. 본 실시예에서는 예측이 조명 보상에 관한 정보를 획득하기 위하여 수행된다. 조명 보상 수행 여부를 나타내는 플래그 정보는 주변 블록에서 예측된 값을 쓸 수 있고, 현재 블록의 오프셋 값은 주변 블록에서 예측된 오프셋 값을 쓸 수 있다. 예를 들어, 플래그 정보가 참이라면 오프셋 값은 참조 블록에 더해지게 된다. 구체적예로서, P-Skip 모드가 적용되는 매크로블록의 경우, 좌측과 상단의 이웃 블록들의 플래그와 오프셋 값을 이용해서 예측하여 상기 매크로블록의 플래그와 오프셋 값을 구할 수 있다. 한개의 블록만 플래그가 1이라면 상기 현재 블록의 플래그와 오프셋 값은 상기 블록의 플래그와 오프셋값으로 설정될 수 있다. 두개의 블록이 모두 플래그 1을 가지면, 상기 현재 블록의 플래그는 1이 되고, 오프셋 값은 두 이웃 블록의 오프셋값의 평균값으로 설정될 수 있다.As another embodiment, the present invention may be applied to a skip macroblock. In this embodiment, prediction is performed to obtain information regarding lighting compensation. The flag information indicating whether the lighting compensation is performed may use a value predicted in the neighboring block, and the offset value of the current block may use an offset value predicted in the neighboring block. For example, if the flag information is true, the offset value is added to the reference block. As a specific example, in the case of the macroblock to which the P-Skip mode is applied, the flag and the offset value of the macroblock may be obtained by predicting using the flags and the offset values of the left and upper neighboring blocks. If only one block flag is 1, the flag and offset value of the current block may be set to the flag and offset value of the block. If both blocks have the
또 다른 실시예로서, 본 발명은 직접 예측 모드(예를 들어, Direct, B-Skip 모드)에도 적용될 수 있다. 본 실시예에서는 예측이 조명 보상에 관한 정보를 획득하기 위하여 수행된다. 상기의 다양한 플래그, 오프셋 예측 방법들을 적용해서 각각의 프리딕터를 구할 수 있다. 이 값을 현재 블록의 실제 플래그, 오프셋 값으로 설정할 수 있다. 각 블록이 한쌍의 플래그, 오프셋 정보만을 갖고 있다면, 각각에 대해서 하나씩의 예측값을 구하면 된다. 이때 참조블록이 2개인 경우, 참조 번호 체크를 할 경우에는 상기 현재 블록과 이웃 블록의 각 참조 번호가 모두 일치하는 지를 체크한다. 또한, 각 참조블록에 대해서 각각의 오프셋 값을 가지고 있는 경우에는 예측된 제 1 플래그 정보와 예측된 제 1 오프셋 값, 예측된 제 2 플래그 정보와 예측된 제 2 오프셋 값이 획득될 수 있다. 이 경우, 플래그 정보는 주변 블록에서 예측된 값을 쓸 수 있고, 2개의 참조 블록의 오프셋 값은 각각 상기 예측된 제 1 오프셋 값과 제 2 오프셋 값을 쓸 수 있다. 여기서 현재 블록의 오프셋 값은 각 참조 블록의 오프셋 값의 평균값을 쓸 수 있다.As another embodiment, the present invention may be applied to a direct prediction mode (eg, Direct, B-Skip mode). In this embodiment, prediction is performed to obtain information regarding lighting compensation. Each of the predictors can be obtained by applying the various flag and offset prediction methods described above. You can set this value to the actual flag and offset value of the current block. If each block has only a pair of flag and offset information, one prediction value for each block may be obtained. In this case, when there are two reference blocks, when the reference number is checked, it is checked whether each reference number of the current block and the neighboring block is identical. In addition, when each reference block has an offset value, the predicted first flag information, the predicted first offset value, the predicted second flag information, and the predicted second offset value may be obtained. In this case, the flag information may write a predicted value in the neighboring block, and the offset values of the two reference blocks may write the predicted first offset value and the second offset value, respectively. Here, the offset value of the current block may use an average value of the offset values of each reference block.
직접 예측 모드와 스킵 매크로블록의 경우 플래그 정보를 부호화/복호화할 수도 있다. 즉, 플래그 값에 따라 오프셋 값이 더해질 수도 있고, 그렇지 않을 수 도 있다. 또한, 오프셋 값과 예측된 오프셋 값 사이의 오차값을 부호화/복호화할 수도 있다. 이 경우 좀더 정확하게 복원될 수 있으며, RD측면에서 최적인 것을 선택하도록 할 수도 있다. 또한, 본 명세서에서 설명한 예측 과정에서 참조 픽쳐가 이용가능하지 않은 경우, 즉 참조 픽쳐 번호가 1보다 작은 경우는 플래그 정보 또는 예측된 플래그 정보가 거짓이 될 수 있고, 오프셋 값 또는 예측된 오프셋 값은 0으로 설정될 수 있다.In the case of the direct prediction mode and the skip macroblock, flag information may be encoded / decoded. That is, the offset value may or may not be added according to the flag value. In addition, an error value between the offset value and the predicted offset value may be encoded / decoded. In this case, it can be restored more accurately, and it is possible to select the optimal one in terms of RD. In addition, when the reference picture is not available in the prediction process described herein, that is, when the reference picture number is less than 1, the flag information or the predicted flag information may be false, and the offset value or the predicted offset value may be It can be set to zero.
또 다른 실시예로서, 본 발명은 엔트로피 코딩에도 적용될 수 있다. 플래그 정보에 대해서는 이웃 블록(예를 들어, 현재 블록의 좌측 블록과 상위 블록)의 플래그 값에 따라 3개의 컨텍스트를 생각할 수 있다. 플래그 값이 참일 경우는 1, 거짓일 경우는 0으로 변환하면 각 경우에 대해서 두 값을 합하면 3가지 경우가 나온다. 이러한 3개의 컨텍스트를 이용하여 플래그 정보를 부호화/복호화한다. 오프셋의 예측 오차값에 대해서는 예를 들어, 변환 계수 레벨 코딩(transform coefficient levels coding)에서와 같은 방법을 사용할 수 있다. 즉 UEG0로 이진화가 수행되고 최초 빈(first bin) 값에 대해서 컨텍스트 모델 하나, 유너리 프리픽스 파트(unary prefix part)의 나머지 빈(bin) 값들에 대해서 컨텍스트 모델 하나 적용할 수 있다. 사인 비트(sign bit)는 바이패스 모드(bypass mode)로 부호화/복호화될 수 있다. 플래그 정보에 대해서 다른 실시예로서, 예측된 플래그 정보의 값에 따라 2개의 컨텍스트를 생각할 수 있으며 이를 이용해서 부호화/복호화할 수 있다.As another embodiment, the present invention may be applied to entropy coding. Regarding the flag information, three contexts can be considered according to the flag value of the neighboring block (for example, the left block and the upper block of the current block). If the flag value is true, it is converted to 1, and if it is false, it is converted to 0. Flag information is encoded / decoded using these three contexts. For the prediction error value of the offset, the same method as in transform coefficient levels coding can be used, for example. That is, binarization may be performed to UEG0, and one context model may be applied to the first bin value and one context model may be applied to the remaining bin values of the unary prefix part. The sign bit may be encoded / decoded in a bypass mode. As another embodiment of the flag information, two contexts may be considered according to the predicted value of the flag information and may be encoded / decoded using the context.
본 명세서에서 설명한 기술은 매크로블록 단위로 적용이 용이할 수 있지만, 더 작은 블록들에 대해서도 적용가능할 수 있다.The technique described herein may be easy to apply on a macroblock basis, but may also be applicable to smaller blocks.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.Those skilled in the art to which the present invention pertains will understand that the present invention can be implemented in other specific forms without changing the technical spirit or essential features.
그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Therefore, it is to be understood that the embodiments described above are exemplary in all respects and not restrictive. The scope of the present invention is shown by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. do.
다시점 비디오의 각 시점 영상들은 카메라의 내외적 요인으로 인하여 조명 차이가 발생하게 된다. 이러한 조명 차이는 다른 시점들 간의 상관도를 현저히 떨어뜨려 효과적인 부호화를 저해하게 된다. 따라서, 본 발명에서는 현재 블록의 오프셋 값을 이웃 블록의 정보를 이용하여 예측하고 그 차이값만을 전송함으로써, 조명 보상을 위해서 전송해야 하는 정보를 최소화할 수 있다. 또한, 상기 현재 블록의 오프셋 값을 예측할 때, 현재 블록과 이웃 블록의 참조 번호가 동일한지 여부를 확인함으로써 보다 정확한 예측을 수행할 수 있게 된다. 그리고, 현재 블록의 조명 보상 수행 여부를 나타내는 플래그 정보도 예측하여 그 차이값만을 전송함으로써 전송해야 하는 정보를 최소화할 수 있고, 마찬가지로 현재 블록과 이웃 블록의 참조 번호가 동일한지 여부도 확인함으로써 보다 정확한 예측을 수행할 수 있게 된 다. 상기와 같은 본 발명을 통해, 블록 간 또는 시점 간의 상관관계를 이용함으로써 효율적인 코딩이 가능해진다. Each viewpoint image of the multi-view video is caused by a difference in illumination due to internal and external factors of the camera. This illumination difference significantly reduces the correlation between different viewpoints, which hinders effective encoding. Therefore, in the present invention, by predicting the offset value of the current block using the information of the neighboring block and transmitting only the difference value, it is possible to minimize the information to be transmitted for lighting compensation. In addition, when predicting the offset value of the current block, it is possible to perform a more accurate prediction by checking whether the reference number of the current block and the neighboring block is the same. In addition, it is possible to minimize the information to be transmitted by predicting flag information indicating whether the current block performs lighting compensation and transmitting only the difference value, and likewise, by checking whether the reference number of the current block and the neighboring block are the same, Predictions can be made. Through the present invention as described above, efficient coding is enabled by using correlations between blocks or viewpoints.
Claims (14)
Priority Applications (32)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020097017208A KR100934676B1 (en) | 2006-01-12 | 2007-01-12 | Processing multiview video |
| US11/622,618 US7817866B2 (en) | 2006-01-12 | 2007-01-12 | Processing multiview video |
| KR20087019747A KR100953646B1 (en) | 2006-01-12 | 2007-01-12 | Method and apparatus for processing multiview video |
| PCT/KR2007/000226 WO2007081177A1 (en) | 2006-01-12 | 2007-01-12 | Processing multiview video |
| US11/622,709 US8154585B2 (en) | 2006-01-12 | 2007-01-12 | Processing multiview video |
| KR1020097017209A KR100943914B1 (en) | 2006-01-12 | 2007-01-12 | Method and apparatus for processing multiview video |
| JP2008550241A JP5192393B2 (en) | 2006-01-12 | 2007-01-12 | Multi-view video processing |
| KR1020087019748A KR101276847B1 (en) | 2006-01-12 | 2007-01-12 | Processing multiview video |
| JP2008550242A JP5199123B2 (en) | 2006-01-12 | 2007-01-12 | Multi-view video processing |
| KR1020087019746A KR100947234B1 (en) | 2006-01-12 | 2007-01-12 | Method and apparatus for processing multiview video |
| DE200720019463 DE202007019463U1 (en) | 2006-01-12 | 2007-01-12 | Multiview video processing device |
| US11/622,803 US20070177674A1 (en) | 2006-01-12 | 2007-01-12 | Processing multiview video |
| US11/622,591 US7831102B2 (en) | 2006-01-12 | 2007-01-12 | Processing multiview video |
| CN 201010135987 CN101895744B (en) | 2006-01-12 | 2007-01-12 | Processing multiview video |
| KR1020097017210A KR100934677B1 (en) | 2006-01-12 | 2007-01-12 | Processing multiview video |
| JP2008550243A JP5199124B2 (en) | 2006-01-12 | 2007-01-12 | Multi-view video processing |
| US11/622,611 US7817865B2 (en) | 2006-01-12 | 2007-01-12 | Processing multiview video |
| KR1020097017211A KR100943915B1 (en) | 2006-01-12 | 2007-01-12 | Method and apparatus for processing multiview video |
| EP07700953A EP1977593A4 (en) | 2006-01-12 | 2007-01-12 | Processing multiview video |
| PCT/KR2007/000225 WO2007081176A1 (en) | 2006-01-12 | 2007-01-12 | Processing multiview video |
| PCT/KR2007/000228 WO2007081178A1 (en) | 2006-01-12 | 2007-01-12 | Processing multiview video |
| US11/622,592 US7856148B2 (en) | 2006-01-12 | 2007-01-12 | Processing multiview video |
| KR1020097017207A KR100943913B1 (en) | 2006-01-12 | 2007-01-12 | Method and apparatus for processing multiview video |
| CN2007800031205A CN101375594B (en) | 2006-01-12 | 2007-01-12 | Processing multiview video |
| KR1020097017206A KR100943912B1 (en) | 2006-01-12 | 2007-01-12 | Method and apparatus for processing multiview video |
| EP07700952A EP1982517A4 (en) | 2006-01-12 | 2007-01-12 | Processing multiview video |
| EP07700955A EP1982518A4 (en) | 2006-01-12 | 2007-01-12 | Processing multiview video |
| US11/622,681 US8115804B2 (en) | 2006-01-12 | 2007-01-12 | Processing multiview video |
| CN 201010275254 CN101945277B (en) | 2006-01-12 | 2007-01-12 | Processing multiview video |
| US12/545,462 US7970221B2 (en) | 2006-01-12 | 2009-08-21 | Processing multiview video |
| US13/356,354 US8553073B2 (en) | 2006-01-12 | 2012-01-23 | Processing multiview video |
| US13/720,479 USRE44680E1 (en) | 2006-01-12 | 2012-12-19 | Processing multiview video |
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US75962006P | 2006-01-18 | 2006-01-18 | |
| US60/759,620 | 2006-01-18 | ||
| US83008706P | 2006-07-12 | 2006-07-12 | |
| US60/830,087 | 2006-07-12 | ||
| US83032806P | 2006-07-13 | 2006-07-13 | |
| US60/830,328 | 2006-07-13 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20070076392A true KR20070076392A (en) | 2007-07-24 |
Family
ID=38501329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020060110338A KR20070076392A (en) | 2006-01-12 | 2006-11-09 | A method and apparatus for decoding/encoding a video signal |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20070076392A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100928325B1 (en) * | 2007-10-15 | 2009-11-25 | 세종대학교산학협력단 | Image encoding and decoding method and apparatus |
-
2006
- 2006-11-09 KR KR1020060110338A patent/KR20070076392A/en unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100928325B1 (en) * | 2007-10-15 | 2009-11-25 | 세종대학교산학협력단 | Image encoding and decoding method and apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11240478B2 (en) | Efficient multi-view coding using depth-map estimate for a dependent view | |
| JP2021168479A (en) | Efficient multi-view coding using depth-map estimation and update | |
| JP5970609B2 (en) | Method and apparatus for unified disparity vector derivation in 3D video coding | |
| KR101276720B1 (en) | Method for predicting disparity vector using camera parameter, apparatus for encoding and decoding muti-view image using method thereof, and a recording medium having a program to implement thereof | |
| KR101653118B1 (en) | Method for processing one or more videos of a 3d-scene | |
| JP4663792B2 (en) | Apparatus and method for encoding and decoding multi-view video | |
| EP3247116A1 (en) | Method of constrain disparity vector derivation in 3d video coding | |
| EP2080381A1 (en) | Method and apparatus for video predictive encoding and method and apparatus for video predictive decoding | |
| KR101893559B1 (en) | Apparatus and method for encoding and decoding multi-view video | |
| EP2936815A1 (en) | Method and apparatus of disparity vector derivation in 3d video coding | |
| WO2013039031A1 (en) | Image encoder, image-decoding unit, and method and program therefor | |
| KR20130103568A (en) | Multiview image encodng method, multiview image decodng method, multiview image encodlng device, multiview lnlage decodlng device, and programs of same | |
| US10057598B2 (en) | Method, device, and computer readable medium for encoding and decoding of three dimensional video of a current block of fixed images involving coding a current block as a function of coding information and coding process using selective inheritance | |
| KR20070098429A (en) | A method for decoding a video signal | |
| KR20080007069A (en) | Method and apparatus for decoding a video signal | |
| Shimizu et al. | Decoder-side macroblock information derivation for efficient multiview video plus depth map coding | |
| KR20070076391A (en) | A method and apparatus for decoding/encoding a video signal | |
| KR20070076392A (en) | A method and apparatus for decoding/encoding a video signal | |
| KR20070098437A (en) | A method and apparatus for decoding/encoding a video signal | |
| KR20070116527A (en) | A method and apparatus for decoding/encoding a video signal | |
| WO2013077304A1 (en) | Image coding device, image decoding device, and methods and programs thereof | |
| JP6232117B2 (en) | Image encoding method, image decoding method, and recording medium | |
| KR101261577B1 (en) | Apparatus and method for encoding and decoding multi view video | |
| KR20080007177A (en) | A method and apparatus for processing a video signal |