KR20070076356A - Method and apparatus for coding and decoding of video sequence - Google Patents

Method and apparatus for coding and decoding of video sequence Download PDF

Info

Publication number
KR20070076356A
KR20070076356A KR1020060037773A KR20060037773A KR20070076356A KR 20070076356 A KR20070076356 A KR 20070076356A KR 1020060037773 A KR1020060037773 A KR 1020060037773A KR 20060037773 A KR20060037773 A KR 20060037773A KR 20070076356 A KR20070076356 A KR 20070076356A
Authority
KR
South Korea
Prior art keywords
value
block
current block
illumination
illumination average
Prior art date
Application number
KR1020060037773A
Other languages
Korean (ko)
Inventor
양정휴
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US11/622,591 priority Critical patent/US7831102B2/en
Priority to JP2008550242A priority patent/JP5199123B2/en
Priority to US11/622,618 priority patent/US7817866B2/en
Priority to CN 201010135987 priority patent/CN101895744B/en
Priority to KR1020087019746A priority patent/KR100947234B1/en
Priority to CN2007800031205A priority patent/CN101375594B/en
Priority to KR1020097017207A priority patent/KR100943913B1/en
Priority to KR20087019747A priority patent/KR100953646B1/en
Priority to PCT/KR2007/000226 priority patent/WO2007081177A1/en
Priority to EP07700952A priority patent/EP1982517A4/en
Priority to EP07700955A priority patent/EP1982518A4/en
Priority to US11/622,681 priority patent/US8115804B2/en
Priority to KR1020097017206A priority patent/KR100943912B1/en
Priority to PCT/KR2007/000225 priority patent/WO2007081176A1/en
Priority to US11/622,709 priority patent/US8154585B2/en
Priority to DE200720019463 priority patent/DE202007019463U1/en
Priority to PCT/KR2007/000228 priority patent/WO2007081178A1/en
Priority to US11/622,803 priority patent/US20070177674A1/en
Priority to CN200780003083.8A priority patent/CN101371571B/en
Priority to JP2008550241A priority patent/JP5192393B2/en
Priority to KR1020097017208A priority patent/KR100934676B1/en
Priority to CN 201010275254 priority patent/CN101945277B/en
Priority to KR1020097017209A priority patent/KR100943914B1/en
Priority to US11/622,611 priority patent/US7817865B2/en
Priority to US11/622,592 priority patent/US7856148B2/en
Priority to KR1020087019748A priority patent/KR101276847B1/en
Priority to US11/622,675 priority patent/US20070177671A1/en
Priority to JP2008550243A priority patent/JP5199124B2/en
Priority to KR1020097017211A priority patent/KR100943915B1/en
Priority to KR1020097017210A priority patent/KR100934677B1/en
Priority to EP07700953A priority patent/EP1977593A4/en
Publication of KR20070076356A publication Critical patent/KR20070076356A/en
Priority to US12/545,462 priority patent/US7970221B2/en
Priority to US13/356,354 priority patent/US8553073B2/en
Priority to US13/720,479 priority patent/USRE44680E1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

A method and an apparatus for coding and decoding of video sequence are provided to increase coding and decoding efficiencies by minimizing an amount of data to be transmitted for illumination compensation by effectively using high correlation between views. An illumination mean value of a block among reference image blocks different from blocks adjacent to a current block in a view is obtained(S100). An illumination mean estimated value of the current block is induced by using one or more modes among a plurality of modes with the obtained illumination mean value of the block(S200). An error value between the illumination mean estimated value of the current block and the illumination mean value is obtained(S300). The coding efficiency of each mode is measured, and the optimum mode is selected(S400). Only identification information representing the selected mode is coded to be transmitted, or identification information and the error value are coded to be transmitted(S500).

Description

비디오 영상의 부호화/복호화 방법 및 장치{Method and Apparatus for coding and decoding of video sequence}Method and apparatus for encoding / decoding video images {Method and Apparatus for coding and decoding of video sequence}

도 1은 일반적인 다시점 영상(multiview sequence) 부호화 및 복호화 시스템을 도시한 것이다.1 illustrates a general multiview sequence encoding and decoding system.

도 2는 본 발명을 적용한 비디오 영상의 부호화 방법을 설명하기 위한 흐름도를 도시한 것이다.2 is a flowchart illustrating a method of encoding a video image according to the present invention.

도 3은 본 발명을 적용한 일실시예로서, 다른 시점의 참조 영상 블록으로부터 현재 블록의 조명 평균 예측값을 유도하는 과정을 설명하기 위한 블록 구성도를 도시한 것이다.FIG. 3 is a block diagram illustrating a process of deriving an illumination average prediction value of a current block from a reference image block at another time point as an embodiment to which the present invention is applied.

도 4는 본 발명을 적용한 일실시예로서, 다른 시점의 참조 영상 블록으로부터 현재 블록의 조명 평균 예측값을 유도하는 과정을 일반화하여 설명하기 위한 블록 구성도를 도시한 것이다.FIG. 4 is a block diagram for generalizing and describing a process of deriving an illumination average prediction value of a current block from a reference image block at another time point as an embodiment to which the present invention is applied.

도 5는 본 발명을 적용한 일실시예로서, 조명 평균값의 획득 및 조명 평균 예측값을 유도함에 있어서, 블록의 좌측과 상단에 있는 픽셀들의 이미 복호화된 값들을 이용하는 것을 설명하기 위한 16x16 매크로 블록을 도시한 것이다.FIG. 5 is a diagram illustrating a 16x16 macroblock illustrating an example of using previously decoded values of pixels on the left and top of a block in obtaining an illumination mean value and deriving an illumination mean prediction value according to an embodiment of the present invention. will be.

도 6a는 본 발명을 적용한 일실시예로서, 블록이 분할된 경우 분할된 블록의 조명 평균값의 획득 및 조명 평균 예측값을 유도함에 있어서, 상기 분할된 블록을 둘러싸는 픽셀 전부를 이용하는 것을 설명하기 위한 16x8 매크로 블록을 도시한 것이다.FIG. 6A is an embodiment to which the present invention is applied, and when a block is divided, in order to obtain an illumination average value of the divided block and to derive an illumination average prediction value, FIG. 16x8 illustrates that all pixels surrounding the divided block are used. A macro block is shown.

도 6b는 본 발명을 적용한 일실시예로서, 블록이 분할된 경우 분할된 블록의 조명 평균값의 획득 및 조명 평균 예측값을 유도함에 있어서, 상기 분할된 블록을 둘러싸는 픽셀들만을 이용하는 것을 설명하기 위한 16x8 매크로 블록을 도시한 것이다.FIG. 6B is an embodiment to which the present invention is applied, and when a block is divided, in order to obtain an illumination average value of the divided block and derive an illumination average prediction value, 16x8 for explaining that only pixels surrounding the divided block are used. A macro block is shown.

도 7a는 본 발명을 적용한 일실시예로서, 블록이 분할된 경우 분할된 블록의 조명 평균값의 획득 및 조명 평균 예측값을 유도함에 있어서, 상기 분할된 블록을 둘러싸는 픽셀 전부를 이용하는 것을 설명하기 위한 8x16 매크로 블록을 도시한 것이다.FIG. 7A is an embodiment to which the present invention is applied, and when a block is divided, 8x16 for explaining the use of all pixels surrounding the divided block in obtaining an illumination average value of the divided block and deriving an illumination average prediction value. A macro block is shown.

도 7b는 본 발명을 적용한 일실시예로서, 블록이 분할된 경우 분할된 블록의 조명 평균값의 획득 및 조명 평균 예측값을 유도함에 있어서, 상기 분할된 블록을 둘러싸는 픽셀들만을 이용하는 것을 설명하기 위한 8x16 매크로 블록을 도시한 것이다.FIG. 7B is an embodiment to which the present invention is applied. In the case where a block is divided, 8x16 for explaining that only the pixels surrounding the divided block are used to obtain an illumination average value and to derive an illumination average prediction value of the divided block. A macro block is shown.

도 8a는 본 발명을 적용한 일실시예로서, 블록이 분할된 경우 분할된 블록의 조명 평균값의 획득 및 조명 평균 예측값을 유도함에 있어서, 상기 분할된 블록을 둘러싸는 픽셀 전부를 이용하는 것을 설명하기 위한 8x8 매크로 블록을 도시한 것이다.FIG. 8A is an embodiment to which the present invention is applied, and when a block is divided, 8x8 for explaining the use of all pixels surrounding the divided block in obtaining an illumination average value and a lighting average prediction value of the divided block. A macro block is shown.

도 8b는 본 발명을 적용한 일실시예로서, 블록이 분할된 경우 분할된 블록의 조명 평균값의 획득 및 조명 평균 예측값을 유도함에 있어서, 상기 분할된 블록을 둘러싸는 픽셀들만을 이용하는 것을 설명하기 위한 8x8 매크로 블록을 도시한 것이다.FIG. 8B is an embodiment to which the present invention is applied, and when a block is divided, 8x8 for explaining that only the pixels surrounding the divided block are used to obtain an illumination average value and to derive an illumination average prediction value of the divided block. A macro block is shown.

도 9는 본 발명을 적용한 비디오 영상의 부호화 장치를 설명하기 위한 블록 구성도를 도시한 것이다.9 is a block diagram for explaining an apparatus for encoding a video image according to the present invention.

도 10은 본 발명을 적용한 비디오 영상의 복호화 장치를 설명하기 위한 블록 구성도를 도시한 것이다.10 is a block diagram illustrating a decoding apparatus of a video image according to the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

10 : 다시점 영상 발생부 20 : 전처리부(pre-processing)10: multi-view image generator 20: pre-processing

30 : 인코더(encoder) 40 : 디코더(decoder)30: encoder 40: decoder

50 : 후처리부(post-processing) 60 : 디스플레이부50: post-processing 60: display unit

61 : 2차원 디스플레이 63 : 스테레오 타입 디스플레이61: two-dimensional display 63: stereo type display

65 : M개 시점을 입체 영상으로 제공하는 디스플레이65: Display that provides M viewpoints in 3D

710: 조명 평균값 획득부 720: 조명 평균값 예측부710: lighting average value obtaining unit 720: lighting average value predicting unit

730: 오차값 부호화부 740: 엔트로피 부호화부730: error value encoding unit 740: entropy encoding unit

810: 조명 평균값 예측부 820: 오차값 복호화부810: Illumination average value predictor 820: Error value decoder

830: 조명 보상부830: lighting compensation unit

본 발명은 비디오 영상의 부호화/복호화 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for encoding / decoding a video image.

현재 주류를 이루고 있는 비디오 빛 방송 영상물은 한 대의 카메라로 획득한 단일시점 영상이다. 비록 여러 대의 카메라로 찍은 영상이라 할지라도 편집되어 한 개의 영상으로 취급된다. 반면, 다시점 비디오(Multi-view video)란 한 대 이상의 카메라를 통해 촬영된 영상들을 기하학적으로 교정하고 공간적인 합성 등을 통하여 여러 방향의 다양한 시점을 사용자에게 제공하는 3차원(3D) 영상처리의 한 분야이다. 다시점 비디오는 사용자에게 시점의 자유를 증가시킬 수 있으며, 한대의 카메라를 이용하여 획득할 수 있는 영상 영역에 비해 큰 영역을 포함하는 특징을 지닌다. 이러한 다시점 비디오 영상은 카메라를 이동시킨다던가, 다수의 카메라를 여러 방향에 배치하거나, 반사경 등의 특수 장치를 이용하여 획득하게 된다. 최근에는 이처럼 여러 대의 카메라로 찍은 다시점 영상 자체에 대한 부호화 및 전송, 복호화 그리고 디스플레이하는 시스템에 대한 연구가 활발히 진행되고 있다.The mainstream video light broadcasting video is a single view image acquired with one camera. Even if the video is taken by multiple cameras, it is edited and treated as a single video. Multi-view video, on the other hand, is a three-dimensional (3D) image processing method that geometrically corrects images taken by more than one camera and provides users with various viewpoints in various directions through spatial synthesis. It is a field. Multi-view video can increase the freedom of view for the user, and has a feature that includes a larger area than the image area that can be acquired using a single camera. Such multi-view video images may be acquired by moving cameras, arranging a plurality of cameras in various directions, or by using a special apparatus such as a reflector. Recently, researches on a system for encoding, transmitting, decoding, and displaying a multiview image itself taken by multiple cameras have been actively conducted.

도 1은 일반적인 다시점 영상(multiview sequence) 부호화 및 복호화 시스템을 도시한 것이다. 도 1에 도시된 바와 같이, 일반적인 다시점 영상 부호화 시스템은, 다시점 영상 발생부(10), 전처리부(20, preprocessing) 및 인코더(30, encoder)를 포함하여 구성된다. 또한, 복호화 시스템은 디코더(40, decoder), 후처리부(50, post processing) 및 디스플레이부(60, display)를 포함하여 구성된다.1 illustrates a general multiview sequence encoding and decoding system. As shown in FIG. 1, a general multiview image encoding system includes a multiview image generator 10, a preprocessing unit 20, and an encoder 30. In addition, the decoding system includes a decoder 40, a post processing unit 50, and a display unit 60.

관련하여, 상기 다시점 영상 발생부(10)는 다시점 개수 만큼의 영상 획득장치(예를들어, 카메라 #1 ~ #N)를 구비하여, 각 시점별로 독립적인 영상을 획득하게 된다. 상기 전처리부(20)는 다시점 영상 데이터가 입력되면, 노이즈 제거, 임발란싱(imbalancing) 문제를 해결하면서 전처리 과정을 통해 다시점 영상 데이터들 간 의 상관도를 높여주는 기능을 수행한다. 또한, 인코더(30)는 움직임(motion) 추정/보상 및 시점간의 변이(disparity) 추정/보상 및 비트율 제어 및 차영상 부호화부등을 포함하여 구성된다. 상기 인코더(30)는 일반적으로 알려진 방식을 적용 할 수 있다.In this regard, the multi-view image generator 10 includes an image obtaining apparatus (for example, cameras # 1 to #N) corresponding to the number of multi-views to acquire independent images for each viewpoint. When the multiview image data is input, the preprocessing unit 20 performs a function of increasing the correlation between the multiview image data through a preprocessing process while solving noise removal and imbalancing problems. In addition, the encoder 30 includes a motion estimation / compensation and a disparity estimation / compensation between views, a bit rate control, a difference image encoding unit, and the like. The encoder 30 may apply a generally known method.

또한, 디코더(40)는 전술한 방식에 의해 부호화된 비트스트림을 수신한 후, 이를 역으로 복호화한다. 또한, 후처리부(50)는 디코딩된 데이터의 신뢰도 및 해상도를 높여주는 기능을 수행하게 된다. 마지막으로 디스플레이부(60)는 디스플레이의 기능, 특히 다시점 영상을 처리하는 능력에 따라 다양한 방식으로 사용자에게 디코딩된 데이터를 제공하게 된다. 예를들어, 평면 2차원 영상만을 제공하는 2D 디스플레이(61)이거나, 2개의 시점을 입체 영상으로 제공하는 스테레오(stereo) 타입의 디스플레이(63)이거나 또는 M개의 시점(2<M)을 입체 영상으로 제공하는 디스플레이(65)일 수 있다.In addition, the decoder 40 receives the bitstream encoded by the above-described method, and decodes it in reverse. In addition, the post-processing unit 50 performs a function of increasing the reliability and resolution of the decoded data. Finally, the display unit 60 provides the decoded data to the user in various ways depending on the function of the display, in particular, the ability to process a multi-view image. For example, it is a 2D display 61 providing only planar two-dimensional images, or a stereo type display 63 providing two views as stereoscopic images, or stereoscopic images of M views (2 <M). It may be provided as a display (65).

상기에서 설명한 다시점 비디오(Multi-view video)의 각 시점 영상(view sequence)들은 각기 다른 카메라에서 취득된 영상들이기 때문에 카메라의 내외적 요인으로 인하여 조명 (illumination) 차이가 발생하게 된다. 예를 들어, 카메라의 이질성(camera heterogeneity), 카메라 측정(camera calibration)의 차이, 또는 카메라의 정렬 (camera alignment)의 차이 등이 원인이 된다. 이러한 조명 (illumination) 차이는 다른 시점(view)들 간의 상관도를 현저히 떨어뜨려 효과적인 부호화를 저해하므로, 이를 방지하기 위해서 조명 보상 부호화(illumination compensated coding) 기술이 필요하다. 즉, 다른 시점(view)의 영상을 참조 (reference)로 해서 예측 부호화를 하게 될 경우에 적용된다.Since the view sequences of the multi-view video described above are images obtained from different cameras, illumination differences may occur due to internal and external factors of the camera. For example, a camera heterogeneity, a difference in camera calibration, or a camera alignment is caused. Since such illumination differences significantly reduce the correlation between different views, thereby inhibiting effective coding, an illumination compensated coding technique is required to prevent this. That is, the present invention is applied when prediction encoding is performed by using an image of another view as a reference.

본 발명의 목적은 블록 간 또는 시점 간의 상관관계를 효과적으로 이용하여 비디오 영상의 부호화/복호화 효율을 높이는데 있다.An object of the present invention is to increase the encoding / decoding efficiency of a video image by effectively using the correlation between blocks or viewpoints.

본 발명의 목적은 다시점 영상에 있어서, 시점들 간의 조명 차이를 효율적으로 보상하고자 하는데 있다.An object of the present invention is to efficiently compensate for lighting differences between viewpoints in a multiview image.

본 발명의 목적은 비디오 영상 데이터에 대하여 효율적으로 부호화 및 복호화를 수행하는 방법 및 장치를 제공하는데 있다.An object of the present invention is to provide a method and apparatus for efficiently performing encoding and decoding on video image data.

상기 목적을 달성하기 위하여 본 발명은 비디오 영상의 부호화 방법에 있어서, (a)현재 블록에 인접한 블록들과 다른 시점의 참조 영상 블록들 중 적어도 하나의 블록에 대한 조명(illumination) 평균값을 획득하는 단계와 (b)상기 획득된 적어도 하나의 블록에 대한 조명 평균값으로부터 현재 블록의 조명 평균 예측값을 유도하는 단계와 (c)상기 현재 블록의 조명 평균 예측값과 현재 블록의 조명 평균값 사이의 오차값을 획득하는 단계로 이루어지는 것을 특징으로 하는 비디오 영상 부호화 방법을 제공한다.In order to achieve the above object, the present invention provides a method of encoding a video image, the method comprising: (a) obtaining an illumination average value of at least one block of reference image blocks at different views from blocks adjacent to the current block; And (b) deriving an illumination average prediction value of the current block from the obtained illumination average value for the at least one block, and (c) obtaining an error value between the illumination average prediction value of the current block and the illumination average value of the current block. It provides a video image encoding method comprising a step.

또한, 본 발명은 비디오 영상의 복호화 방법에 있어서, (l)비디오 신호로부터 현재 블록의 조명 평균값을 복원하기 위한 오차값을 획득하는 단계와 (m)다른 시점의 참조 영상 블록들에 기초하여 현재 블록의 조명 평균 예측값을 유도하는 단계와 (n)상기 조명 평균 예측값과 오차값으로부터 상기 현재 블록의 조명 평균값을 복원하는 단계를 포함하여 이루어지는 것을 특징으로 하는 비디오 영상 복호화 방법을 제공한다.In addition, the present invention provides a decoding method of a video image, comprising the steps of: (1) obtaining an error value for reconstructing the illumination average value of the current block from the video signal, and (m) the current block based on the reference image blocks at different views. And (n) restoring an illumination average value of the current block from the illumination average prediction value and an error value.

또한, 본 발명은 비디오 영상 부호화 장치에 있어서, 현재 블록에 인접한 블록들과 다른 시점의 참조 영상 블록들의 조명(illumination) 평균값을 획득하는 조명 평균값 획득부와 상기 획득된 평균값으로부터 상기 현재 블록의 조명 평균 예측값을 유도하는 조명 평균값 예측부와 상기 조명 평균 예측값과 현재 블록의 조명 평균값과의 오차값을 구하는 오차값 부호화부를 포함하여 이루어지는 것을 특징으로 하는 비디오 영상 부호화 장치를 제공한다.The present invention also provides a video image encoding apparatus, comprising: an illumination average value obtaining unit obtaining an illumination average value of reference image blocks at different views from blocks adjacent to the current block, and an illumination average of the current block from the obtained average value And an error value encoding unit for calculating an error value between the illumination average predicted value and the illumination average value of the current block.

또한, 본 발명은 비디오 영상 복호화 장치에 있어서, 수신된 비트스트림으로부터 오차값을 획득하는 오차값 복호화부와 다른 시점의 참조 영상 블록에 기초하여 현재 블록의 조명 평균 예측값을 유도하는 조명 평균값 예측부와 상기 오차값과 조명 평균 예측값으로부터 현재 블록의 조명 평균값을 복원하는 조명 보상부를 포함하여 이루어지는 것을 특징으로 하는 비디오 영상 복호화 장치를 제공한다.In addition, the present invention provides a video image decoding apparatus comprising: an illumination average value predictor for deriving an illumination average predicted value of a current block based on a reference image block at a different time point than an error value decoder that obtains an error value from a received bitstream; And an illumination compensator for restoring the illumination average value of the current block from the error value and the illumination average prediction value.

상술한 목적 및 구성의 특징은 첨부된 도면과 관련하여 다음의 상세한 설명을 통하여 보다 명확해질 것이다. 이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들를 상세히 설명한다.The above objects and features of the construction will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명을 적용한 비디오 영상의 부호화 방법을 설명하기 위한 흐름도를 도시한 것이다. 2 is a flowchart illustrating a method of encoding a video image according to the present invention.

현재 블록에 인접한 블록들과 다른 시점의 참조 영상 블록들 중 적어도 하나의 블록에 대한 조명(illumination) 평균값을 획득한다(S100). 상기 획득된 값을 가지고 복수개의 모드들 중에서 하나 이상의 모드를 이용하여 현재 블록의 조명(illumination) 평균 예측값을 유도한다(S200). 그리고 상기 현재 블록의 조명 평균 예측값과 조명 평균값과의 오차값을 획득한다(S300). 상기 복수개의 모드에 대하여 각각의 부호화 효율을 측정하고 최적인 모드를 선택하게 된다(S400). 상기 최적의 모드를 선택하는 방법의 일실시예들로서, 상기 획득된 오차값들 중에서 오차값이 최소가 되는 모드를 선택하는 방법, 또는 RD(Rate-Distortion) 관계식을 이용하는 방법 등을 들 수 있다. 여기서 RD 관계식이란 해당 블록을 부호화할 때 생기는 부호화 비트수와 실제영상과의 오차를 나타내는 왜곡값, 이 두 성분을 가지고 비용을 계산한다. 구체적으로, 비트수에 양자화 계수에 의해 결정되는 라그랑지안 승수를 곱하고 왜곡값을 더하여 구할 수 있다(S400). 상기 최적의 모드가 선택된 후에는 상기 선택된 모드를 나타내는 식별 정보만 부호화하여 전송하거나 상기 선택된 모드를 나타내는 식별 정보와 함께 상기 선택된 모드에 의해 획득된 오차값도 부호화하여 전송할 수 있다(S500).An illumination average value of at least one block among reference image blocks at different views from blocks adjacent to the current block is obtained (S100). Using the obtained value, one or more modes are used to derive an illumination average prediction value of the current block (S200). In operation S300, an error value between the illumination average prediction value and the illumination average value of the current block is obtained. The coding efficiency of each of the plurality of modes is measured and an optimal mode is selected (S400). Examples of the method of selecting the optimal mode include a method of selecting a mode in which the error value is minimum among the obtained error values, or a method using a rate-distortion (RD) relational expression. Here, the RD relation is calculated using two components, the number of coding bits generated when the corresponding block is encoded and a distortion value representing an error between the actual video. Specifically, the number of bits may be obtained by multiplying a Lagrangian multiplier determined by the quantization coefficient and adding a distortion value (S400). After the optimal mode is selected, only the identification information indicating the selected mode may be encoded and transmitted, or the error value obtained by the selected mode may be encoded and transmitted together with the identification information representing the selected mode (S500).

도 3은 본 발명을 적용한 일실시예로서, 다른 시점의 참조 영상 블록으로부터 현재 블록의 조명 평균 예측값을 유도하는 과정을 설명하기 위한 블록 구성도를 도시한 것이다.FIG. 3 is a block diagram illustrating a process of deriving an illumination average prediction value of a current block from a reference image block at another time point as an embodiment to which the present invention is applied.

Figure 112006029348668-PAT00001
블록 픽셀값들의 평균값을
Figure 112006029348668-PAT00002
,
Figure 112006029348668-PAT00003
의 평균값을
Figure 112006029348668-PAT00004
라고 하고, 나머지 블록들의 평균값도 상기 블록 표시법(notation)에 준해서 표현한다. 주변 정보를 이용하는 방법에 따라
Figure 112006029348668-PAT00005
정보를 예측하는 방법이 다양하다.
Figure 112006029348668-PAT00006
블록을 부호화할 시, 참조 영상#1(reference frame#1)이 후보 참조 영상(reference frame)이 되는 경우라고 가정하자.
Figure 112006029348668-PAT00001
The average of the block pixel values
Figure 112006029348668-PAT00002
,
Figure 112006029348668-PAT00003
Mean of
Figure 112006029348668-PAT00004
The average value of the remaining blocks is also expressed according to the block notation. Depending on how you use your surrounding information
Figure 112006029348668-PAT00005
There are many ways to predict information.
Figure 112006029348668-PAT00006
When encoding a block, it is assumed that reference picture # 1 becomes a candidate reference frame.

주변 정보를 이용하는 방법에 따라

Figure 112006029348668-PAT00007
정보를 예측하는 방법의 일실시예로서, 현재 블록에 대응되는 다른 시점의 참조 영상 블록의 조명 평균값으로부터 예측하는 경우(Mode1)를 들 수 있다. 즉, 도 3에서 참조 영상#1(reference frame#1)의 블록
Figure 112006029348668-PAT00008
의 평균값으로 예측하는 경우이다. 오차값은 다음과 같다.Depending on how you use your surrounding information
Figure 112006029348668-PAT00007
As an example of the method of predicting the information, the prediction may be performed from a lighting average value of the reference image block of another view corresponding to the current block (Mode1). That is, the block of the reference picture # 1 (reference frame # 1) in FIG.
Figure 112006029348668-PAT00008
It is a case of predicting by the average value of. The error values are as follows.

Figure 112006029348668-PAT00009
Figure 112006029348668-PAT00009

또 다른 일실시예로서, 현재 블록과 이에 대응하는 다른 시점의 참조 영상 블록의 조명 평균값과의 차이를, 현재 블록과 참조 영상 블록의 각각 인접한 블록들끼리의 조명 평균값 차이로부터 예측하는 경우(Mode2)를 들 수 있다. 즉, 도 3에서 참조 영상1(reference frame#1)의 블록

Figure 112006029348668-PAT00010
의 조명 평균값과의 차이를, 인접한 블록들(
Figure 112006029348668-PAT00011
,
Figure 112006029348668-PAT00012
) 끼리의 조명 평균값 차이로 예측하는 경우이다. 오차값은 다음과 같다.According to another embodiment, when the difference between the illumination average value of the current block and the reference image block at different views corresponding thereto is predicted from the difference in illumination average values between adjacent blocks of the current block and the reference image block (Mode2) Can be mentioned. That is, the block of the reference frame # 1 (reference frame # 1) in FIG.
Figure 112006029348668-PAT00010
The difference between the average of the illumination and the adjacent blocks (
Figure 112006029348668-PAT00011
,
Figure 112006029348668-PAT00012
) This is the case of predicting the difference between the average lighting values. The error values are as follows.

Figure 112006029348668-PAT00013
Figure 112006029348668-PAT00013

또 다른 일실시예로서, 현재 블록에 인접한 블록의 조명 평균값과 현재 블록에 대응되는 다른 시점의 참조 영상 블록의 조명 평균값 차이로부터 예측하는 경우(Mode3)를 들 수 있다. 즉, 인접한 블록

Figure 112006029348668-PAT00014
의 조명 평균값과 참조 영상#1( reference frame#1)의 블록
Figure 112006029348668-PAT00015
의 조명 평균값 차이로부터 예측하는 경우이다. 오 차값은 다음과 같다.As another example, the prediction may be performed based on a difference between an illumination average value of a block adjacent to the current block and an illumination average value of a reference image block at another view corresponding to the current block (Mode3). That is, adjacent blocks
Figure 112006029348668-PAT00014
The average value of illumination and the block of reference image # 1 (reference frame # 1)
Figure 112006029348668-PAT00015
It is a case where it predicts from the illumination average value difference of. The error values are as follows.

Figure 112006029348668-PAT00016
Figure 112006029348668-PAT00016

또 다른 일실시예로서, 현재 블록에 인접한 블록이 다른 시점의 참조 영상 블록의 인접한 블록으로부터 부호화된 경우, 현재 블록에 인접한 블록의 조명 평균값 예측 차이로부터 예측하는 경우(Mode4)를 들 수 있다. 즉,

Figure 112006029348668-PAT00017
이 이미 참조 영상#2(reference frame#2)의 블록
Figure 112006029348668-PAT00018
을 참조해서 부호화된 경우, 이웃 블록
Figure 112006029348668-PAT00019
의 조명 평균값 예측 차이로 예측하는 경우이다. 오차값은 다음과 같다.As another embodiment, a case in which a block adjacent to the current block is encoded from an adjacent block of a reference image block at another point in time may be predicted from the illumination average value prediction difference of the block adjacent to the current block (Mode4). In other words,
Figure 112006029348668-PAT00017
This block of reference image # 2 (reference frame # 2)
Figure 112006029348668-PAT00018
If encoded with reference to neighboring block
Figure 112006029348668-PAT00019
This is the case of predicting the difference in the prediction of the lighting average. The error values are as follows.

Figure 112006029348668-PAT00020
Figure 112006029348668-PAT00020

상기 Mode2, Mode3, Mode4의 방법에서 인접한 블록 정보를 이용할 시, 바로 위의 블록 한 개의 정보만 이용하는 경우를 예로 들었지만, 일반적으로 현재 블록을 둘러싼 여러 이웃의 정보들을 조합하여 활용할 수 있다.When the adjacent block information is used in the method of Mode2, Mode3, or Mode4, only the information of one block above is used as an example, but in general, information of various neighbors surrounding the current block may be used in combination.

도 4는 본 발명을 적용한 일실시예로서, 다른 시점의 참조 영상 블록으로부터 현재 블록의 조명 평균 예측값을 유도하는 과정을 일반화하여 설명하기 위한 블록 구성도를 도시한 것이다.FIG. 4 is a block diagram for generalizing and describing a process of deriving an illumination average prediction value of a current block from a reference image block at another time point as an embodiment to which the present invention is applied.

상기 도 4에서는 현재 블록과 경계선(boundary)을 공유하는 이미 부호화된 블록들, 그리고 참조 블록과 경계선을 공유하는 블록들을 나타낸다. 이때, Mode2, Mode3, Mode4 방법의 식들은 각각 아래와 같이 일반화시킬 수 있다.4 shows already coded blocks that share a boundary with the current block, and blocks that share a boundary with the reference block. At this time, the formulas of Mode2, Mode3, and Mode4 methods can be generalized as follows.

Mode 2 :

Figure 112006029348668-PAT00021
Mode 2:
Figure 112006029348668-PAT00021

Mode 3 :

Figure 112006029348668-PAT00022
Mode 3:
Figure 112006029348668-PAT00022

Mode 4 :

Figure 112006029348668-PAT00023
Mode 4:
Figure 112006029348668-PAT00023

Mode 4의 일반화된 식에서,

Figure 112006029348668-PAT00024
는
Figure 112006029348668-PAT00025
블록의 참조 블록이 참조 프레임(reference frame) #
Figure 112006029348668-PAT00026
에 있을 때, 이 블록의 조명 평균값을 나타낸다. 상기 식들에서
Figure 112006029348668-PAT00027
는 가중치가 되며, 예측에 이용하는 인접한 블록은 상기와 같이 경계선을 공유하는 것들만으로 국한되지 않으며, 상기 이웃들의 이웃들도 포함될 수 있으며, 또한 그 중 일부만 활용할 수도 있다. 이는
Figure 112006029348668-PAT00028
로 조절할 수 있다. 이렇게 구한 오차값
Figure 112006029348668-PAT00029
는 양자화한 후, 엔트로피 부호화하여 전송한다.In the generalized expression of Mode 4,
Figure 112006029348668-PAT00024
Is
Figure 112006029348668-PAT00025
The reference block of the block is the reference frame #
Figure 112006029348668-PAT00026
When is on, it represents the average lighting value of this block. In the above formulas
Figure 112006029348668-PAT00027
Is a weight, and adjacent blocks used for prediction are not limited to those that share a boundary as described above, and may include neighbors of the neighbors, and may also utilize only some of them. this is
Figure 112006029348668-PAT00028
Can be adjusted with. The error value
Figure 112006029348668-PAT00029
After quantization is performed, entropy encoding is performed.

상기 모드들의 참조 프레임(Reference frame)결정은 실제 비트스트림(bitstream) 단계까지 계산해 본 후, 율(rate)과 왜곡(distortion) 측면에서 최적인 것으로 찾는다. 상기 최적의 모드를 선택하는 방법의 일실시예들로서, 상기 획득된 오차값들 중에서 오차값이 최소가 되는 모드를 선택하는 방법, 또는 RD(Rate-Distortion) 관계식을 이용하는 방법 등을 들 수 있다. 상기 RD(Rate-Distortion) 관계식을 이용하는 방법은 실제로 각 모드에 대해서 실제 비트스트림(bitstream)까지 계산하는 단계를 모두 해본 후, 율(rate)과 왜곡(distortion) 측면에서 최적인 모드를 선택한다. 기존의 방식과 다른 점은, 블록 차분(block residual)값을 계산할 때, 현재 블록 및 참조블록에서 각 블록의 평균값을 제한 값들로부터 그 차이값을 계산한다는 점이다. 즉 아래 식과 같다.Reference frame determination of the modes is calculated up to the actual bitstream level and found to be optimal in terms of rate and distortion. Examples of the method of selecting the optimal mode include a method of selecting a mode in which the error value is minimum among the obtained error values, or a method using a rate-distortion (RD) relational expression. In the method using the rate-distortion (RD) relation, all the steps for calculating the actual bitstream for each mode are actually selected, and then the mode that is optimal in terms of rate and distortion is selected. The difference from the conventional method is that when calculating the block residual value, the difference value is calculated from the limits of the average value of each block in the current block and the reference block. In other words,

Figure 112006029348668-PAT00030
Figure 112006029348668-PAT00030

여기서,

Figure 112006029348668-PAT00031
는 변이 벡터(disparity vector)를 나타내고,
Figure 112006029348668-PAT00032
는 조명(illumination)값을 나타낸다.
Figure 112006029348668-PAT00033
는 주변 정보를 통해서 예측한 값과, 오차 값을 양자화한 후, 다시 복원된 값을 더해서 구한 값으로서, 이는 인코더와 디코더에서 동일한 값을 얻기 위함이다.
Figure 112006029348668-PAT00034
은 참조 블록(reference block)의 조명 평균값이며, 복호된 영상이므로 인코더와 디코더에서 동일한 값이 된다. 그리고, 실제 적용에서는 시간적으로도 참조를 찾아서 한 후, 시공간 영역에서 최적인 것을 찾게 된다. 따라서, 조명 보상(illumination compensation)을 적용할지 여부의 식별 정보 또한 각 프레임과 각 블록에 대해서 0 또는 1로 지정이 되며, 이 또한 엔트로피 부호화를 적용한다.here,
Figure 112006029348668-PAT00031
Represents a disparity vector,
Figure 112006029348668-PAT00032
Denotes an illumination value.
Figure 112006029348668-PAT00033
Is a value obtained by quantizing an error value, an error value, and then reconstructing the value. This is to obtain the same value at the encoder and the decoder.
Figure 112006029348668-PAT00034
Is an average value of illumination of a reference block, and since the decoded image is the same value in the encoder and the decoder. In actual application, the reference is also found in time, and then the optimum one is found in the space-time domain. Therefore, identification information of whether to apply illumination compensation is also designated as 0 or 1 for each frame and each block, and this also applies entropy coding.

상기 최적의 모드가 선택된 후에는 상기 선택된 모드만 부호화하여 전송할 수 있다. 또한, 상기 선택된 모드와 함께 상기 선택된 모드에 의해 획득된 오차값도 부호화하여 전송할 수 있다. 선택된 모드 정보는 인덱스(index)로 표현되며, 이 정보 역시 이웃 모드 정보로부터 예측할 수도 있으며, 현재 선택된 모드의 인덱스(index)와 예측된 모드의 인덱스(index) 값과의 오차값도 부호화하여 전송할 수 있다.After the optimal mode is selected, only the selected mode may be encoded and transmitted. In addition, the error value obtained by the selected mode together with the selected mode may be encoded and transmitted. The selected mode information is expressed as an index, and this information may also be predicted from neighboring mode information, and an error value between the index of the currently selected mode and the index value of the predicted mode may be encoded and transmitted. have.

상기의 모드들은 모두 고려할 수도 있으며, 일부를 선택하거나, 이들 모드들 중 하나만 선택해서 적용할 수도 있다. 가능한 모든 경우 중, 단일 방법만을 사용하는 경우에는 모드 인덱스(mode index)를 따로 부호화하지 않아도 된다. All of the above modes may be considered, some may be selected, or only one of these modes may be applied. In all possible cases, if only a single method is used, the mode index does not need to be separately coded.

본 발명을 적용한 또 다른 실시예로서, 조명 평균값의 획득 및 조명 평균 예측값을 유도함에 있어서, 참조 영상과 부호화하려는 영상의 부호화하고 있는 현재 블록들에 대해서, 이미 복호화된 픽셀 값들을 이용할 수 있다. As another embodiment to which the present invention is applied, in deriving the average lighting value and deriving the average lighting prediction value, pixel values that have already been decoded may be used for current blocks that are encoded in a reference image and an image to be encoded.

기본적으로, 현재 블록의 조명 평균값을 예측할 때, 좌측과 상단의 픽셀들의 이미 복호화된 값들을 이용한다. 이들 픽셀들의 조명 평균값을 현재 블록의 조명 평균값으로 예측할 수 있다. 실제 비디오 영상을 부호화할 때, 매크로 블록을 기준으로 부호화를 한다. 그리고, 16x16 사이즈의 매크로 블록은 영상의 복잡도에 따라서, 16x8, 8x16, 8x8로 세분화되어 부호화하기도 하며, 각각의 8x8 블록은 다시 같은 방식으로 8x4, 4x8, 4x4블록으로 쪼개어질 수 있다. 각각의 경우에 하나의 매크로 블록을 기준으로 각 위치에 있는 작은 블록들의 조명 평균값을 예측하는 방법은 다양할 수 있다. Basically, when predicting the illumination average value of the current block, the already decoded values of the left and top pixels are used. The illumination average of these pixels can be predicted as the illumination average of the current block. When encoding an actual video image, encoding is performed based on a macro block. The 16x16 macroblock may be divided into 16x8, 8x16 and 8x8 and encoded according to the complexity of the image, and each 8x8 block may be divided into 8x4, 4x8 and 4x4 blocks in the same manner. In each case, a method of predicting an illumination average value of small blocks at each position based on one macro block may vary.

도 5는 본 발명을 적용한 일실시예로서, 조명 평균값의 획득 및 조명 평균 예측값을 유도함에 있어서, 블록의 좌측과 상단에 있는 픽셀들의 이미 복호화된 값들을 이용하는 것을 설명하기 위한 16x16 매크로 블록을 도시한 것이다.FIG. 5 is a diagram illustrating a 16x16 macroblock illustrating an example of using previously decoded values of pixels on the left and top of a block in obtaining an illumination mean value and deriving an illumination mean prediction value according to an embodiment of the present invention. will be.

먼저, 16x16 블록에 대해서는 도 5와 같이 상단, 좌측에 있는 모든 픽셀값을 이용한다. 따라서, 현재 블록의 조명 평균값을 예측할 때, 상기 블록의 상단, 좌측에 있는 모든 픽셀(v1~v16, h1~h16)들의 조명 평균값을 계산하여 이로부터 현재 블록의 조명 평균값을 예측한다. 이 경우 B16x16 블록의 조명 평균값은 다음과 같다.First, all pixel values at the top and left sides of the 16 × 16 block are used as shown in FIG. 5. Therefore, when predicting the average illumination value of the current block, the illumination average value of all pixels v1 to v16 and h1 to h16 at the top and left side of the block is calculated to predict the illumination average value of the current block. In this case, the average lighting value of the B16x16 block is as follows.

Figure 112006029348668-PAT00035
Figure 112006029348668-PAT00035

도 6a 및 도 6b는 본 발명을 적용한 일실시예로서, 블록이 분할된 경우 분할된 블록의 조명 평균값의 획득 및 조명 평균 예측값을 유도함에 있어서, 상기 분할된 블록을 둘러싸는 픽셀 전부를 이용하거나 상기 분할된 블록을 둘러싸는 픽셀들만을 이용하는 것을 설명하기 위한 16x8 매크로 블록을 도시한 것이다.6A and 6B illustrate an embodiment to which the present invention is applied. In the case where a block is divided, in order to obtain an illumination average value of the divided block and derive an illumination average prediction value, all pixels surrounding the divided block are used or A 16x8 macroblock is shown to illustrate using only the pixels surrounding the divided block.

도 6a의 경우, 즉 상기 분할된 블록을 둘러싸는 픽셀 전부를 이용하는 경우, B16x8_0 및 B16x8_1 블록의 평균값은 다음과 같다.In the case of FIG. 6A, that is, when all pixels surrounding the divided block are used, the average value of the B16x8_0 and B16x8_1 blocks is as follows.

Figure 112006029348668-PAT00036
Figure 112006029348668-PAT00036

도 6b의 경우, 즉 상기 분할된 블록을 둘러싸는 픽셀들만을 이용하는 경우, B16x8_0 및 B16x8_1 블록의 조명 평균값은 각각 다음과 같다.In the case of FIG. 6B, that is, only using pixels surrounding the divided block, the illumination average values of the B16x8_0 and B16x8_1 blocks are as follows.

Figure 112006029348668-PAT00037
Figure 112006029348668-PAT00038
Figure 112006029348668-PAT00037
Figure 112006029348668-PAT00038

또한, 상기의 경우들에 있어서, 코너의

Figure 112006029348668-PAT00039
도 포함하여 계산할 수도 있다. 이 경우 상기 도 6a 및 도 6b 경우의 B16x8_0 조명 평균값은 각각 다음과 같다.Also, in the above cases, the corner
Figure 112006029348668-PAT00039
It can also be calculated. In this case, the B16x8_0 illumination average values in the cases of FIGS. 6A and 6B are as follows.

Figure 112006029348668-PAT00040
Figure 112006029348668-PAT00041
Figure 112006029348668-PAT00040
Figure 112006029348668-PAT00041

또한, 상기의 경우들에 있어서, 코너의

Figure 112006029348668-PAT00042
와
Figure 112006029348668-PAT00043
도 포함하여 계산할 수도 있다. 이 경우 상기 도 6a 및 도 6b 경우의 B16x8_1 조명 평균값은 각각 다음과 같다.Also, in the above cases, the corner
Figure 112006029348668-PAT00042
Wow
Figure 112006029348668-PAT00043
It can also be calculated. In this case, the average values of B16x8_1 illumination in the case of FIGS. 6A and 6B are as follows.

Figure 112006029348668-PAT00044
Figure 112006029348668-PAT00045
Figure 112006029348668-PAT00044
Figure 112006029348668-PAT00045

도 7a 및 도 7b는 본 발명을 적용한 일실시예로서, 블록이 분할된 경우 분할된 블록의 조명 평균값의 획득 및 조명 평균 예측값을 유도함에 있어서, 상기 분할된 블록을 둘러싸는 픽셀 전부를 이용하거나 상기 분할된 블록을 둘러싸는 픽셀들만을 이용하는 것을 설명하기 위한 8x16 매크로 블록을 도시한 것이다. 분할된 각 블록의 조명 평균값을 구하는 방법은 상기 도 6a 및 도 6b에서 구하는 방법과 동일하다.7A and 7B illustrate an embodiment to which the present invention is applied. In the case where a block is divided, in order to obtain an illumination average value of the divided block and derive an illumination average prediction value, all pixels surrounding the divided block are used or An 8x16 macroblock is shown to illustrate the use of only pixels surrounding the divided block. The method of obtaining the average illumination value of each divided block is the same as the method obtained in FIGS. 6A and 6B.

도 8a 및 도 8b는 본 발명을 적용한 일실시예로서, 블록이 분할된 경우 분할된 블록의 조명 평균값의 획득 및 조명 평균 예측값을 유도함에 있어서, 상기 분할된 블록을 둘러싸는 픽셀 전부를 이용하거나 상기 분할된 블록을 둘러싸는 픽셀들만을 이용하는 것을 설명하기 위한 8x8 매크로 블록을 도시한 것이다. 분할된 각 블록의 조명 평균값을 구하는 방법은 상기 도 6a 및 도 6b에서 구하는 방법과 동일하다.8A and 8B illustrate an embodiment to which the present invention is applied. In the case where a block is divided, in order to obtain an illumination average value of the divided block and derive an illumination average prediction value, all pixels surrounding the divided block are used or An 8x8 macroblock is illustrated to illustrate using only the pixels surrounding the divided block. The method of obtaining the average illumination value of each divided block is the same as the method obtained in FIGS. 6A and 6B.

상기의 방법들과 마찬가지로 8x8 블록은 더 세부블록으로 분할될 수 있고, 동일한 방법이 적용될 수 있다.Like the above methods, the 8x8 block may be further divided into subblocks, and the same method may be applied.

위와 같은 방식으로 부호화하려는 영상의 현재 블록과 참조 영상에서의 해당 블록 픽셀의 조명 평균값을 예측하여 각각

Figure 112006029348668-PAT00046
,
Figure 112006029348668-PAT00047
이라고 한다. 각 블록 내의 모든 픽셀에 대해서 각각의 조명 평균 예측값을 뺀 후에, 두 블록의 오차값을 다음과 같 이 계산한다. In this way, the illumination average value of the current block of the image to be encoded and the corresponding block pixel in the reference image are predicted, respectively.
Figure 112006029348668-PAT00046
,
Figure 112006029348668-PAT00047
It is called. After subtracting the respective illumination average predictions for all pixels in each block, the error values of the two blocks are calculated as follows.

Figure 112006029348668-PAT00048
Figure 112006029348668-PAT00048

여기서,

Figure 112006029348668-PAT00049
는 변이 벡터(disparity vector)를 의미하고,
Figure 112006029348668-PAT00050
는 픽셀값을 표현한다. 이 블록 오차가 가장 작은 참조 영상의 블록을 조명(illumination)이 보상된 최적 블록으로 선택한다. 이때, 추정된 변이 벡터(disparity vector)는
Figure 112006029348668-PAT00051
가 된다. 실제 시스템에서는 조명 보상(illumination compensation)을 하지 않는 경우와 결과를 비교하여, 성능이 좋은 것을 선택한다.here,
Figure 112006029348668-PAT00049
Means a disparity vector,
Figure 112006029348668-PAT00050
Represents a pixel value. The block of the reference image having the smallest block error is selected as the optimal block whose illumination is compensated. In this case, the estimated disparity vector is
Figure 112006029348668-PAT00051
Becomes In a real system, the results are compared with those without illumination compensation, and the one with the best performance is selected.

위 방식의 한가지 변형으로는, 참조 영상 블록의 조명 평균값은 주위 픽셀값을 가지고 예측하는 것이 아니라, 실제 블록 내의 모든 픽셀들의 조명 평균값으로 직접 계산하는 경우가 있다. 다른 변형으로서, 상단과 좌측 이용 픽셀의 수를 늘리는 경우이다. 즉 바로 인접한 한층의 픽셀들만이 아니라, 인접한 2개 이상 층의 픽셀들을 이용할 수도 있다.In one variation of the above scheme, the illumination average value of the reference picture block is calculated directly from the illumination average value of all pixels in the actual block, rather than predicted with the surrounding pixel values. Another variation is the case of increasing the number of upper and left used pixels. That is, not only pixels of one adjacent layer but also pixels of two or more adjacent layers may be used.

디코더 측에서는 식별 정보를 통해서 해당 블록의 조명 보상(illumination compensation) 여부를 결정한 후, 조명 보상을 하게 되는 경우, 오차값

Figure 112006029348668-PAT00052
에 대한 복호된 값을 먼저 구하고, 상기 예측 방법에 따라, 예측 값을 구한다. 그리고 이 두 값을 더함으로써
Figure 112006029348668-PAT00053
를 복호 할 수 있다. 참조 블록(Reference block)에서
Figure 112006029348668-PAT00054
을 빼 준 후, 블록 차분(block residual)값의 복호된 값에 더해줌으로써 현재 블록의 조명 평균값을 최종적으로 구할 수 있다.The decoder determines the illumination compensation of the corresponding block through the identification information, and then, if the illumination compensation is performed, an error value
Figure 112006029348668-PAT00052
A decoded value for is first obtained, and then a prediction value is obtained according to the prediction method. And by adding these two values
Figure 112006029348668-PAT00053
Can be decrypted. In the reference block
Figure 112006029348668-PAT00054
After subtracting, the average value of the illumination of the current block can be finally obtained by adding the decoded value of the block residual value.

도 9는 본 발명을 적용한 비디오 영상의 부호화 장치를 설명하기 위한 블록 구성도를 도시한 것이다. 상기 장치는 조명 평균값 획득부(710), 조명 평균값 예측부(720), 오차값 부호화부(730), 엔트로피 부호화부(740)를 포함하여 이루어진다. 조명 평균값 획득부(710)는 현재 블록에 인접한 블록들과 다른 시점의 참조 영상 블록들 중 적어도 하나의 블록에 대한 조명(illumination) 평균값을 획득한다. 조명 평균값 예측부(720)는 상기 조명 평균값 획득부(710)에서 획득한 값으로부터 복수개의 모드들 중에서 하나 이상의 모드를 이용하여 현재 블록의 조명 평균 예측값을 유도한다. 오차값 부호화부(730)는 상기 현재 블록의 조명 평균 예측값과 실제 조명 평균값과의 오차값을 획득한다. 상기 선택된 모드에 대한 식별 정보와 상기 획득된 조명 평균 예측값과 오차값은 엔트로피 부호화부(740)로 전송된다.9 is a block diagram for explaining an apparatus for encoding a video image according to the present invention. The apparatus includes an illumination average value obtainer 710, an illumination average value predictor 720, an error value encoder 730, and an entropy encoder 740. The illumination average value acquisition unit 710 obtains an illumination average value of at least one block among reference image blocks at different views from blocks adjacent to the current block. The illumination average predictor 720 derives the illumination average predicted value of the current block by using one or more modes among a plurality of modes from the value obtained by the illumination average value acquirer 710. The error value encoder 730 obtains an error value between an illumination average prediction value of the current block and an actual illumination average value. The identification information of the selected mode, the obtained illumination average prediction value, and the error value are transmitted to the entropy encoder 740.

도 10은 본 발명을 적용한 비디오 영상의 복호화 장치를 설명하기 위한 블록 구성도를 도시한 것이다. 상기 장치는 조명 평균값 예측부(810), 오차값 복호화부(820), 조명 보상부(830)를 포함하여 이루어진다. 조명 평균값 예측부(810)는 현재 블록에 인접한 블록들과 다른 시점의 참조 영상 블록들 중 적어도 하나의 블록에 기초하여 현재 블록의 조명 평균 예측값을 유도하고, 상기 유도된 조명 평균 예측값은 조명 보상부(830)로 전송된다. 오차값 복호화부(820)는 수신된 모드 식별 정보에 근거하여 오차값을 복호화하고, 복호화된 오차값을 조명 보상부(830)로 전송한다. 조명 보상부(830)는 상기 전송된 조명 평균 예측값과 오차값으로부터 조명 보상을 수행하여 현재 블록의 조명 평균값을 복원하게 된다.10 is a block diagram illustrating a decoding apparatus of a video image according to the present invention. The apparatus includes an illumination average value predictor 810, an error value decoder 820, and an illumination compensator 830. The illumination average predictor 810 derives an illumination average prediction value of the current block based on at least one block of reference image blocks different from the blocks adjacent to the current block, and the derived illumination average predictor is an illumination compensator. 830 is sent. The error value decoder 820 decodes the error value based on the received mode identification information, and transmits the decoded error value to the illumination compensator 830. The illumination compensator 830 restores the illumination average value of the current block by performing illumination compensation from the transmitted illumination average prediction value and the error value.

다시점 비디오(Multi-view video)의 각 시점 영상(view sequence)들은 카메 라의 내외적 요인으로 인하여 조명 (illumination) 차이가 발생하게 된다. 이러한 조명 (illumination) 차이는 다른 시점(view)들 간의 상관도를 현저히 떨어뜨려 효과적인 부호화를 저해하게 된다. 따라서, 본 발명에서는 부호화하려는 블록(current block)의 평균값을 주변 블록으로부터 예측하고 그 차이 값만을 보내는 방식을 이용함으로써, 조명 보상(illumination compensation)을 위해서 전송해야 하는 정보를 최소화할 수 있다.Each view sequence of a multi-view video has an illumination difference due to internal and external factors of the camera. This illumination difference significantly degrades the correlation between different views, thus hampering effective coding. Therefore, the present invention can minimize the information to be transmitted for illumination compensation by using a method of predicting the average value of the current block to be encoded from the neighboring block and sending only the difference value.

또한, 방대한 데이터량을 필요로 하는 다시점 비디오 영상에 있어서 효율적인 조명 보상(illumination compensation)을 수행함으로써 부호화 효율을 높일 수 있다. 또한, 블록 간 또는 시점 간의 상관관계를 이용함으로써 효율적인 부호화 및 복호화 시스템을 구성하는 것이 가능해진다. In addition, encoding efficiency may be improved by performing efficient illumination compensation on a multiview video image requiring a large amount of data. In addition, it is possible to construct an efficient encoding and decoding system by using correlations between blocks or viewpoints.

Claims (26)

비디오 영상의 부호화 방법에 있어서,In the encoding method of a video image, (a)현재 블록에 인접한 블록들과 다른 시점의 참조 영상 블록들 중 적어도 하나의 블록에 대한 조명(illumination) 평균값을 획득하는 단계;(a) obtaining an illumination average value of at least one of reference image blocks at different views from blocks adjacent to the current block; (b)상기 획득된 적어도 하나의 블록에 대한 조명 평균값으로부터 현재 블록의 조명 평균 예측값을 유도하는 단계;(b) deriving an illumination average prediction value of the current block from the obtained illumination average value for the at least one block; (c)상기 현재 블록의 조명 평균 예측값과 현재 블록의 조명 평균값 사이의 오차값을 획득하는 단계로 이루어지는 것을 특징으로 하는 비디오 영상 부호화 방법.and (c) acquiring an error value between the illumination average prediction value of the current block and the illumination average value of the current block. 제 1항에 있어서,The method of claim 1, 상기 (b)단계는 복수개의 모드 중 적어도 하나를 이용하여 상기 현재 블록의 조명 평균 예측값을 유도하는 것을 특징으로 하는 비디오 영상 부호화 방법.The step (b) is a video image encoding method, characterized in that to derive the illumination average prediction value of the current block using at least one of a plurality of modes. 제 2항에 있어서,The method of claim 2, (d)상기 복수개의 모드 각각의 부호화 효율을 측정하여 최적인 모드를 선택하는 단계를 더 포함하는 것을 특징으로 하는 비디오 영상 부호화 방법.and (d) measuring an encoding efficiency of each of the plurality of modes to select an optimal mode. 제 3항에 있어서, The method of claim 3, wherein (e1)상기 선택된 모드를 나타내는 모드 식별 정보를 부호화하여 전송하는 단계를 더 포함하는 것을 특징으로 하는 비디오 영상 부호화 방법.(e1) encoding and transmitting mode identification information indicating the selected mode. 제 3항에 있어서, The method of claim 3, wherein (e2)상기 선택된 모드를 나타내는 모드 식별 정보와 함께 상기 획득된 오차값도 부호화하여 전송하는 단계를 더 포함하는 것을 특징으로 하는 비디오 영상 부호화 방법.and (e2) encoding and transmitting the obtained error value together with mode identification information indicating the selected mode. 제 3항 내지 제 5항 중 어느 한 항에 있어서,The method according to any one of claims 3 to 5, 상기 (d)단계는, 상기 획득된 오차값이 최소가 되는 모드를 상기 최적인 모드로서 선택하는 것을 특징으로 하는 비디오 영상 부호화 방법.In step (d), the video image encoding method comprises selecting a mode in which the obtained error value is minimum as the optimal mode. 제 3항 내지 제 5항 중 어느 한 항에 있어서,The method according to any one of claims 3 to 5, 상기 (d)단계는, 상기 최적인 모드를 선택하는 방법으로 RD(Rate-Distortion)관계식을 이용하는 것을 특징으로 하는 비디오 영상 부호화 방법.In the step (d), the method of selecting the optimal mode uses a rate-distortion (RD) relation. 제 1항 내지 제 3항 중 어느 한 항에 있어서,The method according to any one of claims 1 to 3, 상기 (b)단계는, 현재 블록에 대응되는 다른 시점의 참조 영상 블록의 조명 평균값으로부터 상기 현재 블록의 조명 평균 예측값을 유도하는 것(Mode1)을 특징으로 하는 비디오 영상 부호화 방법.In the step (b), the method for deriving an illumination average prediction value of the current block from the illumination average value of the reference image block at another time point corresponding to the current block (Mode1). 제 1항 내지 제 3항 중 어느 한 항에 있어서,The method according to any one of claims 1 to 3, 상기 (b)단계는, 현재 블록과 이에 대응되는 다른 시점의 참조 영상 블록의 조명 평균값과의 차이를 현재 블록과 참조 영상 블록에 각각 인접한 블록들끼리의 조명 평균값 차이로부터 상기 현재 블록의 조명 평균 예측값을 유도하는 것(Mode2)을 특징으로 하는 비디오 영상 부호화 방법.In the step (b), the difference between the illumination average value of the current block and the reference image block at another time point corresponding thereto is determined from the difference in illumination average values between the blocks adjacent to the current block and the reference image block, respectively. Video encoding method, characterized by inducing (Mode2). 제 1항 내지 제 3항 중 어느 한 항에 있어서,The method according to any one of claims 1 to 3, 상기 (b)단계는, 현재 블록에 인접한 블록의 조명 평균값과 현재 블록에 대응되는 다른 시점의 참조 영상 블록의 조명 평균값과의 차이로부터 상기 현재 블록의 조명 평균 예측값을 유도하는 것(Mode3)을 특징으로 하는 비디오 영상 부호화 방법.In the step (b), the lighting average prediction value of the current block is derived from the difference between the illumination average value of the block adjacent to the current block and the illumination average value of the reference image block of another view corresponding to the current block (Mode3). A video image encoding method. 제 1항 내지 제 3항 중 어느 한 항에 있어서,The method according to any one of claims 1 to 3, 상기 (b)단계는, 현재 블록에 인접한 블록이 다른 시점의 참조 영상 블록에 인접한 블록으로부터 부호화된 경우, 현재 블록에 인접한 블록의 조명 평균 예측값차이로부터 현재 블록의 조명 평균 예측값을 유도하는 것(Mode4)을 특징으로 하는 비디오 영상 부호화 방법.In the step (b), when the block adjacent to the current block is encoded from a block adjacent to the reference image block at another point in time, deriving an illumination average predicted value of the current block from the difference in the illumination average predicted value of the block adjacent to the current block (Mode4). Video image encoding method. 제 2항에 있어서,The method of claim 2, 상기 적어도 하나의 모드는 Mode1 내지 Mode4 중 적어도 하나의 모드인 것을 특징으로 하는 비디오 영상 부호화 방법.The at least one mode is at least one of Mode1 to Mode4 video encoding method. 제 1항 내지 제 3항 중 어느 한 항에 있어서,The method according to any one of claims 1 to 3, (a)단계, (b)단계의 조명 평균값의 획득 및 조명 평균 예측값을 유도하는 것은, 상기 인접한 블록들 내에서 현재 블록과 인접한 픽셀들의 이미 복호화된 값들을 이용하는 것을 특징으로 하는 비디오 영상 부호화 방법.obtaining the illumination mean value and deriving an illumination mean prediction value of steps (a) and (b) comprises using previously decoded values of pixels adjacent to the current block in the adjacent blocks. 제 13항에 있어서,The method of claim 13, (b)단계의 조명 평균 예측값을 유도하는 것은, 상기 현재 블록이 분할된 경우, 상기 블록을 둘러싸는 픽셀 전부를 이용하는 것을 특징으로 하는 비디오 영상 부호화 방법.Deriving the illumination average prediction value of step (b), when the current block is divided, video video encoding method characterized in that to use all the pixels surrounding the block. 제 13항에 있어서,The method of claim 13, (b)단계의 조명 평균 예측값을 유도하는 것은, 상기 현재 블록이 분할된 경우, 분할된 블록을 둘러싸는 픽셀들만을 이용하는 것을 특징으로 하는 비디오 영상 부호화 방법.Deriving the illumination average prediction value of step (b), when the current block is partitioned, characterized in that using only the pixels surrounding the partitioned block. 제 14항에 있어서,The method of claim 14, 상기 (c)단계는, 상기 각 현재 블록 내의 모든 픽셀에 대해 각각의 상기 조 명 평균 예측값을 빼고, 상기 두 블록의 오차값을 획득하는 것을 특징으로 하는 비디오 영상 부호화 방법.In the step (c), subtracting the respective illumination average prediction values for all the pixels in each current block, and obtaining the error values of the two blocks. 제 15항에 있어서,The method of claim 15, 상기 (c)단계는, 상기 각 현재 블록 내의 모든 픽셀에 대해 각각의 상기 조명 평균 예측값을 빼고, 상기 두 블록의 오차값을 획득하는 것을 특징으로 하는 비디오 영상 부호화 방법.In the step (c), subtracting each illumination average prediction value for all pixels in each current block, and obtaining an error value of the two blocks. 비디오 영상의 복호화 방법에 있어서,In the decoding method of a video image, (l)비디오 신호로부터 현재 블록의 조명 평균값을 복원하기 위한 오차값을 획득하는 단계;(l) obtaining an error value for reconstructing the illumination average value of the current block from the video signal; (m)다른 시점의 참조 영상 블록들에 기초하여 현재 블록의 조명 평균 예측값을 유도하는 단계;(m) deriving an illumination average prediction value of the current block based on the reference picture blocks at different views; (n)상기 조명 평균 예측값과 오차값으로부터 상기 현재 블록의 조명 평균값을 복원하는 단계를 포함하여 이루어지는 것을 특징으로 하는 비디오 영상 복호화 방법.and (n) restoring an illumination average value of the current block from the illumination average prediction value and the error value. 제 18항에 있어서,The method of claim 18, 상기 (m)단계는, 상기 비디오 신호로부터 추출된 모드 식별 정보에 근거하여 이루어지는 것을 특징으로 하는 비디오 영상 복호화 방법.The step (m) is performed on the basis of mode identification information extracted from the video signal. 제 18항 또는 제 19항에 있어서,The method of claim 18 or 19, 상기 (m)단계에서, 상기 조명 평균 예측값은 현재 블록에 대응되는 다른 시점의 참조 영상 블록의 조명 평균값으로부터 유도되는 것(Mode1)을 특징으로 하는 비디오 영상 복호화 방법.In step (m), the illumination average prediction value is derived from an illumination average value of a reference image block of another view corresponding to the current block (Mode1). 제 18항 또는 제 19항에 있어서,The method of claim 18 or 19, 상기 (m)단계에서, 상기 조명 평균 예측값은 현재 블록과 이에 대응되는 다른 시점의 참조 영상 블록의 조명 평균값과의 차이를 현재 블록과 참조 영상 블록에 각각 인접한 블록들끼리의 조명 평균값 차이로부터 유도되는 것(Mode2)을 특징으로 하는 비디오 영상 복호화 방법.In step (m), the illumination average prediction value is derived from a difference between illumination average values of the current block and reference image blocks corresponding to other views from the illumination average values of the blocks adjacent to the current block and the reference image block, respectively. The video image decoding method characterized in that (Mode2). 제 18항 또는 제 19항에 있어서,The method of claim 18 or 19, 상기 (m)단계에서, 상기 조명 평균 예측값은 현재 블록에 인접한 블록의 조명 평균값과 현재 블록에 대응되는 다른 시점의 참조 영상 블록의 조명 평균값과의 차이로부터 유도되는 것(Mode3)을 특징으로 하는 비디오 영상 복호화 방법.In the step (m), the illumination average prediction value is a video, characterized in that derived from the difference between the illumination average value of the block adjacent to the current block and the illumination average value of the reference image block of another view corresponding to the current block (Mode3) Image Decoding Method. 제 18항 또는 제 19항에 있어서,The method of claim 18 or 19, 상기 (m)단계에서, 상기 조명 평균 예측값은, 현재 블록에 인접한 블록이 다른 시점의 참조 영상 블록에 인접한 블록으로부터 부호화된 경우 현재 블록에 인접 한 블록의 조명 평균 예측값 차이로부터 유도되는 것(Mode4)을 특징으로 하는 비디오 영상 복호화 방법.In step (m), the illumination average prediction value is derived from a difference in illumination average prediction values of a block adjacent to the current block when a block adjacent to the current block is encoded from a block adjacent to a reference image block at another point of time (Mode 4). The video image decoding method characterized in that. 제 18항 또는 제 19항에 있어서,The method of claim 18 or 19, 상기 (n)단계는, 상기 조명 평균 예측값과 오차값을 합산하여 상기 현재 블록의 조명 평균값을 복원하는 것을 특징으로 하는 비디오 영상 복호화 방법.In the step (n), the illumination average prediction value and the error value are summed to restore the illumination average value of the current block. 비디오 영상 부호화 장치에 있어서,In the video image encoding apparatus, 현재 블록에 인접한 블록들과 다른 시점의 참조 영상 블록들의 조명(illumination) 평균값을 획득하는 조명 평균값 획득부와;An illumination average value acquisition unit obtaining an illumination average value of reference image blocks at different views from blocks adjacent to the current block; 상기 획득된 평균값으로부터 상기 현재 블록의 조명 평균 예측값을 유도하는 조명 평균값 예측부와;An illumination average value prediction unit for deriving an illumination average prediction value of the current block from the obtained average value; 상기 조명 평균 예측값과 현재 블록의 조명 평균값과의 오차값을 구하는 오차값 부호화부를 포함하여 이루어지는 것을 특징으로 하는 비디오 영상 부호화 장치.And an error value encoder for obtaining an error value between the illumination average predicted value and the illumination average value of the current block. 비디오 영상 복호화 장치에 있어서,In the video image decoding device, 수신된 비트스트림으로부터 오차값을 획득하는 오차값 복호화부와;An error value decoder for obtaining an error value from the received bitstream; 다른 시점의 참조 영상 블록에 기초하여 현재 블록의 조명 평균 예측값을 유도하는 조명 평균값 예측부와;An illumination average value predictor which derives an illumination average predicted value of the current block based on the reference image block of another viewpoint; 상기 오차값과 조명 평균 예측값으로부터 현재 블록의 조명 평균값을 복원하는 조명 보상부를 포함하여 이루어지는 것을 특징으로 하는 비디오 영상 복호화 장치.And an illumination compensator for restoring the illumination average value of the current block from the error value and the illumination average prediction value.
KR1020060037773A 2006-01-12 2006-04-26 Method and apparatus for coding and decoding of video sequence KR20070076356A (en)

Priority Applications (34)

Application Number Priority Date Filing Date Title
CN 201010135987 CN101895744B (en) 2006-01-12 2007-01-12 Processing multiview video
US11/622,803 US20070177674A1 (en) 2006-01-12 2007-01-12 Processing multiview video
US11/622,618 US7817866B2 (en) 2006-01-12 2007-01-12 Processing multiview video
JP2008550242A JP5199123B2 (en) 2006-01-12 2007-01-12 Multi-view video processing
KR1020087019746A KR100947234B1 (en) 2006-01-12 2007-01-12 Method and apparatus for processing multiview video
CN200780003083.8A CN101371571B (en) 2006-01-12 2007-01-12 Processing multiview video
KR1020097017207A KR100943913B1 (en) 2006-01-12 2007-01-12 Method and apparatus for processing multiview video
KR20087019747A KR100953646B1 (en) 2006-01-12 2007-01-12 Method and apparatus for processing multiview video
PCT/KR2007/000226 WO2007081177A1 (en) 2006-01-12 2007-01-12 Processing multiview video
EP07700952A EP1982517A4 (en) 2006-01-12 2007-01-12 Processing multiview video
EP07700955A EP1982518A4 (en) 2006-01-12 2007-01-12 Processing multiview video
US11/622,681 US8115804B2 (en) 2006-01-12 2007-01-12 Processing multiview video
KR1020097017206A KR100943912B1 (en) 2006-01-12 2007-01-12 Method and apparatus for processing multiview video
PCT/KR2007/000225 WO2007081176A1 (en) 2006-01-12 2007-01-12 Processing multiview video
US11/622,709 US8154585B2 (en) 2006-01-12 2007-01-12 Processing multiview video
DE200720019463 DE202007019463U1 (en) 2006-01-12 2007-01-12 Multiview video processing device
PCT/KR2007/000228 WO2007081178A1 (en) 2006-01-12 2007-01-12 Processing multiview video
US11/622,591 US7831102B2 (en) 2006-01-12 2007-01-12 Processing multiview video
CN2007800031205A CN101375594B (en) 2006-01-12 2007-01-12 Processing multiview video
JP2008550241A JP5192393B2 (en) 2006-01-12 2007-01-12 Multi-view video processing
KR1020097017208A KR100934676B1 (en) 2006-01-12 2007-01-12 Processing multiview video
CN 201010275254 CN101945277B (en) 2006-01-12 2007-01-12 Processing multiview video
KR1020097017209A KR100943914B1 (en) 2006-01-12 2007-01-12 Method and apparatus for processing multiview video
US11/622,611 US7817865B2 (en) 2006-01-12 2007-01-12 Processing multiview video
US11/622,592 US7856148B2 (en) 2006-01-12 2007-01-12 Processing multiview video
KR1020087019748A KR101276847B1 (en) 2006-01-12 2007-01-12 Processing multiview video
US11/622,675 US20070177671A1 (en) 2006-01-12 2007-01-12 Processing multiview video
JP2008550243A JP5199124B2 (en) 2006-01-12 2007-01-12 Multi-view video processing
KR1020097017211A KR100943915B1 (en) 2006-01-12 2007-01-12 Method and apparatus for processing multiview video
KR1020097017210A KR100934677B1 (en) 2006-01-12 2007-01-12 Processing multiview video
EP07700953A EP1977593A4 (en) 2006-01-12 2007-01-12 Processing multiview video
US12/545,462 US7970221B2 (en) 2006-01-12 2009-08-21 Processing multiview video
US13/356,354 US8553073B2 (en) 2006-01-12 2012-01-23 Processing multiview video
US13/720,479 USRE44680E1 (en) 2006-01-12 2012-12-19 Processing multiview video

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US75962006P 2006-01-18 2006-01-18
US60/759,620 2006-01-18
US76253406P 2006-01-27 2006-01-27
US60/762,534 2006-01-27
US78719306P 2006-03-30 2006-03-30
US60/787,193 2006-03-30

Publications (1)

Publication Number Publication Date
KR20070076356A true KR20070076356A (en) 2007-07-24

Family

ID=38501311

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020060037774A KR20070076357A (en) 2006-01-18 2006-04-26 Method and apparatus for coding and decoding of video sequence
KR1020060037773A KR20070076356A (en) 2006-01-12 2006-04-26 Method and apparatus for coding and decoding of video sequence

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020060037774A KR20070076357A (en) 2006-01-18 2006-04-26 Method and apparatus for coding and decoding of video sequence

Country Status (1)

Country Link
KR (2) KR20070076357A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009104914A2 (en) * 2008-02-20 2009-08-27 삼성전자 주식회사 Method and apparatus for image encoding and decoding
KR20140008226A (en) * 2012-07-10 2014-01-21 삼성전자주식회사 Method and apparatus for estimating motion of image using disparity information of multi view image

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101361005B1 (en) 2008-06-24 2014-02-13 에스케이 텔레콤주식회사 Intra Prediction Method and Apparatus and Image Encoding/Decoding Method and Apparatus Using Same
KR101681301B1 (en) 2010-08-12 2016-12-01 에스케이 텔레콤주식회사 Method and Apparatus for Encoding/Decoding of Video Data Capable of Skipping Filtering Mode
WO2012034113A2 (en) * 2010-09-10 2012-03-15 Stereonics, Inc. Stereoscopic three dimensional projection and display

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009104914A2 (en) * 2008-02-20 2009-08-27 삼성전자 주식회사 Method and apparatus for image encoding and decoding
WO2009104914A3 (en) * 2008-02-20 2009-11-05 삼성전자 주식회사 Method and apparatus for image encoding and decoding
KR20140008226A (en) * 2012-07-10 2014-01-21 삼성전자주식회사 Method and apparatus for estimating motion of image using disparity information of multi view image

Also Published As

Publication number Publication date
KR20070076357A (en) 2007-07-24

Similar Documents

Publication Publication Date Title
KR101276720B1 (en) Method for predicting disparity vector using camera parameter, apparatus for encoding and decoding muti-view image using method thereof, and a recording medium having a program to implement thereof
KR100856411B1 (en) Method and apparatus for compensating illumination compensation and method and apparatus for encoding moving picture based on illumination compensation, and method and apparatus for encoding moving picture based on illumination compensation
KR100943912B1 (en) Method and apparatus for processing multiview video
JP4414379B2 (en) Video encoding method, video decoding method, video encoding program, video decoding program, and computer-readable recording medium on which these programs are recorded
CN104412597B (en) The method and device that unified difference vector for 3D Video codings is derived
KR101653118B1 (en) Method for processing one or more videos of a 3d-scene
CN102006480B (en) Method for coding and decoding binocular stereoscopic video based on inter-view prediction
KR101631183B1 (en) MULTIVIEW IMAGE ENCODNG METHOD, MULTIVIEW IMAGE DECODNG METHOD, MULTIVIEW IMAGE ENCODlNG DEVICE, MULTIVIEW lNlAGE DECODlNG DEVICE, AND PROGRAMS OF SAME
JP6039178B2 (en) Image encoding apparatus, image decoding apparatus, method and program thereof
KR20120084629A (en) Apparatus and method for encoding and decoding motion information and disparity information
KR101360279B1 (en) Method and apparatus for sharing motion information using global disparity estimation by macroblock unit, and method and apparatus for encoding/decoding multi-view video image using it
KR20070076356A (en) Method and apparatus for coding and decoding of video sequence
KR20110124447A (en) Apparatus and method for 3d video coding
KR20160072101A (en) Method and apparatus for decoding multi-view video
KR101599042B1 (en) Method and Apparatus for Multiview Depth image Coding and Decoding
CN105103546A (en) Method and device for encoding a plurality of input images, and storage medium for storing program
WO2007037645A1 (en) Method of estimating disparity vector using camera parameters, apparatus for encoding and decoding multi-view picture using the disparity vectors estimation method, and computer-redadable recording medium storing a program for executing the method
KR20140124919A (en) A method for adaptive illuminance compensation based on object and an apparatus using it
KR101363044B1 (en) Method and apparatus for determining encoding mode of video image, method and apparatus for encoding/decoding video image using the same and recording medium storing program for performing the method thereof
KR101187580B1 (en) Method and apparatus for compensating illumination compensation and method and apparatus for encoding moving picture based on illumination compensation, and method and apparatus for encoding moving picture based on illumination compensation
JP4851564B2 (en) Video encoding method, video decoding method, video encoding program, video decoding program, and computer-readable recording medium on which these programs are recorded
Daribo et al. Joint depth-motion dense estimation for multiview video coding
JP2015128252A (en) Prediction image generating method, prediction image generating device, prediction image generating program, and recording medium
KR101276847B1 (en) Processing multiview video
KR20070076391A (en) A method and apparatus for decoding/encoding a video signal