KR20070098428A - Method and apparatus for decoding/encoding a video signal - Google Patents
Method and apparatus for decoding/encoding a video signal Download PDFInfo
- Publication number
- KR20070098428A KR20070098428A KR1020060097212A KR20060097212A KR20070098428A KR 20070098428 A KR20070098428 A KR 20070098428A KR 1020060097212 A KR1020060097212 A KR 1020060097212A KR 20060097212 A KR20060097212 A KR 20060097212A KR 20070098428 A KR20070098428 A KR 20070098428A
- Authority
- KR
- South Korea
- Prior art keywords
- macroblock
- type
- prediction
- slice
- view
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
도 1은 본 발명을 적용한 다시점 영상 부호화 및 복호화 시스템을 나타내는 도면이다.1 is a diagram illustrating a multiview image encoding and decoding system according to the present invention.
도 2는 본 발명을 적용한 다시점 비디오 코딩에 있어서, 픽쳐들 간의 예측 구조를 나타내는 도면이다.2 is a diagram illustrating a prediction structure between pictures in multi-view video coding according to the present invention.
도 3은 본 발명에 의한 비디오 신호 디코딩 장치의 실시예의 블럭도이다.3 is a block diagram of an embodiment of a video signal decoding apparatus according to the present invention.
도 4는 도 3에 도시된 장치에서 수행되는 본 발명에 의한 비디오 신호 디코딩 방법을 설명하기 위한 흐름도이다.FIG. 4 is a flowchart illustrating a video signal decoding method according to the present invention performed in the apparatus shown in FIG. 3.
도 5는 본 발명에 의한 매크로블록 프리딕션 모드의 일 실시예를 나타내는 도면이다.5 is a diagram illustrating an embodiment of a macroblock prediction mode according to the present invention.
도 6(a) 및 도 6(b)는 본 발명에 의한 슬라이스 타입 및 매크로블록 프리딕션 모드가 적용된 신택스(syntax)를 나타내는 도면이다.6 (a) and 6 (b) are diagrams showing syntax to which a slice type and a macroblock prediction mode according to the present invention are applied.
도 7(a), 도 7(b) 및 도 7 (c)은 도 6(b)에서의 슬라이스 타입이 적용된 실시예들을 나타내는 도면이다.7 (a), 7 (b) and 7 (c) are diagrams illustrating embodiments to which the slice type of FIG. 6 (b) is applied.
도 8은 6(b)의 슬라이스 타입에 포함되는 슬라이스 타입의 다양한 실시예를 나타내는 도면이다.8 is a diagram illustrating various embodiments of a slice type included in a slice type of 6 (b).
도 9는 본 발명에 의한 양 예측이 혼합된 예측에 의한 믹스드 슬라이스 타입(Mixed)에서 허용되는 매크로블록의 일 실시예를 나타내는 도면이다.FIG. 9 is a diagram illustrating an embodiment of a macroblock that is allowed in a mixed slice type (Mixed) by mixed prediction according to the present invention.
도 10은 본 발명에 의한 양 예측이 혼합된 예측에 의한 믹스드 슬라이스(Mixed)에 존재하는 매크로블록의 매크로블록 타입의 일 실시예를 나타내는 도면이다. FIG. 10 is a diagram illustrating an embodiment of a macroblock type of a macroblock present in a mixed slice (Mixed) by mixed prediction according to the present invention.
도 11은 본 발명에 의한 비디오 신호 인코딩 장치의 실시예의 블럭도이다.11 is a block diagram of an embodiment of a video signal encoding apparatus according to the present invention.
도 12는 도 11에 도시된 장치에서 수행되는 본 발명에 의한 비디오 신호 디코딩 방법을 설명하기 위한 흐름도이다.FIG. 12 is a flowchart for describing a video signal decoding method according to the present invention performed in the apparatus shown in FIG. 11.
본 발명은 비디오 신호 디코딩 방법 및 장치에 관한 것으로서, 특히 시점 내 예측(intra-view prediction) 또는 시점 간 예측(inter-view prediction)에 의한 비디오 신호 디코딩 방법 및 장치에 관한 것이다.The present invention relates to a video signal decoding method and apparatus, and more particularly, to a video signal decoding method and apparatus by intra-view prediction or inter-view prediction.
현재 주류를 이루고 있는 비디오 방송 영상물은 한 대의 카메라로 획득한 단일시점 영상이다. 반면, 다시점 비디오(Multi-view video)는 한 대 이상의 카메라를 통해 촬영된 영상들을 기하학적으로 교정하고 공간적인 합성 등을 통하여 여러 방향의 다양한 시점을 사용자에게 제공하는 3차원(3D) 영상처리의 한 분야이다. 다시점 비디오는 사용자에게 시점의 자유를 증가시킬 수 있으며, 한대의 카메라를 이용하여 획득할 수 있는 영상 영역에 비해 큰 영역을 포함하는 특징을 지닌다. The mainstream video broadcasting image is a single view image acquired with one camera. Multi-view video, on the other hand, is a three-dimensional (3D) image processing method that geometrically corrects images captured by one or more cameras and provides users with various viewpoints in various directions through spatial synthesis. It is a field. Multi-view video can increase the freedom of view for the user, and has a feature that includes a larger area than the image area that can be acquired using a single camera.
이러한, 다시점 비디오 영상은 시점들 사이에 높은 상관 관계를 가지고 있기 때문에 시점들 사이의 공간적 예측을 통해서 중복된 정보를 제거할 수 있다. 따라서, 시점들 사이의 예측을 위한 다양한 예측 방식이 필요하다.Since the multi-view video image has a high correlation between viewpoints, redundant information may be removed through spatial prediction between viewpoints. Therefore, various prediction methods for prediction between viewpoints are needed.
본 발명이 이루고자 하는 기술적 과제는, 시점들 사이의 다양한 예측 방식을 제공하는 비디오 신호 디코딩 방법 및 장치를 제공하는 데 있다.An object of the present invention is to provide a video signal decoding method and apparatus for providing various prediction methods between viewpoints.
본 발명이 이루고자 하는 다른 기술적 과제는, 시점들 사이의 다양한 예측 방식에 의해 부호화 성능이 우수한 비디오 신호 인코딩 방법 및 장치를 제공하는 데 있다.Another object of the present invention is to provide a video signal encoding method and apparatus having excellent encoding performance by various prediction methods between viewpoints.
상기 과제를 이루기 위해, 본 발명에 의한 비디오 신호 디코딩 방법은 현재 매크로블록을 포함하는 슬라이스의 슬라이스 타입을 추출하는 단계와, 상기 현재 매크로블록을 복원하기 위한 매크로블록 프리딕션 모드에 따라 상기 현재 매크로블록을 디코딩하는 단계를 포함하며, 상기 슬라이스 타입은 적어도 상기 현재 매크로블록에 대해서 시점 간 예측에 대한 정보를 포함하고 있다.In order to achieve the above object, the video signal decoding method according to the present invention extracts a slice type of a slice including a current macroblock, and the current macroblock according to a macroblock prediction mode for reconstructing the current macroblock. And decoding the slice type, wherein the slice type includes information on inter-view prediction for at least the current macroblock.
또한, 상기 과제를 이루기 위해, 본 발명에 의한 비디오 신호 디코딩 장치는 현재 매크로블록을 포함하는 슬라이스의 슬라이스 타입을 추출하는 슬라이스 타입 추출부와, 상기 현재 매크로블록을 복원하기 위한 매크로블록 프리딕션 모드를 추출하는 프리딕션 모드 추출부 및 상기 추출된 매크로블록 프리딕션 모드에 따라 상기 현재 매크로블록을 디코딩하는 복호화부를 포함한다.In addition, to achieve the above object, the video signal decoding apparatus according to the present invention comprises a slice type extractor for extracting a slice type of a slice including a current macroblock, and a macroblock prediction mode for reconstructing the current macroblock. And a decoding unit to decode the current macroblock according to the extracted prediction mode extractor and the extracted macroblock prediction mode.
상기 다른 과제를 이루기 위해, 본 발명에 의한 비디오 신호 인코딩 방법은 (a) 시점 내 예측을 위한 제1매크로블록 타입과 시점 간 예측을 위한 제2매크로블록 타입을 결정하는 단계와, (b) 상기 제1매크로블록 타입을 가지는 제1매크로블록과 상기 제2매크로블록 타입을 가지는 제2매크로블록을 생성하는 단계와, (c) 상기 제1매크로블록과 상기 제2매크로블록을 이용하여 제3매크로블록을 생성하는 단계 및 (d) 상기 제1매크로블록, 제2매크로블록 및 제3매크로블록의 부호화 효율을 비교하여 현재 매크로블록의 매크로블록 타입과 매크로블록 프리딕션 모드(mb_pred_mode)를 인코딩하는 단계로 이루어진다.In order to achieve the above object, the video signal encoding method according to the present invention comprises the steps of: (a) determining a first macroblock type for intra-view prediction and a second macroblock type for inter-view prediction; Generating a first macroblock having a first macroblock type and a second macroblock having the second macroblock type; and (c) a third macroblock using the first macroblock and the second macroblock. Generating a block and (d) encoding the macroblock type of the current macroblock and the macroblock prediction mode (mb_pred_mode) by comparing encoding efficiency of the first macroblock, the second macroblock, and the third macroblock; Is made of.
또한, 상기 다른 과제를 이루기 위해, 본 발명에 의한 비디오 신호 인코딩 장치는 시점 내 예측을 위한 제1매크로블록 타입과 시점 간 예측을 위한 제2매크로블록 타입을 결정하는 매크로블록 타입 결정부와, 상기 제1매크로블록 타입을 가지는 제1매크로블록과 상기 제2매크로블록 타입을 가지는 제2매크로블록을 생성하며, 상기 제1매크로블록과 상기 제2매크로블록을 이용하여 제3매크로블록을 생성하는 매크로블록 생성부 및 상기 제1매크로블록, 제2매크로블록 및 제3매크로블록의 부호화 효율을 비교하여 현재 매크로블록의 매크로블록 타입과 매크로블록 프리딕션 모드를 인코딩하는 부호화부로 구성된다.In addition, to achieve the above object, the video signal encoding apparatus according to the present invention includes a macroblock type determination unit for determining a first macroblock type for intra-view prediction and a second macroblock type for inter-view prediction; A macro for generating a first macroblock having a first macroblock type and a second macroblock having the second macroblock type, and generating a third macroblock using the first macroblock and the second macroblock. And a block generator and an encoder for encoding the macroblock type and the macroblock prediction mode of the current macroblock by comparing encoding efficiency of the first macroblock, the second macroblock, and the third macroblock.
이하, 본 발명에 의한 비디오 신호 디코딩/인코딩 장치의 구성 및 동작과 그 장치에서 수행되는 방법의 실시예를 첨부한 도면들을 참조하여 다음과 같이 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.Hereinafter, a configuration and an operation of a video signal decoding / encoding apparatus according to the present invention and an embodiment of a method performed in the apparatus will be described with reference to the accompanying drawings. At this time, the configuration and operation of the present invention shown in the drawings and described by it will be described as at least one embodiment, by which the technical spirit of the present invention and its core configuration and operation is not limited.
도 1은 본 발명을 적용한 다시점 영상(multi-view sequence) 부호화 및 복호화 시스템을 나타내는 도면이다.1 is a diagram illustrating a multi-view sequence encoding and decoding system according to the present invention.
도 1에 도시된 바와 같이, 본 발명을 적용한 다시점 영상 부호화 시스템은, 다시점 영상 발생부(10), 전처리부(20, preprocessing) 및 인코딩부(30, encoding)를 포함하여 구성된다. 또한, 복호화 시스템은 익스트랙터(40, extractor), 디코딩부(50, decoding), 후처리부(60, post processing) 및 디스플레이부(70, display)를 포함하여 구성된다.As shown in FIG. 1, the multi-view image encoding system to which the present invention is applied includes a
상기 다시점 영상 발생부(10)는 다시점 개수 만큼의 영상 획득장치(예를들어, 카메라 #1 ~ #N)를 구비하여, 각 시점별로 독립적인 영상을 획득하게 된다. 전처리부(20)는 다시점 영상 데이터가 입력되면, 노이즈 제거, 임발란싱(imbalancing) 문제를 해결하면서 전처리 과정을 통해 다시점 영상 데이터들 간의 상관도를 높여주는 기능을 수행한다. 인코딩부(30)는 움직임(motion) 추정부, 움직임 보상부 및 시점 간의 변이(disparity) 추정부, 변이 보상부, 조명(illumination) 보상부, 비트율 제어 및 차분(residual) 영상 부호화부 등을 포함한다. 상기 인코딩부(30)는 일반적으로 알려진 방식을 적용할 수 있다.The
익스트랙터(40)는 전송된 MVC 비트스트림으로부터 원하는 시점(view)에 해당하는 비트스트림만 추출할 수 있는 기능을 한다. 상기 익스트랙터는 헤더를 보고 선택적으로 원하는 시점만 디코딩할 수 있다. 또한, 픽쳐의 시점을 구별하는 시점 식별자(view identifier)를 이용하여 원하는 시점에 해당하는 비트스트림만을 추출 함으로써 시점 확장성(view scalability)을 구현할 수 있다. MVC는 H.264/AVC와 완벽하게 호환이 가능해야 하기 때문에 H.264/AVC와 호환 가능한 특정 시점(view)만 디코딩해야 할 필요가 있다. 이러한 경우, 호환 가능한 시점만 디코딩하기 위해 픽쳐의 시점을 구별하는 시점 식별자가 이용될 수 있다. 익스트랙터(40)를 통해 추출된 비트스트림은 디코딩부(50)로 전송된다. 디코딩부(50)는 움직임 보상부, 조명 보상부, 가중치 예측부, 디블록킹 필터부 등을 포함한다. 디코딩부(50)는 전술한 방식에 의해 부호화된 비트스트림을 수신한 후, 이를 역으로 복호화한다. 복호화된 하나의 시퀀스는 다시 여러 개의 시퀀스로 분리되는데, 이때 여러 대의 카메라에서 획득된 영상 상태처럼 각 시점별로 분리하기 위해서 시점 식별자가 이용될 수 있다. 또한, 후처리부(60)는 디코딩된 데이터의 신뢰도 및 해상도를 높여주는 기능을 수행하게 된다. 마지막으로 디스플레이부(70)는 디스플레이의 기능, 특히 다시점 영상을 처리하는 능력에 따라 다양한 방식으로 사용자에게 디코딩된 데이터를 제공하게 된다. 예를 들어, 평면 2차원 영상만을 제공하는 2D 디스플레이(71)이거나, 2개의 시점을 입체 영상으로 제공하는 스테레오(stereo) 타입의 디스플레이(73)이거나 또는 M개의 시점(2<M)을 입체 영상으로 제공하는 디스플레이(75)일 수 있다.The
도 2는 본 발명을 적용한 다시점 비디오 코딩에 있어서, 픽쳐들 간의 예측 구조를 나타내는 도면이다.2 is a diagram illustrating a prediction structure between pictures in multi-view video coding according to the present invention.
도 2에 도시된 바와 같이 가로축의 T0 ~ T100 은 각각 시간에 따른 프레임을 나타낸 것이고, 세로축의 S0 ~ S100은 각각 시점에 따른 프레임을 나타낸 것이다. 예를 들어, T0에 있는 픽쳐들은 같은 시간대(T0)에 서로 다른 카메라에서 찍은 영 상들을 의미하며, S0 에 있는 픽쳐들은 한 대의 카메라에서 찍은 다른 시간대의 영상들을 의미한다. 또한, 도면 상의 화살표들은 각 픽쳐들의 예측 방향과 순서를 나타낸 것으로서, 예를 들어, T0 시간대의 S2 시점에 있는 P0 픽쳐는 I0로부터 예측된 픽쳐이며, 상기 P0 픽쳐는 TO 시간대의 S4 시점에 있는 또 다른 P0 픽쳐의 참조 픽쳐가 된다. 또한, S2 시점의 T4, T2 시간대에 있는 B1, B2 픽쳐의 참조 픽쳐가 된다.As illustrated in FIG. 2, T0 to T100 on the horizontal axis represent frames according to time, and S0 to S100 on the vertical axis represent frames according to viewpoints, respectively. For example, pictures in T0 refer to images taken by different cameras in the same time zone (T0), and pictures in S0 refer to images in different time zones taken by one camera. In addition, the arrows in the drawing indicate the prediction direction and the order of each picture. For example, a P0 picture at S2 time point in the T0 time zone is a picture predicted from I0, and the P0 picture is also at S4 time point in the TO time zone. It becomes a reference picture of another P0 picture. It is also a reference picture of the B1 and B2 pictures in the T4 and T2 time zones at the time S2.
이와 같이 현재 픽쳐와 같은 시간대에 있으나, 다른 시점에 있는 픽쳐들을 이용하여 예측 부호화를 하게 될 경우, 상기 픽쳐들 사이의 시점을 구별해주는 식별자가 필요하다. 따라서, 임의 픽쳐의 시점을 나타내는 식별자를 시점 식별자(view identifier)라 정의한다. 예를 들어, 상기 TO 시간대의 S4 시점에 있는 P0 픽쳐는 같은 시간대의 S2 시점에 있는 P0 픽쳐를 참조하여 예측 부호화를 수행한다. 이 경우, 상기 S2 시점의 P0 픽쳐를 참조할 때, 상기 S2 시점의 P0 픽쳐의 시점 식별자를 이용하면 좀더 효율적인 예측 부호화를 수행할 수 있게 된다.As such, when prediction encoding is performed using pictures that are in the same time zone as the current picture but at different views, an identifier for distinguishing the viewpoints between the pictures is required. Therefore, an identifier indicating a viewpoint of an arbitrary picture is defined as a view identifier. For example, the P0 picture at S4 in the TO time zone is predictively encoded by referring to the P0 picture at S2 in the same time zone. In this case, when referring to the P0 picture at the S2 viewpoint, more efficient predictive encoding can be performed by using the view identifier of the P0 picture at the S2 viewpoint.
도 3은 본 발명에 의한 비디오 신호 디코딩 장치의 실시예의 블럭도로서, 슬라이스 타입 추출부(31), 프리딕션 모드 추출부(33) 및 복호화부(35)로 구성된다.3 is a block diagram of an embodiment of a video signal decoding apparatus according to the present invention, which is composed of a
도 4는 도 3에 도시된 장치에서 수행되는 본 발명에 의한 비디오 신호 디코딩 방법을 설명하기 위한 흐름도로서, 슬라이스 타입을 추출하는 단계(S41), 매크로블록 프리딕션 모드에 따라 현재 매크로블록을 디코딩하는 단계(S43)로 이루어진다.4 is a flowchart illustrating a video signal decoding method according to the present invention performed in the apparatus shown in FIG. 3. The method of extracting a slice type (S41), and decoding a current macroblock according to a macroblock prediction mode. Step S43 is made.
먼저, 본 발명의 이해를 돕기 위해 본 발명에서 사용되는 예측 방식에 대해 살펴 보기로 한다. 현재 매크로블록이 포함되어 있는 픽쳐와 동일한 시점에 있는 픽쳐를 참조하는지 또는 다른 시점에 있는 픽쳐를 참조하는지에 따라 시점 내 예측(intra-view prediction) 또는 시점 간 예측(inter-view prediction)으로 나눌 수 있다. 또한, 시점 내 예측은 기존의 시간적 예측(temporal prediction)과 동일한 예측 방식이라 할 수 있다.First, the prediction method used in the present invention will be described to help understanding of the present invention. It can be divided into intra-view prediction or inter-view prediction, depending on whether it refers to a picture at the same view as the picture containing the current macroblock or to a picture at another view. have. In addition, the intra-view prediction may be referred to as the same prediction method as the conventional temporal prediction.
본 발명에 의하면, 먼저, 슬라이스 타입 추출부(31)는 현재 매크로블록을 포함하는 슬라이스의 슬라이스 타입을 추출한다(S41).According to the present invention, first, the slice
여기서, 슬라이스 타입은 일 실시예로 시점 내 예측에 의한 슬라이스 타입(slice_type)과 시점 간 예측에 의한 슬라이스 타입의 두 가지가 가능하다. 이를 위해, 본 발명에서는 시점 간 예측에 의한 슬라이스 타입(view_slice_type)을 정의한다. 또한, 시점 내 예측에 의한 슬라이스 타입과 시점 간 예측에 의한 슬라이스 타입은 각각 I 슬라이스(I_SLICE) 타입 또는 P 슬라이스(P_SLICE) 타입 또는 B 슬라이스 타입(B_SLICE)일 수 있다. 예를 들어, 특정 슬라이스가 'slice_type'이 B 슬라이스이고, 'view_slice_type'이 P 슬라이스인 경우에는, 특정 슬라이스에 있는 매크로블록은 시점 내 방향 즉 시간 방향으로 B 슬라이스(B_SLICE) 코딩 방식으로 복호화되거나 시점 방향으로 P 슬라이스(P_SLICE) 코딩 방식으로 복호화될 수 있다.Here, in one embodiment, two types of slice types may be a slice type through intra-view prediction and a slice type through inter-view prediction. To this end, the present invention defines a slice type (view_slice_type) by inter-view prediction. In addition, the slice type by intra-view prediction and the slice type by inter-view prediction may be an I slice (I_SLICE) type, a P slice (P_SLICE) type, or a B slice type (B_SLICE), respectively. For example, if a particular slice is a 'slice_type' is a B slice and a 'view_slice_type' is a P slice, the macroblocks in the particular slice are decoded by a B slice (B_SLICE) coding method in an in-view direction or a temporal direction. Can be decoded using a P slice (P_SLICE) coding scheme.
한편, 슬라이스 타입은 다른 실시예로 시점 간 예측에 의한 P 슬라이스 타입(VP), 시점 간 예측에 의한 B 슬라이스 타입(VB) 및 양 예측이 혼합된 예측에 의한 믹스드 슬라이스 타입(Mixed)을 포함할 수 있다.On the other hand, the slice type in another embodiment includes a P slice type (VP) by inter-view prediction, a B slice type (VB) by inter-view prediction, and a mixed slice type (Mixed) by prediction mixed with both predictions. can do.
여기서, 시점 간 예측에 의한 P 슬라이스 타입이란 슬라이스에 포함된 각각의 매크로블록 또는 매크로블록 파티션이 현재 시점(current view)에 있는 하나의 픽쳐(picture)로부터 예측되거나 다른 시점(different view)에 있는 하나의 픽쳐로부터 예측되는 경우를 말한다. 다음으로, 시점 간 예측에 의한 B 슬라이스 타입이란 슬라이스에 포함된 각각의 매크로블록 또는 매크로블록 파티션이 현재 시점에 있는 하나의 픽쳐 또는 두 개의 픽쳐들로부터 예측되거나, 다른 시점에 있는 하나의 픽쳐 또는 각각 다른 시점에 있는 두 개의 픽쳐들로부터 예측되는 경우를 말한다. 마지막으로, 양 예측이 혼합된 예측에 의한 믹스드 슬라이스 타입이란 슬라이스에 포함된 각각의 매크로블록 또는 매크로블록 파티션이 현재 시점에 있는 하나의 픽쳐 또는 두 개의 픽쳐들로부터 예측되거나, 다른 시점에 있는 하나의 픽쳐 또는 각각 다른 시점에 있는 두 개의 픽쳐들로부터 예측되거나, 현재 시점에 있는 하나의 픽쳐 또는 두 개의 픽쳐들 및 다른 시점에 있는 하나의 픽쳐 또는 각각 다른 시점에 있는 두 개의 픽쳐들로부터 예측되는 경우를 말한다. 다시 말해, 각각의 슬라이스 타입마다 참조하는 픽쳐 및 허용되는 매크로블록 타입이 다르며, 이에 대해서는 도 8 및 도 9에서 자세히 설명하기로 한다.Here, P slice type by inter-view prediction means that each macroblock or macroblock partition included in a slice is predicted from one picture in a current view or in a different view. The case is predicted from the picture. Next, the B slice type by inter-view prediction means that each macroblock or macroblock partition included in a slice is predicted from one picture or two pictures at the current view, or one picture at a different view or each The case is predicted from two pictures at different time points. Finally, a mixed slice type based on a prediction in which both predictions are mixed means that each macroblock or macroblock partition included in a slice is predicted from one picture or two pictures at a current time point, or one at a different time point. Is predicted from a picture of or from two pictures, each at a different time, or from a picture or two pictures at a current time and from a picture at a different time, or from two pictures at different times. Say. In other words, the reference picture and the allowed macroblock type are different for each slice type, which will be described in detail with reference to FIGS. 8 and 9.
또한, 위에서 설명한 슬라이스 타입의 실시예 중 신택스와 관련해서 도 6에서 자세히 설명하기로 한다.In addition, the syntax of the slice type embodiments described above will be described in detail with reference to FIG. 6.
다음으로, 프리딕션 모드 추출부(33)는 현재 매크로블록이 시점 내 예측에 의한 매크로블록인지 또는 시점 간 예측에 의한 매크로블록인지 또는 양 예측이 혼합된 예측에 의한 매크로블록인지를 나타내는 매크로블록 프리딕션 모드를 추출한 다(S43). 이를 위해, 본 발명에서는 매크로블록 프리딕션 모드(mb_pred_mode)를 정의한다. 한편, 매크로블록 프리딕션 모드의 일 실시예와 관련해서는 도 5 및 도 6에서 자세히 설명하기로 한다.Next, the
마지막으로, 복호화부(35)는 현재 매크로블록을 복원하기 위한 매크로블록 프리딕션 모드에 따라 현재 매크로블록을 디코딩한다(S43). 여기서, 본 발명에 의하면 현재 매크로블록은 현재 매크로블록을 복원하기 위한 매크로블록 타입 정보로부터 결정된 현재 매크로블록의 매크로블록 타입에 따라 디코딩될 수 있다. 또한, 매크로블록 프리딕션 모드 및 슬라이스 타입에 따라 매크로블록 타입이 결정될 수 있다.Finally, the
여기서, 본 발명에 의하면, 매크로블록 프리딕션 모드가 시점 내 예측에 관한 모드인 경우에는, 시점 내 예측에 의한 슬라이스 타입에 따라 매크로블록 타입을 결정하며, 결정된 매크로블록 타입에 따라 시점 내 예측에 의해 현재 매크로블록을 디코딩한다. 또한, 매크로블록 프리딕션 모드가 시점 간 예측에 관한 모드인 경우에는, 시점 간 예측에 의한 슬라이스 타입에 따라 매크로블록 타입을 결정하며, 상기 결정된 매크로블록 타입에 따라 시점 간 예측에 의해 현재 매크로블록을 디코딩한다. 또한, 매크로블록 프리딕션 모드가 양 예측이 혼합된 예측에 의한 매크로블록인 경우에는, 시점 내 예측에 의한 슬라이스 타입 및 시점 간 예측에 의한 슬라이스 타입에 따라 매크로블록 타입을 각각 결정하며, 결정된 각각의 매크로블록 타입에 따라 양 예측이 혼합된 예측에 의해 현재 매크로블록을 디코딩한다.According to the present invention, when the macroblock prediction mode is a mode related to intra-view prediction, the macroblock type is determined according to the slice type by intra-view prediction, and according to the determined macroblock type by intra-view prediction. Decode the current macroblock. When the macroblock prediction mode is a mode related to inter-view prediction, the macroblock type is determined according to the slice type by inter-view prediction, and the current macroblock is determined by inter-view prediction according to the determined macroblock type. Decode In addition, when the macroblock prediction mode is a macroblock by prediction in which both predictions are mixed, the macroblock type is determined according to the slice type by intra-view prediction and the slice type by inter-view prediction, respectively. The current macroblock is decoded by the prediction in which both predictions are mixed according to the macroblock type.
여기서, 매크로블록 타입은 매크로블록 프리딕션 모드와 슬라이스 타입에 종 속된다. 다시 말해, 매크로블록 프리딕션 모드에 의해 매크로블록 타입에 사용될 예측 방식을 알 수 있고, 예측 방식에 따른 슬라이스 타입에 의해 매크로블록 타입 정보로부터 매크로블록 타입이 결정된다. 예를 들어, 매크로블록 프리딕션 모드가 시점 간 예측에 관한 모드인 경우에는, 시점 간 예측에 의한 슬라이스 타입(view_slice_type)에 해당하는 슬라이스 타입(I, P, B)의 매크로블록 테이블로부터 매크로블록 타입을 결정할 수 있다. 매크로블록 프리딕션 모드와 매크로블록 타입의 관계에 대해서는 도 5 및 도 6에서 자세히 설명하기로 한다.Here, the macroblock type depends on the macroblock prediction mode and the slice type. In other words, the prediction method to be used for the macroblock type can be known by the macroblock prediction mode, and the macroblock type is determined from the macroblock type information by the slice type according to the prediction method. For example, when the macroblock prediction mode is a mode related to inter-view prediction, the macroblock type is determined from a macroblock table of slice types (I, P, B) corresponding to the slice type (view_slice_type) by inter-view prediction. Can be determined. The relationship between the macroblock prediction mode and the macroblock type will be described in detail with reference to FIGS. 5 and 6.
도 5는 본 발명에 의한 매크로블록 프리딕션 모드의 일 실시예를 나타내는 도면이다.5 is a diagram illustrating an embodiment of a macroblock prediction mode according to the present invention.
도 5(a)는 본 발명에 의한 매크로블록 프리딕션 모드(mb_pred_mode)의 일 실시예에 해당하는 테이블로서, 매크로블록을 위해 단지 시점 내 예측(intra-view prediction) 즉, 시간적 예측(temporal prediction)만 사용되는 경우에는 'mb_pred_mode'의 값은 '0'이 할당되며, 매크로블록을 위해 시점 간 예측(inter-view prediction)만 사용되는 경우에는 'mb_pred_mode'의 값은 '1'이 할당되며, 시점 내 예측과 시점 간 예측이 모두 사용되는 경우에는 'mb_pred_mode'의 값은 '2'가 할당된다. 여기서, 'mb_pred_mode'의 값이 '1'인 경우, 즉, 시점 간 예측을 나타내는 경우에는, 시점 간 예측을 위한 참조 픽쳐 리스트(List)로서 시점 방향 List0(ViewList0) 또는 시점 방향 List1(ViewList1)을 정의한다.FIG. 5 (a) is a table corresponding to an embodiment of the macroblock prediction mode (mb_pred_mode) according to the present invention, and only intra-view prediction, that is, temporal prediction, for a macroblock. If only the value of 'mb_pred_mode' is used, '0' is assigned. If only inter-view prediction is used for the macroblock, the value of 'mb_pred_mode' is assigned '1'. If both my prediction and inter-view prediction are used, the value of 'mb_pred_mode' is assigned '2'. Here, when the value of 'mb_pred_mode' is '1', that is, when the inter-view prediction is indicated, the view direction List0 (ViewList0) or the view direction List1 (ViewList1) is used as the reference picture list (List) for the inter-view prediction. define.
도 5(b)는 본 발명에 의한 매크로블록 프리딕션 모드와 매크로블록 타입의 관계를 나타내는 도면으로서, 만일, 'mb_pred_mode'의 값이 '0'인 경우에는 시간상 예측만이 사용되며, 시점 내 예측에 의한 슬라이스 타입(slice_type)에 따라 매크로블록 타입이 결정된다. 'mb_pred_mode'의 값이 '1'인 경우에는 시점 간 예측만이 사용되며, 시점 간 예측에 의한 슬라이스 타입(view_slice_type)에 따라 매크로블록 타입이 결정된다. 'mb_pred_mode'의 값이 '2'인 경우에는 시간상 및 시점 내 예측이 혼합된 예측이 사용되며, 시점 내 예측에 의한 슬라이스 타입(slice_type) 및 시점 간 예측에 의한 슬라이스 타입(view_slice_type)에 의해 두 개의 매크로블록 타입이 결정된다. 다시 말해, 매크로블록 프리딕션 모드에 의해 매크로블록에 사용되는 예측 방식과 참고하는 슬라이스 타입이 결정되고, 슬라이스 타입에 따라 매크로블록 타입이 결정된다.FIG. 5 (b) is a diagram illustrating a relationship between a macroblock prediction mode and a macroblock type according to the present invention. If the value of 'mb_pred_mode' is '0', only temporal prediction is used, and in-view prediction The macroblock type is determined according to the slice type (slice_type). When the value of 'mb_pred_mode' is '1', only inter-view prediction is used, and the macroblock type is determined according to the slice type (view_slice_type) by the inter-view prediction. When the value of 'mb_pred_mode' is '2', a prediction in which time- and intra-view prediction is mixed is used, and two types are determined according to slice type (slice_type) by intra-view prediction and slice type (view_slice_type) by inter-view prediction. The macroblock type is determined. In other words, the prediction method used for the macroblock and the slice type to be referred to are determined by the macroblock prediction mode, and the macroblock type is determined according to the slice type.
도 6(a) 및 도 6(b)는 본 발명에 의한 슬라이스 타입 및 매크로블록 프리딕션 모드가 적용된 신택스(syntax)를 나타내는 도면이다.6 (a) and 6 (b) are diagrams showing syntax to which a slice type and a macroblock prediction mode according to the present invention are applied.
도 6(a)는 슬라이스 타입으로서 'slice_type' 및 'view_slice_type'과 매크로블록 프리딕션 모드로서 'mb_pred_mode'가 적용된 신택스이다. 본 발명에 의하면, 'slice_type'은 시점 내 예측에 의한 슬라이스 타입을 의미하고, 'view_slice_type' 은 시점 간 예측에 의한 슬라이스 타입을 의미한다. 또한, 각각의 슬라이스 타입은 I 슬라이스 타입 또는 P 슬라이스 타입 또는 B 슬라이스 타입이 될 수 있다. 'mb_pred_mode'의 값이 '0' 또는'1'인 경우에는 하나의 매크로블록 타입만을 결정하나, 'mb_pred_mode'의 값이 '2'인 경우에는 매크로블록 타입을 하나 더 결정하는 것을 알 수 있다. 다시 말해, 도 6(a)에 도시된 신택스는 기존의 슬라이스 타입(I, P, B)을 다시점 비디오 코딩에서 확대 적용하기 위해 'view_slice_type'이 추가된 것이다. FIG. 6 (a) shows syntax to which 'slice_type' and 'view_slice_type' as a slice type and 'mb_pred_mode' are applied as a macroblock prediction mode. According to the present invention, 'slice_type' means a slice type by intra-view prediction, and 'view_slice_type' means a slice type by inter-view prediction. In addition, each slice type may be an I slice type or a P slice type or a B slice type. When the value of 'mb_pred_mode' is '0' or '1', only one macroblock type is determined. When the value of 'mb_pred_mode' is '2', one more macroblock type is determined. In other words, the syntax shown in FIG. 6 (a) is 'view_slice_type' added to extend the existing slice types I, P, and B in multi-view video coding.
도 6(b)는 슬라이스 타입으로서 'slice_type' 과 ' 매크로블록 프리딕션 모드로서 'mb_pred_mode'가 적용된 신택스이다. 본 발명에 의하면 'slice_type'은 시점 간 예측에 의한 슬라이스 타입(VP), 시점 간 예측에 의한 B 슬라이스 타입(VB) 및 양 예측이 혼합된 예측에 의한 믹스드 슬라이스 타입(Mixed)을 포함한다. 'mb_pred_mode'의 값이 '0' 또는 '1'인 경우에는 하나의 매크로블록 타입만을 결정하나, 'mb_pred_mode'의 값이 '2'인 경우에는 매크로블록 타입을 하나 더 결정하는 것을 알 수 있다. 이 경우, 슬라이스 타입은 슬라이스 헤더(slice header)에 존재하며, 이에 대해서는 도 7에서 상세히 설명하기로 한다. 다시 말해, 도 6(b)에 도시된 신택스는 기존의 슬라이스 타입(slice_type)에 VP, VB, Mixed 슬라이스 타입이 추가로 포함된 것이다.FIG. 6B is a syntax to which 'slice_type' as a slice type and 'mb_pred_mode' as a 'macroblock prediction mode' are applied. According to the present invention, 'slice_type' includes a slice type (VP) based on inter-view prediction, a B slice type (VB) based on inter-view prediction, and a mixed slice type (Mixed) based on mixed prediction. When the value of 'mb_pred_mode' is '0' or '1', only one macroblock type is determined. However, when the value of 'mb_pred_mode' is '2', one more macroblock type is determined. In this case, the slice type is present in a slice header, which will be described in detail with reference to FIG. 7. In other words, the syntax shown in FIG. 6B further includes VP, VB, and mixed slice types in the existing slice type (slice_type).
도 7(a), 도 7(b) 및 도 7 (c)은 도 6(b)에서의 슬라이스 타입이 적용된 실시예들을 나타내는 도면이다.7 (a), 7 (b) and 7 (c) are diagrams illustrating embodiments to which the slice type of FIG. 6 (b) is applied.
도 7(a)는 시점 간 예측에 의한 슬라이스 타입(VP), 시점 간 예측에 의한 B 슬라이스 타입(VB) 및 양 예측이 혼합된 예측에 의한 믹스드 슬라이스 타입(Mixed)이 슬라이스 헤더에 존재하는 것을 의미한다. 다시 말해, 기존의 슬라이스 헤더에 존재하는 슬라이스 타입에 본 발명에 의한 슬라이스 타입(VP, VB, Mixed)이 추가된 것이다.FIG. 7 (a) shows that a slice type (VP) based on inter-view prediction, a B slice type (VB) based on inter-view prediction, and a mixed slice type (Mixed) based on prediction mixed with both predictions exist in the slice header. Means that. In other words, the slice type (VP, VB, Mixed) according to the present invention is added to the slice type existing in the existing slice header.
도 7(b)는 시점 간 예측에 의한 슬라이스 타입(VP), 시점 간 예측에 의한 B 슬라이스 타입(VB) 및 양 예측이 혼합된 예측에 의한 믹스드 슬라이스 타입(Mixed) 이 다시점 비디오 코딩(multi-view video coding;MVC)을 위한 슬라이스 헤더에 존재하는 것을 의미한다. 다시 말해, 본 발명에 의한 슬라이스 타입을 다시점 비디오 코딩을 위한 슬라이스 헤더에서 새롭게 정의를 한 것이다.7B shows a multi-view video coding method of a slice type (VP) by inter-view prediction, a B slice type (VB) by inter-view prediction, and a mixed slice type (Mixed) by mixed prediction. It exists in the slice header for multi-view video coding (MVC). In other words, the slice type according to the present invention is newly defined in the slice header for multi-view video coding.
도 7(c)는 시점 간 예측에 의한 슬라이스 타입(VP), 시점 간 예측에 의한 B 슬라이스 타입(VB) 및 양 예측이 혼합된 예측에 의한 믹스드 슬라이스 타입(Mixed)이 스케일러블 비디오 코딩(scalable video coding;SVC)을 위한 슬라이스 헤더에 존재하는 것을 의미한다. 다시 말해, 스케일러블 비디오 코딩을 위한 슬라이스 헤더에 존재하는 슬라이스 타입에 본 발명에 의한 슬라이스 타입이 추가된 것이다.FIG. 7C shows scalable video coding of a slice type (VP) by inter-view prediction, a B slice type (VB) by inter-view prediction, and a mixed slice type (Mixed) by mixed prediction. It exists in the slice header for scalable video coding (SVC). In other words, the slice type according to the present invention is added to the slice type present in the slice header for scalable video coding.
도 8은 도 6(b)의 슬라이스 타입에 포함되는 슬라이스 타입의 다양한 실시예를 나타내는 도면이다.8 is a diagram illustrating various embodiments of a slice type included in the slice type of FIG. 6 (b).
도 8(a)는 다른 시점에 있는 하나의 픽쳐로부터 예측되는 경우이므로 시점 간 예측에 의한 슬라이스 타입(VP)이되고, 도 8(b)는 각각 다른 시점에 있는 두 개의 픽쳐로부터 예측되는 경우이므로 시점 간 예측에 의한 B 슬라이스 타입(VB)이 된다. 도 8(c) 내지 도 8(d)는 현재 시점에 있는 하나의 픽쳐 또는 두 개의 픽쳐들 및 다른 시점에 있는 하나의 픽쳐 또는 각각 다른 시점에 있는 두 개의 픽쳐들로부터 예측되는 경우이므로 양 예측이 혼합된 예측에 의한 믹스드 슬라이스 타입(Mixed)이 된다.Since FIG. 8 (a) is predicted from one picture at different viewpoints, it is a slice type VP by inter-view prediction, and FIG. 8 (b) is predicted from two pictures at different viewpoints. It becomes the B slice type (VB) by inter-view prediction. 8 (c) to 8 (d) are predictions from one picture or two pictures at a current view and one picture at a different view, or two pictures at different views, so that both predictions Mixed slice type (Mixed) by mixed prediction.
도 9는 도 6(b)의 슬라이스 타입에서 허용되는 매크로블록의 일 실시예를 나타내는 도면이다. 도시된 바와 같이, 시점 간 예측에 의한 P 슬라이스 타입(VP)에는 인트라 매크로블록(I) 또는 현재 시점(current view)에 있는 하나의 픽 쳐(picture)로부터 예측되는 매크로블록(P) 또는 다른 시점(different view)에 있는 하나의 픽쳐로부터 예측되는 매크로블록(VP)가 허용된다. 다음으로, 시점 간 예측에 의한 B 슬라이스 타입(VP)에는 인트라 매크로블록(I) 또는 현재 시점에 있는 하나의 픽쳐 또는 두 개의 픽쳐들로부터 예측되는 매크로블록(P or B) 또는 다른 시점에 있는 하나의 픽쳐 또는 각각 다른 시점에 있는 두 개의 픽쳐들로부터 예측되는 매크로블록(VP or VB)가 허용된다. 마지막으로, 양 예측이 혼합된 예측에 의한 믹스드 슬라이스 타입(Mixed)에는 인트라 매크로블록(I) 또는 현재 시점에 있는 하나의 픽쳐 또는 두 개의 픽쳐들로부터 예측되는 매크로블록(P or B) 또는 다른 시점에 있는 하나의 픽쳐 또는 각각 다른 시점에 있는 두 개의 픽쳐들로부터 예측되는 매크로블록(VP or VB) 또는 현재 시점에 있는 하나의 픽쳐 또는 두 개의 픽쳐들 및 다른 시점에 있는 하나의 픽쳐 또는 각각 다른 시점에 있는 두 개의 픽쳐들로부터 예측되는 매크로블록(Mixed)이 허용된다. FIG. 9 is a diagram illustrating an embodiment of a macroblock allowed in the slice type of FIG. 6 (b). As shown, the P slice type VP by inter-view prediction includes a macroblock P or another viewpoint predicted from an intra macroblock I or a picture in a current view. Macroblocks (VPs) that are predicted from one picture in the (different view) are allowed. Next, the B slice type (VP) by inter-view prediction includes an intra macroblock (I) or a macroblock (P or B) predicted from one picture or two pictures at the current view or one at another view. A macroblock (VP or VB) predicted from a picture of or from two pictures at different times is allowed. Finally, a mixed slice type (Mixed) by a prediction in which both predictions are mixed includes an intra macroblock (I) or a macroblock (P or B) predicted from one picture or two pictures at the present time or another. A macroblock (VP or VB) predicted from one picture at a view or two pictures at different views, or one picture or two pictures at the current view and one picture at a different view, or different Macroblocks that are predicted from two pictures at the time of view are allowed.
도 10은 본 발명에 의한 양 예측이 혼합된 예측에 의한 믹스드 슬라이스(Mixed)에 존재하는 매크로블록의 매크로블록 타입의 일 실시예를 나타내는 도면이다.FIG. 10 is a diagram illustrating an embodiment of a macroblock type of a macroblock present in a mixed slice (Mixed) by mixed prediction according to the present invention.
특히, 도 10(a) 및 도 10(b)는 믹스드 슬라이스에 존재하는 매크로블록의 매크로블록 타입(mb_type) 및 서브 매크로블록 타입(sub_mb_type)의 구성 방식을 보여준다. 또한, 도 10(c) 및 도 10(d)는 믹스드 슬라이스에 존재하는 매크로블록의 예측 방향의 이진수 표현 및 실제 예측 방향을 보여준다.In particular, FIGS. 10A and 10B illustrate a configuration method of a macroblock type (mb_type) and a sub macroblock type (sub_mb_type) of macroblocks present in a mixed slice. 10 (c) and 10 (d) show binary representations and actual prediction directions of prediction directions of macroblocks present in the mixed slice.
본 발명에 의하면, 매크로블록 타입(mb_type)은 매크로블록 파티션의 크 기(Partition_size)와 매크로블록 파티션의 예측 방향(Direction)을 모두 고려하여 만들어진다. 서브 매크로블록 타입(sub_mb_type)은 서브 매크로블록 파티션의 크기(Sub_Partition_Size)와 각 서브 매크로블록 파티션의 예측 방향(Sub_Direction)을 모두 고려하여 만들어진다.According to the present invention, the macroblock type (mb_type) is made in consideration of both the size (Partition_size) of the macroblock partition and the prediction direction (Direction) of the macroblock partition. The sub macroblock type sub_mb_type is created in consideration of both the size of the sub macroblock partition Sub_Partition_Size and the prediction direction Sub_Direction of each sub macroblock partition.
도 10(a)에 도시된 바와 같이, Direction0 과 Direction1는 각각 첫 번째 매크로블록 파티션의 예측 방향과 두 번째 매크로블록 파티션의 예측 방향을 의미한다. 즉, 8×16 매크로블록인 경우 Direction0는 왼쪽 8×16 매크로블록 파티션에 대한 예측 방향을 의미하며, Direction1은 오른쪽 매크로블록 파티션의 예측 방향을 의미한다. As shown in FIG. 10 (a), Direction0 and Direction1 mean the prediction direction of the first macroblock partition and the prediction direction of the second macroblock partition, respectively. That is, in case of an 8 × 16 macroblock, Direction0 means a prediction direction for a left 8 × 16 macroblock partition, and Direction1 means a prediction direction of a right macroblock partition.
여기서, 매크로블록 타입(mb_type)의 구성 원리를 자세히 설명하면, 처음 2bit은 해당 매크로블록의 파티션 크기(Patition_Size)를 의미하며, 0∼3 사이의 값이 가능하다. 처음 2bit 다음에 붙는 4bit는 매크로블록이 파티션으로 나누어질 경우 예측방향(Direction)을 의미한다. 예를 들어, 16×16 매크로블록의 경우에는 처음 2bit 뒤에 오직 이 매크로블록의 예측 방향을 나타내는 4bit이 붙게 된다. 16×8 매크로블록의 경우에는 처음 2bit 뒤에 붙는 4bit은 첫 번째 파티션의 예측 방향(Direction0)을 의미하며, 이 4bit 뒤에 또 다른 4bit이 붙어 두 번째 파티션의 예측 방향(Direction1)을 의미한다. 8×16 매크로블록의 경우에도 마찬가지로 처음 2bit 뒤에 8bit이 붙게 되며, 처음 2bit 뒤에 붙는 4bit는 첫 번째 파티션의 예측 방향을, 제일 뒤의 4bit은 두 번째 파티션의 예측 방향을 의미한다.Here, if the configuration principle of the macroblock type (mb_type) is described in detail, the first 2 bits means the partition size (Patition_Size) of the macroblock, and a value between 0 and 3 is possible. The 4 bits after the first 2 bits indicate the direction when the macroblock is divided into partitions. For example, in the case of a 16x16 macroblock, only the first 2 bits are followed by 4 bits indicating the prediction direction of the macroblock. In the case of a 16x8 macroblock, 4 bits after the first 2 bits mean the prediction direction (Direction0) of the first partition, followed by another 4 bits to indicate the prediction direction of the second partition (Direction1). In the case of 8 × 16 macroblocks, 8 bits are added after the first 2 bits, and 4 bits after the first 2 bits indicate the prediction direction of the first partition, and 4 bits after the first means the prediction direction of the second partition.
도 10(b)에 도시된 바와 같이, 서브 매크로블록 파티션의 예측 방 향(Sub_Direction)은 도 10(a)의 매크로블록 파티션의 예측 방향(Direction)과 같은 방식으로 사용된다. As shown in FIG. 10 (b), the prediction direction Sub_Direction of the sub macroblock partition is used in the same manner as the prediction direction of the macroblock partition of FIG. 10 (a).
여기서, 서브 매크로블록 타입(sub_mb_type)의 구성 원리를 자세히 설명하면, 처음 각각의 2bit는 해당 매크로블록의 파티션 크기(Partition_Size) 및 해당 매크로블록의 서브 매크로블록의 파티션 크기(Sub_Partition_Size)를 의미하며, 0∼3 사이의 값이 가능하다. 처음 각각의 2bit 다음에 붙는 4bit는 매크로블록이 서브 매크로블록 파티션으로 나누어질 경우 예측방향(Sub_Direction)을 의미한다. 예를 들어, 매크로블록의 파티션의 크기가(Partition_Size) 8×8 이며, 서브 매크로블록블록의 파티션의 크기(Sub_Partition_Size)가 4×8인 경우에는 처음 2bit는 3, 두 번째 2bit는 2의 값의 가지며,다음 4bit는 두 개의 4×8 블록 중 왼쪽 4×8 블록에 대한 예측 방향을, 그 다음 4bit는 오른쪽 4×8 블록에 대한 예측 방향을 나타낸다. Here, when the configuration principle of the sub macroblock type (sub_mb_type) is described in detail, each of the first 2 bits means a partition size (Partition_Size) of the corresponding macroblock and a partition size (Sub_Partition_Size) of the sub macroblock of the macroblock. Values between -3 are possible. The first 4 bits after each 2 bits indicate the prediction direction (Sub_Direction) when the macroblock is divided into sub macroblock partitions. For example, if the partition size of the macroblock (Partition_Size) is 8 × 8 and the partition size (Sub_Partition_Size) of the sub macroblock block is 4 × 8, the first 2 bits are 3 and the second 2 bits are 2 values. The next 4 bits indicate the prediction direction for the left 4x8 block among the two 4x8 blocks, and the next 4 bits indicate the prediction direction for the right 4x8 block.
도 10(c)에 도시된 바와 같이, 매크로블록의 예측 방향은 4bit로 구성되어 있으며, 현재 픽쳐의 좌(L), 상(T), 우(R) 하(B) 위치의 픽쳐를 참조하는 경우에 따라 각각 이진수 표현이 '1'이 되는 것을 알 수 있다.As shown in FIG. 10 (c), the prediction direction of the macroblock is 4 bits, and refers to the pictures of the left (L), top (T), and right (R) lower (B) positions of the current picture. In some cases, it can be seen that each binary representation is '1'.
도 10(d)에 도시된 바와 같이, 예를 들어, 예측방향이 상(T)인 경우에는 현재 픽쳐의 시점 방향으로 위에 위치하는 픽쳐를 참조하며, 예측방향이 모든 방향(LTRB)인 경우에는 현재 픽쳐의 상하좌우 모든 방향의 픽쳐를 참조하는 것을 알 수 있다.As shown in FIG. 10 (d), for example, when the prediction direction is image T, reference is made to the picture located above in the view direction of the current picture, and when the prediction direction is all directions LTRB. It can be seen that the pictures are referenced in all directions of up, down, left and right directions of the current picture.
도 11은 본 발명에 의한 비디오 신호 인코딩 장치의 실시예의 블럭도로서, 매크로블록 타입 결정부(110), 매크로블록 생성부(112) 및 부호화부(114)로 구성된다.11 is a block diagram of an embodiment of a video signal encoding apparatus according to the present invention, and includes a
도 12는 도 11에 도시된 장치에서 수행되는 본 발명에 의한 비디오 신호 디코딩 방법을 설명하기 위한 흐름도로서, 시점 내 예측을 위한 제1매크로블록 타입과 시점 간 예측을 위한 제2매크로블록 타입을 결정하는 단계(S120), 제1매크로블록 타입을 가지는 제1매크로블록과 제2매크로블록 타입을 가지는 제2매크로블록을 생성하는 단계(S122), 제1매크로블록과 제2매크로블록을 이용하여 제3매크로블록을 생성하는 단계(S124) 및 현재 매크로블록의 매크로블록 타입과 매크로블록 프리딕션 모드를 인코딩하는 단계(S126)로 이루어진다.12 is a flowchart illustrating a video signal decoding method according to the present invention performed in the apparatus shown in FIG. 11, wherein a first macroblock type for intra-view prediction and a second macroblock type for inter-view prediction are determined. Step S120, generating a first macroblock having a first macroblock type and a second macroblock having a second macroblock type, in step S122, using a first macroblock and a second macroblock, Generating three macroblocks (S124) and encoding the macroblock type and macroblock prediction mode of the current macroblock (S126).
본 발명에 의하면, 먼저, 매크로블록 타입 결정부(110)는 시점 내 예측을 위한 제1매크로블록 타입과 시점 간 예측을 위한 제2매크로블록 타입을 결정한다(S120).According to the present invention, first, the macroblock
다음으로, 매크로블록 생성부(112)는 제1매크로블록 타입을 가지는 제1매크로블록과 제2매크로블록을 가지는 제2매크로블록을 생성하며(S122), 제1매크로블록과 제2매크로블록을 이용하여 제3매크로블록을 생성한다(S124). 여기서, 제3매크로블록은 제1매크로블록과 제2매크로블록의 평균값에 의해 생성된다.Next, the
마지막으로, 부호화부(114)는 제1매크로블록, 제2매크로블록 및 제3매크로블록의 부호화 효율을 비교하여 현재 매크로블록의 매크로블록 타입(mb_type)과 매크로블록 프리딕션 모드(mb_pred_mode)를 인코딩한다(S126). 여기서, 부호화 효율을 측정하는 방법에는 여러 가지 방식을 적용 할 수 있으나, RD 비용(Rate-Distortion cost)을 이용하는 방법이 있다. RD 비용이란 해당 블록을 부호화할 때 생기는 부호화 비트수와 실제영상과의 오차를 나타내는 왜곡값, 이 두 성분을 가지고 비용을 계산한다Finally, the
본 발명에 의하면, 제1매크로블록 타입과 제2매크로블록 타입을 결정하는 방법은 위에서 설명한 RD 비용이 각각 최소값을 가지는 매크로블록 타입을 결정할 수 있다. 예를 들어, 시점 내 예측에 의한 매크로블록 타입들 중 RD 비용이 최소값을 가지는 매크로블록 타입이 제1매크로블록 타입이 되며, 시점 간 예측에 의한 매크로블록 타입들 중 RD 비용이 최소값을 가지는 매크로블록 타입이 제2매크로블록 타입이 된다.According to the present invention, the method for determining the first macroblock type and the second macroblock type may determine a macroblock type in which the RD cost described above has a minimum value. For example, the macroblock type having the lowest RD cost among the macroblock types by intra-view prediction becomes the first macroblock type, and the macroblock having the minimum RD cost among the macroblock types by inter-view prediction. The type becomes the second macroblock type.
또한, 매크로블록 타입과 매크로블록 프리딕션 모드를 인코딩하는 단계는, 먼저, 제1매크로블록의 RD 비용과 제2매크로블록 타입의 RD 비용을 비교하여 작은값을 구한다. 다음으로, 제3매크로블록의 RD 비용을 구한다. 마지막으로, 위에서 구한 RD 비용과 제3매크로블록의 RD 비용을 비교하여 현재 매크로블록의 매크로블록 타입과 매크로블록 프리딕션 모드를 인코딩한다.In the encoding of the macroblock type and the macroblock prediction mode, first, a small value is obtained by comparing the RD cost of the first macroblock and the RD cost of the second macroblock type. Next, the RD cost of the third macroblock is obtained. Finally, the RD cost obtained above is compared with the RD cost of the third macroblock to encode the macroblock type and the macroblock prediction mode of the current macroblock.
만일, 위에서 구한 RD 비용이 제3매크로블록의 RD 비용 이상인 경우에는 매크로블록 타입은 위에서 구한 RD 비용에 해당하는 매크로블록 타입이 된다. 예를 들어, 제1매크로블록의 RD 비용과 제2매크로블록의 RD 비용 중에서 제1매크로블록의 RD 비용이 작은 경우에는 제1매크블록의 매크로블록 타입인 제1매크로블록 타입이 현재 매크로블록의 매크로블록 타입이 된다. 또한, 매크로블록 프리딕션 모드는 위에서 구한 RD 비용에 해당하는 매크로블록의 예측 방식이 된다. 예를 들어, 제1 매크로블록의 RD 비용과 제2매크로블록의 RD 비용 중에서 제2매크로블록의 RD 비용이 작은 경우에는 제2매크로블록의 예측 방식인 시점 간 예측 방식이 현재 매크로블록의 매크로블록 프리딘션 모드가 된다.If the RD cost obtained above is greater than the RD cost of the third macroblock, the macroblock type is a macroblock type corresponding to the RD cost obtained above. For example, when the RD cost of the first macroblock is smaller than the RD cost of the first macroblock and the RD cost of the second macroblock, the first macroblock type, which is the macroblock type of the first macroblock, It becomes a macroblock type. In addition, the macroblock prediction mode is a prediction method of the macroblock corresponding to the RD cost obtained above. For example, when the RD cost of the second macroblock is small among the RD cost of the first macroblock and the RD cost of the second macroblock, the inter-view prediction method that is the prediction method of the second macroblock is the macroblock of the current macroblock. It will be in Prediction mode
한편, 위에서 구한 RD 비용이 제3매크로블록의 RD 비용 미만인 경우에는 매크로블록 타입은 제1매크로블록 및 제2매크로블록에 해당하는 매크로블록 타입이 된다. 다시 말해, 시점 내 예측에 의한 매크로블록의 매크로블록 타입 및 시점 간 예측에 의한 매크로블록의 매크로블록 타입인 두 가지 매크로블록 타입이 현재 매크로블록의 매크로블록 타입이 된다. 또한, 매크로블록 프리딕션 모드는 시점 내 예측과 시점 간 예측이 혼합된 예측 방식이 된다. On the other hand, when the RD cost obtained above is less than the RD cost of the third macroblock, the macroblock type is a macroblock type corresponding to the first macroblock and the second macroblock. In other words, two macroblock types, that is, the macroblock type of the macroblock by intra-view prediction and the macroblock type of the macroblock by inter-view prediction, become the macroblock type of the current macroblock. In addition, the macroblock prediction mode is a prediction method in which intra-view prediction and inter-view prediction are mixed.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.As mentioned above, preferred embodiments of the present invention are disclosed for purposes of illustration, and those skilled in the art can improve and change various other embodiments within the spirit and technical scope of the present invention disclosed in the appended claims below. , Replacement or addition would be possible.
이상에서 설명한 바와 같이, 본 발명에 의한 비디오 신호 디코딩/인코딩 방법 및 장치는 시점들 사이의 다양한 예측 방식과 이를 위한 슬라이스 타입 또는 매크로블록 타입 또는 매크로블록 프리딕션 모드와 같은 정보에 의해 시점들 사이의 중복성을 배제할 수 있어 성능이 부호화/복호화 효율이 증가하는 효과를 갖는다.As described above, the video signal decoding / encoding method and apparatus according to the present invention provide various prediction schemes between viewpoints and information between the viewpoints by information such as slice type or macroblock type or macroblock prediction mode. Since redundancy can be excluded, performance has an effect of increasing encoding / decoding efficiency.
Claims (24)
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US78717106P | 2006-03-30 | 2006-03-30 | |
US60/787,171 | 2006-03-30 | ||
US80139806P | 2006-05-19 | 2006-05-19 | |
US60/801,398 | 2006-05-19 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20070098428A true KR20070098428A (en) | 2007-10-05 |
Family
ID=38804471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060097212A KR20070098428A (en) | 2006-03-30 | 2006-10-02 | Method and apparatus for decoding/encoding a video signal |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20070098428A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100941608B1 (en) * | 2006-10-17 | 2010-02-11 | 경희대학교 산학협력단 | Method for encoding and decoding a multi-view video and apparatus therefor |
KR100947447B1 (en) * | 2008-05-26 | 2010-03-11 | 한국전자통신연구원 | Method and its apparatus for fast mode decision in multi-view video coding |
CN105556970A (en) * | 2013-07-12 | 2016-05-04 | 三星电子株式会社 | Video encoding method and apparatus therefor using modification vector inducement, video decoding method and apparatus therefor |
CN105872557A (en) * | 2010-11-26 | 2016-08-17 | 日本电气株式会社 | Video decoding device, device and program, and video coding device and method |
CN110223236A (en) * | 2013-03-25 | 2019-09-10 | 图象公司 | Enhance motion picture with accurate motion information |
-
2006
- 2006-10-02 KR KR1020060097212A patent/KR20070098428A/en not_active Application Discontinuation
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100941608B1 (en) * | 2006-10-17 | 2010-02-11 | 경희대학교 산학협력단 | Method for encoding and decoding a multi-view video and apparatus therefor |
KR100947447B1 (en) * | 2008-05-26 | 2010-03-11 | 한국전자통신연구원 | Method and its apparatus for fast mode decision in multi-view video coding |
US11310510B2 (en) | 2010-11-26 | 2022-04-19 | Nec Corporation | Video encoding device, video decoding device, video encoding method, video decoding method, and program |
CN105872557A (en) * | 2010-11-26 | 2016-08-17 | 日本电气株式会社 | Video decoding device, device and program, and video coding device and method |
CN105872557B (en) * | 2010-11-26 | 2018-12-04 | 日本电气株式会社 | Video encoding/decoding method, equipment and program and video encoder and method |
US10154267B2 (en) | 2010-11-26 | 2018-12-11 | Nec Corporation | Video encoding device, video decoding device, video encoding method, video decoding method, and program |
US10742991B2 (en) | 2010-11-26 | 2020-08-11 | Nec Corporation | Video encoding device, video decoding device, video encoding method, video decoding method, and program |
US11659188B2 (en) | 2010-11-26 | 2023-05-23 | Nec Corporation | Video encoding device, video decoding device, video encoding method, video decoding method, and program |
US11659189B2 (en) | 2010-11-26 | 2023-05-23 | Nec Corporation | Video encoding device, video decoding device, video encoding method, video decoding method, and program |
CN110223236A (en) * | 2013-03-25 | 2019-09-10 | 图象公司 | Enhance motion picture with accurate motion information |
CN110223236B (en) * | 2013-03-25 | 2023-09-26 | 图象公司 | Method for enhancing image sequences |
CN105556970B (en) * | 2013-07-12 | 2019-01-11 | 三星电子株式会社 | Use the method for video coding and its equipment, video encoding/decoding method and its equipment of amendment vector derivation |
CN105556970A (en) * | 2013-07-12 | 2016-05-04 | 三星电子株式会社 | Video encoding method and apparatus therefor using modification vector inducement, video decoding method and apparatus therefor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100667830B1 (en) | Method and apparatus for encoding multiview video | |
KR101158491B1 (en) | Apparatus and method for encoding depth image | |
KR100728009B1 (en) | Method and apparatus for encoding multiview video | |
KR101375666B1 (en) | Method and apparatus for encoding and decoding multi-view image based on global disparity vector | |
JP4421940B2 (en) | Moving picture coding apparatus and method, and moving picture decoding apparatus and method | |
KR101245251B1 (en) | Method and apparatus for encoding and decoding multi-view video to provide uniform video quality | |
KR101893559B1 (en) | Apparatus and method for encoding and decoding multi-view video | |
RU2680204C2 (en) | Method and device for inducing motion information between temporal points of sub prediction unit | |
KR20080114482A (en) | Method and apparatus for illumination compensation of multi-view video coding | |
KR20070098428A (en) | Method and apparatus for decoding/encoding a video signal | |
Drose et al. | Extending single-view scalable video coding to multi-view based on H. 264/AVC | |
KR101386651B1 (en) | Multi-View video encoding and decoding method and apparatus thereof | |
KR20070098429A (en) | A method for decoding a video signal | |
KR20140091494A (en) | Method and apparatus for decoding multi-layer video, and method and apparatus for encoding multi-layer video | |
JP2011077722A (en) | Image decoding apparatus, and image decoding method and program for the same | |
JP2009004939A (en) | Multi-viewpoint image decoding method, multi-viewpoint image decoding device, and multi-viewpoint image decoding program | |
KR20080007069A (en) | Method and apparatus for decoding a video signal | |
KR20070111947A (en) | A method and apparatus for decoding/encoding a video signal | |
KR20070116527A (en) | A method and apparatus for decoding/encoding a video signal | |
KR102133936B1 (en) | Apparatus and method for encoding/decoding for 3d video | |
KR20120084628A (en) | Apparatus and method for encoding and decoding multi-view image | |
RU2784475C1 (en) | Method for image decoding, method for image encoding and machine-readable information carrier | |
RU2785479C1 (en) | Image decoding method, image encoding method and machine-readable information carrier | |
RU2784379C1 (en) | Method for image decoding, method for image encoding and machine-readable information carrier | |
RU2784483C1 (en) | Method for image decoding, method for image encoding and machine-readable information carrier |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WITN | Withdrawal due to no request for examination |