KR100934677B1

KR100934677B1 - Processing multiview video

Info

Publication number: KR100934677B1
Application number: KR1020097017210A
Authority: KR
Inventors: 양정휴
Original assignee: 엘지전자 주식회사
Priority date: 2006-01-12
Filing date: 2007-01-12
Publication date: 2009-12-31
Also published as: US20070177674A1; KR100943912B1; WO2007081178A1; US8154585B2; KR20090099588A; WO2007081176A1; KR100953646B1; KR100943915B1; US7831102B2; JP2009536793A; JP2009523355A; EP1982518A1; US20070177810A1; DE202007019463U1; DE202007019463U8; EP1982517A1; US7970221B2; US7817866B2; KR20090099590A; US20070177813A1

Abstract

본 발명은, 다시점 비디오 데이터 스트림의 시퀀스 영역으로부터 넌-랜덤 액세스 픽쳐의 시점간 예측 구조 정보를 획득하는 단계, 여기서 상기 시점간 예측 구조 정보는 개수 정보와 시점 식별 정보를 포함하고, 상기 개수 정보는 다시점 비디오 데이터 내에 있는 시점들의 전체 개수를 나타내고, 상기 시점 식별 정보는 상기 다시점 비디오 데이터 내에 있는 참조 시점의 각 시점 식별자를 나타내고 2차원 구조로 표현됨; 시점간 예측을 위한 랜덤 액세스 플래그를 획득하는 단계, 여기서 상기 랜덤 액세스 플래그는 현재 픽쳐의 타입이 랜덤 액세스 픽쳐 또는 넌-랜덤 액세스 픽쳐인지 여부를 나타내고, 상기 랜덤 액세스 픽쳐 내의 모든 슬라이스들은 동일 시간 및 다른 시점에 존재하는 슬라이스만을 참조하고, 상기 넌-랜덤 액세스 픽쳐는 상기 랜덤 액세스 픽쳐가 아닌 픽쳐를 나타냄; 상기 랜덤 액세스 플래그에 따라 상기 현재 픽쳐의 타입이 넌-랜덤 액세스 픽쳐를 나타내는 경우, 상기 넌-랜덤 액세스 픽쳐의 시점간 예측 구조 정보를 이용하여 상기 현재 픽쳐 내에 있는 현재 슬라이스의 시점간 예측을 위한 참조 픽쳐 리스트를 결정하는 단계; 상기 결정된 시점간 예측을 위한 참조 픽쳐 리스트에 기초하여 상기 현재 슬라이스 내에 있는 매크로블록의 예측값을 결정하는 단계; 및 상기 예측값을 이용하여 상기 현재 슬라이스 내에 있는 상기 매크로블록을 디코딩하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 데이터의 디코딩 방법을 제공한다.The present invention includes obtaining inter-view prediction structure information of a non-random access picture from a sequence region of a multi-view video data stream, wherein the inter-view prediction structure information includes number information and view identification information, and the number information Denotes the total number of viewpoints in the multiview video data, wherein the viewpoint identification information indicates each viewpoint identifier of a reference viewpoint in the multiview video data and is represented by a two-dimensional structure; Obtaining a random access flag for inter-view prediction, wherein the random access flag indicates whether a type of a current picture is a random access picture or a non-random access picture, and all slices in the random access picture are the same time and different Refers only to slices present at a time point, wherein the non-random access picture represents a picture that is not the random access picture; When the type of the current picture indicates a non-random access picture according to the random access flag, a reference for inter-view prediction of the current slice in the current picture using inter-view prediction structure information of the non-random access picture. Determining a picture list; Determining a prediction value of a macroblock in the current slice based on the determined reference picture list for inter-view prediction; And decoding the macroblock in the current slice by using the prediction value.

비디오, 다시점, 프로파일, 앵커 픽쳐 Video, multi-view, profile, anchor picture

Description

Processing of multiview video {PROCESSING MULTIVIEW VIDEO}

본 발명은 다시점 비디오의 처리에 관한 것이다.The present invention relates to the processing of multiview video.

MVC(Multiview Video Coding)에서는 여러 대의 카메라에서 취득된 비디오 영상(예를 들어, 일련의 이미지들 또는 픽쳐들)에 대한 압축 표준을 다룬다. 상기 비디오 영상 또는 시점들은 MPEG과 같은 표준에 따라 코딩될 수 있다. 비디오 영상 내의 픽쳐는 완전한 비디오 프레임 또는 비디오 프레임의 필드를 나타낼 수 있다. 슬라이스는 상기 픽쳐 내의 일부 또는 모든 매크로블록들을 포함하는 픽쳐의 독립적으로 코딩된 부분일 수 있다. 그리고, 매크로블록은 픽쳐 요소들(또는 픽셀들)로 구성된 블록들을 포함할 수 있다.Multiview Video Coding (MVC) deals with compression standards for video images (eg, a series of images or pictures) acquired from multiple cameras. The video image or viewpoints may be coded according to a standard such as MPEG. The picture in the video image may represent a complete video frame or a field of video frames. A slice may be an independently coded portion of a picture that includes some or all macroblocks within the picture. In addition, the macroblock may include blocks composed of picture elements (or pixels).

상기 비디오 영상들은 H.264/AVC 코덱 기술에 따라 다시점 비디오 영상으로 코딩될 수 있다. 그리고, 많은 연구원들이 다시점 비디오 영상들을 제공하기 위해 표준의 추가 기술로 연구를 수행하고 있다. The video images may be coded as multi-view video images according to the H.264 / AVC codec technology. In addition, many researchers are working with standard additional techniques to provide multi-view video images.

현재 H.264에는 특정한 기능을 지원하는 세 개의 프로파일이 정의되어 있는데, 프로파일(Profile)이란 비디오 부호화/복호화 과정에서 알고리즘상 들어가는 기술적 구성요소를 규격화한 것을 의미한다. 즉, 압축된 영상의 비트열을 복호하기 위해 필요한 기술요소의 집합으로서 일종의 서브 규격이라 할 수 있다. 상기 세 개의 프로파일은 베이스라인 프로파일(Baseline Profile), 메인 프로파일(Main Profile), 확장 프로파일(Extended Profile)을 말한다. 디코더가 각각의 프로파일과 호환되기 위해서, 인코더와 디코더에 요구되는 다양한 사항들이 H.264 표준에서 정의되어 있다.Currently, H.264 defines three profiles that support specific functions. Profile refers to the standardization of technical components that enter algorithms during video encoding / decoding. In other words, it is a kind of sub-standard that is a set of description elements necessary for decoding a bit string of a compressed image. The three profiles refer to a baseline profile, a main profile, and an extended profile. In order for the decoder to be compatible with each profile, various requirements for the encoder and decoder are defined in the H.264 standard.

H.264/AVC 에서의 비트열의 구성을 살펴보면, 동영상 부호화 처리 그 자체를 다루는 VCL(Video Coding Layer, 비디오 부호화 계층)과 부호화된 정보를 전송하고 저장하는 하위 시스템과의 사이에 있는 NAL(Network Abstraction Layer, 네트워크 추상 계층)이라는 분리된 계층 구조로 정의되어 있다. 부호화 과정의 출력은 VCL 데이터이고 전송하거나 저장하기 전에 NAL 단위로 맵핑된다. 각 NAL 단위는 압축된 비디오 데이터 또는 헤더 정보에 해당하는 데이터인 RBSP(Raw Byte Sequence Payload, 동영상 압축의 결과데이터)를 포함한다.Looking at the structure of the bit stream in H.264 / AVC, the network abstraction between the video coding layer (VCL) that deals with the video encoding process itself and the subsystem that transmits and stores the encoded information Layer, which is defined as a separate hierarchical structure. The output of the encoding process is VCL data and is mapped in units of NAL before transmission or storage. Each NAL unit includes raw video sequence payload (RBSP), which is data corresponding to compressed video data or header information.

NAL 단위는 NAL헤더와 RBSP를 포함한다. 상기 NAL 헤더는 플래그 정보(예를 들어, nal_ref_idc)와 식별(ID) 정보(예를 들어, nal_unit_type)를 포함할 수 있다. 상기 플래그 정보는 상기 NAL 단위의 참조 픽처가 되는 슬라이스가 포함되어 있는지 여부를 나타내고, 상기 식별 정보는 NAL 단위의 종류를 나타낸다. RBSP 에는 압축된 원본의 데이터를 저장하며, RBSP 의 길이를 8비트의 배수로 표현하기 위해 RBSP 의 마지막에 RBSP 채워넣기 비트(RBSP trailing bit)를 첨가한다.NAL unit includes NAL header and RBSP. The NAL header may include flag information (eg, nal_ref_idc) and identification (ID) information (eg, nal_unit_type). The flag information indicates whether a slice serving as a reference picture of the NAL unit is included, and the identification information indicates the type of the NAL unit. The RBSP stores the compressed original data and adds an RBSP trailing bit at the end of the RBSP to express the length of the RBSP in multiples of 8 bits.

이러한 NAL 단위의 종류에는 IDR (Instantaneous Decoding Refresh, 순간 복호 리프레쉬) 픽쳐, SPS (Sequence Parameter Set, 시퀀스 파라미터 세트), PPS (Picture Parameter Set, 픽쳐 파라미터 세트), SEI (Supplemental Enhancement Information, 보충적 부가정보) 등이 있다.These NAL unit types include Instantaneous Decoding Refresh (IDR) pictures, Sequence Parameter Set (SPS), Picture Parameter Set (PPS), and Supplemental Enhancement Information (SEI). Etc.

또한, 규격에서는 대상 제품을 적당한 비용으로 구현 가능하도록 여러 가지 프로파일 및 레벨로 제약하고 있는데, 복호기는 해당 프로파일과 레벨에서 정해진 제약을 만족시켜야 한다. In addition, the specification restricts the product to various profiles and levels so that the target product can be implemented at a reasonable cost. The decoder must satisfy the constraints defined in the profile and level.

이처럼 복호기가 어떤 압축 영상의 범위까지 대응할 수 있는지 그 기능 또는 파라미터를 나타내기 위해 프로파일과 레벨이라는 두 가지의 개념이 정의되었다. 비트스트림이 어떤 프로파일에 기초하는 것인가는 프로파일 식별 정보(profile_idc)로 식별할 수 있다. 프로파일 식별 정보란, 비트스트림에 관련된 프로파일을 나타내는 플래그를 의미한다. H.264/AVC 표준은 3가지 프로파일 식별정보를 포함할 수 있다. 예를 들어, 상기 프로파일 식별 정보가 66 이면 상기 비트스트림은 베이스라인 프로파일에 기초함을 의미하고, 77 이면 메인 프로파일에 기초함을 의미하며, 88 이면 확장 프로파일에 기초함을 의미한다. 상기 프로파일 식별 정보는 시퀀스 파라미터 세트에 포함될 수 있다.As such, two concepts, profile and level, have been defined to represent the function or parameter of a compressed video range. Which profile the bitstream is based on may be identified by profile identification information profile_idc. The profile identification information means a flag indicating a profile related to the bitstream. The H.264 / AVC standard may include three profile identifications. For example, if the profile identification information is 66, the bitstream means that the bitstream is based on a baseline profile, if 77, which means that the bitstream is based on the main profile, and if it is 88, it means based on the extended profile. The profile identification information may be included in a sequence parameter set.

본 발명의 목적은 비디오 신호의 코딩 효율을 높이고자 함에 있다.An object of the present invention is to improve the coding efficiency of a video signal.

블록 간 또는 시점 간의 상관관계를 이용하여 비디오 신호의 코딩 효율을 높이고자 한다.The coding efficiency of a video signal is improved by using correlations between blocks or views.

픽쳐의 시점을 식별할 수 있는 시점 정보를 정의함으로써 비디오 신호를 효율적으로 코딩하고자 한다.It is intended to efficiently code a video signal by defining viewpoint information that can identify a viewpoint of a picture.

시점간 예측에 이용되는 참조 픽쳐들을 관리하기 위한 방법을 제공함으로써 비디오 신호를 효율적으로 코딩하고자 한다.It is intended to efficiently code a video signal by providing a method for managing reference pictures used for inter-view prediction.

인터뷰 픽쳐 그룹 식별 정보를 규격화된 방식으로 추가함으로써 비디오 신호의 랜덤 액세스를 효율적으로 수행하고자 한다.By adding the interview picture group identification information in a standardized manner, the random access of the video signal is efficiently performed.

인터뷰 픽쳐 그룹과 넌-인터 뷰 픽쳐 그룹을 정의함으로써 랜덤 액세스 및 시점간 예측을 보다 효율적으로 수행하고자 한다.By defining an interview picture group and a non-interview picture group, it is intended to perform random access and inter-view prediction more efficiently.

인터뷰 픽쳐 그룹 식별 정보를 이용함으로써 시점간 예측을 보다 효율적으로 수행하고자 한다.Interview prediction is more efficiently performed by using the interview picture group identification information.

인터뷰 픽쳐 그룹 식별 정보를 이용함으로써 시점간 예측을 위한 참조 픽쳐들을 보다 효율적으로 관리하고자 한다.By using the interview picture group identification information, it is intended to more efficiently manage the reference pictures for inter-view prediction.

본 발명은, 다시점 비디오 데이터 스트림의 시퀀스 영역으로부터 넌-랜덤 액세스 픽쳐의 시점간 예측 구조 정보를 획득하는 단계, 여기서 상기 시점간 예측 구 조 정보는 개수 정보와 시점 식별 정보를 포함하고, 상기 개수 정보는 다시점 비디오 데이터 내에 있는 시점들의 전체 개수를 나타내고, 상기 시점 식별 정보는 상기 다시점 비디오 데이터 내에 있는 참조 시점의 각 시점 식별자를 나타내고 2차원 구조로 표현됨; 시점간 예측을 위한 랜덤 액세스 플래그를 획득하는 단계, 여기서 상기 랜덤 액세스 플래그는 현재 픽쳐의 타입이 랜덤 액세스 픽쳐 또는 넌-랜덤 액세스 픽쳐인지 여부를 나타내고, 상기 랜덤 액세스 픽쳐 내의 모든 슬라이스들은 동일 시간 및 다른 시점에 존재하는 슬라이스만을 참조하고, 상기 넌-랜덤 액세스 픽쳐는 상기 랜덤 액세스 픽쳐가 아닌 픽쳐를 나타냄; 상기 랜덤 액세스 플래그에 따라 상기 현재 픽쳐의 타입이 넌-랜덤 액세스 픽쳐를 나타내는 경우, 상기 넌-랜덤 액세스 픽쳐의 시점간 예측 구조 정보를 이용하여 상기 현재 픽쳐 내에 있는 현재 슬라이스의 시점간 예측을 위한 참조 픽쳐 리스트를 결정하는 단계; 상기 결정된 시점간 예측을 위한 참조 픽쳐 리스트에 기초하여 상기 현재 슬라이스 내에 있는 매크로블록의 예측값을 결정하는 단계; 및 상기 예측값을 이용하여 상기 현재 슬라이스 내에 있는 상기 매크로블록을 디코딩하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 데이터의 디코딩 방법을 제공한다.The present invention includes obtaining inter-view prediction structure information of a non-random access picture from a sequence region of a multi-view video data stream, wherein the inter-view prediction structure information includes number information and view identification information. The information represents the total number of viewpoints in the multiview video data, and the viewpoint identification information represents each viewpoint identifier of a reference viewpoint in the multiview video data and is represented by a two-dimensional structure; Obtaining a random access flag for inter-view prediction, wherein the random access flag indicates whether a type of a current picture is a random access picture or a non-random access picture, and all slices in the random access picture are the same time and different Refers only to slices present at a time point, wherein the non-random access picture represents a picture that is not the random access picture; When the type of the current picture indicates a non-random access picture according to the random access flag, a reference for inter-view prediction of the current slice in the current picture using inter-view prediction structure information of the non-random access picture. Determining a picture list; Determining a prediction value of a macroblock in the current slice based on the determined reference picture list for inter-view prediction; And decoding the macroblock in the current slice by using the prediction value.

또한, 본 발명은, 다시점 비디오 데이터 스트림의 시퀀스 영역으로부터 넌-랜덤 액세스 픽쳐의 시점간 예측 구조 정보를 획득하고, 시점간 예측을 위한 랜덤 액세스 플래그를 획득하는 NAL 파싱부, 여기서 상기 시점간 예측 구조 정보는 개수 정보와 시점 식별 정보를 포함하고, 상기 개수 정보는 다시점 비디오 데이터 내에 있는 시점들의 전체 개수를 나타내고, 상기 시점 식별 정보는 상기 다시점 비디오 데이터 내에 있는 참조 시점의 각 시점 식별자를 나타내고 2차원 구조로 표현되고, 상기 랜덤 액세스 플래그는 현재 픽쳐의 타입이 랜덤 액세스 픽쳐 또는 넌-랜덤 액세스 픽쳐인지 여부를 나타내고, 상기 랜덤 액세스 픽쳐 내의 모든 슬라이스들은 동일 시간 및 다른 시점에 존재하는 슬라이스만을 참조하고, 상기 넌-랜덤 액세스 픽쳐는 상기 랜덤 액세스 픽쳐가 아닌 픽쳐를 나타냄; 상기 랜덤 액세스 플래그에 따라 상기 현재 픽쳐의 타입이 넌-랜덤 액세스 픽쳐를 나타내는 경우, 상기 넌-랜덤 액세스 픽쳐의 시점간 예측 구조 정보를 이용하여 상기 현재 픽쳐 내에 있는 현재 슬라이스의 시점간 예측을 위한 참조 픽쳐 리스트를 결정하는 복호 픽쳐 버퍼부; 및 상기 결정된 시점간 예측을 위한 참조 픽쳐 리스트에 기초하여 상기 현재 슬라이스 내에 있는 매크로블록의 예측값을 결정하고, 상기 예측값을 이용하여 상기 현재 슬라이스 내에 있는 상기 매크로블록을 디코딩하는 인터 예측부를 포함하는 것을 특징으로 하는 다시점 비디오 데이터의 디코딩 장치를 제공한다.The present invention also provides a NAL parser for obtaining inter-view prediction structure information of a non-random access picture from a sequence region of a multi-view video data stream and obtaining a random access flag for inter-view prediction, wherein the inter-view prediction The structure information includes count information and viewpoint identification information, wherein the count information indicates the total number of viewpoints in the multiview video data, and the viewpoint identification information indicates each viewpoint identifier of a reference viewpoint in the multiview video data. Represented in a two-dimensional structure, the random access flag indicates whether the type of the current picture is a random access picture or a non-random access picture, and all slices in the random access picture refer only to slices existing at the same time and at different time points. And the non-random access picture is the random sum. It refers to the picture is not the scan picture; When the type of the current picture indicates a non-random access picture according to the random access flag, a reference for inter-view prediction of the current slice in the current picture using inter-view prediction structure information of the non-random access picture. A decoded picture buffer unit for determining a picture list; And an inter predictor configured to determine a prediction value of the macroblock in the current slice based on the determined reference picture list for the inter-view prediction, and to decode the macroblock in the current slice using the prediction value. An apparatus for decoding multiview video data is provided.

또한, 본 발명에서, 상기 다시점 비디오 데이터는 기준 시점과 보조 시점의 비디오 데이터를 포함하고, 상기 기준 시점은 시점간 예측을 이용하지 않고 다른 시점들과 독립적으로 디코딩 가능한 시점을 나타내며, 상기 보조 시점은 상기 기준 시점이 아닌 시점을 나타내는 것을 특징으로 한다.Also, in the present invention, the multi-view video data includes video data of a reference view and an auxiliary view, and the reference view indicates a view that can be decoded independently of other views without using inter-view prediction. Is characterized in that it represents a time point other than the reference time point.

또한, 본 발명에서, 상기 넌-랜덤 액세스 픽쳐의 상기 시점간 예측 구조 정보는 예측 방향을 고려하여 획득되는 것을 특징으로 한다.In the present invention, the inter-view prediction structure information of the non-random access picture may be obtained in consideration of a prediction direction.

또한, 본 발명에서, 상기 예측 방향은 픽쳐 출력 순서의 순방향 또는 역방향을 나타내는 것을 특징으로 한다.In the present invention, the prediction direction is characterized by indicating the forward or reverse of the picture output order.

또한, 본 발명에서, 상기 보조 시점은 상기 기준 시점을 참조하여 디코딩되는 것을 특징으로 한다.In the present invention, the auxiliary view is characterized in that it is decoded with reference to the reference view.

본 발명은, 제 1 프로파일 및 적어도 하나의 다시점 비디오 신호에 대한 프로파일에 따라 인코딩된 비디오 신호와, 상기 제 1 프로파일을 식별하는 프로파일 정보를, 포함하는 비트스트림을 수신하는 단계와, 상기 비트스트림으로부터 상기 프로파일 정보를 추출하는 단계와, 상기 프로파일 정보에 따라 상기 비디오 신호를 디코딩하는 단계를 포함하되, 상기 제 1 프로파일은 단일 시점 비디오 신호들에 대한 다수개의 프로파일들로부터 선택된 것을 특징으로 하는 비디오 신호 디코딩 방법을 제공한다.The present invention provides a method comprising: receiving a bitstream comprising a video signal encoded according to a first profile and a profile for at least one multi-view video signal, and profile information identifying the first profile; Extracting the profile information from and decoding the video signal according to the profile information, wherein the first profile is selected from a plurality of profiles for single view video signals. Provide a decoding method.

또한, 본 발명은 다음과 같은 특징들 중 하나 이상을 포함할 수 있다.In addition, the present invention may include one or more of the following features.

본 발명은, 상기 프로파일 정보가 다시점 비디오 신호에 대응되는 경우, 다수개의 시점들과 관련된 속성 정보를 상기 비트스트림으로부터 추출하는 단계를 더 포함하되, 상기 속성 정보는, 각 시점들 사이의 의존 관계를 나타내는 시점간 의존 정보, 참조 시점을 나타내는 시점 식별 정보, 시점들의 개수를 나타내는 시점 개수 정보, 시점 스케일러빌러티를 제공하는 시점 레벨 정보 및 카메라 배열을 나타내는 시점 배열 정보 중 적어도 하나를 포함하는 것을 특징으로 한다. 예를 들어, 상기 프로파일 정보가 다시점 비디오 신호에 대응되는 것으로 결정될 때, 상기 속성 정보는 추출될 수 있다.The present invention may further include extracting attribute information associated with a plurality of viewpoints from the bitstream when the profile information corresponds to a multiview video signal, wherein the attribute information is dependent on each of the viewpoints. And at least one of inter-view dependency information indicating a view, view identification information indicating a reference view, view number information indicating a number of view points, view level information providing view scalability, and view array information indicating a camera array. It is done. For example, when it is determined that the profile information corresponds to a multiview video signal, the attribute information may be extracted.

본 발명에서, 상기 프로파일 정보는 상기 비트스트림의 헤더에 위치하는 것을 특징으로 한다.In the present invention, the profile information is located in the header of the bitstream.

본 발명에서, 상기 시점간 의존 정보는 2차원 데이터 구조에서의 의존 관계를 나타내는 것을 특징으로 한다.In the present invention, the inter-view dependency information is characterized by indicating a dependency relationship in a two-dimensional data structure.

본 발명에서, 상기 2차원 데이터 구조는 매트릭스로 이루어지는 것을 특징으로 한다.In the present invention, the two-dimensional data structure is characterized by consisting of a matrix.

본 발명에서, 상기 시점 레벨 정보는 상기 다시점 비디오 신호의 시점들 간의 계층적 시점 예측 구조에 따라 시점들에 할당된 복수개의 레벨들에 대응되는 것을 특징으로 한다.In the present invention, the viewpoint level information corresponds to a plurality of levels assigned to viewpoints according to a hierarchical viewpoint prediction structure between viewpoints of the multiview video signal.

본 발명에서, 주어진 시점에 있는 픽쳐의 다수개의 부분들은 대응되는 레벨을 나타내는 각각의 식별자와 관련있는 것을 특징으로 한다.In the present invention, a plurality of parts of a picture at a given time point are associated with each identifier representing a corresponding level.

본 발명에서, 상기 다수개의 부분들은 상기 픽쳐의 독립된 슬라이스들에 대응되는 것을 특징으로 한다.In the present invention, the plurality of portions correspond to independent slices of the picture.

본 발명에서, 각 슬라이스는 전체 픽쳐(full picture)에 대응되는 것을 특징으로 한다.In the present invention, each slice is characterized in that it corresponds to a full picture.

본 발명에서, 주어진 레벨에 할당된 시점의 픽쳐들은 상기 주어진 레벨보다 더 낮은 레벨로 할당된 시점의 픽쳐들로부터 예측되는 것을 특징으로 한다.In the present invention, the pictures of a view assigned to a given level are predicted from the pictures of the view assigned to a lower level than the given level.

본 발명에서, 가장 낮은 레벨로 할당된 단일 시점의 픽쳐들은 다른 레벨의 픽쳐들로부터 예측되지 않는 것을 특징으로 한다.In the present invention, the pictures of the single viewpoint assigned at the lowest level are not predicted from the pictures of other levels.

본 발명에서, 상기 계층적 시점 예측 구조는 하나의 기준 시점과 다수개의 보조 시점들을 포함하고, 제 1 레벨 시점에 있는 픽쳐들은 상기 기준 시점에 있는 픽쳐들에 기초하여 예측되고, 상기 제 1 레벨 시점보다 상위 레벨 시점에 있는 픽 쳐들은 상기 상위 레벨에 있는 시점들의 레벨보다 더 낮은 레벨에 있는 시점들에 기초하여 예측되는 것을 특징으로 한다.In the present invention, the hierarchical viewpoint prediction structure includes one reference viewpoint and a plurality of auxiliary viewpoints, and pictures at a first level viewpoint are predicted based on pictures at the reference viewpoint, and the first level viewpoint Pictures at higher level viewpoints are predicted based on viewpoints at a level lower than the levels of the viewpoints at the higher level.

또한, 본 발명은, 각 시점들 간의 의존 관계에 따라 인코딩된 다시점 비디오 신호와, 2차원 데이터 구조의 의존 관계를 나타내는 시점간 의존 정보를 포함하는 비트스트림을 수신하는 단계와, 상기 2차원 데이터 구조를 추출하고, 상기 추출된 데이터 구조로부터 의존 관계를 결정하는 단계 및 상기 결정된 의존관계에 따라 상기 다시점 비디오 신호를 디코딩하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 신호 디코딩 방법을 제공한다.The present invention also provides a method comprising: receiving a bitstream including a multiview video signal encoded according to a dependency relationship between respective viewpoints, and inter-view dependency information indicating a dependency relationship between a two-dimensional data structure, and the two-dimensional data; Extracting a structure, determining a dependency from the extracted data structure, and decoding the multiview video signal according to the determined dependency.

본 발명은 다음과 같은 특징들 중 하나 이상을 포함할 수 있다.The present invention may include one or more of the following features.

본 발명에서, 상기 비트스트림으로부터 속성 정보를 추출하는 단계를 더 포함하되, 상기 속성 정보는, 참조 시점을 나타내는 시점 식별 정보, 시점들의 개수를 나타내는 시점 개수 정보, 시점 스케일러빌러티를 제공하는 시점 레벨 정보 및 카메라 배열을 나타내는 시점 배열 정보 중 적어도 하나를 포함하는 것을 특징으로 한다.The method may further include extracting attribute information from the bitstream, wherein the attribute information includes view identification information indicating a reference viewpoint, view point information indicating the number of viewpoints, and a viewpoint level providing viewpoint scalability. And at least one of the information and the viewpoint arrangement information indicating the camera arrangement.

본 발명에서, 주어진 시점에 있는 픽쳐의 다수개의 부분들은 대응되는 레벨 을 나타내는 각각의 식별자와 관련있는 것을 특징으로 한다.In the present invention, a plurality of parts of the picture at a given time point are associated with each identifier representing a corresponding level.

본 발명에서, 상기 계층적 시점 예측 구조는 하나의 기준 시점과 다수개의 보조 시점들을 포함하고, 제 1 레벨 시점에 있는 픽쳐들은 상기 기준 시점에 있는 픽쳐들에 기초하여 예측되고, 상기 제 1 레벨 시점보다 상위 레벨 시점에 있는 픽쳐들은 상기 상위 레벨에 있는 시점들의 레벨보다 더 낮은 레벨에 있는 시점들에 기초하여 예측되는 것을 특징으로 한다.In the present invention, the hierarchical viewpoint prediction structure includes one reference viewpoint and a plurality of auxiliary viewpoints, and pictures at a first level viewpoint are predicted based on pictures at the reference viewpoint, and the first level viewpoint Pictures at higher level viewpoints are predicted based on viewpoints at a level lower than the levels of the viewpoints at the higher level.

또한, 본 발명은, 각각의 디코딩 방법에 대하여, 상기 각각의 디코딩 방법에 의해 상기 비디오 신호가 디코딩될 수 있는 비트스트림을 생성하는 것을 특징으로 하는 비디오 신호 인코딩 방법을 제공한다. 예를 들어, 본 발명은, 제 1 프로파일 및 적어도 하나의 다시점 비디오 신호에 대한 프로파일에 따라 비트스트림을 생성하고, 상기 제 1 프로파일을 식별하는 프로파일 정보를 생성하는 단계를 포함하되, 상기 제 1 프로파일은 단일 시점 비디오 신호들에 대한 다수개의 프로파일들로부터 선택된 것을 특징으로 하는 비디오 신호 인코딩 방법을 제공한다. 또한, 본 발명은, 각 시점들 간의 의존 관계에 따라 비트스트림을 생성하고, 2차원 데이터 구조의 의존 관계를 나타내는 시점간 의존 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 인코딩 방법을 제공한다. The present invention also provides, for each decoding method, a video signal encoding method characterized by generating a bitstream in which the video signal can be decoded by the respective decoding method. For example, the present invention includes generating a bitstream according to a first profile and a profile for at least one multi-view video signal, and generating profile information identifying the first profile, wherein the first profile is generated. The profile provides a video signal encoding method characterized in that it is selected from a plurality of profiles for single view video signals. The present invention also provides a video signal encoding method comprising generating a bitstream according to dependency relationships between respective viewpoints, and generating inter-view dependency information indicating a dependency relationship of a two-dimensional data structure. do.

또한, 각각의 디코딩 방법에 대하여, 컴퓨터로 읽을 수 있는 매체에 저장된 컴퓨터 프로그램은, 상기 각각의 디코딩 방법을 수행하도록 컴퓨터에 지시하는 것을 특징으로 한다.In addition, for each decoding method, the computer program stored in the computer readable medium instructs the computer to perform the respective decoding method.

또한, 각각의 디코딩 방법에 대하여, 장치로 판독가능한 정보 운송체에 포함된 이미지 데이터는 상기 각각의 디코딩 방법에 의해 비디오 신호로 디코딩될 수 있다.In addition, for each decoding method, the image data included in the apparatus-readable information carrier can be decoded into a video signal by the respective decoding method.

또한, 각각의 디코딩 방법에 대하여, 디코더는 상기 각각의 디코딩 방법을 수행하기 위한 수단을 포함하는 것을 특징으로 한다.In addition, for each decoding method, the decoder comprises means for performing the respective decoding method.

또한, 각각의 디코딩 방법에 대하여, 인코더는 상기 각각의 디코딩 방법에 의해 비디오 신호로 디코딩될 수 있도록 비트스트림을 생성하는 수단을 포함하는 것을 특징으로 한다.In addition, for each decoding method, the encoder comprises means for generating a bitstream to be decoded into a video signal by said respective decoding method.

또한, 본 발명은, 다시점으로부터 취득된 영상을 부호화하여 비트스트림을 생성하되, 상기 다시점의 갯수(m)가

< m <=

인 경우, 상기 비트스트림은, 하나의 기준시점 비트스트림과 n개의 계층적 보조시점 비트스트림을 포함하는 것을 특징으로 하는 다시점 영상 인코딩 방법을 제공한다. In addition, the present invention generates a bitstream by encoding a video obtained from a multi-view, the number (m) of the multi-view

<m <=

In the case of the bitstream, the bitstream includes one reference view bitstream and n hierarchical auxiliary view bitstreams.

또한, 본 발명은, 2차원 배열된 다시점으로부터 취득된 영상을 부호화하여 비트스트림을 생성하되, 상기 다시점의 갯수(가로축=m, 세로축=p)가

< m <=

,

< p <=

인 경우, 상기 비트스트림은, 하나의 기준시점 비트스트림과 (n+k)개의 계층적 보조시점 비트스트림을 포함하는 것을 특징으로 하는 다시점 영상 인코딩 방법을 제공한다.In addition, the present invention generates a bitstream by encoding an image obtained from a multi-view arranged in two-dimensional, wherein the number of the multi-view (horizontal axis = m, vertical axis = p)

<m <=

,

<p <=

In the case of, the bitstream provides one reference view bitstream and (n + k) hierarchical auxiliary view bitstreams.

또한, 본 발명은, 다시점으로부터 취득된 영상을 부호화한 비트스트림을 수신하되, 상기 비트스트림은 상기 다시점의 갯수(m)가

< m <=

인 경우, 하나의 기준시점 비트스트림과 n개의 계층적 보조시점 비트스트림으로 포함하고, 상기 수신된 비트스트림으로 부터 선택적으로 기준시점 및/또는 n개의 계층적 보조시점 비트스트림을 복호화는 것을 특징으로 하는 다시점 영상 디코딩 방법을 제공한다.In addition, the present invention receives a bit stream encoding an image obtained from a multi-view, wherein the number of m (m) of the multi-view

<m <=

In the case of, it includes one reference view bitstream and n hierarchical auxiliary view bitstreams, and selectively decodes the reference view and / or n hierarchical auxiliary view bitstreams from the received bitstream. It provides a multi-view video decoding method.

또한, 본 발명은, 2차원 배열된 다시점으로부터 취득된 영상을 부호화하여 비트스트림을 수신하되, 상기 비트스트림은 상기 다시점의 갯수(가로축=m, 세로축=p)가

< m <=

,

< p <=

인 경우, 하나의 기준시점 비트스트림과 (n+k)개의 계층적 보조시점 비트스트림으로 포함하고, 상기 수신된 비트스트림으로 부터 선택적으로 기준시점 및/또는 (n+k)개의 계층적 보조시점 비트스트림을 복호화는 것을 특징으로 하는 다시점 영상 디코딩 방법을 제공한다.In addition, the present invention encodes an image obtained from a multi-view arranged in two dimensions, and receives a bitstream, wherein the number of bits (horizontal axis = m, vertical axis = p) of the multi-view

<m <=

,

<p <=

Is a reference time bitstream and (n + k) hierarchical auxiliary view bitstreams, and optionally includes a reference view and / or (n + k) hierarchical auxiliary view from the received bitstream. It provides a multi-view video decoding method characterized in that the decoding of the bitstream.

또한, 본 발명은, m개의 다시점으로부터 취득된 영상을 부호화하여 비트스트림을 생성하되, 상기 비트스트림은, 하나의 기준시점 비트스트림과 적어도 하나 이상의 보조시점 비트스트림을 포함하고, 상기 다시점의 양끝단을 제1 시점으로 설정 하고, 상기 다시점 중 중앙에 위치한 시점을 제2 시점으로 설정하고, 상기 제2 시점으로부터 양방향으로 하나 이상의 시점을 건너뛰어 연속적으로 위치한 시점을 제3 시점으로 설정하고, 상기 제1 시점 ~ 제3 시점에 해당하지 않는 나머지 시점을 제4 시점으로 설정하되, 상기 제1 시점 내지 제3 시점 중 어느 하나의 시점을 독립적인 부호화를 수행하는 기준시점으로 결정하고, 기준시점을 제외한 나머지 시점들은 예측 부호화를 수행하는 보조시점으로 결정하는 것을 특징으로 하는 다시점 영상 인코딩 방법을 제공한다.The present invention also generates a bitstream by encoding images obtained from m multiviews, wherein the bitstream includes one reference view bitstream and at least one auxiliary view bitstream. Set both ends as a first viewpoint, set a viewpoint located at the center of the multi-viewpoint as a second viewpoint, set a viewpoint continuously positioned as a third viewpoint by skipping one or more viewpoints in both directions from the second viewpoint. The remaining time points that do not correspond to the first time point to the third time point are set as a fourth time point, and any one of the first time point to the third time point is determined as a reference time point for performing independent encoding, and The multiview image encoding method of claim 1, wherein the other viewpoints are determined as an auxiliary view for performing prediction encoding. The.

또한, 본 발명은, m개의 다시점으로부터 취득된 영상을 부호화하여 비트스트림을 생성하되, 상기 비트스트림은, 하나의 기준시점 비트스트림과 적어도 하나 이상의 보조시점 비트스트림을 포함하고, 상기 기준시점의 위치는 다시점 중 중앙에 위치한 시점으로 설정하고, 제2 보조시점의 위치는 다시점의 양끝단 시점으로 설정하고, 제1 보조시점의 위치는 상기 기준시점으로부터 양방향으로 하나 이상의 시점을 건너뛰어 연속적으로 설정하는 것을 특징으로 하는 다시점 영상 인코딩 방법을 제공한다.In addition, the present invention generates a bitstream by encoding the images obtained from the m multi-view, wherein the bitstream includes one reference view bitstream and at least one auxiliary view bitstream, The position is set to a point located at the center of the multi-view, the position of the second auxiliary point is set to both end points of the multi-view, and the position of the first auxiliary point is continuously skipped at least one viewpoint in both directions from the reference point. It provides a multi-view video encoding method, characterized in that set to.

또한, 본 발명은, m개의 다시점으로부터 취득된 영상을 부호화한 비트스트림을 수신하되, 상기 비트스트림은 하나의 기준시점 비트스트림과 적어도 하나 이상의 보조시점 비트스트림을 포함하고, 상기 수신된 비트스트림으로부터, 기준시점 영상은 다시점중 중앙에 위치한 시점을 독립적으로 복호화하여 복원하고, 제1 보조시점 영상은, 상기 기준시점으로부터 양방향으로 하나 이상의 시점을 건너뛰어 위치한 시점(들)을 상기 기준시점 영상을 이용하여 복원하고, 제2 보조시점 영상은 다시점의 양끝단 시점을 상기 기준시점 영상을 이용하여 복원하는 것을 특징으로 하는 다시점 영상 디코딩 방법을 제공한다.In addition, the present invention receives a bitstream encoding an image obtained from the m multi-view, wherein the bitstream includes one reference view bitstream and at least one auxiliary view bitstream, the received bitstream The reference viewpoint image is independently decoded and reconstructed from a viewpoint located at the center of the multiple viewpoints, and the first auxiliary viewpoint image is a viewpoint (s) located at a time by skipping one or more viewpoints in both directions from the reference viewpoint. The multi-view image decoding method may be performed by restoring the second auxiliary view image, and the second auxiliary view image may be restored using the reference view image.

또한, 본 발명은, m개의 다시점으로부터 취득된 영상을 부호화한 비트스트림을 수신하되, 상기 비트스트림은 하나의 기준시점 비트스트림과 적어도 하나 이상의 보조시점 비트스트림을 포함하고, 상기 수신된 비트스트림으로부터, 기준시점 위치정보를 독출하여, 상기 기준시점 및 보조시점의 위치를 확인한 후, 상기 기준시점 영상과 보조시점 영상을 복원하되, 상기 기준시점 위치정보는, 상기 다시점의 양끝단으로 하는 제1 시점, 상기 다시점중 중앙에 위치한 제2 시점 및 상기 제2 시점으로부터 양방향으로 하나 이상의 시점을 건너뛰어 연속적으로 위치한 제3 시점중 어느 하나를 지정하는 정보인 것을 특징으로 하는 다시점 영상 디코딩 방법을 제공한다.In addition, the present invention receives a bitstream encoding an image obtained from the m multi-view, wherein the bitstream includes one reference view bitstream and at least one auxiliary view bitstream, the received bitstream Reading reference point position information from the reference point, confirming the positions of the reference point and the auxiliary point, and restoring the reference point image and the auxiliary point image, wherein the reference point position information is formed at both ends of the multi-view point. The multi-view image decoding method of claim 1, the second viewpoint located at the center of the multi-view point and the information that designates any one of the third time points consecutively skipped at least one view in both directions from the second view. To provide.

또한, 본 발명은, 비트스트림이 생성되는 경우 몇 개의 프로파일들 중에 적어도 하나의 프로파일을 선택하는 단계와, 상기 프로파일 내에 비디오 영상과 관련된 적어도 하나의 속성 정보를 포함시키는 단계를 포함하는 것을 특징으로 하는 비디오 영상 인코딩 방법을 제공한다.In addition, the present invention includes selecting at least one of several profiles when a bitstream is generated, and including at least one attribute information related to a video image in the profile. A video image encoding method is provided.

또한, 본 발명은, 수신된 비트스트림으로부터 적어도 하나의 프로파일 정보를 추출하는 단계와, 상기 추출된 프로파일 정보에 기초하여 상기 프로파일 내에 포함된 적어도 하나의 속성 정보를 추출하는 단계 및 상기 추출된 속성 정보에 기초하여 상기 비트스트림을 디코딩하는 단계를 포함하는 것을 특징으로 하는 비디오 영상 디코딩 방법을 제공한다.The present invention also provides a method of extracting at least one profile information from a received bitstream, extracting at least one attribute information included in the profile based on the extracted profile information, and extracting the extracted attribute information. And decoding the bitstream based on the video image decoding method.

또한, 본 발명은, 비트스트림이 생성되는 경우 몇 개의 프로파일들 중에 적어도 하나의 프로파일을 선택하는 수단과, 상기 프로파일 내에 비디오 영상과 관련된 적어도 하나의 속성 정보를 포함시키는 수단을 포함하는 것을 특징으로 하는 비디오 영상 인코딩 방법을 제공한다.The invention also comprises means for selecting at least one of several profiles when the bitstream is generated and means for including at least one attribute information relating to the video image in the profile. A video image encoding method is provided.

또한, 본 발명은, 수신된 비트스트림으로부터 적어도 하나의 프로파일 정보를 추출하는 수단과, 상기 추출된 프로파일 정보에 기초하여 상기 프로파일 내에 포함된 적어도 하나의 속성 정보를 추출하는 수단 및 상기 추출된 속성 정보에 기초하여 상기 비트스트림을 디코딩하는 수단을 포함하는 것을 특징으로 하는 비디오 영상 디코딩 방법을 제공한다.In addition, the present invention, means for extracting at least one profile information from the received bitstream, means for extracting at least one attribute information included in the profile based on the extracted profile information and the extracted attribute information Means for decoding the bitstream based on the video image decoding method.

본 발명은 비디오 신호를 코딩함에 있어서, 다시점 비디오 영상의 전반적인 코딩 구조에 따를 때, 인터 뷰 픽쳐 그룹과 넌-인터 뷰 픽쳐 그룹의 참조 정보가 다르기 때문에 상기 인터 뷰 픽쳐 그룹 식별 정보에 따라 인터 뷰 픽쳐 그룹과 넌-인터 뷰 픽쳐 그룹을 구별하여 코딩하게 될 경우 보다 효율적인 코딩이 가능할 수 있다. According to the present invention, when the video signal is coded, the reference information of the inter-view picture group and the non-inter-view picture group is different according to the overall coding structure of the multiview video image, so that the inter-view according to the inter-view picture group identification information. If coding is performed by distinguishing the picture group from the non-inter view picture group, more efficient coding may be possible.

또한, 시점간 예측에 이용되는 참조 픽쳐들을 관리하기 위한 방법을 제공함으로써 보다 효율적으로 코딩을 수행할 수 있게 된다. 본 발명을 이용하여 시점간 예측(inter-view prediction)을 수행할 때, DPB(Decoded Picture Buffer)의 부담을 감소시켜 코딩 속도를 향상시킬 수 있을 뿐만 아니라 보다 정확한 예측이 가능하여 전송할 비트수를 감소시킬 수도 있다.In addition, by providing a method for managing reference pictures used for inter-view prediction, coding can be performed more efficiently. When performing inter-view prediction using the present invention, the coding speed can be improved by reducing the burden of a decoded picture buffer (DPB), and more accurate prediction can be performed, thereby reducing the number of bits to be transmitted. You can also

또한, 상기 다시점 영상의 인코딩/디코딩 방법은 다시점 영상을 효율적으로 코딩할 수 있다. 상기 다시점 영상을 디코딩하는 동안, 개별적인 시점들은 계층적으로 디스플레이될 수 있다. 상기 방법은 상기 다시점 영상을 인코딩하는 동안 개별적인 시점의 이미지들의 예측 구조를 확립할 수 있다. 따라서, 다시점의 개수가 많아지고 그 배열이 확장되더라도, 상기 방법은 위에서 설명한 실시예들과 동일한 방법으로 상기 예측 구조를 확장시킬 수 있을 것이다. 게다가, 상기 방법은 계층적 구조를 이용하여 다시점 영상의 시점 확장 기능을 수행함으로써, 수신단에서의 다양한 디스플레이 방식에 적합하도록 인코딩/디코딩 과정을 수행할 수 있다. 따라서, 효율적인 인코딩/디코딩 시스템을 수행할 수 있게 된다.In addition, the multiview image encoding / decoding method may efficiently code a multiview image. While decoding the multi-view image, individual views can be displayed hierarchically. The method may establish a prediction structure of images of individual viewpoints while encoding the multiview image. Therefore, even if the number of multi-views is increased and the arrangement is extended, the method may extend the prediction structure in the same manner as the above-described embodiments. In addition, the method may perform an encoding / decoding process suitable for various display methods at the receiving end by performing a view extension function of a multiview image using a hierarchical structure. Thus, an efficient encoding / decoding system can be performed.

또한, 상기 비디오 영상의 인코딩/디코딩 방법은, 수대의 카메라에 의해 찍힌 다시점 영상을 다루는 경우 인코더와 디코더에 시점들의 개수를 나타내는 num_views 정보를 전송할 수 있다. 상기 인코딩/디코딩 방법은 전체 시점의 기준으로 이용될 참조 시점을 지정할 수 있다. 상기 참조 시점 영상들은 다른 시점의 영상들을 참조하지 않고, 서로 독립적으로 코딩될 수 있다. 상기 인코딩/디코딩 방법은 view_arrangement 정보를 참조함으로써, 각 배열에 따라 상기 인코딩/디코딩 과정을 효율적으로 수행할 수 있다.In addition, the encoding / decoding method of the video image may transmit num_views information indicating the number of viewpoints to the encoder and the decoder when the multiview image captured by several cameras is handled. The encoding / decoding method may designate a reference viewpoint to be used as a reference for all viewpoints. The reference view images may be coded independently of each other without referring to images of other views. The encoding / decoding method may efficiently perform the encoding / decoding process according to each array by referring to view_arrangement information.

또한, 상기 인코딩/디코딩 방법은 프로파일 타입을 식별할 수 있고, 비디오 영상에 관련된 다양한 속성 정보들을 추가할 수 있으며, 상기 추가된 속성 정보들을 이용하여 상기 인코딩/디코딩 과정을 효율적으로 수행할 수 있다.In addition, the encoding / decoding method may identify a profile type, add various attribute information related to a video image, and efficiently perform the encoding / decoding process using the added attribute information.

다시점(multiview) 영상을 효율적으로 다루기 위해서는, 디코딩 장치가 입력 비트스트림이 다시점 프로파일(Multiview Profile)에 관련되어 있는지 여부를 결정하도록 하는 정보를, 상기 입력 비트스트림은 포함할 수 있다. 상기 입력 비트스트림이 다시점 프로파일과 관련되어 있는 것으로 식별되면 다시점 영상에 대한 하나 이상의 추가 정보를 전송할 수 있도록 신택스를 추가할 필요가 있다. 여기서 다시점 프로파일 식별 정보란, H.264/AVC의 추가 기술로서 다시점 비디오(multiview video)를 다루는 프로파일 모드(profile mode)를 나타낼 수 있다.In order to efficiently handle a multiview image, the input bitstream may include information for causing a decoding device to determine whether an input bitstream is related to a multiview profile. If the input bitstream is identified as being associated with a multiview profile, it may be necessary to add a syntax to transmit one or more additional information about the multiview image. Here, the multiview profile identification information may indicate a profile mode that handles multiview video as an additional technique of H.264 / AVC.

MVC 기술은 H.264/AVC 기술에 대한 추가 기술이므로 무조건적인 신택스보다는 MVC 모드인 경우에 대한 추가 정보로서 신택스를 추가하는 것이 더 효율적일 수 있다. 예를 들어, AVC의 프로파일 식별자가 다시점 프로파일을 나타낼 때 다시점 영상에 대한 정보를 추가하면 부호화 효율을 높일 수 있다. Since MVC technology is an additional technology to H.264 / AVC technology, it may be more efficient to add syntax as additional information for MVC mode than unconditional syntax. For example, when the profile identifier of the AVC indicates a multi-view profile, adding information about the multi-view image may increase encoding efficiency.

시퀀스 파라미터 세트란, 프로파일, 레벨 등 시퀀스 전체의 부호화에 걸쳐있는 정보가 포함되어 있는 헤더 정보를 말한다. The sequence parameter set refers to header information that includes information that covers the entire sequence, such as profile and level.

압축된 동영상 전체, 즉 시퀀스는 반드시 시퀀스 헤더로부터 시작하여야 하므로 헤더 정보에 상당하는 시퀀스 파라미터 세트는 그 파라미터 세트를 참조하는 데이터보다 먼저 복호기에 도착하여야 한다. 시퀀스 파라미터 세트 RBSP (도 2의 S1)는 동영상 압축의 결과 데이터에 대한 헤더 정보로써의 역할을 한다. 비트스트림이 입력되면, 먼저 프로파일 식별자는 입력된 비트스트림이 복수개의 프로파일 중에서 어떤 프로파일에 기초하는 것인지를 식별하게 된다. Since the entire compressed video, i.e., the sequence, must start from the sequence header, the sequence parameter set corresponding to the header information must arrive at the decoder before the data referring to the parameter set. The sequence parameter set RBSP (S1 in FIG. 2) serves as header information for the result data of moving picture compression. When the bitstream is input, the profile identifier first identifies which of the plurality of profiles the input bitstream is based on.

따라서, 입력되는 비트스트림이 다시점 프로파일에 대한 것인지 여부를 판단 하는(예를 들어, " If ( profile_idc == MULTI_VIEW_PROFILE )") 프로파일 식별 정보를 신택스 상에 포함시킴으로써, 입력된 비트스트림이 다시점 프로파일에 대한 것인지 여부를 판별하고, 다시점 프로파일에 대한 것으로 인정되는 경우에 여러 가지 속성 정보들을 추가할 수 있게 된다.Thus, by including profile identification information on the syntax that determines whether the input bitstream is for a multiview profile (e.g., "If (profile_idc == MULTI_VIEW_PROFILE)"), the input bitstream is a multiview profile. It is possible to determine whether or not to and to add various attribute information when it is recognized as that for a multi-view profile.

도 1은 본 발명이 적용되는 실시예로서, 다시점 비디오 영상을 포함하는 비디오 신호의 디코딩을 위한 다시점 비디오 시스템의 디코딩 장치의 개략적인 블록도를 나타낸다. FIG. 1 is a schematic block diagram of a decoding apparatus of a multiview video system for decoding a video signal including a multiview video image according to an embodiment to which the present invention is applied.

상기 다시점 비디오 시스템은 상기 다시점 비디오 영상을 제공하기 위해 대응되는 인코딩 장치(인코더)를 포함할 수 있다. 이때, 상기 다시점 비디오 영상은 장치로 판독가능한 정보의 운송체(예를 들어, 장치로 판독가능한 저장 매체, 또는 송신기와 수신기 사이에서 전파되는 장치로 판독가능한 에너지 신호)에 포함된 인코딩된 이미지 데이터를 포함하는 비트스트림으로써 제공될 수 있다. The multi-view video system may include a corresponding encoding device (encoder) for providing the multi-view video image. In this case, the multi-view video image is encoded image data contained in a vehicle of information readable by the device (for example, a device readable storage medium, or an energy signal readable by the device propagating between the transmitter and the receiver). It may be provided as a bitstream including a.

도 1에 따르면, 상기 디코딩 장치는 크게 파싱부(10), 엔트로피 디코딩부(11), 역양자화/역변환부(12), 화면간 예측부(13), 화면내 예측부(14), 디블록킹 필터부(15), 복호 픽쳐 버퍼부(16) 등을 포함한다. According to FIG. 1, the decoding apparatus includes a parsing unit 10, an entropy decoding unit 11, an inverse quantization / inverse transform unit 12, an inter prediction unit 13, an intra prediction unit 14, and deblocking. A filter section 15, a decoded picture buffer section 16, and the like.

상기 화면간 예측부(13)는 움직임 보상부(17), 조명 보상부(18), 조명 보상 오프셋 예측부(19) 등을 포함한다.The inter prediction unit 13 includes a motion compensator 17, an illumination compensator 18, an illumination compensation offset predictor 19, and the like.

파싱부(10)에서는 수신된 비디오 영상을 복호하기 위하여 NAL 단위로 파싱을 수행한다. 일반적으로 하나 또는 그 이상의 시퀀스 파라미터 셋과 픽쳐 파라미터 셋이 슬라이스 헤더와 슬라이스 데이터가 디코딩되기 전에 디코더로 전송된다. 이 때 NAL 헤더 영역 또는 NAL 헤더의 확장 영역에는 여러 가지 속성 정보가 포함될 수 있다. 예를 들어, 시간적 레벨(temporal level) 정보, 시점 레벨(view level) 정보, 앵커 픽쳐(anchor picture) 식별 정보, 시점 식별(view identifier) 정보 등이 포함될 수 있다. The parser 10 performs parsing on a NAL basis to decode the received video image. In general, one or more sequence parameter sets and picture parameter sets are transmitted to the decoder before the slice header and slice data are decoded. In this case, various attribute information may be included in the NAL header area or the extension area of the NAL header. For example, temporal level information, view level information, anchor picture identification information, view identifier information, and the like may be included.

여기서, 시간적 레벨 정보란, 비디오 신호로부터 시간적 확장성을 제공하기 위한 계층적인 구조에 대한 정보를 말한다. 이러한 시간적 레벨 정보를 통해 사용자에게 다양한 시간대의 영상을 제공할 수 있게 된다. Here, the temporal level information refers to information on a hierarchical structure for providing temporal scalability from a video signal. Through such temporal level information, it is possible to provide a user with images of various time zones.

시점 레벨 정보란, 비디오 신호로부터 시점 확장성을 제공하기 위한 계층적인 구조에 대한 정보를 말한다. 다시점 비디오 영상에서는 사용자에게 다양한 시간 및 시점의 영상을 제공하도록 하기 위해 시간 및 시점에 대한 레벨을 정의해 줄 필요가 있다. The viewpoint level information refers to information on a hierarchical structure for providing viewpoint scalability from a video signal. In a multi-view video image, it is necessary to define the levels of time and view in order to provide a user with images of various times and views.

이처럼 레벨 정보를 정의할 경우, 시간 및 시점에 대한 확장성(scalability)을 이용할 수 있게 된다. 따라서, 사용자는 원하는 시간 및 시점의 영상만을 볼 수도 있고, 다른 제한 조건에 따른 영상만을 볼 수 있게 된다. 상기 레벨 정보는 그 기준 조건에 따라 다양한 방법으로 다르게 설정될 수 있다. 예를 들어, 상기 레벨 정보는 카메라의 위치에 따라 다르게 설정될 수 있고, 카메라의 배열 형태에 따라 다르게 설정될 수 있다. 또한, 상기 레벨 정보는 특별한 기준에 의하지 않고 임의로 설정될 수도 있다. When defining the level information in this way, scalability with respect to time and time can be used. Accordingly, the user may view only an image of a desired time and time point, and may view only an image according to another constraint. The level information may be set differently in various ways according to the reference condition. For example, the level information may be set differently according to the position of the camera, or may be set differently according to the arrangement of the camera. In addition, the level information may be arbitrarily set regardless of a special criterion.

앵커 픽쳐라 함은, 모든 슬라이스들이 동일 시간대의 프레임에 있는 슬라이스만을 참조하는 부호화된 픽쳐를 의미한다. 예를 들어, 다른 시점에 있는 슬라이 스만을 참조하고 현재 시점에 있는 슬라이스는 참조하지 않는 부호화된 픽쳐를 말한다. 다시점 영상의 복호화 과정에 있어서, 시점 간의 랜덤 액세스가 필요할 수 있다. An anchor picture refers to an encoded picture in which all slices refer only to slices in frames of the same time zone. For example, an encoded picture refers only to a slice at another viewpoint and not to a slice at the current viewpoint. In the decoding process of a multiview image, random access between viewpoints may be required.

복호화 노력을 최소화하면서 임의 시점에 대한 액세스가 가능하도록 하여야 한다. 여기서 효율적인 랜덤 액세스를 실현하기 위하여 앵커 픽쳐 식별 정보가 필요할 수 있다. Access to any point in time should be allowed while minimizing the decryption effort. Here, anchor picture identification information may be needed to realize efficient random access.

또한, 시점 식별 정보란, 현재 시점에 있는 픽쳐와 다른 시점에 있는 픽쳐를 구별하기 위한 정보를 말한다. 비디오 영상 신호가 코딩될 때, 각각의 픽쳐를 식별하기 위하여 POC(Picture Order Count)와 frame_num 이 이용될 수 있다. The viewpoint identification information refers to information for distinguishing a picture at a current viewpoint from a picture at a different viewpoint. When a video image signal is coded, a picture order count (POC) and frame_num may be used to identify each picture.

다시점 비디오 영상인 경우에는 시점 간의 예측이 수행될 수 있다. 따라서, 현재 시점에 있는 픽쳐와 다른 시점에 있는 픽쳐를 구별하기 위해 식별자가 이용될 수 있다.In the case of a multiview video image, inter-view prediction may be performed. Thus, an identifier may be used to distinguish a picture at a current time point from a picture at a different time point.

픽쳐의 시점을 나타내는 시점 식별자(view identifier)가 정의될 수 있다. 상기 시점 식별자를 이용하여 현재 픽쳐와 다른 시점에 있는 픽쳐의 정보를 획득하고, 상기 다른 시점에 있는 픽쳐의 정보를 이용하여 상기 비디오 신호를 디코딩할 수 있다. 이러한 상기 시점 식별자는 비디오 신호의 인코딩/디코딩 과정 전반에 걸쳐 적용될 수 있다. 또한, 특정한 시점 식별자가 아닌, 시점이 고려된 frame_num을 이용하여 다시점 비디오 코딩에 그대로 적용할 수도 있다.A view identifier indicating a viewpoint of the picture may be defined. The view identifier may be used to obtain information about a picture at a different point in time from the current picture, and the video signal may be decoded using the picture information at a different point in time. This view identifier may be applied throughout the encoding / decoding process of the video signal. In addition, the frame_num may be applied to a multi-view video coding as it is, using a frame_num in consideration of a view rather than a specific view identifier.

일반적으로 다시점 영상의 데이터량이 방대하기 때문에, 이를 해결하기 위해 각 시점의 계층적(hierarchy) 부호화(이를, '뷰 스케일러빌러티(view scalability)'라고도 한다) 기능이 필요할 수 있다. 뷰 스케일러빌러티 기능을 수행하기 위해 다시점 영상의 시점을 고려한 예측 구조를 정의할 수 있다. In general, since a large amount of data of a multiview image is required, a hierarchical encoding (also called 'view scalability') function of each view may be required to solve this problem. In order to perform the view scalability function, a prediction structure considering the viewpoint of a multiview image may be defined.

상기 예측 구조는 여러 개의 시점 영상들에 대해서 예측 순서 및 방향 등을 구조화함으로써 정의될 수 있다. 예를 들어, 부호화하려는 여러 시점의 영상들이 주어질 때, 전체 배열의 중앙을 기준 시점(base view)으로 정하고 점차 계층적으로 부호화하려는 시점의 영상을 선택할 수 있다. 또는 전체 배열의 끝부분이나 그외 다른 부분을 기준 시점으로 정할 수도 있다. The prediction structure may be defined by structuring a prediction order and a direction for a plurality of viewpoint images. For example, when images of various viewpoints to be encoded are given, the center of the entire array may be determined as a base view, and an image of a viewpoint to be encoded hierarchically may be selected. Alternatively, the end of the entire array or any other part can be determined as a reference point.

만약 카메라 시점의 개수가 2의 지수승인 경우를 기준으로 각 시점 영상 간의 계층적인 예측 구조를 형성할 수도 있다. 또는 카메라 시점의 개수가 2의 지수승이 아닌 경우에는 실제 개수보다 크면서 가장 작은 2의 지수승의 경우를 기준으로 가상의 시점을 상정하고 예측 구조를 형성할 수도 있다. 또한, 카메라 배열이 2차원일 경우에는 수평, 수직 방향으로 번갈아가며 예측 순서를 정할 수 있다.If the number of camera viewpoints is an exponential power of 2, a hierarchical prediction structure between each viewpoint image may be formed. Alternatively, when the number of camera viewpoints is not an exponential power of 2, a virtual viewpoint may be assumed and a prediction structure may be formed based on the case of the exponential power of 2 which is larger than the actual number and is the smallest. In addition, when the camera array is two-dimensional, it is possible to determine the prediction order alternately in the horizontal and vertical directions.

파싱된 비트스트림은 엔트로피 디코딩부(11)를 통하여 엔트로피 디코딩되고, 각 매크로브록의 계수, 움직임 벡터 등이 추출된다. 역양자화부/역변환부(12)에서는 수신된 양자화된 값에 일정한 상수를 곱하여 변환된 계수값을 획득하고, 상기 계수값을 역변환하여 화소값을 복원하게 된다. 상기 복원된 화소값을 이용하여 화면내 예측부(14)에서는 현재 픽쳐 내의 디코딩된 샘플로부터 화면내 예측을 수행하게 된다. The parsed bitstream is entropy decoded by the entropy decoding unit 11, and coefficients, motion vectors, and the like of each macroblock are extracted. The inverse quantizer / inverse transformer 12 multiplies the received quantized value by a constant constant to obtain a transformed coefficient value, and inversely transforms the coefficient value to restore the pixel value. The intra prediction unit 14 performs the intra prediction from the decoded samples in the current picture by using the reconstructed pixel value.

디블록킹 필터부(15)에서는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 매크로블록에 적용된다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 프 레임의 화질을 향상시킨다. 필터링 과정의 선택은 경계 세기(boundary strenth)와 경계 주위의 이미지 샘플의 변화(gradient)에 의해 좌우된다. 필터링을 거친 픽쳐들은 출력되거나 참조 픽쳐로 이용하기 위해 복호 픽쳐 버퍼부(16)에 저장된다. The deblocking filter section 15 is applied to each coded macroblock to reduce block distortion. The filter smoothes the edges of the block to improve the quality of the decoded frame. The choice of filtering process depends on the boundary strength and the gradient of the image samples around the boundary. The filtered pictures are output or stored in the decoded picture buffer unit 16 for use as a reference picture.

복호 픽쳐 버퍼부(Decoded Picture Buffer unit)(16)에서는 화면간 예측을 수행하기 위해서 이전에 코딩된 픽쳐들을 저장하거나 개방하는 역할 등을 수행한다. 이 때 복호 픽쳐 버퍼부(16)에 저장하거나 개방하기 위해서 각 픽쳐의 frame_num 과 POC(Picture Order Count)를 이용하게 된다. 따라서, MVC에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 픽쳐와 다른 시점에 있는 픽쳐들도 있으므로, 이러한 픽쳐들을 참조 픽쳐로서 활용하기 위해서는 상기 frame_num 과 POC 뿐만 아니라 픽쳐의 시점을 나타내는 시점 식별자도 함께 이용할 수 있다.The decoded picture buffer unit 16 stores or opens previously coded pictures in order to perform inter prediction. At this time, the frame_num and POC (Picture Order Count) of each picture are used to store or open the decoded picture buffer unit 16. Therefore, some of the previously coded pictures in MVC have pictures that are different from the current picture. Therefore, in order to utilize these pictures as reference pictures, not only the frame_num and the POC but also a view identifier indicating the picture's view point may be used. Can be.

화면간 예측부(13)에서는 복호 픽쳐 버퍼부(16)에 저장된 참조 픽쳐를 이용하여 화면간 예측을 수행한다. 인터 코딩된 매크로블록은 매크로블록 파티션으로 나누어질 수 있으며, 각 매크로블록 파티션은 하나 또는 두개의 참조 픽쳐로부터 예측될 수 있다. The inter prediction unit 13 performs inter prediction using a reference picture stored in the decoded picture buffer unit 16. Inter-coded macroblocks can be divided into macroblock partitions, where each macroblock partition can be predicted from one or two reference pictures.

움직임 보상부(17)에서는 엔트로피 디코딩부(11)로부터 전송된 정보들을 이용하여 현재 블록의 움직임을 보상한다. 비디오 신호로부터 현재 블록에 이웃하는 블록들의 움직임 벡터를 추출하고, 상기 현재 블록의 움직임 벡터 프리딕터를 획득한다. 상기 획득된 움직임 벡터 프리딕터와 비디오 신호로부터 추출되는 차분 벡터를 이용하여 현재 블록의 움직임을 보상한다. 또한, 이러한 움직임 보상은 하나의 참조 픽쳐를 이용하여 수행될 수도 있고, 복수의 픽쳐를 이용하여 수행될 수도 있 다. The motion compensation unit 17 compensates for the motion of the current block by using the information transmitted from the entropy decoding unit 11. A motion vector of blocks neighboring the current block is extracted from the video signal, and a motion vector predictor of the current block is obtained. The motion of the current block is compensated by using the obtained motion vector predictor and the difference vector extracted from the video signal. In addition, such motion compensation may be performed using one reference picture or may be performed using a plurality of pictures.

따라서, 상기 참조 픽쳐들이 현재 시점과 다른 시점에 있는 픽쳐들인 경우에는 그 시점을 나타내는 시점 식별자를 이용하여 움직임 보상을 수행할 수 있다. Therefore, when the reference pictures are pictures that are different from the current view, motion compensation may be performed using a view identifier indicating the view.

또한, 직접 예측 모드(direct mode)는 부호화가 끝난 블록의 움직임 정보로부터 현재 블록의 움직임 정보를 예측하는 부호화 모드이다. 이러한 방법은 움직임 정보를 부호화할 때 필요한 비트수가 절약되기 때문에 압축 효율이 향상된다. In addition, the direct prediction mode is a coding mode for predicting motion information of a current block from motion information of a coded block. This method improves compression efficiency because the number of bits necessary for encoding motion information is saved.

예를 들어, 시간 직접 예측 모드(temporal direct mode)는 시간 방향의 움직임 정보 상관도를 이용하여 현재 블록의 움직임 정보를 예측하게 된다. 이 방법과 유사하게, 상기 디코더는 시점 방향의 움직임 정보 상관도를 이용하여 현재 블록의 움직임 정보를 예측할 수 있다. For example, in the temporal direct mode, a temporal direct mode predicts motion information of a current block by using motion information correlation in the time direction. Similar to this method, the decoder may predict the motion information of the current block by using the motion information correlation in the view direction.

또한, 입력된 비트스트림이 다시점 영상에 해당되는 경우, 각 시점 영상(view sequence)들은 각기 다른 카메라에서 취득된 영상들이기 때문에 카메라의 내외적 요인으로 인하여 조명 (illumination) 차이가 발생하게 된다. 이를 방지하기 위해서 조명 보상부(18)에서는 조명 보상(illumination compensation)을 수행하게 된다. In addition, when the input bitstream corresponds to a multi-view image, since the view sequences are images obtained from different cameras, illumination differences may occur due to internal and external factors of the camera. In order to prevent this, the illumination compensation unit 18 performs illumination compensation.

조명 보상을 수행함에 있어서, 비디오 신호의 일정 계층에 대한 조명 보상 수행여부를 나타내는 플래그 정보를 이용할 수 있다. 예를 들어, 해당 슬라이스 또는 해당 매크로블록의 조명 보상 수행여부를 나타내는 플래그 정보를 이용하여 조명 보상을 수행할 수 있다. 또한, 상기 플래그 정보를 이용하여 조명 보상을 수행함에 있어서, 여러 가지 매크로블록의 타입(예를 들어, 인터16×16모드 또는 B- skip모드 또는 직접 예측 모드 등)에 적용될 수 있다.In performing lighting compensation, flag information indicating whether lighting compensation is performed on a predetermined layer of a video signal may be used. For example, lighting compensation may be performed using flag information indicating whether lighting of the slice or the macroblock is performed. In addition, in performing lighting compensation using the flag information, it may be applied to various types of macroblocks (eg, inter16 × 16 mode, B-skip mode, or direct prediction mode).

또한, 조명 보상을 수행함에 있어서, 현재 블록을 복원하기 위하여 주변 블록의 정보 또는 현재 블록과 다른 시점에 있는 블록의 정보를 이용할 수 있으며, 현재 블록의 오프셋 값을 이용할 수도 있다. 여기서 현재 블록의 오프셋 값이란, 현재 블록의 평균 화소값과 그에 대응하는 참조 블록의 평균 화소값 사이의 차이를 말한다. 상기 오프셋 값을 이용하는 일례로, 상기 현재 블록의 이웃 블록들을 이용하여 상기 현재 블록의 오프셋 값의 프리딕터를 획득하고, 상기 오프셋 값과 상기 프리딕터와의 차이값(residual)을 이용할 수 있다. 따라서, 디코더에서는 상기 차이값과 상기 프리딕터를 이용하여 상기 현재 블록의 오프셋 값을 복원할 수 있다. In addition, in performing the illumination compensation, information of a neighboring block or information on a block that is different from the current block may be used to restore the current block, and an offset value of the current block may be used. Here, the offset value of the current block refers to a difference between the average pixel value of the current block and the average pixel value of the reference block corresponding thereto. As an example of using the offset value, a predicate of an offset value of the current block may be obtained using neighboring blocks of the current block, and a difference between the offset value and the predictor may be used. Accordingly, the decoder may restore the offset value of the current block by using the difference value and the predictor.

또한, 현재 블록의 프리딕터를 획득함에 있어서, 이웃 블록의 정보를 이용할 수 있다. In addition, in obtaining the predictor of the current block, information of the neighboring block may be used.

예를 들어, 이웃 블록의 오프셋 값을 이용하여 현재 블록의 오프셋 값을 예측할 수 있는데, 이에 앞서 상기 현재 블록의 참조 번호(reference index)와 상기 이웃 블록의 참조 번호가 동일한지 여부를 확인할 수 있다. 상기 확인 결과에 따라 상기 조명 보상부(18)는 어떤 이웃 블록을 이용할지, 또는 어떤 값을 이용할지를 결정할 수 있다. For example, the offset value of the current block may be predicted using the offset value of the neighboring block. Before this, it may be determined whether the reference number of the current block and the reference number of the neighboring block are the same. According to the check result, the illumination compensator 18 may determine which neighboring block to use or what value to use.

또한, 상기 조명 보상부(18)는 현재 블록의 프리딕션 타입을 이용하여 조명 보상을 수행할 수도 있으며, 현재 블록이 2개의 참조 블록을 이용하여 예측 코딩된 경우에는 현재 블록의 오프셋 값을 이용하여 각 참조 블록에 대응하는 오프셋 값을 획득할 수도 있다. In addition, the lighting compensation unit 18 may perform lighting compensation by using the prediction type of the current block. When the current block is predictively coded using two reference blocks, the lighting compensation unit 18 uses the offset value of the current block. An offset value corresponding to each reference block may be obtained.

이처럼 조명 보상, 움직임 보상 등을 이용하여 인터 예측된 픽쳐들과 인트라 예측된 픽쳐들은 예측 모드에 따라 선택되어 현재 픽쳐를 복원하게 된다. As such, inter predicted pictures and intra predicted pictures using lighting compensation, motion compensation, and the like are selected according to a prediction mode to reconstruct the current picture.

이하에서는 현재 픽쳐를 복원하기 위해 적용되는 인코딩/디코딩 방법들의 구체적인 실시예들을 살펴보도록 한다.Hereinafter, specific embodiments of encoding / decoding methods applied to reconstruct the current picture will be described.

도 2는 본 발명을 적용한 시퀀스 파라미터 세트 RBSP 신택스(Sequence Parameter Set RBSP syntax)를 나타내는 구조도이다. 2 is a structural diagram showing a sequence parameter set RBSP syntax to which the present invention is applied.

도 2에 따르면, 시퀀스 파라미터 세트란, 프로파일, 레벨 등 시퀀스 전체의 부호화에 걸쳐있는 정보가 포함되어 있는 헤더 정보를 말한다. According to FIG. 2, the sequence parameter set refers to header information that includes information that spans the entire sequence, such as a profile and a level.

압축된 동영상 전체, 즉 시퀀스는 반드시 시퀀스 헤더로부터 시작하여야 하므로 헤더 정보에 상당하는 시퀀스 파라미터 세트는 그 파라미터 세트를 참조하는 데이터보다 먼저 복호기에 도착하여야 한다. 결국, 시퀀스 파라미터 세트 RBSP 는 동영상 압축의 결과 데이터에 대한 헤더 정보로써의 역할을 한다(S1). 비트스트림이 입력되면, 먼저 프로파일 식별자(profile_idc)가 입력된 비트스트림이 복수개의 프로파일 중에서 어떤 프로파일에 기초하는 것인지를 식별하게 된다(S2). 예를 들어, 상기 프로파일 식별 정보가 66 이면 상기 비트스트림은 베이스라인 프로파일에 기초함을 의미하고, 77 이면 메인 프로파일에 기초함을 의미하며, 88 이면 확장 프로파일에 기초함을 의미한다. 그리고, 입력 비트스트림이 다시점 프로파일에 대한 것인지 결정하는 신택스(" If ( profile_idc == MULTI_VIEW_PROFILE )")가 이용될 수 있다(S3).Since the entire compressed video, i.e., the sequence, must start from the sequence header, the sequence parameter set corresponding to the header information must arrive at the decoder before the data referring to the parameter set. As a result, the sequence parameter set RBSP serves as header information for the result data of the video compression (S1). When the bitstream is input, first, the profile identifier profile_idc identifies which of the plurality of profiles the input bitstream is based on (S2). For example, if the profile identification information is 66, the bitstream means that the bitstream is based on a baseline profile, if 77, which means that the bitstream is based on the main profile, and if it is 88, it means based on the extended profile. A syntax for determining whether the input bitstream is for a multiview profile ("If (profile_idc == MULTI_VIEW_PROFILE)") may be used (S3).

상기 S3 부분에서 상기 입력 비트스트림이 다시점 프로파일에 대한 것으로 인정되는 경우, 상기 입력 비트스트림에 대하여 다시점 영상에 대한 여러 가지 정보들을 추가할 수 있게 된다. 여러 가지 정보들 중의 일실시예들은 다음과 같다. When the input bitstream is recognized as a multiview profile in the S3 part, various information about a multiview image may be added to the input bitstream. One embodiment of the various information is as follows.

" 참조 시점(reference_view)", 즉 전체 시점(view)에 대한 기준이 되는 참조 시점을 지정하여 이에 대한 정보를 추가할 수 있다. MVC(Multiview Video Coding)에서 보통 하나의 시점 영상(view sequence)은 기존의 부호화 방식(예를 들어, H.264/AVC codec)으로 부호화/복호화를 한다. 이렇게 정해진 시점(view)을 참조 시점(reference view)이라고 부르며, 신택스(syntax) 내에 상기 참조 시점을 추가한 경우, 몇 번째 시점을 참조 시점으로 설정할 지를 알려준다. Information about this may be added by designating a "reference_view", that is, a reference viewpoint that is a reference for the entire view. In MVC (Multiview Video Coding), usually one view sequence is encoded / decoded by an existing coding scheme (eg, H.264 / AVC codec). The view thus defined is called a reference view, and when the reference view is added in syntax, it is informed how many views to set as the reference view.

또한, 다시점 중 부호화 기준이 되는 시점인 "기준 시점(base view)"도 참조 시점으로서의 역할을 한다. 참조 시점 영상들은 다른 시점 영상에 대한 참조 없이 독립적으로 부호화된다(S4). In addition, a "base view", which is a time point that becomes a coding reference among multi-views, also serves as a reference time point. Reference viewpoint images are encoded independently without reference to other viewpoint images (S4).

"시점 개수(num_views)", 즉 여러 대의 카메라에서 취득된 다중 시점의 개수에 대한 정보를 추가할 수 있다. 각 시퀀스마다 시점의 개수는 다양할 수 있으므로, 상기 정보를 전송함으로써 인코더, 디코더 측에서는 이를 유용하게 쓸 수 있다(S5). It is possible to add information on the "number of viewpoints (num_views)", that is, the number of multiple viewpoints acquired from several cameras. Since the number of viewpoints may vary for each sequence, the encoder and decoder may use this information by transmitting the information (S5).

"카메라의 배열 형태(view_arrangement)" 는 영상 취득시 카메라가 어떤 방식으로 배열되어 있는지를 알려 주는 정보로써, 이를 신택스(syntax) 내에 추가한 경우 각 배열 형태에 더 적합하게 부호화를 수행할 수 있다. 그리고, 차후에 카메라의 각 배열 형태에 더 적합한 부호화 방법이 고안될 경우에 유용하게 쓰일 수 있다(S6).The "view_arrangement" of the cameras is information indicating how the cameras are arranged at the time of image acquisition. If the information is added in syntax, encoding may be performed more suitably for each array type. In the future, it may be useful when a coding method more suitable for each arrangement of the camera is devised (S6).

"프레임 수(temporal_units_size)" 는 각 시점 내에서 연속적으로 부호화/복호화되는 프레임(frame) 수를 나타내며, 상기 프레임 수에 관한 정보를 추가할 수 있다. 즉, 현재 N번째 시점(view)을 부호화/복호화하고 있고, 다음번에는 M번째 시점(view)을 부호화/복호화할 차례일 때, N번째 시점(view)에서 몇 개의 프레임을 먼저 처리하고 M번째 시점(view)으로 넘어가는지에 대한 것이다. 상기 temporal_units_size 정보와 num_views 정보를 통해서 전체 시퀀스에서 각 프레임이 몇 번째 시점(view)에 속하는 것인지 계산할 수도 있다. 각 view 시퀀스의 I 슬라이스와 P 슬라이스 사이의 제 1 길이, 또는 P 슬라이스와 P 슬라이스 사이의 제 2 길이, 또는 상기 제 1 또는 제 2 길이의 몇 배에 해당하는 길이를 temporal_units_size 정보로 설정하면, 그 단위로 하나의 시점(view)에서 처리하고 다음 시점(view)로 넘어갈 수 있다. temporal_units_size 정보는 기존의 GOP(Group Of Picture)의 길이(length)보다 작거나 같게 설정할 수 있다. 예를 들어, 도 4b와 도 4c는 본 발명에서 적용되는 temporal_units_size의 개념을 설명하기 위한 GGOP의 구조를 나타낸 것인데, 이 경우, 도 4b는 temporal_units_size = 3 , 도 4c는 temporal_units_size = 1 이 될 수 있다.The number of frames (temporal_units_size) indicates the number of frames continuously encoded / decoded within each viewpoint, and information about the number of frames may be added. That is, when the current Nth view is encoded / decoded, and the next time it is time to encode / decode the Mth view, a few frames are processed first in the Nth view and the Mth view is obtained. It's about going to the view. The temporal_units_size information and the num_views information may also be used to calculate which view each frame belongs to in the entire sequence. When the first length between the I slice and the P slice of each view sequence, or the second length between the P slice and the P slice, or a length corresponding to several times the first or second length is set as temporal_units_size information, You can process at one view as a unit and move on to the next view. The temporal_units_size information may be set to be equal to or smaller than the length of an existing group of picture (GOP). For example, FIGS. 4B and 4C illustrate the structure of a GGOP for explaining the concept of temporal_units_size applied in the present invention. In this case, FIG. 4B may be temporal_units_size = 3 and FIG. 4C may be temporal_units_size = 1.

MVC (Multiview Video Coding)에서는 시간축과 시점축으로 프레임들이 배열되기 때문에 같은 시간대에서 각 시점마다 하나의 프레임들을 처리하고 나서 다음 시간대에서 다시 각 시점마다 하나의 프레임들을 처리할 수도 있다. 이 경우, 예를 들면 temporal_units_size = 1 이 된다. 그리고 하나의 시점 내에서 시간축을 따라 N 개의 프레임을 먼저 처리하고 나서 다음 시점에서 N 개의 프레임을 처리할 수도 있다. 이 경우, temporal_units_size = N 이 된다. 따라서, 최소한 1개의 프레임은 처리가 되므로 temporal_units_size 대신에 temporal_units_size_minus1 로 하여 syntax 내에 추가하는 것도 가능하다. 단, 이 경우 위 예들은 각각 temporal_units_size_minus1 = 0, temporal_units_size_minus1 = N-1 이 된다(S7).In MVC (Multiview Video Coding), since frames are arranged on the time axis and the view axis, one frame may be processed at each time point in the same time zone, and then one frame may be processed at each time point in the next time zone. In this case, for example, temporal_units_size = 1. In addition, N frames may be processed first along the time axis within one view, and then N frames may be processed at the next. In this case, temporal_units_size = N. Therefore, at least one frame is processed, so instead of temporal_units_size, temporal_units_size_minus1 can be added in the syntax. In this case, however, the above examples become temporal_units_size_minus1 = 0 and temporal_units_size_minus1 = N-1, respectively (S7).

기존 부호화 방식의 프로파일(profile)들에는 공통이 되는 프로파일이 없다. 이 때문에, 프로파일 이외에 호환성을 표시하기 위해 플래그(Flag)를 사용한다. constraint_ set*_flag 는 비트스트림이 어떤 프로파일의 복호기에서 복호될 수 있는지를 의미한다. constraint_set0_flag 는 베이스라인 프로파일의 복호기에서 복호될 수 있음을 의미하며(S8), constraint_set1_flag 는 메인 프로파일의 복호기(S9), constraint_set2_flag 는 확장 프로파일의 복호기에서 복호될 수 있음을 의미한다(S10). 따라서, MULTI_VIEW_PROFILE 복호기를 정의할 필요가 있으며, 이를 constraint_set4_flag 로 정의한다(S11). Profiles of existing coding schemes do not have a common profile. For this reason, a flag is used to indicate compatibility in addition to the profile. constraint_ set * _flag means in which profile decoder the bitstream can be decoded. constraint_set0_flag means that it can be decoded in the decoder of the baseline profile (S8), constraint_set1_flag means that the decoder of the main profile (S9), and constraint_set2_flag means that it can be decoded in the decoder of the extended profile (S10). Therefore, it is necessary to define a MULTI_VIEW_PROFILE decoder, which is defined as constraint_set4_flag (S11).

"level_idc" 는 레벨 식별자를 의미한다. 레벨이란, 복호기의 능력과 비트스트림의 복잡도를 정의하는 역할을 하며, 각 프로파일에서 규정된 기술 요소를 어느 범위까지 지원할 것인가에 대해서 정의하고 있다(S12)."level_idc" means a level identifier. The level defines the capability of the decoder and the complexity of the bitstream, and defines to what extent the technical elements specified in each profile are supported (S12).

"seq_parameter_set_id" 는 시퀀스를 식별하기 위해 SPS 안에 주어진 SPS 식별정보를 의미한다(S13)."seq_parameter_set_id" means SPS identification information given in the SPS to identify a sequence (S13).

도 3a는 본 발명이 적용된 비트스트림의 구조로써, 하나의 비트스트림(bitstream) 내에서 하나의 시퀀스(sequence)만을 포함하는 경우를 나타낸다.FIG. 3A illustrates a structure of a bitstream to which the present invention is applied and includes only one sequence in one bitstream.

도 3a에 따르면, SPS(Sequence Parameter Set, 시퀀스 파라미터 세트)는 프 로파일, 레벨 등 시퀀스 전체의 부호화에 걸쳐 있는 정보가 포함되어 있는 헤더 정보이고, SEI(Supplemental Enhancement Information, 보충적 부가정보)는 동영상 부호화 계층의 복호과정에 필수가 아닌 부가정보를 나타낸다. PPS(Picture Parameter Set, 픽쳐 파라미터 세트)는 픽쳐 전체의 부호화 모드를 나타내는 헤더 정보이다. I 슬라이스(I slice)는 화면 내 부호화만을 행하는 슬라이스이고, P 슬라이스(P slice)는 화면 내 부호화 혹은 화면 간 예측부호화를 행하는 슬라이스를 말한다. 픽쳐 구분 기호(Picture delimiter)는 비디오 픽쳐 사이의 경계를 구분짓는 역할을 한다. 본 발명은 상기 SPS 부분에 SPS RBSP syntax가 적용된다. 따라서, 비트스트림 생성시 상기 신택스가 적용되어 여러 가지 정보를 추가할 수 있게 된다.According to FIG. 3A, a Sequence Parameter Set (SPS) is header information including information covering encoding of an entire sequence such as a profile and a level, and Supplemental Enhancement Information (SEI) is a video. Represents additional information that is not essential to a decoding process of an encoding layer. PPS (Picture Parameter Set) is header information indicating an encoding mode of the entire picture. An I slice is a slice that performs only intra picture coding, and a P slice is a slice which performs intra picture encoding or inter picture prediction encoding. The picture delimiter serves to separate the boundaries between video pictures. The present invention applies the SPS RBSP syntax to the SPS part. Therefore, the syntax is applied when generating a bitstream to add various types of information.

도 3b는 본 발명이 적용된 비트스트림의 구조로써, 하나의 비트스트림 내에서 2개의 시퀀스를 포함하는 경우를 나타낸다. 3b illustrates a structure of a bitstream to which the present invention is applied and includes two sequences in one bitstream.

도 3b에 따르면, H.264/AVC 는 하나의 비트스트림이 여러 개의 시퀀스를 다룰 수 있다. 시퀀스를 식별하기 위해 SPS 내에 SPS 식별정보(seq_parameter_set_id)가 있고, PPS(Picture Parameter Set) 내에서 SPS 식별정보를 지정하여 어느 시퀀스에 속하는지를 식별할 수 있다. 또한 슬라이스 헤더 내에서 PPS 식별정보(pic_parameter_set_id)를 지정함으로써 어느 PPS를 사용하는가를 식별할 수 있다. According to FIG. 3B, in H.264 / AVC, one bitstream may handle several sequences. In order to identify a sequence, there is SPS identification information (seq_parameter_set_id) in the SPS, and SPS identification information may be designated in a picture parameter set (PPS) to identify which sequence it belongs to. In addition, it is possible to identify which PPS is used by specifying PPS identification information (pic_parameter_set_id) in the slice header.

그 일실시예로서, 도 3b에서 슬라이스 #1내의 헤더에는 참조하는 PPS 식별정보(PPS=1)가 포함되어 있고(①), PPS#1에는 참조하는 SPS 식별정보(SPS=1)가 포함 되어 있다(②). 따라서, 슬라이스 #1은 시퀀스 #1에 속함을 알 수 있다. 마찬가지로, 슬라이스 #2는 시퀀스 #2에 속함을 알 수 있다(③,④). 실제로, 베이스라인 프로파일(baseline profile) 영상과 메인 프로파일(main profile) 영상을 합쳐서 편집하고 새로운 비디오 비트스트림을 만들 수 있는데, 이 경우 두 가지 비트스트림에 대해서 다른 SPS 식별정보를 부여하고, 이 중 어느 하나는 다시점 프로파일(multiview profile)로도 변환이 가능하다.As an example, in FIG. 3B, the header in slice # 1 includes PPS identification information (PPS = 1) to be referred to (1), and PPS # 1 includes SPS identification information (SPS = 1) to be referred to. (②). Thus, it can be seen that slice # 1 belongs to sequence # 1. Similarly, it can be seen that slice # 2 belongs to sequence # 2 (3, 4). In fact, the baseline profile image and the main profile image can be combined and edited to create a new video bitstream, in which case the two SPstreams are given different SPS identification information, One can also convert to a multiview profile.

도 4a는 본 발명을 적용한 실시예로서, GGOP(Group Of GOP)의 구조를 나타내고, 도 4b, 도 4c는 본 발명에서 적용되는 temporal_units_size의 개념을 설명하기 위한 GGOP의 구조를 나타낸다. GOP(Group of Picture)는 몇 장의 화면 데이터를 하나로 묶은 그룹을 의미한다. MVC(Multiview Video Coding)에서는 보다 효율적인 부호화를 위해 시간적, 공간적 예측을 모두 해야하므로 GGOP의 개념이 필요하다. FIG. 4A illustrates a structure of a group of GOP (GGOP) as an embodiment to which the present invention is applied, and FIGS. 4B and 4C illustrate a structure of a GGOP for explaining the concept of temporal_units_size applied to the present invention. GOP (Group of Picture) refers to a group of several pieces of screen data. Multiview Video Coding (MVC) requires the concept of GGOP because both temporal and spatial prediction must be performed for more efficient coding.

각 view 시퀀스의 I 슬라이스와 P 슬라이스 사이의 제 1 길이, 또는 P 슬라이스와 P 슬라이스 사이의 제 2 길이, 또는 상기 제 1 또는 제 2 길이의 몇 배에 해당하는 제 3 길이를 temporal_units_size 정보로 설정하면, 그 단위로 하나의 view에서 처리하고 다음 view로 넘어갈 수 있다. temporal_units_size 정보는 기존의 GOP length보다 작거나 같게 설정할 수 있다. temporal_units_size 정보의 적용 예로서, 도 4b는 temporal_units_size=3 인 경우이고, 도 4c는 temporal_units_size = 1인 경우이다. 특히, 도 4b에서 temporal_units_size > 1 이고, 하나 또는 그 이상의 view가 I로 시작하는 경우는 temporal_units_size+1 개의 프레임을 갖고 처리할 수 있다. 또한, 상기 temporal_units_size 정보와 num_views 정보를 통해서 전체 시퀀스에서 각 프레임이 몇 번째 시점(view)에 속하는 것인지 계산할 수도 있다.If the first length between the I slice and the P slice of each view sequence, or the second length between the P slice and the P slice, or a third length corresponding to several times the first or second length is set as temporal_units_size information, In that unit, you can process in one view and move on to the next view. The temporal_units_size information can be set smaller than or equal to the existing GOP length. As an application example of the temporal_units_size information, FIG. 4B is a case where temporal_units_size = 3 and FIG. 4C is a case where temporal_units_size = 1. In particular, in FIG. 4B, when temporal_units_size> 1 and one or more views start with I, the process may be performed with temporal_units_size + 1 frames. In addition, the temporal_units_size information and the num_views information may be used to calculate which view each frame belongs to in the entire sequence.

도 4a에서, 각 프레임들은 시간축(time)과 시점축(view)으로 배열되어 있고, V1~V8은 각각 GOP(Group of Picture)를 나타내며, V4는 기준 GOP(Base GOP)로서 다른 GOP들의 참조 GOP 역할을 한다. MVC(Multiview Video Coding)에서는 temporal_units_size=1인 경우, 같은 시간대에서 각 시점(view)의 프레임들을 처리하고, 다음 시간대에서 다시 각 시점(view)의 프레임들을 처리할 수 있다. T1~T4는 각각 같은 시간대에서의 각 시점(view) 프레임들을 나타낸다. 즉, T1의 프레임들을 처리하고, 다시 T4 -> T2 -> T3 -> … 등의 순서대로 처리할 수 있다. 또한, MVC에서는 temporal_units_size=N인 경우, 하나의 시점 내에서 시간축을 따라 N개의 프레임을 먼저 처리하고 나서, 다음 시점 내에서 N개의 프레임을 처리할 수도 있다. 즉, temporal_units_size=4인 경우, V4의 T1~T4에 속하는 프레임들을 처리하고, 다시 V1 -> V2 -> V3 -> … 등의 순서대로 처리할 수 있다. In FIG. 4A, each frame is arranged on a time axis and a view axis, V1 to V8 each represent a group of picture (GOP), and V4 is a reference GOP of other GOPs as a base GOP. Play a role. In case of temporal_units_size = 1, MVC can process frames of each view in the same time zone and process frames of each view in the next time zone. T1 to T4 represent respective view frames in the same time zone. That is, the frames of T1 are processed, and again T4-> T2-> T3->... The processing can be performed in the order shown. In MVC, when temporal_units_size = N, N frames may be processed first along the time axis within one viewpoint, and then N frames may be processed within the next viewpoint. That is, when temporal_units_size = 4, frames belonging to T1 to T4 of V4 are processed, and again, V1-> V2-> V3->. The processing can be performed in the order shown.

따라서, 도 4a의 경우 비트스트림을 생성할 때, 시점 개수는 8개이고, 참조 시점은 V4 GOP(Group of Picture)가 된다. 그리고 프레임수(temporal_units_size)는 각 시점 내에서 연속적으로 부호화/복호화되는 프레임수를 나타내므로, 도 4a에서 같은 시간대에서 각 시점의 프레임들을 처리하는 경우는 temporal_units_size 는 1이 되고, 하나의 시점 내에서 시간축을 따라 프레임을 처리하는 경우는 temporal_units_size 는 N이 된다. 상기의 정보들이 비트스트림 생성시 추가될 수 있다.Therefore, in the case of FIG. 4A, when generating a bitstream, the number of viewpoints is eight, and the reference viewpoint is a V4 GOP (Group of Picture). Since the number of frames (temporal_units_size) indicates the number of frames continuously encoded / decoded within each viewpoint, in the case of processing the frames of each viewpoint in the same time zone in FIG. In this case, temporal_units_size is N when processing frames accordingly. The above information may be added when generating the bitstream.

도 5는 본 발명이 적용된 비디오 영상의 복호화 방법을 설명하는 흐름도를 나타낸다. 5 is a flowchart illustrating a decoding method of a video image to which the present invention is applied.

먼저 수신된 비트스트림으로부터 하나 이상의 프로파일 정보를 추출할 수 있다. 여기서, 추출되는 프로파일 정보는 베이스라인 프로파일, 메인 프로파일, 다시점 프로파일 등등 여러 가지 프로파일 중에서 어느 하나 이상일 수 있으며, 이는 입력되는 비디오 영상에 따라 달라질 수 있다.(S51) 상기 추출된 프로파일 정보로부터 상기 프로파일에 포함된 하나 이상의 속성 정보를 추출할 수 있다. 예를 들어, 추출된 프로파일 정보가 다시점 프로파일에 관한 정보라면, 다시점 프로파일에 포함된 하나 이상의 속성정보, 즉 예를 들어, "참조 시점(reference_view)", "시점 개수(num_views)", "카메라의 배열 형태(view_arrangement)", "프레임 수(temporal_units_size)" 등에 대한 정보들을 추출해낼 수 있다.(S53) 이렇게 하여 추출된 정보들은 다시점 부호화된 비트스트림을 복호화하는데 활용된다.First, one or more profile information may be extracted from the received bitstream. Here, the extracted profile information may be any one or more of various profiles, such as a baseline profile, a main profile, a multiview profile, and the like, and may vary according to an input video image (S51) from the extracted profile information. One or more attribute information included in may be extracted. For example, if the extracted profile information is information about a multi-view profile, one or more attribute information included in the multi-view profile, for example, "reference_view", "num_views", " Information about a camera's array type (view_arrangement) "," temporal_units_size ", etc. may be extracted. (S53) The extracted information is used to decode a multiview coded bitstream.

도 6a 및 도 6b는 본 발명이 적용되는 실시예로서, 다시점 영상의 예측구조(prediction structure)를 도시한 것이다. 6A and 6B illustrate a prediction structure of a multiview image as an embodiment to which the present invention is applied.

도 6a-6b에 따르면, 다시점의 개수(m)를

으로 표시하면, n=0 이면 시점 개수는 1이 되고, n=1 이면 시점 개수는 2가 되고, n=2 이면 시점 개수는 4가 되고, n=3 이면 시점 개수는 8이 됨을 나타낸다. 따라서, 이를 일반적으로 설명하면, 본 발명은 다시점의 개수(m)가

< m <=

인 경우, 하나의 기준시점 비트스트림과 n개의 계층적 보조시점 비트스트림을 포함할 수 있다. According to Figures 6a-6b, the number (m) of multi-view

When n = 0, the number of viewpoints is 1, when n = 1, the number of viewpoints is 2. When n = 2, the number of viewpoints is 4. When n = 3, the number of viewpoints is 8. Therefore, generally speaking, in the present invention, the number of multi-views (m)

<m <=

In this case, one reference view bitstream and n hierarchical auxiliary view bitstreams may be included.

여기서, "기준 시점(base view)"이라 함은, 상기 다시점 중 부호화의 기준이 되는 시점을 의미한다. 즉, 기준 시점에 해당되는 영상은 일반적인 영상 부호화 방식(MPEG-2, MPEG-4, H.263, H-264 등)에 의해 부호화되어 독립적인 비트스트림으로 형성할 수 있게 되는 바, 본 발명에서는 이를 "기준 시점 비트스트림"이라 한다. In this case, the term "base view" means a viewpoint which is a reference of encoding among the multi-viewpoints. That is, the image corresponding to the reference time point is encoded by a general video encoding method (MPEG-2, MPEG-4, H.263, H-264, etc.) to form an independent bit stream, in the present invention This is called a "reference view bitstream."

또한, 본 발명에서 "보조 시점(auxiliary view)"이라 함은, 상기 다시점 중 기준시점이 아닌 시점을 의미한다. 즉, "보조 시점"에 해당되는 영상은 상기 기준시점 영상으로부터 움직임 추정 등을 수행하여 비트스트림을 형성하게 되는 바, 본발명에서는 이를 "보조 시점 비트스트림"이라 한다. In addition, in the present invention, the "auxiliary view" refers to a view that is not a reference point of view of the multi-view. That is, the image corresponding to the "secondary view" forms a bitstream by performing motion estimation and the like from the reference view image. In the present invention, this is referred to as an "secondary view bitstream."

또한, 다시점 간의 계층적 부호화를 수행하는 경우, 상기 "보조 시점 비트스트림"은 "제1 보조 시점 비트스트림", "제2 보조 시점 비트스트림" 및 "제n 보조 시점 비트스트림"과 같이 구별되어 진다. In addition, when performing hierarchical encoding between multiviews, the "secondary view bitstream" is distinguished as "first auxiliary view bitstream", "second auxiliary view bitstream", and "nth auxiliary view bitstream". It is done.

또한, 본 발명에서 "비트스트림"이라 함은, 상기 "기준 시점 비트스트림"과 "보조 시점 비트스트림"을 포괄하는 의미로 사용될 수 있다.In addition, in the present invention, the term "bitstream" may be used to mean the term "reference view bitstream" and "secondary view bitstream."

예를 들어, 상기 다시점의 개수(m)가 8개(n=3)인 경우, 상기 비트스트림은 하나의 기준시점과 3개의 계층적 보조시점을 포함하게 된다. 상기와 같이, 하나의 기준시점과 n개의 계층적 보조시점이 존재하는 경우, 다시점 중 기준시점이 되는 위치와, 각 계층적 보조시점이 되는 위치를 일반적인 규칙에 의해 정의하는 것이 바람직하다. 참고로, 도 6a 및 도 6b에서 사각형으로 표시된 영역은 각 시점을 의미하고, 사각형 내의 숫자는, 기준시점(0, base view), 제1 계층적 보조시점(1, 1st hierarchy), 제2 계층적 보조시점(2, 2nd hierarchy) 및 제3 계층적 보조시 점(3, 3rd hierarchy)을 의미한다. 본 예에서는 최대 8개의 다시점을 예로 하였으나, 그 이상의 다시점의 경우에도 본 발명의 개념 및 특징이 동일하게 적용가능하다. For example, when the number m of the multiviews is 8 (n = 3), the bitstream includes one reference time point and three hierarchical auxiliary views. As described above, when one reference point and n hierarchical auxiliary points exist, it is preferable to define a position of a reference point among multi-views and a position of each hierarchical auxiliary point by general rules. For reference, the areas indicated by the rectangles in FIGS. 6A and 6B mean each view point, and the numbers in the rectangles indicate a base view (0, base view), a first hierarchical view (1, 1st hierarchy), and a second layer. It refers to the 2nd 2nd hierarchy and the 3rd hierarchy. In the present example, a maximum of 8 multi-views is taken as an example, but the concept and features of the present invention may be equally applicable to more multi-views.

즉, 도 6a에 의하면, 각 기준시점과 계층적 보조시점은 다음의 규칙에 의해 결정되어 진다. 먼저 기준시점의 위치는

번째 시점으로 선택한다. 예를 들어 n=3인 경우는, 기준시점은 4번째 위치하는 시점이 된다. 도 6a 및 도 6b는 시작시점이 최우측인 경우를 도시한 것으로, 최우측 시점(61)으로 부터 4번째 해당하는 시점이 기준시점이 된다. 일반적으로 기준시점의 위치는 다시점 중 가운데 부근 또는 정중앙이 바람직하며, 이는 후술하겠지만 기준시점은 다른 보조시점들의 예측 부호화 수행에 기준이 되기 때문이다. That is, according to FIG. 6A, each reference time point and hierarchical auxiliary time point are determined by the following rule. First, the position of the reference point

Select the second time point. For example, in the case of n = 3, the reference time point is the fourth time point. 6A and 6B illustrate a case where the start time point is the rightmost point, and the fourth time point corresponding to the fourth time point from the rightmost time point 61 becomes the reference time point. In general, the position of the reference time point is preferably near or at the center of a multi-view point, since the reference time point is used as a reference for performing prediction encoding of other auxiliary views.

또 다른 예로, 항상 최좌측을 시작시점으로 하고, 시점 넘버를 m=10,1,2,3,... 순서로 결정하는 것도 가능하다. 예를 들어, n=3인 경우,

번째 시점넘버(즉, m=4)를 기준시점으로 하는 것도 가능하다. As another example, it is possible to always set the leftmost point as the starting point, and to determine the starting point number in the order of m = 10, 1, 2, 3,... For example, if n = 3,

It is also possible to set the first time number (that is, m = 4) as the reference time point.

또한, 제1 계층적 보조시점의 위치는 상기 기준시점의 위치로부터

번째 크기만큼 떨어진 좌(left) 또는 우(right) 방향중 어느 하나의 시점으로 선택한다. 예를 들어, 도 6a는 기준시점으로 부터 좌방향으로

번째(즉, n=3인경우, 2개시점) 떨어진 시점을 제1 계층적 보조시점으로 선택한 경우를 도시한 것이다. 반면 도 6b는 기준시점으로부터 우방향으로

번째 떨어진 시점을 제1 계층적 보조시점으로 선택한 경우를 도시한 것이다. 본 예에 의하면, 제1 계층적 보조시점의 개 수는 하나가 된다.In addition, the position of the first hierarchical auxiliary view is from the position of the reference time.

Select from one of the left or right directions separated by the first size. For example, FIG. 6A is leftward from the reference point.

FIG. 2 illustrates a case in which the second (ie, two time points when n = 3) is selected as the first hierarchical auxiliary view. On the other hand, Figure 6b is a right direction from the reference point

FIG. 3 illustrates a case where the first dropped view point is selected as the first hierarchical auxiliary view point. According to this example, the number of first hierarchical auxiliary views is one.

또한, 제2 계층적 보조시점의 위치는 상기 기준시점 및 제1 계층적 보조시점으로부터

크기만큼 떨어진 좌(left) 및 우(right) 방향의 시점들로 선택한다. 예를 들어, 도 6a에 의하면, 2개의 제2 계층적 보조시점이 발생하게 된다. 반면, 도 6b에 의하면, 제1 계층적 보조시점의 우방향으로 더이상

크기만큼 떨어진 시점이 존재하지 않으므로, 기준시점을 기준으로 좌방향으로

크기만큼 떨어진 시점이 제2 계층적 보조시점이 된다. Also, the position of the second hierarchical auxiliary view is from the reference time point and the first hierarchical auxiliary view.

It selects the viewpoints in the left and right directions separated by the size. For example, according to FIG. 6A, two second hierarchical auxiliary views occur. On the other hand, according to Figure 6b, the first hierarchical auxiliary view in the right direction no longer

Since there is no point that is separated by the size, it is leftward from the reference point.

The time point separated by the size becomes the second hierarchical auxiliary time point.

아울러 제2 계층적 보조시점을 기준으로 좌방향으로

크기만큼 떨어진 위치를 제2 계층적 보조시점(63)으로 선택하는 것도 가능하다. 단, 해당시점이 다시점의 양끝단에 해당하는 경우 후술할 제3 계층적 보조시점으로 선택할 수도 있다. 즉, 도 6b에 의하면, 1개 또는 2개의 제2 계층적 보조시점이 발생하게 된다. In addition, to the left based on the second hierarchical auxiliary view

It is also possible to select a position separated by the size as the second hierarchical auxiliary view 63. However, when the corresponding time points correspond to both ends of the multi-view point, it may be selected as a third hierarchical auxiliary view to be described later. That is, according to FIG. 6B, one or two second hierarchical auxiliary views are generated.

마지막으로, 제3 계층적 보조시점의 위치는 상기 기준시점 및 제1~제2 계층적 보조시점으로 선택된 시점들을 제외한 나머지 시점들로 선택한다. 도 6a에 의하면, 4개의 제3 계층적 보조시점이 발생하고, 도 6b에 의하면, 4개 또는 5개의 제3 계층적 보조시점이 발생하게 된다. Lastly, the position of the third hierarchical auxiliary view is selected as remaining views except for the reference time and the viewpoints selected as the first to second hierarchical auxiliary views. According to FIG. 6A, four third hierarchical auxiliary views are generated, and according to FIG. 6B, four or five third hierarchical auxiliary views are generated.

도 7a 및 도 7b는 본 발명이 적용되는 실시예로서, 다시점 영상의 예측 조를 도시한 것이다. 7A and 7B illustrate an exemplary embodiment to which the present invention is applied and shows prediction sets of a multiview image.

본 예는 전술한 실시예(도6a 및 도6b)의 경우와 개념적 내용이 동일하며, 다만 기준시점을 선택하는 시작시점의 위치가 최좌측인 경우에 해당된다. 즉, 최좌측 시점(65)으로 부터 4번째 해당하는 시점을 기준시점으로 선택한 것이다. 이하, 나머지 부분은 도 6a, 도 6b의 실시예와 동일하다.This example is conceptually the same as the case of the above-described embodiments (Figs. 6A and 6B), but corresponds to the case where the position of the start time for selecting the reference time point is the leftmost. That is, the fourth time point from the leftmost point 65 is selected as the reference point. Hereinafter, the remaining part is the same as the embodiment of Figs. 6A and 6B.

도 8은 본 발명이 적용되는 실시예로서, 다시점 영상의 예측구조를 도시한 것이다. 8 illustrates a prediction structure of a multiview image as an embodiment to which the present invention is applied.

본 예는 다시점의 개수(m)가

< m <=

인 경우를 설명하기 위해 도시한 것이다. 구체적으로는, m=5, 6, 7 및 8인 경우를 예를 들어 도시하였다. 즉, m=5,6,7 인 경우는 다시점의 개수(m)가

을 만족하지 않으므로, 전술한 제1 실시예 (도 6a, 도 6b) 및 제2 실시예 (도 7a, 도 7b)를 그대로 적용하기가 어려워 진다. 본 예에서는 상기의 문제점을 가상 시점(virtual view) 개념을 도입하여 해결하였다. In this example, the number of multiviews (m)

<m <=

It is shown to illustrate the case. Specifically, the case where m = 5, 6, 7 and 8 was shown, for example. That is, when m = 5,6,7, the number of multi-view points (m) is

Since it is not satisfied, it becomes difficult to apply the above-described first embodiment (FIGS. 6A, 6B) and the second embodiment (FIGS. 7A, 7B) as they are. In this example, the above problem is solved by introducing a virtual view concept.

예를 들어, 다시점의 개수(m)가

< m <

인 경우,

만큼의 가상 시점을 생성한다. m=홀수개인 경우, 다시점 배열 좌측(또는 우측)에

개, 우측(또는 좌측)에

개의 가상 시점을 생성하고, m=짝수개인 경우, 다시점 배열 좌우측에 각각

개의 가상 시점을 생성한 후, 전술한 방식으로 예측 구조를 동일하게 적용하는 것이 가능하다. For example, the number of multiviews (m)

<m <

If is

Create as many virtual viewpoints. If m = odd, to the left (or right) of the multiview array

Dog, on the right (or left)

Create virtual viewpoints, and if m = even, each on the left and right of the multiview array

After generating two virtual views, it is possible to apply the prediction structure in the same manner as described above.

예를 들어, 상기 다시점의 개수(m)가 5개인 경우, 상기 다시점의 양끝단에 각각 1개 또는 2개의 가상 시점을 추가하여, 다시점의 개수를 8개로 가상 형성한 후, 기준시점 위치 및 3개의 계층적 보조시점 위치를 각각 선택한다. 도 8에 의하 면, 예를 들어, 좌측 끝단에 2개, 우측 끝단에 1개의 가상 시점을 각각 추가하여, 전술한 도 6a의 실시예에 따라 기준시점 및 제1~제3 계층적 보조시점을 선택한 경우를 도시하였다. For example, when the number m of the multiviews is 5, one or two virtual views are added at both ends of the multiview, and the number of multiviews is virtually formed to 8, and then the reference view point Select a location and three hierarchical auxiliary view locations, respectively. Referring to FIG. 8, for example, two virtual viewpoints are added at the left end and one virtual viewpoint at the right end, respectively, and reference points and first to third hierarchical auxiliary views according to the embodiment of FIG. 6A described above. The case selected is shown.

또한, 상기 다시점의 개수(m)가 6개인 경우, 상기 다시점의 양끝단에 각각 1개의 가상시점을 추가하여, 다시점의 개수를 8개로 가상 형성한 후, 기준시점 위치 및 3개의 계층적 보조시점 위치를 각각 선택한다. 도 8에 의하면, 전술한 도 6a의 실시예에 따라 기준시점 및 제1~제3 계층적 보조시점을 선택한 경우를 도시하였다. In addition, when the number of multi-views (m) is 6, one virtual view is added to each end of the multi-view, and the number of multi-views is virtually formed into eight, and then the reference view position and three hierarchies Select each of the enemy auxiliary view points. Referring to FIG. 8, the reference time and the first to third hierarchical auxiliary views are selected according to the embodiment of FIG. 6A described above.

또한, 상기 다시점의 개수(m)가 7개인 경우, 상기 다시점의 양끝단 중 어느 한쪽에 1개의 가상 시점을 추가하여, 다시점의 개수를 8개로 가상 형성한 후, 기준시점 위치 및 3개의 계층적 보조시점 위치를 각각 선택한다. 도 8에 의하면, 예를 들어, 좌측 끝단에 1개의 가상 시점을 추가하여, 전술한 도 6a의 실시예에 따라 기준시점 및 제1~제3 계층적 보조시점을 선택한 경우를 도시하였다. In addition, when the number m of the multi-viewpoints is seven, one virtual view point is added to one of both ends of the multi-view point, and the number of multi-view points is virtually formed into eight, and then the reference view point and 3 Each of the hierarchical auxiliary view positions is selected. Referring to FIG. 8, for example, one virtual viewpoint is added to the left end, and a reference view and first to third hierarchical auxiliary views are selected according to the embodiment of FIG. 6A described above.

도 9a 및 도9b는 본 발명이 적용되는 실시예로서, 다시점 영상의 시점간 계층적(hierarchy) 예측구조를 도시한 것이다. 예를 들어, 도 9a는 전술한 도 6a의 경우를, 도 9b는 전술한 도 7a의 경우를 각각 적용하여 도시한 것이다. 즉, 다시점의 개수가 8개인 경우, 기준시점 및 3개의 계층적 보조시점을 가지게 된다. 이는 다시점 동영상 부호화시 시점간 계층적(hierarchy) 부호화(또는, '뷰 스케일러빌러티(view scalability)')를 가능하게 한다. 9A and 9B illustrate an hierarchical prediction structure between viewpoints of a multiview image as an embodiment to which the present invention is applied. For example, FIG. 9A illustrates the case of FIG. 6A described above, and FIG. 9B illustrates the case of FIG. 7A described above. That is, when the number of multiviews is 8, it has a reference view and three hierarchical auxiliary views. This enables inter-view hierarchical encoding (or 'view scalability') in multi-view video encoding.

즉, 상기 계층적 보조시점 비트스트림을 구성하는 영상의 각 픽쳐(picture)들은, 상기 기준시점 영상의 각 픽쳐(picture) 및/또는 상위 계층적 보조시점 영상 의 각 픽쳐(picture)로부터 예측하여 부호화를 수행하게 된다. 특히 상기 예측은, 움직임 추정(motion estimation)(예를 들어, 변이 추정(disparity estimation)) 방식이 일반적으로 적용될 수 있다. In other words, each picture of an image constituting the hierarchical auxiliary view bitstream is encoded by predicting from each picture of the reference view image and / or each picture of a higher hierarchical auxiliary view image. Will be performed. In particular, in the prediction, a motion estimation (eg, disparity estimation) scheme may be generally applied.

예를 들어, 제1 계층적 보조시점(92)은 기준시점(91)을 참고하여 시점간 예측부호화를 수행하고, 제2 계층적 보조시점(93a, 93b)은 기준시점(91) 및/또는 제1 계층적 보조시점(92)을 참고하여 시점간 예측부호화를 수행하고, 또한, 제3 계층적 보조시점(94a, 94b, 94c, 94d)는 기준시점 및 제1 계층적 보조시점(92) 및/또는 제2 계층적 보조시점(93a, 93b)을 참고하여 시점간 예측부호화를 수행하게 된다. 관련하여, 도면내의 화살표는 시점간 예측부호화의 진행 방향을 표시한 것으로, 동일 계층에 포함되는 보조 스트림간에도 서로 참조하는 시점이 상이할 수 있음을 알 수 있다. 상기와 같이 계층적(hierarchy) 부호화가 수행된 비트스트림은 수신단에서 각자의 디스플레이 특성에 맞게 선택적으로 복호화가 수행되어 지며, 이에 대해서는 도 12에서 상세히 후술할 예정이다. For example, the first hierarchical auxiliary view 92 performs the inter-view prediction encoding with reference to the reference time 91, and the second hierarchical auxiliary views 93a and 93b are the reference time 91 and / or The inter-view prediction encoding is performed by referring to the first hierarchical auxiliary view 92, and the third hierarchical auxiliary view 94a, 94b, 94c, and 94d is a reference time point and a first hierarchical auxiliary view 92. And / or inter-view prediction encoding is performed by referring to the second hierarchical auxiliary views 93a and 93b. In this regard, the arrows in the figure indicate the progress direction of the inter-view prediction encoding, and it can be seen that the viewpoints referred to each other may also be different among auxiliary streams included in the same layer. As described above, the bitstream in which the hierarchical encoding is performed is selectively decoded according to the display characteristics of the receiving end, which will be described in detail later with reference to FIG. 12.

일반적으로 인코더에서 예측 구조는 변할 수 있기 때문에 각 시점들의 관계를 나타내는 정보를 전송함으로써, 디코더 측에서 수월하게 각 시점 영상들 간의 예측구조 관계를 알 수 있다. 또한, 각 시점이 전체 계층적 구조에서 어느 레벨에 속하는지에 대한 정보 또한 디코더 측으로 전송될 수 있다. In general, since the prediction structure may change in the encoder, the information indicating the relationship between the viewpoints may be transmitted, and thus the decoder may easily recognize the relationship between the prediction structures between the viewpoint images. In addition, information about which level each view belongs to may be transmitted to the decoder side.

각 영상(또는 슬라이스)별로 시점 레벨(view_level)이 할당되고, 각 시점 영상들 간의 예측 구조(dependency) 관계가 주어지면, 인코더에서 다양하게 예측 구조를 변경하여도, 쉽게 디코더에서 파악이 가능하다. 이때, 각 시점들 간의 예측 구조/방향의 정보는 매트릭스 형태로 전송될 수 있다. 즉, 시점의 개수 (num_view) 또한 디코더에 전송되어야 하며, 각 시점들 간의 예측 관계를 2차원 매트릭스로 표현할 수 있다. When a view level (view_level) is allocated to each image (or slice) and a prediction relationship between each view image is given, even if the prediction structure is changed in various encoders, the decoder can easily recognize it. At this time, the information of the prediction structure / direction between each view may be transmitted in a matrix form. That is, the number of viewpoints (num_view) should also be transmitted to the decoder, and the prediction relationship between the viewpoints can be expressed in a two-dimensional matrix.

시점들 간의 예측관계가 시간에 따라 변하는 경우, 예를 들어 각 GOP의 첫번째 프레임들에 대한 예측 관계와 나머지 시간대에서의 프레임들 간의 예측 관계가 다른 경우, 각각의 경우에 대한 예측 관계 매트릭스 정보를 전송해 줄 수 있다.When the prediction relationship between viewpoints changes with time, for example, when the prediction relationship between the first frames of each GOP and the prediction relationship between the frames in the remaining time zones are different, the prediction relationship matrix information for each case is transmitted. I can do it.

도 10a 및 도 10b는 본 발명이 적용되는 실시예로서, 2차원 다시점 영상의 예측구조를 도시한 것이다. 10A and 10B illustrate a prediction structure of a 2D multiview image as an embodiment to which the present invention is applied.

전술한 실시예는 모두 1차원 배열의 다시점의 경우를 예로 하였으나, 이는 2차원 배열의 다시점 영상에도 동일한 방식으로 적용가능하다. Although the above-described embodiments all take the case of a multi-view of a one-dimensional array, this is applicable to the multi-view image of a two-dimensional array in the same manner.

참고로, 도 10a 및 도 10b의 각 사각형은 2차원 배열된 각 시점을 의미하며, 사각형내의 숫자는 계층적 시점관계를 나타낸 것이다. For reference, each rectangle of FIGS. 10A and 10B means each viewpoint arranged in two dimensions, and the numbers in the rectangle represent hierarchical viewpoint relationships.

예를 들어, 사각형 내의 숫자가 'A-B' 형태일 경우, A는 해당하는 계층적 보조시점을 의미하고, B는 동일 계층적 보조시점 내에서의 우선순위를 나타낸 것이다. For example, when the number in the rectangle is of the form 'A-B', A means a corresponding hierarchical auxiliary view, and B represents a priority within the same hierarchical auxiliary view.

따라서, 사각형내의 숫자는, 기준시점(0, base view), 제1 계층적 보조시점(1, 1st hierarchy), 제2 계층적 보조시점(2-1, 2-2, 2nd hierarchy), 제3 계층적 보조시점(3-1, 3-2, 3rd hierarchy), 제4 계층적 보조시점(4-1, 4-2, 4-3, 4th hierarchy) 및 제5 계층적 보조시점(5-1, 5-2, 5-3, 5th hierarchy)을 각각 의미한다. Thus, the numbers in the rectangle are referred to as the base view (0, base view), the first hierarchical auxiliary view (1, 1st hierarchy), the second hierarchical auxiliary view (2-1, 2-2, 2nd hierarchy), and the third. Hierarchical auxiliary view (3-1, 3-2, 3rd hierarchy), fourth hierarchical auxiliary view (4-1, 4-2, 4-3, 4th hierarchy) and fifth hierarchical auxiliary view (5-1) , 5-2, 5-3, and 5th hierarchy).

결국, 본 예에 의하면, 2차원 배열된 다시점으로부터 취득된 영상을 부호화하여 비트스트림을 생성함에 있어서, 상기 2차원 다시점의 개수(가로축=m, 세로축=p)가

< m <=

,

< p <=

인 경우, 상기 비트스트림은, 하나의 기준시점 비트스트림과 (n+k)개의 계층적 보조시점 비트스트림을 포함함을 특징으로 한다. As a result, according to the present example, in generating a bitstream by encoding an image acquired from a multi-view arranged in two-dimensional, the number of two-dimensional multi-views (horizontal axis = m, vertical axis = p) is

<m <=

,

<p <=

In the case of, the bitstream includes one reference view bitstream and (n + k) hierarchical auxiliary view bitstreams.

이를 구체적으로 설명하면, 상기 (n+k)개의 계층적 보조시점은 가로축과 세로축을 교대로 하여 형성되어 진다. 예를 들어, 도 10a는 상기 (n+k)개의 계층적 보조시점중, 제1 계층적 보조시점은 기준시점이 포함된 세로축 내에서 결정하는 경우를 도시한 것이다. 반면, 도 10b는 상기 (n+k)개의 계층적 보조시점 중, 제1 계층적 보조시점은 기준시점이 포함된 가로축 내에서 결정하는 경우를 도시한 것이다. Specifically, the (n + k) hierarchical auxiliary views are formed by alternating horizontal and vertical axes. For example, FIG. 10A illustrates a case where a first hierarchical auxiliary view is determined within a vertical axis including a reference view among the (n + k) hierarchical auxiliary views. On the other hand, FIG. 10B illustrates a case where a first hierarchical auxiliary view is determined within a horizontal axis including a reference view among the (n + k) hierarchical auxiliary views.

예를 들어, 도 10a에 의하면, 상기 다시점의 개수가 가로축(m)이 8개(n=3)이고, 세로축(p)이 4개(k=2)인 경우, 비트스트림은 하나의 기준시점과 5개의 계층적 보조시점을 포함하게 된다. 관련하여, 도 10a는 '세로축->가로축->세로축...'순으로 계층적 보조시점이 선택되는 경우를 보여준다. 이하 기준시점 및 각 보조시점의 위치를 결정하는 방식은 다음과 같다. For example, according to FIG. 10A, when the number of multiviews is 8 horizontal axis m and n vertical axis p is 4 (k = 2), the bitstream is one reference. It will include a view and five hierarchical auxiliary views. 10A illustrates a case where hierarchical auxiliary views are selected in the order of 'vertical axis-> horizontal axis-> vertical axis ...'. Hereinafter, a method of determining the position of the reference point and each auxiliary point is as follows.

우선, 기준시점의 위치를 결정하여야 하며, 이는 전술한 1차원 배열의 경우와 동일한 방식이 적용된다. 따라서, 상기 기준시점의 위치는 가로축으로

번째, 및 세로축으로

번째에 해당하는 시점으로 선택하게 된다. First, the position of the reference point must be determined, and the same method as in the case of the one-dimensional array described above is applied. Therefore, the position of the reference point is the horizontal axis

Second, and vertical axis

The first time point is selected.

또한, 제1 계층적 보조시점의 위치는 우선 세로축으로 상기 기준시점의 위치로부터

번째 크기만큼 떨어진 상(top) 또는 하(bottom) 방향중 어느 하나의 시점으로 선택한다(①). 다음, 제2 계층적 보조시점의 위치는 상기 기준시점 및 제1 계층적 보조시점으로부터 가로축으로

크기만큼 떨어진 좌(left) 또는 우(right) 방향중 어느 하나의 시점으로 선택한다(②). 다음, 제3 계층적 보조시점의 위치는 상기 기준시점, 제1 계층적 보조시점 및 제2 계층적 보조시점을 포함하는 세로축내의 나머지 시점들로 선택한다. 다음, 제4 계층적 보조시점의 위치는 상기 기준시점 및 제1~제3 계층적 보조시점으로부터 가로축으로

크기만큼 떨어진 좌(left) 및 우(right) 방향의 시점들로 선택한다. 마지막으로, 제5 계층적 보조시점의 위치는 상기 기준시점 및 제1~제4 계층적 보조시점을 제외한 나머지 시점들로 선택한다. In addition, the position of the first hierarchical auxiliary view is first from the position of the reference point on the vertical axis.

Select from one of the top or bottom directions separated by the first size (①). Next, the position of the second hierarchical auxiliary view is located on the horizontal axis from the reference time point and the first hierarchical auxiliary view.

Select from one of the left or right directions separated by the size (2). Next, the position of the third hierarchical auxiliary view is selected as the remaining views in the vertical axis including the reference time point, the first hierarchical auxiliary view and the second hierarchical auxiliary view. Next, the position of the fourth hierarchical auxiliary view is located on the horizontal axis from the reference time point and the first to third hierarchical auxiliary views.

It selects the viewpoints in the left and right directions separated by the size. Lastly, the position of the fifth hierarchical auxiliary view is selected as remaining views except for the reference time point and the first to fourth hierarchical auxiliary views.

또한, 예를 들어, 도 10b에 의하면, 상기 다시점의 개수가 가로축(m)이 8개(n=3)이고, 세로축(p)이 4개(k=2)인 경우, 비트스트림은 하나의 기준시점과 5개의 계층적 보조시점을 포함하게 된다. 관련하여, 도 10b는 '가로축->세로축->가로축...'순으로 계층적 보조시점이 선택되는 경우를 보여준다. 이하 기준시점 및 각 보조시점의 위치를 결정하는 방식은 다음과 같다. For example, according to FIG. 10B, when the number of the multi-view points is eight horizontal axes m (n = 3) and four vertical axes p are four (k = 2), one bitstream is used. The reference point of time and five hierarchical auxiliary points of time are included. 10B illustrates a case in which hierarchical auxiliary views are selected in the order of 'horizontal axis-> vertical axis-> horizontal axis ...'. Hereinafter, a method of determining the position of the reference point and each auxiliary point is as follows.

우선, 기준시점의 위치를 결정하여야 하며, 이는 전술한 1차원 배열의 경우와 동일한 방식이 적용된다. 따라서 상기 기준시점의 위치는 가로축으로

번째 및 세로축으로

번째 해당하는 시점으로 선택한다. First, the position of the reference point must be determined, and the same method as in the case of the one-dimensional array described above is applied. Therefore, the position of the reference point is the horizontal axis

On the second and vertical axis

The first time point is selected.

또한, 제1 계층적 보조시점의 위치는 가로축으로 상기 기준시점의 위치로부터

번째 크기만큼 떨어진 좌(left) 또는 우(right) 방향 중 어느 하나의 시점으로 선택한다(①). 다음, 제2 계층적 보조시점의 위치는 상기 기준시점 및 제1 계층적 보조시점으로부터 세로축으로

크기만큼 떨어진 상(top) 또는 하(bottom) 방향중 어느 하나의 시점으로 선택한다(②). 다음, 제3 계층적 보조시점의 위치는 상기 기준시점 및 제1~제2 계층적 보조시점으로부터 가로축으로

크기만큼 떨어진 좌(left) 및 우(right) 방향의 시점들로 선택한다. 다음 제4 계층적 보조시점의 위치는 상기 기준시점, 제1~제3 계층적 보조시점을 포함하는 세로축 내의 나머지 시점들로 선택한다. 마지막으로, 제5 계층적 보조시점의 위치는 상기 기준시점 및 제1~제4 계층적 보조시점을 제외한 나머지 시점들로 선택한다. In addition, the position of the first hierarchical auxiliary view is the horizontal axis from the position of the reference view.

Select from one of the left or right directions separated by the first size (①). Next, the position of the second hierarchical auxiliary view is located on the vertical axis from the reference time point and the first hierarchical auxiliary view.

Select from one of the top or bottom directions separated by the size (2). Next, the position of the third hierarchical auxiliary view is located on the horizontal axis from the reference time point and the first to second hierarchical auxiliary views.

It selects the viewpoints in the left and right directions separated by the size. The position of the next fourth hierarchical auxiliary view is selected as the remaining views in the vertical axis including the reference time point and the first to third hierarchical auxiliary views. Lastly, the position of the fifth hierarchical auxiliary view is selected as remaining views except for the reference time point and the first to fourth hierarchical auxiliary views.

도 11a ~ 도 11c는 본 발명이 적용되는 실시예로서, 다시점 영상의 예측구조를 도시한 것이다. 본 실시예는 전술한 도 6a,6b, 도 7a,7b, 도 8, 도 10a,10b의 실시예와는 상이한 예측 구조 규칙을 적용한 경우이다. 예를 들어, 도 11a ~ 도 11c에서 사각형으로 표시된 영역은 각 시점을 의미하지만, 사각형내의 숫자는 단지 시점의 예측 순서를 나타낸다. 즉 첫번째 결정되는 제1 시점(0), 두번째 결정되는 제2 시점(1), 세번째 결정되는 제3 시점(2), 네번째 결정되는 제4 시점(3)등을 각각 의미한다. 11A to 11C illustrate a prediction structure of a multiview image as an embodiment to which the present invention is applied. This embodiment is a case where different prediction structure rules are applied to the above-described embodiments of FIGS. 6A, 6B, 7A, 7B, 8, 10A, and 10B. For example, the areas indicated by squares in FIGS. 11A-11C mean each viewpoint, but the numbers in the rectangle merely indicate the prediction order of the viewpoints. That is, the first time point 0 determined first, the second time point 1 determined second, the third time point 2 determined third, and the fourth time point 3 determined fourth, respectively.

예를 들어, 도 11a는 다시점의 개수(m)가 m=1 ~ m=10인 경우 각각에 대해, 상기 제1 시점 ~ 제4 시점이 결정된 형태를 도시한 것으로, 상기 제1 시점 ~ 제4 시점은 다음의 규칙에 의해 결정되어 진다. For example, FIG. 11A illustrates a form in which the first time points to the fourth time points are determined for each case where the number of multi-view points m is m = 1 to m = 10. 4 The time point is determined by the following rules.

즉, 예를 들어, 상기 다시점의 양끝단을 제1 시점(0)으로 설정하고, 상기 다시점중 중앙에 위치한 시점을 제2 시점(1)으로 설정하고, 상기 제2 시점으로부터 양방향으로 하나 이상의 시점을 건너뛰어 연속적으로 위치한 시점을 제3 시점(2)으로 설정하고, 상기 제1 시점 ~ 제3 시점에 해당하지 않는 나머지 시점을 제4 시점(3)으로 설정한다. 상기와 같이 제1 시점 ~ 제4 시점이 결정되면, 이 중 기준시점과 보조시점을 구별하여야 한다. 예를 들어, 제1 시점, 제2 시점 및 제3 시점중 어느 하나를 기준시점으로 결정하고, 나머지를 보조시점으로 선택하는 것이 가능하다. That is, for example, both ends of the multi-view point are set to a first view point (0), a view point located at the center of the multi-view point is set to a second view point (1), and one in both directions from the second view point. The above-described viewpoints are skipped and the viewpoints continuously positioned are set to the third viewpoint 2, and the remaining viewpoints not corresponding to the first to third viewpoints are set as the fourth viewpoint 3. As described above, when the first to fourth time points are determined, the reference time point and the auxiliary time point should be distinguished. For example, it is possible to determine any one of the first time point, the second time point, and the third time point as the reference time point, and select the rest as the auxiliary time point.

또한, 상기와 같이 기준시점이 정해진 규칙에 의해 결정되지 않고, 부호화단에서 임의로 선택하는 경우라면, 기준시점의 위치에 대한 식별정보(예를들어, 'base_view_position')를 비트스트림내에 포함하는 것이 필요할 수 있다.In addition, if the reference point is not determined by a rule defined as described above and is selected arbitrarily by the encoding end, it is necessary to include identification information (eg, 'base_view_position') of the position of the reference point in the bitstream. Can be.

또한, 도 11b는 상기 제2 시점(1)을 결정함에 있어서, 제1 시점(0)을 제외한 나머지 시점들이 짝수인 경우에 대해 도 11a와는 상이한 또 다른 예를 도시한 것이다. 즉, m=4, m=6, m=8, m=10 인 경우에 도 11b의 제2 시점(1)은, 도 11a의 제2 시점(1)과는 상이한 위치의 시점으로 결정할 수 있음을 보여준다. 또한, 또 다른 변형적 사용예로서, 제2 시점(1) 이후를 결정함에 있어서, 최좌측 제1 시점(0)부터 하나씩 시점을 건너뛰면서 상위 시점을 결정하는 것도 가능하다. In addition, FIG. 11B illustrates another example different from FIG. 11A in the case where the remaining views except for the first view point 0 are even in determining the second view point 1. That is, when m = 4, m = 6, m = 8, and m = 10, the second viewpoint 1 of FIG. 11B may be determined to be a viewpoint different from the second viewpoint 1 of FIG. 11A. Shows. In addition, as another alternative use example, in determining after the second viewpoint 1, it is also possible to determine the upper viewpoint while skipping the viewpoint one by one from the leftmost first viewpoint 0.

관련하여, 도 11c는 다시점의 개수가 10개(m=10)이고, 이중 기준시점이 상기 기준시점 식별정보에 의해 "base_view_position = '1' view (즉, 6번째 view에 해 당)"와 같이 결정된 경우의 계층적 보조시점의 관계를 도시한 것이다. 예를 들어, 도 11c에 의하면, 제1 계층적 보조시점은 제3 시점(2)이 되고, 제2 계층적 보조시점은 제1 시점(0)이 되고, 제3 계층적 보조시점은 제4 시점(3)이 됨을 보여준다. Regarding FIG. 11C, the number of multiviews is 10 (m = 10), and the dual reference view is based on the reference point identification information with " base_view_position = '1' view (ie, corresponding to the sixth view) " In this case, the relationship between hierarchical auxiliary views is shown. For example, according to FIG. 11C, the first hierarchical auxiliary view becomes the third time point 2, the second hierarchical auxiliary view becomes the first time point 0, and the third hierarchical auxiliary view is the fourth time point. It shows the point of time (3).

관련하여, 상기 도 11a 및 도 11b의 경우에 항상 기준시점은, 전술한 도 11c와 같이 상기 제1 시점(1)으로 설정하는 것도 가능하다. 이는 기준시점이 다시점의 가운데 부근 또는 정중앙에 위치하는 것이, 다른 보조시점의 예측 부호화를 수행함에 있어 효율적이기 때문이다. 따라서, 기준시점과 보조시점의 위치를 다음의 규칙에 의해 결정하는 것도 가능하다.In this regard, in the case of FIGS. 11A and 11B, the reference time point may always be set to the first time point 1 as shown in FIG. 11C. This is because the reference point is located near or in the center of the multiview point is efficient in performing the prediction encoding of another auxiliary view point. Therefore, it is also possible to determine the position of the reference point and the auxiliary point by the following rule.

즉, 상기 기준시점의 위치는 다시점 중 중앙에 위치한 시점(1)으로 설정하고, 제2 보조시점의 위치는 다시점의 양끝단 시점(0)으로 설정하고, 제1 보조시점의 위치는 상기 기준시점으로부터 양방향으로 하나 이상의 시점을 건너뛰어 연속적으로 위치하는 시점(2)으로 설정한다. 상기 시점외의 나머지 시점(3)은 모두 제3 보조시점이 된다.That is, the position of the reference time point is set to a time point 1 located at the center of the multi-view point, the position of the second auxiliary time point is set to both end time points 0 of the multi-view point, and the position of the first auxiliary time point is One or more viewpoints are skipped in both directions from the reference viewpoint and are set to the viewpoints 2 which are continuously positioned. All of the remaining viewpoints 3 other than the above viewpoints become third auxiliary viewpoints.

관련하여, 다시점의 개수(m)가 7개 이하(m<=7) 인 경우, 상기 기준시점(1)과 제2 보조시점(0) 사이에 2개 이하의 시점만이 존재하는 경우에는, 상기 기준시점(1)과 제2 보조시점(0) 사이의 모든 시점을 제1 보조시점(2)으로 설정한다. In this regard, when the number of multiviews m is 7 or less (m <= 7), when there are only 2 or less viewpoints between the reference time point 1 and the second auxiliary view point 0, All the time points between the reference time point 1 and the second auxiliary time point 0 are set as the first auxiliary time point 2.

반면, 다시점의 개수(m)가 8개 이상(8<=m) 인 경우, 상기 제2 보조시점(0)과 제1 보조시점(2) 사이에 2개 이하의 시점만이 존재하는 경우에는, 상기 제2 보조시점(0)과 제1 보조시점(2) 사이의 모든 시점을 제3 보조시점(3)으로 설정한다. On the other hand, when the number m of multiviews is 8 or more (8 <= m), when there are only two or less viewpoints between the second auxiliary viewpoint 0 and the first auxiliary viewpoint 2. In the following, all the time points between the second auxiliary time point 0 and the first auxiliary time point 2 are set as the third auxiliary time point 3.

예를 들어, 도 11a 및 도 11b에서, m=8, 9, 10 인 경우, 상기 제2 보조시 점(0)과 제1 보조시점(2) 사이에 존재하는 1개 또는 2개의 시점이 제3 보조시점(3)으로 설정되었음을 알 수 있다. For example, in FIGS. 11A and 11B, when m = 8, 9, and 10, one or two views existing between the second auxiliary view point 0 and the first auxiliary view point 2 are generated. 3 It can be seen that it is set to the auxiliary view (3).

또 다른 방식으로, 상기 기준시점(1)과 제2 보조시점(0) 사이에 2개 이하의 시점만이 존재하는 경우에도, 상기 기준시점(1)과 제2 보조시점(0) 사이의 모든 시점을 제3 보조시점(3)으로 설정할 수도 있다. 예를 들어, 도 11a 및 도 11b에서, m=8 인 경우, 기준시점(1)과 제2 보조시점(0) 사이에 존재하는 2개의 시점이 모두 제3 보조시점(3)으로 설정되었음을 알 수 있다. In another way, even if there are only two or less viewpoints between the reference time point 1 and the second auxiliary time point 0, all of the time between the reference time point 1 and the second auxiliary time point 0 are different. The view point may be set as the third auxiliary view point 3. For example, in FIGS. 11A and 11B, when m = 8, it is understood that two viewpoints existing between the reference time point 1 and the second auxiliary view point 0 are both set to the third auxiliary view point 3. Can be.

또한, 상기 방식에 의해 결정된 기준시점과 보조시점들을 이용하여, 시점간 계층적 부호화('view scalability')를 수행할 수 있게 된다. In addition, it is possible to perform view-view hierarchical coding ('view scalability') using the reference view and the auxiliary view determined by the above scheme.

예를 들어, 다시점의 개수(m)가 7개 이하(m<=7) 인 경우에는, 하나의 기준시점 비트스트림과 2개의 계층적 보조시점 비트스트림을 생성하게 된다. 예를 들어, 상기 제2 보조시점(0)을 제1 계층적 보조시점으로 선택하고, 제1 보조시점(2)을 제2 계층적 보조시점으로 선택하는 것이 가능하다. For example, when the number m of multiviews is 7 or less (m <= 7), one reference view bitstream and two hierarchical auxiliary view bitstreams are generated. For example, it is possible to select the second auxiliary view 0 as the first hierarchical auxiliary view and to select the first auxiliary view 2 as the second hierarchical auxiliary view.

또한, 예를 들어, 다시점의 개수(m)가 8개 이상(m>=8)으로 m=8,9,10인 경우에는, 하나의 기준시점 비트스트림과 3개의 계층적 보조시점 비트스트림을 생성하게 된다. 예를들어, 상기 제1 보조시점(2)을 제1 계층적 보조시점으로 선택하고, 제2 보조시점(0)을 제1 계층적 보조시점으로 선택하고, 제3 보조시점(3)을 제3 계층적 보조시점으로 선택하는 것이 가능하다.Further, for example, when the number of multiviews (m) is 8 or more (m> = 8) and m = 8, 9, 10, one reference view bitstream and three hierarchical auxiliary view bitstreams Will generate For example, the first auxiliary view 2 is selected as the first hierarchical auxiliary view, the second auxiliary view 0 is selected as the first hierarchical auxiliary view, and the third auxiliary view 3 is selected as the first hierarchical auxiliary view 3. It is possible to select three hierarchical auxiliary views.

도 12는 본 발명의 다시점(multi view) 동영상의 시점간 계층적(hierarchy) 복호화 방법 및 장치를 설명하기 위해 도시한 것이다. FIG. 12 illustrates a method and apparatus for hierarchical decoding between viewpoints of a multi-view video of the present invention.

도 12에 따르면, 본 발명은 송신측 부호화단에서, 전술한 제1 실시예 ~ 제5 실시예 및 상기 실시예들로부터 예측가능한 변형적 방식에 의해, 다시점 영상에 대한 계층적 부호화를 수행하여 비트스트림을 생성하고 이를 수신측에 송신하게 된다. According to FIG. 12, the present invention performs hierarchical encoding on a multiview image by a transforming method predictable from the first to fifth embodiments and the above-described embodiments. It generates a bitstream and transmits it to the receiving side.

따라서, 본 발명의 복호화 방법 및 장치는, 우선 상기 전술한 특징에 의해 생성된 비트스트림을 수신하여 이를 디코딩하여 각 계층별로 디코딩된 데이터를 생성한다. 이후, 사용자 또는 디스플레이의 선택에 의해 상기 계층별로 디코딩된 데이터를 이용하여, 다양한 방식의 디스플레이를 구현하는 것이 가능하게 된다. Accordingly, the decoding method and apparatus of the present invention first receive a bitstream generated by the above-described feature, decode it, and generate decoded data for each layer. Subsequently, various types of displays may be implemented using data decoded for each layer by a user or a display.

예를 들어, 기준시점만을 재생하는 기준 레이어(121, Bsae layer)는 2차원 2D 디스플레이(125)에 적합하다. 또한, 기준시점과 제1 계층적 보조시점을 함께 재생하는 제1 인헨스먼트 레이어(122, Enhancement layer#1)는 2차원 영상을 2개 결합한 '스테레오 타입 디스플레이(126, stereo type display)'에 적합하다. 또한, 기준시점과 제1 계층적 보조시점 및 제2 계층적 보조시점을 함께 재생하는 제2 인헨스먼트 레이어(123, Enhancement layer#2)는 다시점 영상을 입체적으로 재생하는 '로우 멀티뷰 타입 디스플레이(127, low multi view display)'에 적합하다. 또한, 기준시점과 모든 계층적 보조시점을 함께 재생하는 제3 인헨스먼트 레이어(124, Enhancement layer#3)는 다시점 영상을 입체적으로 재생하는 '하이 멀티뷰 타입 디스플레이(128, high multi view display)'에 적합하다.For example, the reference layer 121 (Bsae layer) that reproduces only the reference viewpoint is suitable for the 2D 2D display 125. In addition, the first enhancement layer 122 (Enhancement layer # 1) that reproduces the reference view and the first hierarchical auxiliary view together is a 'stereo type display 126' combining two two-dimensional images. Suitable. In addition, the second enhancement layer 123 that reproduces the reference view, the first hierarchical auxiliary view, and the second hierarchical auxiliary view together may have a 'low multi-view type' for stereoscopic reproduction of a multiview image. Display (127, low multi view display). In addition, the third enhancement layer 124 which reproduces the reference time point and all hierarchical auxiliary views together may have a 'high multi view type display 128 (3, high multi view display) which reproduces multi-view images in three dimensions. Is suitable for

본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.Those skilled in the art to which the present invention pertains will understand that the present invention can be implemented in other specific forms without changing the technical spirit or essential features.

그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Therefore, it is to be understood that the embodiments described above are exemplary in all respects and not restrictive. The scope of the present invention is shown by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. do.

도 4a는 본 발명을 적용한 실시예로서, GGOP(Group Of GOP)의 구조를 나타내고, 도 4b, 도 4c는 본 발명에서 적용되는 temporal_units_size의 개념을 설명하기 위한 GGOP의 구조를 나타낸다.FIG. 4A illustrates a structure of a group of GOP (GGOP) as an embodiment to which the present invention is applied, and FIGS. 4B and 4C illustrate a structure of a GGOP for explaining the concept of temporal_units_size applied to the present invention.

도 6a 및 도 6b는 본 발명이 적용되는 실시예로서, 다시점 영상의 예측구조(prediction structure)를 도시한 것이다.6A and 6B illustrate a prediction structure of a multiview image as an embodiment to which the present invention is applied.

도 7a 및 도 7b는 본 발명이 적용되는 실시예로서, 다시점 영상의 예측 구조를 도시한 것이다.7A and 7B illustrate a prediction structure of a multiview image as an embodiment to which the present invention is applied.

도 9a 및 도9b는 본 발명이 적용되는 실시예로서, 다시점 영상의 시점간 계층적(hierarchy) 예측구조를 도시한 것이다. 9A and 9B illustrate an hierarchical prediction structure between viewpoints of a multiview image as an embodiment to which the present invention is applied.

도 11a ~ 도 11c는 본 발명이 적용되는 실시예로서, 다시점 영상의 예측구조를 도시한 것이다. 11A to 11C illustrate a prediction structure of a multiview image as an embodiment to which the present invention is applied.

도 12는 본 발명의 다시점(multi view) 영상의 시점간 계층적(hierarchy) 복호화 방법 및 장치를 설명하기 위해 도시한 것이다.FIG. 12 illustrates a method and apparatus for hierarchical decoding between viewpoints of a multi-view image of the present invention.

Claims

Obtaining inter-view prediction structure information of a non-random access picture from a sequence region of a multi-view video data stream, wherein the inter-view prediction structure information includes count information and view identification information, and the count information is a multi-view video. Represent a total number of viewpoints in the data, wherein the viewpoint identification information represents each viewpoint identifier of a reference viewpoint in the multiview video data and is represented by a two-dimensional structure;

Obtaining a random access flag for inter-view prediction, wherein the random access flag indicates whether a type of a current picture is a random access picture or a non-random access picture, and all slices in the random access picture are the same time and different Refers only to slices present at a time point, wherein the non-random access picture represents a picture that is not the random access picture;

When the type of the current picture indicates a non-random access picture according to the random access flag, a reference for inter-view prediction of the current slice in the current picture using inter-view prediction structure information of the non-random access picture. Determining a picture list;

Determining a prediction value of a macroblock in the current slice based on the determined reference picture list for inter-view prediction; And

Decoding the macroblock within the current slice using the prediction value

The decoding method of a multi-view video data comprising a.

The method of claim 1,

The multi-view video data includes video data of a reference view and an auxiliary view, wherein the reference view represents a view that can be decoded independently of other views without using inter-view prediction, and the auxiliary view is not the reference view. A method of decoding multi-view video data, characterized by indicating a viewpoint.

The method of claim 1,

The inter-view prediction structure information of the non-random access picture is obtained by considering a prediction direction.

The method of claim 3,

Wherein the prediction direction represents a forward or reverse direction of picture output order.

The method of claim 1,

The auxiliary view is decoded with reference to the reference view.

A NAL parser that obtains inter-view prediction structure information of a non-random access picture from a sequence region of a multi-view video data stream, and obtains a random access flag for inter-view prediction, wherein the inter-view prediction structure information includes number information and Including viewpoint identification information, wherein the number information indicates the total number of viewpoints in the multiview video data, and the viewpoint identification information indicates each viewpoint identifier of a reference viewpoint in the multiview video data and is represented by a two-dimensional structure; The random access flag indicates whether a type of a current picture is a random access picture or a non-random access picture, all slices in the random access picture refer only to slices present at the same time and at different time points, and the non-random The access picture is not the random access picture It refers to the struck;

When the type of the current picture indicates a non-random access picture according to the random access flag, a reference for inter-view prediction of the current slice in the current picture using inter-view prediction structure information of the non-random access picture. A decoded picture buffer unit for determining a picture list; And

An inter prediction unit configured to determine a prediction value of the macroblock in the current slice based on the determined reference picture list for inter-view prediction, and to decode the macroblock in the current slice using the prediction value.

Apparatus for decoding multi-view video data comprising a.

The method of claim 6,

The multi-view video data includes video data of a reference view and an auxiliary view, wherein the reference view represents a view that can be decoded independently of other views without using inter-view prediction, and the auxiliary view is not the reference view. Apparatus for decoding multi-view video data, characterized by indicating a viewpoint.

The method of claim 6,

And the inter-view prediction structure information of the non-random access picture is obtained in consideration of a prediction direction.

The method of claim 8,

And wherein the prediction direction indicates a forward or reverse direction of picture output order.

The method of claim 6,

And the auxiliary view is decoded with reference to the reference view.