KR20070098429A

KR20070098429A - 비디오 신호의 디코딩 방법

Info

Publication number: KR20070098429A
Application number: KR1020060097213A
Authority: KR
Inventors: 전용준; 전병문; 박지호; 구한서; 박승욱
Original assignee: 엘지전자 주식회사
Priority date: 2006-03-30
Filing date: 2006-10-02
Publication date: 2007-10-05

Abstract

본 발명은 비디오 신호를 효율적으로 디코딩하기 위한 방법에 관한 것이다.

비디오 신호의 디코딩 방법에 있어서, 비디오 신호로부터 픽쳐의 시점을 나타내는 시점 식별자(view identifier)를 획득하는 단계와 상기 시점 식별자를 이용하여 현재 픽쳐와 다른 시점에 있는 픽쳐의 정보를 획득하는 단계 및 상기 다른 시점에 있는 픽쳐의 정보를 이용하여 상기 비디오 신호를 디코딩하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법을 제공한다. 본 발명을 통하여 다시점 영상 코딩을 하는 경우, 시점 간의 예측(inter-view prediction) 수행함에 있어서, 보다 효율적인 복호화가 가능하게 된다.

다시점(multi-view)

Description

비디오 신호의 디코딩 방법{A method for decoding a video signal}

도 1은 본 발명을 적용한 다시점 영상(multi-view sequence) 부호화 및 복호화 시스템을 도시한 것이다.

도 2는 본 발명을 적용한 다시점 비디오 코딩에 있어서, 픽쳐들 간의 예측 구조를 나타낸다.

도 3은 본 발명이 적용되는 다시점 비디오 코딩에 있어서, 시점 식별자를 이용하여 비디오 신호를 디코딩하는 흐름도를 나타낸다.

도 4는 본 발명이 적용된 일실시예로서, 시점 식별자가 헤더 영역 내에 포함함되는 데이터 구조를 나타낸다.

도 5는 본 발명을 적용한 MVC 인코딩부(30)를 나타낸다.

도 6은 본 발명이 적용된 일실시예로서, 가상 시점의 픽쳐를 이용하여 현재 픽쳐를 예측하는 과정을 설명하기 위해 나타낸 것이다.

도 7은 본 발명이 적용된 실시예로서, MVC에서 시점 간 예측을 수행함에 있어서 새로운 시점의 픽쳐를 합성하기 위한 과정을 나타내는 흐름도이다.

도 8은 본 발명이 적용된 일실시예로서, 다시점 비디오 코딩에 있어서 랜덤 액세스를 수행하기 위한 픽쳐들의 예측 구조를 나타낸 것이다.

도 9는 본 발명을 적용한 MVC 디코딩부(50)를 나타낸다.

본 발명은 비디오 신호의 복호화/부호화 방법 및 장치에 관한 기술이다.

현재 주류를 이루고 있는 비디오 방송 영상물은 한 대의 카메라로 획득한 단일시점 영상이다. 반면, 다시점 비디오(Multi-view video)란 한 대 이상의 카메라를 통해 촬영된 영상들을 기하학적으로 교정하고 공간적인 합성 등을 통하여 여러 방향의 다양한 시점을 사용자에게 제공하는 3차원(3D) 영상처리의 한 분야이다. 다시점 비디오는 사용자에게 시점의 자유를 증가시킬 수 있으며, 한대의 카메라를 이용하여 획득할 수 있는 영상 영역에 비해 큰 영역을 포함하는 특징을 지닌다.

이러한 다시점 비디오 영상은 시점들 사이에 높은 상관 관계를 가지고 있기 때문에 시점들 사이의 공간적 예측을 통해서 중복된 정보를 제거할 수 있다. 따라서, 시점들 사이의 예측을 효율적으로 수행하기 위하여 현재 시점의 픽쳐와 다른 시점에 있는 픽쳐를 구별할 수 있는 식별자가 필요하다.

본 발명의 목적은 픽쳐의 시점을 구별할 수 있는 식별자를 정의함으로써 비디오 신호를 효율적으로 복호화/부호화하고자 함에 있다.

본 발명의 다른 목적은 가상 시점의 픽쳐를 획득할지 여부를 나타내는 시점 간 합성 예측 식별자를 정의함으로써 비디오 신호를 효율적으로 복호화/부호화하고자 함에 있다.

상기 목적을 달성하기 위하여 본 발명은 비디오 신호로부터 픽쳐의 시점을 나타내는 시점 식별자(view identifier)를 획득하는 단계와 상기 시점 식별자를 이용하여 현재 픽쳐와 다른 시점에 있는 픽쳐의 정보를 획득하는 단계 및 상기 다른 시점에 있는 픽쳐의 정보를 이용하여 상기 비디오 신호를 디코딩하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법을 제공한다.

또한, 본 발명은 비디오 신호로부터, 현재 픽쳐에 이웃하는 시점의 픽쳐를 이용하여 가상 시점의 픽쳐를 획득할지 여부를 나타내는 시점 간 합성 예측 식별자를 추출하는 단계와 상기 시점 간 합성 예측 식별자에 따라 상기 가상 시점의 픽쳐를 획득하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법을 제공한다.

또한, 본 발명은 비디오 신호로부터 픽쳐의 시점을 나타내는 시점 식별자를 획득하는 단계와 상기 시점 식별자를 이용하여 임의 시점의 영상을 랜덤 액세스하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법을 제공한다.

상술한 목적 및 구성의 특징은 첨부된 도면과 관련하여 다음의 상세한 설명을 통하여 보다 명확해질 것이다. 이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들를 상세히 설명한다.

아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우는 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재하였으므로, 단순 한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다.

도 1은 본 발명을 적용한 다시점 영상(multi-view sequence) 부호화 및 복호화 시스템을 도시한 것이다. 도 1에 도시된 바와 같이, 본 발명을 적용한 다시점 영상 부호화 시스템은, 다시점 영상 발생부(10), 전처리부(20, preprocessing) 및 인코딩부(30, encoding)를 포함하여 구성된다. 또한, 복호화 시스템은 익스트랙터(40, extractor), 디코딩부(50, decoding), 후처리부(60, post processing) 및 디스플레이부(70, display)를 포함하여 구성된다.

상기 다시점 영상 발생부(10)는 다시점 개수 만큼의 영상 획득장치(예를들어, 카메라 #1 ~ #N)를 구비하여, 각 시점별로 독립적인 영상을 획득하게 된다. 전처리부(20)는 다시점 영상 데이터가 입력되면, 노이즈 제거, 임발란싱(imbalancing) 문제를 해결하면서 전처리 과정을 통해 다시점 영상 데이터들 간의 상관도를 높여주는 기능을 수행한다. 인코딩부(30)는 움직임(motion) 추정부, 움직임 보상부 및 시점 간의 변이(disparity) 추정부, 변이 보상부, 조명(illumination) 보상부, 비트율 제어 및 차분(residual) 영상 부호화부 등을 포함한다. 상기 인코딩부(30)는 일반적으로 알려진 방식을 적용할 수 있으며, 이에 대해서는 도 5에서 보다 상세하게 설명한다.

익스트랙터(40)는 전송된 MVC 비트스트림으로부터 원하는 시점(view)에 해당하는 비트스트림만 추출할 수 있는 기능을 한다. 상기 익스트랙터는 헤더를 보고 선택적으로 원하는 시점만 디코딩할 수 있다. 또한, 픽쳐의 시점을 구별하는 시점 식별자(view identifier)를 이용하여 원하는 시점에 해당하는 비트스트림만을 추출함으로써 시점 확장성(view scalability)을 구현할 수 있다. MVC는 H.264/AVC와 완벽하게 호환이 가능해야 하기 때문에 H.264/AVC와 호환 가능한 특정 시점(view)만 디코딩해야 할 필요가 있다. 이러한 경우, 호환 가능한 시점만 디코딩하기 위해 픽쳐의 시점을 구별하는 시점 식별자가 이용될 수 있다. 익스트랙터(40)를 통해 추출된 비트스트림은 디코딩부(50)로 전송된다. 디코딩부(50)는 움직임 보상부, 조명 보상부, 가중치 예측부, 디블록킹 필터부 등을 포함한다. 디코딩부(50)는 전술한 방식에 의해 부호화된 비트스트림을 수신한 후, 이를 역으로 복호화한다. 이에 대해서는 도 9에서 보다 상세하게 설명한다. 또한, 후처리부(60)는 디코딩된 데이터의 신뢰도 및 해상도를 높여주는 기능을 수행하게 된다. 마지막으로 디스플레이부(70)는 디스플레이의 기능, 특히 다시점 영상을 처리하는 능력에 따라 다양한 방식으로 사용자에게 디코딩된 데이터를 제공하게 된다. 예를들어, 평면 2차원 영상만을 제공하는 2D 디스플레이(71)이거나, 2개의 시점을 입체 영상으로 제공하는 스테레오(stereo) 타입의 디스플레이(73)이거나 또는 M개의 시점(2<M)을 입체 영상으로 제공하는 디스플레이(75)일 수 있다.

도 2에 나타난 바와 같이 가로축의 T0 ~ T100 은 각각 시간에 따른 프레임을 나타낸 것이고, 세로축의 S0 ~ S100은 각각 시점에 따른 프레임을 나타낸 것이다. 예를 들어, T0에 있는 픽쳐들은 같은 시간대(T0)에 서로 다른 카메라에서 찍은 영 상들을 의미하며, S0 에 있는 픽쳐들은 한 대의 카메라에서 찍은 다른 시간대의 영상들을 의미한다. 또한, 도면 상의 화살표들은 각 픽쳐들의 예측 방향과 순서를 나타낸 것으로서, 예를 들어, T0 시간대의 S2 시점에 있는 P0 픽쳐는 I0로부터 예측된 픽쳐이며, 상기 P0 픽쳐는 TO 시간대의 S4 시점에 있는 또 다른 P0 픽쳐의 참조 픽쳐가 된다. 또한, S2 시점의 T4, T2 시간대에 있는 B1, B2 픽쳐의 참조 픽쳐가 된다.

이와 같이 현재 픽쳐와 같은 시간대에 있으나, 다른 시점에 있는 픽쳐들을 이용하여 예측 부호화를 하게 될 경우, 상기 픽쳐들 사이의 시점을 구별해주는 식별자가 필요하다. 따라서, 임의 픽쳐의 시점을 나타내는 식별자를 시점 식별자(view identifier)라 정의한다. 예를 들어, 상기 TO 시간대의 S4 시점에 있는 P0 픽쳐는 같은 시간대의 S2 시점에 있는 P0 픽쳐를 참조하여 예측 부호화를 수행한다. 이 경우, 상기 S2 시점의 P0 픽쳐를 참조할 때, 상기 S2 시점의 P0 픽쳐의 시점 식별자를 이용하면 좀더 효율적인 예측 부호화를 수행할 수 있게 된다.

비디오 영상 신호가 코딩될 때, 각각의 픽쳐를 식별하기 위하여 POC(Picture Order Count)와 frame_num 이 이용된다. 다시점 비디오 영상인 경우에는 시점 간의 예측이 수행되기 때문에 현재 시점에 있는 픽쳐와 다른 시점에 있는 픽쳐를 구별하기 위한 식별자가 필요하다. 따라서, 픽쳐의 시점을 나타내는 시점 식별자(view identifier)를 정의한다.

본 발명을 적용한 비디오 신호 디코딩 방법의 일실시예로서, 다음을 들 수 있다. 비디오 신호로부터 픽쳐의 시점을 나타내는 시점 식별자(view identifier)를 추출하고(S310), 상기 시점 식별자를 이용하여 현재 픽쳐와 다른 시점에 있는 픽쳐의 정보를 획득하며(S320), 상기 다른 시점에 있는 픽쳐의 정보를 이용하여 상기 비디오 신호를 디코딩할 수 있다(S330). 상기 시점 식별자는 비디오 신호의 인코딩/디코딩 과정 전반에 걸쳐 적용될 수 있으며, 이는 이하에서 설명하도록 한다. 또한, 특정한 시점 식별자가 아닌, 시점이 고려된 frame_num을 이용하여 MVC에 그대로 적용할 수도 있다. 예를 들어, 다시점 비디오 영상이 하나의 시퀀스로 코딩될때, 시점(view)의 개수가 총 n개, 현재 픽쳐의 frame_num 을 m이라 하고, 상기 현재 픽쳐의 frame_num 을 상기 시점의 개수로 나누어 몫을 "s", 나머지를 "r"이라 가정하자. 이 경우 현재 시점에 있는 픽쳐의 POC 및 시점에 대한 정보는 다음과 같이 표현할 수 있다. 상기 몫인 "s"가 시간축 상의 POC가 되며, "상기 나머지+1" 인 "r+1" 이 시점에 대한 정보가 된다. 즉, frame_num 이 "m"인 현재 픽쳐는 시점축 상으로는 "r+1"번째 시점에 있고, 시간축 상으로 "s+1"번째 픽쳐에 해당됨을 알 수 있다.

상기 시점 식별자는 비디오 신호의 헤더 영역으로부터 획득될 수 있다. 예를 들어, 상기 헤더 영역은 NAL 헤더(header)(410) 영역일 수도 있고, 슬라이스 헤더(431) 영역일 수도 있다. NAL 구조는 NAL 헤더(410)와 슬라이스 계 층(layer)(430)을 포함하며, 상기 슬라이스 계층(430)은 슬라이스 헤더(431)와 슬라이스 데이터(433)를 포함한다. 상기 NAL 헤더(410)는 현재 픽쳐의 속성 정보를 포함하고 있다. 예를 들어, 상기 현재 픽쳐의 속성 정보에는 nal_ref_idc, nal_unit_type 등이 있는데, nal_ref_idc는 NAL 단위의 참조픽쳐가 되는 슬라이스가 포함되어 있는지 여부를 나타내는 플래그 정보를 나타내며, nal_unit_type 은 NAL단위의 종류를 나타내는 식별자를 나타낸다. 본 발명을 적용한 일실시예로서, 상기 NAL 헤더(410)는 상기 속성 정보 외에도 픽쳐의 시점을 나타내는 시점 식별자(view identifier)도 포함할 수 있다. 또한, 상기 슬라이스 헤더(431)는 슬라이스에 대한 속성 정보를 포함하고 있다. 예를 들어, 상기 슬라이스에 대한 속성 정보에는 slice_type, frame_num 등이 있는데, slice_type은 슬라이스의 종류를 나타내며, frame_num은 픽쳐을 구별하기 위한 식별자(identifier)를 나타낸다. 본 발명을 적용한 다른 일실시예로서, 상기 슬라이스 헤더(431)는 상기 속성 정보 외에도 픽쳐의 시점을 나타내는 시점 식별자를 포함할 수 있다. 이처럼, 상기 헤더 영역 내, 예를 들어 상기 NAL 헤더(410) 또는 상기 슬라이스 헤더(431) 내에 포함된 시점 식별자는 MVC(Multi-view Video Coding) 전반에 걸쳐서 이용될 수 있다. 이는 이하에서 설명하도록 한다.

도 5는 본 발명을 적용한 MVC 인코딩부(30)를 나타낸다.

MVC 인코딩부(30)는 움직임 추정부(31), 조명 보상부(32), 가중치 예측부(33), 예측 시점 생성부(34), 깊이 정보 생성부(35), 움직임 보상부(36), DPB(Decoded Picture Buffer) 관리부(37), 디블록킹 필터부(38) 등을 포함한다.

움직임(또는 변이) 추정부(31)는 이전에 코딩된 픽쳐에서 적당한 참조 영역을 선택하여 현재 블록과 선택된 참조 영역 사이의 움직임(또는 변이) 벡터를 결정한다. 예측을 위한 참조 블럭을 잘 선택함으로써 움직임(또는 변이) 보상된 오차 블럭 내의 에너지를 최소화시켜 압축 성능을 최대화할 수 있다. 상기 코딩된 픽쳐의 참조 영역을 선택하는 과정에 있어서, 다시점 비디오 신호의 경우, 상기 코딩된 픽쳐는 동일 시점의 다른 시간대에 있는 픽쳐일 수도 있지만, 다른 시점의 픽쳐일 수도 있다. 따라서, 본 발명에서는 다른 시점의 픽쳐를 참조 픽쳐로 이용하게 될 경우 상기 참조 픽쳐의 시점을 나타내는 시점 식별자를 이용하여 보다 효율적인 코딩을 수행할 수 있다.

조명 보상부(32)는 MVC를 위한 조명 변화에 적응적인 움직임 보상을 수행한다. 다시점 비디오(Multi-view video)의 각 시점 영상(view sequence)들은 각기 다른 카메라에서 취득된 영상들이기 때문에 카메라의 내외적 요인으로 인하여 조명 (illumination) 차이가 발생하게 된다. 예를 들어, 카메라의 이질성(camera heterogeneity), 카메라 측정(camera calibration)의 차이, 또는 카메라의 정렬 (camera alignment)의 차이 등이 원인이 된다. 이러한 조명(illumination) 차이는 서로 다른 시점에 있는 픽쳐들 간의 상관도를 현저히 떨어뜨려 효율적인 부호화를 저해하게 된다. 따라서, 현재 블록의 평균 화소값과 그에 대응하는 참조 블록의 평균 화소값을 구하여, 상기 두 평균 화소값의 차이를 획득하여 전송함으로써 효율적인 부호화를 수행할 수 있다. 이때 상기 현재 블록의 평균 화소값과 그에 대응하는 참조 블록의 평균 화소값과의 차이를 조명 보상 오프셋 값이라 한다. 상기 조명 보 상 오프셋 값을 전송함에 있어서, 코딩할 비트수를 더 감소시킬 필요가 있다. 예를 들어, 상기 현재 블록과 상기 참조 블록의 이웃 블록들을 이용하여 상기 조명 보상 오프셋 값의 프리딕터를 획득하고, 상기 획득된 조명 보상 오프셋 값과 상기 프리딕터와의 차이값을 획득하여 그 차이값만 전송할 수 있다. 위와 같은 과정을 수행할 때, 다른 시점의 픽쳐를 참조 픽쳐로 이용할 수 있는데, 이 때 픽쳐의 시점을 나타내는 시점 식별자가 이용될 수 있다.

가중치 예측부(33)는 밝기가 시간적으로 변화하는 영상을 부호화할 때 영상의 화질이 크게 열화되는 현상을 보상하기 위해 이용된다. MVC에서는 시간적으로 밝기가 변화하는 영상뿐만 아니라 다른 시점에 있는 영상과의 밝기 차이를 보상하기 위해 가중치 예측이 수행될 수 있다. 예를 들어, 가중치 예측 방법에는 명시적(explicit) 가중치 예측 방법과 묵시적(implicit) 가중치 예측 방법이 있다. 상기 명시적 가중치 예측 방법에는 한 장의 참조 픽쳐를 이용하는 경우 또는 두 장의 참조 픽쳐를 이용하는 경우가 있다. 한 장의 참조 픽쳐를 이용하는 경우에는 움직임 보상에 해당하는 예측 신호에 가중치 계수를 곱해서 예측 신호를 생성하고, 두 장의 참조 픽쳐를 이용하는 경우에는 움직임 보상에 해당하는 예측 신호에 가중치 계수를 곱한 값에 오프셋 값을 더하여 예측 신호를 생성한다. 묵시적 가중치 예측 방법은 참조 픽쳐로부터의 거리를 이용하여 가중치 예측을 수행한다. 상기 참조 픽쳐로부터의 거리를 구하는 방법으로는, 예를 들어, 픽쳐의 출력 순서를 나타내는 값인 POC(Picture Order Count)를 이용하는 경우가 있는데, 상기 POC는 각 픽쳐의 시점을 구분할 수 있도록 고려하여 만들어진 POC이다. 또는, 다른 시점에 있는 픽 쳐에 대하여 가중치 계수를 획득할 때, 각 픽쳐의 시점 사이의 거리를 계산하기 위하여 픽쳐의 시점을 나타내는 시점 식별자가 이용될 수 있다.

시점 합성 예측부(View Synthesize Prediction)(34)는 현재 픽쳐의 시점에 이웃하는 시점에 있는 픽쳐들을 이용하여 새로운 시점의 픽쳐들을 합성하고, 합성된 새로운 시점의 픽쳐들을 이용하여 현재 픽쳐를 예측하기 위해 이용된다. 이 때, 각 이웃하는 시점의 픽쳐들을 이용하기 위해 또는 원하는 특정 시점의 픽쳐들을 이용하기 위해, 픽쳐의 시점을 나타내는 시점 식별자가 이용될 수 있다. 이러한 새로운 시점을 생성하게 될 경우, 상기 새로운 시점을 생성할지 여부를 알려주는 특정 신택스가 존재할 것이며, 이 신택스가 상기 새로운 시점을 생성할 것임을 알려주었을 때, 상기 시점 식별자를 이용하여 새로운 시점을 생성할 수 있다. 상기 시점 합성 예측부를 통해 획득된 새로운 시점의 픽쳐들은 참조 픽쳐로 사용될 수도 있으며, 이 경우 상기 새로운 시점의 픽쳐들에 상기 시점 식별자를 할당할 수 있다. 또한, 움직임 벡터를 전송하기 위해 움직임 벡터 예측을 수행하는 과정에서, 현재 블록의 이웃 블록들이 상기 시점 합성 예측부를 통해 획득된 픽쳐를 참조할 수 있다. 이 때, 상기 새로운 시점의 픽쳐를 참조 픽쳐로 이용하기 위해 픽쳐의 시점을 나타내는 시점 식별자가 이용될 수 있다.

깊이 정보(depth information) 생성부(35)는 MVC에 있어서 특정 어플리케이션을 위해서 또는 다른 목적을 위해서 깊이 정보를 전송할 수 있다. 이 때 깊이 정보는 현재 시점의 픽쳐와 다른 시점의 픽쳐 사이의 변이 차이를 나타내며, 이를 맵으로 표현된 깊이 맵(depth map)을 획득하기 위해 픽쳐의 시점을 나타내는 시점 식 별자가 이용될 수 있다. 여기서, 깊이 맵은 변이 벡터로 표현된 것이므로, 이를 변이 맵(disparity map)이라고도 한다. 또한, 상기 깊이 맵을 전송할 때 여러 가지 기법에 의해 전송할 수 있는데, 각각의 시점 정보를 이용하기 위하여 상기 시점 식별자가 이용될 수 있다.

움직임 보상부(36)는 현재 블록 및 상기 현재 블록과 가장 일치하는 참조 픽쳐 영역과의 차이값(residual)을 획득하고, 가장 일치하는 영역의 위치를 나타내는 움직임 벡터와 상기 차이값을 함께 전송한다. 어느 블록의 움직임 벡터는 주변 블록의 움직임 벡터와 밀접한 상관관계를 가지기 때문에 주변 블록으로부터 현재 블록을 예측하고 그 차이를 나타내는 벡터만을 부호화함으로서 부호화해야 할 비트량을 줄일 수 있다. 상기 차이를 나타내는 벡터를 전송하기 위해 이웃 블록들의 움직임 벡터를 사용하여 현재 블록의 움직임 벡터를 예측한다. 따라서, 본 발명에서는 이웃 블록들의 움직임 벡터들이 참조하는 참조 픽쳐가 현재 시점과 다른 시점에 있는 픽쳐일 경우, 상기 참조 픽쳐의 시점을 나타내는 시점 식별자를 이용하여 상기 현재 블록의 움직임 벡터 예측을 수행할 수 있다. 또한, 이러한 움직임 보상은 하나의 참조 픽쳐를 이용하여 수행될 수도 있고, 복수의 픽쳐를 이용하여 수행될 수도 있다. 따라서, 상기 참조 픽쳐들이 현재 시점과 다른 시점에 있는 픽쳐들인 경우에는 그 시점을 나타내는 시점 식별자를 이용하여 움직임 보상을 수행할 수 있다. 또한, 직접 예측 모드(direct mode)는 부호화가 끝난 블록의 움직임 정보로부터 현재 블록의 움직임 정보를 예측하는 부호화 모드이다. 이러한 방법은 움직임 정보를 부호화할 때 필요한 비트수가 절약되기 때문에 압축 효율이 향상된다. 예를 들어, 시간 직접 예측 모드(temporal direct mode)는 시간 방향의 움직임 정보 상관도를 이용하여 현재 블록의 움직임 정보를 예측하게 된다. 이 방법과 유사하게 본 발명에서는 시점 방향의 움직임 정보 상관도를 이용하여 현재 블록의 움직임 정보를 예측할 수 있다. 따라서, 직접 예측 모드를 이용하여 현재 블록의 움직임 정보를 예측하게 되는 경우, 시점 간의 거리를 구하기 위하여 픽쳐의 시점을 나타내는 시점 식별자가 이용될 수 있다.

DPB(Decoded Picture Buffer) 관리부(37)에서는 화면간 예측을 수행하기 위해서 이전에 코딩된 픽쳐들을 저장하거나 개방하는 역할 등을 수행한다. 이 때 DPB에 저장하거나 개방하기 위해서 각 픽쳐의 frame_num 과 POC(Picture Order Count)를 이용하게 된다. 여기서, frame_num 이란, 픽쳐을 구별하기 위한 식별자(identifier)를 나타내며, POC 란, 픽쳐의 표시 순서를 나타내는 값을 의미한다. 따라서, MVC에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 픽쳐와 다른 시점에 있는 픽쳐들도 있으므로, 이러한 픽쳐들을 참조 픽쳐로서 활용하기 위해서는 상기 frame_num 과 POC 뿐만 아니라 픽쳐의 시점을 나타내는 시점 식별자도 함께 이용할 수 있다.

또한, 시점 식별자는 임의의 블록마다 어떤 픽쳐를 참조하고 있는지를 나타내는 참조 픽쳐 번호를 할당하기 위해서 사용될 수 있다. MVC에서는 복수의 참조 픽쳐들로부터 블록 단위로 임의의 픽쳐를 참조하는 화면간 예측이 가능하다. 여기서 블록마다 어떤 픽쳐를 참조하고 있는가를 표시할 필요가 있는데, 참조 픽쳐를 지정하기 위해 각 픽쳐에 할당된 식별번호를 참조 픽쳐 번호라고 한다. 이러한 참 조 픽쳐 번호를 각 픽쳐마다 할당할 때 현재 픽쳐와 다른 시점에 있는 픽쳐가 참조 픽쳐가 될 수 있다. 따라서, 현재 픽쳐와 다른 시점에 있는 참조 픽쳐에 참조 픽쳐 번호를 할당하기 위해서 그 픽쳐의 시점을 나타내는 시점 식별자를 이용할 수 있다.

또한, 시점 식별자는 참조 픽쳐 리스트 초기화(reference picture list initialization)를 위해서 사용될 수 있다. 인코딩부(30)에서는 P 슬라이스 또는 B 슬라이스 내의 인터 매크로블록의 움직임 보상 예측에 사용하기 위해 이전에 코딩된 픽쳐들의 리스트를 참조 픽쳐 리스트 0(reference picture list0) 또는 참조 픽쳐 리스트 1(reference picture list 1)에 저장하여 사용한다. 상기 참조 픽쳐 리스트를 만들기 위해서 frame_num 과 POC 가 이용된다. MVC에 있어서 상기 참조 픽쳐가 현재 픽쳐와 다른 시점에 있는 참조 픽쳐인 경우에는 frame_num 과 POC 뿐만 아니라 픽쳐의 시점을 나타내는 시점 식별자를 이용할 수 있다.

또한, 시점 식별자는 참조 픽쳐 리스트 재배열(reference picture list reordering)을 위해서 사용될 수 있다. 참조 픽쳐를 지정하는 참조 픽쳐 번호는, 자주 참조되는 픽쳐에 작은 번호가 할당되고, 그 참조 픽쳐 번호가 작을수록 작은 비트수의 부호가 할당된다. 따라서, 이미 배열되어 있는 참조 픽쳐 리스트 중에서 자주 참조되는 픽쳐에 작은 번호가 할당되도록 상기 참조 픽쳐 리스트를 재배열할 필요가 있다. MVC에 있어서, 상기 참조 픽쳐 리스트에 현재 픽쳐와 다른 시점에 있는 참조 픽쳐가 존재하는 경우에는 상기 현재 픽쳐와 다른 시점에 있는 참조 픽쳐의 참조 픽쳐 번호를 재할당하기 위해서 픽쳐의 시점을 나타내는 시점 식별자를 이 용할 수 있다.

디블록킹 필터부(38)는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 매크로블록에 적용된다. 인코딩부(30)에서는 미래의 예측을 위해 매크로블록을 복원하고 저장하기 전에 적용된다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 프레임의 화질을 향상시킨다. 필터링 과정의 선택은 경계 세기(boundary strenth)와 경계 주위의 이미지 샘플의 변화(gradient)에 의해 좌우된다. 상기 경계 세기는 블록의 에지(edge)마다 할당되는데, 이때 픽쳐의 시점을 나타내는 시점 식별자를 이용할 수 있다.

다시점 비디오 코딩에서 시점 간 예측(inter-view prediction)을 수행함에 있어서, 현재 픽쳐와 다른 시점에 있는 픽쳐를 참조 픽쳐로 하여 현재 픽쳐를 예측할 수 있다. 하지만, 현재 픽쳐에 이웃하는 시점에 있는 픽쳐들을 이용하여 새로운 시점의 픽쳐를 획득하고, 상기 획득된 새로운 시점의 픽쳐를 이용하여 현재 픽쳐를 예측할 경우 보다 정확한 예측이 가능할 수 있다. 이 때, 각 이웃하는 시점의 픽쳐들을 이용하기 위해 또는 원하는 특정 시점의 픽쳐들을 이용하기 위해, 픽쳐의 시점을 나타내는 시점 식별자가 이용될 수 있다. 이러한 새로운 시점을 생성하게 될 경우, 상기 새로운 시점을 생성할지 여부를 알려주는 특정 신택스가 존재할 것이며, 이 신택스가 상기 새로운 시점을 생성할 것임을 알려주었을 때, 상기 시점 식별자를 이용하여 새로운 시점을 생성할 수 있다. 상기 시점 합성 예측부를 통해 획 득된 새로운 시점의 픽쳐들은 참조 픽쳐로 사용될 수도 있으며, 이 경우 상기 새로운 시점의 픽쳐들에 상기 시점 식별자를 할당할 수 있다. 또한, 움직임 벡터를 전송하기 위해 움직임 벡터 예측을 수행하는 과정에서, 현재 블록의 이웃 블록들이 상기 시점 합성 예측부를 통해 획득된 픽쳐를 참조할 수 있다. 이 때, 상기 새로운 시점의 픽쳐를 참조 픽쳐로 이용하기 위해 픽쳐의 시점을 나타내는 시점 식별자가 이용될 수 있다.

현재 픽쳐에 이웃하는 시점에 있는 픽쳐들을 이용하여 새로운 시점의 픽쳐를 합성하고, 상기 합성된 새로운 시점의 픽쳐를 이용하여 현재 픽쳐를 예측할 경우 보다 정확한 예측이 가능할 수 있다. 이 때, 새로운 시점의 픽쳐를 합성하게 될 경우, 상기 새로운 시점의 픽쳐를 합성하여 현재 픽쳐의 예측을 수행할지 여부를 알려주는 특정 신택스가 존재하여, 경우에 따라 현재 픽쳐의 예측 수행 여부를 판단한다면 보다 효율적인 코딩이 가능하다. 상기 특정 신택스를 시점 간 합성 예측 식별자라 정의하고, 이는 다음과 같다. 예를 들어, 슬라이스 계층에서 새로운 시점의 픽쳐를 합성하여 현재 픽쳐의 예측을 수행할지 여부를 나타내는 view_synthesize_pred_flag 를 정의할 수 있고, 또는 매크로블록 계층에서 새로운 시점의 픽쳐를 합성하여 현재 픽쳐의 예측을 수행할지 여부를 나타내는 view_syn_pred_flag 를 정의할 수 있다. view_synthesize_pred_flag = 1 인 경우, 현재 슬라이스는 현재 슬라이스에 이웃하는 시점의 슬라이스를 이용하여 새로운 시 점의 슬라이스를 합성하고, 상기 합성된 슬라이스를 이용하여 현재 슬라이스를 예측할 수 있다. view_synthesize_pred_flag = 0 인 경우에는 새로운 시점의 슬라이스를 합성하지 않는다. 마찬가지로, view_syn_pred_flag = 1 인 경우, 현재 매크로블록은 현재 매크로블록에 이웃하는 시점의 매크로블록을 이용하여 새로운 시점의 매크로블록을 합성하고, 상기 합성된 매크로블록을 이용하여 현재 매크로블록을 예측할 수 있다. view_syn_pred_flag = 0 인 경우에는 새로운 시점의 매크로블록을 합성하지 않는다. 따라서, 본 발명에서는 비디오 신호로부터 가상 시점의 픽쳐를 획득할 지 여부를 나타내는 상기 시점 간 합성 예측 식별자를 추출하고, 상기 시점 간 합성 예측 식별자를 이용하여 가상 시점의 픽쳐를 획득할 수 있다.

다시점 영상의 복호화 과정에 있어서, 시점 간의 랜덤 액세스는 필수적이다. 따라서, 복호화 노력을 최소화하면서 임의 시점에 대한 액세스가 가능하도록 하여야 한다. 여기서 효율적인 랜덤 액세스를 실현하기 위하여 앵커 픽쳐(anchor picture)의 개념을 설명할 필요가 있다. 앵커 픽쳐라 함은, 모든 슬라이스들이 동일 시간대의 프레임에 있는 슬라이스만을 참조하는 부호화된 픽쳐를 의미한다. 예를 들어, 다른 시점에 있는 슬라이스만을 참조하고 현재 시점에 있는 슬라이스는 참조하지 않는 부호화된 픽쳐를 말한다. 도 8에서 보면, T0 시간대의 S0 시점에 있는 I0픽쳐가 앵커 픽쳐라면, 같은 시간대에 있는, 즉 T0 시간대의 다른 시점에 있는 모든 픽쳐들 또한 앵커 픽쳐가 된다. 또 다른 예로서, T8 시간대의 S0 시점에 있는 I0픽쳐가 앵커 픽쳐라면, 같은 시간대에 있는, 즉 T8 시간대의 다른 시점에 있는 모든 픽쳐들 또한 앵커 픽쳐가 된다. 마찬가지로, T16, …, T96, T100 에 있는 모든 픽쳐들이 앵커 픽쳐의 예가 된다. 앵커 픽쳐가 디코딩된 후, 차례로 코딩된 모든 픽쳐들은 앵커 픽쳐에 선행하여 디코딩된 픽쳐로부터 화면간 예측(inter-prediction)없이 디코딩된다. 따라서, 상기 앵커 픽쳐를 이용하기 위해서, 픽쳐의 시점을 나타내는 시점 식별자가 이용될 수 있다.

또한, 우리는 H.264/AVC 디코더와 호환성을 가지기 위한 적어도 하나의 시점 영상(view sequence)이 필요하다. 따라서, 빠른 랜덤 액세스를 위해 독립적으로 복호화가 가능한 시점들을 정의할 필요가 있는데, 이를 기준 시점(base views)이라 한다. 이러한 기준시점(base views)은 다시점(multi view) 중 부호화의 기준이 되며, 이는 참조 시점(reference view)에 해당된다. MVC(Multiview Video Coding)에서 기준 시점에 해당되는 영상은 종래 일반적인 영상 부호화 방식(MPEG-2, MPEG-4, H.263, H.264 등)에 의해 부호화되어 독립적인 비트스트림으로 형성하게 된다. 기준 시점에 해당되는 영상은 H.264/AVC와 호환될 수도 있고, 되지 않을 수도 있다. 하지만, H.264/AVC와 호환될 수 있는 시점의 영상은 항상 기준 시점이 된다. 따라서, 본 발명에서는 현재 픽쳐가 기준 시점에 포함되는지 여부를 식별하기 위한 플래그 정보를 정의할 필요가 있다. 예를 들어, 그 플래그를 "view_dependency_flag" 라 정의할 경우, view_dependency_flag = 0 이면, 현재 픽쳐 또는 현재 슬라이스가 기준 시점에 포함되는 것을 의미하며, view_dependency_flag ≠ 0 이면, 현재 픽쳐 또는 현재 슬라이스가 기준 시점에 포함되지 않는 것을 의미한다. 이처럼, view_dependency_flag를 추가함으로써, 수신된 비디오 신호를 복호화할 경우에 현재 픽쳐가 기준 시점에 해당되는지 여부를 판단할 수 있게 된다. 따라서, 상기 기준 시점에 해당되는 픽쳐들을 정의하기 위하여, 픽쳐의 시점을 나타내는 시점 식별자가 이용될 수 있다.

도 9는 본 발명을 적용한 MVC 디코딩부(50)를 나타낸다.

MVC 디코딩부(50)는 시점 레벨 정보부(View Level Information)(51), 조명 보상부(Illumination Compensation)(52), 가중치 예측부(Weighted Prediction)(53), 시점 예측 합성부(View Synthesize Prediction)(54), 깊이 정보 생성부(Depth Information)(55), 움직임 보상부(Motion Compensation)(56), DPB 관리부(Decoded Picture Buffer Management)(57), 디블록킹 필터부(Deblocking Filter)(58) 등을 포함한다.

시점 레벨 정보부(51)는 비디오 신호로부터 시점 확장성을 제공하기 위한 계층적인 구조에 대한 정보를 나타내는 레벨 정보를 획득하고, 획득된 레벨 정보에 기초하여 상기 비디오 신호를 디코딩한다. 다시점 비디오 영상에서는 사용자에게 다양한 시점의 영상을 제공하도록 하기 위해 시점에 대한 레벨을 정의해 줄 필요가 있다. 이처럼 시점에 대한 레벨을 정의할 경우, 시점에 대한 확장성(scalability)을 이용할 수 있게 된다. 따라서, 사용자는 원하는 시점의 영상만을 볼 수도 있고, 다른 제한 조건에 따른 영상만을 볼 수 있게 된다. 상기 레벨 정보는 그 기준 조건에 따라 다양한 방법으로 다르게 설정될 수 있다. 예를 들어, 카메라의 위치에 따라 다르게 설정될 수 있고, 카메라의 배열 형태에 따라 다르게 설정될 수 있다. 또 한, 상기 레벨 정보는 특별한 기준에 의하지 않고 임의로 설정될 수도 있다.

조명 보상부(52)는 MVC를 위한 조명 변화에 적응적인 움직임 보상을 수행한다. 따라서, 현재 프레임을 복원하기 위해서는 현재 블록의 평균 화소값과 그에 대응하는 참조 블록의 평균 화소값 사이의 차이값이 인코딩부(30)로부터 전송되어져야 한다. 여기서, 상기 현재 블록의 평균 화소값과 그에 대응하는 참조 블록의 평균 화소값과의 차이를 조명 보상 오프셋 값이라 한다. 그리고 앞서, 도 5의 인코딩부(30)에서 설명한 바와 같이 상기 조명 보상 오프셋 값을 전송함에 있어서, 코딩할 비트수를 더 감소시키기 위한 방법의 일례로, 상기 현재 블록과 상기 참조 블록의 이웃 블록들을 이용하여 상기 조명 보상 오프셋 값의 프리딕터를 획득하고, 상기 획득된 조명 보상 오프셋 값과 상기 프리딕터와의 차이값(residual)을 획득하여 그 차이값만 전송하였다. 따라서, 디코딩부(50)에서는 비디오 신호로부터 상기 참조 블록의 평균 화소값, 상기 현재 블록과 상기 참조 블록의 인덱스 정보, 상기 시점 식별자 등을 추출하고, 이를 이용하여 상기 프리딕터를 획득할 수 있다. 그리고, 상기 조명 보상 오프셋 값과 상기 프리딕터와의 차이값(residual)을 획득하고, 상기 차이값과 상기 프리딕터를 이용하여 상기 조명 보상 오프셋 값을 복원할 수 있다. 위와 같이 상기 프리딕터를 획득하는 과정을 수행할 때, 다른 시점의 픽쳐를 참조 픽쳐로 이용한 경우, 픽쳐의 시점을 나타내는 시점 식별자가 이용될 수 있다.

가중치 예측부(53)는 밝기가 시간적으로 변화하는 영상을 부호화할 때 영상의 화질이 크게 열화되는 현상을 보상하기 위해 이용된다. MVC에서는 시간적으로 밝기가 변화하는 영상뿐만 아니라 다른 시점에 있는 영상과의 밝기 차이를 보상하 기 위해 가중치 예측이 수행될 수 있다. 예를 들어, 가중치 예측 방법에는 명시적(explicit) 가중치 예측 방법과 묵시적(implicit) 가중치 예측 방법이 있다. 상기 명시적 가중치 예측 방법에는 한 장의 참조 픽쳐를 이용하는 경우 또는 두 장의 참조 픽쳐를 이용하는 경우가 있다. 한 장의 참조 픽쳐를 이용하는 경우에는 움직임 보상에 해당하는 예측 신호에 가중치 계수를 곱해서 예측 신호를 생성하고, 두 장의 참조 픽쳐를 이용하는 경우에는 움직임 보상에 해당하는 예측 신호에 가중치 계수를 곱한 값에 오프셋 값을 더하여 예측 신호를 생성한다. 묵시적 가중치 예측 방법은 참조 픽쳐로부터의 거리를 이용하여 가중치 예측을 수행한다. 상기 참조 픽쳐로부터의 거리를 구하는 방법으로는, 예를 들어, 픽쳐의 출력 순서를 나타내는 값인 POC(Picture Order Count)를 이용하는 경우가 있는데, 상기 POC는 각 픽쳐의 시점을 구분할 수 있도록 고려하여 만들어진 POC이다. 또는, 다른 시점에 있는 픽쳐에 대하여 가중치 계수를 획득할 때, 각 픽쳐의 시점 사이의 거리를 계산하기 위하여 픽쳐의 시점을 나타내는 시점 식별자가 이용될 수 있다.

시점 합성 예측부(54)는 현재 픽쳐의 시점에 이웃하는 시점에 있는 픽쳐들을 이용하여 새로운 시점의 픽쳐들을 합성하고, 합성된 새로운 시점의 픽쳐들을 이용하여 현재 픽쳐를 예측하기 위해 이용된다. 디코딩부(50)에서는 인코딩부(30)로부터 전송된 시점 간 합성 예측 식별자에 따라서 새로운 시점의 픽쳐를 합성할지 여부를 판단한다. 예를 들어, view_synthesize_pred_flag = 1 이거나, 또는 view_syn_pred_flag = 1 인 경우, 각각 새로운 시점의 슬라이스 또는 매크로블록을 합성하게 된다. 이 때, 상기 시점 간 합성 예측 식별자가 새로운 시점을 생성할 것 임을 알려주었을 때, 시점 식별자를 이용하여 새로운 시점을 생성할 수 있다. 또한, 상기 새로운 시점의 픽쳐를 합성하고 현재 픽쳐를 예측할 때, 상기 새로운 시점의 픽쳐를 참조 픽쳐로 이용하기 위해 픽쳐의 시점을 나타내는 시점 식별자가 이용될 수 있다.

깊이 정보(depth information) 생성부(55)는 MVC에 있어서 특정 어플리케이션을 위해서 또는 다른 목적을 위해서 깊이 정보를 이용할 수 있다. 예를 들어, MVC에 있어서, 시점 간의 예측을 통해서 변이 벡터를 획득할 수 있는데 상기 획득된 변이 벡터는 현재 블록의 변이 보상을 위해 디코더에 전송되어야 한다. 하지만, 깊이 맵을 구하여 이를 디코더에 전송하게 될 경우, 상기 변이 벡터를 디코더에 전송할 필요없이 상기 깊이 맵(depth map)(또는 변이 맵(disparity map))으로부터 상기 변이 벡터를 유추해낼 수 있다. 이러한 경우, 디코더에 전송되어져야 할 깊이 정보의 비트수를 감소시킬 수 있는 장점이 있다. 따라서, 상기 깊이 맵으로부터 변이 벡터를 유추함으로써 새로운 변이 보상하는 방법이 제공될 수 있다. 위와 같이 상기 깊이 맵으로부터 변이 벡터를 유추하는 과정에서 다른 시점의 픽쳐를 이용할 경우, 픽쳐의 시점을 나타내는 시점 식별자가 이용될 수 있다.

움직임 보상부(56)는 인코딩부(30)로부터 전송된 정보들을 이용하여 현재 블록의 움직임을 보상한다. 비디오 신호로부터 현재 블록에 이웃하는 블록들의 움직임 벡터를 추출하고, 상기 현재 블록의 움직임 벡터 프리딕터를 획득한다. 상기 획득된 움직임 벡터 프리딕터와 비디오 신호로부터 추출되는 차분 벡터를 이용하여 현재 블록의 움직임을 보상한다. 이 때 상기 움직임 벡터 프리딕터를 획득하는 과 정에서, 상기 현재 블록에 이웃하는 블록들이 참조하는 참조 픽쳐가 다른 시점의 픽쳐일 경우, 픽쳐의 시점을 나타내는 시점 식별자가 이용될 수 있다.

또한, 이러한 움직임 보상은 하나의 참조 픽쳐를 이용하여 수행될 수도 있고, 복수의 픽쳐를 이용하여 수행될 수도 있다. 따라서, 상기 참조 픽쳐들이 현재 시점과 다른 시점에 있는 픽쳐들인 경우에는 그 시점을 나타내는 시점 식별자를 이용하여 움직임 보상을 수행할 수 있다. 또한, 직접 예측 모드(direct mode)는 부호화가 끝난 블록의 움직임 정보로부터 현재 블록의 움직임 정보를 예측하는 부호화 모드이다. 이러한 방법은 움직임 정보를 부호화할 때 필요한 비트수가 절약되기 때문에 압축 효율이 향상된다. 예를 들어, 시간 직접 예측 모드(temporal direct mode)는 시간 방향의 움직임 정보 상관도를 이용하여 현재 블록의 움직임 정보를 예측하게 된다. 이 방법과 유사하게 본 발명에서는 시점 방향의 움직임 정보 상관도를 이용하여 현재 블록의 움직임 정보를 예측할 수 있다. 따라서, 직접 예측 모드를 이용하여 현재 블록의 움직임 정보를 예측하게 되는 경우, 시점 간의 거리를 구하기 위하여 픽쳐의 시점을 나타내는 시점 식별자가 이용될 수 있다.

DPB(Decoded Picture Buffer) 관리부(57)에서는 화면간 예측을 수행하기 위해서 이전에 코딩된 픽쳐들을 저장하거나 개방하는 역할 등을 수행한다. 이 때 DPB에 저장하거나 개방하기 위해서 각 픽쳐의 frame_num 과 POC(Picture Order Count)를 이용하게 된다. 따라서, MVC에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 픽쳐와 다른 시점에 있는 픽쳐들도 있으므로, 이러한 픽쳐들을 참조 픽쳐로서 활용하기 위해서는 상기 frame_num 과 POC 뿐만 아니라 픽쳐의 시점을 나타내는 시점 식별자도 함께 이용할 수 있다.

또한, 시점 식별자는 임의의 블록마다 어떤 픽쳐를 참조하고 있는지를 나타내는 참조 픽쳐 번호를 할당하기 위해서 사용될 수 있다. MVC에서는 복수의 참조 픽쳐들로부터 블록 단위로 임의의 픽쳐를 참조하는 화면간 예측이 가능하다. 여기서 블록마다 어떤 픽쳐를 참조하고 있는가를 표시할 필요가 있는데, 참조 픽쳐를 지정하기 위해 각 픽쳐에 할당된 식별번호를 참조 픽쳐 번호라고 한다. 이러한 참조 픽쳐 번호를 각 픽쳐마다 할당할 때 현재 픽쳐와 다른 시점에 있는 픽쳐가 참조 픽쳐가 될 수 있다. 따라서, 현재 픽쳐와 다른 시점에 있는 참조 픽쳐에 참조 픽쳐 번호를 할당하기 위해서 그 픽쳐의 시점을 나타내는 시점 식별자를 이용할 수 있다.

또한, 시점 식별자는 참조 픽쳐 리스트 초기화(reference picture list initialization)를 위해서 사용될 수 있다. 디코딩부(50)에서는 P 슬라이스 또는 B 슬라이스 내의 인터 매크로블록의 움직임 보상 예측에 사용하기 위해 이전에 코딩된 픽쳐들의 리스트를 참조 픽쳐 리스트 0(reference picture list0) 또는 참조 픽쳐 리스트 1(reference picture list 1)에 저장하여 사용한다. 상기 참조 픽쳐 리스트를 만들기 위해서 frame_num 과 POC 가 이용된다. MVC에 있어서 상기 참조 픽쳐가 현재 픽쳐와 다른 시점에 있는 참조 픽쳐인 경우에는 frame_num 과 POC 뿐만 아니라 픽쳐의 시점을 나타내는 시점 식별자를 이용할 수 있다.

또한, 시점 식별자는 참조 픽쳐 리스트 재배열(reference picture list reordering)을 위해서 사용될 수 있다. 참조 픽쳐를 지정하는 참조 픽쳐 번호는, 자주 참조되는 픽쳐에 작은 번호가 할당되고, 그 참조 픽쳐 번호가 작을수록 작은 비트수의 부호가 할당된다. 따라서, 이미 배열되어 있는 참조 픽쳐 리스트 중에서 자주 참조되는 픽쳐에 작은 번호가 할당되도록 상기 참조 픽쳐 리스트를 재배열할 필요가 있다. MVC에 있어서, 상기 참조 픽쳐 리스트에 현재 픽쳐와 다른 시점에 있는 참조 픽쳐가 존재하는 경우에는 상기 현재 픽쳐와 다른 시점에 있는 참조 픽쳐의 참조 픽쳐 번호를 재할당하기 위해서 픽쳐의 시점을 나타내는 시점 식별자를 이용할 수 있다.

디블록킹 필터부(58)는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 매크로블록에 적용된다. 디코딩부(50)에서는 매크로블록을 복원하고 디스플레이하기 전에 적용된다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 프레임의 화질을 향상시킨다. 필터링 과정의 선택은 경계 세기(boundary strenth)와 경계 주위의 이미지 샘플의 변화(gradient)에 의해 좌우된다. 상기 경계 세기는 블록의 에지(edge)마다 할당되는데, 이때 픽쳐의 시점을 나타내는 시점 식별자를 이용할 수 있다.

이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.

상기에서 살펴본 바와 같이, 본 발명은 여러 대의 카메라에서 취득된 다시점 영상을 디코딩/인코딩함에 있어서, 픽쳐의 시점을 나타내는 시점 식별자를 사용하여 시점 간 예측(inter-view prediction)을 수행함으로써 보다 효율적으로 디코딩/인코딩을 수행할 수 있게 된다. 또한, 시점 간 예측(inter-view prediction)을 수행할 때, 가상 시점의 픽쳐를 예측할지 여부를 판단함으로써 코딩 효율도 높일 수 있고, 가상 시점의 픽쳐를 예측하는 경우에는 보다 정확한 예측이 가능하여 전송할 비트수도 감소시킬 수 있다.

Claims

비디오 신호로부터 픽쳐의 시점을 나타내는 시점 식별자(view identifier)를 획득하는 단계;

상기 시점 식별자를 이용하여 현재 픽쳐와 다른 시점(view)에 있는 픽쳐의 정보를 획득하는 단계; 및

상기 다른 시점에 있는 픽쳐의 정보를 이용하여 상기 비디오 신호를 디코딩하는 단계

를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
제 1항에 있어서,

상기 시점 식별자는 상기 비디오 신호의 헤더 영역으로부터 획득되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
제 2항에 있어서,

상기 헤더 영역은 상기 비디오 신호의 NAL 헤더, 픽쳐 헤더, 슬라이스 헤더, 또는 매크로블록 헤더 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
제 1항에 있어서, 상기 시점 간 영상을 디코딩하는 단계는,

상기 다른 시점의 픽쳐에 대한 정보를 이용하여 움직임 보상을 수행하는 단계를 더 포함하되,

상기 다른 시점의 픽쳐에 대한 정보는, 움직임 벡터 정보와 참조 픽쳐 정보를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
제 1항에 있어서, 상기 시점 간 영상을 디코딩하는 단계는,

상기 다른 시점의 픽쳐에 대한 정보를 이용하여 조명 보상을 수행하는 단계를 더 포함하되,

상기 다른 시점의 픽쳐에 대한 정보는, 참조 픽쳐에 대한 정보를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
제 1항에 있어서, 상기 시점 간 영상을 디코딩하는 단계는,

상기 다른 시점의 픽쳐에 대한 정보를 이용하여 가중치 예측을 수행하는 단계를 더 포함하되,

상기 다른 시점의 픽쳐에 대한 정보는, 시점 간의 거리에 대한 정보를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
제 1항에 있어서, 상기 시점 간 영상을 디코딩하는 단계는,

상기 비디오 신호로부터, 현재 픽쳐에 이웃하는 시점의 픽쳐를 이용하여 가상 시점의 픽쳐를 획득할지 여부를 나타내는 시점 간 합성 예측 식별자를 추출하는 단계;

상기 시점 간 합성 예측 식별자에 따라 상기 가상 시점의 픽쳐를 획득하는 단계를 더 포함하되,

상기 가상 시점의 픽쳐를 획득할 때 상기 다른 시점의 픽쳐에 대한 정보를 이용하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
제 1항에 있어서, 상기 비디오 신호 디코딩 방법은,

상기 다른 시점의 픽쳐에 대한 정보를 이용하여 서로 다른 시점들 사이의 깊이(depth) 정보를 획득하는 단계를 더 포함하는 것을 특징으로 비디오 신호 디코딩 방법.
제 1항에 있어서, 상기 비디오 신호 디코딩 방법은,

상기 획득된 다른 시점의 픽쳐에 대한 정보를 관리하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
제 1항에 있어서, 상기 비디오 신호 디코딩 방법은,

상기 비디오 신호로부터, 재생하고자 하는 스케일러블한 영상을 나타내는 레벨 정보를 획득하는 단계를 더 포함하되,

상기 시점 식별자는 상기 레벨 정보에 기초하여 획득되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
비디오 신호로부터, 현재 픽쳐와 다른 시점(view)에 있는 픽쳐를 이용하여 가상 시점의 픽쳐를 획득할지 여부를 나타내는 시점 간 합성 예측 식별자를 추출하는 단계;

상기 시점 간 합성 예측 식별자에 따라 상기 가상 시점의 픽쳐를 획득하는 단계

를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
제 11항에 있어서, 상기 비디오 신호 디코딩 방법은,

비디오 신호로부터 상기 현재 픽쳐와 상기 가상 시점의 픽쳐와의 차이를 나타내는 오차값(residual)을 획득하는 단계;

상기 획득된 오차값과 상기 가상 시점의 픽쳐를 이용하여 현재 픽쳐를 복원하는 단계

를 더 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
제 7항 또는 제 11항에 있어서,

상기 시점 간 합성 예측 식별자는 헤더 영역으로부터 획득하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
제 13항에 있어서,

상기 헤더 영역은 상기 비디오 신호의 NAL 헤더, 픽쳐 헤더, 슬라이스 헤더, 또는 매크로블록 헤더 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
비디오 신호로부터 픽쳐의 시점(view)을 나타내는 시점 식별자를 획득하는 단계;

상기 시점 식별자를 이용하여 임의 시점의 영상을 랜덤 액세스하는 단계;

를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
다중 시점을 기반으로 하는 비디오 신호를 디코딩하는 비디오 신호 디코딩 방법에 있어서,

시점(view) 간 픽쳐를 구별하기 위한 식별자를 상기 비디오 신호로부터 독출하는 단계; 및

상기 식별자를 이용하여 상기 픽쳐를 디코딩하는 단계

를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
제 16항에 있어서,

상기 시점 식별자는 상기 비디오 신호의 헤더 영역으로부터 획득되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
제 17항에 있어서,

상기 헤더 영역은 상기 비디오 신호의 NAL 헤더, 픽쳐 헤더, 슬라이스 헤더, 또는 매크로블록 헤더 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
제 16항에 있어서, 상기 시점 간 영상을 디코딩하는 단계는,

상기 다른 시점의 픽쳐에 대한 정보를 이용하여 움직임 보상을 수행하는 단계를 더 포함하되,

상기 다른 시점의 픽쳐에 대한 정보는, 움직임 벡터 정보와 참조 픽쳐 정보를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
제 16항에 있어서, 상기 시점 간 영상을 디코딩하는 단계는,

상기 다른 시점의 픽쳐에 대한 정보를 이용하여 조명 보상을 수행하는 단계를 더 포함하되,

상기 다른 시점의 픽쳐에 대한 정보는, 참조 픽쳐에 대한 정보를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
제 16항에 있어서, 상기 시점 간 영상을 디코딩하는 단계는,

상기 다른 시점의 픽쳐에 대한 정보를 이용하여 가중치 예측을 수행하는 단계를 더 포함하되,

상기 다른 시점의 픽쳐에 대한 정보는, 시점 간의 거리에 대한 정보를 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
제 16항에 있어서, 상기 시점 간 영상을 디코딩하는 단계는,

상기 비디오 신호로부터, 현재 픽쳐에 이웃하는 시점의 픽쳐를 이용하여 가상 시점의 픽쳐를 획득할지 여부를 나타내는 시점 간 합성 예측 식별자를 추출하는 단계;

상기 시점 간 합성 예측 식별자에 따라 상기 가상 시점의 픽쳐를 획득하는 단계를 더 포함하되,

상기 가상 시점의 픽쳐를 획득할 때 상기 다른 시점의 픽쳐에 대한 정보를 이용하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
제 16항에 있어서, 상기 비디오 신호 디코딩 방법은,

상기 다른 시점의 픽쳐에 대한 정보를 이용하여 서로 다른 시점들 사이의 깊이(depth) 정보를 획득하는 단계를 더 포함하는 것을 특징으로 비디오 신호 디코딩 방법.
제 16항에 있어서, 상기 비디오 신호 디코딩 방법은,

상기 획득된 다른 시점의 픽쳐에 대한 정보를 관리하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
제 16항에 있어서, 상기 비디오 신호 디코딩 방법은,

상기 비디오 신호로부터, 재생하고자 하는 스케일러블한 영상을 나타내는 레벨 정보를 획득하는 단계를 더 포함하되,

상기 시점 식별자는 상기 레벨 정보에 기초하여 획득되는 것을 특징으로 하는 비디오 신호 디코딩 방법.