KR20080087616A - 다시점 영상의 부호화, 복호화 방법 및 장치 - Google Patents

Abstract

다시점 영상의 부호화, 복호화 방법 및 장치가 개시된다. 본 발명에 따른 영상 부호화 방법은, 다시점 영상들 사이의 시점 차이를 이용하여 어느 하나의 시점의 영상에서 획득된 영상 영역을 다른 시점의 영상에 부가하여 참조 픽처를 생성하고, 생성된 참조 픽처를 이용한 예측 부호화를 수행함으로써 예측 부호화 효율을 향상시킨다.

Description

다시점 영상의 부호화, 복호화 방법 및 장치{Method and apparatus for encoding and decoding multi-view image}

도 1은 다시점 영상의 예측 부호화를 설명하기 위한 참조도이다.

도 2는 종래 기술에 따른 참조 픽처의 확장 방식을 나타낸 도면이다.

도 3은 종래 기술에 따라 확장된 참조 픽처의 일 예를 나타낸 참조도이다.

도 4a 내지 도 4c는 본 발명에 따른 복수 개의 영상 획득 수단들의 일 구성예를 도시한 도면이다.

도 5는 카메라의 배열 위치에 따라서 각 카메라에서 획득되는 영상의 차이를 설명하기 위한 도면이다.

도 6은 본 발명에 따른 다시점 영상의 부호화 방법을 나타낸 플로우 차트이다.

도 7은 본 발명에 따른 다시점 영상의 부호화 방법에 따라서 부호화되는 다시점 영상 픽처들의 일 예를 나타낸 도면이다.

도 8은 본 발명에 따른 다시점 영상의 부호화 방법에 따라서 참조 픽처를 생성하는 일 예를 나타낸 도면이다.

도 9a 및 도 9b는 종래 기술과 본 발명에 따라서 생성된 참조 픽처를 비교한 도면이다.

도 10은 본 발명에 따른 다시점 영상의 부호화 장치를 나타낸 블록도이다.

도 11은 본 발명에 따른 다시점 영상의 복호화 방법을 나타낸 플로우 차트이다.

도 12는 본 발명에 따른 다시점 영상의 복호화 장치를 나타낸 블록도이다.

본 발명은 다시점 영상의 부호화, 복호화 방법 및 장치에 관한 것으로, 보다 상세하게는 다시점 영상들 사이의 시점 차이를 이용하여 어느 하나의 시점의 영상에서 획득된 영상 영역을 다른 시점의 영상에 부가하여 참조 픽처를 생성하고, 생성된 참조 픽처를 이용한 예측 부호화를 수행함으로써 예측 효율을 향상시키는 다시점 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치에 관한 것이다.

다시점 영상 부호화(multi-view coding)에서는 복수의 카메라로부터 입력되는 다시점 영상을 시간적 상관 관계(temporal correlation) 및 카메라들 사이(inter-view)의 공간적 상관 관계(spatial correlation)를 이용하여 압축 부호화한다.

시간적 상관 관계를 이용하는 시간 예측(temporal prediction) 및 공간적 상관 관계를 이용하는 시점간 예측(inter-view prediction)에서는 하나 이상의 참조 픽처를 이용하여 현재 픽처의 움직임을 블록 단위로 예측하고 보상하여 영상을 부호화한다. 즉, 다시점 영상 부호화에서는 다른 시점의 카메라로부터 얻어진 픽처 나 동일 시점의 픽처들 중 다른 시간에 입력된 픽처들을 참조 픽처로 결정하고 현재 블록과 가장 유사한 블록을 참조 픽처의 정해진 검색 범위에서 검색하며, 유사한 블록이 검색되면 현재 블록과 유사한 블록 사이의 차분 데이터만 전송함으로써 데이터의 압축률을 높인다.

도 1은 다시점 영상의 예측 부호화를 설명하기 위한 참조도이다.

도 1에서 x축은 시간축이고, y축은 시점축이다. x축의 T0 내지 T8은 각각 영상의 샘플링 시간을 나타내며, y축의 S0 내지 S8은 각각 서로 다른 시점을 나타낸 것이다. 도 1에서 각각의 행은 동일한 시점에서 입력된 영상 픽처 그룹을 나타내며, 각각의 열은 동일한 시간에서의 다시점 영상들을 나타낸다.

다시점 영상의 부호화에서는 기본 시점의 영상에 대하여 주기적으로 인트라 픽처를 생성하고, 생성된 인트라 픽처들을 기초로 시간적 예측 또는 시점간 예측을 수행하여 다른 픽처들을 예측 부호화한다.

시간적 예측이란 동일한 시점(view) 즉, 도 1에서 동일한 행에 있는 영상 사이에 시간적인 상관 관계를 이용하는 예측이다. 시간적 예측을 위해서 계층적 B 픽처를 이용한 예측 구조가 이용될 수 있다. 시점간 예측은 같은 시간 즉, 동일한 열에 있는 영상 사이에 공간적인 상관 관계를 이용하는 예측이다.

계층적 B 픽처를 이용한 다시점 영상 픽처의 예측 구조는 동일한 시점, 즉 동일한 행에 있는 영상 사이에 존재하는 시간적인 상관 관계를 이용한 예측을 수행할 때, 동일 시점의 영상 픽처 그룹을 앵커(Anchor) 픽처들을 이용하여 양방향 픽처(Bi-directional Picture, 이하 "B 픽처"라고 함)로 예측 부호화하는 것이다. 여기서, 앵커 픽처는 도 1에 도시된 열들 중에서 인트라 픽처를 포함하고 있는 처음(T0)과 마지막 시간(T8)에서의 열들(110 및 120)에 포함되어 있는 픽처들을 의미한다. 앵커 픽처들(110 및 120)은 인트라 픽처(Intra picture, 이하 "I 픽처"라고 함)를 제외하고 시점간 예측만을 이용해 예측 부호화된다. 인트라 픽처를 포함하고 있는 열들(110 및 120)을 제외한 나머지 열들(130)에 포함되어 있는 픽처들은 비앵커 픽처들(non-anchor pictures)이라고 한다.

일 예로서, 첫 번째 시점(S0)에서 소정의 시간 동안 입력된 영상 픽처들을 계층적 B 픽처를 이용하여 부호화하는 경우를 설명한다. 첫 번째 시점(S0)에서 입력된 영상 픽처들 중 처음 시간(T0)에 입력된 픽처(111) 및 마지막 시간(T8)에 입력된 픽처(121)는 I 픽처로 부호화된다. 다음, T4 시간에 입력된 픽처(131)은 앵커 픽처들인 I 픽처들(111,121)을 참조하여 양방향 예측 부호화되어 B 픽처로 부호화된다. T2 시간에 입력된 픽처(132)는 I 픽처(111) 및 B 픽처(131)을 이용하여 양방향 예측 부호화되어 B 픽처로 부호화된다. 유사하게 T1 시간에 입력된 픽처(133)는 I 픽처(111) 및 B 픽처(132)를 이용하여 양방향 예측 부호화되고, T3 시간에 입력된 픽처(134)는 B 픽처(132) 및 B 픽처(131)을 이용하여 양방향 예측 부호화된다. 이와 같이, 동일 시점의 영상 시퀀스들은 앵커 픽처들을 이용하여 계층적으로 양방향 예측 부호화되기 때문에 이러한 예측 부호화 방식을 계층적 B 픽처라고 부르는 것이다. 한편, 도 1에 도시된 Bn(n=1,2,3,4)에서 n은 n번째 양방향 예측된 B 픽처를 나타내는 것으로, 예를 들어 B1은 I 픽처 또는 P 픽처인 앵커 픽처들을 이용하여 첫 번째로 양방향 예측된 픽처임을 나타내는 것이며, B2는 B1 픽 처 이후에 양방향 예측된 픽처임을 나타내는 것이며, B3는 B2 픽처 이후에 양방향 예측된 픽처임을 나타내는 것이며, B4는 B3 픽처 이후에 양방향 예측된 픽처임을 나타낸다.

다시점 영상 시퀀스의 부호화시에는 먼저 기본 시점인 첫 번째 시점(S0)의 영상 픽처 그룹들을 전술한 계층적 B 픽처를 이용하여 부호화한다. 나머지 시점의 영상 시퀀스들을 부호화하기 위하여 먼저 첫 번째 시점(S0)의 I 픽처들(111,121)을 이용한 시점간 예측을 통해 앵커 픽처들(110, 120)에 구비된 홀수 번째 시점(S2,S4,S6) 및 마지막 시점(S7)의 영상 픽처들을 P 픽처들로 예측 부호화한다. 앵커 픽처들(110,120)에 구비된 짝수 번째 시점(S1, S3, S5)의 영상 픽처들은 시점간 예측을 통해 인접한 시점의 영상 픽처를 이용하여 양방향 예측되어 B 픽처로 부호화된다. 예를 들어, T0 시간에 두 번째 시점(S1)에서 입력된 B 픽처(113)는 인접한 시점(S0,S2)의 I 픽처(111) 및 P 픽처(112)를 이용하여 양방향 예측된다.

앵커 픽처들(110,120)에 구비된 모든 시점의 영상 픽처들이 IBP 중 어느 하나의 픽처로 부호화되면, 비앵커 픽처들(130)은 전술한 바와 같이 계층적 B 픽처를 이용한 시간적 예측 및 시점간 예측을 통하여 양방향 예측 부호화된다.

비앵커 픽처들(130) 중 홀수 번째 시점(S2,S4,S6) 및 마지막 시점(S7)의 영상 픽처들은 계층적 B 픽처를 이용한 시간적 예측을 통해 동일 시점의 앵커 픽처들을 이용하여 양방향 예측 부호화된다. 비앵커 픽처들(130) 중 짝수 번째 시점(S1,S3,S5,S7)의 픽처들은 계층적 B 픽처를 이용한 시간적 예측 뿐만 아니라, 인접한 시점의 픽처들을 이용한 시점간 예측을 통해 양방향 예측된다. 예를 들어, T4 시간에 두 번째 시점(S2)에서 입력된 픽처(136)는 앵커 픽처들(113,123) 및 인접한 시점의 픽처들(131,135)를 이용하여 예측된다.

앵커 픽처들(110,120)에 구비된 P 픽처들은 전술한 바와 같이 동일 시간에 입력된 다른 시점의 I 픽처 또는 이전의 P 픽처를 이용하여 예측 부호화된다. 예를 들어, T8 시간에 세 번째 시점(S2)에서 입력된 P 픽처(122)는 동일 시간의 첫 번째 시점(S0)에서 입력된 I 픽처(121)을 참조 픽처로서 이용하여 예측 부호화된다.

일반적으로 움직임 예측은 부호화되는 현재 블록과 동일한 위치의 참조 픽처의 위치를 중심으로 소정 영역 내에서 수행된다. 이 때, 부호화되는 현재 블록이 참조 픽처의 가장 자리에 위치한 블록인 경우에는 움직임 예측을 위해서는 참조 픽처를 확대할 필요가 있다. 종래 기술에 따르면, 참조 픽처의 가장자리에 위치한 픽셀들을 바깥으로 확장하는 방식(extrapolation)을 통해 참조 픽처를 확장하여 움직임 예측을 수행한다.

도 2는 종래 기술에 따른 참조 픽처의 확장 방식을 나타낸 도면이며, 도 3은 종래 기술에 따라 확장된 참조 픽처의 일 예를 나타낸 참조도이다.

도 2를 참조하면, 도면 부호 210을 원 참조 픽처라고 할 때 원 참조 픽처의 가장 자리에 위치한 픽셀들 각각을 바깥쪽으로 확장하여 원 참조 픽처를 확장한다. 예를 들어, 위쪽 가장자리에 위치한 a라는 픽셀값을 갖는 픽셀(211)을 중심으로 그 위쪽의 소정 범위의 픽셀들을 모두 a라는 픽셀값을 갖도록 함으로써 원 참조 픽처(210)을 위쪽 방향으로 확대한다. 유사하게 b,c,d라는 픽셀값을 갖는 각 픽셀 들(212,213,214)을 각각 오른쪽, 아래쪽, 왼쪽으로 소정 범위만큼 확장함으로써 원 참조 픽처를 확대할 수 있다. 도 3을 참조하면, 원영상 프레임(310)의 가장자리의 픽셀들을 확장하여 생성된 패딩된 영상 프레임(320)을 확인할 수 있다. 이와 같이 종래 기술에 따르면 참조 픽처의 생성시 원 참조 픽처의 가장자리의 픽셀들을 바깥쪽으로 확대하여 참조 픽처를 생성한다.

그러나, 제한된 대역폭의 한계를 극복하고 영상의 예측 효율을 향상시키기 위하여, 다시점 영상의 특성을 고려하여 참조 픽처를 좀 더 효율적으로 생성할 수 있는 방안이 필요하다.

본 발명이 이루고자 하는 기술적 과제는 다시점 영상 사이의 영상 특성을 고려하여 다른 픽처의 예측 부호화에 이용되는 참조 픽처가 부호화되는 픽처와 보다 유사할 수 있도록 참조 픽처를 생성함으로써 영상의 예측 효율을 높이고, 전체 영상 시퀀스에 대한 부호화 효율을 향상시키는 다시점 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치를 제공하는 것이다.

상기 기술적 과제를 해결하기 위하여 본 발명에 따른 다시점 영상의 부호화 방법은 서로 다른 시점(view)을 갖는 복수 개의 영상 획득 수단들을 통해 소정 시간동안 입력된 다시점 영상 픽처들 중 소정의 제 1 시간에 입력된 제 1 시점의 픽처와 제 2 시점의 픽처 사이의 차이에 기초하여, 상기 제 1 시점의 픽처에 포함되지 않으며 상기 제 2 시점의 픽처에는 포함되는 상기 제 2 시점의 픽처의 신규 영 역을 결정하는 단계; 상기 신규 영역을 소정의 제 2 시간에 입력된 제 1 시점의 픽처에 부가하여 참조 픽처를 생성하는 단계; 및 상기 참조 픽처를 이용하여 상기 소정의 제 2 시간에 입력된 제 2 시점의 픽처를 부호화하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 다시점 영상의 부호화 장치는 서로 다른 시점(view)을 갖는 복수 개의 영상 획득부; 상기 영상 획득부들을 통해 소정 시간동안 입력된 다시점 영상 픽처들 중 소정의 제 1 시간에 입력된 제 1 시점의 픽처와 제 2 시점의 픽처 사이의 차이에 기초하여, 상기 제 1 시점의 픽처에 포함되지 않으며 상기 제 2 시점의 픽처에는 포함되는 상기 제 2 시점의 픽처의 신규 영역을 결정하는 신규 영역 결정부; 상기 신규 획득 영역을 소정의 제 2 시간에 입력된 제 1 시점의 픽처에 부가하여 참조 픽처를 생성하는 참조 픽처 생성부; 및 상기 참조 픽처를 이용하여 상기 소정의 제 2 시간에 입력된 제 2 시점의 픽처를 부호화하는 부호화부를 포함하는 것을 특징으로 한다.

본 발명에 따른 다시점 영상의 복호화 방법은 비트스트림에 구비된 서로 다른 시점(view)의 부호화된 다시점 영상 픽처들 중 이전에 복호화된 제 1 시간의 제 1 시점의 픽처와 제 2 시점의 픽처 사이의 차이에 기초하여, 상기 제 1 시점의 픽처에 포함되지 않으며 상기 제 2 시점의 픽처에는 포함되는 상기 제 2 시점의 픽처의 신규 영역을 결정하는 단계; 상기 신규 영역을 복호화된 제 2 시간의 제 1 시점의 픽처에 부가하여 참조 픽처를 생성하는 단계; 및 상기 참조 픽처를 이용하여 상기 제 2 시간의 제 2 시점의 픽처를 복호화하는 단계를 포함하는 것을 특징으로 한 다.

본 발명에 따른 다시점 영상의 복호화 장치는 비트스트림에 구비된 서로 다른 시점(view)의 부호화된 다시점 영상 픽처들 중 이전에 복호화된 제 1 시간의 제 1 시점의 픽처와 제 2 시점의 픽처 사이의 차이에 기초하여, 상기 제 1 시점의 픽처에 포함되지 않으며 상기 제 2 시점의 픽처에는 포함되는 상기 제 2 시점의 픽처의 신규 영역을 결정하는 신규 영역 결정부; 상기 신규 영역을 복호화된 제 2 시간의 제 1 시점의 픽처에 부가하여 참조 픽처를 생성하는 참조 픽처 생성부; 및 상기 참조 픽처를 이용하여 상기 제 2 시간의 제 2 시점의 픽처를 복호화하는 복호화부를 포함하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.

본 발명에 따른 다시점 영상 부호화 방법은 서로 다른 시점(view)을 갖는 복수 개의 영상 획득 수단들을 통해 소정 시간 동안 입력된 다시점 영상 픽처들 중 어느 하나의 시점의 픽처에 포함되지 않은 영역을 다른 시점의 픽처에 부가하여 참조 픽처를 생성하고, 생성된 참조 픽처를 이용하여 예측 부호화를 수행함으로써 영상의 예측 효율을 향상시키는 것을 특징으로 한다.

도 4a 내지 도 4c는 본 발명에 따른 복수 개의 영상 획득 수단들의 일 구성예를 도시한 도면이다. 도 4a 내지 4c는 각각 평행(parallel) 구조(410), 수렴(convergent) 구조(420), 발산(divergent) 구조(430)로 복수 개의 카메라들이 배치된 경우를 도시하고 있다. 카메라의 배치 및 개수는 변경 가능하다.

도 5는 카메라의 배열 위치에 따라서 각 카메라에서 획득되는 영상의 차이를 설명하기 위한 도면이다.

다시점 영상에서 카메라의 배열 위치에 따라서 어느 하나의 카메라에서 보이지 않는 영역이 다른 카메라에서는 보일 수 있다. 도 5를 참조하면, 제 1 시점을 갖는 제 1 카메라(510)에 의하여 획득되는 영상을 a라 하고, 제 2 시점을 갖는 제 2 카메라(520)에 의하여 획득되는 영상을 b라고 하면, 제 2 카메라(520)는 제 1 카메라(510)에 의하여 획득되지 못한 신규 영역(530)을 획득할 수 있다. 일반적으로 영상 시퀀스에서 화면 내의 물체의 움직임으로 인해 사라지거나 나타나는 영역이 발생되며 이러한 영역을 배제 영역(occlusion region)이라고 정의한다. 다시점 영상 특성상 어느 하나의 시점의 영상에서 획득되지 못한 배제 영역은 다른 시점의 영상에서 획득될 수 있으며, 본원 발명은 이러한 사실을 고려하여 부호화되는 픽처와 보다 유사한 참조 픽처를 생성함으로써 영상의 예측 부호화 효율을 향상시키는 것이다.

도 6은 본 발명에 따른 다시점 영상의 부호화 방법을 나타낸 플로우 차트이다.

도 6을 참조하면, 단계 610에서 서로 다른 시점(view)을 갖는 복수 개의 영상 획득 수단들을 통해 소정 시간 동안 입력된 다시점 영상 픽처들 중 소정의 제 1 시간에 입력된 제 1 시점의 픽처와 제 2 시점의 픽처 사이의 차이에 기초하여, 제 1 시점의 픽처에 포함되지 않지만 제 2 시점의 픽처에는 포함되는 제 2 시점의 픽처의 신규 영역을 결정한다. 여기서, 제 1 시간은 다시점 영상들 중 최초로 부호 화되는 인트라 픽처를 포함하고 있는 앵커 픽처가 입력되는 시간을 나타낸다. 일반적으로 제 1 시간은 다시점 영상들이 최초로 입력되는 시간을 나타낸다. 일 예로, 도 1에 도시된 첫 번째 시점(S0)에서 최초로 입력되는 I 픽처(111)와 같이, 다른 다시점 영상의 예측 부호화에 영향을 미치는 IDR 픽처가 입력되는 시간이 제 1 시간에 해당한다.

본 발명에 있어서 제 1 시점은 제 1 시간에 입력된 앵커 픽처들 중 I 픽처나 P 픽처로 부호화되는 영상이 입력되는 시점을 나타내며, 제 2 시점은 제 2 시간에 입력된 앵커 픽처들 중 P 픽처로 부호화되는 영상이 입력되는 시점을 나타낸다. 예를 들어, 도 1에서 S0, S2, S4, S6 중 어느 하나가 제 1 시점에 해당되며, S2, S4, S6, S7 중 어느 하나가 제 2 시점에 해당된다.

전술한 바와 같이, 다시점 영상에서 카메라의 배열 위치에 따라서 어느 하나의 카메라에서 보이지 않는 영역이 다른 카메라에서는 보일 수 있다. 다시 도 5를 참조하면, 제 1 시점의 제 1 카메라(510)와 제 2 시점의 제 2 카메라(520)의 배열 위치에 따른 시점 차이를 고려하여 제 2 시점의 제 2 카메라(520)에서 획득된 b 픽처에는 포함되지만 제 1 시점의 제 1 카메라(510)에서 획득된 a 픽처에는 포함되지 않는 b 픽처의 신규 영역(530)을 결정할 수 있다.

단계 620에서 신규 영역을 제 2 시간에 입력된 제 1 시점의 픽처에 부가하여 참조 픽처를 생성한다. 여기서, 제 2 시간은 제 1 시간 이후에 입력된 다시점 영상들 중 인트라 픽처를 포함하고 있는 앵커 픽처가 입력되는 시간을 나타낸다. 일 예로 도 1에 도시된 T8 시간이 제 2 시간에 해당한다. 제 2 시간에 입력된 제 1 시점의 픽처는 제 2 시간에 입력된 제 2 시점의 픽처의 예측 부호화에 이용되는 참조 픽처에 해당된다. 따라서, 본 발명에 따르면 현재 부호화되는 제 2 시점의 앵커 픽처와 동일한 시점을 갖는 이전 앵커 픽처의 신규 영역을 현재 부호화되는 제 2 시점의 앵커 픽처가 참조하는 제 1 시점의 앵커 픽처에 부가하여 새로운 참조 픽처를 생성하는 것이다..

단계 630에서 참조 픽처를 이용하여 소정의 제 2 시간에 입력된 제 2 시점의 픽처를 예측 부호화한다. 즉, 단계 620에서 제 2 시간에 입력된 제 2 시점의 픽처가 참조하는 참조 픽처를 새롭게 생성되면, 생성된 참조 픽처를 이용하여 움직임 예측을 수행하여 제 2 시간에 입력된 제 2 시점의 픽처를 예측 부호화한다.

도 7은 본 발명에 따른 다시점 영상의 부호화 방법에 따라서 부호화되는 다시점 영상 픽처들의 일 예를 나타낸 도면이다.

도 7에서 x축은 시간축이고, y축은 시점축이다. x축의 T0 내지 T8은 각각 영상이 획득되는 샘플링 시간을 나타내며, y축의 S0 내지 S8은 각각 서로 다른 시점을 나타낸 것이다. 도 7에서 각각의 행은 동일한 시점에서 입력된 영상 픽처 그룹을 나타내며, 각각의 열은 동일한 시간에서의 다시점 영상들을 나타낸다.

본 발명에 따른 다시점 영상 부호화 방법에서는 전술한 도 1에서 설명한 바와 같이, 계층적 B 픽처 구조의 시간적 예측 및 시점간 예측을 수행하여 다른 픽처들을 예측 부호화한다. 특히 본 발명에 따른 다시점 영상 부호화 방법은 제 2 시간에 해당하는 T8 시간에 입력된 제 2 앵커 픽처들(720)에 구비된 P 픽처들을 예측 부호화할 때, 제 1 시간(T0)에 입력된 제 1 앵커 픽처들(710) 중 현재 부호화되는 P 픽처와 동일 시점의 픽처에는 포함되지만 이전에 부호화된 다른 시점의 픽처에는 포함되지 않은 신규 영역을 결정하고, 신규 영역을 참조 픽처에 부가하여 새로운 참조 픽처를 생성하는 것을 특징으로 한다. 본 발명에 따른 다시점 영상 부호화 방법은 종래 기술에 따른 다시점 영상 부호화 방법에 추가하여 새로운 참조 픽처를 생성한다는 점을 제외하고는 종래 다시점 영상 부호화 방식을 그대로 적용할 수 있다.

구체적으로, 도 7에서 도면 부호 722로 나타낸 P 픽처를 현재 부호화되는 픽처라고 가정하면, P 픽처(722)는 동일 시간에 입력된 제 1 시점(S0)의 I 픽처(720)을 참조 픽처로서 이용하여 예측 부호화된다. 이때, 본 발명에 따르면 I 픽처(720)을 그대로 참조 픽처로 이용하는 것이 아니라, T0 시간에 P 픽처(722)와 동일 시점(S2)에서 입력된 P 픽처(712)에는 포함되지만, P 픽처(712) 이전에 부호화되는 I 픽처(711)에는 포함되지 않는 P 픽처(712)의 신규 영역을 결정하고, P 픽처(712)의 신규 영역을 현재 부호화되는 P 픽처(722)가 참조하는 I 픽처(721)에 부가하여 새로운 참조 픽처를 생성한 다음, 생성된 참조 픽처를 이용하여 P 픽처(722)를 부호화한다.

유사하게, 도면 부호 723으로 나타낸 P 픽처를 현재 부호화되는 픽처라고 가정하면, P 픽처(723)는 동일 시간에 입력된 제 3 시점(S2)의 P 픽처(722)을 참조 픽처로서 이용하여 예측 부호화된다. 이때, T0 시간에 P 픽처(723)와 동일 시점(S4)에서 입력된 P 픽처(713)에는 포함되지만, P 픽처(713) 이전에 부호화되는 P 픽처(712)에는 포함되지 않는 P 픽처(713)의 신규 영역을 결정하고, P 픽처(713)의 신규 영역을 현재 부호화되는 P 픽처(723)가 참조하는 P 픽처(722)에 부가하여 새로운 참조 픽처를 생성하고, 생성된 참조 픽처를 이용하여 P 픽처(723)를 부호화한다.

한편, 본 발명에 따라서 이전 앵커 픽처를 참조 픽처에 부가하여 새로운 참조 픽처를 부가하는 것은 앵커 픽처들 중 P 픽처를 예측 부호화할 때에만 적용되는 것이 바람직하다. 이는 앵커 픽처들 중 B 픽처의 경우 시점간 예측을 통해 동일 시간에 입력된 다른 2개의 시점의 픽처를 참조하여 양방향 예측될 수 있기 때문이다. 다시 말해서, P 픽처의 경우는 하나의 참조 픽처만을 이용하여 예측 부호화하기 때문에, 참조 픽처에 배제 영역(occulusion region)이 존재할 가능성이 크지만, B 픽처의 경우는 두 개의 참조 픽처를 이용하므로 어느 하나의 참조 픽처에서 나타나지 않은 영역이 다른 참조 픽처에서는 나타날 수 있기 때문이다.

도 8은 본 발명에 따른 다시점 영상의 부호화 방법에 따라서 참조 픽처를 생성하는 일 예를 나타낸 도면이다.

도 8에서 도면 부호 810은 제 1 시간에 해당하는 T0 시간에 제 1 시점(S0)에서 입력된 픽처를 나타내며, 도 7의 I 픽처(711)에 대응된다. 도면 부호 820은 T0 시간에 제 3 시점(S2)에서 입력된 픽처를 나타내며, 도 7의 P 픽처(712)에 대응된다. 도면 부호 830은 T0 시간에 제 5 시점(S4)에 입력된 픽처를 나타내며, 도 7의 I 픽처(713)에 대응된다. 도면 부호 840은 제 2 시간에 해당하는 T8 시간에 제 1 시점(S0)에서 입력된 픽처를 나타내며, 도 7의 I 픽처(721)에 대응된다. 도면 부호 850은 T8 시간에 제 3 시점(S2)에 입력된 픽처를 나타내며, 도 7의 P 픽처(722) 에 대응된다. 도면 부호 860은 T8 시간에 제 5 시점(S4)에 입력된 픽처를 나타내며, 도 7의 P 픽처(723)에 대응된다.

도 7 및 도 8을 참조하면, T8 시간에 제 3 시점(S2)에서 입력된 P 픽처(850)는 동일 시간에 입력된 제 1 시점(S0)의 I 픽처(840)을 참조 픽처로서 이용하여 예측 부호화된다. 이 경우, 본 발명에 따르면 T0 시간에 P 픽처(850)와 동일 시점(S2)에서 입력된 P 픽처(820)에는 포함되지만, P 픽처(820) 이전에 부호화되는 I 픽처(810)에는 포함되지 않는 P 픽처(820)의 신규 영역(822)를 결정하고, P 픽처(820)의 신규 영역(822)을 현재 부호화되는 P 픽처(850)가 참조하는 I 픽처(840)에 부가하여 새로운 참조 픽처를 생성한 다음, 생성된 참조 픽처를 이용하여 P 픽처(850)를 부호화한다. 즉, 도 8에서 원래의 I 픽처(840)에 이전 P 픽처(820)의 신규 영역(822)을 부가한 픽처를 참조 픽처로서 이용하여 P 픽처(850)를 예측 부호화한다.

유사하게, T8 시간에 제 5 시점(S4)에서 입력된 P 픽처(860)는 동일 시간에 입력된 제 3 시점(S2)의 P 픽처(850)을 참조 픽처로서 이용하여 예측 부호화된다. 이 경우, 본 발명에 따르면 T0 시간에 P 픽처(860)와 동일 시점(S4)에서 입력된 P 픽처(830)에는 포함되지만, P 픽처(830) 이전에 부호화되는 P 픽처(820)에는 포함되지 않는 P 픽처(830)의 신규 영역(833)를 결정하고, P 픽처(830)의 신규 영역(833)을 현재 부호화되는 P 픽처(860)가 참조하는 P 픽처(850)에 부가하여 새로운 참조 픽처를 생성한 다음, 생성된 참조 픽처를 이용하여 P 픽처(860)를 부호화한다. 미설명된 도면부호 811, 821 및 831은 각각 I 픽처(810), P 픽처(820) 및 P 픽처(830)에서 공통적으로 커버되는 영상 영역을 가리킨다.

도 9a 및 도 9b는 종래 기술과 본 발명에 따라서 생성된 참조 픽처를 비교한 도면이다. 도 9a는 종래 기술에 따라서 참조 픽처의 가장 자리를 확장하여 생성된 참조 픽처를 나타내며, 도 9b는 본 발명에 따라서 이전 앵커 픽처의 신규 영역을 참조 픽처에 부가함으로써 새롭게 생성된 참조 픽처를 나타낸다.

도 9a 및 도 9b를 참조하면, 종래 기술에 따라 확장된 참조 픽처(910)의 오른쪽 확장 영역(911)과 본 발명에 따라 생성된 참조 픽처(920)의 오른쪽 확장 영역(921)을 비교하면, 종래 기술에 따른 확장 영역(911)은 단순히 가장 자리의 픽셀들을 확장한 것에 불과하여, 이러한 부분을 참조하여 부호화되는 픽처의 예측 효율이 떨어질 수 있다. 그러나, 본 발명의 경우에는 원 참조 픽처에서 획득되지 않은 영상 영역을 다른 픽처로부터 획득하여 부가함으로써 보다 정밀한 참조 픽처를 생성할 수 있으므로, 이러한 부가된 영역을 참조하여 부호화되는 픽처들의 예측 효율 역시 향상된다.

도 10은 본 발명에 따른 다시점 영상의 부호화 장치를 나타낸 블록도이다.

도 10을 참조하면, 본 발명에 따른 다시점 영상 부호화 장치(1000)는 영상 획득부(1010), 프레임 메모리(1020), 신규 영역 결정부(1030), 참조 픽처 생성부(1040) 및 부호화부(1050)를 포함한다.

영상 획득부(1010)는 서로 다른 시점을 갖는 카메라 등의 영상 획득 장치로 구성되며, 일 예로 전술한 도 4a 내지 4b에 도시된 바와 같이 구성될 수 있다.

프레임 메모리(1020)는 영상 획득부(1010)에서 입력되는 다시점 영상들의 픽 처 및 이전에 부호화된 후 복원된 픽처들을 저장한다.

신규 영역 결정부(1030)는 영상 획득부(1010)를 통해 소정 시간동안 입력된 다시점 영상 픽처들 중 소정의 제 1 시간에 입력된 제 1 시점의 픽처와 제 2 시점의 픽처 사이의 차이에 기초하여, 제 1 시점의 픽처에 포함되지 않으며 상기 제 2 시점의 픽처에는 포함되는 제 2 시점의 픽처의 신규 영역을 결정한다. 전술한 바와 같이, 제 1 시간은 다시점 영상 픽처들 중 중 최초의 인트라 픽처를 포함하는 앵커 픽처가 입력된 시간을 나타낸다.

참조 픽처 생성부(1040)는 신규 획득 영역을 소정의 제 2 시간에 입력된 제 1 시점의 픽처에 부가하여 참조 픽처를 생성한다. 제 2 시간에 입력된 제 1 시점의 픽처는 제 2 시간에 입력된 제 2 시점의 픽처의 예측 부호화에 이용되는 참조 픽처를 나타낸다. 전술한 바와 같이, 본 발명은 특히 제 2 시간에 입력된 제 2 앵커 픽처들 중 P 픽처들을 예측 부호화하는데 적용될 수 있다.

부호화부(1050)는 참조 픽처를 이용하여 제 2 시간에 입력된 제 2 시점의 픽처를 예측 부호화하는 것으로, 예측부(1051), 감산부(1052), 변환/양자화부(1053), 엔트로피 부호화부(1054), 역변환/역양자화부(1055) 및 가산부(1056)를 포함한다.

예측부(1051)는 현재 부호화되는 픽처를 소정 크기의 블록들로 분할하고, 각 블록에 대하여 인트라 예측 및 움직임 예측을 통해 예측 블록을 생성한다. 특히, 본 발명에 따르면 도 7에 도시된 제 2 앵커 픽처들(720)에 구비된 P 픽처에 대한 움직임 예측을 수행할 때 전술한 바에 따라 새롭게 생성된 참조 픽처를 이용하여 움직임 예측을 수행한다.

인트라 예측 또는 움직임 예측을 통해 현재 픽처의 예측값이 생성되면, 감산부(1051)는 현재 픽처와 예측값을 빼서 차분값을 계산하고, 변환/양자화부(1053)는 차분값을 변환 및 양자화하며, 엔트로피 부호화부(1054)는 변환 및 양자화된 차분값을 엔트로피 부호화하여 비트스트림을 생성한다.

역변환/역양자화부(1055)는 변환 및 양자화된 차분값을 복원하며, 가산부(1056)는 복원된 차분값과 예측값을 다시 더하여 현재 픽처를 복원하여 프레임 메모리(1020)에 저장한다. 프레임 메모리(1020)에 저장된 픽처는 다음 픽처의 예측 부호화에 이용된다.

도 11은 본 발명에 따른 다시점 영상의 복호화 방법을 나타낸 플로우 차트이다.

단계 1110에서, 비트스트림에 구비된 서로 다른 시점(view)의 부호화된 다시점 영상 픽처들 중 이전에 복호화된 제 1 시간의 제 1 시점의 픽처와 제 2 시점의 픽처 사이의 차이에 기초하여, 제 1 시점의 픽처에 포함되지 않으며 제 2 시점의 픽처에는 포함되는 제 2 시점의 픽처의 신규 영역을 결정한다.

단계 1120에서, 신규 영역을 이전에 복호화된 제 2 시간의 제 1 시점의 픽처에 부가하여 참조 픽처를 생성한다. 특히, 본 발명에 따르면 도 7에 도시된 제 2 앵커 픽처들(720) 중 P 픽처에 대한 복호화를 수행할 때, 동일 시점의 이전 앵커 픽처에만 포함된 신규 영역을 참조 픽처에 부가함으로써 새로운 참조 픽처를 생성한다.

단계 1130에서, 생성된 참조 픽처를 이용하여 제 2 시간의 제 2 시점의 픽처 를 복호화한다.

도 12는 본 발명에 따른 다시점 영상의 복호화 장치를 나타낸 블록도이다.

도 12를 참조하면, 본 발명에 따른 다시점 영상의 복호화 장치(1200)는 프레임 메모리(1210), 신규영역 결정부(1220), 참조 픽처 생성부(1230), 예측부(1240) 및 복호화부(1250)를 포함한다.

프레임 메모리(1210)는 이전에 복호화된 다시점 영상 픽처들을 저장한다.

신규 영역 결정부(1220)는 비트스트림에 구비된 서로 다른 시점(view)의 부호화된 다시점 영상 픽처들 중 이전에 복호화된 제 1 시간의 제 1 시점의 픽처와 제 2 시점의 픽처 사이의 차이에 기초하여, 제 1 시점의 픽처에 포함되지 않으며 제 2 시점의 픽처에는 포함되는 제 2 시점의 픽처의 신규 영역을 결정한다.

참조 픽처 생성부(1230)는 신규 영역을 복호화된 제 2 시간의 제 1 시점의 픽처에 부가하여 참조 픽처를 생성한다.

예측부(1240)는 복호화되는 현재 픽처의 예측 모드에 따라서 현재 픽처에 대한 인트라 예측 또는 움직임 예측을 수행하여 예측값을 생성한다. 특히 본 발명에 따른 예측부(1240)는 도 7에 도시된 제 2 앵커 픽처들(720) 중 P 픽처에 대한 복호화를 수행할 때, 전술한 바와 같이 동일 시점의 이전 앵커 픽처에만 포함된 신규 영역을 참조 픽처에 부가함으로써 생성된 새로운 참조 픽처를 이용하여 움직임 예측을 수행한다.

복호화부(1250)는 비트스트림에 구비된 현재 픽처의 차분값을 복원하고, 이를 예측부(1240)에서 생성된 예측값과 더함으로써 현재 픽처를 복원한다. 복호화 부(1250)는 엔트로피 복호화부(1251), 역변환/역양자화부(1252) 및 가산부(1253)를 포함하며, 부호화 과정의 역과정을 통해 현재 픽처의 부호화된 차분값을 복원한다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다. 또한, 본 발명에 따른 시스템은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

전술한 본 발명에 따르면 계층적 B 픽처 구조에서 다른 비앵커 픽처들의 참조 픽처로 이용되는 앵커 픽처의 예측 효율이 향상되며, 이로 인해 앵커 픽처를 참조하는 B 픽처의 예측 효율이 향상되어 전체 부호화 효율을 향상시킬 수 있다.

또한, 본 발명에 따르면 다시점 영상들 중 이전에 부호화된 앵커 영상을 이 용하여 참조 픽처를 생성함으로써 연산량의 큰 증가없이

Claims (20)

1. 다시점 영상의 부호화 방법에 있어서,

   서로 다른 시점(view)을 갖는 복수 개의 영상 획득 수단들을 통해 소정 시간동안 입력된 다시점 영상 픽처들 중 소정의 제 1 시간에 입력된 제 1 시점의 픽처와 제 2 시점의 픽처 사이의 차이에 기초하여, 상기 제 1 시점의 픽처에 포함되지 않으며 상기 제 2 시점의 픽처에는 포함되는 상기 제 2 시점의 픽처의 신규 영역을 결정하는 단계;

   상기 신규 영역을 소정의 제 2 시간에 입력된 제 1 시점의 픽처에 부가하여 참조 픽처를 생성하는 단계; 및

   상기 참조 픽처를 이용하여 상기 소정의 제 2 시간에 입력된 제 2 시점의 픽처를 부호화하는 단계를 포함하는 것을 특징으로 하는 다시점 영상의 부호화 방법.
2. 제 1항에 있어서, 상기 제 1 시점의 픽처 및 제 2 시점의 픽처는

   I 픽처 및 P 픽처 중 어느 하나에 해당하는 앵커(Anchor) 픽처인 것을 특징으로 하는 다시점 영상의 부호화 방법.
3. 제 1항에 있어서,

   상기 제 2 시점의 픽처의 신규 영역을 결정하는 단계는

   상기 제 1 시점의 픽처와 상기 제 2 시점의 픽처 사이의 시점 차이에 기초하 여 상기 제 2 시점의 픽처에만 포함되는 상기 신규 영역을 결정하는 것을 특징으로 하는 다시점 영상의 부호화 방법.
4. 제 1항에 있어서, 상기 참조 픽처를 생성하는 단계는

   상기 제 1 시점의 픽처와 상기 제 2 시점의 픽처 사이의 시점 차이에 기초하여 상기 소정의 제 2 시간에 입력된 제 1 시점의 픽처의 어느 하나의 측면에 상기 신규 영역을 부가하는 것을 특징으로 하는 다시점 영상의 부호화 방법.
5. 제 1항에 있어서,

   상기 제 1 시간은 상기 소정 시간 동안 입력된 다시점 영상 픽처들 중 최초의 픽처들이 입력되는 시간을 나타내며, 상기 제 2 시간은 상기 다시점 영상 픽처들 중 마지막 픽처가 입력된 시간을 나타내는 것을 특징으로 하는 다시점 영상의 부호화 방법.
6. 제 1항에 있어서, 상기 다시점 영상 픽처들은

   계층적 B(Bi-directional) 픽처 구조를 이용하여 부호화되는 것을 특징으로 하는 다시점 영상의 부호화 방법.
7. 다시점 영상의 부호화 장치에 있어서,

   서로 다른 시점(view)을 갖는 복수 개의 영상 획득부;

   상기 영상 획득부들을 통해 소정 시간동안 입력된 다시점 영상 픽처들 중 소정의 제 1 시간에 입력된 제 1 시점의 픽처와 제 2 시점의 픽처 사이의 차이에 기초하여, 상기 제 1 시점의 픽처에 포함되지 않으며 상기 제 2 시점의 픽처에는 포함되는 상기 제 2 시점의 픽처의 신규 영역을 결정하는 신규 영역 결정부;

   상기 신규 획득 영역을 소정의 제 2 시간에 입력된 제 1 시점의 픽처에 부가하여 참조 픽처를 생성하는 참조 픽처 생성부; 및

   상기 참조 픽처를 이용하여 상기 소정의 제 2 시간에 입력된 제 2 시점의 픽처를 부호화하는 부호화부를 포함하는 것을 특징으로 하는 다시점 영상의 부호화 장치.
8. 제 7항에 있어서, 상기 제 1 시점의 픽처 및 제 2 시점의 픽처는

   I 픽처 및 P 픽처 중 어느 하나에 해당하는 앵커(Anchor) 픽처인 것을 특징으로 하는 다시점 영상의 부호화 장치.
9. 제 7항에 있어서, 상기 신규 영역 결정부는

   상기 제 1 시점의 픽처와 상기 제 2 시점의 픽처 사이의 시점 차이에 기초하여 상기 제 2 시점의 픽처에만 포함되는 상기 신규 영역을 결정하는 것을 특징으로 하는 다시점 영상의 부호화 장치.
10. 제 7항에 있어서, 상기 참조 픽처 생성부는

    상기 제 1 시점의 픽처와 상기 제 2 시점의 픽처 사이의 시점 차이에 기초하여 상기 소정의 제 2 시간에 입력된 제 1 시점의 픽처의 어느 하나의 측면에 상기 신규 영역을 부가하는 것을 특징으로 하는 다시점 영상의 부호화 장치.
11. 제 7항에 있어서,

    상기 제 1 시간은 상기 소정 시간 동안 입력된 다시점 영상 픽처들 중 최초의 픽처들이 입력되는 시간을 나타내며, 상기 제 2 시간은 상기 다시점 영상 픽처들 중 마지막 픽처가 입력된 시간을 나타내는 것을 특징으로 하는 다시점 영상의 부호화 장치.
12. 제 7항에 있어서, 상기 부호화부는

    상기 다시점 영상 픽처들을 계층적 B(Bi-directional) 픽처 구조를 이용하여 부호화하는 것을 특징으로 하는 다시점 영상의 부호화 장치.
13. 다시점 영상의 복호화 방법에 있어서,

    비트스트림에 구비된 서로 다른 시점(view)의 부호화된 다시점 영상 픽처들 중 이전에 복호화된 제 1 시간의 제 1 시점의 픽처와 제 2 시점의 픽처 사이의 차이에 기초하여, 상기 제 1 시점의 픽처에 포함되지 않으며 상기 제 2 시점의 픽처에는 포함되는 상기 제 2 시점의 픽처의 신규 영역을 결정하는 단계;

    상기 신규 영역을 복호화된 제 2 시간의 제 1 시점의 픽처에 부가하여 참조 픽처를 생성하는 단계; 및

    상기 참조 픽처를 이용하여 상기 제 2 시간의 제 2 시점의 픽처를 복호화하는 단계를 포함하는 것을 특징으로 하는 다시점 영상의 복호화 방법.
14. 제 1항에 있어서, 상기 제 1 시점의 픽처 및 제 2 시점의 픽처는

    I 픽처 및 P 픽처 중 어느 하나에 해당하는 앵커(Anchor) 픽처인 것을 특징으로 하는 다시점 영상의 복호화 방법.
15. 제 13항에 있어서,

    상기 제 2 시점의 픽처의 신규 영역을 결정하는 단계는

    상기 제 1 시점의 픽처와 상기 제 2 시점의 픽처 사이의 시점 차이에 기초하여 상기 제 2 시점의 픽처에만 포함되는 상기 신규 영역을 결정하는 것을 특징으로 하는 다시점 영상의 복호화 방법.
16. 제 13항에 있어서, 상기 다시점 영상 픽처들은

    계층적 B(Bi-directional) 픽처 구조를 이용하여 복호화되는 것을 특징으로 하는 다시점 영상의 복호화 방법.
17. 다시점 영상의 복호화 장치에 있어서,

    비트스트림에 구비된 서로 다른 시점(view)의 부호화된 다시점 영상 픽처들 중 이전에 복호화된 제 1 시간의 제 1 시점의 픽처와 제 2 시점의 픽처 사이의 차이에 기초하여, 상기 제 1 시점의 픽처에 포함되지 않으며 상기 제 2 시점의 픽처에는 포함되는 상기 제 2 시점의 픽처의 신규 영역을 결정하는 신규 영역 결정부;

    상기 신규 영역을 복호화된 제 2 시간의 제 1 시점의 픽처에 부가하여 참조 픽처를 생성하는 참조 픽처 생성부; 및

    상기 참조 픽처를 이용하여 상기 제 2 시간의 제 2 시점의 픽처를 복호화하는 복호화부를 포함하는 것을 특징으로 하는 다시점 영상의 복호화 장치.
18. 제 17항에 있어서, 상기 제 1 시점의 픽처 및 제 2 시점의 픽처는

    I 픽처 및 P 픽처 중 어느 하나에 해당하는 앵커(Anchor) 픽처인 것을 특징으로 하는 다시점 영상의 복호화 장치.
19. 제 17항에 있어서, 상기 신규 영역 결정부는

    상기 제 1 시점의 픽처와 상기 제 2 시점의 픽처 사이의 시점 차이에 기초하여 상기 제 2 시점의 픽처에만 포함되는 상기 신규 영역을 결정하는 것을 특징으로 하는 다시점 영상의 복호화 장치.
20. 제 17항에 있어서, 상기 복호화부는

    상기 다시점 영상 픽처들을 계층적 B(Bi-directional) 픽처 구조를 이용하여 복호화하는 것을 특징으로 하는 다시점 영상의 복호화 장치.

Images