KR100760258B1

KR100760258B1 - 범용적 다시점 동영상 부호화/복호화 장치 및 방법

Info

Publication number: KR100760258B1
Application number: KR1020050120465A
Authority: KR
Inventors: 김대희; 윤국진; 조숙희; 안충현; 이수인
Original assignee: 한국전자통신연구원
Priority date: 2004-12-10
Filing date: 2005-12-09
Publication date: 2007-09-19
Also published as: EP1820351A4; KR20060065553A; EP2538674A1; WO2006062377A1; CN102263962A; EP1820351A1; CN101116340A; EP2538675A1

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

본 발명은 범용적 다시점 동영상 부호화/복호화 장치 및 방법에 관한 것임.

2. 발명이 해결하려고 하는 기술적 과제

본 발명은, 카메라 간 또는 다시점 동영상 간의 배치, 카메라 파라메터, 색보정 정보 등의 카메라 정보를 이용하고, 현재 부호화되는 영상의 시점에서 참조할 수 있는 인접 시점의 영상을 예측 부호화의 참조 영상으로 이용함으로써, 인접한 카메라 간의 잉여정보를 효과적으로 제거하여 압축효율을 개선할 수 있는 다시점 동영상 부호화 장치 및 방법을 제공하는데 그 목적이 있음.

3. 발명의 해결방법의 요지

본 발명은 배열된 복수의 카메라로부터 입력받은 다시점 영상을 압축 부호화하기 위한 다시점 동영상 부호화 장치로서, 예측 부호화를 위한 영상들간의 참조 관계를 시공간적으로 표현한 시공간적 GOP(Group of Picture) 구조 정보를 생성하기 위한 GOP 정보 생성부; 및 상기 시공간적 GOP 구조 정보에 따라 예측 부호화하기 위한 다시점 부호화부를 포함함.

4. 발명의 중요한 용도

본 발명은 다시점 동영상 부호화 시스템 등에 이용됨.

다시점 동영상, 카메라 배열, GOP(Group of Pictures), H.264, MPEG-2

Description

범용적 다시점 동영상 부호화/복호화 장치 및 방법{Apparatus for Universal Coding for Multi-View Video}

도 1은 종래의 H.264 부호화기의 구성도,

도 2는 종래의 MPEG-2 멀티 뷰 프로파일(MVP: MultiView profile)의 부호화 및 복호화기 구성도,

도 3은 종래의 MPEG-2 MVP를 이용한 스테레오 동영상 부호화기의 구성도,

도 4는 종래의 MPEG-2 MVP에서 쌍방향 예측을 위해 두 개의 변이 예측을 사용한 시차만을 고려한 예측 부호화에 대한 예시도,

도 5는 종래의 MPEG-2 MVP에서 쌍방향 예측을 위해 변이 벡터와 움직임 벡터를 사용한 예측 부호화에 대한 예시도,

도 6은 종래의 MPEG-2에서 규정하고 있는 영상 형태에 대하여 도시한 예시도,

도 7은 본 발명에 따른 다시점 동영상 부호화/복호화 시스템의 일실시예 구성도,

도 8은 본 발명에 따른 시공간적 GOP 형성부의 일실시예 구성도,

도 9는 본 발명에 따른 시공간적 GOP 정보에서 표현하는 참조 연결 방식에 대한 실시예를 나타내는 도면,

도 10은 본 발명에 따른 시공간적 GOP의 삼각형 배열 참조 구조의 일실시예를 설명하기 위한 도면,

도 11은 본 발명의 바람직한 일실시예에 따라 시간 t1에서 P-영상을 포함하는 시공간적 GOP 구조를 나타내는 도면,

도 12는 본 발명의 바람직한 일실시예에 따라 시간 t1에서 P-영상과 B-영상을 포함하는 시공간적 GOP 구조를 나타내는 도면,

도 13은 본 발명에 따른 다시점 부호화부의 일실시예 상세 구성도,

도 14는 본 발명에 따른 다시점 참조 영상 제공부의 일실시예 상세 구성도이다.

*도면 주요 부분에 대한 설명*

500 : 다시점 동영상 부호화 장치 600 : 다시점 동영상 복호화 장치

510 : 시공간적 GOP 형성부 520 : 다시점 부호화부

610 : 다시점 복호화부 620 : 시공간적 GOP 기반 영상 재생부

630 : 장면 합성부

본 발명은 범용적 다시점 동영상 부호화/복호화 장치에 관한 것으로, 더욱 상세하게는 임의의 위치에 배열된 복수의 카메라에서 발생하는 각 카메라 시점의 카메라 파라메터와 색상 등의 서로 다른 특징을 보상하여 다시점 동영상을 예측하고, 임의의 위치에 배열된 각 시점 영상을 이용하여 현재 부호화하고 있는 시점의 영상을 예측 부호화하는 범용적 다시점 동영상 부호화 장치 및 방법과 그에 따른 복호화 장치 및 방법에 관한 것이다.

보다 현실감있는 서비스를 제공하기 위하여, 다시점 동영상은 다양한 응용분야에서 사용되고 있으나, 기존의 방식을 활용하여 압축 부호화할 경우 시점 수의 배수만큼의 데이터가 전송되어야 하므로, 이러한 대용량의 데이터로 인하여 이를 서비스하기에는 막대한 대역폭을 필요로 하는 문제점이 있다.

종래의 단일시점 비디오 부호화 방법은 디지털 TV로 대변되는 MPEG-2 비디오 부호화기와 고효율 압축 및 디지털 이동멀티미디어 서비스(DMB 서비스)의 비디오 부호화 기술에 사용되는 H.264 비디오 부호화기가 널리 사용된다. 하지만, 이러한 단일시점 기반의 부호화기는 인접시점 영상간의 잉여정보를 효과적으로 사용하지 못하기 때문에 복수 시점의 영상을 전송하는 데 부적합하다.

복수 개의 영상을 처리하는 부호화 기술과 관련된 종래의 기술은 두 개의 시점을 고려하는 스테레오스코픽 동영상을 처리하는 기술이 있고, 세 시점 이상을 고려하는 접근방법으로는 다안식 입체를 고려하는 다시점 동영상과 입체를 고려하지 않고 카메라의 인접한 배열로부터 얻은 다시점 동영상을 고려하는 방법이 있다.

MPEG-2 MVP(Multi-ViewProfile) 및 MPEG-4 TS(Temporal Scalability) 구조를 이용하여 부호화하는 종래 기술은 스테레오스코픽 동영상을 부호화할 때 많이 이용되는 기술이다.

본 발명의 주요 배경 기술인 H.264에 대하여 상술하고, 이어서 MPEG-2 MVP(Multi-ViewProfile)에 대하여 상술한다.

MPEG4-visual과 H.263은 비디오 압축에 기반을 둔 표준이다. 이들 표준에 관여한 동영상 전문가 그룹(Moving Picture Experts Group : MPEG)과 비디오 코딩 전문가 그룹(Video Coding Experts Group : VCEG)은, MPEG4와 H.263보다 고품질(high-quality) 및 저속 비트율(low-bitrate) 스트리밍 비디오(streaming video)를 지원하면서 더 많은 압축을 할 수 있는 기술에 관한 다음 단계의 표준을 제정하기 위하여 논의를 하였다.

H.263 표준을 완성한 후에 ITU-T의 비디오 코딩 전문가 그룹(VCEG)은 H.263에 부가적인 기능을 추가한 H.263 version 2 표준에 관한 연구와, 저비트율로 영상 통신을 하기 위한 새로운 표준에 관한 연구를 시작하였다. 이중에서 저비트율의 영상 통신을 하기 위한 새로운 표준을 ITU-T H.26L로 명명하였다. 또한, ISO의 동영상 전문가 그룹(MPEG)에서도 이러한 새로운 표준에 대한 중요성을 인식하여 ITU-T의 비디오 코딩 전문가 그룹(VCEG)과 조인트 비디오팀(Joint Video Team : JVT)을 구성하여 H.26L 모델을 국제 표준으로 정하기 위한 연구를 시작하였다. 이렇게 하여 정해진 표준이 ISO MPEG4 Part 10, 즉, ITU-T H.264이다. 이 표준의 공식 명칭은 MPEG-4 Advanced Video Coding(AVC)이지만, H.264로 더 잘 알려져 있다.

도 1은 종래의 H.264 부호화기의 구성도이다.

H.264 부호화기는 크게 예측부(prediction block)(110), 변환 및 양자화부(transform and quantization block)(120), 엔트로피 코딩부(entropy coding block)(130)로 구성된다.

예측부(110)는 인터 프리딕션(inter prediction)과 인트라 프리딕션(intra prediction)을 수행한다. 인터 프리딕션은, 이미 디코딩이 수행되고 디블록킹 필터링(deblocking filtering)이 수행되어 버퍼에 저장되어 있는 참조 영상(reference picture)를 이용하여 현재 영상의 블록예측을 수행하는 것을 말한다. 즉, 영상들간의 정보를 이용하여 예측을 수행하는 것을 말한다. 이를 위하여 움직임 추정부(motion estimation block)(111) 및 움직임 보상부(motion compensation block)(112)를 구비한다. 인트라 프리딕션은, 이미 디코딩이 수행된 영상내에서, 예측하고자 하는 블록에 인접한 블록의 픽셀 데이터를 이용하여 예측을 수행하는 것을 말한다.

변환 및 양자화부(120)는 예측부(110)에서 예측을 수행하여 얻은 예측 샘플을 변환하고(transform) 양자화(quantization)하여 압축한다. 엔트로피 코딩부(130)는 양자화된 비디오 데이터에 대해서 소정의 방식에 따라 부호화를 수행하여 H.264 비트스트림으로 만든다.

이어서, MPEG-2 MVP(Multi-ViewProfile)에 대하여 설명한다.

도 2는 MPEG-2 표준 규격(Moving Picture Experts Group : MPEG-2)의 시간 확장성을 응용하여 구현되는 멀티뷰 프로파일의 부호화기 및 복호화기에 대한 도면이다.

MPEG-2에서 제공하는 확장성(scalability)은 하나의 영상장비를 사용해서 다른 해상도나 형식을 갖는 영상을 동시에 복호화하기 위한 것이며, MPEG-2에서 지원하는 확장성 중에서 시간 확장성은 화면율(frame rate)을 높임으로써 시각적 화질을 향상시키기 위한 기술이다. 멀티 뷰 프로파일은 이러한 시간 확장성을 고려하여 스테레오 동영상에 적용한 것이다.

실질적으로, 스테레오 동영상 개념을 갖는 부호화기 및 복호화기의 구조는 도 2의 시간 확장성과 같은 구조를 갖는 것으로, 스테레오 동영상 중 좌측 영상들은 베이스 뷰 부호화기(base view encoder)로 입력되며, 스테레오 동영상의 우측 영상들은 시간적으로 위치한 보조의 뷰 부호화기(temporal auxiliary view encoder)로 입력된다.

이러한 부호화기는 시간 확장성을 위한 것으로서, 시간적으로 베이스 레이어(base layer)의 영상들 사이에 영상을 만드는 인터레이어 부호화기(interlayer encoder)인 것이다. 이에 따라, 좌측 영상을 따로 부호화 및 복호화하면 보통의 동영상을 얻을 수 있으며, 좌측 영상과 우측 영상을 동시에 부호화 및 복호화하면 입체 동영상을 구현할 수 있는 것이다. 여기서, 동영상 전송이나 저장을 위해 두 영상의 시퀀스를 합치거나 분리할 수 있는 시스템 멀티플렉스 및 시스템 디멀티플렉스가 필요하다.

도 3은 MPEG-2 멀티 뷰 프로파일(Multi-View Profile : MVP)을 이용한 스테 레오 동영상 부호화기/복호화기에 대하여 도시한 도면이다.

베이스 레이어는 움직임 보상 및 이산 여현 변환(DCT: Discrete Cosine Transform)을 이용하여 부호화하고 역과정을 통하여 복호화하며, 시간적으로 위치한 보조의 뷰 부호화기(temporal auxiliary view encoder)는 복호화된 베이스 레이어(base layer)의 영상을 바탕으로 예측한 템포럴 인터레이어 부호화기(temporal interlayer encoder)의 역할을 한다.

즉, 두 개의 변이 예측 또는 각각 한 개의 변이 예측 및 움직임 보상 예측이 여기에 사용될 수 있으며, 베이스 레이어(base layer)의 부호화 및 복호화기와 마찬가지로 시간적으로 위치한 보조의 뷰 부호화기(temporal auxiliary view encoder)는 변이 및 움직임 보상 DCT 부호화기 및 복호화기를 포함한다.

또한, 움직임 예측/보상 부호화 과정에서 움직임 예측기와 보상기가 필요한 것처럼 변이 보상 부호화 과정은 변이 예측기와 보상기가 필요하며, 블록 기반의 움직임/변이 예측 및 보상에 덧붙여 부호화 과정에서는 예측된 결과 영상과 원영상과 차영상들의 DCT, DCT 계수의 양자화, 그리고 가변장 부호화 등이 포함된다. 반대로 복호화 과정은 가변장 복호화, 역 양자화, 역 DCT등의 과정인 것이다.

MPEG-2 부호화는 B-영상을 위한 쌍방향 움직임 예측으로 인해서 매우 효율적인 압축방법이며, 시간 확장성도 상당히 효율적이기 때문에, 단지 쌍방향 예측만을 사용한 B-영상을 우측 영상의 부호화에 사용하여 고효율의 압축을 얻을 수 있다.

도 4는 쌍방향 예측을 위해 두 개의 변이 예측을 사용하여 시차만을 고려한 예측 부호화에 대한 도면으로서, 좌측 영상은 논 스케일러블(non-scalable) MPEG-2 부호화기(encoder)를 사용하여 부호화하고, 우측 영상은 복호화된 좌측영상을 바탕으로 MPEG-2 시간적으로 위치한 보조의 뷰 부호화기(temporal auxiliary view encoder)를 사용하여 부호화한다.

즉, 두 개의 다른 좌측 영상으로부터 구한 예측을 사용하여 B-영상으로 부호화한다. 이때, 두 개의 참조영상 중 하나는 시간적으로 디스플레이될 때의 좌측 영상이며, 다른 하나는 시간적으로 다음에 나올 좌측 영상이다.

그리고, 두 개의 예측은 움직임 추정/보상과 마찬가지로 순방향(forward), 역방향(backward), 양방향(interpolated)의 세가지 예측모드를 만든다. 여기서, 순방향 모드는 같은 시간의 좌측 영상으로부터 예측한 변이를 의미하며, 역방향 모드는 바로 다음의 좌측 영상으로부터 예측한 변이를 의미한다. 이러한 방법의 경우, 우측 영상의 예측은 두 개의 좌측 영상의 변이 벡터를 통해 이루어지기 때문에, 이런 형태의 예측방법을 변이만을 고려한 예측 부호화라고 하며, 결국, 부호화기에서는 우측 동영상의 각 프레임마다 두 개의 변이 벡터를 추정하고, 복호화기에서는 이 두 변이 벡터를 이용하여 좌측 동영상으로부터 우측 동영상을 복호화한다.

도 5는 도 4에 도시된 쌍방향 예측을 통한 B-영상을 사용하지만 쌍방향 예측의 방향은 한 개의 변이 추정과 한 개의 움직임 추정을 사용한다. 즉, 하나는 동 시간대의 좌측 영상으로부터의 변이 예측과 바로 이전 시간의 우측 영상으로부터의 움직임 예측을 사용한다.

그리고, 변이만을 고려한 예측 부호화와 마찬가지로 쌍방향 예측도 순방향, 역방향 그리고 양방향 모드로 불리는 3가지의 예측모드를 만들어낸다. 여기서 순방 향 모드는 복호화된 우측 영상으로부터의 움직임 예측을 말하며, 역방향 모드는 복호화된 좌측 영상으로부터의 변이 예측을 의미한다.

따라서, MPEG-2 멀티 뷰 프로파일(Multi-View Profile : MVP)의 규격 자체는 실제 스테레오 동영상에 적합하도록 설계되어 있어 다시점 동영상에 대한 부호화기의 구조는 전혀 언급이 되어 있지 않다는 문제점이 있어 복수의 사람에게 동시에 입체감 및 현장감을 제공하기 위한 다시점 동영상을 효율적으로 제공할 수 있는 부호화기가 필요한 것이다.

또한, MPEG-2는 동영상 부호화 및 복호화에 대한 표준을 제시하고 있다. 즉, MPEG-2에서 규정하고 있는 영상 형태는 도 6에 도시된 바와 같이, I 영상, P 영상, B 영상의 세 가지가 있는데, I(Intra-coded) 영상은 움직임 벡터 추정/보상을 이용하지 않고 단순히 그 영상만을 DCT하여 부호화하고, P(Predictive coded) 영상은 I 영상 또는 다른 P 영상을 참조하면서 움직임 추정/보상을 한 후, 나머지 차분의 데이터를 DCT하여 부호화하며, B(Bidirectionally Predictive coded) 영상은 P 영상과 같이 움직임 보상을 사용하지만 시간축 상에 있는 두 개의 프레임으로부터 움직임 추정/보상을 수행한다.

MPEG-2의 영상은 B, B, I, B, B, P,.... 와 같은 구조를 갖고 있으며, I 영상부터 다음의 I 영상까지를 GOP(Group of Picture)라 칭하며, GOP내의 영상 개수를 N이라고 하고 I 영상과 P 영상 사이 혹은 P 영상과 P 영상 사이의 영상 개수를 M이라 정의한다.

그리고, MPEG-2는 한 개의 시점에 대한 동영상 부호화 및 복호화에 대한 표준이기 때문에 다시점 동영상 데이터를 부호화하기 위해 구조에 대한 설계 및 다시점의 정보를 나타내는 데이터에 대한 처리가 필요하며, 전술한 바와 같이, MPEG-2에서 사용되는 동영상을 스테레오 동영상으로 확장하기 위하여 MVP를 제안하고는 있지만 다시점 동영상의 확장을 위한 부호화기는 언급되지 않고 있다는 문제점이 있다.

전술한 MPEG-2 멀티 뷰 프로파일(Multi-View Profile : MVP)의 문제점을 해결하기 위하여 그 구조를 확장함으로써, 다시점 동영상에 적용하여 부호화하는 종래 기술로서, 출원번호 10-2002-0021757 특허와 출원번호 10-2003-0002116 특허가 있다.

상기 특허중 출원번호 10-2002-0021757 특허는 GGOP(Group of GOP)를 제안하고 이를 기반으로 MPEG-2 기반으로 이루어진 코덱을 사용한다. 출원번호 10-2003-0002116 특허는 중앙의 시점의 비트열을 생성하고 이 과정에서 생성된 중앙 시점의 참조영상을 좌/우시점의 영상에 대한 비트열을 생성할 때 참조하는 방법이다.

출원번호 10-2002-0021757 특허는 MPEG-2와의 호환성을 염두에 두어서, P-영상을 부호화 할 때 모두 한 개의 움직임 추정 벡터를 사용한다. B-영상의 경우 모두 두 개의 벡터만을 사용하므로 이전 프레임으로부터의 움직임 벡터와 현재 시간의 인접 시점으로부터의 변위 벡터를 활용한다.

출원번호 10-2003-0002116 특허는 좌/우 시점의 P-영상을 부호화할 때에 중앙시점의 영상을 참조하느라 한 개의 움직임 벡터와 한 개의 변위 벡터를 사용하고, B-영상은 중앙 시점에서 기존의 MPEG-2와 같이 사용되었고, 좌/우 시점에서는 B-영상이 없다.

상기 기술들은 모두 MPEG-2 또는 MPEG-4와의 호환성을 고려한 나머지 두 개 이상의 움직임 벡터 또는 변위 벡터를 활용하지 못하여, MPEG-2의 B-화면을 부호화할 때 시간 축 상의 양방향 예측 부호화를 수행하지 못한다. 아울러, 시점 간의 거리, 베이스 라인의 크기에 대한 배려는 단지 I-영상이 부호화되는 시점의 수를 늘리는 방식이다. 이는 적절한 변위 벡터 예측방법이 아니며, 이를 위해선 인접 시점을 현재 시점의 위치로 변환하는 과정이 필요하다. 또한, 상기 종래 기술들은 카메라 배열의 위치가 병렬 배열 또는 2차원 병렬 구조인 매트릭스 구조의 배열 등의 제한된 구조에 한정되는 문제점이 있다.

본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 카메라 간 또는 다시점 동영상 간의 배치, 카메라 파라메터, 색보정 정보 등의 카메라 정보를 이용하고, 현재 부호화되는 영상의 시점에서 참조할 수 있는 인접 시점의 영상을 예측 부호화의 참조 영상으로 이용함으로써, 인접한 카메라 간의 잉여정보를 효과적으로 제거하여 압축효율을 개선할 수 있는 다시점 동영상 부호화 장치 및 방법과 그에 따른 복호화 장치를 제공하는데 그 목적이 있다.

또한, 본 발명은 시공간적인 2차원 GOP의 구조와 인접 시점의 정보를 현재 부호화되는 시점으로 변화하여 효과적인 예측부호화의 참조 영상으로 사용하는 다 시점 동영상 부호화 장치 및 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 단일 시점의 영상을 부호화하는 H.264 표준에 따른 부호화기에서 이전 시간의 복수 영상을 참조 프레임으로 사용하는 특성을 복수의 시점으로 확장 적용하는 다시점 동영상 부호화 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명은, 임의의 다시점 영상으로 구성된 다시점 동영상의 부호화 장치로서, 상기 다시점 영상간의 참조 관계를 나타내는 시공간적 GOP(Group of Picture) 구조 정보를 생성하는 GOP 정보 생성부; 및 상기 시공간적 GOP 구조 정보에 따라 상기 다시점 영상을 예측 부호화하는 다시점 부호화부를 포함하되, 상기 다시점 영상간의 참조 관계는 상기 다시점 영상간의 시공간적 일방 또는 상호 참조 관계를 나타내는 정보를 포함하는 다시점 동영상 부호화 장치를 제공한다.

또한 상기 목적을 달성하기 위해 본 발명은, 임의의 다시점 영상으로 구성된 다시점 동영상의 부호화 방법으로서, 상기 다시점 영상간의 참조 관계를 나타내는 시공간적 GOP(Group of Picture) 구조 정보를 생성하는 GOP 정보 생성 단계; 및 상기 시공간적 GOP 구조 정보에 따라 상기 다시점 영상을 예측 부호화하는 다시점 부호화 단계를 포함하되, 상기 다시점 영상간의 참조 관계는 상기 다시점 영상간의 시공간적 일방 또는 상호 참조 관계를 나타내는 정보를 포함하는 다시점 동영상 부호화 방법을 제공한다.

또한 상기 목적을 달성하기 위해 본 발명은, 임의의 다시점 영상으로 구성된 다시점 동영상의 복호화 장치로서, 상기 다시점 영상간의 참조 관계를 나타내는 시공간적 GOP(Group of Picture) 구조 정보가 포함된 영상 신호열을 복호화하는 다시점 복호화부; 및 상기 시공간적 GOP 구조 정보에 기초하여 상기 다시점 복호화부에 의해 복호된 신호를 다시점 영상으로 복원하는 영상 재생부를 포함하되, 상기 다시점 영상간의 참조 관계는 상기 다시점 영상간의 시공간적 일방 또는 상호 참조 관계를 나타내는 정보를 포함하는 다시점 동영상 복호화 장치를 제공한다.

또한 상기 목적을 달성하기 위해 본 발명은, 임의의 다시점 영상으로 구성된 다시점 동영상의 복호화 방법으로서, 상기 다시점 영상간의 참조 관계를 나타내는 시공간적 GOP(Group of Picture) 구조 정보가 포함된 영상 신호열을 복호화하는 다시점 복호화 단계; 및 상기 시공간적 GOP 구조 정보에 기초하여 상기 다시점 복호화 단계에서 복호된 신호를 다시점 영상으로 복원하는 영상 재생 단계를 포함하되, 상기 다시점 영상간의 참조 관계는 상기 다시점 영상간의 시공간적 일방 또는 상호 참조 관계를 나타내는 정보를 포함하는 다시점 동영상 복호화 방법을 제공한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도 7은 본 발명에 따른 다시점 동영상 부호화/복호화 시스템의 일실시예 구성도이다.

도 7에 도시된 바와 같이, 본 발명에 따른 범용적 다시점 동영상 부호화/복호화 시스템은 임의 배열된 다수(N)개의 카메라로부터 입력받은 N개의 임의 배열 시점 영상의 다시점 영상을 압축 부호화하여 비트열로 전송하는 다시점 동영상 부호화 장치(500) 및 상기 비트열을 수신하여 다시점 동영상을 복호하고 합성하는 다시점 동영상 복호화 장치(600)가 네트워크로 연결되어 구성된다.

다시점 동영상 부호화 장치(500)는 시공간적 GOP 형성부(510) 및 다시점 부호화부(520)를 포함하여 구성된다.

시공간적 GOP 형성부(510)는 임의 배열된 다수(N)개의 카메라 및 사용자로부터 임의 배열된 N개의 다시점 영상과 N개 시점의 카메라 특성 및 카메라 위치/배열 정보가 포함된 카메라 정보를 입력받아 후술하는 시공간적 GOP 정보를 생성하여 출력한다.

다시점 부호화부(520)는 상기 시공간적 GOP 정보 및 카메라 정보를 이용하여 다시점 영상을 예측 부호화한다.

다시점 동영상 복호화 장치(600)는 다시점 복호화부(610), 시공간적 GOP 기반 영상 재생부(620) 및 장면 합성부(630)를 포함하여 구성되며, 상기 비트열을 수신하여 다시점 복호화부(610)에서 복호하고, 시공간적 GOP 기반 영상 재생부(620)에서 시공간적 GOP 구성 정보를 이용하여 이에 따라 모든 다시점 동영상을 복원하며, 장면 합성부(60)에서 다시점 동영상의 응용에 따라 적절히 합성하여 사용자에게 서비스한다.

다시점 동영상 복호화 장치의 처리 과정을 더욱 상세히 설명하면 다음과 같다.

다시점 복호화부(610)는 입력받은 비트스트림을 엔트로피 복호화, 역재배열, 역양자화 및 역변환 처리하고, 시공간적 GOP 기반 영상 재생부(620)는 상기 비트스트림에 포함된 시공간적 GOP 정보를 이용하여 상기 역변환 처리된 신호로부터 다시점 영상을 복원하며, 장면 합성부(60)는 상기 복원된 다시점 영상들을 합성한다.

또한, 상기 시공간적 GOP 기반 영상 재생부(620)는 상기 시공간적 GOP 정보에 따라, 현재 복호화하는 영상이 참조영상과 동일 시점 영상인 경우에는 움직임보상을 수행하고, 현재 복호화하는 영상이 참조영상의 인접 시점 영상인 경우에는 변위/움직임보상을 수행한다.

도 8은 본 발명에 따른 시공간적 GOP 형성부의 일실시예 구성도이다.

시공간적 GOP 형성부(510)는 영상간의 예측 관계 정의부(511) 및 영상 예측 관계 그래프 표현부(513)을 포함하여 구성된다.

영상간의 예측관계 정의부(511)는 사용자 정보 또는 상기 카메라 정보에 기반하여 시점 간의 영상의 예측관계를 정의하고, 영상 예측관계 그래프 표현부(513)은 상기 정의된 정보를 이용하여 다시점 영상들의 참조 관계를 그래프 정보로 표현한 시공간적 GOP 구조 정보를 생성하여 상기 다시점 부호화부(520)로 출력한다.

이때 표현된 그래프 정보의 표현 방법은 일반적인 자료구조론에 정의된 다양한 방법을 취할 수 있다.

임의의 카메라 시점을 지원하기 위한 시공간적 GOP 정보를 구성하기 위해서, 시간적인 GOP의 개념은 기존의 MPEG-2의 GOP 개념을 수용하고, 공간적인 GOP 구성을 위해서는 카메라 배열에 있어서 카메라의 위치를 하나의 노드로 생각하고 이를 연결하는 그래프 구조로 공간적인 GOP를 구성한다.

예측 부호화시에 상호 참조되는 시점일 경우에는 자료구조의 이중 링크 리스트(Double-linked list) 방식처럼 두개의 노드가 상호참조 가능한 형태로 연결하고, 한쪽에서만 참조될 경우에는 단일 링크 리스트(single-linked list)로 연결된다.

카메라 배열이 원형으로 배치되어 있는 경우는 자료구조의 원형큐와 비슷한 노드를 형성하게 되고, 병렬형의 일차원 구조일 경우는 단일 링크 리스트(single-linked list) 또는 이중 링크 리스트(double-linked list) 형태의 자료구조와 같은 형태를 지닌다.

아울러 복잡하고 참조 관계가 얽혀 있는 경우를 대비하여 최초의 기준 시점을 시작점으로 하는 스패닝 트리로 각 노드를 미리 정의된 순서로 순차적으로 연결하고 정의된 순서 따라 스패닝 트리의 모든 노드를 처리하도록 한다.

도 9는 본 발명에 따른 시공간적 GOP 구조에서 표현하는 참조 연결 방식에 대한 실시예를 나타내는 도면이다.

도 9에 도시된 바와 같이, 본 발명에 따른 시공간적 GOP는 다시점 영상들은 단순 병렬, 양방향 병렬, 매트릭스형 배열, 원형 배열, 임의의 시점 배열의 다시점 동영상들의 참조 관계를 모두 표현할 수 있다.

각각의 연결 구조에서의 화살표는 참조되는 방향을 나타내고 단방향과 양방향이 혼재할 수 있다.

이와 같이 공간적인 배열과 시간적인 구성을 복합적으로 이용하여 GOP를 구성함으로써 다시점 부호화기에서도 랜덤 억세스 기능을 지원할 수 있다.

도 10은 본 발명에 따른 시공간적 GOP의 삼각형 배열 참조 구조의 일실시예를 설명하기 위한 도면이다.

도시된 점선의 화살표는 카메라 참조 관계이다.

도 10에 도시된 바와 같이, 본 실시예에서는 모든 카메라가 쌍방향 참조 구조이고 초기시간에는 모드 I-영상으로 구성되어서, 같은 시간에는 인접 카메라 시점의 정보를 참조 영상으로 사용하지 않고 다른 시간의 영상만을 참조 영상으로 사용한다고 가정한다.

도 10의 구성에서 시간 t4의 모든 프레임이 P-영상으로 부호화 될 때 시간 t1의 영상들을 참조한다.

t4의 P1과 P3를 부호화 하기 위해서는 t1의 I1, I2, I3, I4를 참조하고, t4의 P2를 부호화할 때는 t1의 I1, I2, I3를 참조하고, t4의 P4를 부호화 할 때는 t1의 I1, I3, I4가 참조된다. 시간 t7의 부호화 방식은 시간 t4의 영상들이 시간 t1의 영상을 참조하는 방식과 같은 방법으로 참조한다. 다만, I-영상 대신 P-영상이다.

시간 t2와 t3의 영상 중 B1과 B3은 시간 t1 의 I1, I2, I3, I4와 시간 t4의 P1, P2, P3, P4를 참조 영상으로 하여 양방향 예측 부호화를 수행하고, B2 영상은 시간 t1 의 I1, I2, I3와 시간 t4의 P1, P2, P3를 참조 영상으로 하여 양방향 예측 부호화를 수행하고, B4 영상은 시간 t1 의 I1, I3, I4와 시간 t4의 P1, P3, P4를 참조 영상으로 하여 양방향 예측 부호화를 수행한다.

도 10의 구조에서 오른쪽 상단에 도시된 구조와 같은 스패닝 트리를 가지고 각 노드에 대한 영상의 부호화 순서가 결정된다. 물론, 다른 시간으로부터의 참조영상과의 관계는 앞에서 설명한 방식과 같다.

그리고 같은 시간의 다른 시점의 영상이 스패닝 트리에 따른 순서에 따라 먼저 부호화되어 현재 부호화 되는 영상으로부터 참조가 가능하다면, t2부터 t7의 예측 부호화되는 영상들이 같은 시간의 먼저 부호화된 영상을 참조영상으로 추가적으로 활용할 수 있다.

예를 들면, 시간 t4의 P4를 부호화 할 때는 같은 시간 t4의 P3을 참조영상으 로 추가할 수 있으며 P2를 부호화할 때는 카메라간 시점 연결 정보에 따라 시간 t4의 P1과 P3를 참조영상으로 사용할 수 있다.

시간 t4의 P3를 부호화할 때는 같은 시간의 영상들은 참조 영상으로 활용할 수 없고, 이전의 시간의 참조영상들만 이용할 수 있다.

도 11은 본 발명의 바람직한 일실시예에 따라 시간 t1에서 P-영상을 포함하는 시공간적 GOP 구조를 나타내는 도면이다.

도 11에 도시된 시공간적 GOP 구조에 따라, I3가 먼저 부호화 되고 그 다음 스패닝 트리를 따라 P4, P1, P2가 부호화된다.

이 때, P4, P1, P2는 이전에 부호화된 영상들 중에 카메라 시점 연결성 정보에 의해 연결된 영상들을 이용하여 예측부호화 된다.

이후 시간의 영상에 대한 부호화 방법은 도 10의 참조 영상 선정 방법과 도 11의 시간 t1의 참조 영상 선정 방법을 같이 사용한다.

도 12는 본 발명의 바람직한 일실시예에 따라 시간 t1에서 P-영상과 B-영상을 포함하는 시공간적 GOP 구조를 나타내는 도면이다.

도 12에 도시된 시공간적 GOP 구조에 따라, 먼저 I3가 부호화 되고 그 다음에 P2가 부호화 된다. 이때 P2는 I3의 영상을 참조영상으로 한다.

B4 영상은 I3와 P2를 참조영상으로 할 수 있으나 연결성 정보가 I3에만 연결되어 있으므로 I3만을 참조영상으로 추가한다.

다음에 부호화 되는 B1은 I3와 P2를 참조영상으로 추가하여 예측 부호화를 수행한다.

이후 시간의 영상에 대한 부호화 방법은 도 10과 도 11의 참조 영상 선정 방법과 도 12의 시간 t1의 참조 영상 선정 방법을 같이 사용한다.

그리고 도 10, 도 11, 도 12에서 I-영상을 가지고 있는 시간대의 시점 영상들은 이전 시간이나 미래 시간의 영상으로부터 부호화되지 않고, P-영상을 가지고 있는 시간대의 시점 영상들은 I-영상 또는 P-영상을 포함하고 있는 이전 시간대의 시점 영상들로부터 예측 부호화되며, B-영상을 포함하고 있는 시간대의 시점 영상들은 과거 또는 미래 시간대의 I-영상 또는 P-영상을 포함하고 있는 시간대의 시점 영상들로부터 예측 부호화된다.

물론 이때 I-영상이나 P-영상을 담고 있는 시간대의 시점 영상들 중 B-영상은 다른 시간대의 영상의 예측부호화를 위해 활용된다.

인접한 카메라 시점뿐만 아니라 그 보다 먼 카메라 시점의 영상도 필요하다면 참조 영상으로 활용할 수 있으며 이 경우에도 그 연결 관계를 명시하고 그에 따라 부호화하면 된다. 가령 도 11에서 P2와 P4간의 연결성 정보를 설정하면 그에 따라 부호화 및 복호화할 수 있다.

도 13은 본 발명에 따른 다시점 부호화부의 일실시예 상세 구성도이다.

도 13에 도시된 바와 같이, 본 발명에 따른 다시점 부호화부는 다시점 참조 영상 제공부(740), 예측부(710), 변환 및 양자화부(720) 및 엔트로피 부호화부(730)을 포함한다.

상기 예측부(710), 변환 및 양자화부(720) 및 엔트로피 부호화부(730)는 전술한 종래 H.264의 예측부(110), 변환 및 양자화부(120) 및 엔트로피 코딩부(130)와 동일한 방식으로 기능한다. 다만, 변위/움직임 추정부(711) 및 변위/움직임 보상부(713)은 입력된 참조 영상이 같은 시점의 영상일 경우에는 움직임 추정 및 움직임 보상기로 동작하고, 참조 영상이 다른 시점의 영상일 경우에는 변위 추정 및 변위 보상기로 동작한다.

다시점 참조 영상 제공부(740)는 상기 변환 및 양자화부(720)를 통해 변환되고 양자화된 영상 신호를 예측 부호화를 위해 다시 역양자화 및 역변환하여 복원한 다시점 복원 영상들을 입력받아 저장하고, 시공간적 GOP 형성부(510)로부터 입력받은 GOP 구조 정보에 따라 참조 영상을 선택하여 변위/움직임 보상부(713) 및 변위/움직임 추정부(711)에 제공함으로써, 전술한 GOP 구조 정보에서 표현하고 있는 다시점 영상들의 참조 관계에 따라 예측 부호화를 수행하도록 한다. 또한, 다시점 참조 영상 제공부(740)는 재배열부(731)로 시공간적 GOP 구조 정보가 포함된 부가 정보를 제공하여, 현재 예측 부호화된 영상 정보와 함께 시공간적 GOP 구조 정보를 엔트로피 부호화하여 전송하게 함으로써, 복호 과정에서 시공간적 GOP 구조 정보를 이용할 수 있도록 한다.

도 14는 본 발명에 따른 다시점 참조 영상 제공부의 일실시예 상세 구성도이 다.

도 14에 도시된 바와 같이, 다시점 참조 영상 제공부(740)는 복원 영상 버퍼(741), 제1 인접시점 참조 영상 버퍼(742), 제2 인접시점 참조 영상 버퍼(743), 시점 변환부(745, 746) 및 참조 영상 선택부(747)을 포함한다.

복원 영상 버퍼(741)는 현재 시점의 다른 시간의 복원 영상을 필터로부터 입력받아 임시 저장하고, 참조 영상 선택부(747)로 출력한다.

제1 인접시점 참조 영상 버퍼(742)는 먼저 부호화된 인접 시점의 현재 시간의 복원 영상을 필터로부터 입력받아 참조 영상으로 임시 저장하고 시점 변환부(745)로 출력하며, 제2 인접시점 참조 영상 버퍼(743)는 먼저 부호화된 인접 시점의 다른 시간의 복원 영상을 필터로부터 입력받아 참조 영상으로 저장하고 시점 변환부(746)로 출력한다.

시점 변환부(745, 746) 각각은 제1 인접시점 참조 영상 버퍼(742) 및 제2 인접시점 참조 영상 버퍼(743)로부터 입력받은 인접 시점 영상을 인접 카메라 시점의 영상을 참조 영상으로 활용하기 위해서, 미리 입력받은 카메라 정보를 이용하여, 현재 카메라 시점과 칼라보정(Color Balance)을 하고, 현재 시점의 영상으로 전역 움직임 보상(Global Motion Compensation), 렉티피케이션(Rectification) 등의 방법으로 영상을 변환하여 예측 부호화의 참조 영상으로 활용할 수 있는 참조 영상을 생성하여 참조 영상 선택부(747)로 출력한다.

참조 영상 선택부(747)는 시공간적 GOP 형성부(510)로부터 입력 받은 시공간적 GOP 구조 정보에 따라, 입력받은 참조 영상들 중 현재 예측 부호화에 필요한 참 조 영상을 선택하여 변위/움직임 추정부(711) 및 변위/움직임 보상부(713)로 출력한다. 또한, 참조 영상 선택부(747)는 GOP 구조 정보를 포함하는 부가 정보를 생성하여 재배열부(731)로 출력한다.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

상기와 같은 본 발명은, 카메라 배치에 제약을 받지 않고, 다양한 배열의 카메라 배열을 갖는 다시점 동영상 데이터를 획득, 압축, 전송, 복원, 디스플레이하는 다시점 동영상 서비스를 제공할 수 있는 효과가 있다.

또한, 본 발명은 임의 배열된 다시점 정보를 예측 부호화함으로써, 입체 디스플레이 서비스, 옴니비디오 서비스, 파노라믹 비디오 서비스, 임의 다시점(Free viewpoint) TV 서비스를 단일 부호화 방법으로 해결할 수 있으며, 다시점 동영상 부호화시 인접 시점의 정보를 활용함으로 압축 효율을 향상시킬 수 있는 효과가 있다.

또한, 본 발명은 다시점 동영상(Multiview Video)은 인접한 카메라 시점과 현재 시점간의 잉여 정보를 활용하여 압축 효율을 개선할 수 있는 효과가 있다.

Claims

임의의 다시점 영상으로 구성된 다시점 동영상의 부호화 장치로서,

상기 다시점 영상간의 참조 관계를 나타내는 시공간적 GOP(Group of Picture) 구조 정보를 생성하는 GOP 정보 생성부; 및

상기 시공간적 GOP 구조 정보에 따라 상기 다시점 영상을 예측 부호화하는 다시점 부호화부

를 포함하되,

상기 다시점 영상간의 참조 관계는

상기 다시점 영상간의 시공간적 일방 또는 상호 참조 관계를 나타내는 정보를 포함하는

다시점 동영상 부호화 장치.
제 1 항에 있어서,

상기 GOP 정보 생성부는,

상기 다시점 영상간의 예측 관계를 정의하는 예측 관계 정의부; 및

상기 예측 관계 정의부에 의해 정의된 다시점 영상간의 예측 관계에 기초하여 상기 시공간적 GOP 구조 정보를 생성하는 예측 관계 표현부

를 포함하는 다시점 동영상 부호화 장치.
제 1 항에 있어서,

상기 다시점 영상간의 참조 관계는

그래프로 표현될 수 있는

다시점 동영상 부호화 장치.
제 1 항에 있어서,

상기 시공간적 GOP 구조 정보는

상기 다시점 영상간의 부호화 순서 정보를 포함하는

다시점 동영상 부호화 장치.
제 4 항에 있어서,

상기 시공간적 GOP 구조 정보는

시간적 구조 정보인 MPEG-2의 GOP 구성 정보; 및

공간적 구조 정보인 상기 다시점 영상의 시점 정보

를 포함하는 다시점 동영상 부호화 장치.
제 1 항에 있어서,

다시점 부호화부는

상기 GOP 구조 정보에 따라 예측 부호화를 위한 참조 영상을 제공하는 다시점 참조 영상 제공부;

상기 다시점 참조 영상 제공부에 의해 제공되는 참조영상을 이용하여 현재 부호화할 영상을 예측하는 예측부;

상기 예측부에 의해 예측된 영상을 변환(transform) 및 양자화(quantaization)하는 변환 및 양자화부; 및

상기 변환 및 양자화부에 의해 변환 및 양자화된 영상을 엔트로피 부호화하는 엔트로피 부호화부

를 포함하는 다시점 동영상 부호화 장치.
제 6 항에 있어서,

상기 다시점 참조 영상 제공부는

상기 시공간적 GOP 구조 정보를 포함하는 부가 정보를 더 생성하고,

상기 엔트로피 부호화부는

상기 부가 정보를 더 부호화하는

다시점 동영상 부호화 장치.
제 6 항에 있어서,

상기 예측부는,

입력된 참조 영상이 현재 부호화하는 영상과 같은 시점의 영상일 경우에는 움직임 추정을 수행하고, 참조 영상이 다른 시점의 영상일 경우에는 변위 추정을 수행하는 변위/움직임 추정부; 및

입력된 참조 영상이 현재 부호화하는 영상과 같은 시점의 영상일 경우에는 움직임 보상을 수행하고, 참조 영상이 다른 시점의 영상일 경우에는 변위 보상을 수행하는 변위/움직임 보상부

를 포함하는 다시점 동영상 부호화 장치.
제 6 항에 있어서,

상기 다시점 참조 영상 제공부는,

현재 시점의 다른 시간의 복원 영상을 저장하는 복원 영상 저장부;

인접 시점의 현재 시간의 복원 영상을 저장하는 제 1 인접 시점 참조 영상 저장부;

인접 시점의 다른 시간의 복원 영상을 저장하는 제 2 인접 시점 참조 영상 저장부;

상기 제 1 인접 시점 참조 영상 저장부 및 제 2 인접 시점 참조 영상 저장부에 저장되는 인접 시점 영상을 현재 시점의 영상으로 변환하는 시점 변환부; 및

상기 시공간적 GOP 구조 정보에 기초하여 상기 복원 영상 저장부 및 시점 변환부의 영상 중에서 현재 부호화에 이용되는 참조 영상을 선택하여 제공하는 참조 영상 선택부

를 포함하는 다시점 동영상 부호화 장치.
제 9 항에 있어서,

상기 시점 변환부는

상기 인접 시점 영상을 현재 시점과 컬러 보정을 하고, 현재 시점의 영상으로 전역 움직임 보상하는

다시점 동영상 부호화 장치.
임의의 다시점 영상으로 구성된 다시점 동영상의 부호화 방법으로서,

상기 다시점 영상간의 참조 관계를 나타내는 시공간적 GOP(Group of Picture) 구조 정보를 생성하는 GOP 정보 생성 단계; 및

상기 시공간적 GOP 구조 정보에 따라 상기 다시점 영상을 예측 부호화하는 다시점 부호화 단계

를 포함하되,

상기 다시점 영상간의 참조 관계는

상기 다시점 영상간의 시공간적 일방 또는 상호 참조 관계를 나타내는 정보를 포함하는

다시점 동영상 부호화 방법.
제 11 항에 있어서,

상기 GOP 정보 생성 단계는,

상기 다시점 영상간의 예측 관계를 정의하는 예측 관계 정의 단계; 및

상기 예측 관계 정의 단계에 의해 정의된 다시점 영상간의 예측 관계에 기초하여 상기 시공간적 GOP 구조 정보를 생성하는 예측 관계 표현 단계

를 포함하는 다시점 동영상 부호화 방법.
제 11 항에 있어서,

상기 시공간적 GOP 구조 정보는

상기 다시점 영상간의 부호화 순서 정보를 포함하는

다시점 동영상 부호화 방법.
제 13 항에 있어서,

상기 시공간적 GOP 구조 정보는,

시간적 구조 정보인 MPEG-2의 GOP 구성 정보; 및

공간적 구조 정보인 상기 다시점 영상의 시점 정보

를 포함하는 다시점 동영상 부호화 방법.
제 11 항에 있어서,

다시점 부호화 단계는,

상기 GOP 구조 정보에 따라 예측 부호화를 위한 참조 영상을 제공하는 다시점 참조 영상 제공 단계;

상기 다시점 참조 영상 제공 단계에서 제공되는 참조 영상을 이용하여 현재 부호화할 영상을 예측하는 예측 단계;

상기 예측 단계에서 예측된 영상을 변환(transform) 및 양자화(quantization)하는 변환 및 양자화 단계; 및

상기 변환 및 양자화 단계에서 변환 및 양자화된 신호를 엔트로피 부호화하는 엔트로피 부호화 단계

를 포함하는 다시점 동영상 부호화 방법.
제 15 항에 있어서,

상기 예측 단계는,

입력된 참조 영상이 현재 부호화하는 영상과 같은 시점의 영상일 경우에는 움직임 추정을 수행하고, 참조 영상이 다른 시점의 영상일 경우에는 변위 추정을 수행하는 변위/움직임 추정 단계; 및

입력된 참조 영상이 현재 부호화하는 영상과 같은 시점의 영상일 경우에는 움직임 보상을 수행하고, 참조 영상이 다른 시점의 영상일 경우에는 변위 보상을 수행하는 변위/움직임 보상 단계

를 포함하는 다시점 동영상 부호화 방법.
제 15 항에 있어서,

상기 다시점 참조 영상 제공 단계는,

현재 시점의 다른 시간의 복원 영상을 저장하는 복원 영상 저장 단계;

인접 시점의 현재 시간의 복원 영상을 저장하는 제 1 인접 시점 참조 영상 저장 단계;

인접 시점의 다른 시간의 복원 영상을 저장하는 제 2 인접 시점 참조 영상 저장 단계;

상기 제 1 인접 시점 참조 영상 저장 단계 및 제 2 인접 시점 참조 영상 저장 단계에서 저장되는 인접 시점 영상을 현재 시점의 영상으로 변환하는 시점 변환 단계; 및

상기 시공간적 GOP 구조 정보에 기초하여 상기 복원 영상 저장 단계에서 저장되는 영상 및 상기 시점 변환 단계에서 변환되는 영상 중에서 현재 부호화에 이용되는 참조 영상을 선택하여 제공하는 참조 영상 선택 단계

를 포함하는 다시점 동영상 부호화 방법.
임의의 다시점 영상으로 구성된 다시점 동영상의 복호화 장치로서,

상기 다시점 영상간의 참조 관계를 나타내는 시공간적 GOP(Group of Picture) 구조 정보가 포함된 영상 신호열을 복호화하는 다시점 복호화부; 및

상기 시공간적 GOP 구조 정보에 기초하여 상기 다시점 복호화부에 의해 복호된 신호를 다시점 영상으로 복원하는 영상 재생부

를 포함하되,

상기 다시점 영상간의 참조 관계는

상기 다시점 영상간의 시공간적 일방 또는 상호 참조 관계를 나타내는 정보를 포함하는

다시점 동영상 복호화 장치.
제 18 항에 있어서,

상기 시공간적 GOP 구조 정보는

상기 다시점 영상간의 복호화 순서 정보를 포함하는

다시점 동영상 복호화 장치.
제 19 항에 있어서,

상기 시공간적 GOP 구조 정보는,

시간적 구조 정보인 MPEG-2의 GOP 구성 정보; 및

공간적 구조 정보인 상기 다시점 영상의 시점 정보

를 포함하는 다시점 동영상 복호화 장치.
임의의 다시점 영상으로 구성된 다시점 동영상의 복호화 방법으로서,

상기 다시점 영상간의 참조 관계를 나타내는 시공간적 GOP(Group of Picture) 구조 정보가 포함된 영상 신호열을 복호화하는 다시점 복호화 단계; 및

상기 시공간적 GOP 구조 정보에 기초하여 상기 다시점 복호화 단계에서 복호된 신호를 다시점 영상으로 복원하는 영상 재생 단계

를 포함하되,

상기 다시점 영상간의 참조 관계는

상기 다시점 영상간의 시공간적 일방 또는 상호 참조 관계를 나타내는 정보를 포함하는

다시점 동영상 복호화 방법.
제 21 항에 있어서,

상기 시공간적 GOP 구조 정보는

상기 다시점 영상간의 복호화 순서 정보를 포함하는

다시점 동영상 복호화 방법.
제 22 항에 있어서,

상기 시공간적 GOP 구조 정보는,

시간적 구조 정보인 MPEG-2의 GOP 구성 정보; 및

공간적 구조 정보인 상기 다시점 영상의 시점 정보

를 포함하는 다시점 동영상 복호화 방법.