KR20090007190A

KR20090007190A - 양안식 영상 정보를 모두 포함하는 양안식 영상 포맷부호화 방법 및 장치, 그리고 양안식 영상 포맷 복호화방법 및 장치

Info

Publication number: KR20090007190A
Application number: KR1020070088303A
Authority: KR
Inventors: 김용태; 김재승; 주성신; 김대식
Original assignee: 삼성전자주식회사
Priority date: 2007-07-13
Filing date: 2007-08-31
Publication date: 2009-01-16

Abstract

본 발명의 양안식 영상 부호화 방법은 기준 시점 영상 및 부가 시점 영상의 정보를 조합한 결합 영상을 생성하고, 기준 시점 영상과 부가 시점 영상 사이의 깊이 맵을 생성하며, 결합 영상을 이용하여 제 1 YUV 포맷을 생성하고, 깊이 맵을 이용하여 제 2 YUV 포맷을 생성함으로써 양안식 영상의 기준 시점 영상 및 부가 시점 영상의 정보를 모두 포함하는 영상 포맷을 구현하고, 차이 영상 정보 및 변이/깊이 정보 또는 움직임 정보를 이용하므로 효율적인 부복호화가 가능하다.

양안식 영상, 양안식 영상 포맷, 변이 맵, 움직임 맵, 변이 추정, 움직임 추정

Description

양안식 영상 정보를 모두 포함하는 양안식 영상 포맷 부호화 방법 및 장치, 그리고 양안식 영상 포맷 복호화 방법 및 장치{Method and apparatus for encoding and for decoding stereoscopic image format containing both base-view and additional-view images information}

본 발명은 양안식 영상으로부터 양안식 영상 포맷을 생성하여 부호화하고, 양안식 영상 포맷을 복호화하여 양안식 영상을 복원하는 방법 및 장치에 관한 것으로, 더 상세하게는 양안식 영상의 더 정확한 복원을 위해 양안식 영상의 다양한 정보를 전송하고, 효율적으로 전송할 수 있는 양안식 영상 포맷의 부호화 방법 및 복호화 방법에 관한 것이다.

현재 양안식 영상을 전송하기 위한 방법들이 많이 제안되었다. 예를 들면, 양안식 영상의 효율적인 전송을 위해, MPEG-2 MVP(Multi-view Video Profile)을 시작으로 MPEG-4 MAC(Multiple Auxiliary Component)를 이용한 깊이 맵(depth map) 전송 방법, MPEG-4 AVC/H.264의 MVC(Multi-view Video Coding) 등의 표준들이 제정되었다.

양안식 영상 전송 기술로써, 좌우 영상을 필드 단위로 구성한 영상 포맷 기 법이 있다.

도 1a 는 필드 단위의 양안식 영상 포맷을 도시한다. 먼저 입력된 좌우 영상을 세로로 한 라인씩 배치한 후 이를 순차적인 필드 단위의 포맷으로 만들어서 전송하고 수신 과정을 보여 준다.

도 1b 는 필드 단위의 양안식 영상 포맷의 송신단 및 수신단의 전체적인 블록도를 도시한다.

도 1b 는 양안식 영상 포맷을 구성하고 부호화하는 전처리부 및 수신된 영상 포맷을 복호화하여 양안식 영상을 복원하는 후처리부를 도시한다. 필드 단위로 변환된 좌우 영상은 엠펙(MPEG) 부호화기를 통해서 압축된다. 엠펙-1(MPEG-1)을 제외한 나머지 엠펙(MPEG)은 필드 단위의 압축 방법을 지원하기 때문에, 블록 단위의 DCT를 수행하고 움직임 추정 및 변이 추정 기법을 수행할 때 압축 효율을 유지하는 구조를 갖는다.

도 1a를 포함한 기존 영상 포맷 기법은 양안식 영상의 전처리부 또는 후처리부에 대해 정의되어 있지 때문에 양안식 영상 포맷이 복호화될 경우 필드 단위로 좌우 영상이 번갈아 디스플레이되므로, 시청자는 심각한 플리커 현상(flickering effect)를 겪을 수 있다.

또한, 다시점 영상으로 확장시킬 경우 하나의 영상에 다수의 영상을 포함시키는 영상 포맷은 시점 수에 따라 해상도가 감소하는 문제점이 있다. 또한 이런 식으로 형성된 결합 영상은 압축 효율이 저하된다.

도 2 는 기존의 2차원 영상과 깊이 맵만을 전송하는 양안식 영상 포맷을 도 시한다.

양안식 영상을 위한 표준 중, Information technology의 "MPEG video technologies- Part 3: Representation of auxiliary video and supplemental information"에서는 깊이 정보에 대한 전송 방법에 대해 규정하고 있다. 이 표준에서는 2 차원 영상과 해당 깊이 정보를 전송한다. 전술한 표준과 같이 기존의 양안식 영상 전송 방식은 2차원 영상(210) 및 깊이 맵(220)에 각각 한 채널을 할당하여 전송한다.

도 3a 은 기존의 양안식 영상 포맷을 획득하는 방법을 도시한다.

다시점 영상은 도 3a와 같이 다수 개의 카메라를 이용하여 다시점에서 촬영된다. 즉 물체 310, 320 및 330은 카메라 340, 350 및 360에 의해 각각 다른 시점에서 촬영되므로, 다른 각도로 촬영된다.

도 3b 는 기존의 양안식 영상 포맷의 문제점을 도시한다.

영상 370, 380, 390은 모두 도 3a의 촬영으로 인해 획득된 영상이다. 즉, 영상 390은 카메라 340에 의해, 영상 380은 카메라 350에 의해, 영상 370은 카메라 360에 의해 촬영된 영상이다.

각각의 영상에서 볼 수 있듯이, 한 시점의 영상만이 전송된다면 가려진 영역(occlusion)은 변이/깊이 정보가 있더라도 그 정보가 복원될 수가 없다. 따라서 기존의 2차원 영상과 깊이 맵만을 전송하는 방식은 가려진 영역에서 렌더링되는 경우 많은 문제점이 발생된다.

본 발명은 양안식 영상의 더 정확한 복원을 위해 양안식 영상의 모든 시점 정보 및 변이/깊이 정보를 함께 전송하고, 효율적인 전송효율을 위한 양안식 영상 포맷의 부호화 방법 및 복호화 방법을 제안한다.

한 시점의 2차원 영상과 변이/깊이 정보만으로는 가려진 영역의 정보가 복원될 수 없으므로 기준 시점 영상 및 부가 시점 영상을 모두 포함하여야 한다. 또한, 전송 효율을 위해 기준 시점 영상 정보, 부가 시점 영상 정보 및 변이/깊이 정보를 모두 포함하면서 기존 방식과 마찬가지로 두 개의 채널을 이용하여 전송할 수 있는 영상 포맷이 제안된다.

또한, 보다 정확하고 효율적인 부호화 및 복호화를 위해 변이/깊이 정보 뿐만 아니라 움직임 정보를 이용하는 방법이 제안된다.

따라서 상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 양안식 영상 부호화 방법은 기준 시점 영상 및 부가 시점 영상의 정보를 조합한 결합 영상을 생성하는 단계, 기준 시점 영상과 부가 시점 영상 사이의 깊이 맵을 생성하는 단계, 결합 영상을 이용하여 제 1 YUV 포맷을 생성하는 단계, 및 깊이 맵을 이용하여 제 2 YUV 포맷을 생성하는 단계를 포함한다.

일 실시예의 결합 영상을 생성하는 단계는, 기준 시점 영상의 픽셀 정보 및 부가 시점 영상의 픽셀 정보를 포함하며, 기준 시점 영상 및 부가 시점 영상의 해 상도와 동일한 결합 영상을 생성한다.

일 실시예의 제 2 YUV 포맷 생성 단계는 깊이 맵 정보를 제 2 YUV 포맷의 Y 영역에 기록하는 단계, 및 제 2 YUV 포맷의 U 영역 및 V 영역에는 128 또는 0의 일정한 값을 기록하는 단계를 포함한다.

일 실시예의 제 2 YUV 포맷 생성 단계는, 제 2 YUV 포맷의 Y 영역, U 영역 및 V 영역의 해상도를 가로 방향 또는 세로 방향으로 1/2씩 축소하는 단계를 포함한다.

상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 양안식 영상 포맷 부호화 방법은 기준 시점 영상 및 부가 시점 영상 사이의 깊이 맵 및 부가 시점 영상의 움직임 맵을 생성하는 단계, 기준 시점 영상 및 부가 시점 영상 사이의 차이 영상을 생성하는 단계, 기준 시점 영상을 이용하여 제 1 YUV 포맷을 생성하는 단계, 및 차이 영상, 및 상기 깊이 맵 또는 움직임 맵을 이용하여 제 2 YUV 포맷을 생성하는 단계를 포함한다.

일 실시예의 차이 영상 생성 단계는, 기준 시점 영상을 부호화한 후 다시 복호화한 영상과 부가 시점 영상 사이의 차이 영상을 생성한다.

일 실시예의 제 2 YUV 포맷 생성 단계는 깊이 맵 및 움직임 맵 중 각각의 편차가 작은 것을 결정하는 단계, 및 깊이 맵이 결정된다면, 깊이 맵을 이용하여 제 2 YUV 포맷을 생성하고, 움직임 맵이 결정된다면, 기준 시점 영상 및 부가 시점 영상의 각각의 첫 번째 프레임 사이의 깊이 맵을 이용하여 제 2 YUV 포맷의 첫 번째 프레임을 생성하고, 부가 시점 영상의 나머지 프레임 사이의 움직임 맵을 이용하여 제 2 YUV 포맷의 나머지 프레임을 생성하는 단계를 포함한다.

일 실시예의 제 2 YUV 포맷 생성 단계는 차이 영상의 휘도 정보(Y 정보)를 제 2 YUV 포맷의 Y 영역에 기록하는 단계, 깊이 맵 또는 움직임 맵을 제 2 YUV 포맷의 U 영역 및 V 영역 중 어느 한 영역에 기록하는 단계 및 차이 영상의 색상 정보(U 정보 및 V 정보)를 제 2 YUV 포맷의 U 영역 및 V 영역 중 나머지 영역에 기록하는 단계를 포함한다.

일 실시예의 제 2 YUV 포맷 생성 단계는 깊이 맵 또는 움직임 맵을 제 2 YUV 포맷의 Y 영역에 기록하는 단계, 차이 영상의 Y 정보를 제 2 YUV 포맷의 U 영역 및 V 영역 중 어느 한 영역에 기록하는 단계, 및 차이 영상의 U 정보 및 V 정보를 제 2 YUV 포맷의 U 영역 및 V 영역 중 나머지 영역에 기록하는 단계를 포함한다.

상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 양안식 영상 포맷 부호화 방법은 기준 시점 영상 및 부가 시점 영상 사이의 깊이 맵을 생성하는 단계, 기준 시점 영상을 이용하여 제 1 YUV 포맷을 생성하는 단계, 부가 시점 영상을 이용하여 제 2 YUV 포맷을 생성하는 단계, 및 깊이 맵을 이용하여 제 3 YUV 포맷을 생성하는 단계를 포함한다.

일 실시예의 제 3 YUV 포맷 생성 단계는 깊이 맵 정보를 제 3 YUV 포맷의 Y 영역에 기록하는 단계, 및 제 3 YUV 포맷의 U 영역 및 V 영역에는 128 또는 0의 일정한 값을 기록하는 단계를 포함한다.

상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 양안식 영상 포맷 복호화 방법은 수신된 제 1 YUV 포맷으로부터 기준 시점 영상 및 부가 시점 영상의 결합 영상 정보를 추출하는 단계, 수신된 제 2 YUV 포맷으로부터 기준 시점 영상 및 부가 시점 영상 사이의 깊이 맵을 추출하는 단계, 및 추출된 결합 영상 정보 및 깊이 맵을 이용하여 기준 시점 영상 및 부가 시점 영상을 복원하는 단계를 포함한다.

일 실시예의 깊이 맵 추출 단계는 제 2 YUV 포맷이 축소된 포맷인 경우, 원래 해상도로 확대하는 단계, 및 제 2 YUV 포맷의 Y 영역으로부터 깊이 맵을 추출하는 단계를 포함한다.

일 실시예의 복원 단계는 추출된 결합 영상 정보로부터 기준 시점 영상의 부분 정보 및 부가 시점 영상의 부분 정보를 복원하는 단계, 및 복원된 기준 시점 영상의 부분 정보, 복원된 부가 시점 영상의 부분 정보 및 깊이 맵을 이용하여, 원래 해상도의 기준 시점 영상 및 부가 시점 영상을 복원하는 단계를 포함한다.

상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 양안식 영상 복호화 방법은 수신된 제 1 YUV 포맷으로부터 기준 시점 영상 정보를 추출하는 단계, 수신된 제 2 YUV 포맷으로부터 기준 시점 영상 및 부가 시점 영상 사이의 차이 영상 정보, 및 기준 시점 영상 및 부가 시점 영상 사이의 깊이 맵 또는 부가 시점 영상의 움직임 맵을 추출하는 단계, 및 추출된 기준 시점 영상 정보, 차이 영상 정보 및 깊이 맵 또는 움직임 맵을 이용하여 기준 시점 영상 및 부가 시점 영상을 복원하는 단계를 포함한다.

일 실시예의 제 2 YUV 포맷으로부터의 추출 단계는 제 2 YUV 포맷의 Y 영역으로부터 차이 영상의 Y 정보를 추출하는 단계, 제 2 YUV 포맷의 U 영역 및 V 영역 중 어느 한 영역으로부터 깊이 맵 또는 움직임 맵을 추출하는 단계, 및 제 2 YUV 포맷의 U 영역 및 V 영역 중 나머지 영역으로부터 차이 영상의 색상 정보(U 정보 및 V 정보)를 추출하는 단계를 포함한다.

일 실시예의 제 2 YUV 포맷으로부터의 추출 단계는 제 2 YUV 포맷의 Y 영역으로부터 깊이 맵 또는 움직임 맵을 추출하는 단계, 제 2 YUV 포맷의 U 영역 및 V 영역 중 어느 한 영역으로부터 차이 영상의 Y 정보를 추출하는 단계, 및 제 2 YUV 포맷의 U 영역 및 V 영역 중 나머지 영역으로부터 차이 영상의 U 정보 및 V 정보를 추출하는 단계를 포함한다.

일 실시예의 복원 단계는 깊이 맵만 수신된 경우라면, 깊이 맵 및 추출된 기준 시점 영상 정보를 이용하여 부가 시점 영상을 복원하고, 깊이 맵 및 움직임 맵이 수신된 경우라면, 깊이 맵 및 추출된 기준 시점 영상 정보의 첫 번째 프레임을 이용하여 부가 시점 영상의 첫 번째 프레임으로 복원하는 단계, 및 움직임 맵 및 복원된 부가 시점 영상의 첫 번째 프레임을 이용하여 부가 시점 영상의 나머지 프레임을 복원하는 단계를 포함한다.

상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 양안식 영상 복호화 방법은 수신된 제 1 YUV 포맷으로부터 기준 시점 영상 정보를 추출하는 단계, 수신된 제 2 YUV 포맷으로부터 부가 시점 영상 정보를 추출하는 단계, 수신된 제 3 YUV 포맷으로부터 깊이 맵을 추출하는 단계, 및 추출된 기준 시점 영상 정보, 추출된 부가 시점 영상 정보 및 추출된 깊이 맵을 이용하여 기준 시점 영상 및 부가 시점 영상을 복원하는 단계를 포함한다.

일 실시예의 제 3 YUV 포맷으로부터의 추출 단계는 제 3 YUV 포맷의 Y 영역으로부터 깊이 맵 정보를 추출한다.

상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 양안식 영상 부호화 장치는 기준 시점 영상 및 부가 시점 영상의 정보를 조합한 결합 영상을 생성하는 결합 영상 생성부, 기준 시점 영상과 부가 시점 영상 사이의 깊이 맵을 생성하는 깊이 맵 생성부, 결합 영상을 이용하여 제 1 YUV 포맷을 생성하는 제 1 YUV 포맷 생성부, 및 깊이 맵을 이용하여 제 2 YUV 포맷을 생성하는 제 2 YUV 포맷 생성부를 포함한다.

상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 양안식 영상 포맷 부호화 장치는 기준 시점 영상 및 부가 시점 영상 사이의 깊이 맵 및 부가 시점 영상의 움직임 맵을 생성하는 깊이 맵 또는 움직임 맵 생성부, 기준 시점 영상 및 부가 시점 영상 사이의 차이 영상을 생성하는 차이 영상 생성부, 기준 시점 영상을 이용하여 제 1 YUV 포맷을 생성하는 생성부, 및 차이 영상, 및 깊이 맵 또는 움직임 맵을 이용하여 제 2 YUV 포맷을 생성하는 생성부를 포함한다.

상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 양안식 영상 포맷 부호화 장치는 기준 시점 영상 및 부가 시점 영상 사이의 깊이 맵을 생성하는 깊이 맵 생성부, 기준 시점 영상을 이용하여 제 1 YUV 포맷을 생성하는 제 1 YUV 포맷 생성부, 부가 시점 영상을 이용하여 제 2 YUV 포맷을 생성하는 제 2 YUV 포맷 생성부, 및 깊이 맵을 이용하여 제 3 YUV 포맷을 생성하는 제 3 YUV 포맷 생성부를 포함한다.

상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 양안식 영상 복호화 장치는 수신된 제 1 YUV 포맷으로부터 기준 시점 영상 및 부가 시점 영상의 결합 영상 정보를 추출하는 결합 영상 추출부, 수신된 제 2 YUV 포맷으로부터 기준 시점 영상 및 부가 시점 영상 사이의 깊이 맵을 추출하는 깊이 맵 추출부, 및 추출된 결합 영상 정보 및 깊이 맵을 이용하여 기준 시점 영상 및 부가 시점 영상을 복원하는 복원부를 포함한다.

상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 양안식 영상 포맷 복호화 장치는 수신된 제 1 YUV 포맷으로부터 기준 시점 영상 정보를 추출하는 제 1 YUV 포맷 추출부, 수신된 제 2 YUV 포맷으로부터 기준 시점 영상 및 부가 시점 영상 사이의 차이 영상 정보, 및 기준 시점 영상 및 부가 시점 영상 사이의 깊이 맵 또는 부가 시점 영상의 움직임 맵을 추출하는 제 2 YUV 포맷 추출부, 및 추출된 기준 시점 영상 정보, 차이 영상 정보 및 깊이 맵 또는 움직임 맵을 이용하여 기준 시점 영상 및 부가 시점 영상을 복원하는 복원부를 포함한다.

상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 양안식 영상 복호화 장치는 수신된 제 1 YUV 포맷으로부터 기준 시점 영상 정보를 추출하는 제 1 YUV 포맷 추출부, 수신된 제 2 YUV 포맷으로부터 부가 시점 영상 정보를 추출하는 제 2 YUV 포맷 추출부, 수신된 제 3 YUV 포맷으로부터 깊이 맵을 추출하는 제 3 YUV 포맷 추출부, 및 추출된 기준 시점 영상 정보, 추출된 부가 시점 영상 정보 및 추출된 깊이 맵을 이용하여 기준 시점 영상 및 부가 시점 영상을 복원하는 복원부를 포함한다.

본 발명은, 본 발명의 일 실시예에 따른 양안식 영상 부호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.

또한 본 발명은, 본 발명의 일 실시예에 따른 양안식 영상 복호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.

본 발명에 의한 양안식 영상 포맷 부호화 방법 및 복호화 방법은 양안식 영상의 모든 시점 정보 및 변이/깊이 정보를 함께 전송함으로써, 복호화단에서 기준 시점 영상 및 부가 시점 영상을 보다 정확하게 복원하는 효과가 있다.

또한, 하나 이상의 시점의 영상 정보가 송수신되므로 한 시점에서는 가려진 영역도 다른 시점으로부터 얻을 수 있으므로 복원된 양안식 영상의 화질이 개선된다.

기준 시점 영상 정보, 부가 시점 영상 정보이 결합되면서 원 영상과 동일한 해상도를 유지하는 결합 영상을 사용하므로 기존 방식에 비해 전송 채널을 늘리지 않은 채로 전송 효율을 높일 수 있다. 또한, 두 영상 간의 차이 영상를 이용하거나, 깊이 맵의 해상도를 축소함에 따라, 전송 효율이 개선되는 효과가 있다.

또한, 기준 시점 영상 및 부가 시점 영상 사이의 변이/깊이 정보 뿐만 아니라 부가 시점 영상 프레임 사이의 움직임 정보가 이용되므로, 보다 효율적인 부호화가 가능하다.

이하 도 4a 내지 도 9b를 참조하여, 본 발명의 일 실시예에 따른 양안식 영 상 포맷 부호화 방법과 장치, 및 복호화 방법과 장치를 상세히 설명한다.

도 4a 는 본 발명의 일 실시예에 따른 양안식 영상 포맷 부호화 장치의 블록도를 도시한다.

본 발명의 일 실시예에 따른 양안식 영상 포맷 부호화 장치(400)는 결합 영상 생성부(410), 깊이 맵 생성부(420), 제 1 YUV 포맷 생성부(430), 제 2 YUV 포맷 생성부(440) 및 전송부(450)를 포함한다.

결합 영상 생성부(410)는 기준 시점 영상 및 부가 시점 영상을 입력 받아, 기준 시점 영상 및 부가 시점 영상의 정보를 조합한 결합 영상을 생성하여, 제 1 YUV 포맷 생성부(430)로 출력한다.

결합 영상 생성부(410)의 일 실시예는 기준 시점 영상의 픽셀 정보 및 부가 시점 영상의 픽셀 정보를 포함하며, 기준 시점 영상 및 부가 시점 영상의 해상도와 동일한 결합 영상을 생성한다.

결합 영상 생성부(410)의 일 실시예에서, 기준 시점 영상 및 부가 시점 영상을 결합하는 방법은 기준 시점 영상 및 부가 시점 영상을 좌우로 나란히 배열하여 하나의 영상으로 결합하는 '사이드 바이 사이드(Side by side)' 방식, 상하로 나란히 배열하는 '탑 바텀(Top bottom)' 방식, 라인 단위로 교대로 배열하는 '라인 인터리브드(Line interleaved)' 방식 등이 있을 수 있다.

깊이 맵 생성부(420)는 기준 시점 영상 및 부가 시점 영상을 입력 받아, 기준 시점 영상과 부가 시점 영상 사이의 깊이 맵을 생성하여, 제 2 YUV 포맷 생성 부(440)로 출력한다.

깊이 맵 생성부(420)의 일 실시예는 기준 시점 영상 및 부가 시점 영상 사이의 변이 추정을 통하여 구한 변이 벡터를 통해 깊이 맵을 생성한다. 또 다른 실시예는 깊이 카메라 장치로 깊이 맵을 생성한다.

본 발명의 일 실시예는 변이 추정 또는 깊이 카메라 장치를 이용하여 생성한 깊이 맵 뿐만 아니라 변이 맵을 이용할 수 있다.

제 1 YUV 포맷 생성부(430)는 결합 영상 생성부(410)로부터 입력 받은 결합 영상을 이용하여 제 1 YUV 포맷을 생성하여, 전송부(450)로 출력한다.

제 2 YUV 포맷 생성부(440)는 깊이 맵 생성부(420)로부터 입력 받은 깊이 맵 영상을 이용하여 제 2 YUV 포맷을 생성하여, 전송부(450)로 출력한다.

제 1 YUV 포맷 생성부(430) 및 제 2 YUV 포맷 생성부(440)의 동작 방법은 이하 6a, 도 6b, 도 6c 및 도 7을 참조하여 상세히 기술된다.

전송부(450)는 제 1 YUV 포맷 생성부(430)로부터 입력 받은 제 1 YUV 포맷을 기준 채널로 전송하고, 제 2 YUV 포맷 생성부(440)로부터 입력 받은 제 2 YUV 포맷을 부가 채널로 전송한다.

도 4b 는 본 발명의 일 실시예에 따른 양안식 영상 포맷 복호화 장치의 블록도를 도시한다.

본 발명의 일 실시예에 따른 양안식 영상 복호화 장치(460)은 결합 영상 추출부(470), 깊이 맵 추출부(480) 및 복원부(490)를 포함한다.

결합 영상 추출부(470)는 수신된 제 1 YUV 포맷으로부터 기준 시점 영상 및 부가 시점 영상의 결합 영상 정보를 추출하여, 복원부(490)로 출력한다.

깊이 맵 추출부(480)는 수신된 제 2 YUV 포맷으로부터 기준 시점 영상 및 부가 시점 영상 사이의 깊이 맵을 추출하여, 복원부(490)로 출력한다.

결합 영상 추출부(470) 및 깊이 맵 추출부(480)의 동작 방법은 이하 도 6a, 도 6b, 도 6c 및 도 7을 참조하여 상세히 기술된다.

복원부(490)는 결합 영상 추출부(470)로부터 입력받은 결합 영상 정보 및 깊이 맵 추출부(480)로부터 입력받은 깊이 맵을 이용하여, 기준 시점 영상 및 부가 시점 영상을 복원하여 출력한다.

복원부(490)의 일 실시예는 먼저, 추출된 결합 영상 정보로부터 기준 시점 영상의 부분 정보 및 부가 시점 영상의 부분 정보를 복원한다. 복원된 기준 시점 영상의 부분 정보 및 부가 시점 영상의 부분 정보와 추출된 깊이 맵을 이용하여, 원래 해상도의 기준 시점 영상 및 부가 시점 영상이 복원된다. 이 때, 깊이 맵의 변이 벡터 정보를 이용한 변이 보상이 수행됨에 따라 기준 시점 영상 및 부가 시점 영상의 해상도가 복원된다.

도 5 는 본 발명의 일 실시예에 따른 양안식 영상 포맷 송수신 시스템을 도시한다.

시퀀스 502는 기준 시점 영상의 시퀀스, 시퀀스 504는 부가 시점 영상의 시퀀스를 도시한다. 본 발명의 일 실시예는 기준 시점 영상으로 좌측 시점 영상을, 부가 시점 영상으로 우측 시점 영상을 사용한다.

시퀀스 592는 복원된 기준 시점 영상의 시퀀스, 시퀀스 594는 복원된 부가 시점 영상의 시퀀스, 시퀀스 596은 복원된 깊이 맵 시퀀스를 도시한다.

양안식 영상 포맷 송수신 시스템(500)는 깊이 카메라 장치(506), 결합 영상 생성부(510), 깊이 맵 생성부(520), 기준 시점 부호화기(530), 부가 시점 부호화기(540), 기준 시점 복호화기(550), 부가 시점 복호화기(560) 및 양안식 영상 추출부(570)를 포함한다.

깊이 카메라 장치(506), 결합 영상 생성부(510), 깊이 맵 생성부(520)는 각각, 본 발명의 일 실시예에 따른 양안식 영상 포맷 부호화 장치(400)의 깊이 카메라 장치, 결합 영상 생성부(410) 및 변이/깊이 생성부(420)와 동일한 기능을 수행한다.

양안식 영상 포맷 송수신 시스템(500)의 기준 시점 부호화기(530), 부가 시점 부호화기(540), 기준 시점 복호화기(550), 부가 시점 복호화기(560)는, 기준 시점 영상 및 부가 시점 영상을 각각 한 채널씩 할당하여 송수신하는 기존의 양안식 영상 포맷 송수신 시스템의 각각의 구성 요소들과 동일하다.

본 발명의 양안식 영상 포맷 송수신 시스템(500)은 기존의 양안식 영상 부복호화 시스템을 사용할 수 있다. 즉, 양안식 영상 포맷 송수신 시스템(500)의 결합 영상 생성부(410,510)에 의해 생성된 결합 영상은 기존 시스템의 기준 시점 부호화기(530)를 통해 부호화되고, 깊이 맵 생성부(420, 520)에 의해 생성된 깊이 맵은 기존 시스템의 부가 시점 부호화기(540)를 통해 부호화된다.

상기 부호화된 결합 영상 및 부호화된 깊이 맵이 각각 한 채널씩 할당되어 전송되면, 기존 시스템의 기준 시점 복호화기(550)에 의해 결합 영상이 복호화되 고, 기존 시스템의 부가 시점 복호화기(560)에 의해 깊이 맵이 복호화된다.

양안식 영상 추출부(570)는 기준 시점 복호화기(550)로부터 복호화된 결합 영상에서, 영상 보간 기법 등의 이용하여 기준 시점 영상 및 부가 시점 영상을 추출한다.

따라서 양안식 영상 포맷 송수신 시스템(500)로부터 복호화된 기준 시점 영상(592), 부가 시점 영상(594) 및 깊이 맵(596)을 이용하여, 최종적으로 기준 시점 영상 및 부가 시점 영상이 복원될 수 있다.

이하, 도 6a 내지 6c를 참조하여, 본 발명의 여러 실시예에 따른 양안식 영상 포맷을 설명한다.

도 6a 내지 6c를 참조하여, 제 1 YUV 포맷 생성부(430), 제 2 YUV 포맷 생성부(440), 결합 영상 추출부(470) 및 깊이 맵 추출부(480)의 동작 과정이 추가적으로 서술된다.

도 6a 는 본 발명의 일 실시예에 따른 양안식 영상 포맷을 도시한다.

영상 610은 기준 채널로 전송될 제 1 YUV 포맷을 도시한다.

영상 620은 부가 채널로 전송될 제 2 YUV 포맷의 Y 영역을 도시한다.

영상 630은 부가 채널로 전송될 제 2 YUV 포맷의 U 영역 및 V 영역을 도시한다.

제 1 YUV 포맷 생성부(430)는 결합 영상 생성부(410)가 생성한 결합 영상을 YUV 형식으로 변환하여 제 1 YUV 포맷(610)을 생성한다.

제 2 YUV 포맷 생성부(440)는 깊이 맵 생성부(420)가 생성한 깊이 맵 정보를 제 2 YUV 포맷의 Y 영역(620)에 기록하고, 제 2 YUV 포맷의 U 영역 및 V 영역(630)에는 128 또는 0의 일정한 값을 기록함으로써, 제 2 YUV 포맷을 생성한다.

복호화 과정에 있어서도 마찬가지로, 결합 영상 추출부(470)는 제 1 YUV 포맷으로부터 결합 영상을 추출하고, 깊이 맵 추출부(480)는 제 2 YUV 포맷의 Y 영역으로부터 깊이 맵을 추출한다.

도 6b 는 본 발명의 일 실시예에 따른 양안식 영상 포맷을 도시한다.

영상 640은 부가 채널로 전송될 제 2 YUV 포맷의 Y 영역을 도시한다.

영상 650은 부가 채널로 전송될 제 2 YUV 포맷의 U 영역 및 V 영역을 도시한다.

일반적으로 깊이 맵 정보는 영상 정보에 비해 변화량(variation)이 크지 않기 때문에 해상도를 축소하여도 그 효용성이 떨어지지 않는다. 따라서 제 2 YUV 포맷 생성부(440)의 일 실시예는, 제 2 YUV 포맷의 너비 및 깊이 맵 생성부(420)가 생성한 깊이 맵의 너비를 반으로 축소하여, 제 2 YUV 포맷의 Y 영역에 기록한다. 제 2 YUV 포맷의 Y 영역과 마찬가지로 U 영역 및 V 영역의 너비도 반으로 축소된다. 뿐만 아니라, 제 2 YUV 포맷 생성부(440)의 다른 실시예들은, 깊이 맵의 높이만을 1/2로 축소할 수도 있으며, 깊이 맵의 너비 및 높이를 모두 1/2로 축소하는 등의 다양한 축소 패턴이 사용될 수 있다.

복호화 과정에서는, 결합 영상 추출부(470)는 제 1 YUV 포맷으로부터 결합 영상을 추출하고, 깊이 맵 추출부(480)는 제 2 YUV 포맷의 Y 영역으로부터 깊이 맵을 추출한다. 깊이 맵 추출부(480)의 일 실시예는 추출된 깊이 맵이 축소된 해상도 를 가졌다면, 원래의 해상도로 재확대함으로써 깊이 맵을 복원한다.

도 6c 는 본 발명의 일 실시예에 따른 양안식 영상 포맷을 도시한다.

영상 660은 부가 채널로 전송될 축소된 제 2 YUV 포맷의 Y 영역을 도시한다.

영상 670은 부가 채널로 전송될 축소된 제 2 YUV 포맷의 U 영역 및 V 영역을 도시한다.

제 2 YUV 포맷 생성부(440)의 일 실시예는, 제 2 YUV 포맷의 너비와 높이 및 깊이 맵 생성부(420)가 생성한 깊이 맵의 너비와 높이를 각각 반으로 축소하여, 제 2 YUV 포맷의 Y 영역에 기록한다. 제 2 YUV 포맷의 Y 영역과 마찬가지로 U 영역 및 V 영역의 너비와 높이도 각각 반으로 축소된다.

복호화 과정에서는, 결합 영상 추출부(470)는 제 1 YUV 포맷으로부터 결합 영상을 추출하고, 깊이 맵 추출부(480)는 제 2 YUV 포맷의 Y 영역으로부터 깊이 맵을 추출한다. 깊이 맵 추출부(480)의 일 실시예는 추출된 깊이 맵이 축소된 해상도를 가졌다면, 원래의 해상도로 재확대함으로써 깊이 맵을 복원한다.

도 7a 는 본 발명의 다른 실시예에 따른 양안식 영상 포맷 부호화 장치의 블록도를 도시한다.

본 발명의 다른 실시예에 따른 양안식 영상 포맷 부호화 장치(700)는 깊이 맵 생성부(710), 움직임 맵 생성부(715), 차이 영상 생성부(720), 제 1 YUV 포맷 생성부(730), 제 2 YUV 포맷 생성부(740) 및 전송부(750)를 포함한다.

변이 깊이 맵 생성부(710)는 기준 시점 영상 및 부가 시점 영상을 입력 받아, 기준 시점 영상 및 부가 시점 영상 사이의 깊이 맵을 생성하여, 제 2 YUV 포맷 생성부(740)로 출력한다.

변이 깊이 맵 생성부(710)의 일 실시예는 기준 시점 영상 및 부가 시점 영상 사이의 변이 추정을 통하여 구한 변이 벡터를 통해 깊이 맵을 생성한다. 또 다른 실시예는 깊이 카메라 장치를 이용하여 깊이 맵을 생성한다.

움직임 맵 생성부(715)는 기준 시점 영상 및 부가 시점 영상을 입력 받아, 부가 시점 영상 프레임 사이의 움직임 맵을 생성하여, 제 2 YUV 포맷 생성부(740)로 출력한다.

움직임 맵 생성부(715)의 일 실시예는 부가 시점 영상 프레임 사이의 움직임 추정을 통하여 구한 움직임 벡터를 통해 움직임 맵을 생성한다.

차이 영상 생성부(720)는 기준 시점 영상 및 부가 시점 영상을 입력 받아, 기준 시점 영상 및 부가 시점 영상 사이의 차이 영상을 생성하여, 제 2 YUV 포맷 생성부(740)로 출력한다.

차이 영상 생성부(720)의 일 실시예는, 부호화 과정에서 미리 수신단 측에서 복호화된 영상과의 오차를 고려하여, 기준 시점 영상을 부호화한 후 다시 복호화한 영상과 부가 시점 영상 사이의 차이 영상을 생성한다.

제 1 YUV 포맷 생성부(730)는 기준 시점 영상을 입력 받아, 기준 시점 영상을 이용하여 제 1 YUV 포맷을 생성하여, 전송부(750)로 출력한다.

제 2 YUV 포맷 생성부(740)는 깊이 맵 생성부(710), 움직임 맵 생성부(715) 및 차이 영상 생성부(720)로부터 각각 입력받은 깊이 맵, 움직임 맵, 차이 영상을 이용하여 제 2 YUV 포맷을 생성하여, 전송부(750)로 출력한다.

제 2 YUV 포맷 생성부(740)의 일 실시예는 깊이 맵 및 움직임 맵 중 각각의 편차가 작은 것을 결정한다. 만약 깊이 맵의 편차가 작다면, 깊이 맵을 이용하여 제 2 YUV 포맷을 생성하고, 움직임 맵의 편차가 작다면, 깊이 맵 및 움직임 맵을 이용하여 제 2 YUV 포맷을 생성한다.

제 1 YUV 포맷 생성부(730) 및 제 2 YUV 포맷 생성부(740)의 동작 원리는 이하 도 9a 내지 도 10c를 참조하여 상세히 기술된다.

전송부(450)는 제 1 YUV 포맷 생성부(430)로부터 입력 받은 제 1 YUV 포맷을 기준 채널로 전송하고, 제 2 YUV 포맷 생성부(440)로부터 입력받은 제 2 YUV 포맷을 부가 채널로 전송한다.

도 7b 는 본 발명의 다른 실시예에 따른 양안식 영상 포맷 복호화 장치의 블록도를 도시한다.

본 발명의 일 실시예에 따른 양안식 영상 복호화 장치(760)은 제 1 YUV 포맷 추출부(770), 제 2 YUV 포맷 추출부(780) 및 복원부(790)를 포함한다.

제 1 YUV 포맷 추출부(770)는 수신된 제 1 YUV 포맷으로부터 기준 시점 영상 정보를 추출하여, 복원부(490)로 출력한다.

제 2 YUV 포맷 추출부(780)는 수신된 제 2 YUV 포맷으로부터 기준 시점 영상 및 부가 시점 영상 사이의 차이 영상 정보, 및 기준 시점 영상 및 부가 시점 영상 사이의 깊이 맵 또는 부가 시점 영상의 움직임 맵을 추출하여, 복원부(490)로 출력 한다.

제 1 YUV 포맷 추출부(770) 및 제 2 YUV 포맷 추출부(780)의 동작 방법은 이하 도 9a 내지 10c을 참조하여 상세히 기술된다.

복원부(490)는 제 1 YUV 포맷 추출부(770)로부터 입력받은 기준 시점 영상 정보 및 제 2 YUV 포맷 추출부(780)로부터 입력받은 차이 영상 정보 및 깊이 맵 또는 움직임 맵을 이용하여, 기준 시점 영상 및 부가 시점 영상을 복원하여 출력한다.

복원부(490)의 상세한 동작 원리는 이하 도 9a 및 도 9b를 참조하여 상술된다.

도 8 는 본 발명의 다른 실시예에 따른 양안식 영상 포맷 송수신 시스템을 도시한다.

본 발명의 다른 실시예에 따른 양안식 영상 포맷 송수신 시스템(800)은 깊이 맵 생성부(810), 움직임 맵 생성부(820), 차이 영상 생성부(830), YUV 포맷 생성부(840), 기준 시점 부호화기(850), 부가 시점 부호화기(860), 기준 시점 복호화기(870), 부가 시점 복호화기(880) 및 부가 시점 영상 재구성부(890)를 포함한다.

양안식 영상 포맷 송수신 시스템(800)의 일부 구성 요소는 양안식 영상 포맷 부호화 장치(700) 및 양안식 영상 포맷 복호화 장치(760)의 일부 구성 요소와 각각 대응된다. 즉, 깊이 맵 생성부(810)는 깊이 맵 생성부(710)에, 움직임 맵 생성부(820)는 움직임 맵 생성부(715)에, 차이 영상 생성부(830)는 차이 영상 생성부(720)에, YUV 포맷 생성부(840)는 제 2 YUV 포맷 생성부(740)에 각각 대응된다.

또한, 본 발명의 양안식 영상 포맷 송수신 시스템(800)은 기존의 양안식 영상 부복호화 시스템을 사용할 수 있다. 즉, 양안식 영상 포맷 송수신 시스템(800)의 기준 시점 영상은 기존 시스템의 기준 시점 부호화기(530)를 통해 부호화되고, YUV 포맷 생성부(840)에 의해 생성된 제 2 YUV 포맷은 기존 시스템의 부가 시점 부호화기(860)를 통해 부호화된다.

다만, 본 발명의 기준 시점 부호화기(850)는 로컬 복호화기(955)를 포함한다. 로컬 복호화기(955)는 기준 시점 부호화기(850)에 의해 부호화된 기준 시점 영상을 한시적으로 복호화하여, 차이 영상 생성부(830)로 출력한다. 차이 영상 생성부(830)는 로컬 복호화기(855)에 의해 복호화된 기준 시점 영상과 부가 시점 영상 사이의 차이 영상을 생성한다. 이는 전술한 바와 같이, 수신단에서의 복호화 과정에서 발견될 수 있는 오차를 방지하기 위함이다.

상기 부호화된 기준 시점 영상 및 부호화된 제 2 YUV 포맷은 각각 한 채널씩 할당되어 전송되면, 기준 시점 복호화기(870)에 의해 기준 시점 영상이 복호화되고, 부가 시점 복호화기(880)에 의해 제 2 YUV 포맷이 복호화된다.

부가 시점 영상 재구성부(890)는 복호화된 기준 시점 영상과 복호화된 차이 영상, 깊이 맵 정보 또는 움직임 맵 정보를 이용하여 부가 시점 영상 및 깊이 맵 또는 움직임 맵을 복원한다.

도 9a 는 본 발명의 다른 실시예에 따른 양안식 영상 포맷을 구성하는 기준 시점 영상, 부가 시점 영상 및 깊이 맵의 관계를 도시한다.

도 9a를 참조하여, 깊이 맵 생성부(710), 제 2 YUV 포맷 생성부(740) 및 복 원부(790)의 동작 원리를 추가적으로 설명한다.

영상 910, 912, 914 및 916은 각각 기준 시점 영상 시퀀스의 프레임을 도시한다.

영상 920, 922, 924 및 926은 각각 부가 시점 영상 시퀀스의 프레임을 도시한다.

영상 930, 942, 944 및 946은 영상 910 및 영상 920 사이, 영상 912 및 영상 922 사이, 영상 914 및 영상 924 사이 및 영상 916 및 영상 926 사이의 깊이 맵을 도시한다.

깊이 맵 생성부(710)는 기준 시점 영상 및 부가 시점 영상의 각각의 프레임 사이의 변이 추정을 통하여 깊이 맵(930, 942, 944 및 946)을 생성한다.

제 2 YUV 포맷 생성부(740)는 제 2 YUV 포맷의 전송효율을 높이기 위해 깊이 맵과 움직임 맵의 편차를 비교하여, 깊이 맵의 편차가 더 작다면, 각각의 프레임 사이의 깊이 맵(930, 942, 944 및 946)을 이용하여 제 2 YUV 포맷을 생성한다.

도 9b 는 본 발명의 다른 실시예에 따른 양안식 영상 포맷을 구성하는 기준 시점 영상, 부가 시점 영상, 깊이 맵 및 움직임 맵의 관계를 도시한다.

도 9a를 참조하여, 깊이 맵 생성부(710), 제 2 YUV 포맷 생성부(740) 및 복원부(790)의 동작 원리를 추가적으로 설명한다.

영상 930는 영상 910 및 영상 920 사이의 깊이 맵을 도시한다.

영상 952, 954 및 956은 영상 920 및 영상 922 사이, 영상 922 및 영상 924 사이 및 영상 924 및 영상 926 사이의 움직임 맵을 도시한다.

깊이 맵 생성부(710)는 기준 시점 영상 및 부가 시점 영상의 각각의 첫 번째 프레임 사이의 변이 추정을 통하여 깊이 맵(930)을 생성한다.

움직임 맵 생성부(720)는 부가 시점 영상의 연속된 프레임 사이의 변이 추정을 통하여 깊이 맵(952, 954 및 956)을 생성한다.

제 2 YUV 포맷 생성부(740)는 깊이 맵과 움직임 맵의 편차를 비교하여 움직임 맵의 편차가 더 작다면, 부가 시점 영상의 각각의 프레임 사이의 움직임 맵(952, 954 및 956)을 이용하여 제 2 YUV 포맷을 생성한다.

다만, 인트라 모드가 사용되는 부가 시점 영상 GOP의 첫 번째 프레임에서는 이전 프레임과의 움직임 추정을 할 수 없으므로, 제 2 YUV 포맷의 첫 번째 프레임에서는 기준 시점 영상 GOP 및 부가 시점 영상 GOP의 각각의 첫 번째 프레임 사이의 변이 추정을 통해 얻은 깊이 맵이 사용된다.

이하 도 10a 내지 10c를 참고하여, 본 발명의 여러 실시예에 따른 양안식 영상 포맷을 설명한다.

도 10a 내지 10c를 참조하여, 제 1 YUV 포맷 생성부(730), 제 2 YUV 포맷 생성부(740), 제 1 YUV 포맷 추출부(770) 및 제 2 YUV 포맷 추출부(780)의 동작 과정이 추가적으로 서술된다.

도 10a 는 본 발명의 다른 실시예에 따른 양안식 영상 포맷을 도시한다.

영상 1010은 기준 채널로 전송될 제 1 YUV 포맷을 도시한다.

영상 1020은 부가 채널로 전송될 제 2 YUV 포맷의 Y 영역을 도시한다.

영상 1030은 부가 채널로 전송될 제 2 YUV 포맷의 U 영역을 도시한다.

영상 1040은 부가 채널로 전송될 제 2 YUV 포맷의 V 영역을 도시한다.

제 1 YUV 포맷 생성부(730)는 입력 받은 기준 시점 영상을 YUV 형식으로 변환하여 제 1 YUV 포맷(1010)에 기록한다. 제 1 YUV 포맷을 기준 채널에 할당되어 전송된다.

제 2 YUV 포맷 생성부(740)는 차이 영상 생성부(720)로부터 생성된 차이 영상의 휘도 정보(Y 성분)를 제 2 YUV 포맷의 Y 영역(1020)에 기록한다.

제 2 YUV 포맷 생성부(740)는 깊이 맵 생성부(710)로부터 생성된 깊이 맵을 제 2 YUV 포맷의 U 영역(1030)에 기록한다. 전술한 바와 같이 깊이 맵 정보는 해상도가 축소되어도 정확도에 있어서 큰 손실이 없으므로 제 2 YUV 포맷의 U 영역에 기록될 수 있다.

제 2 YUV 포맷 생성부(740)는 차이 영상 생성부(720)로부터 생성된 차이 영상의 색상 정보(U,V 성분)를 제 2 YUV 포맷의 V 영역(1040)에 기록한다.

제 2 YUV 포맷 생성부(740)의 일 실시예는 깊이 맵을 제 2 YUV 포맷의 V 영역(1040)에 기록하고, 차이 영상의 U,V 성분을 제 2 YUV 포맷의 U 영역(1030)에 기록한다.

도 10b 는 본 발명의 다른 실시예에 따른 양안식 영상 포맷을 도시한다.

제 1 YUV 포맷 생성부(730) 및 제 2 YUV 포맷 생성부(740)의 제 2 YUV 포맷의 Y 영역을 기록하는 과정까지는 도 10a의 실시예와 동일하다.

다만, 본 실시예의 제 2 YUV 포맷 생성부(740)는 깊이 맵 생성부(710)로부터 생성된 깊이 맵 및 움직임 맵 생성부(720)로부터 생성된 움직임 맵을 제 2 YUV 포 맷의 U 영역(1030)에 기록한다. 전술한 바와 같이, GOP 중 첫 번째 픽쳐에서만 깊이 맵 정보가 기록되며, 나머지 픽쳐에서는 움직임 맵이 전송된다.

또한, 제 2 YUV 포맷 생성부(740)의 일 실시예는 깊이 맵 및 움직임 맵을 제 2 YUV 포맷의 V 영역(1040)에 기록하고, 차이 영상의 U,V 성분을 제 2 YUV 포맷의 U 영역(1030)에 기록한다.

도 10c 는 본 발명의 다른 실시예에 따른 양안식 영상 포맷을 도시한다.

제 1 YUV 포맷 생성부(730)의 역할까지는 도 10a 및 10b의 실시예와 동일하다.

다만, 본 실시예의 제 2 YUV 포맷 생성부(740)는 제 2 YUV 포맷의 Y 영역(1020)에 깊이 맵 생성부(710)로부터 생성된 깊이 맵 또는 움직임 맵 정보를 기록한다. 전술한 바와 같이, 깊이 맵 및 움직임 맵의 편차를 비교하여 결정된 맵 정보가 제 2 YUV 포맷의 Y 영역(1020)에 기록된다.

제 2 YUV 포맷 생성부(740)는 차이 영상 생성부(720)로부터 생성된 차이 영상의 Y 성분을 제 2 YUV 포맷의 U 영역(1030)에 기록한다.

제 2 YUV 포맷 생성부(740)는 차이 영상 생성부(720)로부터 생성된 차이 영상의 U 성분 및 V 성분을 제 2 YUV 포맷의 V 영역(1040)에 기록한다.

이상 도 10a 내지 10c의 모든 실시예의 복호화 과정에서는, 부호화 과정과 마찬가지로, 제 1 YUV 포맷 추출부(770)가 제 1 YUV 포맷(1010)으로부터 기준 시점 영상 정보를 추출하고, 제 2 YUV 포맷 추출부(780)가 제 2 YUV 포맷(1020, 1030 및 1040)으로부터 차이 영상 정보, 깊이 맵 정보 및 움직임 맵 정보를 추출한다.

도 11a 는 본 발명의 또 다른 실시예에 따른 양안식 영상 포맷 부호화 장치의 블록도를 도시한다.

본 발명의 또 다른 실시예에 따른 양안식 영상 포맷 부호화 장치(1100)는 깊이 맵 생성부(1110), 제 1 YUV 포맷 생성부(1120), 제 2 YUV 포맷 생성부(1122), 제 3 YUV 포맷 생성부(1124) 및 전송부(1130)를 포함한다.

깊이 맵 생성부(1110)는 기준 시점 영상 및 부가 시점 영상을 입력 받아, 기준 시점 영상 및 부가 시점 영상 사이의 깊이 맵을 생성하여, 제 3 YUV 포맷 생성부(1124)로 출력한다.

제 1 YUV 포맷 생성부(1120)는 기준 시점 영상을 입력 받아, 기준 시점 영상을 이용하여 제 1 YUV 포맷을 생성하여, 전송부(1130)로 출력한다.

제 2 YUV 포맷 생성부(1122)는 부가 시점 영상을 입력 받아, 부가 시점 영상을 이용하여 제 2 YUV 포맷을 생성하여, 전송부(1130)로 출력한다.

제 3 YUV 포맷 생성부(1124)는 깊이 맵 생성부(1110)로부터 깊이 맵을 입력 받아, 깊이 맵을 이용하여 제 3 YUV 포맷을 생성하여, 전송부(1130)로 출력한다.

전송부(1130)는 제 1 YUV 포맷 생성부(1120), 제 2 YUV 포맷 생성부(1122) 및 제 3 YUV 포맷 생성부(1124)로부터 각각 제 1 YUV 포맷, 제 2 YUV 포맷 및 제 3 YUV 포맷을 입력받아, 각각의 채널로 할당하여 전송한다.

도 11b 는 본 발명의 또 다른 실시예에 따른 양안식 영상 포맷 복호화 장치 의 블록도를 도시한다.

본 발명의 또 다른 실시예에 따른 양안식 영상 포맷 복호화 장치(1150)은 제 1 YUV 포맷 추출부(1160), 제 2 YUV 포맷 추출부(1162), 제 3 YUV 포맷 추출부(1164) 및 복원부(1170)를 포함한다.

제 1 YUV 포맷 추출부(1160)는 제 1 YUV 포맷을 입력 받아, 제 1 YUV 포맷으로부터 기준 시점 영상 정보를 추출하여, 복원부(1170)로 출력한다.

제 2 YUV 포맷 추출부(1162)는 제 2 YUV 포맷을 입력 받아, 제 2 YUV 포맷으로부터 부가 시점 영상 정보를 추출하여, 복원부(1170)로 출력한다.

제 3 YUV 포맷 추출부(1164)는 제 3 YUV 포맷을 입력 받아, 제 3 YUV 포맷으로부터 깊이 맵을 추출하여, 복원부(1170)로 출력한다.

복원부(1170)은 제 1 YUV 포맷 추출부(1160), 제 2 YUV 포맷 추출부(1162) 및 제 3 YUV 포맷 추출부(1164)로부터 각각 기준 시점 영상 정보, 부가 시점 영상 정보 및 깊이 맵을 입력 받아, 기준 시점 영상 정보, 부가 시점 영상 정보 및 깊이 맵을 이용하여 기준 시점 영상 및 부가 시점 영상을 복원한다.

도 12 는 본 발명의 또 다른 실시예에 따른 양안식 영상 포맷을 도시한다.

도 12 을 참조하여, 제 1 YUV 포맷 생성부(1120), 제 2 YUV 포맷 생성부(1122), 제 3 YUV 포맷 생성부(1124), 1 YUV 포맷 추출부(1160), 제 2 YUV 포맷 추출부(1162) 및 제 3 YUV 포맷 추출부(1164)의 동작 원리가 상세히 기술된다.

영상 1210은 기준 채널로 전송될 제 1 YUV 포맷을 도시한다.

영상 1220은 제 1 부가 채널로 전송될 제 2 YUV 포맷을 도시한다.

영상 1230은 제 2 부가 채널로 전송될 제 3 YUV 포맷의 Y 영역을 도시한다.

영상 1232은 제 2 부가 채널로 전송될 제 3 YUV 포맷의 U 영역을 도시한다.

영상 1234은 제 2 부가 채널로 전송될 제 3 YUV 포맷의 V 영역을 도시한다.

제 1 YUV 포맷 생성부(1120)는 기준 시점 영상을 YUV 형식으로 변환하여, 제 1 YUV 포맷(1210)에 기록한다.

제 2 YUV 포맷 생성부(1122)는 부가 시점 영상을 YUV 형식으로 변환하여, 제 2 YUV 포맷(1220)에 기록한다.

제 3 YUV 포맷 생성부(1124)는 변이/깊이 생성부(1110)로부터 입력 받은 깊이 맵을 제 3 YUV 포맷의 Y 영역(1230)에 기록한다.

제 3 YUV 포맷 생성부(1124)는 제 3 YUV 포맷의 U 영역(1232) 및 V 영역(1234)에는 128 또는 0의 일정한 값을 기록한다.

전술한 바와 같이 깊이 맵은 해상도가 축소되더라도 정확도 면에 있어서 큰 손실이 없으므로, 제 3 YUV 포맷 생성부(1124)는 제 3 YUV 포맷의 너비 또는 높이를 반으로 축소할 수 있다.

본 실시예의 복호화 과정에서, 제 1 YUV 포맷 추출부(1160)는 제 1 YUV 포맷으로부터 기준 시점 영상 정보를 추출하고, 제 2 YUV 포맷 추출부(1162)는 제 2 YUV 포맷으로부터 부가 시점 영상 정보를 추출하며, 제 3 YUV 포맷 추출부(1164)는 제 3 YUV 포맷의 Y 영역으로부터 깊이 맵을 추출한다.

도 13a 는 본 발명의 일 실시예에 따른 양안식 영상 포맷 부호화 방법의 흐름도를 도시한다.

단계 1310에서, 입력 받은 기준 시점 영상 및 부가 시점 영상의 정보를 조합한 결합 영상이 생성된다.

단계 1320에서, 입력 받은 기준 시점 영상과 부가 시점 영상 사이의 깊이 맵이 생성된다. 본 발명의 일 실시예는 기준 시점 영상과 부가 시점 영상 사이의 변이 추정을 통하여 깊이 맵을 생성하거나, 깊이 카메라 장치에 깊이 맵이 생성된다.

단계 1330에서, 단계 1310에 의해 생성된 결합 영상을 이용하여 제 1 YUV 포맷이 생성된다.

단계 1340에서, 단계 1320에 의해 생성된 깊이 맵을 이용하여 제 2 YUV 포맷이 생성된다. 일 실시예는 제 2 YUV 포맷의 Y 영역에 깊이 맵을 기록한다.

도 13b 는 본 발명의 일 실시예에 따른 양안식 영상 포맷 복호화 방법의 흐름도를 도시한다.

단계 1360에서, 수신된 제 1 YUV 포맷으로부터 기준 시점 영상 및 부가 시점 영상의 결합 영상 정보가 추출된다.

단계 1370에서, 수신된 제 2 YUV 포맷으로부터 기준 시점 영상 및 부가 시점 영상 사이의 깊이 맵이 추출된다.

단계 1380에서, 단계 1360에 의해 추출된 결합 영상 정보 및 단계 1370에 의해 추출된 깊이 맵을 이용하여 기준 시점 영상 및 부가 시점 영상이 복원된다.

도 14a 는 본 발명의 다른 실시예에 따른 양안식 영상 포맷 부호화 방법의 흐름도를 도시한다.

단계 1410에서, 입력 받은 기준 시점 영상 및 부가 시점 영상 사이의 깊이 맵이 생성되고, 입력 받은 부가 시점 영상의 움직임 맵이 생성된다.

단계 1420에서, 입력 받은 기준 시점 영상 및 부가 시점 영상 사이의 차이 영상이 생성된다.

단계 1430에서, 입력 받은 기준 시점 영상을 이용하여 제 1 YUV 포맷이 생성된다.

단계 1440에서, 단계 1420에 의해 생성된 차이 영상, 및 단계 1410에 의해 생성된 깊이 맵 또는 움직임 맵을 이용하여 제 2 YUV 포맷이 생성된다. 일 실시예는 차이 영상의 Y 성분 또는 깊이 맵 중 어느 하나를 제 2 YUV 포맷의 Y 영역에 기록하고, 나머지 하나를 제 2 YUV 포맷의 U 영역 또는 V 영역에 기록한다. 또한, 일 실시예는 차이 영상의 U 성분 및 V 성분을 제 2 YUV 포맷의 U 영역 또는 V 영역에 기록한다.

도 14b 는 본 발명의 다른 실시예에 따른 양안식 영상 포맷 복호화 방법의 흐름도를 도시한다.

단계 1460에서, 수신된 제 1 YUV 포맷으로부터 기준 시점 영상 정보가 추출된다.

단계 1470에서, 수신된 제 2 YUV 포맷으로부터 기준 시점 영상 및 부가 시점 영상 사이의 차이 영상 정보, 및 기준 시점 영상 및 부가 시점 영상 사이의 깊이 맵 또는 부가 시점 영상의 움직임 맵이 추출된다.

일 실시예는 제 2 YUV 포맷의 Y 영역으로부터 차이 영상의 Y 성분 또는 깊이 맵 중 어느 하나를 추출하고, 나머지 하나를 제 2 YUV 포맷의 U 영역 또는 V 영역 으로부터 추출한다. 또한, 일 실시예는 제 2 YUV 포맷의 U 영역 또는 V 영역으로부터 차이 영상의 U 성부 및 V 성분을 추출한다.

단계 1480에서, 단계 1410에 의해 추출된 기준 시점 영상 정보, 단계 1420에 의해 추출된 차이 영상 정보 및 깊이 맵 또는 움직임 맵을 이용하여 기준 시점 영상 및 부가 시점 영상이 복원된다.

도 15a 는 본 발명의 또 다른 실시예에 따른 양안식 영상 포맷 부호화 방법의 흐름도를 도시한다.

단계 1510에서, 입력 받은 기준 시점 영상 및 부가 시점 영상 사이의 깊이 맵이 생성된다. 일 실시예는 기준 시점 영상 및 부가 시점 영상 사이의 변이 추정을 수행하거나 깊이 카메라 장치를 이용하여 깊이 맵을 생성한다.

단계 1520에서, 입력 받은 기준 시점 영상을 이용하여 제 1 YUV 포맷이 생성된다.

단계 1530에서, 입력 받은 부가 시점 영상을 이용하여 제 2 YUV 포맷이 생성된다.

단계 1540에서, 단계 1510에 의해 생성된 깊이 맵을 이용하여 제 3 YUV 포맷이 생성된다. 일 실시예는 제 3 YUV 포맷의 Y 영역에 깊이 맵을 기록한다.

도 15b 는 본 발명의 또 다른 실시예에 따른 양안식 영상 포맷 복호화 방법의 흐름도를 도시한다.

단계 1560에서, 수신된 제 1 YUV 포맷으로부터 기준 시점 영상 정보가 추출된다.

단계 1570에서, 수신된 제 2 YUV 포맷으로부터 부가 시점 영상 정보가 추출된다.

단계 1580에서, 수신된 제 3 YUV 포맷으로부터 깊이 맵이 추출된다. 일 실시예는 제 3 YUV 포맷의 Y 영역으로부터 깊이 맵을 추출한다.

단계 1590에서, 단계 1560에 의해 추출된 기준 시점 영상 정보, 단계 1570에 의해 추출된 부가 시점 영상 정보 및 단계 1580에 의해 추출된 깊이 맵을 이용하여 기준 시점 영상 및 부가 시점 영상이 복원된다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 1a 는 필드 단위의 양안식 영상 포맷을 도시한다.

도 2 는 기존의 2차원 영상과 깊이 맵만을 전송하는 양안식 영상 포맷을 도시한다.

도 3b 는 기존의 양안식 영상 포맷의 문제점을 도시한다.

도 7b 는 본 발명의 다른 실시예에 따른 양안식 영상 포맷 복호화 장치의 블 록도를 도시한다.

도 11b 는 본 발명의 또 다른 실시예에 따른 양안식 영상 포맷 복호화 장치의 블록도를 도시한다.

Claims

기준 시점 영상 및 부가 시점 영상의 정보를 조합한 결합 영상을 생성하는 단계;

상기 기준 시점 영상과 상기 부가 시점 영상 사이의 깊이 맵을 생성하는 단계;

상기 결합 영상을 이용하여 제 1 YUV 포맷을 생성하는 단계; 및

상기 깊이 맵을 이용하여 제 2 YUV 포맷을 생성하는 단계를 포함하는 특징으로 하는 양안식 영상 부호화 방법.
제 1 항에 있어서,

상기 결합 영상을 생성하는 단계는, 상기 기준 시점 영상의 픽셀 정보 및 상기 부가 시점 영상의 픽셀 정보를 포함하며 상기 기준 시점 영상 및 상기 부가 시점 영상의 해상도와 동일한 결합 영상을 생성하는 것을 특징으로 하는 양안식 영상 부호화 방법.
제 1 항에 있어서, 상기 제 2 YUV 포맷 생성 단계는

상기 깊이 맵 정보를 상기 제 2 YUV 포맷의 Y 영역에 기록하는 단계; 및

상기 제 2 YUV 포맷의 U 영역 및 V 영역에는 128 또는 0의 일정한 값을 기록하는 단계를 포함하는 것을 특징으로 하는 양안식 영상 부호화 방법.
제 3 항에 있어서,

상기 제 2 YUV 포맷 생성 단계는, 상기 제 2 YUV 포맷의 Y 영역, U 영역 및 V 영역의 해상도를 가로 방향 또는 세로 방향으로 1/2씩 축소하는 단계를 포함하는 것을 특징으로 하는 양안식 영상 부호화 방법.
기준 시점 영상 및 부가 시점 영상 사이의 깊이 맵 및 상기 부가 시점 영상의 움직임 맵을 생성하는 단계;

상기 기준 시점 영상 및 상기 부가 시점 영상 사이의 차이 영상을 생성하는 단계;

상기 기준 시점 영상을 이용하여 제 1 YUV 포맷을 생성하는 단계; 및

상기 차이 영상, 및 상기 깊이 맵 또는 상기 움직임 맵을 이용하여 제 2 YUV 포맷을 생성하는 단계를 포함하는 것을 특징으로 하는 양안식 영상 부호화 방법.
제 5 항에 있어서,

상기 차이 영상 생성 단계는, 상기 기준 시점 영상을 부호화한 후 다시 복호화한 영상과 상기 부가 시점 영상 사이의 차이 영상을 생성하는 것을 특징으로 하는 양안식 영상 부호화 방법.
제 5 항에 있어서, 상기 제 2 YUV 포맷 생성 단계는

상기 깊이 맵 및 상기 움직임 맵 중 각각의 편차가 작은 것을 결정하는 단계; 및

상기 깊이 맵이 결정된다면, 상기 깊이 맵을 이용하여 상기 제 2 YUV 포맷을 생성하고,

상기 움직임 맵이 결정된다면,

상기 기준 시점 영상 및 상기 부가 시점 영상의 각각의 첫 번째 프레임 사이의 깊이 맵을 이용하여 상기 제 2 YUV 포맷의 첫 번째 프레임을 생성하고,

상기 부가 시점 영상의 나머지 프레임 사이의 상기 움직임 맵을 이용하여 상기 제 2 YUV 포맷의 나머지 프레임을 생성하는 단계를 포함하는 것을 특징으로 하는 양안식 영상 부호화 방법.
제 5 항에 있어서, 상기 제 2 YUV 포맷 생성 단계는

상기 차이 영상의 휘도 정보(Y 정보)를 상기 제 2 YUV 포맷의 Y 영역에 기록하는 단계;

상기 깊이 맵 또는 상기 움직임 맵을 상기 제 2 YUV 포맷의 U 영역 및 V 영역 중 어느 한 영역에 기록하는 단계; 및

상기 차이 영상의 색상 정보(U 정보 및 V 정보)를 상기 제 2 YUV 포맷의 U 영역 및 V 영역 중 나머지 영역에 기록하는 단계를 포함하는 것을 특징으로 하는 양안식 영상 부호화 방법.
제 5 항에 있어서, 상기 제 2 YUV 포맷 생성 단계는

상기 깊이 맵 또는 상기 움직임 맵을 상기 제 2 YUV 포맷의 Y 영역에 기록하는 단계;

상기 차이 영상의 Y 정보를 상기 제 2 YUV 포맷의 U 영역 및 V 영역 중 어느 한 영역에 기록하는 단계; 및

상기 차이 영상의 U 정보 및 V 정보를 상기 제 2 YUV 포맷의 U 영역 및 V 영역 중 나머지 영역에 기록하는 단계를 포함하는 것을 특징으로 하는 양안식 영상 부호화 방법.
기준 시점 영상 및 부가 시점 영상 사이의 깊이 맵을 생성하는 단계;

상기 기준 시점 영상을 이용하여 제 1 YUV 포맷을 생성하는 단계;

상기 부가 시점 영상을 이용하여 제 2 YUV 포맷을 생성하는 단계; 및

상기 깊이 맵을 이용하여 제 3 YUV 포맷을 생성하는 단계를 포함하는 것을 특징으로 하는 양안식 영상 부호화 방법.
제 10 항에 있어서, 상기 제 3 YUV 포맷 생성 단계는

상기 깊이 맵 정보를 상기 제 3 YUV 포맷의 Y 영역에 기록하는 단계; 및

상기 제 3 YUV 포맷의 U 영역 및 V 영역에는 128 또는 0의 일정한 값을 기록하는 단계를 포함하는 것을 특징으로 하는 양안식 영상 부호화 방법.
수신된 제 1 YUV 포맷으로부터 기준 시점 영상 및 부가 시점 영상의 결합 영상 정보를 추출하는 단계;

수신된 제 2 YUV 포맷으로부터 상기 기준 시점 영상 및 상기 부가 시점 영상 사이의 깊이 맵을 추출하는 단계; 및

상기 추출된 결합 영상 정보 및 상기 깊이 맵을 이용하여 상기 기준 시점 영상 및 상기 부가 시점 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 양안식 영상 복호화 방법.
제 12 항에 있어서, 상기 깊이 맵 추출 단계는

상기 제 2 YUV 포맷이 축소된 포맷인 경우, 원래 해상도로 확대하는 단계; 및

상기 제 2 YUV 포맷의 Y 영역으로부터 깊이 맵을 추출하는 단계를 포함하는 것을 특징으로 하는 양안식 영상 복호화 방법.
제 12 항에 있어서, 상기 복원 단계는

상기 추출된 결합 영상 정보로부터 상기 기준 시점 영상의 부분 정보 및 상기 부가 시점 영상의 부분 정보를 복원하는 단계; 및

상기 복원된 기준 시점 영상의 부분 정보, 상기 복원된 부가 시점 영상의 부분 정보 및 상기 깊이 맵을 이용하여, 원래 해상도의 상기 기준 시점 영상 및 상기 부가 시점 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 양안식 영상 복호 화 방법.
수신된 제 1 YUV 포맷으로부터 기준 시점 영상 정보를 추출하는 단계;

수신된 제 2 YUV 포맷으로부터 기준 시점 영상 및 부가 시점 영상 사이의 차이 영상 정보, 및 상기 기준 시점 영상 및 상기 부가 시점 영상 사이의 깊이 맵 또는 상기 부가 시점 영상의 움직임 맵을 추출하는 단계; 및

상기 추출된 기준 시점 영상 정보, 상기 차이 영상 정보 및 상기 깊이 맵 또는 상기 움직임 맵을 이용하여 상기 기준 시점 영상 및 상기 부가 시점 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 양안식 영상 복호화 방법.
제 15 항에 있어서, 상기 제 2 YUV 포맷으로부터의 추출 단계는

상기 제 2 YUV 포맷의 Y 영역으로부터 상기 차이 영상의 Y 정보를 추출하는 단계;

상기 제 2 YUV 포맷의 U 영역 및 V 영역 중 어느 한 영역으로부터 상기 깊이 맵 또는 상기 움직임 맵을 추출하는 단계; 및

상기 제 2 YUV 포맷의 U 영역 및 V 영역 중 나머지 영역으로부터 상기 차이 영상의 색상 정보(U 정보 및 V 정보)를 추출하는 단계를 포함하는 것을 특징으로 하는 양안식 영상 복호화 방법.
제 15 항에 있어서, 상기 제 2 YUV 포맷으로부터의 추출 단계는

상기 제 2 YUV 포맷의 Y 영역으로부터 상기 깊이 맵 또는 상기 움직임 맵을 추출하는 단계;

상기 제 2 YUV 포맷의 U 영역 및 V 영역 중 어느 한 영역으로부터 상기 차이 영상의 Y 정보를 추출하는 단계; 및

상기 제 2 YUV 포맷의 U 영역 및 V 영역 중 나머지 영역으로부터 상기 차이 영상의 U 정보 및 V 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 양안식 영상 복호화 방법.
제 15 항에 있어서, 상기 복원 단계는

상기 깊이 맵만 수신된 경우라면, 상기 깊이 맵 및 상기 추출된 기준 시점 영상 정보를 이용하여 상기 부가 시점 영상을 복원하고,

상기 깊이 맵 및 상기 움직임 맵이 수신된 경우라면,

상기 깊이 맵 및 상기 추출된 기준 시점 영상 정보의 첫 번째 프레임을 이용하여 상기 부가 시점 영상의 첫 번째 프레임으로 복원하는 단계; 및

상기 움직임 맵 및 상기 복원된 부가 시점 영상의 첫 번째 프레임을 이용하여 상기 부가 시점 영상의 나머지 프레임을 복원하는 단계를 포함하는 것을 특징으로 하는 양안식 영상 복호화 방법.
수신된 제 1 YUV 포맷으로부터 기준 시점 영상 정보를 추출하는 단계;

수신된 제 2 YUV 포맷으로부터 부가 시점 영상 정보를 추출하는 단계;

수신된 제 3 YUV 포맷으로부터 깊이 맵을 추출하는 단계; 및

상기 추출된 기준 시점 영상 정보, 상기 추출된 부가 시점 영상 정보 및 상기 추출된 깊이 맵을 이용하여 기준 시점 영상 및 부가 시점 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 양안식 영상 복호화 방법.
제 19 항에 있어서,

상기 제 3 YUV 포맷으로부터의 추출 단계는 상기 제 3 YUV 포맷의 Y 영역으로부터 상기 깊이 맵 정보를 추출하는 것을 특징으로 하는 양안식 영상 복호화 방법.
기준 시점 영상 및 부가 시점 영상의 정보를 조합한 결합 영상을 생성하는 결합 영상 생성부;

상기 기준 시점 영상과 상기 부가 시점 영상 사이의 깊이 맵을 생성하는 깊이 맵 생성부;

상기 결합 영상을 이용하여 제 1 YUV 포맷을 생성하는 제 1 YUV 포맷 생성부; 및

상기 깊이 맵을 이용하여 제 2 YUV 포맷을 생성하는 제 2 YUV 포맷 생성부를 포함하는 특징으로 하는 양안식 영상 부호화 장치.
제 21 항에 있어서, 상기 제 2 YUV 포맷 생성부는

상기 깊이 맵 정보를 상기 제 2 YUV 포맷의 Y 영역에 기록하고,

상기 제 2 YUV 포맷의 U 영역 및 V 영역에는 128 또는 0의 일정한 값을 기록하는 것을 특징으로 하는 양안식 영상 부호화 장치.
기준 시점 영상 및 부가 시점 영상 사이의 깊이 맵 및 상기 부가 시점 영상의 움직임 맵을 생성하는 깊이 맵 또는 움직임 맵 생성부;

상기 기준 시점 영상 및 상기 부가 시점 영상 사이의 차이 영상을 생성하는 차이 영상 생성부;

상기 기준 시점 영상을 이용하여 제 1 YUV 포맷을 생성하는 생성부; 및

상기 차이 영상, 및 상기 깊이 맵 또는 상기 움직임 맵을 이용하여 제 2 YUV 포맷을 생성하는 생성부를 포함하는 것을 특징으로 하는 양안식 영상 부호화 장치.
제 23 항에 있어서,

상기 양안식 영상 부호화 장치는 로컬 복호화기를 포함하며,

상기 차이 영상 생성부는

상기 기준 시점 영상을 부호화한 후 상기 로컬 복호화기를 통해 다시 복호화한 영상과 상기 부가 시점 영상 사이의 차이 영상을 생성하는 것을 특징으로 하는 양안식 영상 부호화 장치.
제 23 항에 있어서, 상기 제 2 YUV 포맷 생성부는

상기 차이 영상의 휘도 정보(Y 정보)를 상기 제 2 YUV 포맷의 Y 영역에 기록하고,

상기 깊이 맵 또는 상기 움직임 맵을 상기 제 2 YUV 포맷의 U 영역 및 V 영역 중 어느 한 영역에 기록하며,

상기 차이 영상의 색상 정보(U 정보 및 V 정보)를 상기 제 2 YUV 포맷의 U 영역 및 V 영역 중 나머지 영역에 기록하는 것을 특징으로 하는 양안식 영상 부호화 장치.
기준 시점 영상 및 부가 시점 영상 사이의 깊이 맵을 생성하는 깊이 맵 생성부;

상기 기준 시점 영상을 이용하여 제 1 YUV 포맷을 생성하는 제 1 YUV 포맷 생성부;

상기 부가 시점 영상을 이용하여 제 2 YUV 포맷을 생성하는 제 2 YUV 포맷 생성부; 및

상기 깊이 맵을 이용하여 제 3 YUV 포맷을 생성하는 제 3 YUV 포맷 생성부를 포함하는 것을 특징으로 하는 양안식 영상 부호화 장치.
수신된 제 1 YUV 포맷으로부터 기준 시점 영상 및 부가 시점 영상의 결합 영상 정보를 추출하는 결합 영상 추출부;

수신된 제 2 YUV 포맷으로부터 상기 기준 시점 영상 및 상기 부가 시점 영상 사이의 깊이 맵을 추출하는 깊이 맵 추출부; 및

상기 추출된 결합 영상 정보 및 상기 깊이 맵을 이용하여 상기 기준 시점 영상 및 상기 부가 시점 영상을 복원하는 복원부를 포함하는 것을 특징으로 하는 양안식 영상 복호화 장치.
제 27 항에 있어서, 상기 깊이 맵 추출부는

상기 제 2 YUV 포맷이 축소된 포맷인 경우, 원래 해상도로 확대하고,

상기 제 2 YUV 포맷의 Y 영역으로부터 깊이 맵을 추출하는 것을 특징으로 하는 양안식 영상 복호화 장치.
수신된 제 1 YUV 포맷으로부터 기준 시점 영상 정보를 추출하는 제 1 YUV 포맷 추출부;

수신된 제 2 YUV 포맷으로부터 기준 시점 영상 및 부가 시점 영상 사이의 차이 영상 정보, 및 상기 기준 시점 영상 및 상기 부가 시점 영상 사이의 깊이 맵 또는 상기 부가 시점 영상의 움직임 맵을 추출하는 제 2 YUV 포맷 추출부; 및

상기 추출된 기준 시점 영상 정보, 상기 차이 영상 정보 및 상기 깊이 맵 또는 상기 움직임 맵을 이용하여 상기 기준 시점 영상 및 상기 부가 시점 영상을 복원하는 복원부를 포함하는 것을 특징으로 하는 양안식 영상 복호화 장치.
제 29 항에 있어서, 상기 제 2 YUV 포맷 추출부는

상기 제 2 YUV 포맷의 Y 영역으로부터 상기 차이 영상의 Y 정보를 추출하고,

상기 제 2 YUV 포맷의 U 영역 및 V 영역 중 어느 한 영역으로부터 상기 깊이 맵 또는 상기 움직임 맵을 추출하며,

상기 제 2 YUV 포맷의 U 영역 및 V 영역 중 나머지 영역으로부터 상기 차이 영상의 색상 정보(U 정보 및 V 정보)를 추출하는 것을 특징으로 하는 양안식 영상 복호화 장치.
수신된 제 1 YUV 포맷으로부터 기준 시점 영상 정보를 추출하는 제 1 YUV 포맷 추출부;

수신된 제 2 YUV 포맷으로부터 부가 시점 영상 정보를 추출하는 제 2 YUV 포맷 추출부;

수신된 제 3 YUV 포맷으로부터 깊이 맵을 추출하는 제 3 YUV 포맷 추출부; 및

상기 추출된 기준 시점 영상 정보, 상기 추출된 부가 시점 영상 정보 및 상기 추출된 깊이 맵을 이용하여 기준 시점 영상 및 부가 시점 영상을 복원하는 복원부를 포함하는 것을 특징으로 하는 양안식 영상 복호화 장치.
제 31 항에 있어서,

상기 제 3 YUV 포맷 추출부는 상기 제 3 YUV 포맷의 Y 영역으로부터 상기 깊이 맵 정보를 추출하는 것을 특징으로 하는 양안식 영상 복호화 장치.
제 1 항 내지 제 4 항 중 어느 한 항의 양안식 영상 부호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
제 5 항 내지 제 9 항 중 어느 한 항의 양안식 영상 부호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
제 10 항 내지 제 11 항 중 어느 한 항의 양안식 영상 부호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
제 12 항 내지 제 14 항 중 어느 한 항의 양안식 영상 복호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
제 15 항 내지 제 18 항 중 어느 한 항의 양안식 영상 복호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
제 19 항 내지 제 20 항 중 어느 한 항의 양안식 영상 복호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.