KR20130088636A

KR20130088636A - 영상 전송 장치 및 방법, 그리고 영상 재생 장치 및 방법

Info

Publication number: KR20130088636A
Application number: KR1020120010007A
Authority: KR
Inventors: 이석; 위호천; 이승신; 이재준
Original assignee: 삼성전자주식회사
Priority date: 2012-01-31
Filing date: 2012-01-31
Publication date: 2013-08-08
Also published as: CN103227935A; US20130194383A1; EP2624559A1

Abstract

영상 전송 장치 및 방법, 그리고 영상 재생 장치 및 방법이 개시된다. 영상 전송 장치 및 영상 재생 장치는 3차원 영상 포맷의 영상 모드 정보, 추가 시점에 대응하는 컬러 영상에 기초한 부가 정보 또는 깊이 영상에 기초한 부가 정보를 이용하여 컬러 영상과 깊이 영상을 처리함으로써 다시점 3차원 영상을 사용자에게 제공할 수 있다.

Description

영상 전송 장치 및 방법, 그리고 영상 재생 장치 및 방법{APPARATUS AND METHOD FOR IMAGE TRANSMITTING AND APPARATUS AND METHOD FOR IMAGE REPRODUCTION}

본 발명의 일실시예들은 영상 전송 장치 및 방법, 그리고 영상 재생 장치 및 방법에 관한 것으로 복수의 시점에 대응하는 컬러 영상과 깊이 영상을 처리하여 3차원 영상을 제공하는 장치 및 방법에 관한 것이다.

2차원 영상과 달리, 3차원 영상은 깊이감을 통해 사용자로 하여금 보다 실감나는 효과를 제공한다. 3차원 영상 처리 시스템은 양안식(Stereoscopic) 입체 영상 보다 많은 시점의 영상을 이용하여 3차원 영상 서비스를 제공하는 기술을 말한다. 3차원 영상 처리 시스템은 N대의 다시점 카메라를 이용하여 획득한 컬러 영상과, 깊이값 예측이나 깊이 카메라를 이용하여 획득한 깊이 영상, 멀티뷰 재생을 위한 부가 정보를 미리 설정된 형식의 포맷으로 변환 및 저장할 필요가 있다.

이와 같은 3차원 영상은 압축 전송되고, 사용자의 목적 또는 디스플레이 장치의 종류에 따라 2D 영상, Stereo 영상, 또는 멀티뷰 방식의 다시점 영상으로 재생된다. 그러므로 3차원 영상의 영상 재생 장치는 전송된 컬러 영상과 깊이 영상 및 부가 정보를 디스플레이 장치에 따라 여러 가지 방법으로 재생할 수 있어야 한다.

기본적으로 영상 재생 장치는 전송된 N개의 시점 중에서 원하는 시점의 2차원 영상을 자유롭게 선택하여 기존 사용하던 2차원 디스플레이 장치를 통해 디스플레이할 수 있다. 또한, 영상 재생 장치는 다양한 종류의 3차원 디스플레이 장치를 이용하여 재생할 수도 있다. 그리고, 영상 재생 장치는 전송된 N개의 시점 영상보다 적은 M개의 시점을 표현할 수 있는 3차원 디스플레이 장치로 여러 시점의 입체 영상을 재생할 수 있다. 뿐만 아니라, 영상 재생 장치는 시청자의 위치를 파악하여 시청자의 위치에 맞는 시점의 입체 영상을 재생할 수 있다.

이와 같이 영상 재생 장치가 이미 존재하는 디스플레이 장치와 호환되면서도 다양한 형태의 입체 영상을 재생하기 위해 컬러 영상과 깊이 영상과 관련된 메시지 포맷이 요구된다.

본 발명의 일실시예에 따른 영상 전송 장치는 복수의 시점에 대응하는 컬러 영상 및 깊이 영상을 3차원 영상 포맷에 따라 변환하는 영상 변환부; 및 상기 3차원 영상 포맷과 관련된 부가 정보 및 상기 변환된 영상들을 포함하는 비트스트림을 영상 재생 장치에 전송하는 비트스트림 전송부를 포함할 수 있다.

본 발명의 일실시예에 따른 영상 전송 장치는 상기 컬러 영상 및 깊이 영상을 시점간 예측 기법에 따라 부호화하는 영상 부호화부를 더 포함할 수 있다.

본 발명의 일실시예에 따른 부가 정보는 (1) 3차원 영상 포맷의 영상 모드 정보, (2) 추가 시점에 대응하는 컬러 영상에 기초한 부가 정보 또는 (3) 깊이 영상에 기초한 부가 정보 중 적어도 하나를 포함할 수 있다.

본 발명의 일실시예에 따른 추가 시점에 대응하는 컬러 영상에 기초한 부가 정보는 비트스트림에 추가 시점의 컬러 영상이 포함되었는 지 여부를 나타내는 식별 정보, (2) 상기 비트스트림에 포함된 추가 시점의 컬러 영상의 해상도가 기준 해상도와 다른지 여부를 나타내는 식별 정보, (3) 상기 비트스트림에 포함된 추가 시점의 컬러 영상의 해상도와 기준 해상도 간의 해상도 비율을 나타내는 비율 정보, 및 (4) 상기 비트스트림에 포함된 추가 시점의 컬러 영상의 시점 간 예측 기법을 위한 해상도 변환 방법 중 적어도 하나를 포함할 수 있다.

본 발명의 일실시예에 따른 깊이 영상에 기초한 부가 정보는 (1) 상기 비트스트림에 포함된 깊이 영상의 생성 방식을 나타내는 영상 특성 정보, (2) 상기 비트스트림에 포함된 깊이 영상의 해상도가 기준 해상도와 다른지 여부를 나타내는 식별 정보, (3) 상기 비트스트림에 포함된 깊이 영상의 해상도와 기준 해상도 간의 해상도 비율을 나타내는 비율 정보, (4) 시점 간 예측 기법을 위해 상기 비트스트림에 포함된 깊이 영상의 해상도 변환 방법을 나타내는 변환 정보, 및 (5) 상기 비트스트림에 포함된 깊이 영상의 해상도가 기준 해상도와 다른 경우, 해상도 차이의 원인을 나타내는 원인 정보 중 적어도 하나를 포함할 수 있다.

본 발명의 제1 실시예에 따른 영상 재생 장치는 3차원 영상 포맷에 따라 변환된 복수의 시점의 컬러 영상 및 깊이 영상, 상기 3차원 영상 포맷과 관련된 부가 정보를 포함하는 비트스트림을 영상 전송 장치로부터 수신하는 비트스트림 수신부; 및 상기 부가 정보에 따라 컬러 영상 및 깊이 영상을 처리하여 디스플레이 장치에서 재생하고자 하는 출력 영상을 생성하는 영상 생성부를 포함할 수 있다.

본 발명의 제1 실시예에 따른 영상 재생 장치는 상기 비트스트림에 포함된 컬러 영상과 깊이 영상을 시점간 예측 기법에 따라 복호화하는 영상 복호화부를 더 포함할 수 있다.

본 발명의 제1 실시예에 따른 영상 재생 장치는 상기 컬러 영상 또는 깊이 영상의 화질을 향상시키기 위한 깊이 영상의 후처리(Postprocessing)을 수행하는 영상 후처리부를 더 포함할 수 있다.

본 발명의 제2 실시예에 따른 영상 재생 장치는 비트스트림으로부터 3차원 영상 포맷과 관련된 부가 정보를 추출하는 정보 추출부; 상기 부가 정보에 따라 복수의 시점의 컬러 영상 및 깊이 영상을 처리하여 출력 영상을 생성하는 영상 생성부; 및 상기 생성된 출력 영상을 디스플레이하는 디스플레이부를 포함할 수 있다.

본 발명의 제2 실시예에 따른 영상 재생 장치는 상기 비트스트림에 포함된 컬러 영상과 깊이 영상을 시점간 예측 기법에 따라 복호화하는 영상 복호화부를 더 포함할 수 있다.

본 발명의 제2 실시예에 따른 영상 재생 장치는 상기 컬러 영상 또는 깊이 영상의 화질을 향상시키기 위한 후처리(Postprocessing)을 수행하는 영상 후처리부를 더 포함할 수 있다.

본 발명의 일실시예에 따른 영상 전송 방법은 복수의 시점에 대응하는 컬러 영상 및 깊이 영상을 3차원 영상 포맷에 따라 변환하는 단계; 및 상기 3차원 영상 포맷과 관련된 부가 정보 및 상기 변환된 영상들을 포함하는 비트스트림을 영상 재생 장치에 전송하는 단계를 포함할 수 있다.

본 발명의 일실시예에 따른 영상 전송 방법은 상기 컬러 영상 및 깊이 영상을 시점간 예측 기법에 따라 부호화하는 단계를 더 포함할 수 있다.

본 발명의 제1 실시예에 따른 영상 재생 방법은 3차원 영상 포맷에 따라 변환된 복수의 시점의 컬러 영상 및 깊이 영상, 상기 3차원 영상 포맷과 관련된 부가 정보를 포함하는 비트스트림을 영상 전송 방법으로부터 수신하는 단계; 및 상기 부가 정보에 따라 컬러 영상 및 깊이 영상을 처리하여 디스플레이 방법에서 재생하고자 하는 출력 영상을 생성하는 단계를 포함할 수 있다.

본 발명의 제1 실시예에 따른 영상 재생 방법은 상기 비트스트림에 포함된 컬러 영상과 깊이 영상을 시점간 예측 기법에 따라 복호화하는 단계를 더 포함할 수 있다.

본 발명의 제1 실시예에 따른 영상 재생 방법은 상기 컬러 영상 또는 깊이 영상의 화질을 향상시키기 위한 깊이 영상의 후처리(Postprocessing)을 수행하는 단계를 더 포함할 수 있다.

본 발명의 제2 실시예에 따른 영상 재생 방법은 비트스트림으로부터 3차원 영상 포맷과 관련된 부가 정보를 추출하는 단계; 상기 부가 정보에 따라 복수의 시점의 컬러 영상 및 깊이 영상을 처리하여 출력 영상을 생성하는 단계; 및 상기 생성된 출력 영상을 디스플레이하는 단계를 포함할 수 있다.

본 발명의 제2 실시예에 따른 영상 재생 방법은 상기 비트스트림에 포함된 컬러 영상과 깊이 영상을 시점간 예측 기법에 따라 복호화하는 단계를 더 포함할 수 있다.

본 발명의 제2 실시예에 따른 영상 재생 방법은 상기 컬러 영상 또는 깊이 영상의 화질을 향상시키기 위한 후처리(Postprocessing)을 수행하는 단계를 더 포함할 수 있다.

본 발명의 일실시예에 따른 기록 매체는 영상 재생 장치에 판독가능한 영상 프로그램을 기록하고, 상기 프로그램은 3차원 영상 포맷에 따라 변환된 복수의 시점에 대응하는 컬러 영상 및 깊이 영상; 및 상기 3차원 영상 포맷과 관련된 부가 정보를 포함할 수 있다.

본 발명의 일실시예에 따르면, 3차원 영상 포맷에 포함된 컬러 영상과 깊이 영상을 재생할 때 3차원 영상 포맷과 관련된 부가 정보를 참고함으로써 디스플레이 형태와 무관하게 다양한 형태의 3차원 영상 서비스를 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 전체 시스템 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 영상 전송 장치의 세부 구조를 도시한 도면이다.
도 3은 본 발명의 제1 일실시예에 따른 영상 재생 장치의 세부 구조를 도시한 도면이다.
도 4는 본 발명의 제2 일실시예에 따른 영상 재생 장치의 세부 구조를 도시한 도면이다.
도 5는 본 발명의 제1 실시예에 따라 다시점 3차원 영상을 위한 영상 포맷을 도시한 도면이다.
도 6은 본 발명의 제2 실시예에 따라 다시점 3차원 영상을 위한 영상 포맷을 도시한 도면이다.
도 7은 본 발명의 제3 실시예에 따라 다시점 3차원 영상을 위한 영상 포맷을 도시한 도면이다.
도 8은 본 발명의 제4 실시예에 따라 다시점 3차원 영상을 위한 영상 포맷을 도시한 도면이다.
도 9는 본 발명의 제5 실시예에 따라 다시점 3차원 영상을 위한 영상 포맷을 도시한 도면이다.
도 10은 본 발명의 제6 실시예에 따라 다시점 3차원 영상을 위한 영상 포맷을 도시한 도면이다.
도 11은 본 발명의 일실시예에 따른 부가 정보의 신택스를 도시한 도면이다.
도 12는 본 발명의 일실시예에 따라 시점간 예측 기법에 따라 부호화/복호화하는 과정을 도시한 도면이다.
도 13은 본 발명의 일실시예에 따른 컬러 영상을 후처리하는 과정을 도시한 도면이다.
도 14는 본 발명의 일실시예에 따른 깊이 영상을 후처리하는 과정을 도시한 도면이다.
도 15는 본 발명의 일실시예에 따른 영상 특성 정보에 따라 깊이 영상을 복호화하는 과정을 도시한 도면이다.
도 16은 본 발명의 일실시예에 따른 영상 특성 정보에 따라 깊이 영상을 후처리하는 과정을 도시한 도면이다.
도 17은 본 발명의 일실시예에 따른 영상 전송 방법을 도시한 도면이다.
도 18은 본 발명의 제1 실시예에 따른 영상 재생 방법을 도시한 도면이다.
도 19는 본 발명의 제2 실시예에 따른 영상 재생 방법을 도시한 도면이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 전체 시스템 구조를 도시한 도면이다.

도 1을 참고하면, 영상 전송 장치(101)는 영상 재생 장치(102)에 비트스트림을 전송할 수 있다. 여기서, 비트스트림은 다시점 3차원 영상을 사용자에게 제공하기 위해 3차원 영상 포맷에 따라 변환된 컬러 영상 및 깊이 영상, 그리고 3차원 영상 포맷과 관련된 부가 정보를 포함할 수 있다. 이 때, 컬러 영상과 깊이 영상은 복수의 시점에 대응할 수 있다. 구체적으로, 컬러 영상과 깊이 영상은 기준 시점(Base View), 스테레오 시점(Stereo View) 및 추가 시점(Satellite View) 중 적어도 하나에 각각 대응할 수 있다.

영상 재생 장치(102)는 2차원 영상 또는 3차원 영상을 사용자에게 제공할 수 있는 모든 장치 형태로 구현될 수 있다. 일례로, 영상 재생 장치(102)는 가정에서 사용되는 TV, PC, 홈 미디어 장치, 전화기 등과 극장에서 사용되는 3차원 디지털 영사기 등에 사용될 수 있다. 영상 재생 장치(102)는 TV, PC, DVD 플레이어, 내비게이션 등과 같은 유선 단말기 또는 노트북, 피쳐폰, 테블릿 PC, 스마트폰, PDA 등과 같은 무선 단말기 형태로 구현될 수 있다. 본 발명의 일실시예에 따른 영상 재생 장치(102)의 형태는 제한이 없으며, 2차원 영상, 스테레오 3차원 영상, 다시점 3차원 영상을 호환가능한 모든 디스플레이를 통해 사용자에게 제공할 수 있다.

도 2는 본 발명의 일실시예에 따른 영상 전송 장치의 세부 구조를 도시한 도면이다.

도 2를 참고하면, 영상 전송 장치(201)는 영상 변환부(202), 영상 부호화부(203) 및 비트스트림 전송부(204)를 포함한다.

영상 변환부(202)는 복수의 시점(View)에 대응하는 컬러 영상 및 깊이 영상을 3차원 영상 포맷에 따라 변환할 수 있다. 이 때, 컬러 영상 및 깊이 영상은 기준 시점(Base View), 스테레오 시점(Stereo View) 또는 추가 시점(Satellite View) 중 적어도 하나의 시점에 대응할 수 있다. 3차원 영상 포맷은 도 5 내지 도 10에서 구체적으로 설명하기로 한다.

영상 부호화부(203)는 3차원 영상 포맷에 따라 변환된 컬러 영상과 깊이 영상을 부호화할 수 있다. 일례로, 영상 부호화부(203)는 시점간 예측 기법에 따라 컬러 영상과 깊이 영상을 부호화할 수 있다. 시점간 예측 기법에 대해서는 도 12에서 구체적으로 설명하기로 한다.

비트스트림 전송부(204)는 3차원 영상 포맷과 관련된 부가 정보 및 3차원 영상 포맷에 따라 변환된 컬러 영상 및 깊이 영상들을 포함하는 비트스트림을 영상 재생 장치에 전송할 수 있다.

일례로, 비트스트림은 (1) 3차원 영상 포맷의 영상 모드 정보, (2) 추가 시점에 대응하는 컬러 영상에 기초한 부가 정보 또는 (3) 깊이 영상에 기초한 부가 정보를 포함할 수 있다. 이 때, 추가 시점에 대응하는 컬러 영상에 기초한 부가 정보는 (1) 비트스트림에 추가 시점의 컬러 영상이 포함되었는 지 여부를 나타내는 식별 정보, (2) 비트스트림에 포함된 추가 시점의 컬러 영상의 해상도가 기준 해상도와 다른지 여부를 나타내는 식별 정보, (3) 비트스트림에 포함된 추가 시점의 컬러 영상의 해상도와 기준 해상도 간의 해상도 비율을 나타내는 비율 정보, 및 (4) 비트스트림에 포함된 추가 시점의 컬러 영상의 시점 간 예측 기법을 위한 해상도 변환 방법 중 적어도 하나를 포함할 수 있다.

그리고, 깊이 영상에 기초한 부가 정보는 (1) 비트스트림에 포함된 깊이 영상의 생성 방식을 나타내는 영상 특성 정보, (2) 비트스트림에 포함된 깊이 영상의 해상도가 기준 해상도와 다른지 여부를 나타내는 식별 정보, (3) 비트스트림에 포함된 깊이 영상의 해상도와 기준 해상도 간의 해상도 비율을 나타내는 비율 정보, (4) 시점 간 예측 기법을 위해 상기 비트스트림에 포함된 깊이 영상의 해상도 변환 방법을 나타내는 변환 정보, 및 (5) 비트스트림에 포함된 깊이 영상의 해상도가 기준 해상도와 다른 경우, 해상도 차이의 원인을 나타내는 원인 정보 중 적어도 하나를 포함할 수 있다.

비트스트림에 포함된 부가 정보에 대해서는 도 11에서 구체적으로 설명하기로 한다.

도 3은 본 발명의 제1 일실시예에 따른 영상 재생 장치의 세부 구조를 도시한 도면이다.

도 3을 참고하면, 영상 재생 장치(301)는 비트스트림 수신부(302), 영상 복호화부(303), 영상 후처리부(304) 및 영상 생성부(305)를 포함할 수 있다. 도 3의 영상 재생 장치(301)는 영상을 표현하는 디스플레이 장치와 구분되도록 구현된 장치를 의미한다.

비트스트림 수신부(302)는 영상 전송 장치가 전송한 비트스트림을 수신할 수 있다. 일례로, 비트스트림은 3차원 영상 포맷에 따라 변환된 복수의 시점의 컬러 영상 및 깊이 영상, 3차원 영상 포맷과 관련된 부가 정보를 포함할 수 있다. 여기서, 부가 정보는 도 2에서 설명한 부가 정보와 동일하다.

영상 복호화부(303)는 비트스트림에 포함된 컬러 영상과 깊이 영상을 복호화할 수 있다. 이 때, 영상 복호화부(303)는 시점간 예측 기법에 따라 컬러 영상과 깊이 영상을 복호화할 수 있다.

영상 후처리부(304)는 복호화된 컬러 영상과 깊이 영상을 후처리함으로써 영상의 화질을 향상시킬 수 있다. 일례로, 영상 후처리부(304)는 컬러 영상을 이용하여 깊이 영상을 후처리할 수 있다. 그리고, 영상 후처리부(304)는 깊이 영상의 영상 특성 정보를 고려하여 깊이 영상을 후처리할 수 있다.

영상 생성부(305)는 부가 정보에 따라 컬러 영상 및 깊이 영상을 처리하여 디스플레이 장치에서 표시 또는 재생하고자 하는 출력 영상을 생성할 수 있다. 즉, 영상 생성부(305)는 디스플레이 장치에서 표현가능한 영상을 고려하여 2차원 영상, 3차원 영상 포맷에 따라 변환된 컬러 영상 및 깊이 영상을 처리할 수 있다. 그러면, 영상 생성부(305)는 컬러 영상 및 깊이 영상을 처리함으로써 스테레오 3차원 영상 또는 다시점 3차원 영상과 같은 출력 영상을 생성할 수 있다.

도 4는 본 발명의 제2 일실시예에 따른 영상 재생 장치의 세부 구조를 도시한 도면이다.

도 4를 참고하면, 영상 재생 장치(401)는 부가 정보 추출부(402), 영상 복호화부(403), 영상 후처리부(404), 영상 생성부(405) 및 영상 디스플레이부(406)를 포함할 수 있다. 도 4의 영상 재생 장치(401)는 영상을 표현하는 디스플레이 장치를 포함하도록 구현된 장치를 의미한다.

부가 정보 추출부(402)는 비트스트림으로부터 3차원 영상 포맷과 관련된 부가 정보를 추출할 수 있다. 여기서, 부가 정보는 도 2에서 설명한 부가 정보와 동일하다.

영상 복호화부(403)는 비트스트림에 포함된 컬러 영상과 깊이 영상을 시점간 예측 기법에 따라 복호화할 수 있다.

영상 후처리부(404)는 컬러 영상 또는 깊이 영상의 화질을 향상시키기 위한 후처리(Postprocessing)을 수행할 수 있다.

영상 생성부(405)는 부가 정보에 따라 복수의 시점의 컬러 영상 및 깊이 영상을 처리하여 출력 영상을 생성할 수 있다.

영상 디스플레이부(406)는 출력 영상을 디스플레이할 수 있다. 영상 디스플레이부(406)는 2차원 영상, 스테레오 3차원 영상 또는 다시점 3차원 영상을 디스플레이할 수 있다.

도 5는 본 발명의 제1 실시예에 따라 다시점 3차원 영상을 위한 영상 포맷을 도시한 도면이다.

도 5를 참고하면, 영상 포맷은 기준 시점에 대응하는 컬러 영상 C1(501) 및 깊이 영상 D1(504), 스테레오 시점에 대응하는 컬러 영상 C2(502), C3(503) 및 깊이 영상 D2(505), D3(506)을 포함할 수 있다.

이 때, 도 5에 도시된 바와 같이 깊이 영상 D1(504), D2(505), D3(506)의 해상도는 기준 시점에 대응하는 컬러 영상 C1(501)의 해상도인 기준 해상도과 다를 수 있다. 스테레오 시점에 대응하는 컬러 영상 C2(502), C3(503)은 모두 기준 해상도를 갖는다. 구체적으로, 깊이 영상 D1(504), D2(505), D3(506)은 기준 해상도를 갖는 컬러 영상 C1(501)보다 가로가 1/N 또는 세로가 1/M일 수 있다. 여기서, N과 M은 자연수를 의미한다. 일례로, N과 M은 2 또는 4일 수 있으며, 깊이 영상(504, 505, 506)의 해상도는 기준 해상도보다 1/2, 1/4, 1/8, 1/16 등일 수 있다.

도 6은 본 발명의 제2 실시예에 따라 다시점 3차원 영상을 위한 영상 포맷을 도시한 도면이다.

도 6를 참고하면, 영상 포맷은 기준 시점에 대응하는 컬러 영상 C1(601) 및 깊이 영상 D1(604), 스테레오 시점에 대응하는 컬러 영상 C2(602), C3(603) 및 깊이 영상 D2(605), D3(606)을 포함할 수 있다.

이 때, 도 6에 도시된 바와 같이 스테레오 시점에 대응하는 깊이 영상 C2(602), C3(603)와 깊이 영상 D2(605), D3(606)의 해상도는 기준 시점에 대응하는 컬러 영상 C1(601)의 해상도인 기준 해상도과 다를 수 있다. 깊이 영상 D1(604)의 해상도는 기준 해상도와 동일하다.

구체적으로, 깊이 영상 C2(602), C3(603)와 깊이 영상 D2(605), D3(606)는 기준 해상도를 갖는 컬러 영상 C1(601)보다 가로가 1/N 또는 세로가 1/M일 수 있다. 여기서, N과 M은 자연수를 의미한다. 일례로, N과 M은 2 또는 4일 수 있으며, 깊이 영상 C2(602), C3(603)와 깊이 영상 D2(605), D3(606)의 해상도는 기준 해상도보다 1/2, 1/4, 1/8, 1/16 등일 수 있다.

도 7은 본 발명의 제3 실시예에 따라 다시점 3차원 영상을 위한 영상 포맷을 도시한 도면이다.

도 7을 참고하면, 영상 포맷은 기준 시점에 대응하는 컬러 영상 C1(701) 및 깊이 영상 D1(704), 스테레오 시점에 대응하는 컬러 영상 C2(702), C3(703) 및 깊이 영상 D2(705), D3(706)를 포함할 수 있다.

이 때, 도 7에 도시된 바와 같이 스테레오 시점에 대응하는 깊이 영상 C2(702), C3(703)와 깊이 영상 D1(704), D2(705), D3(706)의 해상도는 기준 시점에 대응하는 컬러 영상 C1(701)의 해상도인 기준 해상도과 다를 수 있다.

구체적으로, 깊이 영상 C2(702), C3(703)와 깊이 영상 D1(704), D2(705), D3(706)은 기준 해상도를 갖는 컬러 영상 C1(701)보다 가로가 1/N 또는 세로가 1/M일 수 있다. 여기서, N과 M은 자연수를 의미한다. 일례로, N과 M은 2 또는 4일 수 있으며, 깊이 영상 C2(702), C3(703)와 깊이 영상 D2(705), D3(706)의 해상도는 기준 해상도보다 1/2, 1/4, 1/8, 1/16 등일 수 있다.

도 8은 본 발명의 제4 실시예에 따라 다시점 3차원 영상을 위한 영상 포맷을 도시한 도면이다.

도 8을 참고하면, 영상 포맷은 기준 시점에 대응하는 컬러 영상 C1(801) 및 깊이 영상 D1(804), 스테레오 시점에 대응하는 컬러 영상 C2(802), 및 깊이 영상 D2(806), 그리고 추가 시점에 대응하는 컬러 영상 C3(803), C4(804) 및 깊이 영상 D3(807), D4(808)를 포함할 수 있다.

이 때, 도 8에 도시된 바와 같이 깊이 영상 D1(804), D2(806), D3(807), D4(808)의 해상도는 기준 시점에 대응하는 컬러 영상 C1(801)의 해상도인 기준 해상도과 다를 수 있다. 즉, 깊이 영상 D1(804), D2(806), D3(807), D4(808)의 해상도는 기준 해상도보다 작을 수 있다.

구체적으로, 깊이 영상 D1(804), D2(806), D3(807), D4(808)은 기준 해상도를 갖는 컬러 영상 C1(801)보다 가로가 1/N 또는 세로가 1/M일 수 있다. 여기서, N과 M은 자연수를 의미한다. 일례로, N과 M은 2 또는 4일 수 있으며, 깊이 영상 D1(804), D2(806), D3(807), D4(808)의 해상도는 기준 해상도보다 1/2, 1/4, 1/8, 1/16 등일 수 있다.

도 9는 본 발명의 제5 실시예에 따라 다시점 3차원 영상을 위한 영상 포맷을 도시한 도면이다.

도 9를 참고하면, 영상 포맷은 기준 시점에 대응하는 컬러 영상 C1(901) 및 깊이 영상 D1(904), 스테레오 시점에 대응하는 컬러 영상 C2(902), 및 깊이 영상 D2(906), 그리고 추가 시점에 대응하는 컬러 영상 C3(903), C4(904) 및 깊이 영상 D3(907), D4(908)를 포함할 수 있다.

이 때, 도 9에 도시된 바와 같이 깊이 영상 D3(907), D4(908)의 해상도는 기준 시점에 대응하는 컬러 영상 C1(901)의 해상도인 기준 해상도과 다를 수 있다. 즉, 깊이 영상 D1(904), D2(906), D3(907), D4(908)의 해상도는 기준 해상도보다 작을 수 있다.

구체적으로, 깊이 영상 D3(907), D4(908)은 기준 해상도를 갖는 컬러 영상 C1(901)보다 가로가 1/N 또는 세로가 1/M일 수 있다. 여기서, N과 M은 자연수를 의미한다. 일례로, N과 M은 2 또는 4일 수 있으며, 깊이 영상 D3(907), D4(908)의 해상도는 기준 해상도보다 1/2, 1/4, 1/8, 1/16 등일 수 있다.

도 10은 본 발명의 제6 실시예에 따라 다시점 3차원 영상을 위한 영상 포맷을 도시한 도면이다.

도 10을 참고하면, 영상 포맷은 기준 시점에 대응하는 컬러 영상 C1(1001) 및 깊이 영상 D1(1004), 스테레오 시점에 대응하는 컬러 영상 C2(1002), 및 깊이 영상 D2(1006), 그리고 추가 시점에 대응하는 컬러 영상 C3(1003), C4(1004) 및 깊이 영상 D3(1007), D4(1008)를 포함할 수 있다.

이 때, 도 10에 도시된 바와 같이 컬러 영상 C3(1003), C4(1004)와 깊이 영상 D1(1004), D2(1006), D3(1007), D4(1008)의 해상도는 기준 시점에 대응하는 컬러 영상 C1(1001)의 해상도인 기준 해상도과 다를 수 있다. 즉, 컬러 영상 C3(1003), C4(1004)와 깊이 영상 D1(1004), D2(1006), D3(1007), D4(1008)의 해상도는 기준 해상도보다 작을 수 있다.

구체적으로, 컬러 영상 C3(1003), C4(1004)와 깊이 영상 D1(1004), D2(1006), D3(1007), D4(1008)은 기준 해상도를 갖는 컬러 영상 C1(1001)보다 가로가 1/N 또는 세로가 1/M일 수 있다. 여기서, N과 M은 자연수를 의미한다. 일례로, N과 M은 2 또는 4일 수 있으며, 컬러 영상 C3(1003), C4(1004)와 깊이 영상 D1(1004), D2(1006), D3(1007), D4(1008)의 해상도는 기준 해상도보다 1/2, 1/4, 1/8, 1/16 등일 수 있다.

도 6 내지 도 10에서 기준 해상도는 기준 시점의 컬러 영상의 해상도로 가정하였다. 그러나, 시스템 구성에 따라 기준 해상도는 기준 시점의 컬러 영상의 해상도 및 스테레오 시점의 컬러 영상의 해상도로 설정될 수 있다.

도 11은 본 발명의 일실시예에 따른 부가 정보의 신택스를 도시한 도면이다.

도 11에서 부가 정보는 크게 3차원 영상 포맷의 영상 모드 정보, 추가 시점에 대응하는 컬러 영상에 기초한 부가 정보 또는 깊이 영상에 기초한 부가 정보로 구분될 수 있다.

추가 시점에 대응하는 컬러 영상에 기초한 부가 정보는 satellite_view_flag, satellite_color_scale_flag, satellite_color_scale_ratio, satellite_color_scale_method를 포함할 수 있다. 그리고, 깊이 영상에 기초한 부가 정보는 3dv_depth_property, depth_scale_flag, depth_scale_ratio, depth_scale_method, depth_capturing_flag를 포함할 수 있다.

이하에서는, 부가 정보 각각의 의미를 구체적으로 설명하기로 한다.

(1) 3dv_format_mode

3dv_format_mode는 영상 포맷의 영상 모드 정보를 나타낸다. 구체적으로, 영상 모드 정보는 압축된 비트스트림이 2차원 영상, 스테레오 3차원 영상, 다시점 3차원 영상 중 어느 것에 해당하는 지 여부를 나타낸다. 3dv_format_mode는 영상 재생 장치에서 어떠한 방식으로 영상을 재생할 것인지를 판단하기 위해 사용된다.

예를 들어, 영상을 표현하고자 하는 디스플레이가 다시점 3차원 디스플레이이고 3dv_format_mode가 2차원 영상인 경우, 영상 재생 장치는 3dv_format_mode에 기초하여 2차원 영상을 2차원 영상 모드로 재생하거나 또는 영상 변환 장치를 통해 2차원 영상을 3차원 영상으로 변환한 후 3차원 영상 모드로 재생할 수 있다.

그리고, 영상을 표현하고자 하는 디스플레이가 2차원 디스플레이이고 3dv_format_mode가 다시점 3차원 영상인 경우, 영상 재생 장치는 3dv_format_mode에 기초하여 영상 변환 장치를 통해 다시점 3차원 영상을 2차원 영상으로 변환한 후 2차원 영상 모드로 재생하거나 또는 영상 재생이 불가하다고 표시할 수 있다.

(2) satellite_view_flag

다시점 3차원 영상을 위한 영상 포맷은 기준 시점, 스테레오 시점 이외에 가상 시점을 생성하기 위한 추가 시점에 대응하는 컬러 영상과 깊이 영상을 포함할 수 있다. satellite_view_flag는 영상 포맷에 추가 시점에 대응하는 컬러 영상이 포함되었는 지 여부를 나타내는 식별 정보를 의미한다. satellite_view_flag는 앞서 설명한 도 8 내지 도 10의 영상 포맷에 적용될 수 있다.

(3) satellite_color_scale_flag

satellite_color_scale_flag는 satellite_view_flag에 따라 비트스트림에 추가 시점에 대응하는 컬러 영상이 포함된 것을 전제한다. satellite_color_scale_flag는 비트스트림에 포함된 추가 시점의 컬러 영상의 해상도가 기준 해상도와 다른지 여부를 나타내는 식별 정보를 의미한다. satellite_color_scale_flag는 앞서 설명한 도 10의 영상 포맷에 적용될 수 있다.

(4) satellite_color_scale_ratio

satellite_color_scale_ratio는 비트스트림에 포함된 추가 시점의 컬러 영상의 해상도와 기준 해상도 간의 해상도 비율을 나타내는 비율 정보를 나타낸다. 즉, satellite_color_scale_ratio는 추가 시점의 컬러 영상의 해상도와 기준 해상도 간의 해상도 차이를 나타낸다. satellite_color_scale_ratio는 앞서 설명한 도 10의 영상 포맷에 적용될 수 있다.

(5) satellite_color_scale_method

satellite_color_scale_method는 비트스트림에 포함된 추가 시점의 컬러 영상의 시점 간 예측 기법을 위한 해상도 변환 방법을 나타낸다. 시점간 예측 기법은 서로 다른 시점에 대응하면서도 동일한 해상도를 가지는 영상들 간에 적용된다. 그래서, 서로 다른 시점에 대응하는 영상들이 서로 다른 해상도를 갖는 경우, 동일한 해상도를 갖기 위한 해상도 변환 방법을 부가 정보로 영상 재생 장치에 전송할 필요가 있다. 이 때, 영상 전송 장치는 기준 시점의 컬러 영상을 I-view로 참조하여 추가 시점의 컬러 영상을 P-view로 부호화할 수 있다.

예를 들어, 추가 시점의 컬러 영상의 해상도가 기준 시점의 컬러 영상의 해상도인 기준 해상도보다 작은 경우, 추가 시점의 컬러 영상의 해상도를 증가시키기 위한 보간 방법을 satellite_color_scale_method로 표현할 수 있다. 일례로, 저해상도 영상을 고해상도 영상으로 변환하기 위해 Quarter pel 또는 Half pel과 같은 보간 방법이 사용될 수 있다.

(6) 3dv_depth_property

3dv_depth_property는 비트스트림에 포함된 깊이 영상의 생성 방식을 나타내는 영상 특성 정보를 나타낸다. 3dv_depth_property는 기준 시점, 스테레오 시점 또는 추가 시점의 깊이 영상마다 적용될 수 있다. 구체적으로, 3dv_depth_property는 깊이 영상이 어떻게 획득되었는 지 여부를 나타내는 정보를 의미한다. 예를 들어, 3dv_depth_property 는 깊이 영상이 그래픽 영상과 같이 합성(synthetic) 데이터인지, 깊이 영상 카메라로부터 직접 획득된 측정 데이터인지 또는 컬러 영상 카메라로부터 획득한 컬러 영상으로부터 도출된 추정 데이터인지 여부를 나타낸다.

합성 데이터는 깊이값의 정확도가 높고 컬러 영상과의 일관도(consistency)가 높은 경향을 나타낸다. 반면에, 측정 데이터 또는 추정 데이터는 깊이값의 정확도가 낮고, 컬러 영상과의 일관도가 낮아 컬러 영상과 깊이 영상 간에 물체의 경계가 불일치하는 경우가 있다. 따라서, 측정 데이터 또는 추정 데이터인 깊이 영상은 컬러 영상과의 관계에서 정확도를 향상시킬 수 있는 후처리 과정이 요구된다. 3dv_depth_property는 앞서 설명한 도 6 내지 도 10의 영상 포맷에 적용될 수 있다.

(7) depth_scale_flag

depth_scale_flag는 비트스트림에 포함된 깊이 영상의 해상도가 기준 해상도와 다른지 여부를 나타내는 식별 정보를 의미한다. depth_scale_flag는 기준 시점, 스테레오 시점 또는 추가 시점의 깊이 영상마다 적용될 수 있다. 여기서, 깊이 영상은 기준 시점, 스테레오 시점 또는 추가 시점에 대응할 수 있다. 즉, 기준 해상도가 기준 시점의 컬러 영상의 해상도 또는 스테레오 시점의 컬러 영상의 해상도로 설정되더라도, 기준 시점의 깊이 영상의 해상도, 또는 스테레오 시점의 깊이 영상의 해상도는 기준 해상도와 다를 수 있다. depth_scale_flag는 앞서 설명한 도 6 내지 도 10의 영상 포맷에 적용될 수 있다.

(8) depth_scale_ratio

depth_scale_ratio는 비트스트림에 포함된 깊이 영상의 해상도와 기준 해상도 간의 해상도 비율을 나타내는 비율 정보를 의미한다. depth_scale_ratio는 기준 시점, 스테레오 시점 또는 추가 시점의 깊이 영상마다 적용될 수 있다. 기준 해상도는 기준 시점의 컬러 영상의 해상도 및 스테레오 시점의 컬러 영상의 해상도로 설정될 수 있다. depth_scale_ratio는 깊이 영상의 해상도와 기준 해상도 간의 해상도 차이를 나타낸다. depth_scale_ratio는 앞서 설명한 도 6 내지 도 10의 영상 포맷에 적용될 수 있다.

(9) depth_scale_method

depth_scale_method는 시점 간 예측 기법을 위해 비트스트림에 포함된 깊이 영상의 해상도 변환 방법을 나타내는 변환 정보를 의미한다. depth_scale_ratio는 기준 시점, 스테레오 시점 또는 추가 시점의 깊이 영상마다 적용될 수 있다. 여기서, depth_scale_ method는 동일한 시점에 대응하는 컬러 영상과 깊이 영상 간의 해상도가 다른 경우 또는 다른 시점에 대응하는 깊이 영상 간의 해상도가 다른 경우에 적용될 수 있다.

깊이 영상에 적용되는 시점간 예측 기법은 서로 다른 시점에 대응하면서도 동일한 해상도를 가지는 깊이 영상들 간에 적용된다. 그래서, 서로 다른 시점에 대응하는 영상들이 서로 다른 해상도를 갖는 경우, 동일한 해상도를 갖기 위한 해상도 변환 방법을 부가 정보로 영상 재생 장치에 전송할 필요가 있다. 이 때, 영상 전송 장치는 기준 시점의 깊이 영상을 I-view로 참조하여 추가 시점의 깊이 영상을 P-view로 부호화할 수 있다.

예를 들어, 추가 시점의 깊이 영상의 해상도가 기준 시점의 깊이 영상의 해상도보다 작고, 기준 시점의 깊이 영상의 해상도가 기준 해상도인 기준 시점의 컬러 영상의 해상도와 동일한 경우, 추가 시점의 깊이 영상의 해상도를 증가시키기 위한 보간 방법이 depth_scale_method로 표현될 수 있다. 그리고, 추가 시점의 깊이 영상의 해상도가 기준 시점의 깊이 영상의 해상도와 동일하지만, 기준 시점의 깊이 영상의 해상도가 기준 해상도인 기준 시점의 컬러 영상의 해상도보다 작은 경우, 추가 시점의 깊이 영상의 해상도를 증가시키기 위한 보간 방법이 depth_scale_method로 표현될 수 있다. 일례로, 저해상도 영상을 고해상도 영상으로 변환하기 위해 Quarter pel 또는 Half pel과 같은 보간 방법이 사용될 수 있다.

(10) depth_capturing_flag

depth_capturing_flag는 비트스트림에 포함된 깊이 영상의 해상도가 기준 해상도와 다른 경우, 해상도 차이의 원인을 나타내는 원인 정보를 나타낸다. 즉, 영상 포맷에서 깊이 영상의 해상도가 기준 해상도와 다른 경우, depth_capturing_flag는 해상도 차이가 캡쳐링(capturing)한 시점에 대응하는 카메라 간의 차이로 인해 발생한 것인지, 또는 영상 포맷으로 변환하는 과정에서 깊이 영상의 해상도가 저하됨에 따라 발생한 것인지를 나타낸다.

도 11에 도시된 부가 정보는 예시에 불과하며, 시스템의 구성에 따라 변경될 수 있다. 일례로, 부가 정보는 각각의 깊이 영상, 컬러 영상에 대한 시점 특성을 포함할 수 있다. 구체적으로, 영상 포맷에 포함된 컬러 영상과 깊이 영상이 복수인 경우, 부가 정보는 컬러 영상과 깊이 영상이 기준 시점, 스테레오 시점 또는 추가 시점 중 어느 시점인지 여부를 나타내는 정보를 포함할 수 있다.

도 12는 본 발명의 일실시예에 따라 시점간 예측 기법에 따라 부호화/복호화하는 과정을 도시한 도면이다.

도 12를 참고하면, 영상(1201)은 제1 시점에 대응하는 컬러 영상 1 또는 깊이 영상 1을 의미한다. 그리고, 영상(1202)은 제2 시점에 대응하는 컬러 영상 2 또는 깊이 영상 2를 의미한다. 이 때, 제1 시점은 기준 시점을 의미하고, 제2 시점은 스테레오 시점 또는 추가 시점을 의미할 수 있으나, 본 발명은 이에 한정되지 않는다. 이하에서는 컬러 영상 2(1202)를 중심으로 설명하기로 하며, 깊이 영상 2(1202)도 동일하게 적용될 수 있다.

먼저 영상 전송 장치는 제1 시점의 컬러 영상 1(1201)을 부호화할 수 있다. 그리고, 영상 전송 장치는 제1 시점의 컬러 영상 1(1201)을 이용하여 제1 시점의 깊이 영상 1(1201)을 부호화할 수 있다.

이후, 영상 전송 장치는 제1 시점의 컬러 영상 1(1201)을 이용하여 제2 시점의 컬러 영상 2(1202)를 시점간 예측 부호화를 수행할 수 있다. 여기서, 시점간 예측 부호화는 동일한 해상도를 갖는 영상 간에 수행된다. 도 12를 참고하면, 시점 간 예측 부호화를 수행하고자 하는 컬러 영상 2(1202)의 해상도는 컬러 영상 1(1201)의 해상도보다 작은 것을 알 수 있다.

이 경우, 영상 전송 장치는 컬러 영상 1(1201)이 컬러 영상 2(1202)와 동일한 해상도를 가지도록 컬러 영상 1(1201)을 다운 스케일링할 수 있다. 컬러 영상 1(1203)은 컬러 영상 1(1201)이 다운 스케일링된 결과를 의미한다. 그러면, 영상 전송 장치는 다운스케일링된 컬러 영상 1(1203)을 참조하여 컬러 영상 2(1204)를 시점 간 예측 기법에 따라 부호화할 수 있다. 여기서, 컬러 영상 2(1202)와 컬러 영상 2(1204)는 동일하다.

구체적으로, 영상 전송 장치는 컬러 영상 1(1203)을 참조하여 컬러 영상 2 (1204)에 대응하는 예측 영상을 생성하고, 컬러 영상 2(1204)의 실제 영상과 예측 영상 간의 차이인 잔차 신호를 부호화할 수 있다. 그러면, 영상 전송 장치는 참조 영상인 컬러 영상 1(1201)과 잔차 신호를 비트스트림을 통해 영상 재생 장치에 전송할 수 있다. 이 때, 영상 전송 장치는 컬러 영상 1(1201)을 다운 스케일링할 때 적용한 방법을 해상도 변환 방법으로 설정하고, 이를 부가 정보에 포함시켜 비트스트림을 통해 영상 재생 장치에 전송할 수 있다.

복호화 과정도 부호화 과정과 유사하게 진행된다.

영상 재생 장치는 비트스트림에 포함된 컬러 영상 1(1201)을 복호화할 수 있다. 그리고, 컬러 영상 1(1201)을 참고하여 깊이 영상 1(1202)을 복호화할 수 있다.

이후, 영상 재생 장치는 시점 간 예측 기법을 적용하여 컬러 영상 2(1202)를 복호화할 수 있다. 다만, 영상 재생 장치는 컬러 영상 1(1201)과 컬러 영상 2(1202)와 관련된 잔차 신호를 수신한다. 실제, 컬러 영상 1(1201)과 컬러 영상 2(1202) 간에 해상도가 다른 경우, 컬러 영상 1(1201)의 해상도가 컬러 영상 2(1202)의 해상도와 동일하도록 컬러 영상 1(1201)을 해상도 변환할 수 있다. 이 때, 비트스트림에는 시점간 예측 기법에 따라 컬러 영상 2(1202)를 부호화할 때 적용한 해상도 변환 방법이 부가 정보로 포함되어 있다. 그러면, 영상 재생 장치는 부가 정보인 해상도 변환 방법에 따라 컬러 영상 1(1201)을 다운 스케일링하여 컬러 영상 2(1203)를 출력한다. 이 후, 영상 재생 장치는 다운스케일링된 컬러 영상 2(1203)을 참조하여 컬러 영상 2(1204)의 예측 영상을 생성한 후, 컬러 영상 2(1204)의 예측 영상에 잔차 신호를 부가하여 컬러 영상 2(1204)를 복원할 수 있다.

추후에, 영상 재생 장치는 3차원 영상을 생성하기 위해서 동일한 해상도를 가지는 컬러 영상과 깊이 영상을 이용해야 한다. 따라서, 영상 재생 장치는 복원된 컬러 영상 2(1204)를 기준 해상도를 가지는 컬러 영상 1(1204)와 동일한 해상도를 가지도록 업스케일링할 수 있다. 여기서, 깊이 영상을 업스케일링하는 경우, Bilateral 또는 Trilateral Filter가 적용될 수 있다.

도 13은 본 발명의 일실시예에 따른 컬러 영상을 후처리하는 과정을 도시한 도면이다.

도 13에서 컬러 영상 1(1301)은 제1 시점에 대응하고, 컬러 영상 2(1302)는 제2 시점에 대응한다. 컬러 영상 1(1301)과 컬러 영상 2(1302)는 영상 재생 장치를 통해 시점간 예측 기법에 따라 복호화된 결과를 의미한다.

영상 재생 장치는 서로 다른 시점을 나타내는 컬러 영상 1(1301)과 컬러 영상 2(1302)를 이용하여 다시점 3차원 영상을 생성할 수 있다. 다시점 3차원 영상을 생성하기 위해서는 서로 다른 시점을 나타내는 컬러 영상 1(1301)과 컬러 영상 2(1302) 간에 해상도가 동일해야 한다.

이 때, 컬러 영상 1(1301)의 해상도는 기준 해상도라고 가정한다. 컬러 영상 2(1302)는 컬러 영상 1(1301)보다 해상도가 낮다. 그러면, 영상 재생 장치는 컬러 영상 2(1302)를 업스케일링하여 컬러 영상 2(1302)의 해상도를 변경할 수 있다. 그리고, 영상 재생 장치는 화질 향상을 위해 컬러 영상 1(1303)을 참고하여 업스케일링된 컬러 영상 2(1304)를 후처리할 수 있다. 후처리 과정에서 Wiener Filter와 같은 필터링 과정이 적용될 수 있으며, 화질 향상을 위한 어떠한 알고리즘도 적용될 수 있다.

도 14는 본 발명의 일실시예에 따른 깊이 영상을 후처리하는 과정을 도시한 도면이다.

도 14에서 깊이 영상 1(1401)은 제1 시점에 대응하고, 깊이 영상 2(1402)는 제2 시점에 대응한다. 깊이 영상 1(1401)과 깊이 영상 2(1402)는 영상 재생 장치를 통해 시점간 예측 기법에 따라 복호화된 결과를 의미한다.

영상 재생 장치는 서로 다른 시점을 나타내는 깊이 영상 1(1401)과 깊이 영상 2(1402)를 이용하여 다시점 3차원 영상을 생성할 수 있다. 다시점 3차원 영상을 생성하기 위해서는 서로 다른 시점을 나타내는 깊이 영상 1(1401)과 깊이 영상 2(1402) 간에 해상도가 동일해야 한다.

이 때, 깊이 영상 1(1401)의 해상도는 기준 해상도라고 가정한다. 깊이 영상 2(1402)는 깊이 영상 1(1401)보다 해상도가 낮다. 그러면, 영상 재생 장치는 깊이 영상 2(1402)를 업스케일링하여 깊이 영상 2(1402)의 해상도를 변경할 수 있다. 그리고, 영상 재생 장치는 화질 향상을 위해 동일 시점에 대응하는 컬러 영상 2(1403)을 참고하여 업스케일링된 깊이 영상 2(1404)를 후처리할 수 있다.

후처리 과정에서 Trilateral Filter와 같은 필터링 과정이 적용될 수 있으며, 화질 향상을 위한 어떠한 알고리즘도 적용될 수 있다. 특히, 깊이 영상의 후처리 과정은 깊이 영상의 영상 특성 정보에 따라 구분하여 적용될 수 있다. 이에 대해서는 도 16에서 구체적으로 설명하기로 한다.

도 15는 본 발명의 일실시예에 따른 영상 특성 정보에 따라 깊이 영상을 복호화하는 과정을 도시한 도면이다.

앞서 설명하였듯이, 영상 재생 장치는 깊이 영상을 복호화할 수 있다. 일례로, 영상 재생 장치는 In-Loop Filter를 이용하여 깊이 영상을 복호화할 수 있다. 이 때, 영상 재생 장치는 깊이 영상의 영상 특성 정보를 판단하고(1501), 영상 특성 정보에 기초하여 필터링 방법을 다르게 적용할 수 있다. 여기서, 영상 특성 정보는 깊이 영상의 생성 방식을 나타낸다. 예를 들어, 깊이 영상의 영상 특성 정보는 깊이 영상이 그래픽 영상과 같이 합성(synthetic) 데이터인지, 깊이 영상 카메라로부터 직접 획득된 측정 데이터인지 또는 컬러 영상 카메라로부터 획득한 컬러 영상으로부터 도출된 추정 데이터인지 여부를 나타낸다.

영상 재생 장치는 합성 데이터와 같이 정확한 깊이 영상을 Bilateral filter 또는 Wiener Filter와 같은 필터링 방법 1에 따라 복호화할 수 있다(1502). 그리고, 영상 재생 장치는 측정 데이터 또는 추정 데이터와 같이 정확도가 낮은 깊이 영상을 필터링 방법 2에 따라 In-Loop Filter를 적용하지 않고 복호화할 수 있다(1503).

도 16은 본 발명의 일실시예에 따른 영상 특성 정보에 따라 깊이 영상을 후처리하는 과정을 도시한 도면이다.

앞서 설명하였듯이, 영상 재생 장치는 복호화된 깊이 영상을 후처리할 수 있다. 이 때, 영상 재생 장치는 깊이 영상의 영상 특성 정보를 판단하고(1601), 영상 특성 정보에 기초하여 후처리에서 사용되는 필터링 방법을 다르게 적용할 수 있다. 여기서, 영상 특성 정보는 깊이 영상의 생성 방식을 나타낸다. 예를 들어, 깊이 영상의 영상 특성 정보는 깊이 영상이 그래픽 영상과 같이 합성(synthetic) 데이터인지, 깊이 영상 카메라로부터 직접 획득된 측정 데이터인지 또는 컬러 영상 카메라로부터 획득한 컬러 영상으로부터 도출된 추정 데이터인지 여부를 나타낸다.

영상 재생 장치는 합성 데이터와 같이 정확한 깊이 영상에 대해 물체의 경계를 명확히 하기 위한 Max filter와 같은 필터링 방법 1에 따라 후처리할 수 있다(1602). 그리고, 영상 재생 장치는 측정 데이터 또는 추정 데이터와 같이 정확도가 낮은 깊이 영상에 대해 컬러 영상의 정보를 참조하여 깊이 영상의 부정확한 부분을 수정하거나 제거하는 필터링 방법 2에 따라 후처리할 수 있다(1603).

도 17은 본 발명의 일실시예에 따른 영상 전송 방법을 도시한 도면이다.

단계(1701)에서, 영상 전송 장치는 복수의 시점에 대응하는 컬러 영상 및 깊이 영상을 3차원 영상 포맷에 따라 변환할 수 있다. 여기서, 컬러 영상과 깊이 영상은 기준 시점, 스테레오 시점 또는 추가 시점 중 적어도 하나의 시점에 대응할 수 있다.

단계(1702)에서, 영상 전송 장치는 컬러 영상 및 깊이 영상을 부호화할 수 있다. 일례로, 영상 전송 장치는 시점간 예측 기법에 따라 부호화할 수 있다.

단계(1703)에서, 영상 전송 장치는 3차원 영상 포맷과 관련된 부가 정보 및 3차원 영상 포맷에 따라 변환된 컬러 영상 및 깊이 영상들을 포함하는 비트스트림을 영상 재생 장치에 전송할 수 있다. 일례로, 비트스트림은 (1) 3차원 영상 포맷의 영상 모드 정보, (2) 추가 시점에 대응하는 컬러 영상에 기초한 부가 정보 또는 (3) 깊이 영상에 기초한 부가 정보 중 적어도 하나를 포함할 수 있다.

구체적으로, 추가 시점에 대응하는 컬러 영상에 기초한 부가 정보는, (1) 비트스트림에 추가 시점의 컬러 영상이 포함되었는 지 여부를 나타내는 식별 정보, (2) 비트스트림에 포함된 추가 시점의 컬러 영상의 해상도가 기준 해상도와 다른지 여부를 나타내는 식별 정보, (3) 비트스트림에 포함된 추가 시점의 컬러 영상의 해상도와 기준 해상도 간의 해상도 비율을 나타내는 비율 정보, 및 (4) 비트스트림에 포함된 추가 시점의 컬러 영상의 시점 간 예측 기법을 위한 해상도 변환 방법 중 적어도 하나를 포함할 수 있다.

또한, 깊이 영상에 기초한 부가 정보는 비트스트림에 포함된 깊이 영상의 생성 방식을 나타내는 영상 특성 정보, (2) 비트스트림에 포함된 깊이 영상의 해상도가 기준 해상도와 다른지 여부를 나타내는 식별 정보, (3) 비트스트림에 포함된 깊이 영상의 해상도와 기준 해상도 간의 해상도 비율을 나타내는 비율 정보, (4) 시점 간 예측 기법을 위해 상기 비트스트림에 포함된 깊이 영상의 해상도 변환 방법을 나타내는 변환 정보, 및 (5) 비트스트림에 포함된 깊이 영상의 해상도가 기준 해상도와 다른 경우, 해상도 차이의 원인을 나타내는 원인 정보 중 적어도 하나를 포함할 수 있다.

도 18은 본 발명의 제1 실시예에 따른 영상 재생 방법을 도시한 도면이다.

단계(1801)에서, 영상 재생 장치는 3차원 영상 포맷에 따라 변환된 복수의 시점의 컬러 영상 및 깊이 영상, 3차원 영상 포맷과 관련된 부가 정보를 포함하는 비트스트림을 영상 전송 장치로부터 수신할 수 있다. 부가 정보에 대해서는 도 17를 참고할 수 있다.

단계(1802)에서, 영상 재생 장치는 비트스트림에 포함된 컬러 영상과 깊이 영상을 시점간 예측 기법에 따라 복호화할 수 있다.

단계(1803)에서, 영상 재생 장치는 컬러 영상 또는 깊이 영상의 화질을 향상시키기 위한 깊이 영상의 후처리(Postprocessing)를 수행할 수 있다.

단계(1804)에서, 영상 재생 장치는 부가 정보에 따라 컬러 영상 및 깊이 영상을 처리하여 디스플레이 장치에서 재생하고자 하는 출력 영상을 생성할 수 있다.

도 19는 본 발명의 제2 실시예에 따른 영상 재생 방법을 도시한 도면이다.

단계(1901)에서, 영상 재생 장치는 비트스트림으로부터 3차원 영상 포맷과 관련된 부가 정보를 추출할 수 있다. 3차원 영상 포맷은 도 6 내지 도 10을 참고하고, 부가 정보는 도 11을 참고할 수 있다.

단계(1902)에서, 영상 재생 장치는 비트스트림에 포함된 컬러 영상과 깊이 영상을 시점간 예측 기법에 따라 복호화할 수 있다.

단계(1903)에서, 영상 재생 장치는 복호화된 컬러 영상 또는 깊이 영상의 화질을 향상시키기 위한 후처리(Postprocessing)을 수행할 수 있다.

단계(1904)에서, 영상 재생 장치는 부가 정보에 따라 복수의 시점의 컬러 영상 및 깊이 영상을 처리하여 출력 영상을 생성할 수 있다.

단계(1905)에서, 영상 재생 장치는 출력 영상을 디스플레이할 수 있다.

본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

101: 영상 전송 장치
102: 영상 재생 장치

Claims

복수의 시점에 대응하는 컬러 영상 및 깊이 영상을 3차원 영상 포맷에 따라 변환하는 영상 변환부; 및
상기 3차원 영상 포맷과 관련된 부가 정보 및 상기 변환된 영상들을 포함하는 비트스트림을 영상 재생 장치에 전송하는 비트스트림 전송부
를 포함하는 영상 전송 장치.
제1항에 있어서,
상기 컬러 영상 및 깊이 영상은,
기준 시점, 스테레오 시점 또는 추가 시점 중 적어도 하나의 시점에 대응하는 것을 특징으로 하는 영상 전송 장치.
제1항에 있어서,
상기 비트스트림은,
(1) 3차원 영상 포맷의 영상 모드 정보, (2) 추가 시점에 대응하는 컬러 영상에 기초한 부가 정보 또는 (3) 깊이 영상에 기초한 부가 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 전송 장치.
제1항에 있어서,
상기 부가 정보는,
상기 비트스트림에 추가 시점의 컬러 영상이 포함되었는 지 여부를 나타내는 식별 정보를 포함하는 것을 특징으로 하는 영상 전송 장치.
제1항에 있어서,
상기 부가 정보는,
상기 비트스트림에 포함된 추가 시점의 컬러 영상의 해상도가 기준 해상도와 다른지 여부를 나타내는 식별 정보를 포함하는 것을 특징으로 하는 영상 전송 장치.
제1항에 있어서,
상기 부가 정보는,
상기 비트스트림에 포함된 추가 시점의 컬러 영상의 해상도와 기준 해상도 간의 해상도 비율을 나타내는 비율 정보를 포함하는 것을 특징으로 하는 영상 전송 장치.
제1항에 있어서,
상기 부가 정보는,
상기 비트스트림에 포함된 추가 시점의 컬러 영상의 시점 간 예측 기법을 위한 해상도 변환 방법을 나타내는 변환 정보를 포함하는 것을 특징으로 하는 영상 전송 장치.
제1항에 있어서,
상기 부가 정보는,
상기 비트스트림에 포함된 깊이 영상의 생성 방식을 나타내는 영상 특성 정보를 포함하는 것을 특징으로 하는 영상 전송 장치.
제1항에 있어서,
상기 부가 정보는,
상기 비트스트림에 포함된 깊이 영상의 해상도가 기준 해상도와 다른지 여부를 나타내는 식별 정보를 포함하는 것을 특징으로 하는 영상 전송 장치.
제1항에 있어서,
상기 부가 정보는,
상기 비트스트림에 포함된 깊이 영상의 해상도와 기준 해상도 간의 해상도 비율을 나타내는 비율 정보를 포함하는 것을 특징으로 하는 영상 전송 장치.
제1항에 있어서,
상기 부가 정보는,
시점 간 예측 기법을 위해 상기 비트스트림에 포함된 깊이 영상의 해상도 변환 방법을 나타내는 변환 정보를 포함하는 것을 특징으로 하는 영상 전송 장치.
제1항에 있어서,
상기 부가 정보는,
상기 비트스트림에 포함된 깊이 영상의 해상도가 기준 해상도와 다른 경우, 해상도 차이의 원인을 나타내는 원인 정보를 포함하는 것을 특징으로 하는 영상 전송 장치.
제1항에 있어서,
상기 컬러 영상 및 깊이 영상을 시점간 예측 기법에 따라 부호화하는 영상 부호화부
를 더 포함하고,
상기 비트스트림 전송부는,
시점간 예측 기법에 따라 부호화된 컬러 영상 및 깊이 영상을 포함하는 비트스트림을 전송하는 것을 특징으로 하는 영상 전송 장치.
3차원 영상 포맷에 따라 변환된 복수의 시점의 컬러 영상 및 깊이 영상, 상기 3차원 영상 포맷과 관련된 부가 정보를 포함하는 비트스트림을 영상 전송 장치로부터 수신하는 비트스트림 수신부; 및
상기 부가 정보에 따라 컬러 영상 및 깊이 영상을 처리하여 디스플레이 장치에서 재생하고자 하는 출력 영상을 생성하는 영상 생성부
를 포함하는 영상 재생 장치.
제14항에 있어서,
상기 컬러 영상 및 깊이 영상은,
기준 시점, 스테레오 시점 또는 추가 시점 중 적어도 하나의 시점에 대응하는 것을 특징으로 하는 영상 재생 장치.
제14항에 있어서,
상기 비트스트림은,
(1) 3차원 영상 포맷의 영상 모드 정보, (2) 추가 시점에 대응하는 컬러 영상에 기초한 부가 정보 또는 (3) 깊이 영상에 기초한 부가 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 재생 장치.
제16항에 있어서,
상기 추가 시점에 대응하는 컬러 영상에 기초한 부가 정보는,
(1) 상기 비트스트림에 추가 시점의 컬러 영상이 포함되었는 지 여부를 나타내는 식별 정보, (2) 상기 비트스트림에 포함된 추가 시점의 컬러 영상의 해상도가 기준 해상도와 다른지 여부를 나타내는 식별 정보, (3) 상기 비트스트림에 포함된 추가 시점의 컬러 영상의 해상도와 기준 해상도 간의 해상도 비율을 나타내는 비율 정보, 및 (4) 상기 비트스트림에 포함된 추가 시점의 컬러 영상의 시점 간 예측 기법을 위한 해상도 변환 방법 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 재생 장치.
제16항에 있어서,
상기 깊이 영상에 기초한 부가 정보는,
(1) 상기 비트스트림에 포함된 깊이 영상의 생성 방식을 나타내는 영상 특성 정보, (2) 상기 비트스트림에 포함된 깊이 영상의 해상도가 기준 해상도와 다른지 여부를 나타내는 식별 정보, (3) 상기 비트스트림에 포함된 깊이 영상의 해상도와 기준 해상도 간의 해상도 비율을 나타내는 비율 정보, (4) 시점 간 예측 기법을 위해 상기 비트스트림에 포함된 깊이 영상의 해상도 변환 방법을 나타내는 변환 정보, 및 (5) 상기 비트스트림에 포함된 깊이 영상의 해상도가 기준 해상도와 다른 경우, 해상도 차이의 원인을 나타내는 원인 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 재생 장치.
제16항에 있어서,
상기 비트스트림에 포함된 컬러 영상과 깊이 영상을 시점간 예측 기법에 따라 복호화하는 영상 복호화부
를 더 포함하는 영상 재생 장치.
제16항에 있어서,
상기 컬러 영상 또는 깊이 영상의 화질을 향상시키기 위한 깊이 영상의 후처리(Postprocessing)을 수행하는 영상 후처리부
를 더 포함하는 영상 재생 장치.
비트스트림으로부터 3차원 영상 포맷과 관련된 부가 정보를 추출하는 정보 추출부;
상기 부가 정보에 따라 복수의 시점의 컬러 영상 및 깊이 영상을 처리하여 출력 영상을 생성하는 영상 생성부; 및
상기 생성된 출력 영상을 디스플레이하는 디스플레이부
를 포함하는 영상 재생 장치.
제21항에 있어서,
상기 컬러 영상 및 깊이 영상은,
기준 시점, 스테레오 시점 또는 추가 시점 중 적어도 하나의 시점에 대응하는 것을 특징으로 하는 영상 재생 장치.
제21항에 있어서,
상기 비트스트림은,
(1) 3차원 영상 포맷의 영상 모드 정보, (2) 추가 시점에 대응하는 컬러 영상에 기초한 부가 정보 또는 (3) 깊이 영상에 기초한 부가 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 재생 장치.
제21항에 있어서,
상기 추가 시점에 대응하는 컬러 영상에 기초한 부가 정보는,
(1) 상기 비트스트림에 추가 시점의 컬러 영상이 포함되었는 지 여부를 나타내는 식별 정보, (2) 상기 비트스트림에 포함된 추가 시점의 컬러 영상의 해상도가 기준 해상도와 다른지 여부를 나타내는 식별 정보, (3) 상기 비트스트림에 포함된 추가 시점의 컬러 영상의 해상도와 기준 해상도 간의 해상도 비율을 나타내는 비율 정보, 및 (4) 상기 비트스트림에 포함된 추가 시점의 컬러 영상의 시점 간 예측 기법을 위한 해상도 변환 방법 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 재생 장치.
제21항에 있어서,
상기 깊이 영상에 기초한 부가 정보는,
(1) 상기 비트스트림에 포함된 깊이 영상의 생성 방식을 나타내는 영상 특성 정보, (2) 상기 비트스트림에 포함된 깊이 영상의 해상도가 기준 해상도와 다른지 여부를 나타내는 식별 정보, (3) 상기 비트스트림에 포함된 깊이 영상의 해상도와 기준 해상도 간의 해상도 비율을 나타내는 비율 정보, (4) 시점 간 예측 기법을 위해 상기 비트스트림에 포함된 깊이 영상의 해상도 변환 방법을 나타내는 변환 정보, 및 (5) 상기 비트스트림에 포함된 깊이 영상의 해상도가 기준 해상도와 다른 경우, 해상도 차이의 원인을 나타내는 원인 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 재생 장치.
제21항에 있어서,
상기 비트스트림에 포함된 컬러 영상과 깊이 영상을 시점간 예측 기법에 따라 복호화하는 영상 복호화부
를 더 포함하는 영상 재생 장치.
제21항에 있어서,
상기 컬러 영상 또는 깊이 영상의 화질을 향상시키기 위한 후처리(Postprocessing)을 수행하는 영상 후처리부
를 더 포함하는 영상 재생 장치.
복수의 시점에 대응하는 컬러 영상 및 깊이 영상을 3차원 영상 포맷에 따라 변환하는 단계; 및
상기 3차원 영상 포맷과 관련된 부가 정보 및 상기 변환된 영상들을 포함하는 비트스트림을 영상 재생 장치에 전송하는 단계
를 포함하는 영상 전송 방법.
제28항에 있어서,
상기 비트스트림은,
(1) 3차원 영상 포맷의 영상 모드 정보, (2) 추가 시점에 대응하는 컬러 영상에 기초한 부가 정보 또는 (3) 깊이 영상에 기초한 부가 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 전송 방법.
제29항에 있어서,
상기 추가 시점에 대응하는 컬러 영상에 기초한 부가 정보는,
(1) 상기 비트스트림에 추가 시점의 컬러 영상이 포함되었는 지 여부를 나타내는 식별 정보, (2) 상기 비트스트림에 포함된 추가 시점의 컬러 영상의 해상도가 기준 해상도와 다른지 여부를 나타내는 식별 정보, (3) 상기 비트스트림에 포함된 추가 시점의 컬러 영상의 해상도와 기준 해상도 간의 해상도 비율을 나타내는 비율 정보, 및 (4) 상기 비트스트림에 포함된 추가 시점의 컬러 영상의 시점 간 예측 기법을 위한 해상도 변환 방법 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 전송 방법.
제29항에 있어서,
상기 깊이 영상에 기초한 부가 정보는,
(1) 상기 비트스트림에 포함된 깊이 영상의 생성 방식을 나타내는 영상 특성 정보, (2) 상기 비트스트림에 포함된 깊이 영상의 해상도가 기준 해상도와 다른지 여부를 나타내는 식별 정보, (3) 상기 비트스트림에 포함된 깊이 영상의 해상도와 기준 해상도 간의 해상도 비율을 나타내는 비율 정보, (4) 시점 간 예측 기법을 위해 상기 비트스트림에 포함된 깊이 영상의 해상도 변환 방법을 나타내는 변환 정보, 및 (5) 상기 비트스트림에 포함된 깊이 영상의 해상도가 기준 해상도와 다른 경우, 해상도 차이의 원인을 나타내는 원인 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 전송 방법.
3차원 영상 포맷에 따라 변환된 복수의 시점의 컬러 영상 및 깊이 영상, 상기 3차원 영상 포맷과 관련된 부가 정보를 포함하는 비트스트림을 영상 전송 장치로부터 수신하는 단계; 및
상기 부가 정보에 따라 컬러 영상 및 깊이 영상을 처리하여 디스플레이 장치에서 재생하고자 하는 출력 영상을 생성하는 단게
를 포함하는 영상 재생 방법.
비트스트림으로부터 3차원 영상 포맷과 관련된 부가 정보를 추출하는 단계;
상기 부가 정보에 따라 복수의 시점의 컬러 영상 및 깊이 영상을 처리하여 출력 영상을 생성하는 단계; 및
상기 생성된 출력 영상을 디스플레이하는 단계
를 포함하는 영상 재생 방법.
제32항 및 제33항 중 어느 한 항 있어서,
상기 비트스트림은,
(1) 3차원 영상 포맷의 영상 모드 정보, (2) 추가 시점에 대응하는 컬러 영상에 기초한 부가 정보 또는 (3) 깊이 영상에 기초한 부가 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 재생 방법.
제34항에 있어서,
상기 추가 시점에 대응하는 컬러 영상에 기초한 부가 정보는,
(1) 상기 비트스트림에 추가 시점의 컬러 영상이 포함되었는 지 여부를 나타내는 식별 정보, (2) 상기 비트스트림에 포함된 추가 시점의 컬러 영상의 해상도가 기준 해상도와 다른지 여부를 나타내는 식별 정보, (3) 상기 비트스트림에 포함된 추가 시점의 컬러 영상의 해상도와 기준 해상도 간의 해상도 비율을 나타내는 비율 정보, 및 (4) 상기 비트스트림에 포함된 추가 시점의 컬러 영상의 시점 간 예측 기법을 위한 해상도 변환 방법 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 재생 방법.
제21항에 있어서,
상기 깊이 영상에 기초한 부가 정보는,
(1) 상기 비트스트림에 포함된 깊이 영상의 생성 방식을 나타내는 영상 특성 정보, (2) 상기 비트스트림에 포함된 깊이 영상의 해상도가 기준 해상도와 다른지 여부를 나타내는 식별 정보, (3) 상기 비트스트림에 포함된 깊이 영상의 해상도와 기준 해상도 간의 해상도 비율을 나타내는 비율 정보, (4) 시점 간 예측 기법을 위해 상기 비트스트림에 포함된 깊이 영상의 해상도 변환 방법을 나타내는 변환 정보, 및 (5) 상기 비트스트림에 포함된 깊이 영상의 해상도가 기준 해상도와 다른 경우, 해상도 차이의 원인을 나타내는 원인 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 재생 방법.
제28항, 제32항 및 제33항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
영상 재생 장치에 판독가능한 영상 프로그램이 기록된 기록 매체에 있어서,
상기 영상 프로그램은,
3차원 영상 포맷에 따라 변환된 복수의 시점에 대응하는 컬러 영상 및 깊이 영상; 및
상기 3차원 영상 포맷과 관련된 부가 정보
를 포함하는 기록 매체.