KR20100092851A

KR20100092851A - 3차원 영상 데이터스트림 생성 방법 및 그 장치와 3차원 영상 데이터스트림 수신 방법 및 그 장치

Info

Publication number: KR20100092851A
Application number: KR1020090038734A
Authority: KR
Inventors: 김용태; 김재승; 장문석; 이재준
Original assignee: 삼성전자주식회사
Priority date: 2009-02-13
Filing date: 2009-05-01
Publication date: 2010-08-23
Also published as: KR101591703B1

Abstract

3차원 영상의 부호화된 비트열을 포함하는 기초 스트림을 생성하고, 기초 스트림을 패킷화하여 적어도 하나의 기초 스트림 패킷을 생성하고, 3차원 영상의 프로그램 관련 정보를 다중화하여 적어도 하나의 섹션을 생성하여, 적어도 하나의 섹션 및 적어도 하나의 기초 스트림 패킷 중 각각에 대한 적어도 하나의 전송 스트림 패킷을 생성하고, 생성된 전송 스트림 패킷을 다중화하여 전송 스트림을 생성함으로써, 적어도 하나의 기초 스트림 패킷, 적어도 하나의 전송 스트림 패킷 및 적어도 하나의 섹션 중 어느 하나에, 3차원 영상의 재생에 필요한 3차원 영상 재생 정보가 삽입된 3차원 영상 데이터스트림 생성 방법이 개시된다.

3차원 영상, 전송 스트림, 프로그램 스트림, 패킷화, 다중화

Description

3차원 영상 데이터스트림 생성 방법 및 그 장치와 3차원 영상 데이터스트림 수신 방법 및 그 장치{Method and apparatus for generating 3-dimensional image datastream, and method and apparatus for receiving 3-dimensional image datastream}

본 발명은 3차원 영상의 재생을 위한 세부 정보를 송수신하는 3차원 영상 데이터스트림의 송수신에 관한 것이다.

기존 2차원 영상 재생 기기에서 3차원 영상을 입체감을 유지하며 재생하기 위해서는, 3차원 영상의 특성을 보여주는 부가 정보가 필요하다. 영상 서비스를 제공하는 송신단에서는, 영상의 부호화된 데이터를 전송하고, 부가적인 채널로 3차원 영상에 대한 부가 정보를 송신할 수 있다. 영상 서비스를 제공받고자 하는 수신단에서는, 둘 이상의 채널을 통해 영상 데이터 및 3차원 영상에 대한 부가 정보를 수신받을 수 있다.

부가적인 채널을 점유하지 않기 위해, 영상 데이터와 동일한 채널을 통해, 기존 데이터에 추가적인 메타데이터의 형태로 3차원 영상의 부가 정보가 제공될 수도 있다.

본 발명은 전송 스트림 시스템에서 3차원 영상의 3차원 재생에 필요한 정보의 효율적인 송수신에 관한 것이다.

본 발명의 일 실시예에 따라, 3차원 영상 데이터스트림을 생성하는 방법은, 3차원 영상의 부호화된 비트열을 포함하는 기초 스트림을 생성하는 단계; 상기 기초 스트림을 패킷화하여 적어도 하나의 기초 스트림 패킷을 생성하는 단계; 상기 3차원 영상의 프로그램 관련 정보를 다중화하여 적어도 하나의 섹션을 생성하는 단계; 상기 적어도 하나의 섹션 및 상기 적어도 하나의 기초 스트림 패킷 중 각각에 대한 적어도 하나의 전송 스트림 패킷을 생성하는 단계; 및 상기 생성된 전송 스트림 패킷을 다중화하여 전송 스트림을 생성하는 단계를 포함하고, 상기 적어도 하나의 기초 스트림 패킷, 상기 적어도 하나의 전송 스트림 패킷 및 상기 적어도 하나의 섹션 중 어느 하나에, 상기 3차원 영상의 재생에 필요한 3차원 영상 재생 정보가 삽입될 수 있다.

일 실시예에 따른 3차원 영상 데이터스트림 생성 방법은, 상기 전송 스트림을 전송하는 단계를 더 포함할 수 있다.

일 실시예에 따른 3차원 영상 데이터스트림 생성 방법은, 상기 전송 스트림을 저장하는 단계를 더 포함할 수 있다.

일 실시예에 따른 상기 3차원 영상 재생 정보는, 상기 적어도 하나의 기초 스트림 패킷, 상기 적어도 하나의 전송 스트림 패킷 및 상기 적어도 하나의 섹션 중 어느 하나의 정보 삽입을 위해 할당되어 있는 기정 영역에 저장될 수 있다.

일 실시예에 따른 3차원 영상 데이터스트림 생성 방법의 상기 전송 스트림 패킷 생성 단계는, 상기 적어도 하나의 전송 스트림 패킷 중 소정 전송 스트림 패킷의 적응 필드(adaptation field) 영역에 상기 3차원 영상 재생 정보를 삽입하는 단계를 포함할 수 있다. 상기 3차원 영상 재생 정보 삽입 단계는, 상기 적응 필드 영역의 프라이빗 데이터 바이트(private data byte) 영역에 상기 3차원 영상 재생 정보를 삽입할 수 있다.

상기 3차원 영상 재생 정보 중 상기 3차원 영상 재생 정보의 정의 여부를 나타내는 지시자(indicator) 정보는, 상기 적응 필드 영역의 적응 필드 확장 영역의 제 1 예약 영역에 삽입될 수 있다. 또는, 상기 적응 필드 영역의 적응 필드 확장 영역의 제 1 예약 영역에 상기 3차원 영상 재생 정보 모두가 삽입될 수 있다.

일 실시예에 따른 3차원 영상 데이터스트림 생성 방법의 상기 기초 스트림 패킷 생성 단계는, 상기 적어도 하나의 기초 스트림 패킷 중 소정 기초 스트림 패킷의 확장 필드 영역에 상기 3차원 영상 재생 정보를 삽입하는 단계를 포함할 수 있다. 상기 3차원 영상 재생 정보 삽입 단계는 상기 확장 필드 영역의 프라이빗 데이터 영역의 제 2 예약 영역 및 상기 확장 필드 영역의 제 3 예약 영역에 상기 3차원 영상 재생 정보를 삽입할 수 있다.

상기 3차원 영상 재생 정보 중 상기 3차원 영상 재생 정보의 시작을 나타내는 정보, 3차원 영상 포맷 정보, 좌우 배치 정보, 풀해상도 정보, 시간적 구간 3차원 재생 정보 및 공간적 구간 3차원 재생 정보는 상기 프라이빗 데이터 영역의 제 2 예약 영역에 삽입되고, 상기 3차원 영상 재생 정보 중 나머지 정보는 상기 확장 필드 영역의 제 3 예약 영역에 삽입될 수 있다.

일 실시예에 따른 3차원 영상 데이터스트림 생성 방법의 상기 전송 스트림 패킷 생성 단계는, 상기 적어도 하나의 섹션 중 프로그램 맵 테이블 섹션(program map table section)에 상기 3차원 영상 재생 정보를 삽입할 수 있다. 상기 3차원 영상 재생 정보 삽입 단계는, 상기 프로그램 맵 테이블 섹션의 스트림 타입 정보 영역의 제 4 예약 영역에 상기 3차원 영상 재생 정보 중 좌우 배치 정보를 삽입하고, 상기 프로그램 맵 테이블 섹션의 기초 패킷 식별자 정보 영역의 제 5 예약 영역에 상기 3차원 영상 재생 정보 중 3차원 영상 포맷 정보를 삽입할 수 있다. 상기 3차원 영상 재생 정보 삽입 단계는, 상기 프로그램 맵 테이블 섹션의 루프 서술자(loop descriptors) 영역에 상기 3차원 영상 재생 정보 중 상기 3차원 영상 포맷 정보, 상기 좌우 배치 정보 및 풀해상도 정보를 제외한 나머지 정보를 삽입할 수 있다.

상기 3차원 영상 재생 정보 삽입 단계는, 상기 제 4 예약 영역에 상기 3차원 영상 재생 정보 중 상기 3차원 영상을 구성하는 좌시점 영상 및 우시점 영상의 해상도를 나타내는 풀해상도 정보를 더 삽입할 수 있다.

상기 3차원 영상 포맷 정보는 복수 개의 기초 스트림에 의한 포맷인지 여부에 따라 분류될 수 있다.

일 실시예에 따른 3차원 영상 데이터스트림 생성 방법의 상기 전송 스트림 패킷 생성 단계는, 상기 섹션 중 프라이빗 섹션(private section)을 생성하는 단계; 및 상기 프라이빗 섹션에 상기 3차원 영상 재생 정보를 삽입하는 단계를 포함 할 수 있다. 상기 3차원 영상 재생 정보 삽입 단계는, 상기 프라이빗 섹션의 프라이빗 데이터 바이트 영역에 상기 3차원 영상 재생 정보를 삽입할 수 있다.

일 실시예에 따른 3차원 영상 데이터스트림 생성 방법의 상기 전송 스트림 패킷 생성 단계는, 상기 3차원 영상 재생 정보를 포함하는 적어도 하나의 3차원 영상 서술자를 생성하는 단계; 및 서술자 영역에 상기 3차원 영상 서술자를 삽입하는 단계를 포함할 수 있다.

일 실시예에 따른 3차원 영상 서술자는, 상기 3차원 영상 서술자가 존재함을 나타내는 3차원 정보 시작 서술자를 포함할 수 있다. 일 실시예에 따른 3차원 영상 서술자는, 3차원 카메라 서술자, 저피로도 서술자, 구간 3차원 재생 서술자 및 좌우 불일치 서술자 중 적어도 하나를 더 포함할 수 있다.

일 실시예에 따른 3차원 영상 재생 정보는, 상기 3차원 영상 재생 정보가 시작함을 알리는 3차원 시작 정보를 포함할 수 있다.

일 실시예에 따른 3차원 영상 재생 정보는, 상기 3차원 영상의 좌시점 영상 및 우시점 영상의 구성 방식을 나타내는 3차원 영상 포맷 정보, 상기 좌시점 영상 및 우시점 영상의 배치 순서를 나타내는 좌우 배치 정보 및 상기 3차원 영상을 구성하는 좌시점 영상 및 우시점 영상의 해상도를 나타내는 풀해상도 정보를 포함하는 필수 정보를 포함할 수 있다.

일 실시예에 따른 3차원 영상 재생 정보는, 상기 3차원 영상의 원활한 재생을 위해 필요한 정보인 부가 정보를 더 포함할 수 있다.

일 실시예에 따른 부가 정보는, 상기 전체 영상 데이터 중 3차원으로 재생되 는 시간적 구간 또는 공간적 구간을 나타내는 구간 3차원 재생 정보, 상기 3차원 영상을 획득한 카메라에 관한 3차원 카메라 정보, 3차원 영상 재생에 의해 발생하는 시청 위화감을 완화하기 위한 저피로도 정보 및 상기 좌시점 영상 및 상기 우시점 영상의 불일치 상태를 나타내는 좌우 불일치 정보 중 적어도 하나를 포함할 수 있다.

일 실시예에 따른 좌우 불일치 정보는, 상기 좌시점 영상 화소값 및 상기 우시점 영상 화소값 간의 오프셋, 상기 좌시점 영상 화소값 및 상기 우시점 영상 화소값 간의 선형 함수, 상기 좌시점 영상 화소값 및 상기 우시점 영상 화소값 간의 룩업 테이블(Look-up table) 중 하나를 이용하여 표현될 수 있다.

일 실시예에 따른 부가 정보는 상기 부가 정보의 정의 여부를 나타내는 지시자(indicator) 정보를 포함할 수 있다.

본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 수신 방법은, 수신된 전송 스트림을 역다중화하여 적어도 하나의 전송 스트림 패킷을 분리하는 단계; 상기 적어도 하나의 전송 스트림 패킷을 역패킷화하여 적어도 하나의 기초 스트림 패킷 및 적어도 하나의 섹션을 복원하는 단계; 상기 적어도 하나의 기초 스트림 패킷을 역패킷화하여 기초 스트림을 복원하는 단계; 상기 적어도 하나의 전송 스트림 패킷, 상기 적어도 하나의 기초 스트림 패킷 및 상기 적어도 하나의 섹션 중 어느 하나로부터 3차원 영상의 재생에 필요한 3차원 영상 재생 정보를 추출하는 단계; 및 상기 기초 스트림의 데이터를 복호화하여 3차원 영상을 복원하는 단계를 포함할 수 있다.

일 실시예에 따른 3차원 영상 데이터스트림 수신 방법은, 상기 복원된 3차원 영상을 상기 3차원 영상 재생 정보를 이용하여 재생하는 단계를 더 포함할 수 있다.

일 실시예에 따른 3차원 영상 데이터스트림 수신 방법의 상기 3차원 영상 재생 정보 추출 단계는, 상기 적어도 하나의 기초 스트림 패킷, 상기 적어도 하나의 전송 스트림 패킷 및 상기 적어도 하나의 섹션 중 어느 하나의 정보 삽입을 위해 할당되어 있는 기정 영역으로부터 상기 3차원 영상 재생 정보를 추출하는 단계를 포함할 수 있다.

일 실시예에 따른 상기 3차원 영상 재생 정보 추출 단계는, 상기 적어도 하나의 전송 스트림 패킷 중 소정 전송 스트림 패킷의 적응 필드 영역으로부터, 예를 들어 상기 적응 필드 영역의 프라이빗 데이터 바이트 영역으로부터 상기 3차원 영상 재생 정보를 추출할 수 있다.

일 실시예에 따른 상기 3차원 영상 재생 정보 추출 단계는, 상기 적응 필드 영역의 적응 필드 확장 영역의 제 1 예약 영역으로부터, 상기 3차원 영상 재생 정보 중 상기 3차원 영상 재생 정보의 정의 여부를 나타내는 지시자 정보를 추출할 수 있다. 상기 3차원 영상 재생 정보 추출 단계는, 상기 적응 필드 영역의 적응 필드 확장 영역의 제 1 예약 영역으로부터, 상기 3차원 영상 재생 정보를 추출할 수 있다.

일 실시예에 따른 상기 3차원 영상 재생 정보 추출 단계는, 상기 적어도 하나의 기초 스트림 패킷 중 소정 기초 스트림 패킷의 확장 필드 영역으로부터 상기 3차원 영상 재생 정보를 추출할 수 있다. 일 실시예에 따른 상기 3차원 영상 재생 정보 추출 단계는, 상기 확장 필드 영역의 프라이빗 데이터 영역의 제 2 예약 영역 및 상기 확장 필드 영역의 제 3 예약 영역으로부터 상기 3차원 영상 재생 정보를 추출할 수 있다.

일 실시예에 따른 상기 3차원 영상 재생 정보 추출 단계에서, 상기 3차원 영상 재생 정보 중 상기 3차원 영상 재생 정보의 시작을 나타내는 정보, 3차원 영상 포맷 정보, 좌우 배치 정보, 풀해상도 정보, 시간적 구간 3차원 재생 정보 및 공간적 구간 3차원 재생 정보는 상기 프라이빗 데이터 영역의 제 2 예약 영역으로부터 추출되고, 상기 3차원 영상 재생 정보 중 나머지 정보는 상기 확장 필드 영역의 제 3 예약 영역으로부터 추출될 수 있다.

일 실시예에 따른 3차원 영상 데이터스트림 수신 방법의 상기 3차원 영상 재생 정보 추출 단계는, 상기 적어도 하나의 섹션 중 프로그램 맵 테이블 섹션으로부터 상기 3차원 영상 재생 정보를 추출하는 단계를 포함할 수 있다. 일 실시예에 따른 상기 3차원 영상 재생 정보 추출 단계는, 상기 프로그램 맵 테이블 섹션의 스트림 타입 정보 영역의 제 4 예약 영역으로부터 상기 3차원 영상 재생 정보 중 좌우 배치 정보를 추출하고, 상기 프로그램 맵 테이블 섹션의 기초 패킷 식별자 정보 영역의 제 5 예약 영역으로부터 상기 3차원 영상 재생 정보 중 3차원 영상 포맷 정보를 추출할 수 있다. 일 실시예에 따른 상기 3차원 영상 재생 정보 추출 단계는, 상기 제 4 예약 영역으로부터 상기 3차원 영상 재생 정보 중 상기 3차원 영상을 구성하는 좌시점 영상 및 우시점 영상의 해상도를 나타내는 풀해상도 정보를 더 추출할 수 있다.

일 실시예에 따른 3차원 영상 데이터스트림 수신 방법의 상기 3차원 영상 재생 정보 추출 단계는, 상기 프로그램 맵 테이블 섹션의 루프 서술자 영역으로부터, 상기 3차원 영상 재생 정보 중 상기 3차원 영상 포맷 정보, 상기 좌우 배치 정보 및 풀해상도 정보를 제외한 나머지 정보를 추출할 수 있다.

일 실시예에 따른 3차원 영상 데이터스트림 수신 방법의 상기 3차원 영상 재생 정보 추출 단계는, 상기 적어도 하나의 섹션 중 프라이빗 섹션으로부터, 예를 들어, 상기 프라이빗 섹션의 프라이빗 데이터 바이트 영역으로부터 상기 3차원 영상 재생 정보를 추출할 수 있다.

일 실시예에 따른 3차원 영상 데이터스트림 수신 방법의 상기 3차원 영상 재생 정보 추출 단계는, 서술자 영역으로부터, 상기 3차원 영상 재생 정보를 포함하는 적어도 하나의 3차원 영상 서술자를 추출하는 단계를 포함할 수 있다.

일 실시예에 따른 3차원 영상 데이터스트림 수신 방법의 상기 3차원 영상 재생 정보 추출 단계는, 상기 3차원 영상 재생 정보로부터 상기 3차원 영상 재생 정보가 시작함을 알리는 3차원 시작 정보를 추출하고, 상기 3차원 시작 정보에 기초하여 상기 3차원 영상 재생 정보를 추출할 수 있다.

본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치는, 3차원 영상의 부호화된 비트열을 포함하는 기초 스트림을 생성하는 기초 스트림 생성부; 상기 기초 스트림을 패킷화하여 적어도 하나의 기초 스트림 패킷을 생성하는 기초 스트림 패킷 생성부; 상기 3차원 영상의 프로그램 관련 정보를 다중화하여 적어도 하나의 섹션을 생성하는 섹션 생성부; 상기 적어도 하나의 섹션 및 상기 적어도 하나의 기초 스트림 패킷 중 각각에 대한 적어도 하나의 전송 스트림 패킷을 생성하는 전송 스트림 패킷 생성부; 및 상기 생성된 전송 스트림 패킷을 다중화하여 전송 스트림을 생성하는 전송 스트림 생성부를 포함하고, 상기 적어도 하나의 기초 스트림 패킷, 상기 적어도 하나의 전송 스트림 패킷 및 상기 적어도 하나의 섹션 중 어느 하나에, 상기 3차원 영상의 재생에 필요한 3차원 영상 재생 정보가 삽입될 수 있다.

일 실시예에 따른 상기 3차원 영상 데이터스트림 생성 장치는, 상기 전송 스트림을 전송하는 전송 스트림 전송부를 더 포함할 수 있다. 일 실시예에 따른 상기 3차원 영상 데이터스트림 생성 장치는, 상기 전송 스트림을 소정 저장 매체에 저장할 수도 있다.

본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치는, 수신된 전송 스트림을 역다중화하여 적어도 하나의 전송 스트림 패킷을 분리하는 전송 스트림 역다중화부; 상기 적어도 하나의 전송 스트림 패킷을 역패킷화하여 적어도 하나의 기초 스트림 패킷 및 적어도 하나의 섹션을 복원하는 전송 스트림 패킷 역패킷화부; 상기 적어도 하나의 기초 스트림 패킷을 역패킷화하여 기초 스트림을 복원하는 기초 스트림 패킷 역패킷화부; 상기 적어도 하나의 전송 스트림 패킷, 상기 적어도 하나의 기초 스트림 패킷 및 상기 적어도 하나의 섹션 중 어느 하나로부터 3차원 영상의 재생에 필요한 3차원 영상 재생 정보를 추출하는 3차원 영상 재생 정보 추출부; 및 상기 기초 스트림의 데이터를 복호화하여 3차원 영상을 복원하는 3 차원 영상 복원부를 포함할 수 있다.

일 실시예에 따른 3차원 영상 데이터스트림 수신 장치는, 상기 복원된 3차원 영상을 상기 3차원 영상 재생 정보를 이용하여 재생하는 3차원 영상 재생부를 더 포함할 수 있다.

본 발명은, 본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 생성 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.

또한 본 발명은, 본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 수신 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.

이하, 도 1 내지 도 33 을 참조하여 본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 생성 방법 및 장치, 및 3차원 영상 데이터스트림 수신 방법 및 장치에 대해 상술한다.

도 1 은 본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치의 블록도를 도시한다.

일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100)는 기초 스트림 생성부(110), 기초 스트림 패킷 생성부(120), 섹션 생성부(130), 전송 스트림 패킷 생성부(140) 및 전송 스트림 생성부(150)를 포함한다.

기초 스트림 생성부(110)는, 비디오, 오디오 등의 멀티미디어의 부호화된 비 트열을 포함하는 기초 스트림(elementary stream)을 생성한다. 특히 기초 스트림 생성부(110)는, 3차원 영상의 부호화된 비트열을 포함하는 기초 스트림을 생성할 수 있다.

기초 스트림 패킷 생성부(120)는, 기초 스트림 생성부(110)로부터 출력된 기초 스트림을 수신하여 패킷화함으로써, 적어도 하나의 기초 스트림 패킷(packetized elementary stream, PES)을 생성한다. 기초 스트림 패킷은 기초 스트림 패킷 헤더 영역 및 기초 스트림 패킷 페이로드 영역으로 구분될 수 있으며, 적어도 일부의 기초 스트림이 기초 스트림 패킷 페이로드 영역에 저장될 수 있다.

섹션 생성부(130)는, 3차원 영상의 프로그램 관련 정보에 관한 적어도 하나의 섹션을 생성한다. 프로그램은 비디오와 오디오 등의 비트열을 포함하는 기본 단위이다. 섹션은 전송 스트림을 통해 전송될 수 있는 데이터 형식의 하나로써, 주로 프로그램 통합 테이블(Progrma Association Table, PAT), 프로그램 맵 테이블(PMT) 등의 프로그램 정보를 포함한다. 섹션 생성부(130)는 부호화된 3차원 영상에 대한 프로그램 관련 정보를 포함하는 섹션을 생성할 수 있다.

전송 스트림 패킷 생성부(140)는, 섹션 생성부(130)에서 생성된 적어도 하나의 섹션 및 기초 스트림 패킷 생성부(120)에서 생성된 적어도 하나의 기초 스트림 패킷에 대해, 적어도 하나의 전송 스트림 패킷(Transport Stream Packet, TS packet)을 생성한다.

전송 스트림 패킷은 고정 길이의 패킷으로써, 4바이트의 전송 스트림 헤더 영역으로 시작된다. 섹션 또는 기초 스트림 패킷의 데이터는 전송 스트림 헤더 영 역 뒤에 이어지는 전송 스트림 페이로드 영역에 삽입될 수 있다.

일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100)는, 3차원 영상의 재생에 필요한 3차원 영상 재생 정보를 기초 스트림 패킷, 전송 스트림 패킷 또는 섹션에 삽입한다.

3차원 영상 데이터스트림 생성 장치(100)의 제 1 실시예는, 전송 스트림 패킷의 적응 필드(adaptation field) 영역에 3차원 영상 재생 정보를 삽입할 수 있다. 예를 들어, 전송 스트림 패킷의 적응 필드 영역의 프라이빗 데이터 바이트(private data byte) 영역에 3차원 영상 재생 정보가 삽입될 수 있다.

3차원 영상 데이터스트림 생성 장치(100)의 제 2 실시예는, 전송 스트림 패킷의 적응 필드 영역의 적응 필드 확장(adaptation field extention) 영역의 예약(reserved) 영역에 3차원 영상 재생 정보 중 3차원 영상 재생 정보의 정의 여부를 나타내는 지시자 정보들을 삽입될 수 있다. 지시자 정보들은, 시간적 구간 3차원 재생 정보 지시자, 공간적 구간 3차원 재생 정보 지시자, 3차원 카메라 정보 지시자, 저피로도 정보 지시자, 좌우 불일치 정보 지시자 중 적어도 하나를 포함할 수 있다. 또한, 적응 필드 확장(adaptation field extention) 영역의 예약(reserved) 영역에 3차원 영상 재생 정보의 전부가 삽입될 수도 있다.

3차원 영상 데이터스트림 생성 장치(100)의 제 3 실시예는, 기초 스트림 패킷의 확장 필드 영역에 3차원 영상 재생 정보를 삽입한다. 예를 들어, 확장 필드 영역의 프라이빗 데이터 영역의 예약 영역 및 확장 필드 영역의 예약 영역에 3차원 영상 재생 정보가 삽입될 수 있다.

제 3 실시예에서는, 3차원 영상 재생 정보 중 3차원 영상 재생 정보의 시작을 나타내는 정보, 3차원 영상 포맷 정보, 좌우 배치 정보, 풀해상도 정보, 시간적 구간 3차원 재생 정보 및 공간적 구간 3차원 재생 정보는 프라이빗 데이터 영역의 예약 영역에 저장될 수 있다. 또한, 3차원 영상 재생 정보 중 나머지 정보는 확장 필드 영역의 예약 영역에 삽입될 수 있다.

3차원 영상 데이터스트림 생성 장치(100)의 제 4 실시예는, 섹션 중 프로그램 맵 테이블(program map table, PMT) 섹션에 3차원 영상 재생 정보를 삽입할 수 있다.

예를 들어, 프로그램 맵 테이블 섹션의 스트림 타입 정보 영역의 예약 영역에 3차원 영상 재생 정보 중 좌우 배치 정보가 삽입되고, 프로그램 맵 테이블 섹션의 기초 프로그램 식별자 정보 영역의 예약 영역에 3차원 영상 재생 정보 중 3차원 영상 포맷 정보가 삽입될 수 있다. 3차원 포맷 정보는 복수 개의 기초 스트림에 의한 포맷인지 여부에 따라 분류될 수 있다.

여기서 스트림 타입 정보 영역의 예약 영역에 3차원 영상 재생 정보 중 풀 해상도 정보가 더 삽입될 수 있다. 풀해상도 정보는, 3차원 영상을 구성하는 좌시점 영상 및 우시점 영상의 해상도가 원본 해상도(full resolution) 또는 원본 해상도의 절반인지 여부를 나타낸다.

또한, 프로그램 맵 테이블 섹션의 루프 서술자(loop descriptors) 영역에 3차원 영상 재생 정보 중 3차원 영상 포맷 정보, 좌우 배치 정보 및 풀해상도 정보를 제외한 나머지 정보가 삽입될 수 있다.

3차원 영상 데이터스트림 생성 장치(100)의 제 5 실시예는, 섹션의 하나로써 프라이빗 섹션(private section)을 생성하여, 프라이빗 섹션에 3차원 영상 재생 정보를 삽입한다. 예를 들어, 프라이빗 섹션의 프라이빗 데이터 바이트 영역에 3차원 영상 재생 정보가 삽입될 수 있다.

3차원 영상 데이터스트림 생성 장치(100)의 제 6 실시예는, 서술자 영역을 이용한다. 즉, 제 6 실시예는, 3차원 영상 재생 정보를 포함하는 적어도 하나의 3차원 재생 서술자를 생성하고, 프로그램 맵 테이블 섹션의 서술자(descriptor) 영역에 3차원 재생 서술자를 삽입한다. 또는 섹션 중 서술자 섹션에 3차원 재생 서술자가 삽입될 수 있다.

예를 들어, 3차원 재생 서술자는 3차원 재생 서술자가 존재함을 나타내는 3차원 정보 시작 서술자를 포함할 수 있다. 또한, 3차원 재생 서술자는, 3차원 영상의 재생과 관련된 정보로써 3차원 카메라 서술자, 저피로도 서술자, 구간 3차원 재생 서술자 및 좌우 불일치 서술자 중 적어도 하나를 더 포함할 수 있다.

전술한 3차원 영상 데이터스트림 생성 장치(100)의 제 1 실시예 내지 제 6 실시예는, 전송 스트림 패킷, 기초 스트림 패킷 레벨에서 헤더 또는 프로그램 정보에 3차원 영상 재생 정보를 삽입함으로써, 3차원 영상의 정확한 재생을 위한 필요한 정보들이 전송될 수 있다.

전송 스트림 생성부(150)는, 전송 스트림 패킷 생성부(140)에서 생성된 적어도 하나의 전송 스트림 패킷을 다중화하여 전송 스트림을 생성한다. 전송 스트림은 적어도 하나의 전송 스트림 패킷의 연속이다.

일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100)는 생성된 전송 스트림을 전송하는 전송부(미도시)를 더 포함할 수 있다. 또한, 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100)는 전송 스트림을 저장 매체에 저장하는 저장부(미도시)를 더 포함할 수 있다.

3차원 영상의 정확한 재생을 위한 3차원 영상 재생 정보는, 3차원 영상 재생 정보가 시작됨을 알리는 3차원 시작 정보를 포함할 수 있다. 복호화단에 대해 3차원 영상 재생 정보의 해석이 필요함을 알리기 위해, 「해당 데이터스트림에 3차원 영상 재생 정보가 수록되어 있으며 3차원 시작 정보로부터 3차원 영상 재생 정보가 시작됨」을 3차원 시작 정보를 통해 알릴 수 있다.

또한, 3차원 영상의 재생을 위한 필수 정보로써 3차원 영상의 좌시점 영상 및 우시점 영상의 구성 방식을 나타내는 3차원 영상 포맷 정보, 좌시점 영상 및 우시점 영상의 배치 순서를 나타내는 좌우 배치 정보 및 풀해상도 정보가 설정될 수 있다.

그리고 3차원 영상 재생 정보의 필수 정보가 있는 경우 3차원 영상의 재생을 위해 부가적으로 필요한 정보로써, 전체 영상 데이터 중 3차원으로 재생되는 시간적 구간 또는 공간적 구간을 나타내는 구간 3차원 재생 정보, 3차원 영상을 획득한 카메라에 관한 3차원 카메라 정보, 3차원 영상 재생에 의해 발생하는 시청 위화감을 완화하기 위한 저피로도 정보 및, 좌시점 영상 및 우시점 영상의 불일치 상태를 나타내는 좌우 불일치 정보가 더 설정될 수 있다.

좌우 불일치 정보는 좌시점 영상 화소값 및 우시점 영상 화소값 간의 오프셋 으로 정의될 수 있다. 또한, 좌시점 영상 화소값 및 우시점 영상 화소값 간의 선형 함수 관계를 이용하여 좌우 불일치 정보가 정의될 수 있다. 좌우 불일치 정보의 가장 정밀한 표현 방식으로는, 좌시점 영상 화소값 및 우시점 영상 화소값 간의 룩업 테이블을 이용한 표현 방식이 있다.

3차원 영상 재생 정보의 부가 정보는, 그 정의 여부가 가변적이므로, 부가 정보의 정의 여부를 나타내는 지시자 정보를 포함할 수 있다.

3차원 영상 재생 정보의 보다 구체적인 특성은 이하 도면을 참조하여 상술된다. 즉, 3차원 영상 재생 정보로써, 도 3의 3차원 영상 포맷 정보, 도 4의 좌우 배치 정보, 도 5 및 6의 시간적 구간 3차원 재생 정보, 도 7의 공간적 구간 3차원 재생 정보, 도 8의 3차원 카메라 정보, 도 9의 저피로도 정보, 도 11의 좌우 불일치 정보가 상술된다.

소정 영상 통신 규격에 따르는 전송 스트림 시스템에서, 기초 스트림 패킷, 전송 스트림 패킷 또는 섹션 내에 이미 할당되어 있는 여유 공간을 이용하여 3차원 영상 재생 정보가 삽입될 수 있으므로, 기존 영상 통신 규격에 따르는 전송 스트림 시스템에서도 시스템의 큰 변경 없이 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100)가 적용될 수 있다. 또한, 기존에 이미 할당되어 있는 정보 저장 영역을 이용하므로 추가적인 채널, 또는 추가적인 정보 저장 공간을 필요로 하지 않는다.

도 2 는 본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치의 블록도를 도시한다.

일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)는 전송 스트림 역다중화부(210), 전송 스트림 패킷 역패킷화부(220), 기초 스트림 패킷 역패킷화부(230), 3차원 영상 재생 정보 추출부(240), 3차원 영상 복원부(250) 및 3차원 영상 재생부(260)를 포함한다.

전송 스트림 역다중화부(210)는, 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)가 수신한 전송 스트림을 역다중화하여 적어도 하나의 전송 스트림 패킷을 분리해낸다. 전송 스트림 패킷은 고정 길이의 전송 스트림 패킷들로 분리될 수 있다.

전송 스트림 패킷 역패킷화부(220)는, 전송 스트림 역다중화부(210)에 의해 분리된 적어도 하나의 전송 스트림 패킷을 역패킷화하여, 적어도 하나의 기초 스트림 패킷 및 적어도 하나의 섹션을 복원해 낸다.

전송 스트림 패킷의 헤더 영역에, 전송 스트림 패킷이 전송하는 데이터의 종류를 나타내는 식별정보인 패킷 식별자(packet identifier, PID)가 수록되어 있다. 프로그램 리스트 정보는 프로그램 통합 테이블에 수록되어 있으며, 프로그램 통합 테이블을 전송하는 전송 스트림 패킷의 패킷 식별자는 0으로 규정되어 있다.

전송 스트림을 수신하면, 먼저 패킷 식별자가 0인 전송 스트림 패킷을 검색하여 프로그램 통합 테이블(PAT)을 획득하고, 프로그램 통합 테이블(PAT)을 해석함으로써 프로그램 맵 테이블(PMT)을 전송하는 전송 스트림 패킷의 패킷 식별자(PID)를 추출한다.

프로그램 맵 테이블(PMT)은 프로그램 단위의 정보가 수록되어 있기 때문에, 프로그램 맵 테이블(PMT)을 해석함으로써 프로그램을 구성하는 비트열이 실려 있는 전송 스트림 패킷의 패킷 식별자(PID)를 알아낼 수 있다. 따라서, 원하는 오디오, 비디오 등의 프로그램이 수록되어 있는 전송 스트림 패킷에 접근할 수 있다.

기초 스트림 패킷 역패킷화부(230)는, 전송 스트림 패킷 역패킷화부(220)에 의해 복원된 적어도 하나의 기초 스트림 패킷을 역패킷화하여, 기초 스트림을 복원해 낸다. 기초 스트림은 비디오, 오디오 등의 프로그램일 수 있다. 특히, 일 실시예에 따른 기초 스트림 패킷 역패킷화부(230)에 의해 복원되는 기초 스트림은 3차원 영상의 부호화된 데이터를 수록하고 있을 수 있다.

3차원 영상 재생 정보 추출부(240)는, 역다중화되어 복원된 전송 스트림 패킷, 기초 스트림 패킷, 섹션 중 어느 하나로부터 3차원 영상 재생 정보를 추출한다.

3차원 영상 재생 정보 추출부(240)는, 전송 스트림 패킷 또는 기초 스트림 패킷 레벨에서 헤더 또는 프로그램 정보로부터 3차원 영상 재생 정보를 추출할 수 있다.

3차원 영상 데이터스트림 수신 장치(200)의 제 1 실시예에서는, 3차원 영상 재생 정보 추출부(240)가 전송 스트림 패킷의 적응 필드 영역으로부터 3차원 영상 재생 정보를 추출할 수 있다. 예를 들어, 전송 스트림 패킷의 적응 필드 영역의 프라이빗 데이터 바이트 영역으로부터 3차원 영상 재생 정보를 추출할 수 있다.

3차원 영상 데이터스트림 수신 장치(200)의 제 2 실시예에서는, 3차원 영상 재생 정보 추출부(240)가 전송 스트림 패킷의 적응 필드 영역의 적응 필드 확장 영 역의 예약 영역으로부터, 3차원 영상 재생 정보의 정의 여부를 나타내는 지시자 정보들을 추출할 수 있다. 또한, 적응 필드 확장 영역의 예약 영역으로부터 3차원 영상 재생 정보 전부가 추출될 수도 있다.

3차원 영상 데이터스트림 수신 장치(200)의 제 3 실시예에서는, 3차원 영상 재생 정보 추출부(240)가 기초 스트림 패킷의 확장 필드 영역의 프라이빗 데이터 영역의 예약 영역 및 확장 필드 영역의 예약 영역으로부터 3차원 영상 재생 정보를 추출한다. 예를 들어, 프라이빗 데이터 영역의 예약 영역으로부터는 3차원 영상 재생 정보 중 3차원 영상 재생 정보의 시작을 나타내는 정보, 3차원 영상 포맷 정보, 좌우 배치 정보, 풀해상도 정보, 시간적 구간 3차원 재생 정보 및 공간적 구간 3차원 재생 정보가 추출되고, 확장 필드 영역의 예약 영역으로부터는 3차원 영상 재생 정보 중 나머지 정보가 추출될 수 있다.

3차원 영상 데이터스트림 수신 장치(200)의 제 4 실시예에서는, 3차원 영상 재생 정보 추출부(240)가 섹션 중 프로그램 맵 테이블 섹션의 스트림 타입 정보 영역의 예약 영역으로부터 좌우 배치 정보를 추출하고, 프로그램 맵 테이블 섹션의 기초 프로그램 식별자 정보 영역의 예약 영역으로부터 3차원 영상 포맷 정보를 추출할 수 있다. 여기서 스트림 타입 정보 영역의 예약 영역으로부터 3차원 영상 재생 정보 중 풀해상도 정보가 더 추출될 수 있다. 또한, 프로그램 맵 테이블 섹션의 루프 서술자 영역으로부터 3차원 영상 재생 정보 중 3차원 영상 포맷 정보, 좌우 배치 정보 및 풀해상도 정보를 제외한 나머지 정보가 추출될 수 있다.

3차원 영상 데이터스트림 수신 장치(200)의 제 5 실시예에서는, 3차원 영상 재생 정보 추출부(240)가 프라이빗 섹션의 프라이빗 데이터 바이트 영역으로부터 3차원 영상 재생 정보를 추출할 수 있다.

3차원 영상 데이터스트림 생성 장치(200)의 제 6 실시예에서는, 3차원 영상 재생 정보 추출부(240)가 서술자 영역으로부터 3차원 재생 서술자를 추출한다. 3차원 재생 서술자는 3차원 재생 서술자가 존재함을 나타내는 3차원 정보 시작 서술자를 포함할 수 있다. 또한, 3차원 재생 서술자는, 3차원 영상의 재생과 관련된 정보로써 3차원 카메라 서술자, 저피로도 서술자, 구간 3차원 재생 서술자 및 좌우 불일치 서술자 중 적어도 하나를 더 포함할 수 있다

일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)에 의해 추출되어 사용되는 3차원 영상 재생 정보는 도 1 을 참조하여 전술한 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100)의 3차원 영상 재생 정보에 대응될 수 있다.

따라서, 3차원 영상 재생 정보 추출부(240)는 3차원 영상 재생 정보로서, 3차원 영상 포맷 정보, 좌우 배치 정보, 풀해상도 정보, 시간적 구간 3차원 재생 정보, 공간적 구간 3차원 재생 정보, 3차원 카메라 정보, 저피로도 정보, 좌우 불일치 정보를 추출할 수 있다.

3차원 영상 복원부(250)는, 기초 스트림의 데이터를 복호화하여 3차원 영상을 복원한다. 3차원 영상 포맷에 따라, 좌시점 영상, 우시점 영상이 분리되어 복원될 수 있다. 또한, 영상 시퀀스의 부분적으로 3차원 영상 및 2차원 영상이 혼합되도록 복원될 수도 있다.

3차원 영상 재생부(260)는, 3차원 영상 복원부(250)에 의해 복호화되어 복원 된 3차원 영상을, 3차원 영상 재생 정보를 이용하여 3차원 재생 방식으로 재생한다.

일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)에 의해, 3차원 재생 시스템에서 인식 가능한 3차원 영상 재생 정보가 추출되므로, 3차원 영상의 입체감이 보장되면서도, 3차원 영상의 시청에 의한 피로감이 감소된 3차원 컨텐츠 방송 서비스가 제공될 수 있다. 또한 기존의 2차원 영상 시스템에서도 사용되는 기존의 데이터 구조를 벗어나지 않으므로, 기존에 사용되는 시스템과의 호환성도 유지될 수 있다. 또한, 3차원 영상 재생 정보의 수신을 위한 추가적인 채널, 추가적인 데이터스트림, 추가적인 정보 저장 공간이 필요하지 않으므로, 제한적인 환경에서도 적용 가능하다.

일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)는, 3차원 방송 시스템, 3차원 디지털 TV 시스템, 3차원 패키지 미디어 시스템, 컴퓨터 상에서의 3차원 영상 디코더 등에 적용됨으로써, 기존의 디지털 방송 시스템과의 호환성을 유지하면서도 2차원 컨텐츠 및 3차원 컨텐츠를 제공하는 3차원 디지털 방송이 가능해진다.

이상 실시예는 전송 스트림 기반의 전송 시스템 및 수신 시스템을 예로 들어 설명되고 있지만, 3차원 영상 재생 정보가 기초 스트림 패킷 레벨에서 삽입되는 실시예들은 프로그램 스트림 기반의 시스템에서도 적용될 수 있다.

도 3 은 본 발명의 일 실시예에 따른 3차원 영상 포맷 정보를 도시한다.

3차원 영상이 입체감을 유지하며 재생되기 위해서는 좌시점 영상 및 우시점 영상이 모두 필요하다. 3차원 영상 포맷은 좌시점 영상 정보 및 우시점 영상 정보를 모두 포함하기 위한 영상 포맷으로서, 3차원 컴포지트 포맷(3-dimensional composite format), 3차원 시퀀셜 포맷(3-dimensional sequential format), 멀티플 스트림 포맷(multiple stream format)이 있다.

3차원 컴포지트 포맷은 하나의 픽처에 좌시점 영상 및 우시점 영상이 모두 배치되어 있는 영상 포맷이다. 3차원 컴포지트 포맷에 의하면 기존의 부복호화 시스템을 그대로 이용하면서 3차원 영상을 복호화하여 복원한 후 렌더링함으로써 3차원 영상의 재생 시스템이 구현될 수 있다.

3차원 컴포지트 포맷에서는, 하나의 픽처에 좌시점 영상 및 우시점 영상이 모두 배치되어 있으므로, 좌시점 영상 및 우시점 영상 각각은 일반적인 2차원 영상에 비해 해상도가 낮다. 그러나 기존 재생 시스템의 프레임 속도(frame rate)가 일정 속도 이상 확보된다면 대부분의 3차원 영상은 기존 재생 시스템에서 큰 화질의 저하 없이 재생될 수 있다. 3차원 컴포지트 포맷은 기존의 재생 시스템을 이용할 수 있다는 점에서 가장 널리 사용되고 있는 3차원 영상 포맷이다.

3차원 시퀀셜 포맷은, 시간축 방향으로 좌시점 영상 및 우시점 영상을 배치하는 포맷이다. 3차원 시퀀셜 포맷은, 좌시점 프레임 및 우시점 프레임이 연속적으로 번갈아 배치되는 프레임 시퀀셜 포맷과, 좌시점 필드 및 우시점 필드가 연속적으로 번갈아 배치되는 필드 시퀀셜 포맷을 포함한다. 프레임 시퀀셜 포맷은 좌시점 프레임 및 우시점 프레임이 각각 프레임률이 반으로 감소하므로, 프레임률이 소정 주파수 이하인 경우에는 잘 이용되지 않으며, 필드 시퀀셜 포맷이 널리 이용되고 있다.

멀티플 스트림 포맷은, 좌/우시점 영상마다 개별 스트림으로 송수신되는 영상 포맷으로써, 다수의 복호화기를 필요로 하지만 기존 시스템과 호환성이 유지될 수 있으며 원 해상도의 영상이 재생될 수 있다는 점에서 효과적이다. 좌/우시점 영상들 또는 다시점 영상들이 각각 스트림 단위로 저장되기 때문에 3차원 컴포지트 포맷 또는 3차원 시퀀셜 포맷에 비해 전송 시스템의 대역폭이 더 필요한 것이 특징이다.

도 3 의 도표는 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)가 이용할 수 있는 3차원 영상 포맷 정보의 값을 나타낸다. 이하, 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)는, 3차원 영상 포맷 정보를 '3d_format_type'이라는 변수명으로 지칭한다.

3차원 영상 포맷 정보는, 사이드 바이 사이드 포맷, 탑 앤 바텀 포맷, 수직 라인 인터리브드 포맷, 수평 라인 인터리브드 포맷, 격자 보드 포맷, 프레임 시퀀셜 포맷, 필드 시퀀셜 포맷, 멀티플 스트림 타입 중 제 1 시점 영상 포맷, 멀티플 스트림 타입 중 제 2 시점 영상 포맷, 깊이 맵 포맷, 3차원 영상 중 2차원 영상 구간 포맷이 있을 수 있다.

사이드 바이 사이드 포맷은 좌시점 영상 및 우시점 영상이 하나의 픽처 상에 좌우로 배치되는 형태의 영상 포맷이며, 탑 앤 바텀 포맷은 좌시점 영상 및 우시점 영상이 하나의 픽처 상에 상하로 배치되는 형태의 영상 포맷이다.

수직 라인 인터리브드 포맷은 하나의 픽처의 수직 방향의 라인 별로 좌시점 영상의 라인 및 우시점 영상의 라인이 번갈아 배치되는 형태의 영상 포맷이며, 수평 라인 인터리브드 포맷은 하나의 픽처의 수평 방향의 라인 별로 좌시점 영상의 라인 및 우시점 영상의 라인이 번갈아 배치되는 형태의 영상 포맷이다. 격자 보드 포맷은 하나의 픽처의 펠(pel) 별로 좌시점 영상의 펠 및 우시점 영상의 펠이 번갈아 배치되는 형태의 영상 포맷이다.

제 1 시점 영상 및 제 2 시점 영상이 개별적인 스트림에 삽입된 경우, 멀티플 스트림 타입 중 제 1 시점 영상 포맷은 제 1 시점 영상만이 수록되는 영상 포맷이며, 멀티플 스트림 타입 중 중 제 2 시점 영상 포맷은 제 2 시점 영상만이 수록되는 영상 포맷이다.

깊이 맵 포맷은, 좌우 시점 영상 간의 깊이차 정보가 수록된 맵과 좌우 시점 중 어느 한 시점 영상이 송수신되는 영상 포맷이다.

3차원 영상 중 2차원 영상 구간 포맷은, 3차원 영상 구간 및 2차원 영상 구간이 혼합된 영상에서 2차원 영상 구간이 수록된 영상 포맷이다.

'3d_format_type'는 7 바이트의 unsigned int 형의 변수로서 0x00 ~ 0x7F의 값을 갖는다. 일 실시예에 따라, '3d_format_type'의 0x00 ~ 0x0A 값에, 각각 사이드 바이 사이드(Side by side) 포맷, 탑 앤 바텀(Top and bottom) 포맷, 수직 라인 인터리브드(Vertical line interleaved) 포맷, 수평 라인 인터리브드(Horizontal line interleaved) 포맷, 격자 보드(Checker board) 포맷, 프레임 시퀀셜(Frame sequential) 포맷, 필드 시퀀셜(Field sequential) 포맷, 멀티플 스트림 타입 중 제 1 시점 영상(Primary view in multiple ESes type) 포맷, 멀티플 스트림 타입 중 제 2 시점 영상(Secondary view in multiple ESes type) 포맷, 깊이 맵(Depth map) 포맷, 3차원 영상 중 2차원 영상 구간(2D video in 3D video) 포맷이 대응됨으로써 3차원 영상 포맷 정보가 정의될 수 있다.

'3d_format_type'의 나머지 값은 차후 추가되는 컨텐츠를 위해 예약 비트로 설정될 수 있다.

도 4 는 본 발명의 일 실시예에 따른 좌우 배치 정보를 도시한다.

좌시점 영상 및 우시점 영상이 반전되어 3차원 영상이 재생되는 경우 시청으로 인한 피로감이 증가될 수 있다. 따라서, 3차원 영상 포맷이 좌시점 영상 및 우시점 영상을 모두 포함하고 있다면, 어느 쪽이 좌시점 영상 또는 우시점 영상인지 구별되어야 한다. 좌우 배치 정보는, 3차원 영상 포맷에 포함된 다른 시점 영상들이 각각 좌시점 영상인지 우시점 영상인지에 대한 정보로서, 3차원 영상 포맷과 함께 정의될 수 있다.

도 4 의 도표는 좌우 배치 정보에 따라, 3차원 영상 포맷(Type)에서 좌시점 영상 및 우시점 영상의 배치 순서를 보여준다. 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)에서는, 좌우 배치 정보를 'LR_indicator'라는 변수명으로 명명한다. 좌우 배치 정보가 1인 경우('LR_indicator = 1')를 예로 들어 설명하면, 좌시점(Left view) 영상 및 우시점 영상(Right view)은, 각각 사이드 바이 사이드(Side by side) 포맷의 좌측(Left side) 및 우측(Right side)에 배치된다.

마찬가지 방식으로 좌우 배치 정보가 1인 경우('LR_indicator = 1'), 좌시점 영상 및 우시점 영상은, 탑 앤 바텀(Top and bottom) 포맷의 상단(Top side) 및 하단(Bottom side)에, 수직 라인 인터리브드(Vertical line interleaved) 포맷에서는 홀수번째 라인(Odd line) 및 짝수 번째 라인(Even line)에, 수평 라인 인터리브드(Horizontal line interleaved) 포맷에서는 짝수 번째 라인(Even line) 및 홀수 번째 라인(Odd line)에, 격자 보드(Checker board) 포맷에서는 첫 번째 라인의 첫 번째 펠(Fisrt pel in first line) 및 두 번째 라인의 첫 번째 펠(First pel in second line)에, 프레임 시퀀셜(Frame sequential) 포맷에서는 홀수 번째 프레임(Odd frame) 및 짝수 번째 프레임(Even frame)에, 필드 시퀀셜(Field sequential) 포맷에서는 상단 필드(Top field) 및 하단 필드(Bottom field)에, 멀티플 스트림 타입(Multiple ESes type) 포맷에서는 제 1 시점 영상(Primary view sequence) 및 제 2 시점 영상(Secondary view sequence)에 각각 배치될 수 있다.

좌우 배치 정보가 0인 경우('LR_indicator = 0')에는, 전술한 경우와 반대로 좌시점 영상 및 우시점 영상이 배치될 수 있다. 다시점 영상의 경우에도 적용가능한 멀티플 스트림 타입(Multiple ESes type) 포맷 중에서도 스테레오 영상인 경우에는 좌시점 영상 및 우시점 영상만 존재하므로, 도 4의 도표에서 정의된 좌우 배치 정보가 유효해질 수 있다.

3차원 영상 포맷 중 사이드 바이 사이드 포맷, 탑 앤 바텀 포맷, 수직 라인 인터리브드 포맷, 수평 라인 인터리브드 포맷 및 격자 보드 포맷 등은 한장의 프레 임에 좌시점 영상 및 우시점 영상이 동시에 배치된다. 이 경우, 좌시점 영상 및 우시점 영상은 각각의 해상도가 절반으로 축소되어 한 장의 3차원 영상 프레임으로 병합될 수 있다.

다만 일반적인 해상도를 지원하는 멀티미디어 재생 환경에서는 좌시점 영상 및 우시점 영상이 각각 원래 해상도를 유지한 채 하나의 프레임으로 병합되어, 좌시점 영상 또는 우시점 영상에 비해 2배의 해상도를 갖는 3차원 영상이 생성될 수도 있다.

따라서, 좌시점 영상 및 우시점 영상이 한 장의 프레임에 모두 병합되어 있는 3차원 영상 포맷에 대해서는, 좌시점 영상 및 우시점 영상의 원래 해상도가 유지된 채 병합되어서 2배 해상도의 3차원 영상인지, 또는 좌시점 영상 및 우시점 영상이 절반의 해상도로 축소된 채 병합되어 원래 해상도의 3차원 영상인지 여부가 식별될 필요가 있다.

이에 따라, 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)에서는, 좌시점 영상 및 우시점 영상이 원래 해상도를 유지하여 원래 해상도의 2배의 해상도를 갖는 3차원 영상으로 병합되는지 여부를 나타내는 풀해상도 정보가 사용된다. 풀해상도 정보는 'Full_Res_indicator'라는 변수명으로 명명될 수 있다.

3차원 영상 데이터스트림 수신 장치(200)는 스트림을 파싱하여 풀해상도 정보를 획득할 수 있다. 수신된 데이터스트림을 복호화되어 복원된 3차원 영상은, 풀해상도 정보를 이용하여 3차원 재생 장치에 적합한 3차원 영상 포맷으로 변환되어 3차원으로 재생될 수 있다.

이하, 도 5 내지 도 7을 참조하여 3차원 영상 포맷 중 3차원 영상 중 2차원 영상 구간 포맷에 관해 상술한다. 3차원 영상 중 2차원 영상 구간 포맷은 부분적으로 3차원으로 재생되므로 3차원 영상으로 인식되어야 하는 구간인 '구간 3차원 영상'이 정의될 필요가 있다. 구간 3차원 영상은 시간적 또는 공간적으로 3차원으로 재생되는 경우들로 구분될 수 있다.

시간적 구간 3차원 영상 정보는 상대적인 시간 또는 절대적인 시간으로 표현될 수 있다. 표현 방식은 시스템 환경 또는 시스템 사양에 따라 조정될 수 있다.

도 5 및 6을 참조하여 시간적 구간 3차원 재생 정보의 실시예들이 설명되며, 도 7을 참조하여 공간적 구간 3차원 재생 정보의 실시예가 설명된다. 시간적 구간 3차원 재생 정보 및 공간적 구간 3차원 재생 정보는 비교적 많은 비트가 필요하므로, 먼저 지시자(indicator)를 이용하여 시간적 구간 3차원 재생 정보의 정의 여부 및 공간적 구간 3차원 재생 정보의 정의 여부가 제시된다. 따라서, 지시자들이 0의 값으로 설정되는 경우에는 구간 3차원 재생 정보가 정의되지 않아야 한다.

도 5 는 본 발명의 일 실시예에 따른 시간적 구간 3차원 재생 정보의 일례를 도시한다.

시간적 구간 3차원 재생 정보는 3차원으로 재생될 3차원 영상의 픽쳐 개수로 표현될 수 있다. 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)에서는, 시간적 구간 3차원 재생 정보의 정의 여부를 나타내는 지시자를 'temporal_local_3d_indicator'라는 변수로 나타낼 수 있다.

즉, 'temporal_local_3d_indicator'가 unsinged int형으로 선언되고(구문 510), 'temporal_local_3d_indicator'가 '1'의 값으로 정의되는 경우(구문 520), 시간적 구간 3차원 재생 정보로서 구간 3차원 영상의 픽쳐 개수가 'remaining_3d_pictures'라는 변수로 인해 정의될 수 있다(구문 530). 일 실시예에 따라, 'remaining_3d_pictures'의 모든 비트가 1로 채워질 경우, 해당 영상 시퀀스가 끝날 때까지 3차원 재생 모드가 유지될 수 있다.

도 6 은 본 발명의 일 실시예에 따른 시간적 구간 3차원 재생 정보의 다른 예를 도시한다.

시간적 구간 3차원 재생 정보의 다른 예로써, 3차원으로 재생되어야 하는 구간 3차원 영상의 재생 시간이 정의될 수 있다. 'temporal_local_3d_indicator'가 unsinged int형으로 선언되고(구문 610), 'temporal_local_3d_indicator'가 '1'의 값으로 정의되는 경우(구문 620), 시간적 구간 3차원 재생 정보로서 구간 3차원 영상의 재생 시간을 나타내는 변수 'DTS_3d_period[]'로 인해 정의될 수 있다(구문 630).

'DTS_3d_period[]'의 [] 내의 수는 재생 시간을 나타내며, 상대적인 시간 또는 절대적인 시간으로 표현될 수 있다. 3차원 재생 구간 및 2차원 재생 구간이 번갈아 존재하며 3차원 재생 구간끼리 분리되어 있는 경우 'DTS_3d_period[]'는 복수로 정의될 수 있다. 또한, 시간적으로 분리되는 3차원 재생 구간 사이를 표시하기 위한 마커 비트('marker_bit')가 정의될 수 있다.

도 7 은 본 발명의 일 실시예에 따른 공간적 구간 3차원 재생 정보를 도시한다.

공간적 구간 3차원 재생 정보는, 2차원 영상 및 3차원 영상이 모두 표시된 한 프레임 상에서 3차원으로 재생될 공간적 구간 3차원 영역의 위치로 정의될 수 있다. 공간적 구간 3차원 영역의 위치는 해당 3차원 영역의 좌상단 모서리의 좌표값, 폭, 너비 정보로 정의될 수 있다.

일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)에서는, 공간적 구간 3차원 재생 정보의 정의 여부를 나타내는 지시자를 'spatial_local_3d_indicator'라는 변수로 나타낼 수 있다.

즉, 'spatial_local_3d_indicator'가 unsinged int형으로 선언되고(구문 710), 'spatial_local_3d_indicator'가 '1'의 값으로 정의되는 경우(구문 720), 공간적 구간 3차원 재생 정보로서 공간적 구간 3차원 영역의 좌표로써 수평 오프셋을 나타내는 변수 'horizontal_offset', 수직 오프셋을 나타내는 변수 'vertical_offset', 공간적 구간 3차원 영역의 폭을 나타내는 변수 'local_3d_width', 높이를 나타내는 변수 'local_3d_height'가 정의될 수 있다(구문 730).

구문 730은 공간적 구간 3차원 영역이 하나인 경우에 해당하지만, 공간적 구간 3차원 영역이 둘 이상인 경우, 'number_of_local_3d'라는 변수를 통해 공간적 구간 3차원 영역의 개수가 정의되고, 각각의 영역마다 수평 오프셋, 수직 오프셋, 폭, 너비가 정의될 수 있다.

도 8 은 본 발명의 일 실시예에 따른 3차원 카메라 정보를 도시한다.

카메라 정보는 스테레오 영상에서는, 어느 한 시점 영상의 카메라 파라미터를 기준으로 하여 나머지 시점의 영상에 대한 카메라 파라미터가 상대적인 값으로 표현될 수 있다. 즉, 좌시점 영상의 좌표계를 기준으로 우시점 영상의 카메라 파라미터가 표현되어 좌시점 영상 및 우시점 영상의 카메라 파라미터가 모두 정의될 필요 없이 상대적인 값만 송수신될 수 있다. 그러나, 카메라 정보 중 초점 거리(focal length), 주점(principal point)의 좌표에 대한 정보는 상대적으로 표시될 수 없는 절대 수치이므로 각각의 시점에 대해 별도로 정의되어야 한다.

일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)에서는, 3차원 카메라 정보의 변경 여부를 나타내는 지시자를 'is_cam_params_changed'라는 변수로 나타낼 수 있다. 3차원 카메라 정보는 비교적 큰 데이터이므로 'is_cam_params_changed'를 통해 현재 3차원 카메라 정보가 이전 3차원 카메라 정보와 비교하여 변경된 경우에만 새롭게 정의도록 미리 선언될 필요가 있다. 따라서, 3차원 카메라 정보가 처음 설정되거나 갱신될 필요가 있는 경우에만 'is_cam_params_changed'가 1로 정의된다.

예를 들어, 'is_cam_params_changed'가 unsinged int형으로 선언되고(구문 810), 'is_cam_params_changed'가 '1'의 값으로 정의되는 경우(구문 820), 3차원 카메라 정보로서 회전각 정보를 나타내는 변수 'rotation', 평행이동 정보를 나타내는 변수 'translation', 제 1 시점 영상의 초점 거리 정보를 나타내는 변수 'primary_focal_length', 제 2 시점 영상의 초점 거리 정보를 나타내는 변수 'secondary_focal_length', 화면 종횡비 정보를 나타내는 변수 'aspect_ratio', 제 1 시점 영상의 주점의 x축 좌표 정보를 나타내는 변수 'primary_principal_point_x', 제 1 시점 영상의 주점의 y축 좌표 정보를 나타내는 변수 'primary_principal_point_y', 제 2 시점 영상의 주점의 x축 좌표 정보를 나타내는 변수 'secondary_principal_point_x', 제 2 시점 영상의 주점의 y축 좌표 정보를 나타내는 변수 'secondary_principal_point_y'가 정의될 수 있다(구문 830).

입체감을 고려한 촬영이라면 동일한 사양의 카메라를 사용하므로, 화면 종횡비 정보는 좌/우시점 영상 또는 다시점 영상에 대해 한번만 정의될 수 있다. 회전각 정보 및 평행이동 정보는 제 1 시점 영상의 좌표를 기준으로 하는 제 2 시점 영상의 좌표의 상대적인 수치로 표현될 수 있다. 초점 거리 및 주점 정보는 각각의 시점 별로 정의될 수 있다.

스테레오 영상에 대한 3차원 카메라 정보는 도 8과 같이 좌시점 영상 및 우시점 영상에 대해 각각 정의되는 것이 아니라 한번만 정의될 수 있다. 반면에, 다시점 영상의 경우에도 적용가능한 멀티플 스트림 타입(Multiple ESes type) 포맷의 경우, 어느 한 시점 영상의 좌표를 기준으로 상대적인 수치로 표시하는 방식보다는 각각의 시점마다 독립적으로 카메라 정보가 정의되는 것이 바람직하다.

카메라 정보를 이용하여 양 시점 영상을 획득하는 두 카메라의 배치 방식이 유추될 수 있다. 일반적으로 3차원 영상이 재생될 때, 교차식 카메라 구조(toed-in camera configuration)인 경우보다 평행식 카메라 구조(parallel camera configuration)로 획득된 3차원 영상이 시청 피로감이 적다. 따라서, 3차원 카메라 정보를 이용한 렉티피케이션(Rectification) 작업을 통해, 교차식 카메라 구조로 획득된 3차원 영상이 평행식 카메라 구조로 획득된 3차원 영상으로 변경될 수 있다.

3차원 카메라 정보를 이용하여 에피폴라 라인(Epipolar line)이 결정될 수 있으며, 에피폴라 라인을 이용한 에피롤라 라인 컨스트레인트(Epipolar line Constraint) 기법을 통해 변이 추정(Disparity estimation)이 용이해질 수 있다. 이와 같이 3차원 카메라 정보는 렉티피케이션 작업, 변이 추정 뿐만 아니라 다양한 후처리 작업에 이용될 수 있다.

도 9 는 본 발명의 일 실시예에 따른 저피로도 정보를 도시한다.

3차원 영상일지라도 재생되는 디스플레이 화면의 크기에 따라 입체감이 달라질 수 있다. 따라서 제공되는 3차원 영상의 권장 환경과 다르거나 더 나쁜 재생 환경에서 재생되는 경우에, 시청 피로도 감소를 위한 후처리 작업이 수행될 필요가 있다. 예를 들어, 권장 디스플레이 화면 크기(expected display size)보다 실제 디스플레이 화면 크기가 더 큰 경우 변이가 발생하여 시청 피로감이 발생할 수 있다. 시청 피로도 감소를 위한 후처리 작업으로는, 좌/우시점 영상 간의 깊이 맵을 추출하여 깊이를 조절한 새로운 좌시점 영상 및 우시점 영상을 생성하거나 중간 영상을 합성하는 방법 및 좌/우시점 영상을 평행 이동시키는 방법 등이 있다. 저피로도 정보를 이용하여 어떤 저피로도 작업을 수행할지 결정될 수 있다.

일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)에서는, 저피로도 정보의 변경 여부를 나타내는 지시자를 'is_safety_params_changed'라는 변수로 나타낼 수 있다. 저피로도 정보는 비교적 큰 데이터이므로 'is_safety_params_changed'를 통해 현재 저피로도 정보가 이전 저피로도 정보와 비교하여 변경된 경우에만 새롭게 정의되도록 미리 선언될 필요가 있다. 따라서, 3차원 카메라 정보가 처음 설정되거나 갱신될 필요가 있는 경우에만 'is_safety_params_changed'가 1로 정의된다.

예를 들어, 'is_safety_params_changed'가 unsinged int형으로 선언되고(구문 910), 'is_safety_params_changed'가 '1'의 값으로 정의되는 경우(구문 920), 저피로도 정보로서 권장 디스플레이 화면 폭 정보를 나타내는 변수 'expected_display_width', 권장 디스플레이 화면 높이 정보를 나타내는 변수 'expected_display_height', 권장 시청 거리 정보를 나타내는 변수 'expected_viewing_distance', 3차원 영상 컨텐츠 내에서의 최소 변이 정보를 나타내는 변수 'min_of_disparity', 3차원 영상 컨텐츠 내에서의 최대 변이 정보를 나타내는 변수 'max_of_disparity'가 정의될 수 있다(구문 930).

제공되는 3차원 영상 컨텐츠의 스크린 변이를 계산하기 위해서는, 권장 디스플레이 화면 크기, 권장 시청 거리 및 3차원 영상 내에서의 변이 범위가 필요하다. 권장 디스플레이 화면 폭 정보 및 높이 정보, 권장 시청 거리 정보를 이용하여 권장 디스플레이 화면 크기 및 권장 시청 거리 정보가 표현되며, 3차원 영상 컨텐츠 내에서의 최소 변이 정보 및 최대 변이 정보를 이용하여 3차원 영상 내에서의 변이 범위가 표현될 수 있다.

따라서 저피로도 정보를 이용하여 권장 디스플레이 화면에 따른 변이 범위 및 실제 변이 범위를 비교하여 저피로도 작업의 수행 여부를 결정할 수 있다.

도 10 은 본 발명의 일 실시예에 따른 저피로도 범위를 도시한다.

3차원 영상의 시청 피로도가 허용될 수 있는 스크린 변이 범위는 ±1°이내로 결정될 수 있다. 제공되는 3차원 영상의 스크린 변이 범위는 디스플레이 크기, 시청 거리, 변이 범위를 이용하여 결정될 수 있다. 허용될 수 있는 시청 피로도를 갖는 스크린 변이 범위인 저피로도 범위를 계산하기 위해서는 실제 디스플레이 화면의 픽셀 피치(pixel pitch)를 필요로 하는데 이는 재생 장치에서 고정된 값으로 결정될 수 있다.

도 10 을 참조하여 이하 실제 디스플레이 화면(1000)의 픽셀 피치는 0.159mm, 디스플레이 크기는 2.5 인치, 해상도는 320×240인 경우를 예로 들어 저피로도 범위를 상술한다. 시청자의 눈간 거리(1010)는 65mm, 시청 거리(1020)는 300mm로 가정될 수 있다. 권장 깊이감에 따른 양 시선 간의 차이각 α, 깊이감이 시청자 위치 쪽으로 다가오는 경우의 양 시선 간의 차이각 β, 깊이감이 시청자 위치로부터 멀어지는 경우의 양 시선 간의 차이각 γ을 이용하여 변이 범위가 계산된다.

도 10 에서는 최소 변이 한계의 경우는 차이각 β에 해당하고, 최대 변이 한계의 경우는 차이각 γ에 해당한다. 즉, 저피로도 범위는 ±1°이내로써, |β-α|<1° 및 |γ-α|<1°여야 한다. 예를 들어, 차이각 α는 12,37°라면, 차이각 β는 11.37°이상, 차이각 γ는 13.37°이하여야 한다.

또한, 이러한 저피로도 범위가 픽셀 단위로 표현되려면, 디스플레이 화면(1000)의 픽셀 피치가 이용될 수 있다. 최소 변이 한계의 β가 11.37°인 경우 디스플레이 화면(1000) 상에 맺히는 상의 크기는 5.32mm이고, 최대 변이 한계의 γ가 13.37°인 경우 디스플레이 화면(1000) 상에 맺히는 상의 크기는 5.73mm이다. 변이를 픽셀 단위는 변이를 픽셀 피치로 나눈 값으로 표현될 수 있다. 따라서, 최대 변이 한계 픽셀은 5.73/0.159 = 36 픽셀, 최소 변이 한계 픽셀은 -5.32/0.159 = -33 픽셀일 수 있다. 여기서 (-) 방향은 시청자 방향으로 다가오는 방향을 나타낸다.

실제 디스플레이 시스템에서의 최대 허용 변이 범위의 최소 변이 한계와 최대 변이 한계를 실제 3차원 영상 컨텐트의 최소 변이 및 최대 변이와 비교하여 현재 3차원 영상 컨텐츠가 저피로도 허용 범위에 속하는지 여부를 알 수 있다. 현재 3차원 영상 컨텐츠가 저피로도 허용 범위 안에 없다면 저피로도 관련 후처리 작업이 수행될 수 있다.

이하 도 11 내지 도 13을 참조하여, 좌시점 영상 및 우시점 영상이 상호 불일치하는 정도를 나타내는 좌우 불일치 정보가 상술된다. 스테레오 영상(또는 다시점 영상)을 획득하는 카메라는 복수이므로, 동일한 사양의 카메라들이라도 각각의 설정 상태에 따라 서로 일치하지 않는 색감을 가질 수 있다. 이러한 좌시점 영상 및 우시점 영상 간의 차이는 변이 추정과 같은 후처리 작업의 성능을 저하시킬 수 있다. 또한 좌시점 영상 및 우시점 영상이 서로 일치하지 않는 색감으로 재생되는 경우 3차원 영상으로 인한 시청 피로도가 증가할 수 있다.

상호 일치하지 않는 좌시점 영상 및 우시점 영상 간의 차이를 보정하는 작업이 전처리 또는 후처리 작업으로서 수행될 수 있다. 시청자의 필요도에 따라 보정 작업은 복호화 후 후처리 작업이 수행될 수도 있다. 이 경우 복호화 후의 후처리 작업을 위한 좌우 불일치 정보가 필요하다.

도 11 은 본 발명의 일 실시예에 따른 좌우 불일치 정보의 일례를 도시한다.

단순한 좌우 불일치 모델은 수학식 1에 따른다.

[수학식 1]

R = L + offset1

R 은 우시점 영상의 화소값, L은 좌시점 영상의 화소값, offset1 은 좌시점 영상 및 우시점 영상 간의 오프셋 값을 나타내는 변수이다. 즉, 좌시점 영상 및 우시점 영상 사이의 불일치 정보가 오프셋 하나의 값으로 정의되는 단순한 모델이다. 도 11의 좌우 오프셋 정보는, 현재 좌시점 영상 및 우시점 영상이 단순한 좌우 불일치 모델에 따른다는 가정 하에, 좌우 불일치 정보에 많은 비트수를 할당할 수 없을 경우에 바람직하다.

예를 들어, 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)에서는, 좌우 불일치 정보의 정의 여부를 나타내는 지시자를 'imbalance_info_indicator'라는 변수로 나타낼 수 있다. 좌우 불일치 정보가 정의될 경우에만 'imbalance_info_indicator'가 1로 정의된다.

수학식 1에 따르는 좌우 불일치 정보의 신택스에 따르면, 'imbalance_info_indicator'가 unsinged int형으로 선언되고(구문 1110), 'imbalance_info_indicator'가 '1'의 값으로 정의되는 경우(구문 1120), 좌우 불일치 정보로서 좌우 오프셋 정보를 나타내는 변수 'imbalance_offset'가 정의될 수 있다(구문 1130).

도 12 는 본 발명의 일 실시예에 따른 좌우 불일치 정보의 다른 예를 도시한다.

선형 함수에 따른 좌우 불일치 모델은 수학식 2에 따른다.

[수학식 2]

R = scale × L + offset2

R 은 우시점 영상의 화소값, L은 좌시점 영상의 화소값, scale은 선형 함수의 기울기, offset2 은 좌시점 영상 및 우시점 영상 간의 오프셋 값을 나타내는 변수이다. 즉, 좌시점 영상 및 우시점 영상 사이의 불일치 정보가 좌시점 영상 및 우시점 영상 간의 선형 관계로 정의될 수 있다. 기울기 정보를 위한 변수 'scale'에 할당되는 비트수는 선형 함수의 정확도에 따라 조절될 수 있다.

수학식 2에 따르는 좌우 불일치 정보의 신택스에 따르면, 'imbalance_info_indicator'가 unsinged int형으로 선언되고(구문 1210), 'imbalance_info_indicator'가 '1'의 값으로 정의되는 경우(구문 1220), 좌우 불일치 정보로서 좌우 오프셋 정보를 나타내는 변수 'imbalance_offset', 좌우 불일치 모델의 선형 함수의 기울기 정보를 나타내는 변수 'imbalance_scale'가 정의될 수 있다(구문 1230).

도 13 은 본 발명의 일 실시예에 따른 좌우 불일치 정보의 또 다른 예를 도시한다.

룩업 테이블(Look up table)에 따른 좌우 불일치 모델은 수학식 3에 따른다.

[수학식 2]

R[0] = first_value

R[L] = R[L-1] + increment[L-1]

R 은 우시점 영상의 화소값, L은 좌시점 영상의 화소값, first_value는 우시점 영상 화소값의 초기값, increment는 우시점 영상 화소값의 증가량에 해당한다. 좌시점 영상 화소값이 1씩 증가함에 따라, 대응하는 우시점 영상 화소값은 우시점 영상 화소값의 증가량으로 정의될 수 있다.

수학식 3에 따르는 좌우 불일치 정보의 신택스에 따르면, 'imbalance_info_indicator'가 unsinged int형으로 선언되고(구문 1110), 'imbalance_info_indicator'가 '1'의 값으로 정의되는 경우(구문 1320), 좌우 불일치 정보로서 우시점 영상 화소값의 초기값을 나타내는 변수 'first_value', 우시점 영상 화소값의 증가량을 나타내는 변수 'increment'가 정의될 수 있다(구문 1330).

전술된 좌우 불일치 정보는, 수학식 1, 2, 3의 순서로 더 정교한 좌우 불일치 모델을 따른다.

도 14 는 본 발명의 일 실시예에 따른 3차원 영상 재생 정보를 도시한다.

일 실시예에 따른 3차원 영상 재생 정보가 전술한 3차원 영상 포맷 정보, 좌 우 배치 정보, 풀해상도 정보, 공간적 구간 3차원 재생 정보, 시간적 구간 3차원 재생 정보, 3차원 카메라 정보, 저피로도 정보, 좌우 불일치 정보를 모두 포함하는 경우 도 14와 같은 신택스가 이용될 수 있다.

구문 1420, 1430 및 1440에서 각각 3차원 영상 재생 정보의 필수 정보로서 3차원 영상 포맷 정보 '3d_format_type', 좌우 배치 정보 'LR_indicator' 및 풀해상도 정보 'Full_Res_indicator'가 선언된다.

3차원 영상 재생 정보의 부가 정보는, 먼저 각각의 파라미터의 정의 여부 또는 변경 여부를 확인하는 지시자가 선언된다. 즉, 구문 710 및 510에서 공간적 구간 3차원 재생 정보의 정의 여부를 나타내는 지시자 및 시간적 구간 3차원 재생 정보의 정의 여부를 나타내는 지시자가 선언된다. 또한, 구문 810에서 3차원 카메라 정보의 변경 여부를 나타내는 지시자가 선언되고, 구문 910에서 저피로도 정보의 변경 여부를 나타내는 지시자가 선언된다. 마찬가지로, 구문 1110에서 좌우 불일치 정보의 정의 여부를 나타내는 지시자가 선언된다.

도 7을 참조하여 전술된 바와 같이, 'spatial_local_3d_indicator'가 '1'의 값으로 정의되는 경우(구문 720), 공간적 구간 3차원 재생 정보로서 공간적 구간 3차원 영역의 좌표의 수평 오프셋 정보 및 수직 오프셋 정보('horizontal_offset' 및 'vertical_offset'), 공간적 구간 3차원 영역의 폭 정보 및 높이 정보('local_3d_width' 및 'local_3d_height')가 정의될 수 있다(구문 730).

도 5를 참조하여 전술된 바와 같이, 'temporal_local_3d_indicator'가 '1'의 값으로 정의되는 경우(구문 520), 시간적 구간 3차원 재생 정보로서 구간 3차원 영 상의 픽쳐 개수 정보('remaining_3d_pictures')가 정의될 수 있다(구문 530).

도 8을 참조하여 전술된 바와 같이, 'is_cam_params_changed'가 '1'의 값으로 정의되는 경우(구문 820), 3차원 카메라 정보로서 회전각 정보('rotation'), 평행이동 정보('translation'), 제 1 시점 영상의 초점 거리 정보('primary_focal_length'), 제 2 시점 영상의 초점 거리 정보('secondary_focal_length'), 화면 종횡비 정보('aspect_ratio'), 제 1 시점 영상의 주점의 x축 좌표 정보('primary_principal_point_x'), 제 1 시점 영상의 주점의 y축 좌표 정보('primary_principal_point_y'), 제 2 시점 영상의 주점의 x축 좌표 정보('secondary_principal_point_x'), 제 2 시점 영상의 주점의 y축 좌표 정보('secondary_principal_point_y')가 정의될 수 있다(구문 830).

도 9 를 참조하여 전술된 바와 같이, 'is_safety_params_changed'가 '1'의 값으로 정의되는 경우(구문 920), 저피로도 정보로서 권장 디스플레이 화면 폭 정보('expected_display_width'), 권장 디스플레이 화면 높이 정보('expected_display_height'), 권장 시청 거리 정보('expected_viewing_distance'), 3차원 영상 컨텐츠 내에서의 최소 변이 정보('min_of_disparity'), 3차원 영상 컨텐츠 내에서의 최대 변이 정보('max_of_disparity')가 정의될 수 있다(구문 930).

도 12 를 참조하여 전술된 바와 같이, 'imbalance_info_indicator'가 '1'의 값으로 정의되는 경우(구문 1220), 좌우 불일치 정보로서 좌우 오프셋 정보('imbalance_offset'), 좌우 불일치 모델의 선형 함수의 기울기 정보('imbalance_scale')가 정의될 수 있다(구문 1230).

3차원 영상 재생 정보는, 경우에 따라 데이터스트림 상에서 서로 다른 공간에 삽입될 수도 있다. 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100)는 3차원 영상 재생 정보의 중요성에 따라 데이터스트림 상에 삽입 영역을 결정할 수 있다. 3차원 영상 데이터스트림의 복호화 과정 도중에 역다중화(demultiplexing) 또는 파싱(parsing) 작업이 먼저 수행하는 영역부터 우선순위가 높은 3차원 영상 재생 정보가 배치되는 것이 바람직하다.

예를 들어, 3차원 영상 포맷 정보, 좌우 배치 정보 및 풀해상도 정보가, 카메라 정보, 저피로도 정보 및 좌우 불일치 정보에 비해 우선순위가 높다면, 3차원 영상 포맷 정보, 좌우 배치 정보 및 풀해상도 정보에 대해 역다중화 또는 파싱 작업이 먼저 수행되도록 데이터스트림 내에 삽입될 수 있다.

도 15a 는 본 발명의 일 실시예에 따른 3차원 영상 재생 정보를 이용하여 3차원 영상 서비스를 제공하기 위한 3차원 영상 서비스 시스템의 블록도를 도시한다.

생산자로부터 소비자에게 다양한 형태의 3차원 영상 서비스가 제공될 수 있다. 예를 들어, 3차원 영상 서비스는 가상 현실 시스템, 3차원 UCC(User Created Contents) 또는 VOD(Video on Demand), 3차원 광고, 3차원 방송 또는 영상 등을 포함할 수 있다. 3차원 UCC는 사용자들의 커뮤니티를 통해 소비자가 직접 만들어 다른 소비자에게 전달될 수 있다. 방송사는 3차원 영상을 제작하여 공중파나 케이블을 통해 전달함으로써 시청자에게 3차원 방송을 제공할 수 있다. 3차원 영화는 영 화사가 제작하여 배급사를 통해 3차원 DVD(Digital Versatile Disc) 또는 3차원 BD(Blu-ray Disc) 등을 통해 소비자에게 제공될 수 있다.

전술된 3차원 영상 서비스들은 전송 스트림(Transport Stream; TS), 프로그램 스트림(Program Stream; PS), ISO 기반의 미디어 파일 포맷(ISO based media file format) 등의 영상 포맷으로 제공될 수 있다.

3차원 영상 서비스 시스템(1500)은 생산자로부터 소비자에게 제공되는 3차원 영상 서비스의 전체적인 과정을 구현한다. 3차원 영상 서비스 시스템(1500)는 영상 획득부(1510), 전처리부(1512), 부호화부(1514), 통신부(1520), 복호화부(1530), 후처리부(1532) 및 3차원 재생부(1534)를 포함한다. 영상 획득부(1510), 전처리부(1512) 및 부호화부(1514)는 송신단에 포함되고, 복호화부(1530), 후처리부(1532) 및 3차원 재생부(1534)는 수신단에 포함될 수 있다.

영상 획득부(1510)는 두 대 이상의 카메라를 이용하여 복수 개의 시점에서 촬영된 다시점 영상을 획득한다. 영상 획득부(1510)의 카메라로는, 컬러 영상을 획득하는 일반적인 카메라 외에도 서로 다른 시점 영상 간의 깊이 정보를 곧바로 획득할 수 있는 깊이 카메라(Depth Camera)도 이용될 수 있다.

전처리부(1512)는 영상 획득부(1510)를 통해 획득된 영상들을 전처리 과정을 통해 압축할 준비를 한다. 전처리 과정은 좌시점 영상 및 우시점 영상을 스테레오 영상 포맷 등의 3차원 영상 포맷으로 병합하는 과정을 수행한다. 또한, 비디오 압축을 수행하기 위해 필요한 사전 준비 과정이 수행될 수 있다. 예를 들어, 카메라 보정(Camera Calibration)을 통해 카메라 파라미터가 결정되거나, 저피로도 파라미 터 등이 결정될 수 있다. 또한 좌시점 영상 및 우시점 영상 사이의 일치 여부가 측정될 수도 있다.

부호화부(1514)는 3차원 영상을 기존 2차원 영상 프레임에 배치하여 부호화하거나 기존 부호화기를 여러 대 이용함으로써 기존의 부호화 방법을 그대로 이용할 수 있다. 또한, 부호화부(1514)는 MPEG(Moving Picture Experts Group)에서 규정하는 MVC(Multiview Video Coding) 기법 또는 3차원 비디오 부호화 기법을 채택하는 새로운 3차원 부호화기를 이용하여 부호화할 수도 있다.

통신부(1520)는 압축된 영상 데이터를 인터넷 또는 방송을 통해 전송하거나, 패키지 미디어(Packaged media) 형태로 저장할 수 있다. 통신부(1520)에서 영상 데이터들이 전송되기 위해서는, 압축된 영상 데이터들이 해당 시스템에 맞는 데이터 포맷으로 변환되어야 한다.

예를 들어, MPEG-TS 시스템의 경우 기초스트림(ES) 상태에서 PES(Packetized ES)로 변환된다. 멀티플렉싱(Multiplexing)도 변환이라 폭넓게 일컬어질 수 있다. PES 형태의 데이터는 패키지 미디어로 저장하기 위한 용도로는 프로그램 스트림 형태로 변환될 수 있으며, 전송을 위한 용도로는 전송 스트림 형태로 변환될 수 있다. 압축된 영상 데이터가 MPEG-4 시스템의 ISO 기반의 미디어 파일 포맷으로 변환될 경우, 기초스트림 형태의 영상 데이터에 'moov' 박스를 포함하는 헤더가 부가된 데이터스트림이 생성되어 저장되거나 전송될 수 있다.

이외에도 영상 데이터의 압축 및 저장/전송 방법은, 여러 표준에서 규정된 방법을 따를 수 있다. 일 실시예에 따라 불일치 정보, 풀해상도 정보, 좌우 배치 정보, 구간 3차원 재생 정보, 카메라 정보, 저피로도 정보 등을 포함하는 3차원 영상 재생 정보는 3차원 영상 데이터와 함께, 전술된 다양한 데이터 포맷의 형태로 송신될 수 있다.

수신단은 소정 데이터 포맷으로 변환된 데이터들을 수신한 후, 복호화부(1530)가 인식할 수 있는 형태로 변환할 수 있다. 수신단이 2차원 영상을 위한 복호화기를 두 대 이상 사용하는 경우, 3차원 영상 재생 정보는 3차원 재생부(1534)로 곧바로 전달되어, 복호화부(1530)에 의해 복원된 3차원 영상이 3차원 재생될 수 있도록 사용될 수 있다.

후처리부(1532)는 복호화부(1530)에 의해 복호화된 영상을 해당 3차원 재생부(1534)가 재생할 수 있는 형태로 변환하는 과정을 수행한다. 예를 들어, 후처리부(1532)는 3차원 영상 포맷을 좌시점 2차원 영상 및 우시점 2차원 영상으로 분리할 수 있다. 또한, 후처리부(1532)에 의해, 3차원 영상의 렌더링 뿐만 아니라, 카메라 정보 및 저피로도 정보를 이용한 피로도 감소 과정이 수행될 수 있다.

3차원 재생부(1534)는 3차원 영상 재생 정보를 이용하여 다시점 영상들을 3차원으로 재생한다. 3차원 재생부(1534)는 렌티큘러(lenticular) 방식, 배리어(barrier) 방식, 셔터 안경 방식, 편광 안경 방식 등의 3차원 재생 기법을 따를 수 있다.

따라서, 3차원 영상 서비스 시스템은, 일 실시예에 따른 3차원 영상 재생 정보들을 효과적으로 압축, 전송, 수신, 복원 및 활용할 수 있다.

도 15b 는 본 발명의 일 실시예에 따른 3차원 영상 재생 정보를 생성하는 3 차원 영상 재생 정보 생성 장치의 블록도를 도시한다.

일 실시예에 따른 3차원 영상 재생 정보 생성 장치(1540)는 좌시점 및 우시점에 대한 스테레오 영상에 대한 파라미터를 생성할 수 있다. 일 실시예에 따른 3차원 영상 재생 정보 생성 장치(1540)는 두 대의 카메라(1542), 좌시점 영상 캡쳐 장치(1544), 우시점 영상 캡쳐 장치(1546), 3차원 영상 구성부(1548), 비디오 복호화부(1550), 3차원 영상 재생 정보 생성부(1560) 및 멀티플렉서(1570)를 포함한다.

두 대의 카메라(1542) 중 좌시점 카메라 및 우시점 카메라에 의해 촬영되어 좌시점 영상 캡쳐 장치(1544) 및 우시점 영상 캡쳐 장치(1546)가 각각 캡쳐한 좌시점 영상 시퀀스 및 우시점 영상 시퀀스가 생성된다.

좌시점 영상 시퀀스 및 우시점 영상 시퀀스는 3차원 영상 구성부(1548)에 의해, 사이드 바이 사이드 포맷, 탑 앤 바텀 포맷 등의 3차원 영상 포맷으로 구성된다. 3차원 영상 구성부(1548)는 채택된 3차원 영상 포맷에 따라, 3차원 영상 포맷 정보, 좌우 배치 정보, 풀해상도 정보, 구간 3차원 재생 정보 등의 재생 정보들을 출력하여 멀티플렉서(1570)로 전송할 수 있다.

이러한 3차원 영상 포맷은 비디오 복호화부(1550)에 의해 압축되고 기초스트림 형태로 출력된다. 기초스트림 형태의 압축 3차원 영상 데이터는, 멀티플렉서(1570)에 의해 전송 스트림, 프로그램 스트림 ISO 기반의 미디어 파일 포맷 등의 데이터 포맷으로 변환된다.

3차원 영상 재생 정보 생성부(1560)는, 좌시점 영상 캡쳐 장치(1544) 및 우시점 영상 캡쳐 장치(1546)에서 획득된 좌시점 영상 및 우시점 영상의 3차원 재생 을 위해 필요한 각종 3차원 영상 재생 정보를 생성한다. 이때 생성될 수 있는 3차원 영상 재생 정보는 카메라 관련 파라미터, 저피로도 관련 파라미터, 불일치 정보 등을 포함한다.

3차원 영상 구성부(1548)에 의해 출력된 3차원 영상 포맷 정보, 좌우 배치 정보, 풀해상도 정보, 구간 3차원 재생 정보 등의 재생 정보들 및 3차원 영상 재생 정보 생성부(1560)에 의해 생성된 카메라 관련 파라미터, 저피로도 관련 파라미터, 불일치 정보 등의 3차원 영상 재생 정보는 멀티플렉서(1570)의 3차원 영상 재생 정보 삽입부(1575)로 입력된다.

3차원 영상 재생 정보 삽입부(1575)는 멀티플렉서(1570)에서 생성되는 3차원 영상 데이터 포맷에 3차원 영상 재생 정보를 삽입할 수 있다. 따라서, 멀티플렉서(1570)에 의해 생성되는 3차원 영상 데이터 포맷에는 압축된 3차원 영상 데이터 뿐만 아니라 3차원 영상 재생 정보가 수록될 수 있다.

일 실시예에 따른 3차원 영상 재생 정보 생성 장치(1540)에서 생성된 3차원 영상 재생 정보는 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100)에서 이용될 수 있다. 또한, 3차원 영상 재생 정보 생성 장치(1540)의 멀티플렉서(1570)는 3차원 영상 데이터스트림 생성 장치(100)에 상응할 수 있다.

이 경우, 3차원 영상 재생 정보 삽입부(1575)는 3차원 영상 재생 정보가 전송 스트림, 기초 스트림, 섹션 중 어느 위치에 삽입될지 여부를 결정한다. 따라서, 3차원 영상 재생 정보 삽입부(1575)는, 기초스트림 패킷 생성부(120), 섹션 생성부(130) 또는 전송 스트림 패킷 생성부(140) 등이 3차원 영상 재생 정보를 소 정 위치에 삽입하도록 제어할 수 있다.

도 15c 는 본 발명의 일 실시예에 따른 3차원 영상 재생 정보를 이용하는 3차원 영상 재생 장치의 블록도를 도시한다.

일 실시예에 따른 3차원 영상 재생 장치(1580)는 좌시점 및 우시점에 대한 스테레오 영상을 재생할 수 있다. 일 실시예에 따른 3차원 영상 재생 장치(1580)는 디멀티플렉셔(1582), 비디오 복호화부(1586), 3차원 영상 분리부(1588), 3차원 영상 후처리부(1590) 및 3차원 영상 재생부(1595)를 포함한다.

3차원 영상 재생 장치(1580)는 전송 스트림, 프로그램 스트림 또는 ISO 기반의 미디어 파일 포맷의 3차원 영상 데이터스트림을 수신한다. 디멀티플렉서(1582)는 수신된 데이터스트림을 역다중화하여, 3차원 영상에 대한 기초스트림과 3차원 영상 재생 정보를 분류하여 추출할 수 있다.

추출된 3차원 영상에 대한 기초스트림은 비디오 복호화부(1586)을 통해 3차원 영상 데이터가 복원된다. 3차원 영상 데이터는 사이드 바이 사이드 포맷과 같은 3차원 영상 포맷 뿐만 아니라 깊이 데이터가 활용되는 포맷 또는 둘 이상의 기초스트림이 이용되는 포맷일 수 있다.

디멀티플렉서(1582) 중 3차원 영상 재생 정보 추출부(1584)에 의해 추출된 3차원 영상 재생 정보 중, 3차원 영상 포맷 정보, 좌우 배치 정보, 풀해상도 정보, 구간 3차원 재생 정보, 카메라 관련 파라미터, 저피로도 관련 파라미터, 불일치 정보 등이 추출된다.

3차원 영상 재생 정보 중 차원 영상 포맷 정보, 좌우 배치 정보, 풀해상도 정보, 구간 3차원 재생 정보 등은 3차원 영상 분리부(1588)로 출력되고, 카메라 관련 파라미터, 저피로도 관련 파라미터, 불일치 정보 등은 3차원 영상 후처리부(1590)로 출력될 수 있다.

3차원 영상 분리부(1588)는 3차원 영상 포맷 정보 추출부(1584)에 의해 추출된 3차원 영상 포맷 정보, 좌우 배치 정보, 풀해상도 정보, 구간 3차원 재생 정보 등을 이용하여, 3차원 영상을 좌시점 영상 및 우시점 영상으로 분리한다.3차원 영상 후처리부(1590)는 카메라 관련 정보, 저피로도 관련 정보 및 불일치 정보를 이용하여, 시청자가 입체 피로감을 적게 느낄 수 있도록 3차원 영상을 보정할 수 있다.

3차원 영상 후처리부(1590)에 의해 처리된 3차원 출력 비디오는 3차원 영상 재생부(1595)에 의해 재생된다.

일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)는 일 실시예에 따른 3차원 영상 재생 장치(1580)에 대응될 수 있다. 즉, 전송 스트림 역다중화부(210), 전송 스트림 패킷 역패킷화부(220), 기초스트림 패킷 역패킷화부(230) 및 3차원 여상 재생 정보 추출부(240)이 디멀티플렉셔(1582) 및 3차원 영상 재생 정보 추출부(1584)에 대응된다. 또한, 3차원 영상 복원부(250)는 비디오 복호화부(1586) 및 3차원 영상 분리부(1588)에 대응될 수 있다. 3차원 영상 재생부(260)는 3차원 영상 후처리부(1590) 및 3차원 영상 재생부(1595)에 대응될 수 있다.

도 16a 는 전송 스트림 헤더의 패킷 식별자 테이블을 도시한다.

일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)가 데이터스트림의 송수신을 위해 전송 스트림(Transport stream) 구조를 채택한 경우를 예로 들어 기술되어 있다. 일 실시예에서는 3차원 영상 정보가 전송 스트림 구조로 전송, 저장, 수신 또는 재생된다.

3차원 영상 데이터의 부호화 과정에서, 3차원 영상 데이터는 압축되어 기초 스트림(Elementary stream, ES)이 되고, 기초 스트림을 패킷 단위로 분할하여 각각의 패킷마다 헤더를 붙임으로써 기초 스트림 패킷들이 생성된다. 기초 스트림 패킷들의 전송을 위해 전송 스트림이 생성되거나, 저장을 위해 프로그램 스트림이 생성될 수 있다.

전송 스트림은 하나 이상의 전송 스트림 패킷으로 구성된다. 전송 스트림 패킷은 188 바이트 단위의 패킷으로, 하나의 전송 스트림 패킷은 4 바이트의 헤더와 184 바이트의 페이로드로 구성된다. 전송 스트림 패킷의 헤더 영역에는, 해당 전송 스트림 패킷들의 종류를 나타내는 식별 정보인 패킷 식별자(Packet Identifier, PID) 정보 등의 각종 정보가 삽입될 수 있다.

예를 들어 도 15의 패킷 식별자 테이블에 따르면, 패킷 식별자 값이 0x0000, 0x0001, 0x0002인 경우, 각각의 패킷은 프로그램 통합 테이블(PAT) 섹션, 조건부 억세스 테이블(CAT) 섹션, 전송 스트림 서술 테이블 섹션을 수록하고 있다.

또한, 네트워크 정보 테이블이 수록될 전송 스트림 패킷의 패킷 식별자(network PID), 프로그램 맵 섹션이 수록될 전송 스트림 패킷의 패킷 식별자(Program map PID), 통합 프로그램 요소가 수록될 전송 스트림 패킷의 패킷 식별자(elementary PID), 기타 다른 목적들의 패킷 식별자들(Other purposes)은 패킷 식별자 값이 0x0010 내지 0x1FFE인 전송 스트림 패킷에 수록된다.

도 16b 는 전송 스트림 시스템을 대상으로 하는 복호화기 TS-STD(Transport Stream System Target Decoder)의 블록도를 도시한다.

전송 스트림 시스템을 대상으로 하는 복호화기(1600)(이하 '복호화기'라 한다.)에서 수신된 전송 스트림의 역다중화를 통해 프로그램이 재생되기까지의 과정이 후술된다.

t(i)는 전송 스트림의 i번째 바이트, TB_x(1610)는 기초 스트림 x를 위한 전송 버퍼, MB_y(1615)는 기초 스트림 y를 위한 다중화 버퍼, EB_z(1620)는 기초 스트림 z를 위한 기초 스트림 버퍼를 나타낸다. D_a(1625)는 기초 스트림 a를 위한 복호화부, O_b(1630)는 비디오 기초 스트림 b를 위한 재배치 버퍼를 나타낸다.

RX_n은 전송 버퍼 TB_n로부터 데이터가 삭제되는 속도, Rbx₁은 기초 스트림 패킷 페이로드 데이터가 다중화 버퍼 MB₁으로부터 삭제되는 속도, A_n(j)는 기초 스트림 n 중 복호화 순서상 j번째 억세스 유닛, td_n(j)는 기초 스트림 n 중 j번째 억세스 유닛에 대한 시스템 복호화기(1600)에서의 복호화 시각, P_n(k)는 기초 스트림 n 중 재생 순서상 k번째 재생 유닛, tp_n(k)는 기초 스트림 n 중 k번째 재생 유닛에 대 한 시스템 복호화기(1600)에서의 재생 시각을 나타낸다.

제공되는 프로그램에 관한 정보를 얻기 위해서 프로그램 리스트 정보가 필요하므로, 프로그램 리스트 정보를 포함하고 있는 프로그램 통합 테이블(PAT) 정보를 획득하여야 한다. 도 15에 도시된 패킷 식별자 테이블에 따라 프로그램 통합 테이블 정보가 수록되어 있는, 패킷 식별자(PID)가 0인 전송 스트림 패킷이 검출되면 된다.

프로그램 통합 테이블(PAT) 정보를 통해 각각의 프로그램 정보 및 시청하고자 하는 프로그램의 패킷 식별자 정보가 제공되므로, 원하는 프로그램의 프로그램 맵 테이블이 선택될 수 있다. 프로그램 맵 테이블에는 비디오, 오디오, 데이터 정보 등의 기초 스트림들의 패킷 식별자 정보가 수록되어 있으므로, 각각의 기초 스트림의 패킷 식별자가 확인가능하다. 따라서, 각각의 기초 스트림의 패킷 식별자를 확인하여 원하는 기초 스트림들로 접근할 수 있다.

복호화기(1600)는 뒤따라오는 전송 스트림 패킷들의 헤더 영역의 해당 패킷 식별자들을 파싱하고, 비디오 데이터가 수록된 기초 스트림 1에 대응하는 패킷들은 복호화기(1600) 내의 전송 버퍼 TB₁(1610)로, 오디오 데이터가 수록된 기초 스트림 n 패킷들은 전송 버퍼 TB_n로, 시스템 제어 데이터가 수록된 기초 스트림 sys 패킷들은 전송 버퍼 TB_sys로 전송된다.

비디오 정보 관련 전송 스트림 패킷들은 기초 스트림 패킷으로 변환되어 다중화 버퍼 MB₁(1615)에 저장된다. 비디오 정보 관련 패킷들 및 오디오 정보 관련 패 킷들, 시스템 제어 신호 관련 패킷들은 각각 역다중화 과정을 거쳐 기초 스트림 상태가 되어, 각각 다중화 버퍼 EB₁(1625), 다중화 버퍼 B_n, 다중화 버퍼 B_sys에 저장된다.

비디오 기초 스트림은 복호화부 D₁(1625)로, 오디오 기초 스트림은 복호화부 D_n으로, 시스템 제어 신호 기초 스트림은 복호화부 D_sys로 전송되어, 각각 순수한 영상 데이터, 음성 데이터 및 시스템 제어 데이터가 복원될 수 있다. 특히, 복원된 영상 데이터는 재생 순서에 따라 재배치 버퍼 O₁(1630)에 저장되어, 재상 주기에 따라 딜레이되면서 디지털 TV 시스템 등의 재생 시스템을 통해 렌더링될 수 있다.

일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100) 및 일 실시예에 다른 3차원 영상 데이터스트림 수신 장치(200)는 전송 스트림을 통해 송수신되는 영상 데이터는 2차원 영상 또는 3차원 영상의 데이터일 수 있다. 복호화기(1600)는 전송 스트림을 역다중화하여 복원한 기초스트림의 데이터스트림을 파싱하여, 영상 데이터를 복원하는 과정을 위주로 도시하고 있다.

하지만, 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)는, 복호화기(1600)의 영상 데이터의 복원 과정 뿐만 아니라, 그 이전에 전송 스트림의 역다중화 과정에서 전송 스트림에 삽입되어 있는 3차원 영상 재생 정보를 추출할 수 있다.

이하, 도 17 내지 도 31을 참조하여 전송 스트림 상에서 3차원 영상 재생 정보의 위치 및 신택스가 상술된다.

도 17 은 본 발명의 일 실시예에 따라, 전송 스트림 패킷의 적응 필드 영역에 3차원 영상 재생 정보가 삽입된 데이터 구조를 도시한다.

3차원 영상 데이터스트림 생성 장치(100)의 제 1 실시예는 전송 스트림 패킷의 적응 필드 영역의 프라이빗 데이터 바이트 영역에 3차원 영상 재생 정보를 삽입한다. 또한, 3차원 영상 데이터스트림 생성 장치(200)의 제 1 실시예는, 전송 스트림 패킷의 적응 필드 영역의 프라이빗 데이터 바이트 영역으로부터 3차원 영상 재생 정보를 추출한다.

전송 스트림(1700)은 하나 이상의 전송 스트림 패킷으로 구성되어 있다. 하나의 전송 스트림 패킷(1710)은 헤더(header) 영역(1712) 및 페이로드(payload) 영역(1714)으로 구분되어 있다. 헤더 영역(1712) 중에는 적응 필드 제어(adaptation field control) 정보(1722)가 삽입되며, 적응 필드 제어 정보(1722)에 따라 선택적으로 적응 필드(adaptation field) 영역(1724)의 할당 여부가 결정된다.

적응 필드 영역(1724)에도 5 플래그(5 flags)(1734) 중 트랜스포트 프라이빗 데이터 플래그(transport private data flag)에 따라 선택적으로 할당되는 선택적 필드(optional fields) 영역(1736)이 할당될 수 있다. 선택적 필드 영역(1736)에는 트랜스포트 프라이빗 데이터 바이트(transport private data) 영역(1744)이 할당될 수 있으며, 3차원 영상 재생 정보는 트랜스포트 프라이빗 데이터 바이트 영역(1744)에 삽입될 수 있다.

적응 필드 영역(1724) 이하의 트랜스포트 프라이빗 데이터 바이트 영역(1744)에 3차원 영상 재생 정보가 저장되기 위해서는, 3차원 영상 재생 정보만 큼의 공간이 확보되어야 한다.

하나의 전송 스트림 패킷(1710)이 188 바이트이고, 헤더 영역(1712)은 4바이트, 적응 필드 영역(1724)을 위해서 최대 184바이트까지 활용될 수 있다. 적응 필드 영역(1724)에는 3차원 영상 재생 정보 이외에 최대 27바이트의 다른 정보가 저장되어야 한다. 따라서, 3차원 영상 재생 정보에게 허용되는 최대 용량은 157바이트(=184-27)이다. 다만, 트랜스포트 프라이빗 데이터 길이 정보(1742)를 위한 1 바이트를 제외하면 총 156바이트가 3차원 영상 재생 정보에 할당될 수 있다.

좌우 불일치 정보를 룩업 테이블로 표현한 경우에 3차원 영상 재생 정보는 최대 크기인 138 바이트로 설정되므로, 트랜스포트 프라이빗 데이터 바이트 영역(1744)에 3차원 영상 재생 정보가 충분히 삽입될 수 있다.

3차원 영상 재생 정보가 적응 필드 영역(1724) 이하의 트랜스포트 프라이빗 데이터 바이트 영역(1744)에 삽입되기 위한 데이터스트림 구조를 위해서, 각종 정보들이 아래와 같이 설정되는 것이 바람직하다.

(i) 적응 필드 제어(adaptation field control) 정보(1722)가 '10' 또는 '11'로 설정되어야 하며,

(ii) 적응 필드 길이(adaptation field length) 정보(1732)가 '0'이 아닌 값을 가져야 한다.

(iii) 트랜스포트 프라이빗 데이터 플래그가 '1'로 설정되어야 하고,

(iv) 트랜스포트 프라이빗 데이터 길이(transport private data length) 정보(1742)는 트랜스포트 프라이빗 데이터 바이트 영역(1744)에 삽입될 3차원 영상 재생 정보가 시작함을 알리는 3차원 시작 정보 'threed_info_start_code' 및 3차원 영상 재생 정보 만큼의 총 바이트량만큼 설정하고 있어야 한다.

(v) 트랜스포트 프라이빗 데이터 바이트 영역(1744)의 첫 2 바이트에는 'threed_info_start_code'가 삽입된다. 예를 들어, 아스키(ASCII) 코드 값인 경우 '3D', 헥사 코드인 경우 '0x3444' 값이 삽입되어야 한다.

(vi) 트랜스포트 프라이빗 데이터 바이트 영역(1744)의 'threed_info_start_code' 이후에 나머지 3차원 영상 재생 정보가 삽입되어야 한다.

일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)는, 3차원 시작 정보 'threed_info_start_code'를 판독하여, 트랜스포트 프라이빗 데이터 바이트 영역(1744)에 삽입되어 있는 데이터가 3차원 영상 재생 정보임을 확인하고, 3차원 시작 정보에 뒤따르는 3차원 영상 재생 정보를 판독하여 추출할 수 있다.

도 18 은 본 발명의 일 실시예에 따라 좌우 불일치 정보가 룩업 테이블을 이용하는 경우의 3차원 영상 재생 정보의 크기를 도시한다.

일 실시예에 따른 3차원 영상 재생 정보의 크기를 살펴보면, 3차원 시작 정보(threed_info_start_code)를 위한 2바이트, 3차원 영상 포맷 정보(3d_format_type), 좌우 배치 정보(LR_indicator) 및 풀해상도 정보(Full_Res_indicator)를 위한 1바이트, 각종 지시자들(indicators)를 위한 1바이트, 공간적 구간 3차원 재생 정보(spatial local 3d)를 위한 8바이트, 시간적 구간 3차원 재생 정보(temporal local 3d)를 위한 5바이트, 3차원 카메라 정보(camera parameters)를위한 44바이트, 저피도로 정보(safety parameters)를 위한 12바이트로 설정될 수 있다. 또한, 좌우 불일치 정보(imbalance parameters)가 도 13을 참조하여 전술한 룩업 테이블을 이용하여 표현된다면, 65바이트로 설정될 수 있다.

따라서, 일 실시예에 따른 3차원 영상 재생 정보는 총 138바이트로 설정될 수 있다.

다만 3차원 영상 재생 정보의 크기는 재생 환경 또는 사용자의 의도에 따라 조절될 수 있다.

도 19 은 본 발명의 일 실시예에 따라 전송 스트림 패킷의 적응 필드 영역에 삽입된 3차원 영상 재생 정보를 도시한다.

3차원 영상 데이터스트림 생성 장치(100)의 제 1 실시예에 따라 적응 필드 영역 중 트랜스포트 프라이빗 데이터 바이트 영역에 삽입되거나, 3차원 영상 데이터스트림 생성 장치(200)의 제 1 실시예에 따라 에 의해 적응 필드 영역 중 트랜스포트 프라이빗 데이터 바이트 영역로부터 추출될 3차원 영상 재생 정보의 신택스는 도 19에 도시된 바와 같다.

즉, 구문 1910에서 3차원 시작 정보가 선언되고, 구문 1420, 1430 및 1440에서 각각 3차원 영상 포맷 정보, 좌우 배치 정보 및 풀해상도 정보가 선언된다. 구문 710, 510, 810, 910, 1110에서 순서대로, 공간적 구간 3차원 재생 정보의 정의 여부, 시간적 구간 3차원 재생 정보의 정의 여부, 3차원 카메라 정보의 변경 여부, 저피로도 정보의 변경 여부, 좌우 불일치 정보의 정의 여부를 나타내는 지시자들이 각각 선언된다.

또한, 구문 720 및 730에서 공간적 구간 3차원 재생 정보가 선언되고, 구문 520 및 530에 시간적 구간 3차원 재생 정보가 선언될 수 있다. 구문 820 및 830에서 3차원 카메라 정보가 선언되고, 구문 920 및 930에서 저피로도 정보가 선언될 수 있다.

도 13 를 참조하여 전술된 룩업 테이블을 이용하여 표현되는 좌우 불일치 정보를 이용하는 경우, 구문 1920에서 'imbalance_info_indicator'가 '1'의 값으로 설정된다면, 구문 1930에서 좌우 불일치 정보로서 우시점 영상 화소값의 초기값 정보('first_value'), 우시점 영상 화소값의 증가량 정보('increment') 및 추후 추가될 수 있는 정보를 위한 예약 비트('reserved')가 선언될 수 있다(구문 1930).

도 20 은 본 발명의 일 실시예에 따라 전송 스트림 패킷의 적응 필드 확장 영역에 3차원 영상 재생 정보가 삽입된 데이터 구조를 도시한다.

3차원 영상 데이터스트림 생성 장치(100)의 제 2 실시예는 전송 스트림 패킷의 적응 필드 확장 영역에 3차원 영상 재생 정보를 삽입한다. 또한, 3차원 영상 데이터스트림 생성 장치(200)의 제 2 실시예는, 전송 스트림 패킷의 적응 필드 확장 영역으로부터 3차원 영상 재생 정보를 추출한다.

전송 스트림(2000)은 중 하나의 전송 스트림 패킷(2010)은 헤더 영역(2012) 및 페이로드 영역(2014)으로 구분되어 있다. 헤더 영역(2012) 중 적응 필드 영역(2024) 이하에 선택적 필드(optional fields) 영역(2036)에는, 적응 필드 확장 영역(2046)이 할당될 수 있다. 적응 필드 확장 영역은, 3 플래그(3 flags)(2044) 중 적응 필드 확장 플래그(adaptation field extension flag)에 따라 선택적으로 할당되며, 적응 필드 확장 영역(2046)에 3차원 영상 재생 정보가 삽입될 수 있다.

또한, 적응 필드 확장 영역(2046) 중 예약(Reserved) 영역(2056)에 3차원 영상 재생 정보가 삽입될 수 있다.

3차원 영상 재생 정보가 적응 필드 확장 영역(2046) 이하의 예약 영역(2056)에 삽입되기 위한 데이터스트림 구조를 위해서, 각종 정보들이 아래와 같이 설정되는 것이 바람직하다.

(i) 적응 필드 제어 정보(2022)가 '10' 또는 '11'로 설정되어야 하며,

(ii) 적응 필드 길이 정보(2032)가 '0'이 아닌 값을 가져야 한다.

(iii) 적응 필드 확장 플래그가 '1'로 설정되어야 하고,

(iv) 적응 필드 확장 길이(adaptation field extension length) 정보(2042)는 적응 필드 확장 영역(2046)에 삽입될 다른 정보들, 3차원 시작 정보 'threed_info_start_code' 및 3차원 영상 재생 정보의 총 바이트 수만큼 설정하고 있어야 한다.

(v) 예약 영역(2056)의 첫 2 바이트에는 'threed_info_start_code'가 삽입된다. 예를 들어, 아스키(ASCII) 코드 값인 경우 '3D', 헥사 코드인 경우 '0x3444' 값이 삽입되어야 한다.

(vi) 예약 영역(2056)의 'threed_info_start_code' 이후에 나머지 3차원 영상 재생 정보가 삽입되어야 한다.

제 1 실시예에서 트랜스포트 프라이빗 데이터 바이트 영역에 3차원 영상 재 생 정보를 삽입한 것과 비교하여, 위치만 변경되었을 뿐 3차원 영상 재생 정보의 구조는 동일하다.

또한, 3 플래그 영역(2044) 뒤에 존재하는 5비트의 예약 영역에는, 공간적 구간 3차원 재생 정보, 시간적 구간 3차원 재생 정보, 3차원 카메라 파라미터, 저피로도 파라미터, 좌우 불일치 파라미터를 위한 5개의 지시자들이 삽입될 수 있다.

도 21 은 본 발명의 일 실시예에 따라 기초 스트림 패킷의 확장 필드 영역에 3차원 영상 재생 정보가 삽입된 데이터 구조를 도시한다.

3차원 영상 데이터스트림 생성 장치(100)의 제 3 실시예는 기초 스트림 패킷의 확장 필드 영역에 3차원 영상 재생 정보를 삽입한다. 또한, 3차원 영상 데이터스트림 생성 장치(200)의 제 3 실시예는, 기초 스트림 패킷의 확장 필드 확장 영역으로부터 3차원 영상 재생 정보를 추출한다.

기초 스트림(2100) 중 선택적 헤더(optional PES HEADER) 영역(2110)에는 제 1 선택적 필드(optional fields) 영역(2124)이 할당되어 있다. 제 1 선택적 필드 영역(2124)에는, 또한 7 플래그(7 flags)(2122) 중 제 1 PES 확장 플래그(PES extension flag)에 따라 선택적으로 할당되는 PES 확장 필드 영역(2132)가 할당될 수 있다. 제 3 실시예에서는, PES 확장 필드 영역(2132)에 3차원 영상 재생 정보가 삽입될 수 있다.

또한, 확장 필드 영역(2132)는 제 2 선택적 필드 영역(2136)을 구비한다. 제 2 선택적 필드 영역(2136)에는, 5 플래그(5 flags) 정보 중 PES 프라이빗 데이터 플래그(PES_private_data_flag) 및 제 2 PES 확장 플래그(PES_extension_flag) 에 따라, PES 프라이빗 데이터(PES private data) 영역(2142) 및 PES 확장 필드 데이터(PES extensioin field data) 영역(2146)가 선택적으로 할당될 수 있다. PES 프라이빗 데이터 영역(2142) 및 PES 확장 필드 데이터 영역(2146)에 3차원 영상 재생 정보가 삽입될 수 있다.

이 경우, PES 프라이빗 데이터 영역(2142) 및 PES 확장 필드 데이터 영역(2146)의 각각 크기가 3차원 영상 재생 정보를 모두 수록하기는 부족한 경우가 있다. 따라서, 3차원 영상 재생 정보를 나누어 PES 프라이빗 데이터 영역(2142) 및 PES 확장 필드 데이터 영역(2146)에 분리하여 수록할 수 있다.

예를 들어, 3차원 영상 재생 정보를 3차원 영상 기본 정보 및 3차원 영상 추가 정보로 구분하여, 3차원 영상 기본 정보는 PES 프라이빗 데이터 영역(2142)에 수록되고, 3차원 영상 추가 정보는 PES 확장 필드 데이터 영역(2146)에 수록될 수 있다. 3차원 영상 기본 정보는 3차원 시작 정보, 3차원 영상 포맷 정보, 좌우 배치 정보, 풀해상도 정보, 시간적 구간 3차원 재생 정보 및 공간적 구간 3차원 재생 정보를 포함하고, 3차원 영상 추가 정보는 3차원 영상 재생 정보 중 3차원 영상 기본 정보를 제외한 나머지 정보 및 3차원 시작 정보를 포함한다.

다만, PES 확장 필드 데이터 영역(2146)에 3차원 영상 재생 정보를 모두 수록하기에 충분한 공간이 확보될 수 있다면, 3차원 영상 기본 정보 및 부가 정보 구분 없이 모든 3차원 영상 재생 정보가 PES 확장 필드 데이터 영역(2146)에 삽입될 수 있다.

3차원 영상 재생 정보가 PES 프라이빗 데이터 영역(2142) 및 PES 확장 필드 데이터 영역(2146)에 삽입되기 위한 데이터스트림 구조를 위해서, 기초 스트림 패킷 헤더 영역(2110)의 각종 정보들이 아래와 같이 설정되는 것이 바람직하다.

(i) 스트림 식별자(stream id) 정보(2111)는, 선택적 PES 헤더(2110) 영역에 정보가 실릴 수 있도록 하는 값으로 설정되어야 한다.

(ii) 제 1 PES 확장 플래그가 '1'로 설정되어야 한다.

(iii) PES 프라이빗 데이터 플래그 및 제 2 PES 확장 플래그가 각각 '1'로 설정되어야 하고,

(iv) PES 프라이빗 데이터 영역(2142)은 3차원 영상 재생 정보 중 3차원 영상 기본 정보를 수록하고,

(v) PES 확장 필드 길이(PES extension field length) 정보(2144)는 3차원 영상 부가 정보의 데이터 크기를 고려하여 설정되어야 한다.

(vi) PES 확장 필드 데이터 영역(2146)에 3차원 영상 부가 정보가 삽입되어야 한다.

스트림 식별자 정보(2111)는 기초 스트림 패킷에 삽입되어 있는 영상 컨텐츠가 3차원 영상임을 명확히 알리기 위해 이용될 수 있다. 따라서, 2차원 복호화기에서는 3차원 영상의 기초 스트림 패킷임이 인식되면 이를 일반 비디오로 인식하여 복호화할 수 있다. 3차원 복호화기에서는, 기초 스트림 패킷이 3차원 영상으로 인식되면 PES 프라이빗 데이터 영역(2142)에 수록된 정보를 판독할 준비를 할 수 있다.

기초 스트림에 대해서, 기초 스트림 패킷 헤더 및 페이로드를 구비하는 기초 스트림 패킷을 생성하는 과정을 기초 스트림 패킷화 과정(PES packetizer)이라 한다. 일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100)는, 기초 스트림 패킷의 일부분은 전송 스트림 패킷 페이로드에 담고, 전송 스트림 패킷 헤더를 더하는 전송 스트림 패킷화 과정(TS packetizer)를 거치게 된다.

일 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100)는 기초 스트림 패킷이 전송 스트림 패킷이 다중화되는 경우를 가정하고 있지만, 프로그램 스트림(Program Stream, PS) 기반의 송수신 시스템에서는 기초 스트림 패킷을 프로그램 스트림 패킷 페이로드에 담고 헤더를 더하여 프로그램 스트림 패킷을 생성하는 프로그램 스트림 패킷화 과정(PS packetizer)이 수행될 수 있다. 따라서, 제 3 실시예에 따른 3차원 영상 데이터스트림 생성 장치(100)에 의해 기초 스트림 패킷 레벨에서 3차원 영상 재생 정보가 삽입된 경우에는, 전송 스트림 기반의 수신단 뿐만 아니라 프로그램 스트림 기반의 수신단에서도 판독될 수 있다.

도 22 는 본 발명의 일 실시예에 따라 기초 스트림 패킷의 확장 필드 영역에 삽입된 3차원 영상 기본 정보를 도시한다.

전술한 바와 같이 3차원 영상 재생 정보 중 3차원 영상 기본 정보의 신택스에서는, 3차원 시작 정보(구문 1910), 3차원 영상 포맷 정보(구문 1420), 좌우 배치 정보(구문 1430), 풀해상도 정보(구문 1440), 공간적 구간 3차원 재생 정보의 정의 여부를 나타내는 지시자(구문 710), 시간적 구간 3차원 재생 정보의 정의 여부를 나타내는 지시자(구문 610), 공간적 구간 3차원 재생 정보(구문 720 및 730) 및 시간적 구간 3차원 재생 정보(구문 620 및 630)가 선언될 수 있다.

PES 확장 필드 데이터 영역(2146)에 모든 3차원 영상 재생 정보가 수록되기에 공간이 부족한 경우를 위해, 3차원 영상을 위해 필수적으로 필요한 정보 및 구간 3차원 재생 관련 정보는, PES 확장 필드 데이터 영역(2146)에 비해 우선적으로 삽입, 판독될 수 있는 PES 프라이빗 데이터 영역(2142)에 수록될 수 있다.

PES 프라이빗 데이터 영역(2142)에 3차원 영상 기본 정보를 삽입하고 남은 공간은 '0'으로 패딩될 수 있다.

도 23 은 본 발명의 일 실시예에 따라 기초 스트림 패킷의 확장 필드 영역에 삽입된 3차원 영상 추가 정보를 도시한다.

PES 확장 필드 데이터 영역(2146)에 모든 3차원 영상 재생 정보가 수록되기에 공간이 부족한 경우, PES 프라이빗 데이터 영역(2142)에는 3차원 영상 기본 정보가 수록되고, 3차원 영상 추가 정보는 PES 확장 필드 데이터 영역(2146)에 수록될 수 있다.

3차원 영상 추가 정보는 나머지 3차원 영상 재생 정보 및 3차원 시작 정보를 포함한다. 따라서, 3차원 영상 추가 정보의 신택스에서는, 3차원 시작 정보(구문 1910), 3차원 카메라 정보의 변경 여부를 나타내는 지시자(구문 810), 저피로도 정보의 변경 여부를 나타내는 지시자(구문 910), 좌우 불일치 정보의 정의 여부를 나타내는 지시자(구문 1110), 3차원 카메라 정보(구문 820 및 830), 저피로도 정보(구문 920 및 930), 및 좌우 불일치 정보(구문 1220 및 1230)가 선언될 수 있다.

도 24 는 본 발명의 일 실시예에 따라 프로그램 맵 테이블 섹션에 3차원 영상 재생 정보가 삽입된 데이터 구조를 도시한다.

3차원 영상 데이터스트림 생성 장치(100)의 제 4 실시예는 프로그램 맵 테이블 섹션에 3차원 영상 재생 정보를 삽입한다. 또한, 3차원 영상 데이터스트림 생성 장치(200)의 제 4 실시예는, 프로그램 맵 테이블 섹션으로부터 3차원 영상 재생 정보를 추출한다.

프로그램 맵 테이블 섹션(2400)은 N 루프(N Loop) 영역(2418)을 구비하며, N 루프 영역(2418) 이하의 예약 영역들(2424, 2426)에 3차원 영상 재생 정보가 삽입될 수 있다. 다만, 예약 영역들(2424, 2426)의 공간은 3차원 영상 재생 정보를 모두 수록하기에는 부족하다. 따라서, 예약 영역들(2424, 2426)에는 3차원 영상 재생 정보 중 3차원 영상 필수 정보만이 삽입된다.

예를 들어, 먼저 3차원 정보가 시작함을 알리는 3차원 시작 정보를 서술자(descriptor) 형태로 서술자(N loop descriptors) 영역(2416)에 삽입된다. 제 1 예약 영역(2424)에는 3차원 영상 포맷 카테고리 정보, 좌우 배치 정보 및 풀해상도 정보가 삽입되고, 제 2 예약 영역(2426)에는 3차원 영상 포맷 카테고리 정보에 따른 3차원 영상 포맷 정보가 삽입될 수 있다. 또한, N 루프 서술자 영역(2430)에 3차원 영상 재생 정보의 나머지 부가 정보는 3차원 재생 서술자의 형태로 삽입될 수 있다. 3차원 재생 서술자에 대해서는 도 27 내지 31을 참조하여 후술된다.

3차원 영상 재생 정보가 프로그램 맵 테이블 섹션에 삽입되기 위한 데이터스트림 구조를 위해서, 프로그램 맵 테이블 섹션의 각종 정보들이 아래와 같이 설정되는 것이 바람직하다.

(i) 프로그램 정보 길이(program info length) 정보(2414)는, 3차원 정보 시작 서술자의 크기만큼 설정되어야 한다.

(ii) 3차원 정보 시작 서술자가 서술자 영역(2416)에 삽입된다.

(iii) 스트림 타입(stream_type) 정보가 해당 부복호화기에 적합한 값으로 설정되고,

(iv) 스트림 타입(stream_type) 정보 이후의 제 1 예약 영역(2424)은 3비트이므로, 3차원 영상 포맷 카테고리 정보, 좌우 배치 정보, 풀해상도 정보를 순서대로 설정하고

(v) 엘리멘터리 패킷 식별자(elementary PID)를 대응하는 스트림의 패킷 식별자를 나타내도록 설정하고, 제 2 예약 영역(2426)에 3차원 영상 포맷 정보가 삽입된다.

(vi) 기초 스트림 정보 길이(ES_info_length) 정보는 3차원 영상 재생 정보의 부가 정보를 포함하는 3차원 재생 서술자의 길이만큼 설정되어야 하고,

(iv) N 루프 서술자 영역(2430)에 3차원 영상 재생 정보 중 부가 정보가 서술자 형식으로 삽입될 수 있다.

도 25 는 본 발명의 일 실시예에 따른 3차원 영상 포맷 카테고리 정보 별로 3차원 영상 포맷의 분류를 도시한다.

3차원 영상 데이터스트림 생성 장치(100)의 제 4 실시예 및 3차원 영상 데이터스트림 생성 장치(200)의 제 4 실시예의 3차원 영상 포맷 카테고리 정보(3d_format_category)는 3차원 영상 포맷을 카테고리 별로 분류한다. 제 1 카 테고리는 하나의 기초 스트림 구조인 경우이며, 제 2 카테고리는 멀티플 기초 스트림 구조인 경우로 분류된다.

즉, 제 1 카테고리는 3차원 영상 포맷 카테고리 정보가 '0'의 값을 갖는 경우('3d_format_category == 0')이며, 하나의 기초 스트림에 좌시점 영상 및 우시점 영상이 모두 포함되어 있는 3차원 영상 포맷들을 포함한다. 또한, 제 2 카테고리는 3차원 영상 포맷 카테고리 정보가 '1'의 값을 갖는 경우('3d_format_category == 1')이며, 복수의 기초 스트림 각각에 다른 시점 영상이 수록되어 있는 3차원 영상 포맷들을 포함한다.

예를 들어, 제 1 카테고리의 3차원 영상 포맷은, 사이드 바이 사이드(Side by side) 포맷, 탑 앤 바텀(Top and bottom) 포맷, 수직 라인 인터리브드(Vertical line interleaved) 포맷, 수평 라인 인터리브드(Horizontal line interleaved) 포맷, 격자 보드(Checker board) 포맷, 프레임 시퀀셜(Frame sequential) 포맷, 필드 시퀀셜(Field sequential) 포맷, 2차원 영상(2D video) 포맷을 포함한다.

제 2 카테고리의 3차원 영상 포맷은, 멀티플 스트림 타입의 제 1 시점(Primary view in Multiple ESes type) 포맷 및 멀티플 스트림 타입의 제 2 시점 영상(Secondary view in Multiple ESes type) 포맷을 포함할 수 있다.

따라서, 3차원 영상 포맷 정보('3d_format_type')는 3차원 영상 포맷 카테고리 정보에 따라 정의될 수 있다. 예를 들어, 3차원 영상 포맷 정보('3d_format_type') 값이 '0000'이더라도, 3차원 영상 포맷 카테고리 정보('3d_format_category')가 '0'인 경우는 3차원 영상 포맷이 사이드 바이 사이 드 포맷임을 나타내며, 3차원 영상 포맷 카테고리 정보('3d_format_category')가 '1'인 경우는 3차원 영상 포맷이 멀티플 스트림 타입의 제 1 시점 영상 포맷임을 나타낸다.

3차원 영상 포맷 카테고리 정보('3d_format_category')가 '1' 값이고 3차원 영상 포맷 정보('3d_format_type')가 '0111' 값인 경우는 기초 스트림의 컨텐츠가 2차원 비디오인 경우에 해당한다. 따라서 이 경우에는 복호화단에서 3차원 영상 재생 정보를 판독할 필요가 없다.

도 26 은 본 발명의 일 실시예에 따른 프라이빗 섹션에 3차원 영상 재생 정보가 삽입된 데이터 구조를 도시한다.

3차원 영상 데이터스트림 생성 장치(100)의 제 5 실시예는 프라이빗 섹션에 3차원 영상 재생 정보를 삽입한다. 또한, 3차원 영상 데이터스트림 생성 장치(200)의 제 5 실시예는, 프라이빗 섹션으로부터 3차원 영상 재생 정보를 추출한다.

섹션은 프로그램 통합 테이블 섹션(program_association_section), 조건부 억세스 테이블 섹션(conditional_access_section), 프로그램 맵 테이블 섹션(TS_program_map_section), 전송 스트림 서술 섹션(TS_description_section) 등을 포함한다. 이외에도 사용자가 이용할 수 있는 영역으로서 프라이빗 섹션(user private section)이 존재한다.

각각의 섹션끼리 식별될 수 있도록 섹션의 테이블 식별자(table id)가 설정될 수 있다. 프라이빗 섹션 중 3차원 영상 재생 정보가 수록된 섹션의 테이블 식별자가 소정 값으로 할당되어 있는 경우, 2차원 영상의 복호화 시스템에서는 섹션의 테이블 식별자를 확인하고 3차원 영상 재생 정보가 수록된 섹션을 무시할 수 있다. 반면에, 일 실시예에 따른 3차원 영상 데이터스트림 수신 장치(200)는 섹션의 테이블 식별자를 확인하여 3차원 영상 재생 정보가 수록된 프라이빗 섹션이 존재한다면, 3차원 영상 재생 정보를 판독할 수 있다.

섹션 신택스 지시자(section syntax indicator)에 따라, 3차원 영상 재생 정보가 삽입될 수 있는 영역이 두 군데로 결정될 수 있다.

즉, 섹션 신택스 지시자(section syntax indicator)가 '0' 값인 경우, 프라이빗 섹션 길이 정보(2614) 바로 뒤에 제 1 프라이빗 데이터 바이트(N private data bytes) 영역(2620)이 위치하며, 제 1 프라이빗 데이터 바이트 영역(2620)에 3차원 재생 정보가 삽입될 수 있다.

또한, 섹션 신택스 지시자(section syntax indicator)가 '1' 값인 경우, 프라이빗 섹션 길이 정보(2614)에 이어지는 제너릭 섹션 신택스(generic section syntax) 뒤에 제 2 프라이빗 데이터 바이트(N private data bytes) 영역(2630)이 위치하며, 제 2 프라이빗 데이터 바이트 영역(2630)에 3차원 재생 정보가 삽입될 수 있다.

두 경우 중, 3차원 영상 재생 정보가 프라이빗 섹션 중 제 1 프라이빗 데이터 바이트 영역(2620)에 삽입되기 위한 데이터스트림 구조를 위해서, 섹션(2600)의 각종 정보들이 아래와 같이 설정되는 것이 바람직하다.

(i) 먼저 프라이빗 섹션이 섹션(2600)으로서 생성되어야 하고,

(ii) 테이블 식별자(table id) 정보(2614)가 3차원 영상 재생 정보를 정의하 기 위한 소정 값으로 설정되고,

(iii) 프라이빗 섹션 길이(private section length) 정보(2614)가 뒤에 이어질 데이터의 크기를 고려하여 설정되고,

(iv) 프라이빗 데이터 바이트 영역(2620)에, 3차원 시작 정보 및 3차원 영상 재생 정보가 삽입될 수 있다.

이하 도 27 내지 31을 참조하여, 3차원 영상 데이터스트림 생성 장치(100)의 제 6 실시예에 따라 서술자 영역에 삽입된 3차원 영상 재생 정보가 상술된다. 마찬가지로, 3차원 영상 데이터스트림 수신 장치(200)의 제 6 실시예는 서술자 영역으로부터 3차원 영상 재생 정보를 추출할 수 있다.

서술자 영역은 프로그램과 프로그램 요소를 규정하기 위해 사용되며, 모든 서술자들은 서술자 태그(descriptor_tag) 및 서술자 길이(descriptor_length) 정보로 시작된다. 서술자 태그에 따라 서술자 타입이 식별되며, 일부 서술자 태그는 사용자가 이용할 수 있는 유저 프라이빗 영역으로 할당되어 있다. 서술자 영역은 프로그램 맵 테이블 섹션 내에 할당될 수 있으며, 또한 별개의 서술자 섹션으로 할당되어 있을 수 있다.

3차원 영상 데이터스트림 생성 장치(100)의 제 6 실시예 및 3차원 영상 데이터스트림 수신 장치(200)의 제 6 실시예에서는, 일부 유저 프라이빗 영역이 3차원 재생 서술자를 위한 공간으로 활용될 수 있다.

또한, 3차원 재생 서술자는, 3차원 영상 재생 정보를 5개로 분할하여, 시스템 사양 및 사용 환경에 따라 각각의 3차원 재생 서술자 포맷이 수정되거나 분할되 면서 이용될 수 있다. 3차원 재생 서술자의 5개의 서술자는, 3차원 시작 정보를 위한 3차원 정보 시작 서술자, 3차원 카메라 정보를 위한 3차원 카메라 서술자, 저피로도 정보를 위한 저피로도 서술자, 공간적 구간 3차원 재생 정보 및 시간적 구간 3차원 재생 정보를 위한 구간 3차원 재생 서술자 및 좌우 불일치 정보를 위한 좌우 불일치 서술자이다.

도 27 은 본 발명의 일 실시예에 따라 서술자 영역에 삽입된 3차원 정보 시작 서술자를 도시한다.

3차원 정보 시작 서술자(3d_start_descriptor)(2700)는, 서술자 태그(2710), 서술자 길이 정보(2720) 및 도 19 를 참조하여 전술된 3차원 시작 정보(2730)를 포함한다. 3차원 정보 시작 서술자(2700)가 최우선적으로 파싱되거나 판독되는 부분에 위치하므로, 복호화단은 3차원 재생 서술자들이 해당 섹션에 존재함을 최우선적으로 판단할 수 있다. 전술한 바와 같이 3차원 시작 정보(1910)는 헥사 코드로 '0x03444946' 또는 아스키 코드로 '3DIF'로 설정되어야 한다.

도 28 은 본 발명의 일 실시예에 따라 서술자 영역에 삽입된 3차원 카메라 서술자를 도시한다.

3차원 카메라 서술자(3d_camera_descriptor)(2800)는, 서술자 태그(2710), 서술자 길이 정보(2720) 및 도 8를 참조하여 전술된 3차원 카메라 정보(2810)를 포함한다.

도 29 는 본 발명의 일 실시예에 따라 서술자 영역에 삽입된 저피로도 서술자를 도시한다.

저피로도 서술자(3d_safety_descriptor)(2900)는, 서술자 태그(2710), 서술자 길이 정보(2720) 및 도 9를 참조하여 전술된 저피로도 정보(2910)를 포함한다.

도 30 은 본 발명의 일 실시예에 따라 서술자 영역에 삽입된 구간 3차원 서술자를 도시한다.

구간 3차원 서술자(local_3d_descriptor)(3000)는, 서술자 태그(2710), 서술자 길이 정보(2720) 및 도 6를 참조하여 전술된 공간적 구간 3차원 재생 정보 및 시간적 구간 3차원 재생 정보를 포함하는 구간 3차원 재생 정보(3010)를 포함한다.

도 31 은 본 발명의 일 실시예에 따라 서술자 영역에 삽입된 좌우 불일치 서술자를 도시한다.

좌우 불일치 서술자(imbalance_descriptor)(3100)는, 서술자 태그(2710), 서술자 길이 정보(2720) 및 도 12를 참조하여 전술된 좌우 불일치 정보(3110)를 포함한다.

도 32 는 본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 전송 방법의 흐름도를 도시한다.

단계 3210에서, 3차원 영상의 부호화된 비트열을 포함하는 기초 스트림이 생성된다. 3차원 영상은 부분적으로 3차원 영상 또는 2차원 영상이 섞여 있는 형태일 수 있다. 3차원 영상 포맷은 한 프레임에 좌시점 영상 및 우시점 영상이 모든 포함되어 있는 포맷도 있고, 서로 다른 시점 영상이 서로 다른 프레임으로 배치된 포맷일 수 있다. 또한, 서로 다른 시점 영상은 각각 서로 다른 기초 스트림으로 구성될 수 있다.

단계 3220에서, 기초 스트림이 패킷화되어, 적어도 하나의 기초 스트림 패킷이 생성된다. 기초 스트림 패킷은 헤더 영역 및 페이로드 영역으로 구분될 수 있으며, 헤더 영역에 3차원 영상 재생 정보가 삽입될 수 있다. 기초 스트림 패킷의 헤더 영역 중 확장 필드 영역에 3차원 영상 재생 정보가 삽입될 수 있다.

단계 3230에서, 3차원 영상의 프로그램 관련 정보가 다중화되어 적어도 하나의 섹션이 생성된다. 섹션은, 프로그램 통합 테이블 섹션, 프로그램 맵 테이블 섹션, 조건부 억세스 테이블 섹션, 서술 섹션, 사용자 프라이빗 섹션 등을 포함할 수 있다. 섹션 중 프로그램 맵 테이블 섹션 또는 프라이빗 섹션에 3차원 영상 재생 정보가 삽입될 수 있다.

단계 3240에서, 적어도 하나의 섹션 및 적어도 하나의 기초 스트림 패킷 중 각각에 대한 적어도 하나의 전송 스트림 패킷이 생성된다. 전송 스트림 패킷은 188 바이트의 패킷이며 4바이트의 헤더 영역과 184바이트의 페이로드 영역으로 구분될 수 있다. 헤더 영역 중 적응 필드 영역, 적응 필드 확장 영역 등에 3차원 영상 재생 정보가 삽입될 수 있다.

즉, 기초 스트림 패킷, 전송 스트림 패킷 및 섹션 중 어느 하나에, 3차원 영상의 재생에 필요한 3차원 영상 재생 정보가 삽입된다. 3차원 영상 재생 정보는 3차원 영상 포맷에 관한 정보, 좌시점 영상 및 우시점 영상의 배치 순서를 나타내는 정보, 좌시점 영상 및 우시점 영상이 원래 해상도를 유지하면 3차원 영상으로 구성되는지 여부를 나타내는 정보, 공간적으로 구간 3차원 재생이 필요한 영상에 관한 정보, 시간적으로 구간 3차원 재생이 필요한 영상에 관한 정보, 3차원 카메라 시스 템에 대한 정보, 저피로도 작업을 위해 필요한 정보, 좌시점 영상 및 우시점 영상의 불일치 모델에 관한 정보 등을 포함할 수 있다.

단계 3250에서, 생성된 전송 스트림 패킷이 다중화되어 전송 스트림이 생성된다.

일 실시예에서는 전송 스트림 기반의 시스템을 예로 들어 기초 스트림을 패킷화하여 전송 스트림으로 다중화되지만, 프로그램 스트림 기반의 시스템이라면 기초 스트림이 패킷화되어 프로그램 스트림으로 다중화될 수 있다.

소정 영상 통신 규격에 따르는 전송 스트림 시스템에서, 기초 스트림 패킷, 전송 스트림 패킷 또는 섹션 내에 이미 할당되어 있는 여유 공간을 이용하여 3차원 영상 재생 정보가 삽입될 수 있으므로, 기존 영상 통신 규격에 따르는 전송 스트림 시스템에서도 시스템의 큰 변경 없이 일 실시예에 따른 3차원 영상 데이터스트림 생성 방법이 적용될 수 있다. 또한, 추가적인 전송 채널, 정보 저장 공간의 할당 없이도 3차원 영상 재생 정보가 제공될 수 있다.

도 33 은 본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 수신 방법의 흐름도를 도시한다. 일 실시예에서는 전송 스트림 기반의 시스템을 예로 들어, 전송 스트림을 수신하여 기초 스트림으로 역다중화하고 있지만, 프로그램 스트림 기반의 시스템이라면 프로그램 스트림을 수신하여 기초 스트림으로 역다중화될 수 있다.

단계 3310에서, 수신된 전송 스트림이 역다중화되어 적어도 하나의 전송 스트림 패킷이 분리된다. 전송 스트림이 188바이트 크기의 전송 스트림 패킷으로 역 다중화된다.

단계 3320에서, 적어도 하나의 전송 스트림 패킷이 역패킷화되어 적어도 하나의 기초 스트림 패킷 및 적어도 하나의 섹션이 복원된다.

단계 3330에서, 적어도 하나의 전송 스트림 패킷, 적어도 하나의 기초 스트림 패킷 및 적어도 하나의 섹션 중 어느 하나로부터 3차원 영상의 재생에 필요한 3차원 영상 재생 정보가 추출된다.

전송 스트림 패킷의 헤더 영역의 적응 필드 영역 또는 적응 필드 확장 영역으로부터 3차원 영상 재생 정보가 추출될 수 있다. 기초 스트림 패킷의 확장 필드 영역으로부터 3차원 영상 재상 정보가 추출될 수 있다. 섹션 중 프로그램 맵 테이블 섹션 또는 프라이빗 섹션으로부터 3차원 영상 재생 정보가 추출될 수 있다.

단계 3340에서, 적어도 하나의 기초 스트림 패킷이 역패킷화되어 기초 스트림이 복원된다.

단계 3350에서, 기초 스트림의 데이터가 복호화하여 3차원 영상이 복원된다. 복원된 3차원 영상은, 앞서 추출된 3차원 영상 재생 정보를 이용하여 3차원 재생 방식으로 재생될 수 있다.

일 실시예에 따른 3차원 영상 데이터스트림 수신 방법에 의해, 3차원 재생 시스템에서 인식 가능한 3차원 영상 재생 정보가 추출되므로, 3차원 영상의 입체감이 보장되면서도, 3차원 영상의 시청에 의한 피로감이 감소된 3차원 컨텐츠 방송 서비스가 제공될 수 있다. 또한 기존의 2차원 영상 시스템에서도 사용되는 기존의 데이터 구조를 벗어나지 않으므로, 기존에 사용되는 시스템과의 호환성도 유지될 수 있다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 13 은 본 발명의 일 실시예에 따른 좌우 불일치 정보의 또 다른 예를 도 시한다.

도 15b 는 본 발명의 일 실시예에 따른 3차원 영상 재생 정보를 생성하는 3차원 영상 전송 장치의 블록도를 도시한다.

도 16b 은 전송 스트림 시스템을 대상으로 하는 복호화기 TS-STD(Transport Stream System Target Decoder)의 블록도를 도시한다.

도 19 은 본 발명의 일 실시예에 따라 전송 스트림 패킷의 적응 필드 영역에 삽입되는 3차원 영상 재생 정보를 도시한다.

도 33 은 본 발명의 일 실시예에 따른 3차원 영상 데이터스트림 수신 방법의 흐름도를 도시한다.

Claims

3차원 영상의 부호화된 비트열을 포함하는 기초 스트림을 생성하는 단계;

상기 기초 스트림을 패킷화하여 적어도 하나의 기초 스트림 패킷을 생성하는 단계;

상기 3차원 영상의 프로그램 관련 정보를 다중화하여 적어도 하나의 섹션을 생성하는 단계;

상기 적어도 하나의 섹션 및 상기 적어도 하나의 기초 스트림 패킷 중 각각에 대한 적어도 하나의 전송 스트림 패킷을 생성하는 단계; 및

상기 생성된 전송 스트림 패킷을 다중화하여 전송 스트림을 생성하는 단계를 포함하고,

상기 적어도 하나의 기초 스트림 패킷, 상기 적어도 하나의 전송 스트림 패킷 및 상기 적어도 하나의 섹션 중 어느 하나에, 상기 3차원 영상의 재생에 필요한 3차원 영상 재생 정보가 삽입되는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 1 항에 있어서, 상기 3차원 영상 데이터스트림 생성 방법은,

상기 전송 스트림을 전송하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 1 항에 있어서, 상기 3차원 영상 데이터스트림 생성 방법은,

상기 전송 스트림을 저장하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 1 항에 있어서,

상기 3차원 영상 재생 정보는, 상기 적어도 하나의 기초 스트림 패킷, 상기 적어도 하나의 전송 스트림 패킷 및 상기 적어도 하나의 섹션 중 어느 하나의 정보 삽입을 위해 할당되어 있는 기정 영역에 저장되는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 1 항에 있어서, 상기 전송 스트림 패킷 생성 단계는,

상기 적어도 하나의 전송 스트림 패킷 중 소정 전송 스트림 패킷의 적응 필드(adaptation field) 영역에 상기 3차원 영상 재생 정보를 삽입하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 5 항에 있어서, 상기 3차원 영상 재생 정보 삽입 단계는,

상기 적응 필드 영역의 프라이빗 데이터 바이트(private data byte) 영역에 상기 3차원 영상 재생 정보를 삽입하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 6 항에 있어서,

상기 3차원 영상 재생 정보 중 상기 3차원 영상 재생 정보의 정의 여부를 나타내는 지시자(indicator) 정보는, 상기 적응 필드 영역의 적응 필드 확장 영역의 제 1 예약 영역에 삽입되는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 5 항에 있어서, 상기 3차원 영상 재생 정보 삽입 단계는,

상기 적응 필드 영역의 적응 필드 확장 영역의 제 1 예약 영역에 상기 3차원 영상 재생 정보를 삽입하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 1 항에 있어서, 상기 기초 스트림 패킷 생성 단계는,

상기 적어도 하나의 기초 스트림 패킷 중 소정 기초 스트림 패킷의 확장 필드 영역에 상기 3차원 영상 재생 정보를 삽입하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 9 항에 있어서, 상기 3차원 영상 재생 정보 삽입 단계는

상기 확장 필드 영역의 프라이빗 데이터 영역의 제 2 예약 영역 및 상기 확장 필드 영역의 제 3 예약 영역에 상기 3차원 영상 재생 정보를 삽입하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 10 항에 있어서,

상기 3차원 영상 재생 정보 중 상기 3차원 영상 재생 정보의 시작을 나타내는 정보, 3차원 영상 포맷 정보, 좌우 배치 정보, 풀해상도 정보, 시간적 구간 3차원 재생 정보 및 공간적 구간 3차원 재생 정보는 상기 프라이빗 데이터 영역의 제 2 예약 영역에 삽입되고, 상기 3차원 영상 재생 정보 중 나머지 정보는 상기 확장 필드 영역의 제 3 예약 영역에 삽입되는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 1 항에 있어서, 상기 전송 스트림 패킷 생성 단계는,

상기 적어도 하나의 섹션 중 프로그램 맵 테이블 섹션(program map table section)에 상기 3차원 영상 재생 정보를 삽입하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 12 항에 있어서, 상기 3차원 영상 재생 정보 삽입 단계는,

상기 프로그램 맵 테이블 섹션의 스트림 타입 정보 영역의 제 4 예약 영역에 상기 3차원 영상 재생 정보 중 좌우 배치 정보를 삽입하고, 상기 프로그램 맵 테이블 섹션의 기초 패킷 식별자 정보 영역의 제 5 예약 영역에 상기 3차원 영상 재생 정보 중 3차원 영상 포맷 정보를 삽입하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 13 항에 있어서, 상기 3차원 영상 재생 정보 삽입 단계는,

상기 제 4 예약 영역에, 상기 3차원 영상 재생 정보 중 상기 3차원 영상을 구성하는 좌시점 영상 및 우시점 영상의 해상도를 나타내는 풀해상도 정보를 더 삽입하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 13 항에 있어서,

상기 3차원 영상 포맷 정보는 복수 개의 기초 스트림에 의한 포맷인지 여부에 따라 분류되는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 13 항에 있어서, 상기 3차원 영상 재생 정보 삽입 단계는,

상기 프로그램 맵 테이블 섹션의 루프 서술자(loop descriptors) 영역에 상기 3차원 영상 재생 정보 중 상기 3차원 영상 포맷 정보, 상기 좌우 배치 정보 및풀해상도 정보를 제외한 나머지 정보를 삽입하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 1 항에 있어서, 상기 전송 스트림 패킷 생성 단계는,

상기 섹션 중 프라이빗 섹션(private section)을 생성하는 단계; 및

상기 프라이빗 섹션에 상기 3차원 영상 재생 정보를 삽입하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 17 항에 있어서, 상기 3차원 영상 재생 정보 삽입 단계는,

상기 프라이빗 섹션의 프라이빗 데이터 바이트 영역에 상기 3차원 영상 재생 정보를 삽입하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 1 항에 있어서, 상기 전송 스트림 패킷 생성 단계는,

상기 3차원 영상 재생 정보를 포함하는 적어도 하나의 3차원 재생 서술자를 생성하는 단계; 및

프로그램 맵 테이블 섹션의 서술자(descriptor) 영역에 상기 3차원 재생 서술자를 삽입하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 19 항에 있어서,

상기 3차원 재생 서술자는, 상기 3차원 재생 서술자가 존재함을 나타내는 3차원 정보 시작 서술자를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 20 항에 있어서,

상기 3차원 재생 서술자는, 3차원 카메라 서술자, 저피로도 서술자, 구간 3차원 재생 서술자 및 좌우 불일치 서술자 중 적어도 하나를 더 포함하는 것을 특징 으로 하는 3차원 영상 데이터스트림 생성 방법.
제 1 항에 있어서,

상기 3차원 영상 재생 정보는, 상기 3차원 영상 재생 정보가 시작함을 알리는 3차원 시작 정보를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 1 항에 있어서,

상기 3차원 영상 재생 정보는, 상기 3차원 영상의 좌시점 영상 및 우시점 영상의 구성 방식을 나타내는 3차원 영상 포맷 정보, 상기 좌시점 영상 및 상기 우시점 영상의 배치 순서를 나타내는 좌우 배치 정보 및 상기 3차원 영상을 구성하는 상기 좌시점 영상 및 상기 우시점 영상의 해상도를 나타내는 풀해상도 정보를 포함하는 필수 정보를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 23 항에 있어서,

상기 3차원 영상 재생 정보는, 상기 3차원 영상의 원활한 재생을 위해 필요한 정보인 부가 정보를 더 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 24 항에 있어서,

상기 부가 정보는, 상기 전체 영상 데이터 중 3차원으로 재생되는 시간적 구간 또는 공간적 구간을 나타내는 구간 3차원 재생 정보, 상기 3차원 영상을 획득한 카메라에 관한 3차원 카메라 정보, 3차원 영상 재생에 의해 발생하는 시청 위화감을 완화하기 위한 저피로도 정보 및 상기 좌시점 영상 및 상기 우시점 영상의 불일치 상태를 나타내는 좌우 불일치 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 25 항에 있어서,

상기 좌우 불일치 정보는, 상기 좌시점 영상 화소값 및 상기 우시점 영상 화소값 간의 오프셋, 상기 좌시점 영상 화소값 및 상기 우시점 영상 화소값 간의 선형 함수, 상기 좌시점 영상 화소값 및 상기 우시점 영상 화소값 간의 룩업 테이블(Look-up table) 중 하나를 이용하여 표현되는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
제 25 항에 있어서,

상기 부가 정보는 상기 부가 정보의 정의 여부를 나타내는 지시자(indicator) 정보를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 방법.
수신된 전송 스트림을 역다중화하여 적어도 하나의 전송 스트림 패킷을 분리하는 단계;

상기 적어도 하나의 전송 스트림 패킷을 역패킷화하여 적어도 하나의 기초 스트림 패킷 및 적어도 하나의 섹션을 복원하는 단계;

상기 적어도 하나의 기초 스트림 패킷을 역패킷화하여 기초 스트림을 복원하는 단계;

상기 적어도 하나의 전송 스트림 패킷, 상기 적어도 하나의 기초 스트림 패킷 및 상기 적어도 하나의 섹션 중 어느 하나로부터 3차원 영상의 재생에 필요한 3차원 영상 재생 정보를 추출하는 단계; 및

상기 기초 스트림의 데이터를 복호화하여 3차원 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 28 항에 있어서, 상기 3차원 영상 데이터스트림 수신 방법은,

상기 복원된 3차원 영상을 상기 3차원 영상 재생 정보를 이용하여 재생하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 28 항에 있어서, 상기 3차원 영상 재생 정보 추출 단계는,

상기 적어도 하나의 기초 스트림 패킷, 상기 적어도 하나의 전송 스트림 패킷 및 상기 적어도 하나의 섹션 중 어느 하나의 정보 삽입을 위해 할당되어 있는 기정 영역으로부터 상기 3차원 영상 재생 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 28 항에 있어서, 상기 3차원 영상 재생 정보 추출 단계는,

상기 적어도 하나의 전송 스트림 패킷 중 소정 전송 스트림 패킷의 적응 필드 영역으로부터 상기 3차원 영상 재생 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 31 항에 있어서, 상기 3차원 영상 재생 정보 추출 단계는,

상기 적응 필드 영역의 프라이빗 데이터 바이트 영역으로부터 상기 3차원 영상 재생 정보를 추출하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 32 항에 있어서, 상기 3차원 영상 재생 정보 추출 단계는,

상기 적응 필드 영역의 적응 필드 확장 영역의 제 1 예약 영역으로부터, 상기 3차원 영상 재생 정보 중 상기 3차원 영상 재생 정보의 정의 여부를 나타내는 지시자 정보를 추출하는 것을 특징으로 하는 3차원 영상 데이터 스트림 수신 방법.
제 32 항에 있어서, 상기 3차원 영상 재생 정보 추출 단계는,

상기 적응 필드 영역의 적응 필드 확장 영역의 제 1 예약 영역으로부터, 상기 3차원 영상 재생 정보를 추출하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 28 항에 있어서, 상기 3차원 영상 재생 정보 추출 단계는,

상기 적어도 하나의 기초 스트림 패킷 중 소정 기초 스트림 패킷의 확장 필드 영역으로부터 상기 3차원 영상 재생 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 35 항에 있어서, 상기 3차원 영상 재생 정보 추출 단계는,

상기 확장 필드 영역의 프라이빗 데이터 영역의 제 2 예약 영역 및 상기 확장 필드 영역의 제 3 예약 영역으로부터 상기 3차원 영상 재생 정보를 추출하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 36 항에 있어서,

상기 3차원 영상 재생 정보 중 상기 3차원 영상 재생 정보의 시작을 나타내는 정보, 3차원 영상 포맷 정보, 좌우 배치 정보, 풀해상도 정보, 시간적 구간 3차원 재생 정보 및 공간적 구간 3차원 재생 정보는 상기 프라이빗 데이터 영역의 제 2 예약 영역으로부터 추출되고,

상기 3차원 영상 재생 정보 중 나머지 정보는 상기 확장 필드 영역의 제 3 예약 영역으로부터 추출되는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 28 항에 있어서, 상기 3차원 영상 재생 정보 추출 단계는,

상기 적어도 하나의 섹션 중 프로그램 맵 테이블 섹션으로부터 상기 3차원 영상 재생 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 38 항에 있어서, 상기 3차원 영상 재생 정보 추출 단계는,

상기 프로그램 맵 테이블 섹션의 스트림 타입 정보 영역의 제 4 예약 영역으로부터 상기 3차원 영상 재생 정보 중 좌우 배치 정보를 추출하고, 상기 프로그램 맵 테이블 섹션의 기초 패킷 식별자 정보 영역의 제 5 예약 영역으로부터 상기 3차원 영상 재생 정보 중 3차원 영상 포맷 정보를 추출하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 39 항에 있어서, 상기 3차원 영상 재생 정보 추출 단계는,

상기 제 4 예약 영역으로부터 상기 3차원 영상 재생 정보 중 상기 3차원 영상을 구성하는 좌시점 영상 및 우시점 영상의 해상도를 나타내는 풀해상도 정보를 더 추출하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 39 항에 있어서, 상기 3차원 영상 재생 정보 추출 단계는,

상기 3차원 영상 포맷 정보는 복수 개의 기초 스트림에 의한 포맷인지 여부에 따라 분류되는 것을 특징으로 3차원 영상 데이터스트림 수신 방법.
제 39 항에 있어서, 상기 3차원 영상 재생 정보 추출 단계는,

상기 프로그램 맵 테이블 섹션의 루프 서술자 영역으로부터, 상기 3차원 영상 재생 정보 중 상기 3차원 영상 포맷 정보, 상기 좌우 배치 정보 및 풀해상도 정보를 제외한 나머지 정보를 추출하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 28 항에 있어서, 상기 3차원 영상 재생 정보 추출 단계는,

상기 적어도 하나의 섹션 중 프라이빗 섹션으로부터 상기 3차원 영상 재생 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 43 항에 있어서, 상기 3차원 영상 재생 정보 추출 단계는,

상기 프라이빗 섹션의 프라이빗 데이터 바이트 영역으로부터 상기 3차원 영상 재생 정보를 추출하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 28 항에 있어서, 상기 3차원 영상 재생 정보 추출 단계는,

서술자 영역으로부터, 상기 3차원 영상 재생 정보를 포함하는 적어도 하나의 3차원 재생 서술자를 추출하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 45 항에 있어서,

상기 3차원 재생 서술자는, 상기 3차원 재생 서술자가 존재함을 나타내는 3차원 시작 서술자를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 45 항에 있어서,

상기 3차원 재생 서술자는, 3차원 카메라 서술자, 저피로도 서술자, 구간 3차원 재생 서술자 및 좌우 불일치 서술자 중 적어도 하나를 더 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 28 항에 있어서, 상기 3차원 영상 재생 정보 추출 단계는,

상기 3차원 영상 재생 정보로부터 상기 3차원 영상 재생 정보가 시작함을 알리는 3차원 시작 정보를 추출하고, 상기 3차원 시작 정보에 기초하여 상기 3차원 영상 재생 정보를 추출하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 28 항에 있어서, 상기 3차원 영상 재생 정보 추출 단계는,

상기 3차원 영상 재생 정보로부터, 상기 3차원 영상의 좌시점 영상 및 우시점 영상의 구성 방식을 나타내는 3차원 영상 포맷 정보, 상기 좌시점 영상 및 우시 점 영상의 배치 순서를 나타내는 좌우 배치 정보 및 상기 3차원 영상을 구성하는 좌시점 영상 및 우시점 영상의 해상도를 나타내는 풀해상도 정보를 포함하는 필수 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 49 항에 있어서, 상기 3차원 영상 재생 정보 추출 단계는,

상기 3차원 영상 재생 정보로부터, 상기 3차원 영상의 원활한 재생을 위해 필요한 정보인 부가 정보를 추출하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 50 항에 있어서,

상기 부가 정보는, 상기 전체 영상 데이터 중 3차원으로 재생되는 시간적 구간 또는 공간적 구간을 나타내는 구간 3차원 재생 정보, 상기 3차원 영상을 획득한 카메라에 관한 3차원 카메라 정보, 3차원 영상 재생에 의해 발생하는 시청 위화감을 완화하기 위한 저피로도 정보 및 상기 좌시점 영상 및 상기 우시점 영상의 불일치 상태를 나타내는 좌우 불일치 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 51 항에 있어서,

상기 좌우 불일치 정보는, 상기 좌시점 영상 화소값 및 상기 우시점 영상 화 소값 간의 오프셋, 상기 좌시점 영상 화소값 및 상기 우시점 영상 화소값 간의 선형 함수, 상기 좌시점 영상 화소값 및 상기 우시점 영상 화소값 간의 룩업 테이블 중 하나를 이용하여 표현되는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
제 51 항에 있어서,

상기 부가 정보는, 상기 부가 정보가 정의되어 있는지 여부를 나타내는 지시자 정보를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 방법.
3차원 영상의 부호화된 비트열을 포함하는 기초 스트림을 생성하는 기초 스트림 생성부;

상기 기초 스트림을 패킷화하여 적어도 하나의 기초 스트림 패킷을 생성하는 기초 스트림 패킷 생성부;

상기 3차원 영상의 프로그램 관련 정보를 다중화하여 적어도 하나의 섹션을 생성하는 섹션 생성부;

상기 적어도 하나의 섹션 및 상기 적어도 하나의 기초 스트림 패킷 중 각각에 대한 적어도 하나의 전송 스트림 패킷을 생성하는 전송 스트림 패킷 생성부; 및

상기 생성된 전송 스트림 패킷을 다중화하여 전송 스트림을 생성하는 전송 스트림 생성부를 포함하고,

상기 적어도 하나의 기초 스트림 패킷, 상기 적어도 하나의 전송 스트림 패 킷 및 상기 적어도 하나의 섹션 중 어느 하나에, 상기 3차원 영상의 재생에 필요한 3차원 영상 재생 정보가 삽입되는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 장치.
제 54 항에 있어서, 상기 3차원 영상 데이터스트림 생성 장치는,

상기 전송 스트림을 전송하는 전송 스트림 전송부를 더 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 생성 장치.
수신된 전송 스트림을 역다중화하여 적어도 하나의 전송 스트림 패킷을 분리하는 전송 스트림 역다중화부;

상기 적어도 하나의 전송 스트림 패킷을 역패킷화하여 적어도 하나의 기초 스트림 패킷 및 적어도 하나의 섹션을 복원하는 전송 스트림 패킷 역패킷화부;

상기 적어도 하나의 기초 스트림 패킷을 역패킷화하여 기초 스트림을 복원하는 기초 스트림 패킷 역패킷화부;

상기 적어도 하나의 전송 스트림 패킷, 상기 적어도 하나의 기초 스트림 패킷 및 상기 적어도 하나의 섹션 중 어느 하나로부터 3차원 영상의 재생에 필요한 3차원 영상 재생 정보를 추출하는 3차원 영상 재생 정보 추출부; 및

상기 기초 스트림의 데이터를 복호화하여 3차원 영상을 복원하는 3차원 영상 복원부를 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 장치.
제 56 항에 있어서, 상기 3차원 영상 데이터스트림 수신 장치는,

상기 복원된 3차원 영상을 상기 3차원 영상 재생 정보를 이용하여 재생하는 3차원 영상 재생부를 더 포함하는 것을 특징으로 하는 3차원 영상 데이터스트림 수신 장치.
제 1 항 내지 제 27 항 중 어느 한 항의 3차원 영상 데이터스트림 생성 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
제 28 항 내지 제 53 항 중 어느 한 항의 3차원 영상 데이터스트림 수신 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.