KR20110123658A - 3차원 방송 서비스 송수신 방법 및 시스템 - Google Patents

Abstract

본 발명은 3차원 방송 서비스 송수신 방법 및 시스템에 관한 것으로, 보다 상세하게는 3차원 방송 서비스를 위한 기준 영상 및 3차원 부가 영상을 디지털 방송망을 통해 실시간 혹은 비실시간으로 전송하는 방법 및 시스템에 관련된다. 본 발명에 의하면, 2차원이나 3차원 방송을 수신하는 단말들에게 원활한 방송 서비스를 제공할 수 있다.

Description

3차원 방송 서비스 송수신 방법 및 시스템{METHOD AND SYSTEM FOR TRANSMITTING/RECEIVING 3-DIMENSIONAL BROADCASTING SERVICE}

아래 실시예들은 3차원 방송 서비스 송수신 방법 및 시스템에 관한 것으로, 보다 상세하게는 3차원 방송 서비스를 위한 기준 영상 및 3차원 부가 영상을 디지털 방송망을 통해 실시간 혹은 비실시간으로 전송하는 방법 및 시스템에 관련된다.

3차원 영상은 기준 영상과 다양한 형태의 3D 부가 영상(이하, 부가 영상)으로 구성되며, 두 영상이 각각 좌우의 영상으로 변환된 후 3차원 디스플레이를 통해 재생됨으로써 시청자로 하여금 입체감을 느끼게 한다.

여기서, 기준영상은 일반적인 2차원영상과 호환되는 영상이다. 3차원 부가 영상(포맷)은 수직(수평) 1/2 우측 영상(half of vertical(horizontal) right image) 혹은 전 우측영상(full right image), 깊이(depth) 영상, 변이(disparity) 영상 등이 될 수 있다. 일 예로서, 3차원 부가 영상이 수직 1/2 우측 영상인 경우에는, 기준영상 및 3차원 부가 영상은 각각 홀(짝)라인 영상 데이터 및 짝(홀)라인 영상 데이터만을 가지는 영상으로 변환 된 후, 장면 내 같은 위치에 좌우 필드 영상을 동시에 3차원 디스플레이에서 재생한다.

이처럼 3차원 영상은 기준 영상 및 부가 영상으로 이루어지기 때문에 ATSC M/H 규격에 따라 이동형 방송 서비스를 제공하기 위해서는 기준 영상과 부가 영상의 송수신이 요구된다. 하지만 기존의 ATSC 규격, 즉 2차원 영상에 의한 방송은 단일 영상만을 주고 받는다. 따라서 2차원 방송과 호환이 되는 3차원 방송 서비스를 제공하기 위해서는 보다 효율적인 방법이 필요할 수 있다.

본 발명의 실시예에 의하면, 2차원이나 3차원 방송을 수신하는 단말들에게 원활한 방송 서비스를 제공하기 위하여, 기준 영상, 3차원 부가 영상 및 상기 영상들에 대한 시그널링 정보 중 하나 이상을 별도의 채널을 통해 다중화시켜서 상기 단말들에게 전송하거나 또는 서로 다른 세션으로 분리시켜 전송할 수 있는 3차원 방송 서비스 송수신 방법 및 시스템을 제공한다.

또한, 송신 시스템에서는 3차원 부가 영상을 파일 형태로 수신 단말들에게 미리 전송하였다가 기준 영상의 AV(Audio Video) 스트림 및 시그널링 정보를 전송하고, 수신 단말들에서는 상기 시그널링 정보를 기초로, 상기 미리 전송된 3차원 부가 영상을 상기 기준 영상의 AV 스트림에 동기화하여 함께 디스플레이할 수 있는 3차원 방송 서비스 송수신 방법 및 시스템을 제공한다.

본 발명의 일 실시예에 따른 3차원 방송 서비스 송수신 방법은 3차원 방송 서비스를 위한 기준 영상 및 3차원 부가 영상 각각을 인코딩하고, 상기 기준 영상에 대응하는 기준 영상 스트림 및 상기 3차원 부가 영상에 대응하는 부가 영상 스트림을 각각 생성하는 단계와, 상기 생성된 기준 영상 스트림 및 상기 3차원 부가 영상 스트림을 함께 방송하기 위한 시그널링 정보를 생성하는 단계와, 상기 생성된 시그널링 정보, 상기 생성된 기준 영상 스트림 및 상기 3차원 부가 영상 스트림 중 하나 이상을 서로 다른 채널을 통해 다중화시키는 단계와, 상기 다중화된 결과를 방송 서비스를 위한 분배망을 통해 수신 단말로 전송하는 단계를 포함한다.

이때, 상기 시그널링 정보를 생성하는 단계는 상기 기준 영상 스트림에 대응하는 컴포넌트를 생성하고, 상기 3차원 부가 영상 스트림에 대응하는 다른 컴포넌트를 생성하고, 상기 생성된 컴포넌트들에 대한 정보를 상기 시그널링 정보에 삽입할 수 있다.

이때, 상기 다중화시키는 단계는 상기 생성된 시그널링 정보, 및 상기 생성된 기준 영상 스트림 각각을 두 개의 채널을 통해 다중화시키고, 상기 3차원 방송 서비스 송신 방법은 상기 3차원 부가 영상을 상기 방송 서비스를 위한 다른 분배망을 통해 상기 수신 단말로 전송하는 단계를 더 포함할 수 있다.

또한, 상기 3차원 방송 서비스 송신 방법은 상기 생성된 기준 영상 스트림 및 상기 3차원 부가 영상 스트림 중 적어도 하나에 동기화 서비스 구간을 표시하는 정보들을 삽입하는 단계를 더 포함할 수 있다.

또한, 상기 동기화 서비스 구간을 표시하는 정보들은 상기 기준 영상 스트림 및 상기 3차원 부가 영상 스트림 중 적어도 하나에 일정 간격으로 삽입될 수 있다.

또한, 상기 동기화 서비스 구간을 표시하는 정보들은 상기 기준 영상 스트림 및 상기 3차원 부가 영상 스트림 중 적어도 하나에 일정 값으로 증가된 정보가 일정 간격으로 삽입될 수 있다.

또한, 상기 3차원 방송 서비스 송신 방법은 상기 기준 영상 및 상기 3D 부가 영상 간의 동기화 서비스 제어를 위한 동기화 이벤트 메시지를 상기 수신 단말에게 전송하는 단계를 더 포함할 수 있다.

본 발명의 다른 실시예에 따른 3차원 방송 서비스 수신 방법은 3차원 방송 서비스를 위한 기준 영상, 3차원 부가 영상, 시그널링 정보 중 적어도 하나 이상이 복수의 채널을 통해 다중화된 스트리밍을 다운로드하는 단계와, 상기 다운로드된 데이터를 디코딩하고, 상기 디코딩된 결과로부터 상기 시그널링 정보를 획득하는 단계와, 상기 획득된 시그널링 정보를 해석하고, 상기 해석 결과로부터 상기 기준 영상 및 3차원 부가 영상 중 적어도 하나에 대한 콤포넌트를 인식하는 단계와, 상기 인식된 콤포넌트를 기초로, 상기 기준 영상 및 상기 3차원 부가 영상 중 적어도 하나에 대한 콘텐츠 아이템을 다운로드하는 단계를 포함한다.

이때, 상기 수신 단말이 2차원 방송 수신 단말인 경우, 상기 콤포넌트를 인식하는 단계는 상기 해석 결과로부터 상기 기준 영상에 대한 콤포넌트를 인식하고, 상기 콘텐츠 아이템을 다운로드하는 단계는 상기 기준 영상에 대한 콤포넌트를 이용하여 상기 기준 영상의 콘텐츠 아이템을 다운로드할 수 있다.

또한, 상기 다중화된 스트리밍을 다운로드하는 단계는 3차원 부가 영상 및 상기 3차원 부가 영상에 대응하는 시그널링 정보 중 적어도 하나를 하나의 분배망을 통해 다운로드하고 상기 다운로드를 완료하는 단계와, 상기 3차원 부가 영상에 관련된 기준 영상의 스트리밍을 다른 분배망을 통해 다운로드하는 단계를 포함하고, 상기 3차원 방송 서비스 수신 방법은 상기 다운로드 완료된 3차원 부가 영상 및 시그널링 정보를 저장하였다가, 상기 3차원 부가 영상을 상기 시그널링 정보에 따라서, 상기 다운로드된 기준 영상에 동기화시켜디스플레이하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 실시예에 따른 3차원 방송 서비스 송신 시스템은 3차원 방송 서비스를 위한 기준 영상 및 3차원 부가 영상 각각을 인코딩하고, 상기 기준 영상에 대응하는 기준 영상 스트림 및 상기 3차원 부가 영상에 대응하는 부가 영상 스트림을 각각 생성하는 NRT 서비스 인코더와, 상기 생성된 기준 영상 스트림 및 상기 3차원 부가 영상 스트림을 함께 방송하기 위한 시그널링 정보를 생성하는 시그널링 정보 인코더와, 상기 생성된 시그널링 정보, 상기 생성된 기준 영상 스트림 및 상기 3차원 부가 영상 스트림 중 하나 이상을 서로 다른 채널을 통해 다중화시키는 방송 스트림 다중화부와, 상기 다중화된 결과를 방송 서비스를 위한 분배망을 통해 수신 단말로 전송하는 전송부를 포함한다.

본 발명의 또 다른 실시예에 따른 3차원 방송 서비스 수신 단말은 3차원 방송 서비스를 위한 기준 영상, 3차원 부가 영상, 시그널링 정보 중 적어도 하나 이상이 복수의 채널을 통해 다중화된 스트리밍을 다운로드하는 수신 처리부와, 상기 다운로드된 데이터를 디코딩하는 NRT 서비스 디코더와, 상기 디코딩된 결과로부터 상기 시그널링 정보를 획득하고, 상기 획득된 시그널링 정보를 해석하여, 상기 해석 결과로부터 상기 기준 영상 및 3차원 부가 영상 중 적어도 하나에 대한 콤포넌트를 인식하고, 상기 인식된 콤포넌트를 기초로, 상기 기준 영상 및 상기 3차원 부가 영상 중 적어도 하나에 대한 콘텐츠 아이템의 다운로드를 상기 수신 처리부에 요청하는 시그널링 정보 해석부를 포함한다.

이때, 상기 수신 단말이 2차원 방송 수신 단말인 경우, 상기 시그널링 정보 해석부는 상기 해석 결과로부터 상기 기준 영상에 대한 콤포넌트를 인식하고, 상기 기준 영상에 대한 콤포넌트에 따른 상기 기준 영상의 콘텐츠 아이템의 다운로드를 상기 수신 처리부에 요청할 수 있다.

본 발명의 실시예에 의하면, 디지털 방송의 2차원 방송과의 호환성을 보장하면서도 비실시간 혹은 실시간의 3차원 방송 서비스를 제공할 수 있다.

특히, 본 발명의 실시예에 의하면, 하나의 RF 신호로서 ATSC 시스템을 통해 고화질 영상 서비스를 제공함과 동시에, ATSC NRT 서비스 메커니즘을 통해 3차원 콘텐츠를 서비스할 수 있다. 이러한 서비스 시점은 사용자가 원하는 시점 또는 서비스 사업자가 지정하는 시점이 될 수 있다.

또한, 본 발명의 실시예에 의하면, 3D 부가영상을 파일 형태로 방송망뿐 아니라 인터넷 등을 통해 수신 단말에 미리 제공하고, 방송망을 통해서는 기준 영상을 제공함으로써, 전송대역폭 제약 조건을 최소화하면서 고품위의 서비스가 가능할 수 있다.

도 1은 본 발명의 제1 실시 예에 따른 3차원 방송 서비스 송수신 방법을 적용할 수 있는 송신 시스템의 구성을 설명하기 위한 도면.
도 2a 내지 2c는 ATSC에서 NRT 방송 서비스에서 제공할 수 있는 시그널링을 설명하기 위한 도면.
도 3은 본 발명의 제1 실시예에 따른 3차원 방송 서비스 송수신 방법에서 제공할 수 있는 시그널링을 설명하기 위한 도면.
도 4a 내지 4b는 본 발명의 제2 실시예에 따른 3차원 방송 서비스 송수신 방법에서 제공할 수 있는 다른 시그널링 정보를 설명하기 위한 도면.
도 5는 본 발명의 제3 실시예에 따른 3차원 방송 서비스 송수신 방법에서 제공할 수 있는 또 다른 시그널링 정보를 설명하기 위한 도면.
도 6은 본 발명의 제4 실시예에 따른 3차원 방송 서비스 송수신 방법에서 제공할 수 있는 또 다른 시그널링 정보를 설명하기 위한 도면.
도 7은 도 1에 도시된 수신 단말의 구성을 설명하기 위한 도면이다.
도 8 및 9는 본 발명의 제5 실시예에 따른 3차원 방송 서비스 송수신 방법에서 송신측 동작을 설명하기 위한 도면.
도 10a 내지 도 10d는 본 발명의 제5 실시예에 따른 3차원 방송 서비스 송수신 방법에서 동기화 동작을 위한 정보들을 예시한 도면.
도 11은 본 발명의 제5 실시예에 따른 3차원 방송 서비스 송수신 방법에서 수신측 동작을 설명하기 위한 도면.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 제1 실시 예에 따른 3차원 방송 서비스 송수신 방법을 적용할 수 있는 송신 시스템의 구성을 설명하기 위한 도면이다.

여기서, 상기 송신 시스템에 의해 송신되는 대상의 콘텐츠는 이미지, 동영상, 텍스트 등이 될 수 있고, 특히 동영상 파일이 포함될 수 있다. 상기 동영상 파일은 기준영상 파일 및 3D 부가영상 파일로 나눠질 수 있으며, 각각의 미리 설정된 방식으로 인코딩된다. 상기 동영상 파일은 데이터 서버(110)로부터 NRT(Non-Real-Time) 서비스 인코더(120)로 전달된다.

NRT 서비스 인코더(120)는 비실시간 전송 서비스를 위하여, 상기 동영상 파일의 기준영상 파일 및 3D 부가영상 파일 각각을 미리 정해진 데이터 방송 규격으로 인코딩한다.

예컨대, ATSC(Advanced Television System Committee)를 위한 NRT 서비스 인코더(120)는 전송 대상의 콘텐츠 파일들을 FLUTE 프로토콜로 인코딩할 수 있다.

한편, 시그널링 정보 인코더(130)는 서비스 구성 정보, 콘텐츠 관련 정보 등을 단말들에게 알려주기 위하여, SMR-MH, NRT-IT 등을 생성한다.

NRT 서비스 인코더(120)에 의해 인코딩된 결과 및 시그널링 정보 인코더(130)에 의해 생성된 시그널링 정보는 방송 스트림 다중화부(140)로 전달된다.

특히, NRT 서비스 인코더(120)에 의해 인코딩된 결과는 단일 스트림일 수 있지만, 아래에서는 일반적인 2차원 영상을 위한 단말에서 수신이 용이할 수 있도록 기준 영상 및 3D 부가영상 각각의 종류에 대응하는 패킷들을 생성하고 전달하는 것을 위주로 설명하도록 한다.

방송 스트림 다중화부(140)는 시그널링 정보 인코더(130)에서 생성된 스트림을 별도의 시그널링 채널로, 상기 NRT 서비스 인코더(120)에 의해 인코딩된 두 가지 종류의 데이터 패킷을 각각 주 데이터 채널 및 부가 데이터 채널로 다중화한다. 상기 다중화된 결과는 전송부(150)로 전달된다.

전송부(150)는 방송 스트림 다중화부(140)에 의해 다중화된 결과를 채널 인코딩, 변조 등의 과정을 수행하고, 그 결과를 방송 채널을 통해 분배망(160)으로 전송한다. 그리고, 상기 분배망(160)에 전송된 데이터 패킷은 수신 단말(170)로 전달된다.

여기서, ATSC NRT 서비스의 경우, 상기 데이터 채널은 MPEG-TS 내 IP 패킷들에 의해 형성되며, IP 주소 및 UDP 포트번호에 따라 구분될 수 있다. 또한, 시그널링 정보 인코더(130)에 의해 생성된 시그널링 정보에는 어느 콘텐츠가 어느 데이터 채널로 다중화되는 지에 대한 정보도 삽입될 수 있다.

ATSC에서 NRT 방송 서비스를 시그널링하기 위해서는 SMT-MH 섹션이 필요하다. ATSC-M/H 표준에 의하면, SMT-MH 섹션은 도 2a에 도시된 바와 같이 나타낼 수 있다.

도 2a를 참조하면, MH_service_id는 방송 서비스를 구분하기 위한 식별자이고, 하나의 방송 서비스를 구성하기 위한 콤포넌트(component)는 IP address(source_IP_address 혹은 MH_service_destination_IP_address, component_destination_IP_address) 및 component_destination_UDP_port_num에 의해 식별될 수 있다.

component_level_descriptor()는 방송 서비스에 포함된 모든 콤포넌트를 기술하기 위한 디스크립터이고, component_type별로 콤포넌트에 대한 정보들을 기술할 수 있다. 상기 component_type별로 콤포넌트에 대한 정보들은 도 2b와 같이 작성할 수 있다.

도 2b를 참조하면, 상기 콤포넌트가 FLUTE 프로토콜로 인코딩된 콤포넌트인 경우, component_type =38로 정의될 수 있으며, 상기 콤포넌트는 FLUTE 세션에 대한 정보들을 포함할 수 있다. 이러한 정보들은 예컨대, FLUTE 세션을 구분하기 위한 Transport Session Identifier (TSI) 등이 될 수 있다.

ATSC에서의 NRT 방송 서비스시, 콘텐츠에 관한 다양한 정보를 단말측에 알리기 위하여 NRT-IT (Non-Real-Time Information Table)를 시그널링 채널로 전송한다. 여기서, NRT-IT는 단말이 여러 개의 콘텐츠 아이템들을 다운로드할 수 있도록 하는 정보들(콘텐츠 아이템의 제목, 다운로드 유효시간, 콘텐츠 식별자(content_linkage) 등)를 포함한다.

이러한 NRT-IT에서, 각각의 콘텐츠 아이템(item)은 한 개의 이상의 파일로 구성될 수 있으며, 기본적으로 FLUTE 프로토콜을 사용하여 IP 스트림을 통해 단말에 다운로드될 수 있다.

NRT-IT는 도 2c과 같이 나타낼 수 있다.

도 2c를 참조하면, Table_id는 NRT_IT 테이블섹션을 식별하기 위한 인식자이고, Service_id는 표1의 MH_Service_id와 일치시킴으로써 관련 SMT-MH를 연계시킬 수 있는 정보이다. 또한, content_linkage는 NRT 서비스를 통하여 제공되는 콘텐츠 아이템을 구별하기 위한 식별자로서 ATSC에서는 NRT_IT테이블에서 정의한 정보와 FLUTE를 통해 전송되는 파일들을 연결시키는 역할을 한다. 즉, 파일 전송 프로토콜인 FLUTE에서 FDT(File Description Table)내의 content_linkage가, 상기 NRT-IT내 content_linkage와 같은 값을 가짐으로써, NRT_IT 내에 기술되는 콘텐츠들과 FLUTE 프로토콜을 통해 전송되는 파일들이 연관성을 가질 수 있다. content_descriptor는 각 콘텐츠들에 대한 정보를 설명하기 위한 content 레벨의 기술자들을 정의할 수 있다.

한편, 기준영상과 3D 부가영상에 관련된 콘텐츠 아이템 모두를 NRT 콘텐츠 전송 메커니즘을 통해 비실시간으로 제공하는 경우, 기존의 2차원 방송 서비스를 수신하기 위한 단말(이하, '2차원 방송 수신 단말'이라 칭함)은 단말 메모리 용량 및 콘텐츠 다운로드 시간 등의 절감을 위해, 기준영상 관련 콘텐츠만 다운로드 받는 것이 유리하며, 이를 위한 메커니즘이 필요할 수 있다.

다시 말해서, 방송 서비스를 제공받는 대상의 단말이 2차원 방송 수신 단말이라면, 상기 2차원 방송 수신 단말은 송신 시스템으로부터 제공되는 시그널링 정보를 기초로, 기준 영상에 대한 정보를 인식하여 상기 기준 영상에 관련된 콘텐츠 아이템만 선택적으로 다운로딩할 필요가 있다.

도 3은 본 발명의 제1 실시예에 따른 3차원 방송 서비스 송수신 방법에서 제공할 수 있는 시그널링을 설명한다.

도 3을 참조하면, 상기 다른 시그널링을 위한 SMT-MH 섹션에는 서비스 및 콤포넌트들의 구성 정보가 기술될 수 있다.

2차원 방송 수신 단말이 기준영상 파일을 선택하여 용이하게 받을 수 있도록, 송신 시스템은 기준 영상 및 3차원 부가 영상 각각에 대한 별개의 콤포넌트들을 시그널링 정보로서 구성할 수 있다.

상기 별개의 콤포넌트들은 IP 주소(IP(dst)) 및 Port 번호(Port)에(각각 표 1의 component_destination_IP_address 및 component_destination_UDP_port_num에 해당) 의해 서로 다른 채널을 형성한다. 그리고, 상기 별개의 콤포넌트들은 표1 및 표2의 component_level_descriptor()를 통해 서로 다른 FLUTE 세션정보(Session Info.)(예컨대 기준영상: TSI=T1, 3D 부가영상: TSI=T2)를 기술할 수 있다.

특히, 3D 부가영상을 구성하기 위한 콤포넌트(component#2)(220)는 component_level_descriptor()를 통해 component_type이 3D 부가영상임을 정의(component_type = 3D_auxiliary_component(예컨대, 43))할 수 있다. 또한, 3D 부가영상을 구성하기 위한 콤포넌트(220)는 3D 부가영상에 대한 다양한 정보들(인코딩 포맷, 좌/우 구분, 대응되는 기준영상 지시자, 3D 부가영상포맷 등)를 기술할 수 있다.

결과적으로, 2차원 방송 수신 단말은 기준영상에 해당하는 component_type(예컨대, Media types)을 인식하는 반면, 3D_auxiliary_component을 인식못함으로써, 기준영상에 해당되는 콤포넌트(component#1)(210)만을 쉽게 선택하여 다운로딩을 요청할 수 있다. 반대로 3차원 방송 수신 단말은 기준영상에 해당하는 component_type 및 3D 부가 영상에 해당하는 3D_auxiliary_component를 모두 인식하여, 기준 영상 및 3D 부가 영상에 해당하는 콘텐츠를 모두 제공받을 수 있다.

나아가, 상기 송신 단말은 2차원 방송 수신 단말이 3D 부가 영상을 인식하지 못하게 하기 위한 방법으로, 다른 실시예로서, 3D 부가영상이 전송되는 세션의 FULTE FDT(TS1=T1)에 별도의 속성값들을 추가할 수 있다.

즉, 도 3에 도시된 바와 같이, 다수의 FULTE FDT를 제공하고, 기준 영상과 3D 부가 영상에 대한 정보를 서로 다른 FULTE FDT에 삽입할 수 있다. 따라서, 2차원 방송 수신 단말은 기준 영상에 대한 정보가 삽입된 FULTE FDT를 인식하고, 3D 부가 영상에 대한 정보가 삽입된 FULTE FDT를 인식하지 않을 수 있다.

한편, NRT-IT는 콘텐츠 아이템에 대한 정보를 기술하기 위한 테이블로서, Service ID를 통해 SMT-MH와 연계된다. 여기서, 상기 NRT-IT는 본 발명의 제1 실시예에 따라 contents Linkage(id1)에 의해 식별되는 하나의 콘텐츠 아이템(content #1)은 기준영상과 3D 부가영상을 위한 두 종류의 파일로 구성할 수 있다.

기준영상과 3D 부가영상은 각각 서로 다른 FLUTE 세션(예컨대, 기준영상은 TSI=T1, 3D 부가영상은 TSI=T2)을 통해 전송된다. 각각의 FLUTE 세션은 FDT(File Delivery Table)를 통해 포함된 파일들에 대한 정보를 기술한다.

즉, 본 발명의 제1 실시예에서는, 기준영상과 3D 부가영상이 서로 다른 FLUTE 세션을 통해 전송되기 때문에, 각각의 FLUTE 세션을 위한 서로 다른 FDT가 필요하게 된다. 그리고, 상기 서로 다른 FDT는 두 종류(기준영상과 3D 부가영상)의 파일들에 대한 정보를 각각 기술한다. 예컨대, 제1 FDT는 기준 영상을 위한 FDT로서, TOI(Transport Object Identifier)=6, Content-Linkage=id1, contents-location = fileURI-1을 가지고, 제2 FDT는 3D 부가영상을 위한 FDT로서, TOI=8, Content-Linkage=id1, contents-location = fileURI-3을 가질 수 있다. 여기서, Content-Linkage=id2는 단말에서 보여질 아이콘을 위한 콘텐츠 아이템이다.

도 4a는 본 발명의 제2 실시예에 따른 3차원 방송 서비스 송수신 방법에서 제공할 수 있는 다른 시그널링을 설명하기 위한 도면이다.

상기 제2 실시예에서는 제1 실시예와는 달리, 하나의 서비스 아이디(300)에대하여, 기준 영상 및 3차원 부가 영상을 위한 콘텐츠 아이템을 각각 지정할 수 있다.

즉, 3차원 방송 서비스를 수신하기 위한 단말(이하, '3차원 방송 수신 단말'라 칭함)에서는 두 개의 콘텐츠 아이템들(Content-Linkage=id1, Content-Linkage=id3)을 각각 사용자에게 보여주기보다 대표적인 것 하나만 보여줄 수 있다.

따라서, 상기 제2 실시예에서는 도 4b에 도시된 바와 같이 NRT-IT를 코딩할 수 있다.

도 4b를 참조하면, NRT-IT는 3D 부가영상을 위한 콘텐츠 아이템(Content #2)에 component_level_descriptor()를 통해 콘텐츠에 관한 정보를 기술할 수 있다.

특히, 상기 제2 실시예에서는 component_type이 3D 부가영상임을 정의하고(component_type = 3D_auxiliary_component(예컨대, 43)), 3D 부가영상에 대한 다양한 정보(인코딩 포맷, 좌/우 구분, 대응되는 기준영상 지시자, 3D 부가영상포맷 등)를 기술할 수 있다.

따라서, 상기 제2 실시예에서 송신 시스템은 기준 영상을 전송하기 위한 FDT 및 3차원 영상을 전송하기 위한 FDT를 이용하며, 각각의 FDT를 통해 기준 영상 및 3차원 영상의 콘텐츠 아이템들을 수신 단말에게 제공할 수 있다.

도 5a는 본 발명의 제3 실시예에 따른 3차원 방송 서비스 송수신 방법에서 제공할 수 있는 또 다른 시그널링 정보를 설명하기 위한 도면이다.

상기 제3 실시예에서, 기준영상 및 3D 부가영상은 하나의 서비스 아이디(400)에 대하여 단일 콤포넌트(410)로 전송될 수 있으며, NRT-IT에서는 기준영상에 대한 콘텐츠 아이템(Content #1) 및 3D 부가영상을 위한 콘텐츠 아이템(Content #2)을 별도로 지정할 수 있다. 그리고, 하나의 FLUTE 세션은 하나가 존재하며, 이에 따라 하나의 FDT가 필요할 수 있다.

3D 부가영상에 해당하는 콘텐츠 아이템(content #2)에는 capabilities descriptor 및 3D_auxiliary_descriptor를 추가한다. 여기서 capabilities descriptor는 ATSC NRT 규격에 이미 제정되어 있는 것으로서, NRT 서비스, 콘텐츠 아이템들의 성능에 관한 것(다운로드 프로토콜, FEC, 압축 알고리듬, media type 등)들을 알린다.

상기 제3 실시예에서는 3D 부가영상에 해당하는 콘텐츠 아이템의 capabilities descriptor내에 정의되는 Capability Codes를 3D 부가영상 전용의 코드값 (예컨대, 0x4D)으로 지정함으로써, 일반적인 2차원 수신기가 이를 해석하는 과정에서 이 콘텐츠 아이템은 디코딩 하지 못하는 것으로 판단할 수 있다.

또한, 상기 송신 시스템은 3D_auxiliary_descriptor를 콘텐츠 아이템(content #2)에 추가하여 3D 부가영상에 대한 다양한 정보(인코딩 포맷, 좌/우 구분, 대응되는 기준영상 지시자, 3D 부가영상포맷 등)를 기술할 수 있다. 예컨대, 상기 3D_auxiliary_descriptor는 도 5b에 도시된 바와 같이 기술될 수 있다.

여기서 대응되는 기준영상 지시자는 contents #1을 지시하기 위한 것으로서 contents_linkage 값이 사용될 수 있다.

3차원 방송 수신 단말은 두 개의 콘텐츠 아이템(Content-Linkage=id1, Content-Linkage=id3)를 모두 사용자에게 보여주기보다는 콘텐츠 아이템 #1(Content-Linkage=id1)을 먼저 보여주고, 사용자가 이를 선택 시 콘텐츠 아이템 #2(Content-Linkage=id3)을 다운로드하여 함께 디스플레이할 수 있다.

도 6은 본 발명의 제4 실시예에 따른 3차원 방송 서비스 송수신 방법에서 제공할 수 있는 또 다른 시그널링 정보를 설명한다.

상기 제4 실시예에서는 기준영상외에 3D 부가영상에 대한 콘텐츠 아이템을 전송하기 위하여 콤포넌트 및 FLUTE 세션을 분리하지 않을 수 있다. 즉, 상기 송신 시스템은 하나의 콤포넌트 및 하나의 FLUTE 세션을 통해 기준영상 및 3D 부가영상에 관련된 콘텐츠 아이템을 전송할 수 있다.

여기서는 하나의 FLUTE 세션이 존재하므로, 하나의 FDT가 필요하다. 그리고, 상기 송신 시스템은 상기 하나의 FDT에, 기준영상 및 3D 부가영상 파일에 대한 정보를 삽입할 수 있다.

상세히 말해서, 종래의 FDT에는 파일에 대한 정보를 기술하기 위해 각 파일에 대한 요소(element) 마다 TOI, contents-linkage, contents-location 등의 속성(attribute)들을 포함한다. 여기서, 본 발명의 제3 실시예에서는 3D 부가영상 파일을 기술하기 위해 3D 부가영상 정보를 위한 속성들을 더 추가할 수 있다.

상기 추가된 속성들은 앞서 설명된 component_level_descriptor()를 통해 기술한 3D 부가영상에 대한 다양한 정보(3D_auxiliary_component, 인코딩 포맷, 좌/우 구분, 대응되는 기준영상 지시자, 3D 부가영상포맷 등) 등이 해당될 수 있다.

한편, 상기 하나의 FDT는 수신 단말에서의 신속한 다운로드를 위하여 별도의 UDP port(예컨대, port=P1)로 전송될 수 있다. 상기 제3 실시예에서는 수신 단말에서 기준 영상 및 3차원 부가 영상이 용이하게 다운로드될 수 있도록, 별도의 UDP port로 전송하는 것도 포함할 수 있다.

이를 위하여, port_num_count는 3(예컨대, FDT용 포트 + 기준영상용 포트 + 3D 부가영상용 포트)이상 값으로 설정될 수 있다. 상기 port_num_count는 동일 UDP destination IP내의 Port 번호의 개수로서, 이를 통해 채널이 구분될 수 있다.

도 7은 도 1에 도시된 수신 단말(600)의 구조를 설명하기 위한 도면이다.

도 7을 참조하면, 수신 단말(600)는 수신 처리부(610), 시그널링 정보 해석부(620), NRT 서비스 디코더(630), 메모리(640), 3D 비디오 디코더(650), 3D 영상 포맷 처리부(660), 3D 디스플레이부(670) 및 서비스 응용 프로그램(680)를 포함할 수 있다.

수신 처리부(610)는 RF 신호 수신, 복조, 채널 디코딩 기능 등을 수행한다. 특히, 수신 처리부(610)는 분배망으로부터 송신 시스템에 의해 다중화되어 전송된 스트림을 수신하고, 상기 수신된 스트림으로부터 사용자가 선택한 서비스 정보를 포함하는 시그널링 정보를 추출하는 기능을 수행한다. 그리고, 상기 추출된 시그널링 정보는 시그널링 정보 해석부(620) 및 NRT 서비스 디코더(630)로 각각 전달된다.

여기서, 상기 시그널링 정보에 대한 시그널링 채널은 미리 지정되어 있으므로, 시그널링 정보 해석부(620)는 상기 시그널링 채널을 통해 전송된 SMT-MH, NRT-IT 등의 시그널링 테이블값을 해석하고, 상기 해석 결과를 출력할 수 있다.

상기 해석에 의해, 상기 시그널링 정보 해석부(620)는 기준 영상 및 3차원 부가 영상이 전송되는 채널을 인식할 수 있으며, 상기 인식된 채널별로 기준 영상에 대응하는 스트림 및 3차원 부가 영상에 대응하는 스트림을 각각 획득할 수 있다.

NRT 서비스 디코더(630)는 시그널링 정보 해석부(620)로부터 콘텐츠 다운로드에 필요한 정보를 전달받고, 콘텐츠 파일 전송 프로토콜(예컨대, FLUTE)에 따라 유효한 시간대에 NRT 서비스를 위해 필요한 콘텐츠 파일들을 다운로드한다. 기본적으로 NRT 서비스 디코더(630)는 적어도 하나의 FDT를 먼저 다운로드 할 것이며, 상기 다운로드된 상기 FDT를 해석하여 각 콘텐츠의 위치를 파악하고, 상기 파악된 위치에 해당되는 콘텐츠 파일들을 다운로드할 수 있다.

메모리(640)는 상기 다운로드된 콘텐츠 파일들을 저장하고, 이후, 서비스 응용 프로그램의 호출이나 미리 지정된 시간에 발생하는 호출에 따라 상기 저장된 콘텐츠 파일들을 제공한다. 상기 제공된 콘텐츠 파일들은 3D 비디오 디코더(650)에 전달되어 디코딩될 수 있다.

한편, 서비스 응용 프로그램(680)은 시그널링 정보 해석부(620)의 해석 결과를 기초로, 현재 방송 서비스가 2차원 방송 서비스인지 또는 3차원 방송 서비스인 지를 판단하고, 상기 판단 결과를 3D 비디오 디코더(650), 3D 영상 포맷 처리부(660) 및 3D 디스플레이부(670)로 전달한다.

만약, 현재 방송 서비스가 2차원 방송 서비스인 경우, 3D 비디오 디코더(650)는 상기 메모리(640)에서 제공되는 기준 영상만을 호출하여 디코딩한다. 반면, 수신 단말(600)의 방송 서비스가 3차원 방송 서비스인 경우, 3D 비디오 디코더(650)는 기준 영상 및 3차원 부가 영상 파일을 동시에 호출하고, 상기 호출된 파일들을 동기화 메커니즘을 통해 동기화하면서 디코딩한다.

만약, 다운로드 과정에서 기준 영상이 먼저 다운로드 완료되었다면, 상기 수신 단말(600)는 상기 기준 영상을 이용하여 구성되는 2차원 영상만을 먼저 디스플레이하다가, 이후, 다운로드되는 3차원 부가 영상을 추가로 디스플레이할 수도 있다. 이 경우, 상기 수신 단말(600)는 파일의 처음부터가 아니라, 중간 시점부터 동기화할 수 있는 메커니즘이 필요할 것이다.

또한, 3D 영상 포맷 처리부(660)는 3D 비디오 디코더(650)에 의해 디코딩된 기준영상 또는 3차원 부가 영상 중 적어도 하나를 전달받고, 시그널링 정보(3차원 부가 영상의 포맷)에 따라 결정되는 3D 렌더링(rendering) 알고리즘을 기초로 좌우 영상을 생성한다.

서비스 응용 프로그램(680)은 3D 서비스관련 시그널링 정보와 미리 표준화된 규격을 바탕으로 NRT 서비스 디코더(630), 3D 비디오 디코더(650), 메모리(640), 3D 영상 포맷 처리부(660) 등을 제어한다.

특히, 3D 디스플레이부(670)는 상기 서비스 응용 프로그램(680)의 제어에 따라, 2차원 혹은 3차원 디스플레이 모드로 동작하여 영상을 디스플레이한다.

결과적으로, 분배망을 통해, 기준 영상에 대한 스트리밍 및 3D 부가 영상에 대한 스트리밍이 서로 다른 채널을 통해 스트리밍됨으로써, 수신 단말이 2차원 방송 수신 단말인 경우에는 기준 영상을 디스플레이하고, 3차원 방송 수신 단말인 경우, 상기 기준 영상 및 3D 부가 영상을 함께 동기화하여 디스플레이할 수 있다. 즉, 디지털 방송은 이러한 방법을 통해, 일반적인 2차원 방송과의 호환성을 보장하면서, 3차원 방송도 제공할 수 있게 된다.

나아가, 디지털 방송은 하나의 RF 신호로서 ATSC 시스템을 통해 실시간으로 고화질 영상 서비스를 제공하며, 또한 ATSC NRT 서비스 메커니즘을 통해 3차원 콘텐츠를 비실시간으로 사용자 원하는 시점 혹은 서비스 사업자가 지정한 시점에 제공할 수 있다.

이 경우, 실시간으로 전송되는 AV 스트림(예컨대, 기준 영상) 및 비실시간으로 전송되는 스트림(예컨대, 3차원 부가 영상)을 동기화시키기 위한 메커니즘은 아래와 같이 구현될 수 있다.

상기 메커니즘은 3차원 부가 영상을 파일 형태로 방송망 또는 통신망을 통해 수신 단말로 미리 전송하고, 이후 다른 시간에 스트리밍되는 실시간 스트림과 상기 3차원 부가 영상을 동기화시키는 데 유용할 수 있다. 나아가, 상기 동기화는 개략적인 동기화에서부터 영상 프레임 단위의 세밀한 동기화까지 구현될 수 있다.

도 8 및 9는 본 발명의 제5 실시예에 따른 3차원 방송 서비스 송수신 방법에서 송신측 동작을 설명하기 위한 도면이다.

도 8을 참조하면, 기준 영상의 AV 스트림(700), 3D 부가 콘텐츠(710), 및 시그널링 정보(730)는 각각의 채널을 통해 다중화(740)된다. 그리고, 상기 다중화된 결과의 데이터는 분배망(750)을 통해 수신 단말(760)으로 전송된다.

여기서, 시그널링 정보(730)는 동기화 서비스 구간, 실시간 스트림/파일 콘텐츠 연결 정보, 시간 정보 중 적어도 하나 이상이 될 수 있다. 또한, 상기 시그널링 저보(730)는 필요에 따라 기준 영상에 대응하는 데이터 또는 3D 부가 영상에 대응하는 데이터와 함께 상기 수신 단말(600)로 전송될 수 있다.

도 9를 참조하면, 900 단계는 3차원 방송 서비스를 위한 기준 영상 및 3차원 부가 영상 각각을 인코딩하고, 상기 기준 영상에 대응하는 기준 영상 스트림 및 상기 3차원 부가 영상에 대응하는 부가 영상 스트림을 각각 생성한다.

910 단계는 상기 생성된 기준 영상 스트림 및 상기 3차원 부가 영상 스트림을 함께 방송하기 위한 시그널링 정보를 생성한다.

여기서, 910 단계는 상기 기준 영상 스트림에 대응하는 컴포넌트를 생성하고, 상기 3차원 부가 영상 스트림에 대응하는 다른 컴포넌트를 생성하고, 상기 생성된 컴포넌트들에 대한 정보를 상기 시그널링 정보에 삽입할 수 있다.

920 단계는 상기 생성된 시그널링 정보, 상기 생성된 기준 영상 스트림 및 상기 3차원 부가 영상 스트림 중 하나 이상을 서로 다른 채널을 통해 다중화시킨다.

930 단계는 상기 다중화된 결과를 방송 서비스를 위한 분배망을 통해 수신 단말로 전송한다.

이에 따라, 3차원 방송 수신 단말은 상기 기준 영상 및 상기 3차원 부가 영상이 별도의 채널로 다중화되어 전송된 데이터로부터, 상기 시그널링 정보에 따라 각각 추출하고 함께 디스플레이할 수 있다 뿐만 아니라, 2차원 방송 수신 단말은 상기 별도의 채널로 다중화된 기준 영상 및 3차원 부가 영상 중에서 기준 영상을 구분하여 다운로딩하고, 디스플레이할 수 있다.

결과적으로, 상기 3차원 방송 송수신 방법은 2차원 방송 및 3차원 수신 단말이 모두 방송 서비스를 제공받을 수 있다.

한편, 920 단계는 다른 실시예로서, 상기 생성된 시그널링 정보, 및 상기 생성된 기준 영상 스트림 각각을 두 개의 채널을 통해 다중화시키고, 상기 3차원 부가 영상을 상기 방송 서비스를 위한 다른 분배망을 통해 상기 수신 단말로 전송할 수 있다. 즉, 송신 시스템은 수신 단말에게 3차원 부가 영상을 파일 형태로서 미리 제공하고, 기준 영상을 실시간으로 스트리밍해줄 수 있다.

상기 시그널링 정보는 기준 영상 스트림과 함게 수신 단말로 제공될 수도 있지만, 상기 3차원 부가 영상과 함께 제공될 수도 있을 것이다.

상기 송신 시스템은 상기 수신 단말이 미리 제공된 3차원 부가 영상을 상기 실시간으로 스트리밍되는 기준 영상과 동기화할 수 있도록, 동기화 서비스 구간을 표시하는 정보들을 제공할 수 있다. 상기 동기화 서비스 구간을 표시하는 정보들은 상기 생성된 기준 영상 스트림 및 상기 3차원 부가 영상 스트림 중 적어도 하나에 삽입될 수 있으며, 일정 간격으로 삽입되거나, 또는 특정 값으로 증가되어 일정 간격으로 삽입될 수 있다.

나아가, 상기 송신 시스템은 상기 기준 영상 및 상기 3D 부가 영상 간의 동기화 서비스 제어를 위한 동기화 이벤트 메시지를 상기 수신 단말에게 전송할 수도 있다.

한편, 상기 기준 영상의 AV 스트림은 실시간 방송을 위해 압축된 비트스트림으로서, 비디오, 오디오 및 다양한 데이터들이 다중화될 수 있다. 따라서, 상기 동기화 방법은 event_mark를 삽입하여, 상기 AV 스트림에 동기화 서비스 구간을 표시할 수 있다. 상기 event_mark는 실시예로서, 도 10a에 도시된 바와 같이 특정 메시지나 디스크립터(descriptor)형태를 취할 수 있다.

도 10a을 참조하면, 상기 event_mark는 AV 스트림의 프로그램 정보를 위한 테이블(예컨대, PMT, ATSC의 SMT 등)에 삽입되거나, 또는 상기 AV 스트림을 구성하고 있는 특정 패킷(예, MPEG-2 TS, PES, IP 등)의 헤더에 삽입될 수 있다.

특히, 상기 event_marker는 동기화를 위한 기준 영상 스트림의 첫번째 AU(Access Unit)부터 상태(값)이 변경되어, 상기 AV 스트림에 일정 간격으로 삽입될 수 있다. 이 경우, 상기 동기화 방법은 time stamp 정보(예컨대, MPEG의 PTS, CTS, RTP의 time stamp)를 이용하는 동기화 메커니즘에서 영상 프레임별 동기화에 특히 용이할 것이다.

나아가, 상기 event_marker 값은 일정 값으로 증가되어 삽입될 수 있다. 이 경우, 상기 수신 단말에서 첫번째 event_marker가 손실되거나 또는 사용자가 기준 영상 스트림의 첫번째 AU 이후부터 서비스를 요청하더라도, 상기 수신 단말은 영상 프레임의 첫부분이 아닌 다른 시점에 대한 동기화가 가능할 수 있다.

한편, 파일 콘텐츠는 동영상, 오디오, 데이터(정지영상, HTML, XML 등) 등의 멀티미디어 콘텐츠며, 동기화 이벤트의 시작 시간인 time_start 전에 수신 단말에 다운로드된다. 또한, 시그널링 정보는 파일 콘텐츠가 다운로드되는 채널, 다운로드 시간, 파일 콘텐츠에 대한 다양한 속성들을 별도의 테이블(예; ATSC NRT의 SMT, NRT_IT 등)로 구성될 수 있다.

또한, 상기 제5 실시예는 기준 영상과 파일 콘텐츠간의 동기화된 서비스 제어를 위해 동기화 이벤트 메시지(synchronized event message)를 추가로 제공할 수 있다.

상기 동기화 이벤트 메시지는 동기화 이벤트를 위한 시작시간인 time_start 이전에 반복적으로 수신 단말로 전송될 수 있다. 이후, 상기 수신 단말은 상기 동기화 이벤트 메시지를 기초로, 미리 다운로드된 파일 콘텐츠들을 메모리로부터 호출하고, time_start에 대기시킬 수 있다.

상기 동기화 이벤트 메시지는 별도의 테이블로 정의되거나, 디스크립터로 정의되어 종래의 테이블내(예컨대, ATSC NRT의 NRT_IT)에 삽입될 수 있다.

또한, 상기 동기화 방법에서, 실시간 AV 스트림, 파일 콘텐츠, 및 시그널링 정보는 단일 스트림으로 다중화되고 상기 다중화된 결과가 단일 망을 통해 단말에 분배될 수 있다. 반면 다른 실시예에서는 실시간 AV 스트림, 파일 콘텐츠, 및 시그널링 정보가 복수의 스트림으로 존재하며, 상기 복수의 스트림 각각이 서로 다른 망을 통해서 단말에 분배될 수도 있을 것이다.

후자의 실시예에서는, AV 스트림이 디지털 방송망을 통해 방송되고, 파일 콘텐츠 및 시그널링 정보가 IPTV, 인터넷 등을을 통해 미리 다운로드되는 경우를 예로 들 수 있다. 이때, 이용될 수 있는 동기화 이벤트 메시지는 실시예로서, 도 10b에 도시된 바와 같이 구현될 수 있다.

도 10b를 참조하면, event_type은 실시간/비실시간 동기화에 의해 제공되는 서비스의 형태를 나타낸다. 예컨대, event_type은 도 10c와 같이 3D 비디오, 3D 데이터, triggerd data 등이 포함될 수 있다.

3차원 부가 영상은 3D 입체 영상을 위하여 필요한 영상(예컨대, 우측영상, 깊이영상, 변이영상 등)이며, 데이터 콘텐츠는 정지영상, HTML, XML 등의 데이터 서비스를 위한 콘텐츠를 의미한다. 이 밖에도 다양한 동기화 이벤트 들이 더 정의될 수 있다.

한편, Stream_locator()는 AV 스트림내 기준영상관련 스트림을 지시하기 위한 식별자이다. 상기 Stream_locator()는 MPEG-2 시스템의 경우에는 transport_stream_id, elementary_PID 등이 될 수 있고, IP 프로토콜의 경우에는 IP address, port number 등이 될 수 있다.

Contents_locator()는 미리 다운로드된 파일 콘텐츠를 지시하기 위한 식별자이다. 상기 Contents_locator()는 콘텐츠 이름, URI, ATSC NRT의 contents_linkage, URL 등이 해당될 수 있다.

time_start는 동기화 이벤트의 시작 시간을 나타낸다. 상기 time_start는 UTC와 같은 포맷의 절대시간 값으로 지정함으로써 상기 수신 단말이 미리 실시간/비실시간 동기화 서비스 이벤트를 알 수 있게 한다. 상기 수신 단말은 이러한 time_start를 이용함으로써, 서비스 제공 예약, 메모리로부터 파일 콘텐츠 로딩(loading) 등의 기능을 수행할 수 있다.

time_length는 초 단위 등으로 지정해 동기화 이벤트의 시간적인 길이를 나타낸다. 따라서, 상기 수신 단말은 상기 time_start 정보 및 time_length 정보를 이용하여, 개략적인 동기화 서비스를 제공할 수 있다. 나아가, 상기 동기화 방법에서는, event_marker_flag의 값을 제공하여, 정확한 동기화 서비스가 이루어질 수도 있다.

개략적인 동기화는 time_start 값부터 미리 다운로드된 파일 콘텐츠를 재생함으로써 실시간 기준영상의 재생시점과 프레임단위는 아니지만 개략적인 시간적인 동기를 맞추는 것이다. 즉 실시간 기준영상으로 제공되는 특정 광고의 재생 시간을 미리 알고 있으면, 이 시간대를 time_start 및 time_length로 지정함으로써 특정 광고(실시간)와 상기 특정 광고와 관련된 파일 콘텐츠(비실시간)가 동시에 재생될 수 있다.

즉, 상기 수신 단말은 상기 동기화 이벤트 메시지내에 event_marker_flag의 값이 특정 값(예컨대, 1)인 지를 확인하고, AV 스트림내에 event_marker가 삽입된 것을 인지할 수 있다. 다시 말해, 상기 수신 단말은 상기 event_marker_flag의 값에 따라 AV 스트림 내 event_marker의 값을 참조함으로써, 보다 정확한 동기화 메커니즘을 수행할 수 있다.

상기 수신 단말은 AV 스트림 내 event_marker의 값을 체크하고, event_marker 값이 미리 설정된 초기 값인 경우 동기화 이벤트 시작임을 인지하고, event_marker 값이 상기 초기 값보다 큰 경우, AV 스트림에 대한 동기화 이벤트가 이미 시작되었음을 인지할 수 있다.

그리고, 상기 수신 단말은 상기 초기 값 보다 큰 event_marker 값을 기초로, 현재 시점에 대한 AV 스트림의 타임 스탬프를 추정하고, 상기 추정된 타임 스탬프에 대응하는 시간 구간으로부터 파일 콘텐츠를 재생할 수 있다. 상기 수신 단말은 상기 AV 스트림과, 상기 추정된 타임 스탬프에 대응하는 시간 구간의 영상 파일을 함께 재생함으로써, 프레임 단위의 동기화가 이루어질 수 있다.

또한, 경우에 따라, AV 스트림뿐만 아니라 비실시간으로 미리 보내는 파일 콘텐츠에도 event_marker를 동일한 시간 간격으로 삽입하는 경우도 가능하다.

한편, 상기 수신 단말은 event_marker외, trigger_time_flag의 값만을 이용할 수도 있다. 즉, 상기 수신 단말은 trigger_time_flag가 1인 경우, AV 스트림 내 기준 영상 스트림의 첫번째 AU의 타임 스탬프(예컨대, MPEG의 PTS, CTS, RTP의 time stamp)값을 예측하고, 상기 예측된 값을 동기화 이벤트 메시지에 삽입할 수 있다. 여기서, 기준 영상 스트림의 첫번째 AU의 타임 스탬프의 값은 동기화 이벤트의 시작을 나타내는 것으로 미리 예측하기가 쉽지 않을 수 있다. 따라서, 상기 수신 단말은 상기 동기화 이벤트 메시지를 주기적으로 보내면서, 상기 타임 스탬프에 대한 값을 삽입하지 않다가, 상기 예측이 가능해지는 시점에서부터 상기 타임 스탬프에 대해 예측된 값을 상기 동기화 이벤트 메시지에 삽입하는 것으로 구현될 수 있다.

한편, event_type에 값을 이용함으로써, 송신 시스템은 수신 단말에게 필요한 부가정보에 대한 정보도 제공할 수 있다.

예컨대, 송신기는 event_type을 3D 비디오에 대응하는 값으로 설정하고, 상기 AV 스트림내에 3D 비디오의 포맷 정보(3D_composition_type), 좌우 구분(L_R) 정보 등이 더 추가할 수 있다.

도 11은 본 발명의 제5 실시예에 따른 3차원 방송 서비스 송수신 방법에서 수신측 동작을 설명하기 위한 도면이다. 아래에서는 시그널링 정보가 3D 부가 영상 데이터와 함께 수신 단말로 전송되는 경우를 설명한다.

수신 단말은 1100 단계에서, 3차원 방송 서비스를 위한 기준 영상, 3차원 부가 영상, 시그널링 정보 중 적어도 하나 이상이 복수의 채널을 통해 다중화된 스트리밍을 실시간으로 다운로드한다.

상기 수신 단말은 1110 단계에서, 상기 다운로드된 데이터를 디코딩하고, 상기 디코딩된 결과로부터 상기 시그널링 정보를 획득한다.

상기 수신 단말은 1120 단계에서, 상기 획득된 시그널링 정보를 해석하고, 상기 해석 결과로부터 상기 기준 영상 및 3차원 부가 영상 중 적어도 하나에 대한 콤포넌트를 인식한다.

상기 수신 단말은 1130 단계에서, 상기 인식된 콤포넌트를 기초로, 상기 기준 영상 및 상기 3차원 부가 영상 중 적어도 하나에 대한 파일 콘텐츠를 다운로드한다.

여기서, 만약, 상기 수신 단말이 2차원 방송 수신 단말이라면, 1120 단계에서, 상기 수신 단말은 상기 해석 결과로부터 상기 기준 영상에 대한 콤포넌트만을 인식하며, 1130 단계에서, 상기 기준 영상에 대한 콤포넌트를 이용하여 상기 기준 영상의 파일 콘텐츠들만 다운로드할 것이다.

한편, 1100 단계에서, 상기 수신 단말은 3차원 부가 영상 및 상기 3차원 부가 영상에 대응하는 시그널링 정보 중 적어도 하나를 하나의 분배망을 통해 다운로드하고 상기 다운로드를 완료하고, 상기 3차원 부가 영상에 관련된 기준 영상의 스트리밍을 다른 분배망을 통해 실시간으로 다운로드할 수 있다.

이후, 상기 수신 단말은 상기 다운로드 완료된 3차원 부가 영상 및 시그널링 정보를 저장하였다가, 상기 3차원 부가 영상을 상기 시그널링 정보에 따라서, 상기 실시간으로 다운로드된 기준 영상에 동기화시켜 디스플레이할 수 있다.

자세히 말해서, 상기 수신 단말은 상기 시그널링 정보를 기초로 상기 3D부가 데이터의 구간들 중 상기 실시간으로 다운로딩되는 AV 스트림에 동기화할 구간을 선정하고, 상기 선정된 구간의 3D 부가 데이터를 상기 실시간으로 다운로딩되는 AV 스트림에 동기화하여 디스플레이할 수 있다.

본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (13)

1. 3차원 방송 서비스를 위한 기준 영상 및 3차원 부가 영상 각각을 인코딩하고, 상기 기준 영상에 대응하는 기준 영상 스트림 및 상기 3차원 부가 영상에 대응하는 부가 영상 스트림을 각각 생성하는 단계;
   상기 생성된 기준 영상 스트림 및 상기 3차원 부가 영상 스트림을 함께 방송하기 위한 시그널링 정보를 생성하는 단계;
   상기 생성된 시그널링 정보, 상기 생성된 기준 영상 스트림 및 상기 3차원 부가 영상 스트림 중 하나 이상을 서로 다른 채널을 통해 다중화시키는 단계; 및
   상기 다중화된 결과를 방송 서비스를 위한 분배망을 통해 수신 단말로 전송하는 단계
   를 포함하는 3차원 방송 서비스 송신 방법.
2. 제1항에 있어서,
   상기 시그널링 정보를 생성하는 단계는
   상기 기준 영상 스트림에 대응하는 컴포넌트를 생성하고, 상기 3차원 부가 영상 스트림에 대응하는 다른 컴포넌트를 생성하고, 상기 생성된 컴포넌트들에 대한 정보를 상기 시그널링 정보에 삽입하는
   3차원 방송 서비스 송신 방법.
3. 제1항에 있어서,
   상기 다중화시키는 단계는
   상기 생성된 시그널링 정보, 및 상기 생성된 기준 영상 스트림 각각을 두 개의 채널을 통해 다중화시키고,
   상기 3차원 부가 영상을 상기 방송 서비스를 위한 다른 분배망을 통해 상기 수신 단말로 전송하는 단계
   를 더 포함하는 3차원 방송 서비스 송신 방법.
4. 제1항에 있어서,
   상기 생성된 기준 영상 스트림 및 상기 3차원 부가 영상 스트림 중 적어도 하나에 동기화 서비스 구간을 표시하는 정보들을 삽입하는 단계
   를 더 포함하는 3차원 방송 서비스 송신 방법.
5. 제4항에 있어서,
   상기 동기화 서비스 구간을 표시하는 정보들은
   상기 기준 영상 스트림 및 상기 3차원 부가 영상 스트림 중 적어도 하나에 일정 간격으로 삽입되는
   3차원 방송 서비스 송신 방법.
6. 제5항에 있어서,
   상기 동기화 서비스 구간을 표시하는 정보들은
   상기 기준 영상 스트림 및 상기 3차원 부가 영상 스트림 중 적어도 하나에 일정 값으로 증가된 정보가 일정 간격으로 삽입되는
   3차원 방송 서비스 송신 방법.
7. 제1항에 있어서,
   상기 기준 영상 및 상기 3D 부가 영상 간의 동기화 서비스 제어를 위한 동기화 이벤트 메시지를 상기 수신 단말에게 전송하는 단계
   를 더 포함하는 3차원 방송 서비스 송신 방법.
8. 3차원 방송 서비스를 위한 기준 영상, 3차원 부가 영상, 시그널링 정보 중 적어도 하나 이상이 복수의 채널을 통해 다중화된 스트리밍을 실시간으로 다운로드하는 단계;
   상기 다운로드된 데이터를 디코딩하고, 상기 디코딩된 결과로부터 상기 시그널링 정보를 획득하는 단계;
   상기 획득된 시그널링 정보를 해석하고, 상기 해석 결과로부터 상기 기준 영상 및 3차원 부가 영상 중 적어도 하나에 대한 콤포넌트를 인식하는 단계; 및
   상기 인식된 콤포넌트를 기초로, 상기 기준 영상 및 상기 3차원 부가 영상 중 적어도 하나에 대한 콘텐츠 아이템을 다운로드하는 단계
   를 포함하는 3차원 방송 서비스 수신 방법.
9. 제8항에 있어서,
   상기 수신 단말이 2차원 방송 수신 단말인 경우,
   상기 콤포넌트를 인식하는 단계는
   상기 해석 결과로부터 상기 기준 영상에 대한 콤포넌트를 인식하고,
   상기 콘텐츠 아이템을 다운로드하는 단계는
   상기 기준 영상에 대한 콤포넌트를 이용하여 상기 기준 영상의 콘텐츠 아이템을 다운로드하는
   3차원 방송 서비스 수신 방법.
10. 제9항에 있어서,
    상기 다중화된 스트리밍을 실시간으로 다운로드하는 단계는
    3차원 부가 영상 및 상기 3차원 부가 영상에 대응하는 시그널링 정보 중 적어도 하나를 하나의 분배망을 통해 다운로드하고 상기 다운로드를 완료하는 단계; 및
    상기 3차원 부가 영상에 관련된 기준 영상의 스트리밍을 다른 분배망을 통해 실시간으로 다운로드하는 단계
    를 포함하고,
    상기 다운로드 완료된 3차원 부가 영상 및 시그널링 정보를 저장하였다가, 상기 3차원 부가 영상을 상기 시그널링 정보에 따라서, 상기 실시간으로 다운로드된 기준 영상에 동기화시켜디스플레이하는 단계
    를 더 포함하는 3차원 방송 서비스 수신 방법.
11. 3차원 방송 서비스를 위한 기준 영상 및 3차원 부가 영상 각각을 인코딩하고, 상기 기준 영상에 대응하는 기준 영상 스트림 및 상기 3차원 부가 영상에 대응하는 부가 영상 스트림을 각각 생성하는 NRT 서비스 인코더;
    상기 생성된 기준 영상 스트림 및 상기 3차원 부가 영상 스트림을 함께 방송하기 위한 시그널링 정보를 생성하는 시그널링 정보 인코더;
    상기 생성된 시그널링 정보, 상기 생성된 기준 영상 스트림 및 상기 3차원 부가 영상 스트림 중 하나 이상을 서로 다른 채널을 통해 다중화시키는 방송 스트림 다중화부; 및
    상기 다중화된 결과를 방송 서비스를 위한 분배망을 통해 수신 단말로 전송하는 전송부
    를 포함하는 3차원 방송 서비스를 위한 송신 시스템.
12. 3차원 방송 서비스를 위한 기준 영상, 3차원 부가 영상, 시그널링 정보 중 적어도 하나 이상이 복수의 채널을 통해 다중화된 스트리밍을 실시간으로 다운로드하는 수신 처리부
    상기 다운로드된 데이터를 디코딩하는 NRT 서비스 디코더; 및
    상기 디코딩된 결과로부터 상기 시그널링 정보를 획득하고, 상기 획득된 시그널링 정보를 해석하여, 상기 해석 결과로부터 상기 기준 영상 및 3차원 부가 영상 중 적어도 하나에 대한 콤포넌트를 인식하고, 상기 인식된 콤포넌트를 기초로, 상기 기준 영상 및 상기 3차원 부가 영상 중 적어도 하나에 대한 콘텐츠 아이템의 다운로드를 상기 수신 처리부에 요청하는 시그널링 정보 해석부
    를 포함하는 3차원 방송 서비스를 위한 수신 단말.
13. 제12항에 있어서,
    상기 수신 단말이 2차원 방송 수신 단말인 경우,
    상기 시그널링 정보 해석부는
    상기 해석 결과로부터 상기 기준 영상에 대한 콤포넌트를 인식하고, 상기 기준 영상에 대한 콤포넌트에 따른 상기 기준 영상의 콘텐츠 아이템의 다운로드를 상기 수신 처리부에 요청하는
    3차원 방송 서비스를 위한 수신 단말.

Images