KR20140004045A - 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법 - Google Patents

Abstract

본 발명은 3D 서비스 제공을 위한 전송 장치 및 방법, 및 수신 장치 및 방법을 개시하고 있다. 3D 서비스를 제공하기 위한 전송 방법은 실시간으로 전송되는 기준 영상과 상기 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 전송 방법에 있어서, 기준 영상을 기반으로 실시간 기준 영상 스트림을 생성하여 실시간으로 수신측으로 전송하는 실시간 기준 영상 스트림 생성 단계; 및 상기 기준 영상과 연동하여 3D 서비스를 제공하는 부가 영상 및 콘텐츠를 상기 기준 영상 스트림과 별도로 상기 수신측으로 전송하는 부가 영상 및 콘텐츠 전송 단계를 포함하되, 상기 실시간 기준 영상 스트림은 상기 기준 영상과 연동될 부가 영상 및 콘텐츠와 관련된 정보인 연동 정보 및 상기 기준 영상과 상기 부가 영상 및 콘텐츠와의 동기를 맞추기 위한 동기화 정보를 포함한다.

Description

실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3Ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법{TRANSMISSION APPARATUS AND METHOD, AND RECEPTION APPARATUS AND METHOD FOR PROVIDING 3D SERVICE USING THE CONTENT AND ADDITIONAL IMAGE SEPERATELY TRANSMITTED WITH THE REFERENCE IMAGE TRANSMITTED IN REAL TIME}

본 발명은 3D 서비스 제공을 위한 전송 장치 및 방법, 및 수신 장치 및 방법에 관한 것으로, 보다 상세하게는 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법에 관한 것이다.

최근 방송과 통신의 긴밀한 융합과 5천만에 가까운 소비자 단말에 보급을 통해, 소비자의 콘텐츠에 대한 접근과 저장 메커니즘이 다양하고 편리해졌다. 이에 따라 개인의 미디어 플레이어를 통한 엔터테인먼트 콘텐츠의 저장 및 소비의 흐름이 보편화되기 시작했다. 이러한 콘텐츠 접근의 요구에 따라 미국의 디지털 텔레비전 방송 표준을 개발하는 단체인 ATSC(Advanced Television Systems Committee)는 새로운 서비스 모델로 NRT라는 기술을 발표했다. NRT란 Non-Real-Time의 약어로 우리가 TV를 보고 있지 않는 유휴시간에 다운로드를 받아 원하는 콘텐츠를 소비하는 서비스이다. 그러나 현재 방송 서비스의 패러다임은 UHD 서비스, 3D TV 서비스 등 많은 데이터 전송량을 필요로 하는 형태로 변화하고 있다. 하지만 현 방송 시스템만으로는 대용량의 데이터를 전송하기에는 한계가 있기 때문에 하이브리드 전송의 필요성이 부각되고 있다.

본 발명에서는 기존 방송망이 갖고 있는 전송의 한계를 극복하기 위해 방송망 이외의 전송망을 이용하여 콘텐츠를 전달하고 전달된 콘텐츠를 실시간 방송으로 전달되는 콘텐츠와 연동하여 고화질 3D 서비스를 제공하는 시스템을 제안한다.

대한민국 공개 특허 KR 10-2010-0049873 ("스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법", 한국전자통신연구원, 2010.05.03 공개)

본 발명의 목적은 3D 연동 서비스를 구현하기 위해, 미리 수신된 2D 영상 파일과 실시간 수신 스트림 2D 콘텐츠를 연동하여 고화질 3D 서비스를 제공하는 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법을 제공하는 것이다.

또한, 본 발명의 다른 목적은 수신 시점이 다른 두 콘텐츠를 연동하기 위해 두 영상 간의 참조관계를 제공하고, 스테레오스코픽 비디오 서비스를 제공하기 위한 프레임 동기화를 제공하며 이를 종래의 방송 시스템에서 이용할 수 있는 형태로 제공하기 위해 두 영상 간의 참조관계를 위한 시그널링 방안과 프레임간 동기를 맞추기 위한 시간 정보를 삽입하여 고화질 3D 서비스를 구성하는 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법을 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명의 3D 서비스를 제공하기 위한 전송 방법은 실시간으로 전송되는 기준 영상과 상기 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 전송 방법에 있어서, 기준 영상을 기반으로 실시간 기준 영상 스트림을 생성하여 실시간으로 수신측으로 전송하는 실시간 기준 영상 스트림 생성 단계; 및 상기 기준 영상과 연동하여 3D 서비스를 제공하는 부가 영상 및 콘텐츠를 상기 기준 영상 스트림과 별도로 상기 수신측으로 전송하는 부가 영상 및 콘텐츠 전송 단계를 포함하되, 상기 실시간 기준 영상 스트림은 상기 기준 영상과 연동될 부가 영상 및 콘텐츠와 관련된 정보인 연동 정보 및 상기 기준 영상과 상기 부가 영상 및 콘텐츠와의 동기를 맞추기 위한 동기화 정보를 포함할 수 있다.

상기 부가 영상 및 콘텐츠는 실시간으로 또는 비실시간으로 스트림 형태 또는 파일 형태로 전송될 수 있다.

상기 연동 정보는 상기 연동 정보와 관련된 서술자인 연동 서술자를 식별하기 위한 서술자 태그(descriptor_tag); 상기 연동 서술자의 길이를 나타내는 서술자 길이 정보(descriptor_length); 상기 연동 서술자에 포함된 연동될 파일 및 스트림의 수를 나타내는 연동 미디어 개수 정보(linkage_media_number); 상기 연동될 파일 및 스트림을 식별할 수 있는 id 값인 미디어 인덱스 id 정보(media_index_id); 상기 연동될 파일 및 스트림의 서비스 시작 시간을 나타내는 웨이크업 시간 정보(start_time); 상기 연동될 파일 및 스트림의 URL 정보를 나타내는 연동 URL 정보(linkage_URL); 상기 URL 정보의 길이를 나타내는 URL 길이 정보(linkage_URL_length); 및 상기 연동될 파일 및 스트림의 종류를 나타내는 연동 미디어 타입 정보(linkage_media_type) 중 적어도 어느 하나를 포함할 수 있다.

*상기 동기화 정보는 상기 동기화 정보를 식별하기 위한 정보인 동기화 정보 식별자(identifier); 현재 방송 스트림이 지원하는 서비스의 형태가 2D 인지 3D인지 구별하기 위한 3D 구분 플래그(2D_3D_flag); 상기 연동될 파일 및 스트림을 식별하기 위한 id 값인 미디어 인덱스 id 정보(media_index_id); 및 상기 기준 영상과 상기 부가 영상 및 콘텐츠의 연동을 위한 재생 시점을 찾기 위한 카운터 값을 나타내는 프레임 번호 정보(frame_number) 중 적어도 어느 하나를 포함할 수 있다.

상기 실시간 기준 영상 스트림 생성 단계는 상기 기준 영상을 부호화하여 기준 영상 스트림을 생성하는 비디오 부호화 단계; 상기 기준 영상 스트림을 패킷화하여 PES 패킷을 생성하는 PES 패킷화 단계; 상기 연동 정보를 기반으로 PSI/PSIP(Program Specific Information/Program and System Information Protocol)를 생성하는 PSI/PSIP 생성 단계; 및 상기 PSI/PSIP 및 상기 PES 패킷을 다중화하여 상기 실시간 기준 영상 스트림을 생성하는 다중화 단계를 포함할 수 있다.

상기 비디오 부호화 단계는 상기 기준 영상을 부호화하여 MPEG-2 영상 스트림을 생성하는 단계를 포함하고, 상기 다중화 단계는 상기 PSI/PSIP 및 상기 PES 패킷을 다중화하여 MPEG-2 TS 스트림을 생성하는 단계를 포함할 수 있다.

상기 부가 영상 및 콘텐츠 전송 단계는 상기 부가 영상 및 콘텐츠를 부호화하여 기초 스트림을 생성하는 비디오 부호화 단계; 상기 기초 스트림을 기반으로 전송 형태에 맞게 부가 영상 파일 또는 부가 영상 스트림을 생성하는 파일/스트림 생성 단계를 포함하되, 상기 비디오 부호화 단계 또는 상기 파일/스트림 생성 단계는 상기 동기화 정보를 생성하는 단계 또는 상기 연동 정보를 생성하는 단계를 포함할 수 있다.

상기 파일 또는 스트림 생성 단계는 상기 기초 스트림을 MP4 포맷 및 TS 포맷 중 어느 하나로 생성하는 단계를 포함하고, 상기 생성된 부가 영상 파일 또는 부가 영상 스트림은 실시간 또는 비실시간으로 상기 수신측으로 전송될 수 있다.

상기 동기화 정보는, 상기 기준 영상 스트림을 패킷화하는 제 1 PES 패킷화수단과 다른 별도의 PES 패킷화 수단을 통해 패킷화되어 별도의 스트림으로 전송되거나, 상기 제 1 PES 패킷화 수단을 통해 상기 PES 패킷의 헤더에 포함되어 패킷화되거나 또는 비디오 시퀀스에 포함되어 부호화될 수 있다.

상기 기준 영상은, 상기 기준 영상과 상기 동기화 정보 간의 동기를 맞추기 위해, 상기 3D 서비스의 시작 시점을 식별할 수 있는 정보를 포함하여 패킷화될 수 있다.

상기 연동 정보는 상기 실시간 기준 영상 스트림의 PSIP의 VCT(Virtual Channel Table), EIT(Event Information Table) 및 MPEG-2 TS PSI의 PMT(Program Map Table) 중 적어도 어느 하나 내에 포함될 수 있다.

상기한 목적을 달성하기 위한 본 발명의 3D 서비스를 제공하기 위한 전송 장치는 실시간으로 전송되는 기준 영상과 상기 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 전송 장치에 있어서, 기준 영상을 기반으로 실시간 기준 영상 스트림을 생성하여 실시간으로 수신측으로 전송하는 실시간 기준 영상 스트림 생성부; 및 상기 기준 영상과 연동하여 3D 서비스를 제공하는 부가 영상 및 콘텐츠를 상기 기준 영상 스트림과 별도로 상기 수신측으로 전송하는 부가 영상 및 콘텐츠 전송부를 포함하되, 상기 실시간 기준 영상 스트림은 상기 기준 영상과 연동될 부가 영상 및 콘텐츠와 관련된 정보인 연동 정보 및 상기 기준 영상과 상기 부가 영상 및 콘텐츠와의 동기를 맞추기 위한 동기화 정보를 포함할 수 있다.

상기 부가 영상 및 콘텐츠는 실시간으로 또는 비실시간으로 스트림 형태 또는 파일 형태로 전송될 수 있다.

상기한 목적을 달성하기 위한 본 발명의 3D 서비스를 제공하기 위한 수신 방법은 실시간으로 전송되는 기준 영상과 상기 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 수신 방법에 있어서, 실시간으로 수신된 실시간 기준 영상 스트림에 대해 역다중화 및 복호화를 수행하여 3D 서비스의 기준 영상을 생성하는 기준 영상 생성 단계; 상기 기준 영상과 연동하여 3D 서비스를 제공하는 부가 영상 및 콘텐츠와 관련된 부가 영상 스트림 또는 부가 영상 파일을 상기 기준 영상 스트림과 별도로 수신하여 복호화함으로써 상기 부가 영상을 생성하는 부가 영상 생성 단계; 및 상기 기준 영상과 상기 부가 영상을 기반으로 3D 스테레오스코픽 영상을 재생하는 재생 단계를 포함하되, 상기 기준 영상 생성 단계와 상기 부가 영상 생성 단계는, 상기 실시간 기준 영상 스트림에 포함된, 상기 기준 영상과 연동될 부가 영상 및 콘텐츠와 관련된 정보인 연동 정보 및 상기 기준 영상과 상기 부가 영상과의 동기를 맞추기 위한 동기화 정보를 기반으로 동기를 맞춰서 복호화를 수행하는 단계를 포함할 수 있다.

상기 기준 영상 생성 단계는 상기 실시간 기준 영상 스트림에 포함된 PSI/PSIP(Program Specific Information/Program and System Information Protocol)를 복호화하여 PES 패킷 및 상기 연동 정보를 추출하는 PSI/PSIP 복호화 단계; 상기 PES 패킷을 파싱하여 비디오 ES로 구성된 기준 영상 스트림을 생성하는 PES 파싱 단계; 및 상기 기준 영상 스트림을 복호화하여 상기 기준 영상을 생성하는 비디오 복호화 단계를 포함할 수 있다.

상기 동기화 정보는, 상기 PES 패킷을 파싱하여 상기 기준 영상 스트림을 생성하는 제 1 PES 파싱 수단과 다른 별도의 파싱 수단을 통해 상기 동기화 정보 스트림으로부터 획득되거나, 상기 제 1 PES 파싱 수단을 통해 상기 PES 패킷의 헤더를 분석하여 획득되거나, 또는 상기 기준 영상 스트림으로부터 획득될 수 있다.

상기 PSI/PSIP 복호화 단계는 상기 실시간 기준 영상 스트림에 포함된 PSI/PSIP의 PMT(Program Map Table)에 포함된 상기 기준 영상 스트림의 구성 정보를 분석하여 해당 영상이 기준 영상인지 부가 영상인지에 관한 정보 및 좌/우 영상 여부 관련 정보를 추출하고, 상기 PSIP의 VCT(Virtual Channel Table), EIT(Event Information Table) 및 MPEG-2 TS PSI의 PMT 중 적어도 어느 하나 내에 포함된 연동 서술자를 통해 상기 연동 정보를 추출할 수 있다.

상기 부가 영상 생성 단계는 상기 부가 영상 스트림 또는 상기 부가 영상 파일, 및 상기 연동 정보를 수신 및 저장하고 있는 수신/저장 단계; 상기 기준 영상 생성 단계에서 생성된 상기 동기화 정보를 수신하여 상기 기준 영상과 매칭이 되는 부가 영상과 관련된 부가 영상 스트림 및 파일 중 어느 하나를 기반으로 비디오 ES 형태의 기초 스트림을 생성하는 파일/스트림 파싱 단계; 및 상기 생성된 비디오 ES 형태의 기초 스트림을 복호화하여 상기 부가 영상을 생성하는 비디오 복호화 단계를 포함할 수 있다.

상기 수신/저장 단계는 상기 연동 정보의 상기 연동될 스트림 및 파일의 종류를 나타내는 연동 미디어 타입 정보(linkage_media_type) 및 상기 연동될 스트림 및 파일이 저장된 URL 정보를 나타내는 연동 URL 정보(linkage_URL)를 통해 상기 연동될 스트림 및 파일을 식별하는 단계를 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 3D 서비스를 제공하기 위한 수신 장치는 실시간으로 전송되는 기준 영상과 상기 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 수신 장치에 있어서, 실시간으로 수신된 실시간 기준 영상 스트림에 대해 역다중화 및 복호화를 수행하여 3D 서비스의 기준 영상을 생성하는 기준 영상 생성부; 상기 기준 영상과 연동하여 3D 서비스를 제공하는 부가 영상 및 콘텐츠와 관련된 부가 영상 스트림 또는 부가 영상 파일을 상기 기준 영상 스트림과 별도로 수신하여 복호화함으로써 상기 부가 영상을 생성하는 부가 영상 생성부; 및 상기 기준 영상과 상기 부가 영상을 기반으로 3D 스테레오스코픽 영상을 재생하는 재생부를 포함하되, 상기 기준 영상 생성부와 상기 부가 영상 생성부는, 상기 실시간 기준 영상 스트림에 포함된, 상기 기준 영상과 연동될 부가 영상 및 콘텐츠와 관련된 정보인 연동 정보 및 상기 기준 영상과 상기 부가 영상과의 동기를 맞추기 위한 동기화 정보를 기반으로 동기를 맞춰서 복호화를 수행할 수 있다.

실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법에 따르면, 실시간 방송과 실시간 방송과 미리 저장하는 비 실시간 전송의 하이브리드 환경에서 두 영상간의 참조관계와 동기화 정보를 두 영상 기술 표준에 추가 명기해줌으로써, 두 영상간의 참조관계를 위한 시그널링 방안과 프레임간 동기를 맞추기 위한 시간 정보를 삽입하여 고화질 3D 서비스를 구성하는 효과가 있다.

또한, 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법에 따르면, 시간차를 두고 수신한 다른 포맷을 가진 두 영상의 동기화를 통해 스테레오스코픽 비디오를 구성할 수 있는 기술의 토대를 마련하고, 저장매체를 활용하는 연동형 서비스를 제공하는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 시스템에 있어서, 송신단으로부터 수신단까지의 실시간 및 비실시간 전송이 이루어지는 모습을 설명하기 위한 블록도,
도 2는 본 발명의 일 실시예에 따른 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 연동 서술자를 나타낸 도면,
도 3은 본 발명의 일 실시예에 따른 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 동기화 정보 서술자를 나타낸 도면,
도 4는 본 발명의 일 실시예에 따른 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 전송 장치의 실시간 기준 영상 스트림 및 부가 영상 스트림 또는 파일의 생성 과정을 설명하기 위한 블록도,
도 5a는 본 발명의 일 실시예에 따라 부가 영상 및 콘텐츠 전송부가 방송망을 통해 수신 장치로 부가 영상 스트림을 전송하는 구성을 나타낸 블록도,
도 5b는 본 발명의 다른 실시예에 따라 부가 영상 및 콘텐츠 전송부가 IP 망을 통해 수신 장치로 부가 영상 스트림 또는 부가 영상 파일을 전송하는 구성을 나타낸 블록도,
도 6은 본 발명의 일 실시예에 따른 실시간 방송 서비스 환경에서 비 실시간으로 전송하는 콘텐츠와 연동하여 3D 서비스를 제공하기 위한 전송 장치의 구성을 나타낸 블록도,
도 7은 본 발명의 다른 실시예에 따른 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 전송 장치의 구성을 나타낸 블록도,
도 8은 본 발명의 다른 실시예에 따른 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 전송 장치의 PES 패킷 헤더에 동기화 정보가 포함된 모습을 나타낸 도면,
도 9는 본 발명의 또 다른 실시예에 따른 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 전송 장치의 구성을 나타낸 블록도,
도 10은 본 발명의 일 실시예에 따른 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 수신 장치의 기준 영상 및 부가 영상 생성 과정을 설명하기 위한 블록도,
도 11은 본 발명의 일 실시예에 따른 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 수신 장치의 구성을 나타낸 블록도,
도 12는 본 발명의 다른 실시예에 따른 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 수신 장치의 구성을 나타낸 블록도,
도 13은 본 발명의 또 다른 실시예에 따른 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 수신 장치의 구성을 나타낸 블록도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

본 발명에서 기술되는 고화질 스테레오스코픽 비디오를 구성하기 위한 기준 영상과 부가영상의 관계와 수신 단말기의 기능은 다음과 같이 가정한다. 3D 기준영상은 MPEG-2 TS기술표준으로 전달되는 실시간으로 전송되고, 부가영상은 ATSC NRT기술표준을 통해 사전에 전송될 수 있다. 또한 수신 단말기는 영상의 수신시점과 포맷이 다르기 때문에 기준영상에 있는 연동 정보와 동기화 정보를 인식하여 분석할 수 있어야 한다.

또한 본 발명에서는 MPEG-2 TS와 NRT 기술을 사용하는 방송 서비스에서 기술되지만, 기술 분야가 반드시 방송 서비스에서 한정될 필요는 없고, 3D 콘텐츠를 구성 영상이 수신 시점이 달라서 영상 간의 연관정보 및 동기화 정보가 없는 모든 분야에 적용될 수 있다.

또한, 본 발명에서는 부가 영상이라고 표현된 부분이 반드시 부가 영상을 제공하기 위한 비디오 정보만으로 한정될 필요는 없고, 부가 영상뿐만 아니라 콘텐츠로 확장하여 활용할 수 있다.

도 1은 본 발명의 일 실시예에 따른 실시간 방송 서비스 환경에서 비 실시간으로 전송 또는 수신되는 콘텐츠와 연동하여 3D 서비스를 제공하기 위한 시스템에 있어서, 송신단으로부터 수신단까지의 실시간 및 비실시간 전송이 이루어지는 모습을 설명하기 위한 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 3D 서비스 제공 시스템은 실시간 기준 영상 스트림 생성부(100), 부가 영상 및 콘텐츠 전송부(110), MPEG-2 TS 해석기(120), 기준 영상 생성부(130), 부가 영상 분석부(140), 수신/저장부(150) 및 3D 재생부(160)를 포함할 수 있다.

도 1을 참조하면, 송신단에서는 기준 영상을 실시간 기준 영상 스트림 생성부(110)를 통해 MPEG-2 TS 해석기(120)로 전송한다. 그리고, 송신단은 ATSC NRT 표준을 통해 전송할 부가 영상(20) 및 콘텐츠를 부가 영상 및 콘텐츠 전송부(110)를 통해 전송한다. 다만, 반드시 ATSC NRT 표준을 따를 것은 아니고, IP 망을 이용한 전달뿐만 아니라 방송망을 통해 실시간으로 부가 영상(20) 및 콘텐츠를 전송할 수 있다. 여기서, 부가 영상(20)이란 2D 영상 콘텐츠인 기준 영상(10)과 연동하여 3D 서비스를 제공할 수 있는 2D 영상을 의미한다. 부가 영상(20)은 NRT 송출 서버(110)에서 NRT 표준을 기반으로 부호화되어 MPEG-2 TS 형태로 비실시간으로 MPEG-2 TS 해석기로 전송될 수 있다. 하지만, 반드시 MPEG-2 TS 형태로만 국한되는 것은 아니다. 비실시간 스트림을 전송할 수 있는 다른 포맷으로도 전송될 수 있다. 이때, 영상의 수신시점과 영상포맷이 각각 다르기 때문에 부가 영상 및 콘텐츠 전송부(110)는 실시간 기준 영상 스트림 생성부(100)에 연동 정보와 동기화 정보를 전달한다. 기준 영상(10)이 실시간 기준 영상 스트림으로 생성되는 과정에 있어서, 실시간 기준 영상 스트림 생성부(100)는 3D 시작 표시 화면 정보를 삽입하여 3D 서비스의 제공을 시작하는 시점을 명확히 하여 전송될 수 있다.

MPEG-2 TS 해석기(120)는 실시간 기준 영상 스트림을 기준 영상 생성부(130)로, 그리고 부가 영상과 관련된 스트림 또는 파일은 부가 영상 분석부(140)로 전달한다. 실시간으로 전송되는 부가 영상 스트림은 부가 영상 분석부(140)에서 수신/저장부(150)로 전달되어 실시간으로 3D 재생부(160)로 들어가서 3D 스테레오스코픽 영상으로 출력된다. 반면, 비실시간 스트림 또는 파일은 부가 영상 분석부(140)를 통해 수신/저장부(150)에 저장된다. 실시간 기준 영상 스트림은 기준 영상 생성부(130)를 통해 기준 영상(10)으로 복호화되어 3D 재생부(160)로 전달된다. 이때, 송신단에서 실시간 기준 영상 스트림에 포함되어 전송된 것과 마찬가지로, 수신된 실시간 기준 영상 스트림에 포함된 연동 정보와 동기화 정보를 추출하여 수신/저장부(150)로 전달한다. 수신/저장부(150)는 연동 정보와 동기화 정보를 통해 기준 영상(10)과 연동될 부가 영상 관련 스트림 또는 파일과 기준 영상(10)과 동기가 맞는 부가 영상(20)을 찾아 3D 재생부(160)로 전달하여 화면에 스테레오스코픽 영상으로 출력되도록 한다.

본 발명의 일 실시예에 따르면, 연동 정보는 실시간 기준 영상 스트림의 PSIP(Program and System Information Protocol)의 VCT(Virtual Channel Table) 또는 EIT(Event Information Table)와 MPEG-2 TS(Transport Stream) PSI(Program Specific information) 정보의 PMT(Program Map Table) 내에 위치 할 수 있다.

도 2는 본 발명의 일 실시예에 따른 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 연동 서술자를 나타낸 도면이다. 도 2에 도시된 바와 같이, 연동 서술자는 서술자 태그(210: descriptor_tag), 서술자 길이 정보(220: descriptor_length), 연동 미디어 개수 정보(230: linkage_media_number), 미디어 인덱스 id 정보(240: media_index_id), 웨이크업 시간 정보(250: start_time), URL 길이 정보(260: linkage_URL_length), 연동 URL 정보(270: linkage_file_URL), 연동 미디어 타입 정보(270: linkage_media_type) 및 트랙 ID(280: track_id)를 포함할 수 있다. 또한, 상기 정보를 전부 다 포함하지 않고, 일부만 포함할 수도 있다.

도 2를 참조하면, 연동 서술자는 연동 정보와 관련된 서술자로서, 연동될 스트림 또는 파일의 수, 연동될 스트림 또는 파일의 URL 정보 및 연동될 스트림 또는 파일의 종류와 관련된 정보를 포함할 수 있다. 이를 신택스로 표현하면 다음과 같다.

도 2 및 표 1을 참조하면, 먼저, 연동 서술자에 포함된 첫 번째 정보인 서술자 태그(210)는 연동 서술자라는 것을 식별하는데 사용된다. 서술자 태그(210)는 8비트의 길이 값을 가질 수 있다.

다음으로, 서술자 길이 정보(220)는 연동 서술자의 길이를 나타낸다. 서술자 길이 정보(220)는 8비트의 길이 값을 가질 수 있다.

연동 미디어 개수 정보(230)는 연동 서술자에 포함된 연동될 스트림 또는 파일의 수를 나타낸다. 연동 미디어 개수 정보(230)도 8비트의 길이 값을 가질 수 있다.

그리고, 연동 미디어 개수가 i 값보다 클 때(여기서, i는 1의 초기 값을 갖고 루프를 한번 거칠 때마다 1씩 증가함), 다음의 정보를 더 표시할 수 있다.

먼저, 미디어 인덱스 id 정보(240)는 연동될 스트림 또는 파일을 식별할 수 있는 ID 값을 나타낸다. 미디어 인덱스 id 정보(240)는 8 비트의 길이 값을 가질 수 있다.

웨이크업 시간 정보(250)는 연동될 스트림 또는 파일의 시작 시간을 나타낸다. 웨이크업 시간 정보(250)는 32 비트의 길이 값을 가질 수 있다.

URL 길이 정보(260)는 연동될 스트림 또는 파일의 이름의 길이를 나타낸다. 연동될 스트림 또는 파일의 URL 정보는 가변적인 길이를 가지고 있기 때문에 URL 길이 정보(260)를 통해 연동될 스트림 또는 파일의 URL 정보의 길이를 수신측에서 파악할 수 있다. URL 길이 정보(260)는 8비트의 길이 값을 가질 수 있다.

연동 URL 정보(270)는 연동될 스트림 또는 파일의 이름을 나타낸다. 연동될 스트림 또는 파일은 실시간으로 전송될 수도 있고, 또는 NRT 서비스를 통해 미리 수신 단말기에 저장되므로 연동될 스트림 또는 파일의 URL 정보가 필요하다. 따라서, 연동 URL 정보(270)를 통해 기준 영상 스트림과 연동될 스트림 또는 파일의 URL 정보를 확인할 수 있다. 연동 URL 정보(270)는 가변적인 비트 값을 가질 수 있다.

연동 미디어 타입 정보(280)는 기준 영상과 연동될 스트림 또는 파일의 종류를 나타낸다. 본 발명의 실시예에 따르면, 3D 서비스에 사용될 부가 영상은 MP4 파일 타입으로 생성될 수 있다. 하지만, 연동 미디어 타입 정보(280)는 부가 영상을 기반으로 생성되는 스트림 또는 파일의 포맷 형태의 다양성을 고려하여, 스트림 또는 파일의 종류의 확장이 가능한 필드로 구성할 수 있다.

트랙 ID(290)는 연동될 스트림 또는 파일 타입이 MP4와 같이 특정 타입인 경우, 해당 스트림 또는 파일의 트랙 ID를 나타낸다. 트랙 ID(290)는 32 비트의 길이 값을 가질 수 있다.

도 3은 본 발명의 일 실시예에 따른 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 동기화 정보 서술자를 나타낸 도면이다. 도 3에 도시된 바와 같이, 동기화 정보 서술자는 동기화 정보 식별자(310: identifier), 3D 구분 플래그(320: 2D_3D_flag), 미디어 인덱스 id 정보(330: media_index_id) 및 프레임 번호 정보(340: frame_number)를 포함할 수 있다. 또한, 상기 정보를 전부 다 포함하지 않고, 일부만 포함할 수도 있다.

기준 영상은 실시간으로 전송되고, 부가 영상은 실시간으로 전송되던지 또는 사전에 비실시간으로 전송되기 때문에, 스테레오스코픽 비디오를 구성하기 위해서는 각 콘텐츠 간의 동기화가 반드시 필요하다. 따라서, 두 콘텐츠 간의 동기를 맞추기 위해 기준 영상과 부가 영상에 공통으로 적용될 동기화 정보가 포함되어야 한다.

도 3을 참조하면, 동기화 정보(또는 타이밍 정보라고도 함)는 기준 영상과 부가 영상의 동기화 정보로서, 실시간 기준 영상 스트림에 각각 다르게 포함하여 전송이 가능하다. 이하, 다수의 실시예를 통해 이를 설명하고자 한다. 동기화 정보는 MPEG-2 영상 스트림 내부에 포함될 수도 있고, PES 헤더의 private data section에 포함될 수도 있으며, 새로운 스트림의 형태로 정의하여 별도의 PID(Packet Identifier)를 갖는 TS 패킷의 형태로도 전송이 가능하다. 동기화 정보를 신택스로 표현하면 다음과 같다.

도 3 및 표 2를 참조하면, 타이밍 정보(Timing information)는 실시간 기준 영상 스트림의 페이로드를 통해 전송되는 동기화 정보이다. 동기화 정보는 동기화 정보 식별자(310)를 포함한다. 동기화 정보 식별자(310)는 상기 식별자(310) 이후에 동기화 정보가 존재한다는 것을 나타낸다. 동기화 정보 식별자(310)는 8비트의 길이 값을 가질 수 있다.

3D 구분 플래그(320)는 현재 전송되는 방송 스트림의 소비 정보가 2D 인지 3D 인지를 구별해준다. 3D 구분 플래그(320)는 1비트의 길이 값을 가질 수 있다. 예컨대, 3D 구분 플래그(320)가 '1'의 값을 가지면, 현재 전송되는 스트림은 3D 서비스를 제공하기 위한 스트림이고, '0'의 값을 가지면, 2D 서비스를 위한 스트림임을 나타낼 수 있다.

만약 3D 구분 플래그(320)가 3D 서비스를 제공하기 위한 스트림임을 나타내는 경우, 다음의 정보를 더 포함할 수 있다.

미디어 인덱스 id 정보(330)는 기준 영상과 연동될 스트림 또는 파일을 식별하기 위한 id 값을 나타낸다. 도 2에 도시된 연동 서술자에는 연동 미디어 개수 정보(230)에 나타낸 개수만큼의 연동될 스트림 또는 파일이 존재하고, 각 스트림 또는 파일들을 구별해 주기 위해 동기화 정보에 미디어 인덱스 id 정보(330) 값을 사용할 수 있다. 연동 서술자의 연동 미디어 개수 정보(230) 필드 아래에 있는 루프에서 i는 미디어 인덱스(330)를 나타낸다. 첫 번째 값들은 미디어 인덱스 id 정보(330)를 1로 정의한다. 그리고는, 루프가 다시 동작할 때마다 미디어 인덱스 id 정보(330) 값이 1씩 증가한다. 미디어 인덱스 id 정보(330)는 8 비트의 길이 값을 가질 수 있다.

프레임 번호 정보(340)는 기준 영상과 부가 영상의 연동을 위한 재생 시점을 찾아낼 카운터 값을 나타낸다. 즉, 기준 영상의 픽처를 카운트하여 i 번째 픽처부터 3D 서비스를 위한 연동을 수행한다고 하면, 프레임 번호 정보(340)에 i라는 번호 정보를 포함하여 동기화 정보가 전송될 수 있다. 부가 영상도 마찬가지로 카운터 값을 가진다. 프레임 번호 정보(340)는 32비트의 길이 값을 가질 수 있다.

본 발명의 실시예에 따르면, 수신측에서는 프레임 번호 정보(340)와 미디어 인덱스 id 정보(330)를 이용하여 매우 적은 량의 정보로 동기화를 수행할 수 있는 장점을 가진다. 동기화 정보는 별도의 스트림으로 전송될 수 있다.

도 4는 본 발명의 일 실시예에 따른 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 전송 장치의 실시간 기준 영상 스트림 및 부가 영상 스트림 또는 파일의 생성 과정을 설명하기 위한 블록도이다. 도 4를 참조하면, 본 발명의 일 실시예에 따른 전송 장치는 영상 저장부(400), 비디오 부호화부(410), PES 패킷화부(420) 및 다중화부(430)를 포함하는 실시간 기준 영상 스트림 생성부와 비디오 부호화부(440) 및 파일/스트림 생성부(450)를 포함하는 부가 영상 및 콘텐츠 전송부를 포함할 수 있다.

도 4를 참조하면, 기준 영상(402)과 관련하여, 실시간 기준 영상 스트림 생성부는 기준 영상(402)을 부호화하고, 패킷화 및 다중화하여 실시간 기준 영상 스트림을 생성한다. 기준 영상(402)은 영상 저장부(400)에 부가 영상(404)과 함께 저장되어 있다.

비디오 부호화부(410)는 영상 저장부(400)로부터 기준 영상(402)을 수신하여 이를 부호화함으로써 기준 영상 스트림을 생성한다. 본 발명의 일 실시예에 따르면, 비디오 부호화부(410)는 MPEG-2 영상 인코더일 수 있고, 기준 영상(402)은 MPEG-2 영상 스트림으로 부호화될 수 있다.

PES 패킷화부(420)는 비디오 부호화부(410)로부터 기준 영상 스트림을 수신하여 이를 패킷화함으로써 PES 패킷을 생성한다. 이때, PES 패킷화부는 기준 영상(402)에 3D 시작 표시 화면을 삽입하여 3D 방송의 시작 시점을 기준으로 기준 영상(402)과 동기를 맞출 수 있도록 한다.

다중화부(430)는 PES 패킷화부(430)로부터 기준 영상과 관련된 PES 패킷을 수신하고, PSI/PSIP 생성부(미도시)로부터 PSI/PSIP를 수신하여 이를 다중화함으로써 실시간 기준 영상 스트림을 생성한다. 다중화부(430)는 MPEG-2 TS 패킷 형태로 상기 실시간 기준 영상 스트림을 생성할 수 있다.

부가 영상(404)과 관련하여, 부가 영상 및 콘텐츠 전송부는 부가 영상(404) 및 콘텐츠를 부호화하고, 스트림 또는 파일을 생성하여 다중화함으로써 부가 영상 스트림 또는 부가 영상 파일을 생성한다.

비디오 부호화부(440)는 영상 저장부(400)로부터 부가 영상(404) 및 콘텐츠를 수신하여 부호화함으로써 기초 스트림을 생성한다. 본 발명의 실시예에 따르면, 기초 스트림은 비디오 ES 형태를 가질 수 있다.

파일/스트림 생성부(460)는 비디오 부호화부(440)로부터 부가 영상(404) 및 콘텐츠를 기반으로 생성된 기초 스트림을 기반으로 부가 영상 스트림 또는 파일을 생성한다. 스트림 생성부(462)는 먹서(Muxer)가 될 수 있고, 기초 스트림을 다중화하여 부가 영상 스트림을 생성한다. 본 발명의 일 실시예에 따르면 부가 영상 스트림은 MPEG-2 TS 스트림일 수 있다. 부가 영상 스트림은 스트리밍의 전송 형태를 통해 실시간으로 전송될 수 있다. 파일 생성부(464)는 기초 스트림을 기반으로 부가 영상 파일을 생성한다. 본 발명의 실시예에 따르면, 파일은 MP4 파일일 수 있다. 부가 영상 파일은 실시간으로 수신되어 바로 재생될 수도 있고, 비실시간으로 사전에 전송되어 수신측에 저장될 수 있고, 이후, 실시간으로 전송되는 기준 영상(402)과 연동하여 3D 스트레오스코픽 영상을 생성할 수 있다.

도면에 도시되진 않았지만, 실시간 기준 영상 스트림 생성부와 부가 영상 및 콘텐츠 전송부는 전송부를 포함하고, 다중화부(430) 및 파일/스트림 생성부(460)를 통해 생성된 스트림 또는 파일을 수신측으로 전송한다.

도 5a는 본 발명의 일 실시예에 따라 부가 영상 및 콘텐츠 전송부가 방송망을 통해 수신 장치로 부가 영상 스트림을 전송하는 구성을 나타낸 블록도이다. 도 5a에 도시된 바와 같이, 부가 영상 및 콘텐츠 전송부(500)는 방송망(510)을 통해 수신 장치(520)로 부가 영상 스트림을 전송할 수 있다. 이때, 전송 형태는 스트리밍 형태가 될 수 있다. 본 실시예에 따르면, 기준 영상과 부가 영상이 동시에 실시간으로 수신 장치(520)로 전송되나, 기준 영상과 부가 영상은 별도의 스트림을 통해 전송된다. 따라서, 연동 정보와 동기화 정보를 스트림에 포함하거나 별도의 스트림을 통해 전송함으로써 실시간으로 전송되는 기준 영상과 부가 영상의 동기화를 수행할 수 있다.

도 5b는 본 발명의 다른 실시예에 따라 부가 영상 및 콘텐츠 전송부가 IP 망을 통해 수신 장치로 부가 영상 스트림 또는 부가 영상 파일을 전송하는 구성을 나타낸 블록도이다. 도 5b에 도시된 바와 같이, 부가 영상 및 콘텐츠 전송부(550)는 IP 네트워크(560)를 통해 수신 장치(570)로 부가 영상을 전송할 수 있다. 이때, 수신 장치(570)는 IP 네트워크(560)를 통해 부가 영상 및 콘텐츠 전송부(550)로 부가 영상의 전송을 요청할 수 있다. 부가 영상 및 콘텐츠 전송부(550)는 상기 요청을 수신하는 경우, 요청에 응답하여 해당 부가 영상을 스트리밍 또는 파일의 형태로 전송한다. 스트리밍 형태로 전송하는 경우, 실시간으로 전송될 수도 있다. 또한, 비실시간으로 전송될 수도 있다. 파일의 경우도 실시간 또는 비실시간으로 전송될 수 있다. 본 발명의 실시예에 따르면, 별도의 영상 요청이 없이도, 부가 영상 및 콘텐츠를 수신 장치(570)로 전송할 수 있다.

도 6은 본 발명의 일 실시예에 따른 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 전송 장치의 구성을 나타낸 블록도이다. 도 6에 도시된 바와 같이, 본 발명의 일 실시예에 따른 3D 서비스 제공을 위한 전송 장치는 실시간 기준 영상 스트림 생성부(600) 및 부가 영상 및 콘텐츠 전송부(660)를 포함할 수 있다.

도 6을 참조하면, 실시간 기준 영상 스트림 생성부(600)는 영상 저장부(610), 비디오 부호화부(620), PES 패킷화부 세트(630), PSI/PSIP 생성부(640) 및 다중화부(650)를 포함할 수 있다. 실시간 기준 영상 스트림 생성부(600)는 기준 영상(402)을 기반으로 실시간 기준 영상 스트림을 생성하여 실시간으로 수신측으로 전송한다.

먼저, 영상 저장부(610)는 기준 영상(602)과 부가 영상(606)을 저장하고 있다. 기준 영상(602)은 전술한 바와 같이, 3D 서비스를 위한 영상으로서 3D 서비스의 좌영상을 나타낸다. 부가 영상(606)은 상기 기준 영상(602)과 연동하여 3D 화면을 구성하는 2D 영상으로, 3D 우영상을 나타낸다. 3D 좌영상과 3D 우영상은 서로 경우에 따라 서로 바뀔 수 있다. 기준 영상(602)은 방송 편성 순서대로 지칭될 수 있고, 순서에 따라 비디오 부호화부(620)로 전달된다. 기준 영상(602)은 3D TV의 시작 표시 화면(604)을 나타내는 정보를 포함할 수 있다. 영상 저장부(610)는 기준 영상(602)과 부가 영상(606)을 저장하고 있고, 기준 영상(604)은 실시간 기준 영상 스트림의 생성을 위해 비디오 부호화부(620)로, 부가 영상(606)은 부가 영상 스트림 또는 부가 영상 파일의 생성을 위해 비디오 부호화부(660)로 전송한다. 영상 저장부(610)는 부가 영상 및 콘텐츠 전송부(660)에 포함된 비디오 부호화부(662)로부터 동기화 정보(608)를 수신하여 저장하고 있다가 PES 패킷화부(634)로 상기 동기화 정보(608)를 전달한다.

비디오 부호화부(620)는 영상 저장부(610)로부터 기준 영상(602)을 수신하여 이를 부호화함으로써 기준 영상 스트림을 생성한다. 본 발명의 일 실시예에 따르면, 비디오 부호화부(620)는 MPEG-2 영상 인코더일 수 있고, 기준 영상(602)은 MPEG-2 영상 스트림으로 부호화될 수 있다.

PES 패킷화부 세트(630)는 두 개의 PES 패킷화부(632, 634)를 포함할 수 있다. PES 패킷화부(632)는 비디오 부호화부(620)로부터 기준 영상 스트림을 수신하여 이를 패킷화함으로써 PES 패킷을 생성한다. 이때, PES 패킷화부는 기준 영상(602)에 3D 시작 표시 화면(604)을 삽입하여 3D 방송의 시작 시점을 기준으로 기준 영상(602)과 동기화 정보(608) 간의 동기를 맞출 수 있도록 한다. 상기 3D 시작 표시 화면(604)을 통해 사용차 측면에서는 3D 서비스 소비가 가능함을 알 수가 있다.

다른 PES 패킷화부(634)는 영상 저장부(610)로부터 동기화 정보(608)를 수신하여 이를 기반으로 PES 패킷을 생성한다. 즉, PES 패킷화부(634)는 PES 패킷화부(632)에서 생성된 PES 패킷과 다른 패킷을 생성하고, 여기에 포함된 동기화 정보(608)는 PES 패킷의 페이로드에 위치할 수 있다. 또한, 동기화 정보(608)는 별도의 스트림으로 다중화되어 수신측으로 전송될 수 있다.

PSI/PSIP 패킷화부(640)는 부가 영상 및 콘텐츠 전송부(660)의 파일 포맷 생성부(664)로부터 연동 정보(642)를 수신하여 이를 기반으로 PSI/PSIP를 생성한다. 전술한 바와 같이, PSI/PSIP 패킷화부(640)는 연동 정보(642)가 PSIP의 VCT(Virtual Channel Table), EIT(Event Information Table) 및 MPEG-2 TS PSI의 PMT(Program Map Table) 중 적어도 어느 하나 내에 포함되도록 패킷화할 수 있다. 여기서, EIT 및 PMT는 3D 서비스 구성 정보 및 해당 서비스의 진행 시간을 알려줄 수 있는 시간 값을 바탕으로 비실시간 콘텐츠의 연동과 관련된 정보를 포함할 수 있다. 특히, PMT에는 기준 영상 스트림과 동기화 정보 스트림의 구성 정보를 포함할 수 있고, 특히, stereoscopic_video_info_descriptor에는 스트림의 타입에 따라 기준 영상 스트림과 동기화 정보 스트림의 처리를 달리할 수 있도록, 해당 영상이 기준 영상(602)인지 부가 영상(606)인지에 관한 정보 및 좌영상인지 우영상인지에 대한 정보를 포함하고 있다.

다중화부(650)는 각각의 PES 패킷화부(632, 634)로부터 기준 영상과 관련된 PES 패킷 및 동기화 정보와 관련된 PES 패킷을 수신하고, PSI/PSIP 생성부(640)로부터 PSI/PSIP를 수신하여 이를 다중화함으로써 실시간 기준 영상 스트림을 생성한다. 이때, 기준 영상과 관련된 스트림과 별도로 동기화 정보를 포함하는 스트림을 생성할 수 있다. 다중화부(650)는 MPEG-2 TS 패킷 형태로 상기 실시간 기준 영상 스트림을 생성할 수 있다.

도면에 도시되진 않았지만, 본 발명은 전송부를 포함할 수 있고, 전송부는 실시간 기준 영상 스트림을 수신측으로 송신한다.

부가 영상 및 콘텐츠 전송부(660)는 비디오 부호화부(662) 및 파일 포맷 생성부(664)를 포함할 수 있다.

부가 영상 및 콘텐츠 전송부(660)는 실시간 기준 영상 스트림 생성부(600)의 영상 저장부(610)로부터 부가 영상(606)을 수신하고, 수신된 부가 영상(606)을 기반으로 부가 영상 스트림 또는 부가 영상 파일을 생성하여 실시간 또는 비실시간으로 수신측으로 전송한다.

비디오 부호화부(662)는 영상 저장부(610)로부터 부가 영상(606)을 입력으로 받아 부호화하여 기초 스트림을 생성한다. 비디오 부호화부(662)는 실시간 기준 영상 스트림 생성부(600)에 포함된 비디오 부호화부(620)와 다른 구성요소이고, 다른 규격을 갖는 인코더를 쓸 수 있다. 비디오 부호화부(662)는 부가 영상(606) 관련 정보를 기반으로 기준 영상(602)과의 동기화를 위한 동기화 정보(608)를 생성할 수 있다. 비디오 부호화부(662)는 동기화 정보(608)를 영상 저장부(610)로 전송할 수 있다.

파일/스트림 생성부(664)는 비디오 부호화부(662)에서 부호화된 기초 스트림을 입력으로 받아, 부가 영상 파일 또는 부가 영상 스트림을 생성한다. 본 발명의 일 실시예에 따르면, 파일/스트림 생성부(664)는 기초 스트림을 MP4 파일의 형태로 생성할 수 있다. 또한, 파일/스트림 생성부(664)는 MPEG-2 TS 패킷 형태로 부가 영상 스트림을 생성할 수 있다. 파일/스트림 생성부(664)는 기초 스트림을 기반으로 부가 영상 파일 또는 부가 영상 스트림을 생성하면서, 생성되는 스트림 또는 파일의 정보를 획득할 수 있고, 획득된 정보를 기반으로 특정 서술자 등을 이용함으로써 연동 정보(642)를 생성할 수 있다. 생성된 연동 정보(642)는 실시간 기준 영상 스트림 생성부(600)로 전송되어 PSI/PSIP 생성부(640) 및 다중화부(650)를 통해 실시간 기준 영상 스트림에 포함되어 전송된다.

도면에 도시되진 않았지만, 상기 부가 영상 및 콘텐츠 전송부(660)는 전송부를 더 포함할 수 있고, 전송부는 생성된 부가 영상 스트림 또는 부가 영상 파일을 실시간 또는 비실시간으로 수신측으로 전송한다.

도 7은 본 발명의 다른 실시예에 따른 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 전송 장치의 구성을 나타낸 블록도이다. 도 7에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 전송 장치는 동기화 정보(708)를 PES 패킷의 헤더의 PES private data를 통해 전달되도록 하는 구성을 포함한다. 도 7과 관련된 구성 요소 중 설명되지 않는 구성 요소는 도 6과 동일한 기능을 수행한다.

도 7을 참조하면, 부가 영상(606) 및 콘텐츠을 기반으로 부가 영상 및 콘텐츠 전송부(660)의 비디오 부호화부(662)를 통해 생성된 동기화 정보(608)가 기준 영상 스트림을 기반으로 PES 패킷을 생성하는 PES 패킷화부(632)와 다른 별도의 PES 패킷화부(634)를 통해 PES 페이로드에 위치하는 도 6의 실시예와는 달리, 기준 영상 스트림을 기반으로 PES 패킷을 생성하는 PES 패킷화부(730)를 통해 PES 헤더의 PES private data에 포함되어 다중화된다. 즉, 이 경우, PES 패킷화부(730)는 하나만 있으면 되고, 별도의 패킷화부를 가지 필요가 없어 효율적인 구성이 될 수 있다. 즉, 이 경우, 동기화 정보(708)는 기준 영상 스트림과 별도의 스트림으로 전송되지 않고, 기준 영상 스트림에 포함되어 전송된다.

도 8은 본 발명의 다른 실시예에 따른 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 전송 장치의 PES 패킷 헤더(800)에 동기화 정보(802)가 포함된 모습을 나타낸 도면이다.

도 8을 참조하면, PES 패킷 헤더(800)에 동기화 정보(802)가 포함되어 있다. 전술한 바와 같이, 동기화 정보(802)는 실시간 스트림에 따라 각각 다르게 포함되어 전송이 가능한데, MPEG-2 영상 스트림 내부에 포함될 수 있고, 새로운 스트림의 형태로 정의하여 별도의 PID를 갖는 TS 패킷 형태로도 전송이 가능하나, 도 8에 도시된 바와 같이, PES 헤더(800)의 PES private data에 포함되어 전송될 수도 있다.

도 9는 본 발명의 또 다른 실시예에 따른 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 전송 장치의 구성을 나타낸 블록도이다. 도 9에 도시된 바와 같이, 본 발명의 또 다른 실시예에 따른 전송 장치는 동기화 정보(908)를 MPEG-2 비디오 시퀀스에 포함되어 전달되도록 하는 구성을 포함한다. 도 9와 관련된 구성 요소 중 설명되지 않는 구성 요소는 도 6과 동일한 기능을 수행한다.

도 9를 참조하면, 부가 영상(906)을 기반으로 비디오 부호화부(962)를 통해 생성된 동기화 정보(908)는 영상 저장부(910)로 전송되지 않고, 직접 실시간 기준 영상 스트림 생성부(900)의 비디오 부호화부(920)로 전달된다. 따라서, 동기화 정보(908)는 PES 패킷의 PES 페이로드에 위치하거나, 또는 PES 패킷 헤더의 PES private data에 포함되어 전달되지 않고, 비디오 부호화부(920)를 통해 비디오 시퀀스에 포함되어 부호화될 수 있다. 본 발명의 실시예에 따르면, 비디오 부호화부(920)가 MPEG-2 영상 스트림을 생성하는 경우, 비디오 부호화부(920)는 동기화 정보(908)를 MPEG-2 비디오 시퀀스에 포함하여 부호화한다. 부호화된 MPEG-2 영상 스트림은 PES 패킷화부(930) 및 다중화부(950)를 거쳐 수신측으로 전송된다.

도 10은 본 발명의 일 실시예에 따른 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 수신 장치의 기준 영상 및 부가 영상 생성 과정을 설명하기 위한 블록도이다. 도 10에 도시된 바와 같이, 본 발명의 일 실시예에 따른 수신 장치는 역다중화부(1010) 및 비디오 복호화부(1030)를 포함하는 기준 영상 생성부와 수신/저장부(1050), 파일/스트림 파싱부(1064) 및 비디오 복호화부(1070)를 포함하는 부가 영상 생성부 및 재생부(1040)를 포함할 수 있다.

도 10을 참조하면, 기준 영상 생성부는 역다중화부(1010) 및 비디오 복호화부(1030)를 포함할 수 있다. 기준 영상 생성부는 실시간으로 수신된 실시간 기준 영상 스트림에 대해 역다중화 및 복호화를 수행하여 3D 서비스의 기준 영상을 생성한다. 역다중화부(1010)는 실시간 기준 영상 스트림을 수신하여 역다중화함으로써 기준 영상 스트림을 추출하고, 동기화 정보와 연동 정보를 추출할 수 있다. 추출된 기준 영상 스트림은 비디오 복호화부(1030)에서 복호화되어 기준 영상으로 생성되고, 동기화 정보는 부가 영상 생성부로 전송되어 부가 영상 스트림 또는 부가 영상 파일을 기반으로 생성되는 부가 영상을 복호화할 때, 활용될 수 있다.

부가 영상 생성부는 수신/저장부(1050), 파일/스트림 파싱부(1060) 및 비디오 복호화부(1070)를 포함할 수 있다. 부가 영상 생성부는 기준 영상과 연동하여 3D 서비스를 제공하는 부가 영상과 관련된 부가 영상 스트림 또는 부가 영상 파일을 방송망 또는 IP 망을 통해 실시간 또는 비실시간으로 수신하여 복호화함으로써 부가 영상을 생성한다.

부가 영상 스트림 또는 부가 영상 파일은 수신/저장부(1050)에서 실시간으로 수신하여 저장 과정 없이 바로 파싱 및 복호화 과정을 거쳐 영상으로 재생될 수 있고, 비실시간으로 수신하여 파일 형태로 저장되었다가 재생될 수 있다. 즉, 부가 영상 스트림 또는 부가 영상 파일은 대응하는 실시간 기준 영상 스트림보다 먼저 수신되어 저장될 수 있다.

파일/스트림 파싱부(1060)는 스트림 파싱부(1062) 및 파일 파싱부(1064)를 포함한다. 스트림 파싱부(1062)는 스트림을 파싱하는 기능을 수행한다. 즉, 부가 영상 스트림을 역다중화하여 비디오 ES 형태의 스트림을 생성할 수 있다. 본 발명의 실시예에 따르면, 스트림 파싱부(1062)는 MPEG-2 TS 형태의 부가 영상 스트림을 역다중화하여 비디오 ES 형태의 스트림을 생성할 수 있다.

파일 파싱부(1064)는 실시간으로 전송되는 파일 또는 비실시간으로 전송된, 즉 사전에 전송된 부가 영상 파일을 파싱하여 비디오 ES 형태의 스트림을 생성할 수 있다.

이때, 파일/스트림 파싱부(1060)는 동기화 정보를 파싱하여 기준 영상과의 동기를 맞춘 후, 대응하는 부가 영상을 기준 영상이 복호화되는 시점(DTS를 고려하여 추출함)에 복호화되도록 비디오 ES 형태의 스트림을 비디오 복호화부(1070)로 전달한다.

이렇게 생성된 비디오 ES 형태의 스트림은 비디오 복호화부(1070)에서 복호화되어 부가 영상이 된다.

재생부(1040)는 기준 영상 생성부의 비디오 복호화부(1030)로부터 수신한 기준 영상과 부가 영상 생성부의 비디오 복호화부(1070)로부터 수신한 부가 영상을 기반으로 스테레오스코픽 영상을 구성하여 재생한다.

도 11은 본 발명의 일 실시예에 따른 실시간 방송 서비스 환경에서 비 실시간으로 수신되는 콘텐츠와 연동하여 3D 서비스를 제공하기 위한 수신 장치의 구성을 나타낸 블록도이다. 도 11에 도시된 바와 같이, 본 발명의 일 실시예에 따른 수신 장치는 기준 영상 생성부(1100) 및 부가 영상 생성부(1150) 및 재생부(1160)를 포함할 수 있다.

도 11을 참조하면, 기준 영상 생성부(1100)는 역다중화부(1110) 및 비디오 부호화부(1120)를 포함하고, 역다중화부(1110)는 PSI/PSIP 복호화부(1112), PES 파싱부(1114, 1116)를 포함할 수 있다. 기준 영상 생성부(1100)는 실시간으로 수신된 실시간 기준 영상 스트림에 대해 역다중화 및 복호화를 수행하여 3D 서비스의 기준 영상을 생성한다.

먼저, PSI/PSIP 복호화부(1112)는 실시간 기준 영상 스트림에 포함된 PSI/PSIP 스트림을 추출한다. PSI/PSIP 복호화부(1112)는 기준 영상 스트림 및 동기화 정보 스트림의 구성 정보와 연동 서술자를 통해, 기준 영상과 관련된 PES 패킷, 동기화 정보 스트림 및 연동 정보를 추출한다. 기준 영상과 관련된 PES 패킷은 PES 파싱부(1114)로 전송되고, 동기화 정보 스트림은 다른 PES 파싱부(1116)로 전송되며, 연동 정보는 부가 영상 생성부(1150)의 수신/저장부(1152)로 전송된다. 기준 영상 스트림과 동기화 정보 스트림의 구성 정보는 PMT에 포함되어 있다. 따라서, PSI/PSIP 복호화부(1112)는 PMT의 stereoscopic_video_info_descriptor를 분석하여 해당 영상이 기준 영상인지 부가 영상인지 여부와 좌/우 영상 여부를 확인한다.

PES 파싱부(1114)는 PSI/PSIP 복호화부(1112)로부터 기준 영상과 관련된 PES 패킷을 수신하여 상기 PES 패킷을 파싱함으로써 비디오 ES로 구성된 기준 영상 스트림을 생성한다. 즉, PES 파싱부(1114)는 PES 패킷을 기반으로 기준 영상 스트림을 비디오 ES로 구성하여 기존 방송 규격대로 DTS(Decoding Time Stamp)와 PCR(Program Clock Reference)의 값이 같아지는 때, 비디오 복호화부(1120)로 전송한다. 본 발명의 실시예에 따르면, 기준 영상 스트림은 MPEG-2 영상 스트림일 수 있다.

한편, 동기화 정보를 포함한 스트림은 다른 PES 파싱부(1116)로 전송된다. PES 파싱부(1116)는 동기화 정보 스트림으로부터 3D 화면을 구성하기 위한 동기화 정보를 추출한다. PES 파싱부(1116)는 기준 영상의 DTS와 대응되는 시점의 동기화 정보를 부가 영상 생성부(1150)의 파일/스트림 파싱부(1154)로 전송한다.

비디오 복호화부(1120)는 PES 파싱부(1114)로부터 기준 영상 스트림을 수신하여 이를 복호화함으로써 기준 영상을 생성한다. 비디오 복호화부(1120)는 MPEG-2 영상 스트림을 기반으로 기준 영상을 생성할 수 있다. 비디오 복호화부(1120)는 PMT에 나타난 DTS가 가리키는 시점에 해당 영상을 복호화한다.

부가 영상 생성부(1150)는 수신/저장부(1152), 파일/스트림 파싱부(1154) 및 비디오 복호화부(1156)를 포함할 수 있다. 부가 영상 생성부(1150)는 기준 영상과 연동하여 3D 서비스를 제공하는 부가 영상과 관련된 스트림 또는 파일을 수신하여 복호화함으로써 부가 영상을 생성한다.

부가 영상 스트림 및 부가 영상 파일은 수신/저장부(1152)에서 수신 및 저장된다. 스트림은 실시간으로 수신되어 저장되지 않고 바로 복호화될 수 있고, 파일은 사전에 수신하여 파일 형태로 저장된다. 수신/저장부(1152)는 연동 정보를 PSI/PSIP 복호화부(1112)로부터 수신하여 연동 정보가 가리키는 스트림 및 파일을 수신된 부가 영상 스트림 및 파일과 매칭한다. 복수의 부가 영상 스트림 및 파일이 연동 정보를 해석하여 기준 영상과 매칭될 수 있다.

본 발명의 실시예에 따르면, 연동 정보의 연동 미디어 타입 정보(280)와 연동 URL 정보(270)를 해석하여 수신/저장부(1152)에 저장된 연동할 파일을 식별할 수 있다.

파일/스트림 파싱부(1154)는 기준 영상 생성부(1100)의 PES 파싱부(1116)로부터 파일 및 스트림 식별 정보 및 동기화 정보를 수신하여 기준 영상과 매칭이 되는 부가 영상 파일 및 스트림을 파싱하여 비디오 ES 형태로 만들어 비디오 복호화부(1156)로 전달한다. 파일/스트림 파싱부(1154)는 동기화 정보를 파싱하여 기준 영상과의 동기를 맞춘 후, 대응하는 부가 영상을 기준 영상이 복호화되는 시점(DTS를 고려하여 추출함)에 복호화되도록 비디오 ES 형태의 스트림을 비디오 복호화부(1156)로 전달한다.

비디오 복호화부(1156)는 파일/스트림 파싱부(1154)로부터 부가 영상 스트림 및 파일을 기반으로 생성된 비디오 ES 형태의 스트림을 수신하여 복호화함으로써 부가 영상을 생성한다. 생성된 부가 영상은 재생부(1160)로 전달된다. 비디오 복호화부(1156)는 기준 영상 생성부(1100)의 비디오 복호화부(1120)와 다른 구성요소일 수도 있고 동일한 구성요소 있수도 있다. 즉, 하나의 비디오 복호화부가 기준 영상 스트림과 부가 영상 파일을 모두 복호화할 수 있다.

*재생부(1160)는 기준 영상 생성부(1100)의 비디오 복호화부(1120)로부터 수신한 기준 영상과 부가 영상 생성부(1150)의 비디오 복호화부(1156)로부터 수신한 부가 영상을 기반으로 스테레오스코픽 영상을 구성하여 재생한다.

도 12는 본 발명의 다른 실시예에 따른 실시간 방송 서비스 환경에서 비 실시간으로 수신되는 콘텐츠와 연동하여 3D 서비스를 제공하기 위한 수신 장치의 구성을 나타낸 블록도이다. 도 12에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 수신 장치는 PES private data를 통해 전달되는 동기화 정보를 수신하여 스테레오스코픽 영상을 재생하는 구성을 포함한다. 도 12와 관련된 구성 요소 중 설명되지 않는 구성 요소는 도 11에서와 동일한 기능을 수행한다.

도 12를 참조하면, 역다중화부(1210)는 PSI/PSIP 복호화부(1212) 및 PES 파싱부(1214)를 포함하고, 별도의 PES 파싱부를 포함하지 않는다. 즉, 도 11의 실시예에서는 동기화 정보를 전송하기 위한 새로운 동기화 정보 스트림을 파싱하는 PES 파싱부를 별도로 두었지만, 도 12의 실시예에서는 동기화 정보가 기준 영상 스트림을 생성하는 PES 패킷(1214)에서 PES 패킷의 헤더의 private data를 분석하여 추출될 수 있다. 추출된 동기화 정보는 파일/스트림 파싱부(1254)로 전송된다.

파일/스트림 파싱부(1254)는 동기화 정보를 파싱하여 기준 영상과 매칭이 되는 영상과 관련된 스트림을 비디오 복호화부(1256)로 전달한다. 그리고, 비디오 복호화부(1256)에서 복호화된 영상은 재생부(1260)를 통해 스테레오스코픽 영상으로 구성되어 재생된다.

도 13은 본 발명의 또 다른 실시예에 따른 실시간 방송 서비스 환경에서 비 실시간으로 수신되는 콘텐츠와 연동하여 3D 서비스를 제공하기 위한 수신 장치의 구성을 나타낸 블록도이다. 도 13에 도시된 바와 같이, 본 발명의 또 다른 실시예에 따른 수신 장치는 MPEG-2 비디오 시퀀스에 포함된 스트림을 통해 전달되는 동기화 정보를 수신하여 스테레오스코픽 영상을 재생하는 구성을 포함한다. 도 13과 관련된 구성 요소 중 설명되지 않는 구성 요소는 도 11에서와 동일한 기능을 수행한다.

도 13을 참조하면, 도 12의 실시예와 마찬가지로, 역다중화부(1310)는 PSI/PSIP 복호화부(1312) 및 PES 파싱부(1314)를 포함하고, 별도의 PES 파싱부를 포함하지 않는다. 도 13의 실시예에서는 동기화 정보가 MPEG-2 비디오 시퀀스마다 포함되므로, 비디오 복호화부(1320)는 각각의 MPEG-2 비디오 시퀀스로부터 동기화 정보를 추출한다. 추출된 동기화 정보는 파일/스트림 파싱부(1354)로 전송된다.

파일/스트림 파싱부(1354)는 동기화 정보를 파싱하여 기준 영상과 매칭이 되는 영상과 관련된 스트림을 비디오 복호화부(1356)로 전달한다. 그리고, 비디오 복호화부(1356)에서 복호화된 영상은 재생부(1360)를 통해 스테레오스코픽 영상으로 구성되어 재생된다.

이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (1)

1. 실시간으로 전송되는 기준 영상과 상기 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 전송 방법에 있어서,
   기준 영상을 기반으로 실시간 기준 영상 스트림을 생성하여 실시간으로 수신측으로 전송하는 실시간 기준 영상 스트림 생성 단계; 및
   상기 기준 영상과 연동하여 3D 서비스를 제공하는 부가 영상 및 콘텐츠를 상기 기준 영상 스트림과 별도로 상기 수신측으로 전송하는 부가 영상 및 콘텐츠 전송 단계를 포함하되,
   상기 실시간 기준 영상 스트림은 상기 기준 영상과 연동될 부가 영상 및 콘텐츠와 관련된 정보인 연동 정보 및 상기 기준 영상과 상기 부가 영상 및 콘텐츠와의 동기를 맞추기 위한 동기화 정보를 포함하는 것을 특징으로 하는 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3D 서비스를 제공하기 위한 전송 방법.

Images